JP2014197252A - Gesture operation apparatus, program thereof, and vehicle mounted with gesture operation apparatus - Google Patents

Gesture operation apparatus, program thereof, and vehicle mounted with gesture operation apparatus Download PDF

Info

Publication number
JP2014197252A
JP2014197252A JP2013071722A JP2013071722A JP2014197252A JP 2014197252 A JP2014197252 A JP 2014197252A JP 2013071722 A JP2013071722 A JP 2013071722A JP 2013071722 A JP2013071722 A JP 2013071722A JP 2014197252 A JP2014197252 A JP 2014197252A
Authority
JP
Japan
Prior art keywords
gesture
operator
line
sight
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013071722A
Other languages
Japanese (ja)
Inventor
智浩 山田
Tomohiro Yamada
智浩 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2013071722A priority Critical patent/JP2014197252A/en
Publication of JP2014197252A publication Critical patent/JP2014197252A/en
Pending legal-status Critical Current

Links

Landscapes

  • Navigation (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a user-friendly gesture operation apparatus.SOLUTION: The gesture operation apparatus includes: a camera 17 which is disposed facing toward an operator; a control section 14 connected to a gesture detection section 18 that detects gestures of the operator from a camera signal 20 output from the camera 17; a line-of-sight detection section 19 connected to the control section 14 to detect a line of sight of the operator from the camera signal 20; and a display section 12 that displays images to the operator. The gesture operation apparatus is configured so that the gesture detection section 18 detects a gesture of the operator and when the line-of-sight detection section 19 detects that the line of sight of the operator is addressed to the display section 12, the gesture detection section 18 outputs the detected gesture to the control section 14, and the control section 14 carries out an operation corresponding to the gesture.

Description

本発明は、例えば車両の天井面に取り付けられるジェスチャー操作装置、そのプログラム、およびジェスチャー操作装置を搭載した車両に関するものである。   The present invention relates to a gesture operating device attached to a ceiling surface of a vehicle, for example, a program thereof, and a vehicle equipped with the gesture operating device.

例えば、操作者に向けて設置されたカメラと、このカメラから入力された信号から操作者の身体の動きによるジェスチャー、または視線が向けられているアイコンを検出し、そのジェスチャーまたはアイコンに対応する処理を行う表示装置がある(例えば、下記特許文献1)。   For example, a camera installed toward the operator and a gesture corresponding to the movement of the operator's body or an icon with a line of sight detected from a signal input from the camera, and processing corresponding to the gesture or icon There is a display device that performs (for example, Patent Document 1 below).

特開平8−6708号公報JP-A-8-6708

上記従来例においては、操作者による操作指示が簡単に行えるものであるが、操作者が意図しない装置が操作を受け付けてしまう問題がある。   In the above conventional example, although an operation instruction by the operator can be easily performed, there is a problem that an apparatus not intended by the operator accepts the operation.

すなわち、ジェスチャーで操作可能な装置が同時に複数存在するような場合、ユーザが操作対象としていない装置がジェスチャーに反応する場合があり、使い勝手が良くない。   That is, when there are a plurality of devices that can be operated by gestures at the same time, a device that is not an operation target of the user may react to the gesture, which is not convenient.

例えば、車両天井に設置された第1表示装置と、前席ヘッドレストに後部座席に向けて設置された第2表示装置がある場合、操作者が第1表示装置に向けてジェスチャー操作を行ったとしても、第2表示装置がそのジェスチャーに反応し、操作者の意図しない動作をしてしまうことがある。   For example, when there is a first display device installed on the vehicle ceiling and a second display device installed on the front seat headrest toward the rear seat, the operator performs a gesture operation toward the first display device. However, the second display device may react to the gesture and perform an operation not intended by the operator.

そこで、本発明は、ジェスチャー操作時の使い勝手を良くすることを目的とするものである。   Therefore, an object of the present invention is to improve usability during gesture operation.

そしてこの目的を達成するために本開示は、操作者に向けて設置されたカメラと、このカメラから出力されたカメラ信号から操作者のジェスチャーを検出するジェスチャー検出部が接続された制御部と、この制御部に接続され、カメラ信号から操作者の視線を検出する視線検出部と、操作者に向けて画像を表示する表示部と、を有するジェスチャー操作装置であって、ジェスチャー検出部が操作者のジェスチャーを検出し、かつ視線検出部が操作者の視線が表示部に向いていることを検出すると、ジェスチャー検出部は検出したジェスチャーを制御部に出力し、制御部は当該ジェスチャーに対応する操作を実行する構成とし、これにより所期の目的を達成するものである。   In order to achieve this object, the present disclosure includes a camera installed for an operator, a control unit to which a gesture detection unit for detecting an operator's gesture from a camera signal output from the camera is connected, A gesture operation device connected to the control unit and having a line-of-sight detection unit that detects an operator's line of sight from a camera signal and a display unit that displays an image toward the operator, wherein the gesture detection unit is an operator And the gaze detection unit detects that the operator's gaze is facing the display unit, the gesture detection unit outputs the detected gesture to the control unit, and the control unit performs an operation corresponding to the gesture. In this way, the intended purpose is achieved.

以上のように本開示は、操作者に向けて設置されたカメラと、このカメラから出力されたカメラ信号から操作者のジェスチャーを検出するジェスチャー検出部が接続された制御部と、この制御部に接続され、カメラ信号から操作者の視線を検出する視線検出部と、操作者に向けて画像を表示する表示部と、を有するジェスチャー操作装置であって、ジェスチャー検出部が操作者のジェスチャーを検出し、かつ視線検出部が操作者の視線が表示部に向いていることを検出すると、ジェスチャー検出部は検出したジェスチャーを制御部に出力し、制御部は当該ジェスチャーに対応する操作を実行する構成としたものであるので、ジェスチャー操作時の使い勝手を良くすることができる。   As described above, the present disclosure includes a camera installed toward an operator, a control unit to which a gesture detection unit that detects an operator's gesture from a camera signal output from the camera is connected, and the control unit A gesture operation device that is connected and has a line-of-sight detection unit that detects the line of sight of an operator from a camera signal and a display unit that displays an image toward the operator, and the gesture detection unit detects the gesture of the operator When the gaze detection unit detects that the operator's gaze is facing the display unit, the gesture detection unit outputs the detected gesture to the control unit, and the control unit executes an operation corresponding to the gesture Therefore, it is possible to improve usability during gesture operation.

すなわち、例えば、本開示のジェスチャー操作装置が車両に複数取り付けられて使用されるとする。そのジェスチャー操作装置の表示部は、車両の天井面や前席ヘッドレストの後部座席側、またはダッシュボードのセンターに取り付けられ、複数の操作者(搭乗者)が操作可能な状態で設置される。   That is, for example, it is assumed that a plurality of gesture operation devices of the present disclosure are attached to a vehicle and used. The display unit of the gesture operation device is attached to the ceiling surface of the vehicle, the rear seat side of the front seat headrest, or the center of the dashboard, and is installed in a state where a plurality of operators (passengers) can operate.

そこで、本開示は、操作者の視線が表示部に向いていること、およびその操作者のジェスチャーを検出すると、そのジェスチャーに対応する操作を実行するものである。つまり、操作者は、表示部に表示されたメニューなどを見ながらジェスチャー操作するものであるので、操作者の視線方向にあるジェスチャー操作装置がそのジェスチャーに反応することで、操作者が意図しない装置が操作を受け付けてしまうことを防止することができるのである。   Therefore, in the present disclosure, when the operator's line of sight is directed to the display unit and when the operator's gesture is detected, an operation corresponding to the gesture is executed. In other words, since the operator performs a gesture operation while looking at the menu displayed on the display unit, the gesture operation device in the operator's line of sight reacts to the gesture, and the device is not intended by the operator. Can be prevented from accepting the operation.

本発明の一実施形態のジェスチャー操作装置を搭載した車内を示す図The figure which shows the inside of the vehicle carrying the gesture operation apparatus of one Embodiment of this invention. 本発明の一実施形態のジェスチャー操作装置を搭載した車内を示す図The figure which shows the inside of the vehicle carrying the gesture operation apparatus of one Embodiment of this invention. 本発明の一実施形態のジェスチャー操作装置を示す図The figure which shows the gesture operation apparatus of one Embodiment of this invention. 本発明の一実施形態の機能ブロック図Functional block diagram of an embodiment of the present invention 本発明の一実施形態のジェスチャー操作装置の動作フローチャートOperation flowchart of gesture operating device of one embodiment of the present invention 本発明の一実施形態のジェスチャー操作装置の動作フローチャートOperation flowchart of gesture operating device of one embodiment of the present invention 本発明の一実施形態のジェスチャー操作装置の動作フローチャートOperation flowchart of gesture operating device of one embodiment of the present invention

以下に、本発明の実施形態について図面を参照しながら説明する。   Embodiments of the present invention will be described below with reference to the drawings.

(実施の形態1)
図1、図2は、本実施形態のジェスチャー操作装置を搭載した車内1を示す図である。車内1の前方にはフロントガラス2、バックミラー3、およびハンドル4が配置されている。
(Embodiment 1)
1 and 2 are views showing a vehicle interior 1 equipped with the gesture operation device according to the present embodiment. A windshield 2, a rearview mirror 3, and a handle 4 are arranged in front of the vehicle interior 1.

また、ハンドル4の後方には、運転席5、その隣に助手席6が配置されている。   A driver's seat 5 and a passenger seat 6 next to the driver's seat 5 are disposed behind the handle 4.

さらに、車内1の天井面で、運転席5と助手席6の間部分にはジェスチャー操作装置の一例である表示装置7(天吊りリアディスプレイ)が取り付けられている。その他、ジェスチャー操作装置の例として、ダッシュボードの運転席5と助手席6の間部分に取り付けられる表示装置8(フロントディスプレイ、ナビゲーションなど)、運転席5または助手席6のヘッドレストの後席側に取り付けられた表示装置9、10(リアディスプレイ右席用、左席用)がある。   Further, a display device 7 (ceiling-suspended rear display), which is an example of a gesture operation device, is attached to a portion between the driver's seat 5 and the passenger seat 6 on the ceiling surface of the vehicle interior 1. In addition, as an example of the gesture operation device, a display device 8 (front display, navigation, etc.) attached to a portion between the driver's seat 5 and the passenger seat 6 of the dashboard, There are attached display devices 9, 10 (for rear display right seat, left seat).

本実施の形態では、ジェスチャー操作装置の一例である表示装置7を例に、その詳細を説明する。   In the present embodiment, the details will be described using the display device 7 as an example of a gesture operation device as an example.

表示装置7は、図3、図4に示すように、天井面に取り付けられる本体ケース11と、この本体ケース11に対して下方に開閉自在に取り付けた表示部12と、この表示部12に映像を表示させる映像処理部13と、この映像処理部13に接続した制御部14とを備えている。   As shown in FIGS. 3 and 4, the display device 7 includes a main body case 11 attached to the ceiling surface, a display unit 12 attached to the main body case 11 so as to be openable and closable downward, and an image on the display unit 12. Is displayed, and a control unit 14 connected to the video processing unit 13 is provided.

表示部12は、図1、図3のごとく、本体ケース11に対して90度以上開放状態とし、この状態で、後席に座る同乗者は表示部12の映像を視聴するようになっている。この表示装置7は、各種メディアの映像やテレビ映像を視聴することが出来るもので、よく知られているように制御部14には、図4のごとく、映像入力部15、映像再生部16、映像処理部13が接続されている。   As shown in FIGS. 1 and 3, the display unit 12 is opened 90 degrees or more with respect to the main body case 11, and in this state, the passenger sitting in the rear seat can view the video on the display unit 12. . The display device 7 is capable of viewing videos of various media and television images. As is well known, the control unit 14 includes a video input unit 15, a video playback unit 16, and a video playback unit 16, as shown in FIG. A video processing unit 13 is connected.

本実施の形態における特徴点は、図3、図4のごとく、表示部12の外周部には、搭乗者(操作者)に向けてカメラ17を設け、このカメラ17をジェスチャー検出部18、視線検出部19、および制御部14に接続したことである。   As shown in FIGS. 3 and 4, the feature point in the present embodiment is that a camera 17 is provided on the outer periphery of the display unit 12 toward the passenger (operator). The camera 17 is connected to the gesture detection unit 18 and the line of sight. It is connected to the detection unit 19 and the control unit 14.

カメラ17から出力されたカメラ信号20は、ジェスチャー検出部18に出力される。ジェスチャー検出部18は、カメラ信号20から操作者のジェスチャーを検出し、制御部14にジェスチャーを出力する。   The camera signal 20 output from the camera 17 is output to the gesture detection unit 18. The gesture detection unit 18 detects the operator's gesture from the camera signal 20 and outputs the gesture to the control unit 14.

例えば、ジェスチャー検出部18は、カメラ信号20から画像処理により、搭乗者の身振り、手振り、手の形、顔の状態(片方の目を閉じているなど)を検出する。制御部14は、ジェスチャー検出部18から取得したジェスチャーが、予め対応付けておいた機器操作に該当すれば、その機器操作を実行する。   For example, the gesture detection unit 18 detects a passenger's gesture, hand gesture, hand shape, and face state (such as one eye closed) from the camera signal 20 by image processing. If the gesture acquired from the gesture detection unit 18 corresponds to a device operation associated in advance, the control unit 14 executes the device operation.

具体的にジェスチャーで行う操作として、映像の切替えや画面の明るさの変更といった各種調整などがある。   Specific operations performed by gestures include various adjustments such as video switching and screen brightness change.

視線検出部19は、カメラ信号20から操作者の視線を検出し、その視線がどの方向に向いているかを検出する。例えば、視線方向は、カメラ信号20から搭乗者の顔画像を用いて、画像処理により、目の位置、眼球の回転角、顔の向きを抽出し、それらから演算により視線方向を算出することができる。   The line-of-sight detection unit 19 detects the operator's line of sight from the camera signal 20 and detects in which direction the line of sight is directed. For example, the line-of-sight direction can be obtained by extracting the eye position, the eyeball rotation angle, and the face direction from the camera signal 20 by using the passenger image from the camera signal 20, and calculating the line-of-sight direction from them. it can.

以下に図5から図7を用いて、ジェスチャー操作の処理手順について説明する。   Hereinafter, the processing procedure of the gesture operation will be described with reference to FIGS.

図5の処理が基本形の処理フローである。但し、ジェスチャー検出部18によるジェスチャー検出と、視線検出部19による視線検出を同時に処理しないといけないため、処理負荷が高くなる。   The processing in FIG. 5 is a basic processing flow. However, since the gesture detection by the gesture detection unit 18 and the gaze detection by the gaze detection unit 19 must be processed at the same time, the processing load increases.

まず、ステップS1では、ジェスチャー検出部18と視線検出部19の動作を開始する。   First, in step S1, operations of the gesture detection unit 18 and the line-of-sight detection unit 19 are started.

次に、ジェスチャー検出部18が取得したカメラ信号20からジェスチャーを検出すると(ステップS2:Yes)、ステップS3へ進む。   Next, when a gesture is detected from the camera signal 20 acquired by the gesture detection unit 18 (step S2: Yes), the process proceeds to step S3.

ステップS3では、視線検出部19が取得したカメラ信号20から操作者の視線が表示部12に向いているか、否かを検出する。   In step S <b> 3, it is detected from the camera signal 20 acquired by the line-of-sight detection unit 19 whether or not the operator's line of sight is facing the display unit 12.

操作者の視線が表示部12に向いていれば、ステップS5へ進み、制御部14は、取得したジェスチャーに予め対応付けしておいた操作があれば、その操作を実行する。その後、ステップS1へ戻る。   If the line of sight of the operator is facing the display unit 12, the process proceeds to step S5, and the control unit 14 executes the operation if there is an operation associated with the acquired gesture in advance. Then, it returns to step S1.

操作者の視線が表示部12に向いていなければ、検出したジェスチャーを削除し、ステップS1へ戻る(ステップS4)。   If the line of sight of the operator is not directed to the display unit 12, the detected gesture is deleted, and the process returns to step S1 (step S4).

図6の処理は、図5の基本形の処理フローを変形させたものである。具体的には、視線を検出すると、ジェスチャーを検出する処理に進むものである。これは、処理フローが複雑になるが、処理負荷を軽減することができる。但し、操作開始前に視線が表示装置7に向いていれば,操作中や操作直後に視線を外しても操作が無効にならないとの特徴がある。   The processing in FIG. 6 is a modification of the basic processing flow in FIG. Specifically, when a line of sight is detected, the process proceeds to a process for detecting a gesture. This complicates the processing flow, but can reduce the processing load. However, if the line of sight is directed to the display device 7 before the operation is started, the operation is not invalidated even if the line of sight is removed during or immediately after the operation.

まず、視線検出部19の動作を開始する(ステップS7)。   First, the operation of the line-of-sight detection unit 19 is started (step S7).

次に、視線検出部19が操作者の視線が表示装置7に向いていることを検出すると(ステップS8:Yes)、ジェスチャー検出部18の動作を開始する(ステップS9)。   Next, when the line-of-sight detection unit 19 detects that the operator's line of sight is facing the display device 7 (step S8: Yes), the operation of the gesture detection unit 18 is started (step S9).

ジェスチャー検出部18がジェスチャーを検出すると(ステップS10:Yes)、ジェスチャー検出部18は、検出したジェスチャーを制御部14へ出力する。   When the gesture detection unit 18 detects a gesture (step S10: Yes), the gesture detection unit 18 outputs the detected gesture to the control unit 14.

ジェスチャー検出部18がジェスチャーを検出しなければ(ステップS10:No)、視線検出部19が操作者の視線が表示装置7に向いているかを再度確認する(ステップS12)。   If the gesture detection unit 18 does not detect a gesture (step S10: No), the line-of-sight detection unit 19 confirms again whether the operator's line of sight is facing the display device 7 (step S12).

操作者の視線が表示装置7に向いていれば(ステップS12:Yes)、ステップS10へ戻る。操作者の視線が表示装置7に向いていなければ(ステップS12:No)、ステップS13でジェスチャー検出部18の動作を停止し、ステップS8へ戻る。   If the operator's line of sight is facing the display device 7 (step S12: Yes), the process returns to step S10. If the line of sight of the operator is not facing the display device 7 (step S12: No), the operation of the gesture detection unit 18 is stopped in step S13, and the process returns to step S8.

図7の処理は、図6の処理フローを変形させたものである。図6の処理フローでは、視線を検出した操作者とジェスチャーをした操作者が別の人であっても、操作を実行してしまう。これを防止するために、ジェスチャー検出部18がジェスチャーを検出後に視線を検出した操作者とジェスチャーをした操作者が同一であるかを判定する処理を追加している。   The processing in FIG. 7 is a modification of the processing flow in FIG. In the processing flow of FIG. 6, even if the operator who detected the line of sight and the operator who performed the gesture are different people, the operation is executed. In order to prevent this, a process for determining whether the operator who has detected the line of sight after the gesture detection unit 18 detects the gesture and the operator who performed the gesture is the same is added.

なお、同一人物か否かの判定は、例えば操作者の座席位置によって判定する。座席位置は、カメラ17の向きや、撮像画像の視線、またはジェスチャーの画像処理エリアで判断することが可能である。   The determination as to whether or not they are the same person is made based on, for example, the seat position of the operator. The seat position can be determined by the orientation of the camera 17, the line of sight of the captured image, or the image processing area of the gesture.

図7の処理は、図6のステップS10とステップS12の間に、ジェスチャー検出部18がジェスチャーを検出後に視線を検出した操作者とジェスチャーをした操作者が同一であるかを判定するステップS14を追加したものである。   The process of FIG. 7 includes step S14 between step S10 and step S12 of FIG. 6 in which it is determined whether the operator who has detected the line of sight after the gesture detector 18 detects the gesture is the same as the operator who has made the gesture. It is added.

以上説明したように、本実施の形態では、操作者に向けて設置されたカメラ17と、このカメラ17から出力されたカメラ信号20から操作者のジェスチャーを検出するジェスチャー検出部18が接続された制御部14と、この制御部14に接続され、カメラ信号20から操作者の視線を検出する視線検出部19と、操作者に向けて画像を表示する表示部12と、を有するジェスチャー操作装置であって、ジェスチャー検出部18が操作者のジェスチャーを検出し、かつ視線検出部19が操作者の視線が表示部12に向いていることを検出すると、ジェスチャー検出部18は検出したジェスチャーを制御部14に出力し、制御部14は当該ジェスチャーに対応する操作を実行する構成としたものであるので、ジェスチャー操作時の使い勝手を良くすることができる。   As described above, in the present embodiment, the camera 17 installed for the operator and the gesture detection unit 18 for detecting the gesture of the operator from the camera signal 20 output from the camera 17 are connected. A gesture operating device that is connected to the control unit 14, has a line-of-sight detection unit 19 that detects the line of sight of the operator from the camera signal 20, and a display unit 12 that displays an image toward the operator. When the gesture detection unit 18 detects the operator's gesture and the line-of-sight detection unit 19 detects that the operator's line of sight faces the display unit 12, the gesture detection unit 18 controls the detected gesture to the control unit. 14, the control unit 14 is configured to execute an operation corresponding to the gesture. Can Kusuru.

すなわち、例えば、本開示のジェスチャー操作装置が車両に複数取り付けられて使用されるとする。そのジェスチャー操作装置の表示部12は、車両の天井面や前席ヘッドレストの後部座席側、またはダッシュボードのセンターに取り付けられ、複数の操作者(搭乗者)が操作可能な状態で設置される。   That is, for example, it is assumed that a plurality of gesture operation devices of the present disclosure are attached to a vehicle and used. The display unit 12 of the gesture operating device is attached to the ceiling surface of the vehicle, the rear seat side of the front seat headrest, or the center of the dashboard, and is installed in a state where a plurality of operators (passengers) can operate.

そこで、本実施の形態では、操作者の視線が表示部12に向いていること、およびその操作者のジェスチャーを検出すると、そのジェスチャーに対応する操作を実行するものである。つまり、操作者は、表示部12に表示されたメニューなどを見ながらジェスチャー操作するものであるので、操作者の視線方向にあるジェスチャー操作装置がジェスチャーに反応することで、操作者が意図しない装置が操作を受け付けてしまうことを防止することができるのである。   Therefore, in the present embodiment, when the operator's line of sight is directed to the display unit 12 and when the operator's gesture is detected, an operation corresponding to the gesture is executed. That is, since the operator performs a gesture operation while looking at the menu displayed on the display unit 12 and the like, a device that is not intended by the operator when the gesture operation device in the line of sight of the operator reacts to the gesture. Can be prevented from accepting the operation.

以上のように本発明では、操作者に向けて設置されたカメラと、このカメラから出力されたカメラ信号から操作者のジェスチャーを検出するジェスチャー検出部が接続された制御部と、この制御部に接続され、カメラ信号から操作者の視線を検出する視線検出部と、操作者に向けて画像を表示する表示部と、を有するジェスチャー操作装置であって、ジェスチャー検出部が操作者のジェスチャーを検出し、かつ視線検出部が操作者の視線が表示部に向いていることを検出すると、ジェスチャー検出部は検出したジェスチャーを制御部に出力し、制御部は当該ジェスチャーに対応する操作を実行する構成としたものであるので、ジェスチャー操作時の使い勝手を良くすることができる。   As described above, in the present invention, a camera installed toward the operator, a control unit to which a gesture detection unit for detecting an operator's gesture from a camera signal output from the camera is connected, and the control unit A gesture operation device that is connected and has a line-of-sight detection unit that detects the line of sight of an operator from a camera signal and a display unit that displays an image toward the operator, and the gesture detection unit detects the gesture of the operator When the gaze detection unit detects that the operator's gaze is facing the display unit, the gesture detection unit outputs the detected gesture to the control unit, and the control unit executes an operation corresponding to the gesture Therefore, it is possible to improve usability during gesture operation.

したがって、車載用電子機器しての活用が期待されるものとなる。   Therefore, utilization as an in-vehicle electronic device is expected.

1 車内
2 フロントガラス
3 バックミラー
4 ハンドル
5 運転席
6 助手席
7、8、9、10 表示装置
11 本体ケース
12 表示部
13 映像処理部
14 制御部
15 映像入力部
16 映像再生部
17 カメラ
18 ジェスチャー検出部
19 視線検出部
20 カメラ信号
DESCRIPTION OF SYMBOLS 1 Car interior 2 Windshield 3 Rearview mirror 4 Handle 5 Driver's seat 6 Passenger seat 7, 8, 9, 10 Display device 11 Main body case 12 Display unit 13 Video processing unit 14 Control unit 15 Video input unit 16 Video playback unit 17 Camera 18 Gesture Detection unit 19 Gaze detection unit 20 Camera signal

Claims (6)

操作者に向けて設置されたカメラと、このカメラから出力されたカメラ信号から前記操作者のジェスチャーを検出するジェスチャー検出部が接続された制御部と、この制御部に接続され、前記カメラ信号から前記操作者の視線を検出する視線検出部と、前記操作者に向けて画像を表示する表示部と、を有するジェスチャー操作装置であって、
前記ジェスチャー検出部が前記操作者のジェスチャーを検出し、かつ前記視線検出部が前記操作者の視線が前記表示部に向いていることを検出すると、前記ジェスチャー検出部は検出したジェスチャーを前記制御部に出力し、前記制御部は当該ジェスチャーに対応する操作を実行するジェスチャー操作装置。
A camera installed for the operator, a control unit connected to a gesture detection unit for detecting the gesture of the operator from a camera signal output from the camera, and connected to the control unit, from the camera signal A gesture operation device having a line-of-sight detection unit that detects the line of sight of the operator and a display unit that displays an image toward the operator,
When the gesture detection unit detects the operator's gesture and the line-of-sight detection unit detects that the operator's line of sight faces the display unit, the gesture detection unit detects the detected gesture as the control unit. And the control unit executes an operation corresponding to the gesture.
前記視線検出部が操作者の視線が前記表示部に向いていることを検出した後、前記ジェスチャー検出部の処理を開始する請求項1に記載のジェスチャー操作装置。   The gesture operation device according to claim 1, wherein the gesture detection unit starts processing of the gesture detection unit after the line-of-sight detection unit detects that an operator's line of sight faces the display unit. 前記制御部は、前記ジェスチャー検出部から検出したジェスチャーを取得後、前記カメラから取得した信号から視線を検出した操作者と、ジェスチャー操作者が同一人物であると、前記ジェスチャー検出部が検出したジェスチャーの操作を実行する請求項2に記載のジェスチャー操作装置。   After the gesture detected by the gesture detector is acquired, the control unit detects the gesture detected by the gesture detector when the operator who detected the line of sight from the signal acquired from the camera and the gesture operator are the same person The gesture operation device according to claim 2, wherein the operation is performed. 操作者に向けて設置されたカメラと、このカメラから出力されたカメラ信号から前記操作者のジェスチャーを検出するジェスチャー検出部が接続された制御部と、この制御部に接続され、前記カメラ信号から前記操作者の視線を検出する視線検出部と、前記操作者に向けて画像を表示する表示部と、を有するジェスチャー操作装置で動作するプログラムであって、
前記ジェスチャー検出部が前記操作者のジェスチャーを検出し、かつ前記視線検出部が前記操作者の視線が前記表示部に向いていることを検出するステップと、
前記ジェスチャー検出部が検出したジェスチャーを前記制御部に出力するステップと、
前記ジェスチャーに対応する操作を実行するステップと、
を実行させるプログラム。
A camera installed for the operator, a control unit connected to a gesture detection unit for detecting the gesture of the operator from a camera signal output from the camera, and connected to the control unit, from the camera signal A program that operates on a gesture operation device having a line-of-sight detection unit that detects the line of sight of the operator and a display unit that displays an image toward the operator,
The gesture detecting unit detecting the operator's gesture, and the line-of-sight detecting unit detecting that the operator's line of sight faces the display unit;
Outputting the gesture detected by the gesture detection unit to the control unit;
Performing an operation corresponding to the gesture;
A program that executes
請求項1に記載のジェスチャー操作装置を複数搭載した車両。   A vehicle equipped with a plurality of gesture operation devices according to claim 1. 請求項1に記載のジェスチャー操作装置を車両天井部と、前席ヘッドレストの後部座席側に搭載した車両。   A vehicle in which the gesture operating device according to claim 1 is mounted on a vehicle ceiling portion and a rear seat side of a front seat headrest.
JP2013071722A 2013-03-29 2013-03-29 Gesture operation apparatus, program thereof, and vehicle mounted with gesture operation apparatus Pending JP2014197252A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013071722A JP2014197252A (en) 2013-03-29 2013-03-29 Gesture operation apparatus, program thereof, and vehicle mounted with gesture operation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013071722A JP2014197252A (en) 2013-03-29 2013-03-29 Gesture operation apparatus, program thereof, and vehicle mounted with gesture operation apparatus

Publications (1)

Publication Number Publication Date
JP2014197252A true JP2014197252A (en) 2014-10-16

Family

ID=52358005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013071722A Pending JP2014197252A (en) 2013-03-29 2013-03-29 Gesture operation apparatus, program thereof, and vehicle mounted with gesture operation apparatus

Country Status (1)

Country Link
JP (1) JP2014197252A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6039074B2 (en) * 2013-07-01 2016-12-07 パイオニア株式会社 Imaging system
JP2017097921A (en) * 2017-02-15 2017-06-01 ヤフー株式会社 Device, method, and program for presenting information to be notified
US10000217B2 (en) 2015-09-03 2018-06-19 Yahoo Japan Corporation Notification-needed information presenting apparatus, notification-needed information presenting method, and non-transitory computer readable storage medium
WO2019073562A1 (en) * 2017-10-12 2019-04-18 三菱電機株式会社 Display control device, display control method, and vehicle-mounted apparatus provided with display control device
JP2020142669A (en) * 2019-03-07 2020-09-10 矢崎総業株式会社 Vehicle management system
WO2021240671A1 (en) * 2020-05-27 2021-12-02 三菱電機株式会社 Gesture detection device and gesture detection method
WO2021240668A1 (en) * 2020-05-27 2021-12-02 三菱電機株式会社 Gesture detection device and gesture detection method

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6039074B2 (en) * 2013-07-01 2016-12-07 パイオニア株式会社 Imaging system
US10000217B2 (en) 2015-09-03 2018-06-19 Yahoo Japan Corporation Notification-needed information presenting apparatus, notification-needed information presenting method, and non-transitory computer readable storage medium
US10358144B2 (en) 2015-09-03 2019-07-23 Yahoo Japan Corporation Notification-needed information presenting apparatus, notification-needed information presenting method, and non-transitory computer readable storage medium
JP2017097921A (en) * 2017-02-15 2017-06-01 ヤフー株式会社 Device, method, and program for presenting information to be notified
WO2019073562A1 (en) * 2017-10-12 2019-04-18 三菱電機株式会社 Display control device, display control method, and vehicle-mounted apparatus provided with display control device
JP2020142669A (en) * 2019-03-07 2020-09-10 矢崎総業株式会社 Vehicle management system
JP7013407B2 (en) 2019-03-07 2022-01-31 矢崎総業株式会社 Vehicle management system
WO2021240671A1 (en) * 2020-05-27 2021-12-02 三菱電機株式会社 Gesture detection device and gesture detection method
JPWO2021240671A1 (en) * 2020-05-27 2021-12-02
WO2021240668A1 (en) * 2020-05-27 2021-12-02 三菱電機株式会社 Gesture detection device and gesture detection method
JP7289406B2 (en) 2020-05-27 2023-06-09 三菱電機株式会社 Gesture detection device and gesture detection method

Similar Documents

Publication Publication Date Title
JP2014197252A (en) Gesture operation apparatus, program thereof, and vehicle mounted with gesture operation apparatus
KR101071777B1 (en) Handling device for vehicle
US7557800B2 (en) Display apparatus, and method for controlling the same
WO2015071961A1 (en) Display controller, information display method, and information display system
US10035458B2 (en) Image processing apparatus
JP2017211884A (en) Motion detection system
JP5067576B2 (en) Display control system, display control method, and display control program
WO2018061413A1 (en) Gesture detection device
JP4858206B2 (en) In-vehicle device operation support device and operation support method
WO2014103217A1 (en) Operation device and operation detection method
JP5201480B2 (en) Vehicle control device
JP2010179828A (en) Operation input device for vehicle
JP2014021748A (en) Operation input device and on-vehicle equipment using the same
JP6375715B2 (en) Line-of-sight input device
KR20140080300A (en) Control system for vehicle using hand gesture
WO2013175603A1 (en) Operation input device, operation input method and operation input program
WO2016042714A1 (en) Electron mirror device
JP2009190675A (en) Operating device for vehicle
JP2008120134A (en) Manual operation device
JP2017125883A (en) Eyeglass information display device
JP6390380B2 (en) Display operation device
JP2016110269A (en) Manipulation input device
JP6384869B2 (en) Information processing system and computer program
JP2016157457A (en) Operation input device, operation input method and operation input program
JP6241089B2 (en) Information providing system, information providing apparatus, and display apparatus