JP2014149640A - Gesture operation device and gesture operation program - Google Patents
Gesture operation device and gesture operation program Download PDFInfo
- Publication number
- JP2014149640A JP2014149640A JP2013017555A JP2013017555A JP2014149640A JP 2014149640 A JP2014149640 A JP 2014149640A JP 2013017555 A JP2013017555 A JP 2013017555A JP 2013017555 A JP2013017555 A JP 2013017555A JP 2014149640 A JP2014149640 A JP 2014149640A
- Authority
- JP
- Japan
- Prior art keywords
- gesture operation
- gesture
- detection
- occupant
- operation target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、ジェスチャによって種々の機器(例えば、車載器)を操作するジェスチャ操作装置及びジェスチャ操作プログラムに関する。 The present invention relates to a gesture operation device and a gesture operation program for operating various devices (for example, on-vehicle devices) using gestures.
ジェスチャによって操作を行う技術としては、例えば、特許文献1に記載の技術が提案されている。 As a technique for performing an operation using a gesture, for example, a technique described in Patent Document 1 has been proposed.
特許文献1には、ステレオカメラによりユーザの画像を撮像するユーザ撮像手段と、ユーザのジェスチャを検出するジェスチャ検出手段と、選択ジェスチャであるか、操作ジェスチャであるかを判別するジェスチャ判別手段と、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、選択ジェスチャで選択された制御機器とユーザの視線の方向にある制御機器とが一致する場合に制御機器を選択する制御機器選択手段と、選択された制御機器に対して、操作ジェスチャに応じた操作を実行する制御機器操作手段とを備えた制御機器操作ジェスチャ認識装置(PC)が提案されている。 Patent Document 1 discloses a user imaging unit that captures a user's image with a stereo camera, a gesture detection unit that detects a user's gesture, a gesture determination unit that determines whether the gesture is a selection gesture or an operation gesture, Select the control device when the gaze direction determination means for determining whether or not the control device is in the direction of the user's line of sight and the control device selected by the selection gesture match the control device in the direction of the user's line of sight There has been proposed a control device operation gesture recognition device (PC) including a control device selection unit for performing control and a control device operation unit for performing an operation corresponding to an operation gesture on the selected control device.
しかしながら、特許文献1に記載の技術では、操作対象機器の選択についてもジェスチャで行う必要があり、操作するために覚えるジェスチャの数も多くなるため、改善の余地がある。 However, in the technique described in Patent Document 1, there is room for improvement because selection of the operation target device needs to be performed using gestures, and the number of gestures to be learned for operation increases.
さらに、特許文献1に記載の技術では、ジェスチャ操作するために操作対象を注視する必要があるため、車載機器へ適用するためには、脇見運転となるため改善の余地がある。 Furthermore, in the technique described in Patent Document 1, it is necessary to watch the operation target in order to perform the gesture operation.
本発明は、上記事実を考慮して成されたもので、操作対象を注視することなく、ちら見程度で操作することが可能なジェスチャ操作装置及びジェスチャ操作プログラムを提供することを目的とする。 The present invention has been made in consideration of the above facts, and an object of the present invention is to provide a gesture operation device and a gesture operation program that can be operated at a glance without looking at an operation target.
上記目的を達成するために請求項1に記載のジェスチャ操作装置は、乗員を撮影する撮影手段と、前記撮影手段の撮影結果から乗員の目の位置を検出する第1検出手段と、前記撮影手段の撮影結果から乗員の手の位置及びジェスチャ操作を検出する第2検出手段と、予め定めた複数の操作対象機器の中から第1検出手段によって検出された乗員の目の位置、及び第2検出手段によって検出された乗員の手の位置に基づいて操作対象機器を決定し、前記第2検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように、決定した操作対象機器を制御する制御手段と、を備えている。 In order to achieve the above object, the gesture operating device according to claim 1 includes an imaging unit that images an occupant, a first detection unit that detects a position of an occupant's eye from an imaging result of the imaging unit, and the imaging unit. Second detection means for detecting the position and gesture operation of the occupant's hand from the imaging results of the above, the position of the occupant's eye detected by the first detection means from a plurality of predetermined operation target devices, and the second detection The operation target device is determined based on the position of the occupant's hand detected by the means, and the determined operation target device is controlled to perform a predetermined operation corresponding to the gesture operation detected by the second detection means. And a control means.
請求項1に記載の発明によれば、撮影手段では、カメラ等により乗員が撮影され、第1検出手段では、撮影手段の撮影結果から乗員の目の位置が検出され、第2検出手段では、撮影手段の撮影結果から乗員の手の位置及びジェスチャ操作が検出される。なお、撮影手段は、第1検出手段によって乗員の目の位置を検出するための撮影を行う撮影手段と、第2検出手段によって乗員の手の位置及びジェスチャ操作を検出するための撮影を行う撮影手段とをそれぞれ備えるようにしてもよい。 According to the first aspect of the present invention, in the photographing means, the occupant is photographed by a camera or the like. In the first detecting means, the position of the occupant's eyes is detected from the photographing result of the photographing means. In the second detecting means, The position of the occupant's hand and the gesture operation are detected from the photographing result of the photographing means. The photographing means performs photographing for detecting the position of the occupant's eyes by the first detecting means, and photographing for detecting the position and gesture operation of the occupant's hand by the second detecting means. Each means may be provided.
また、制御手段では、予め定めた操作対象機器の中から第1検出手段によって検出された乗員の目の位置、及び第2検出手段によって検出された乗員の手の位置に基づいて操作対象機器が決定される。例えば、請求項3に記載の発明のように、乗員の目の位置と手の位置とを結ぶ線分の延長線上に存在する機器を操作対象機器として決定するようにしてもよい。 In the control means, the operation target device is selected based on the position of the occupant's eyes detected by the first detection means and the position of the occupant's hand detected by the second detection means from the predetermined operation target devices. It is determined. For example, as in the invention described in claim 3, a device existing on an extension line of a line connecting a passenger's eye position and a hand position may be determined as the operation target device.
そして、第2検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように、決定した操作対象機器が制御される制御手段によって制御される。 Then, the determined operation target device is controlled by the control unit so as to perform a predetermined operation corresponding to the gesture operation detected by the second detection unit.
すなわち、乗員は、操作対象機器をちら見して、操作対象機器方向に向かってジェスチャ操作するだけで、制御手段が、操作対象機器を決定してジェスチャ操作に対応する操作を行うように、操作対象機器を制御するので、操作対象を注視することなく、ちら見程度でジェスチャ操作によって操作対象機器を操作することができる。 That is, the occupant looks at the operation target device and performs a gesture operation toward the operation target device direction so that the control means determines the operation target device and performs an operation corresponding to the gesture operation. Since the device is controlled, it is possible to operate the operation target device by a gesture operation at a glance without looking at the operation target.
例えば、請求項2に記載の発明のように、第1検出手段が、撮影手段の撮影結果から乗員の視線を更に検出して、制御手段が、予め定めた複数の操作対象機器の中から第1検出手段によって検出した視線の先に存在する操作対象機器候補を抽出する抽出手段を含み、抽出手段によって抽出された操作対象機器候補の中から、第1検出手段によって検出された乗員の目の位置、及び第2検出手段によって検出された乗員の手の位置に基づいて操作対象機器を決定するようにしてもよい。これにより、操作対象機器を容易に特定することが可能となる。 For example, as in the second aspect of the invention, the first detection unit further detects the sight line of the occupant from the imaging result of the imaging unit, and the control unit selects the first operation target device from a plurality of predetermined operation target devices. An extraction unit that extracts an operation target device candidate existing ahead of the line of sight detected by the one detection unit, and the occupant's eyes detected by the first detection unit from the operation target device candidates extracted by the extraction unit You may make it determine an operation target apparatus based on a position and the position of the passenger | crew's hand detected by the 2nd detection means. Thereby, it becomes possible to specify an operation target apparatus easily.
また、請求項4に記載の発明のように、制御手段によって決定した操作対象機器を表す情報を報知する報知手段を更に備えるようにしてもよい。これによって、制御手段によって決定した操作対象機器が適正か否かを報知手段によって確認することができる。 Moreover, you may make it further provide the alerting | reporting means which alert | reports the information showing the operation target apparatus determined by the control means like invention of Claim 4. Thereby, it is possible to confirm by the notification means whether or not the operation target device determined by the control means is appropriate.
なお、本発明は、請求項5に記載の発明のように、コンピュータを、請求項1〜4の何れか1項に記載のジェスチャ操作装置の前記第1検出手段、前記第2検出手段、及び前記制御手段として機能させるためのジェスチャ操作プログラムとしてもよい。 In the present invention, as in the invention described in claim 5, the computer is connected to the first detection unit, the second detection unit, and the gesture operation device according to any one of claims 1 to 4. It is good also as a gesture operation program for functioning as said control means.
以上説明したように本発明によれば、操作対象を注視することなく、ちら見程度で操作することが可能なジェスチャ操作装置及びジェスチャ操作プログラムを提供することができる、という効果がある。 As described above, according to the present invention, there is an effect that it is possible to provide a gesture operation device and a gesture operation program that can be operated with a close look without paying attention to an operation target.
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。 Hereinafter, an example of an embodiment of the present invention will be described in detail with reference to the drawings.
(第1実施形態) (First embodiment)
図1は、本発明の第1実施形態に係るジェスチャ操作装置の概略を示す図であり、図2は、本発明の第1実施形態に係るジェスチャ操作装置の構成を示すブロック図である。 FIG. 1 is a diagram showing an outline of a gesture operating device according to the first embodiment of the present invention, and FIG. 2 is a block diagram showing a configuration of the gesture operating device according to the first embodiment of the present invention.
本実施形態に係るジェスチャ操作装置10は、ジェスチャ操作によって自動車に搭載された各種機器を操作するものである。ジェスチャ操作装置10のジェスチャ操作の操作対象機器22としては、例えば、ディスプレイ22Aや、インストルメントパネルに設けられたインパネスイッチ(例えば、ヒータコントローラ、ミラースイッチ、エアコンスイッチ、オーディオの操作スイッチ等の各種スイッチ)22Bを適用することができる。
The
ジェスチャ操作装置10は、乗員(運転者)のジェスチャ操作を検出するためのジェスチャ操作検出用カメラ14、及び乗員(運転者)の視線を検出する視線検出用カメラ18を備えている。
The
ジェスチャ操作検出用カメラ14は、ジェスチャ操作を検出すると共に、手の位置を検出するために、ステレオカメラによって撮影が行われる。ジェスチャ操作検出用カメラ14は、例えば、図1に示すように、ルームミラーのベース部分に設けられ、インストルメントパネルに設けられたインパネスイッチ22Bやディスプレイ22A等の操作対象機器22の方向を撮影するように、車両のルーフ側から下方向に向けて配置されている。なお、ジェスチャ操作検出用カメラ14は、本実施形態では、ステレオカメラを適用して3次元撮影が可能なものを適用するが、これに限るものではなく、例えば、単眼カメラと距離センサ等を併用して、ジェスチャ操作及び手の位置を検出するようにしてもよい。
The gesture
また、視線検出用カメラ18は、乗員の顔を撮影して、撮影画像から目の位置を検出すると共に、視線を検出するために、単眼のカメラによって撮影が行われる。視線検出用カメラ18は、例えば、図1に示すように、運転者側のルーフに、運転者側に向けられて配置されている。なお、ジェスチャ操作検出用カメラ14に隣接して設けるようにしてもよい。
The line-of-
ジェスチャ操作の検出や視線検出は、周知の各種技術を適用して検出することができる。また、本実施形態では、ジェスチャ操作検出用カメラ14と視線検出用カメラ18をそれぞれ別に設ける構成として説明するが、例えば、ステレオカメラ1つでジェスチャ操作と視線を共に検出するようにしてもよい。或いは、単眼カメラと距離センサを用いてジェスチャ操作と視線を共に検出するようにしてもよい。
Detection of gesture operation and gaze detection can be detected by applying various known techniques. In this embodiment, the gesture
ジェスチャ操作装置10は、ジェスチャ操作ECU(Electronic Control Unit)12を備えており、乗員のジェスチャ操作に応じてジェスチャ操作ECU12が操作対象機器22の操作を制御するようになっている。
The
ジェスチャ操作ECU12は、CPU12A、ROM12B、RAM12C、及びI/O(入出力インターフェース)12Dがバス12Eに接続されたマイクロコンピュータで構成されている。
The gesture operation ECU 12 includes a microcomputer in which a
I/O12Dには、ジェスチャ操作検出用ECU16、視線検出用ECU20、及び複数の操作対象機器22(22A、22B・・・)が接続されている。
A gesture
ジェスチャ操作検出用ECU16には、上述のジェスチャ操作検出用カメラ14が接続されており、ジェスチャ操作検出用カメラ14の撮影結果が入力される。ジェスチャ操作検出用ECU16は、ジェスチャ操作検出用カメラ14の撮影結果から、乗員の手の位置及びジェスチャ操作を検出して、検出結果をジェスチャ操作ECU12へ出力する。ジェスチャ操作としては、操作内容毎にジェスチャ操作を予め定めて記憶しておくことにより、対応するジェスチャ操作をパターンマッチング等によって検出する。なお、ジェスチャ操作としては、例えば、手振りや、サイン、手形状など手で行うことができる動作全般とすることができる。
The gesture
視線検出用ECU20には、上述の視線検出用カメラ18が接続されており、視線検出用カメラ18の撮影結果が入力される。視線検出用ECU20は、視線検出用カメラ18の撮影結果から、乗員の目の位置及び視線を検出して、検出結果をジェスチャ操作ECU12へ出力する。
The line-of-sight detection ECU 18 is connected to the line-of-
ジェスチャ操作ECU12のROM12Bにジェスチャ操作用プログラムや、操作対象機器22の位置等が予め記憶されており、ROM12Bに記憶されたジェスチャ操作用プログラムをRAM12Cに展開してCPU12Aが実行することにより、ジェスチャ操作に対応する動作を行うように操作対象機器22を制御する。
The gesture operation program, the position of the
具体的には、乗員は、図3(A)の実線矢印で示すように、前方を注視して運転しているが、操作を行う場合に、図3(A)の点線矢印で示すように、操作対象機器22をちら見する。
Specifically, as shown by the solid arrow in FIG. 3A, the occupant is driving while paying attention to the front, but when performing an operation, as shown by the dotted arrow in FIG. The
視線検出用カメラ18及び視線検出用ECU20が乗員の目の位置及び視線を検出して、検出結果をジェスチャ操作ECU12に出力する。そして、ジェスチャ操作ECU12が、図3(A)の点線矢印で示すように、ちら見の視線先に存在する操作対象機器候補を複数抽出する。例えば、図1に示すように、ちら見(図1の一点鎖線矢印)先には、ディスプレイ22Aとインパネスイッチ22Bが存在するので、これらの機器を操作対象候補として抽出する。
The line-of-
続いて、乗員は、図3(B)に示すように、ちら見によって確認した操作対象機器に向かって操作指示に対応して予め定めたジェスチャ操作を乗員が行う。 Subsequently, as shown in FIG. 3 (B), the occupant performs a gesture operation that is determined in advance in response to the operation instruction toward the operation target device confirmed by the glance.
ジェスチャ操作検出用カメラ14及びジェスチャ操作検出用ECU16が乗員の手の位置及びジェスチャ操作を検出して、検出結果をジェスチャ操作ECU12に出力する。
The gesture
そして、ジェスチャ操作ECU12が、操作対象候補の中から、図3(B)に示すように、乗員の目の位置と乗員の手の位置の延長線上に存在する機器を操作対象機器22に決定して、検出したジェスチャ操作に対応する動作を行うように、決定した操作対象機器22を制御する。図3(B)の例では、インパネスイッチ22Bが操作対象機器22として決定された例を示す
And gesture operation ECU12 determines the apparatus which exists on the extension line of the position of a passenger | crew's eye and the position of a passenger | crew's hand from the operation object candidate to the
すなわち、本実施形態に係るジェスチャ操作装置10では、操作対象機器22を注視することなく、ちら見とジェスチャ操作だけで操作対象機器を操作することができる。
That is, in the
続いて、上述のように構成された本発明の第1実施形態に係るジェスチャ操作装置10で行われる具体的な処理例について説明する。図4は、本発明の第1実施形態に係るジェスチャ操作装置10におけるジェスチャ操作ECU12のROM12Bに記憶されたジェスチャ操作プログラムを実行することによって行われる処理の流れの一例を示すフローチャートである。なお、図4の処理は、例えば、イグニッションスイッチがオン、或いは、イグニッションスイッチがアクセサリオンの状態にされた場合に開始し、イグニッションスイッチがオフされた場合に終了する。
Next, a specific processing example performed by the
ステップ100では、視線検出が行われてステップ102へ移行する。すなわち、視線検出用カメラ18によって乗員を撮影して、視線検出用ECU20が撮影結果から視線を検出する処理を行って検出結果をジェスチャ操作ECU12に出力する。
In
ステップ102では、操作対象機器への視線の移動があったか否か判定される。該判定は、視線検出用ECU20によって検出された視線に基づいて、ジェスチャ操作ECU12が予め定めた操作対象機器22が存在する方向への視線の移動があったか否かを判定し、該判定が肯定された場合にはステップ104へ移行し、否定された場合には一連の処理がリターンされる。
In
ステップ104では、操作対象機器候補がジェスチャ操作ECU12によって抽出されてステップ106へ移行する。すなわち、視線検出用ECU20によって検出されたちら見の視線先に存在する操作対象候補を抽出する。例えば、図1の一点鎖線矢印で示すように、ちら見先にディスプレイ22Aとインパネスイッチ22Bが存在する場合には、これらを操作対象機器候補として抽出する。
In
ステップ106では、目の位置が検出されてステップ108へ移行する。すなわち、視線検出用カメラ18によって乗員を撮影して、視線検出用ECU20が撮影結果から乗員の目の位置を検出する処理を行って検出結果をジェスチャ操作ECU12に出力する。
In
ステップ108では、手の位置が検出されてステップ110へ移行する。すなわち、ジェスチャ操作検出用カメラ14によって乗員を撮影して、ジェスチャ操作検出用ECU16が撮影結果から乗員の手の位置を検出する処理を行って検出結果をジェスチャ操作ECU12に出力する。
In
ステップ110では、操作対象機器の決定が行われてステップ112へ移行する。すなわち、乗員の目の位置と乗員の手の位置の延長線上に位置する操作対象候補をジェスチャ操作ECU12が特定することにより、特定した操作対象機器候補を操作対象に決定する。
In
ステップ112では、ジェスチャ操作が検出されてステップ114へ移行する。すなわち、ジェスチャ操作検出用カメラ14によって乗員を撮影して、ジェスチャ操作検出用ECU16が撮影結果からジェスチャ操作を検出する処理を行って検出結果をジェスチャ操作ECU12に出力する。
In
ステップ114では、ジェスチャ操作を認識したか否かジェスチャ操作ECU12によって判定される。該判定は、ステップ112において、予め定めたジェスチャ操作を検出できたか否かを判定し、該判定が肯定された場合にはステップ116へ移行し、否定された場合には、ステップ118へ移行する。
In
ステップ116では、ステップ110で決定した操作対象機器22に対してステップ112で検出したジェスチャ操作に対応する操作指示をジェスチャ操作ECU12が行う。これによって、ジェスチャ操作によって操作対象機器を操作することができる。
In step 116, the
また、ステップ118では、予め定めたジェスチャ操作エラー処理が行われて一連の処理がリターンされる。ジェスチャ操作エラー処理としては、例えば、ジェスチャ操作を認識できなかったことを表すアラーム出力や、音声出力、表示等を行う。
In
(第2実施形態) (Second Embodiment)
続いて、本発明の第2実施形態に係るジェスチャ操作装置について説明する。図5は、本発明の第2実施形態に係るジェスチャ操作装置の構成を示すブロック図である。なお、第1実施形態と同一構成については同一符号を付して詳細な説明を省略する。 Next, a gesture operation device according to the second embodiment of the present invention will be described. FIG. 5 is a block diagram showing the configuration of the gesture operating device according to the second embodiment of the present invention. In addition, about the same structure as 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
本実施形態のジェスチャ操作装置11は、第1実施形態に対して、操作対象を決定したときに、操作対象を表す情報を報知する報知機器を更に備えた構成とされている。 The gesture operation device 11 according to the present embodiment is configured to further include a notification device that notifies information representing an operation target when the operation target is determined, with respect to the first embodiment.
すなわち、図5に示すように、ジェスチャ操作ECU12のI/O12Dに報知機器24が第1実施形態のジェスチャ操作装置10に対して更に接続されている。その他の構成については、第1実施形態と共通とされている。
That is, as shown in FIG. 5, the
報知機器24としては、例えば、図6に示すように、フロントウインドガラス等に画像を投影する投影部を有して当該投影部に画像を投影する、所謂ヘッドアップディスプレイ24Aを適用することができる。ヘッドアップディスプレイ24Aを適用した場合には、決定した操作対象機器22を表す情報(例えば、操作対象機器毎に予め定めた色を表示するようにしてもよいし、操作対象機器をテキスト表示するようにしてもよい。或いは、報知機器24は、図6に示すように、ルーフ等に設けたLED等の異なる色をジェスチャ操作している手に照射可能な光源24Bを適用することもできる。光源24Bを適用する場合には、例えば、ジェスチャ操作する手に向けて、操作対象機器22毎に色を予め定めておき、操作対象機器22に対応して予め定めた色の光を照射することにより、手に照射された光の色を確認することで、決定した操作対象機器22が操作しようとした機器か否かを乗員が認識することができる。
As the
続いて、本発明の第2実施形態に係るジェスチャ操作装置11で行われる具体的な処理例について説明する。図7は、本発明の第2実施形態に係るジェスチャ操作装置11におけるジェスチャ操作ECU12のROM12Bに記憶されたジェスチャ操作プログラムを実行することによって行われる処理の流れの一例を示すフローチャートである。なお、図7の処理は、例えば、イグニッションスイッチがオン、或いは、イグニッションスイッチがアクセサリオンの状態にされた場合に開始し、イグニッションスイッチがオフされた場合に終了する。また、第1実施形態と同一処理については同一符号を付して説明する。
Next, a specific processing example performed by the gesture operation device 11 according to the second embodiment of the present invention will be described. FIG. 7 is a flowchart illustrating an example of a flow of processing performed by executing a gesture operation program stored in the
ステップ100では、視線検出が行われてステップ102へ移行する。すなわち、視線検出用カメラ18によって乗員を撮影して、視線検出用ECU20が撮影結果から視線を検出する処理を行って検出結果をジェスチャ操作ECU12に出力する。
In
ステップ102では、操作対象機器への視線の移動があったか否か判定される。該判定は、視線検出用ECU20によって検出された視線に基づいて、ジェスチャ操作ECU12が予め定めた操作対象機器22が存在する方向への視線の移動があったか否かを判定し、該判定が肯定された場合にはステップ104へ移行し、否定された場合には一連の処理がリターンされる。
In
ステップ104では、操作対象機器候補がジェスチャ操作ECU12によって抽出されてステップ106へ移行する。すなわち、視線検出用ECU20によって検出されたちら見の視線先に存在する操作対象候補を抽出する。例えば、図1の一点鎖線矢印で示すように、ちら見先にディスプレイ22Aとインパネスイッチ22Bが存在する場合には、これらを操作対象機器候補として抽出する。
In
ステップ106では、目の位置が検出されてステップ108へ移行する。すなわち、視線検出用カメラ18によって乗員を撮影して、視線検出用ECU20が撮影結果から乗員の目の位置を検出する処理を行って検出結果をジェスチャ操作ECU12に出力する。
In
ステップ108では、手の位置が検出されてステップ110へ移行する。すなわち、ジェスチャ操作検出用カメラ14によって乗員を撮影して、ジェスチャ操作検出用ECU16が撮影結果から乗員の手の位置を検出する処理を行って検出結果をジェスチャ操作ECU12に出力する。
In
ステップ110では、操作対象機器の決定が行われてステップ111へ移行する。すなわち、乗員の目の位置と乗員の手の位置の延長線上に位置する操作対象候補をジェスチャ操作ECU12が特定することにより、特定した操作対象機器候補を操作対象に決定する。
In
ステップ111では、決定した操作対象機器が報知機器24によって乗員に報知されてステップ112へ移行する。例えば、報知機器24としてヘッドアップディスプレイ24Aを適用した場合には、操作対象機器毎に色を予め定めて、決定した操作対象機器22に対応する色を表示したり、操作対象機器22が何であるかをテキスト表示したりすることにより、操作対象機器が適切な機器が選択されたか否かを確認することができる。或いは、報知機器24として光源24Bを適用した場合には、操作対象機器毎に色を予め定めて、決定した操作対象機器22に対応する色を乗員のジェスチャ操作をしている手に照射することで、手に照射されて光の色によって操作対象機器を認識することができる。或いは、報知機器25として音声出力装置等を適用して、音声により決定した操作対象機器22を報知するようにしてもよい。
In
ステップ112では、ジェスチャ操作が検出されてステップ114へ移行する。すなわち、ジェスチャ操作検出用カメラ14によって乗員を撮影して、ジェスチャ操作検出用ECU16が撮影結果からジェスチャ操作を検出する処理を行って検出結果をジェスチャ操作ECU12に出力する。
In
ステップ114では、ジェスチャ操作を認識したか否かジェスチャ操作ECU12によって判定される。該判定は、ステップ112において、予め定めたジェスチャ操作を検出できたか否かを判定し、該判定が肯定された場合にはステップ116へ移行し、否定された場合には、ステップ118へ移行する。
In
ステップ116では、ステップ110で決定した操作対象機器22に対してステップ112で検出したジェスチャ操作に対応する操作指示をジェスチャ操作ECU12が行う。これによって、ジェスチャ操作によって操作対象機器を操作することができる。
In step 116, the
また、ステップ118では、予め定めたジェスチャ操作エラー処理が行われて一連の処理がリターンされる。ジェスチャ操作エラー処理としては、例えば、ジェスチャ操作を認識できなかったことを表すアラーム出力や、音声出力、表示等を行う。
In
なお、上記の実施の形態では、ジェスチャ操作の操作対象機器22の一例として、インストルメントパネルに設けられたディスプレイ22Aや、インパネスイッチ22Bを一例として挙げたが、操作対象装置は、これに限るものではなく、例えば、ドアトリムに設けたパワーウインドスイッチや、ドアミラースイッチ等を操作対象機器として適用するようにしてもよい。
In the above embodiment, the
また、上記の実施の形態では、運転者によるジェスチャ操作を対象として説明したが、助手席等の乗員によるジェスチャ操作についても同様に制御するようにしてもよい。 In the above embodiment, the gesture operation by the driver has been described as an object. However, the gesture operation by a passenger such as a passenger seat may be similarly controlled.
また、上記の実施の形態では、視線を検出して操作対象機器候補を抽出してから、手の位置及び目の位置に基づいて操作対象機器を決定するようにしたが、操作対象機器候補の抽出を行わずに、手の位置及び目の位置のみに基づいて、操作対象機器を決定するようにしてもよい。 In the above embodiment, the operation target device candidate is determined based on the hand position and the eye position after detecting the line of sight and extracting the operation target device candidate. The operation target device may be determined based only on the position of the hand and the position of the eyes without performing extraction.
10 ジェスチャ操作装置
12 ジェスチャ操作ECU
14 ジェスチャ操作検出用カメラ
16 ジェスチャ操作検出用ECU
18 視線検出用カメラ
20 視線検出用ECU
22 操作対象機器
22A ディスプレイ
22B インパネスイッチ
24 報知機器
24A ヘッドアップディスプレイ
24B 光源
10
14 Gesture
18 Camera for eye-
22
Claims (5)
前記撮影手段の撮影結果から乗員の目の位置を検出する第1検出手段と、
前記撮影手段の撮影結果から乗員の手の位置及びジェスチャ操作を検出する第2検出手段と、
予め定めた複数の操作対象機器の中から第1検出手段によって検出された乗員の目の位置、及び第2検出手段によって検出された乗員の手の位置に基づいて操作対象機器を決定し、前記第2検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように、決定した操作対象機器を制御する制御手段と、
を備えたジェスチャ操作装置。 Photographing means for photographing the occupant;
First detection means for detecting the position of the occupant's eyes from the photographing result of the photographing means;
Second detection means for detecting the position of the occupant's hand and the gesture operation from the photographing result of the photographing means;
An operation target device is determined based on a position of an occupant's eye detected by the first detection means from a plurality of predetermined operation target devices and a position of the occupant's hand detected by the second detection means, Control means for controlling the determined operation target device so as to perform a predetermined operation corresponding to the gesture operation detected by the second detection means;
Gesture operating device with
前記制御手段が、予め定めた複数の操作対象機器の中から前記第1検出手段によって検出した視線の先に存在する操作対象機器候補を抽出する抽出手段を含み、前記抽出手段によって抽出された前記操作対象機器候補の中から、第1検出手段によって検出された乗員の目の位置、及び第2検出手段によって検出された乗員の手の位置に基づいて操作対象機器を決定する請求項1に記載のジェスチャ操作装置。 The first detection means further detects the line of sight of the occupant from the imaging result of the imaging means;
The control means includes an extraction means for extracting operation target device candidates existing ahead of the line of sight detected by the first detection means from a plurality of predetermined operation target devices, and the extraction means is extracted by the extraction means The operation target device is determined based on a position of an occupant's eye detected by the first detection unit and a position of the occupant's hand detected by the second detection unit from the operation target device candidates. Gesture operation device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013017555A JP2014149640A (en) | 2013-01-31 | 2013-01-31 | Gesture operation device and gesture operation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013017555A JP2014149640A (en) | 2013-01-31 | 2013-01-31 | Gesture operation device and gesture operation program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014149640A true JP2014149640A (en) | 2014-08-21 |
Family
ID=51572583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013017555A Pending JP2014149640A (en) | 2013-01-31 | 2013-01-31 | Gesture operation device and gesture operation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014149640A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017062607A (en) * | 2015-09-24 | 2017-03-30 | パナソニックIpマネジメント株式会社 | Equipment controller, equipment control method, equipment control program and recording medium |
WO2018116565A1 (en) * | 2016-12-22 | 2018-06-28 | 株式会社デンソー | Information display device for vehicle and information display program for vehicle |
JP2018162023A (en) * | 2017-03-27 | 2018-10-18 | 株式会社デンソー | Operation device |
WO2019053200A1 (en) * | 2017-09-18 | 2019-03-21 | Bayerische Motoren Werke Aktiengesellschaft | Method for outputting information to an object of a means of locomotion, system and automobile |
DE102018123114A1 (en) | 2017-11-20 | 2019-05-23 | Toyota Jidosha Kabushiki Kaisha | control unit |
US10506913B2 (en) | 2015-08-28 | 2019-12-17 | Fujifilm Corporation | Apparatus operation device, apparatus operation method, and electronic apparatus system |
US11683197B2 (en) | 2018-08-10 | 2023-06-20 | Denso Corporation | Vehicle master device, update data distribution control method, computer program product and data structure of specification data |
CN117021117A (en) * | 2023-10-08 | 2023-11-10 | 电子科技大学 | Mobile robot man-machine interaction and positioning method based on mixed reality |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009037434A (en) * | 2007-08-02 | 2009-02-19 | Tokyo Metropolitan Univ | Control equipment operation gesture recognition device; control equipment operation gesture recognition system, and control equipment operation gesture recognition program |
WO2012176535A1 (en) * | 2011-06-20 | 2012-12-27 | 本田技研工業株式会社 | Automotive instrument operating device and alert device |
-
2013
- 2013-01-31 JP JP2013017555A patent/JP2014149640A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009037434A (en) * | 2007-08-02 | 2009-02-19 | Tokyo Metropolitan Univ | Control equipment operation gesture recognition device; control equipment operation gesture recognition system, and control equipment operation gesture recognition program |
WO2012176535A1 (en) * | 2011-06-20 | 2012-12-27 | 本田技研工業株式会社 | Automotive instrument operating device and alert device |
Non-Patent Citations (1)
Title |
---|
JPN6016022146; 渡辺 博己 Hiroki Watanabe: 'マルチカメラを用いた全方位ポインティングジェスチャの方向推定 Estimation of Omni-Directinal Pointing' 電気学会論文誌C Vol.121-C No.9 The Transactions of The Institute of Electrical Engi 第121-C巻, 20010901, 1389頁, (社)電気学会 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10506913B2 (en) | 2015-08-28 | 2019-12-17 | Fujifilm Corporation | Apparatus operation device, apparatus operation method, and electronic apparatus system |
JP2017062607A (en) * | 2015-09-24 | 2017-03-30 | パナソニックIpマネジメント株式会社 | Equipment controller, equipment control method, equipment control program and recording medium |
WO2018116565A1 (en) * | 2016-12-22 | 2018-06-28 | 株式会社デンソー | Information display device for vehicle and information display program for vehicle |
JP2018103646A (en) * | 2016-12-22 | 2018-07-05 | 株式会社デンソー | Vehicular information display device and vehicular information display program |
JP2018162023A (en) * | 2017-03-27 | 2018-10-18 | 株式会社デンソー | Operation device |
WO2019053200A1 (en) * | 2017-09-18 | 2019-03-21 | Bayerische Motoren Werke Aktiengesellschaft | Method for outputting information to an object of a means of locomotion, system and automobile |
DE102018123114A1 (en) | 2017-11-20 | 2019-05-23 | Toyota Jidosha Kabushiki Kaisha | control unit |
US10890980B2 (en) | 2017-11-20 | 2021-01-12 | Toyota Jidosha Kabushiki Kaisha | Operating apparatus for estimating an operation intention intended by a face direction |
US11683197B2 (en) | 2018-08-10 | 2023-06-20 | Denso Corporation | Vehicle master device, update data distribution control method, computer program product and data structure of specification data |
CN117021117A (en) * | 2023-10-08 | 2023-11-10 | 电子科技大学 | Mobile robot man-machine interaction and positioning method based on mixed reality |
CN117021117B (en) * | 2023-10-08 | 2023-12-15 | 电子科技大学 | Mobile robot man-machine interaction and positioning method based on mixed reality |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014149640A (en) | Gesture operation device and gesture operation program | |
US11205348B2 (en) | Drive assist device | |
US11524578B2 (en) | Control method and control device for vehicle display device | |
US10466800B2 (en) | Vehicle information processing device | |
JP6528139B2 (en) | Display control device and display control program | |
JP6413207B2 (en) | Vehicle display device | |
US9517776B2 (en) | Systems, methods, and apparatus for controlling devices based on a detected gaze | |
EP2857886A2 (en) | Display control apparatus, computer-implemented method, storage medium, and projection apparatus | |
US20160090043A1 (en) | Driver customizable blind spot display method and apparatus | |
JPWO2015125243A1 (en) | Display control device, display control method for display control device, gaze direction detection system, and calibration control method for gaze direction detection system | |
US20190213932A1 (en) | Projection display device, projection display method, and projection display program | |
JP2008230558A (en) | Vehicle periphery monitoring device | |
CN105523041B (en) | Lane-departure warning system and method for controlling the system | |
US20190236343A1 (en) | Gesture detection device | |
US11325472B2 (en) | Line-of-sight guidance device | |
JP2017097759A (en) | Visual line direction detection device, and visual line direction detection system | |
JP2010111260A (en) | Vehicle speed control device | |
US20190375292A1 (en) | Vehicle display system | |
JP6057755B2 (en) | Gesture operation device and gesture operation program | |
JPWO2017061026A1 (en) | Image display device | |
JP5136948B2 (en) | Vehicle control device | |
JP6365409B2 (en) | Image display device for vehicle driver | |
JP5617678B2 (en) | Vehicle display device | |
CN110850975A (en) | Electronic system with palm identification, vehicle and operation method thereof | |
CN104517540A (en) | Curved display apparatus with safety button |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160614 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160715 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161129 |