JP2016091171A - Operation input device - Google Patents

Operation input device Download PDF

Info

Publication number
JP2016091171A
JP2016091171A JP2014222628A JP2014222628A JP2016091171A JP 2016091171 A JP2016091171 A JP 2016091171A JP 2014222628 A JP2014222628 A JP 2014222628A JP 2014222628 A JP2014222628 A JP 2014222628A JP 2016091171 A JP2016091171 A JP 2016091171A
Authority
JP
Japan
Prior art keywords
gesture
region
steering wheel
vehicle
operation input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014222628A
Other languages
Japanese (ja)
Other versions
JP6413645B2 (en
Inventor
忠孝 八幡
Tadako Yahata
忠孝 八幡
慎梧 豊留
Shingo Toyotome
慎梧 豊留
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Motors Corp
Original Assignee
Mitsubishi Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Motors Corp filed Critical Mitsubishi Motors Corp
Priority to JP2014222628A priority Critical patent/JP6413645B2/en
Publication of JP2016091171A publication Critical patent/JP2016091171A/en
Application granted granted Critical
Publication of JP6413645B2 publication Critical patent/JP6413645B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve an operation-input recognition rate for an operation input using a gesture.SOLUTION: An operation input device 10 recognizes an operator's gesture in a three-dimensional space and receives an operation input to to-be-operated equipment 30. In the three-dimensional space, a steering wheel 20 is provided and a plurality of gesture regions along at least two coordinate axis directions is set around the steering wheel 20. When an operator performs a predetermined gesture motion in the predetermined gesture region, the operation input device outputs a control signal to control the to-be-operated equipment to perform a motion identified by a combination of the gesture region and the gesture motion.SELECTED DRAWING: Figure 1

Description

本発明は、操作対象機器への操作入力を受け付ける操作入力装置に関する。   The present invention relates to an operation input device that receives an operation input to an operation target device.

従来、操作者のジェスチャを認識して操作対象機器への操作入力を受け付ける操作入力装置が知られている。ジェスチャを用いた操作入力は、スイッチやボタン等の入力部を用いる操作入力と比較して、操作者の視線や注意を入力部に向けることなく行うことができるので、例えば車両に搭載された車載機器への操作入力等に有効である。
例えば、下記特許文献1は、予め定めた複数の操作対象機器に対応して設けられた複数のジェスチャ領域にそれぞれ異なる色の光を照射し、複数のジェスチャ領域を撮影した撮影結果からジェスチャ操作を検出する共に当該ジェスチャ操作されたジェスチャ領域を検出する。そして、検出されたジェスチャ領域に対応する操作対象機器に対して、検出されたジェスチャ操作に対応する予め定めた操作を行うように制御する。
Conventionally, an operation input device that recognizes an operator's gesture and receives an operation input to an operation target device is known. Compared with operation input using an input unit such as a switch or a button, operation input using a gesture can be performed without directing the operator's line of sight or attention to the input unit. Effective for operation input to equipment.
For example, in Patent Document 1 below, a plurality of gesture regions provided corresponding to a plurality of predetermined operation target devices are irradiated with light of different colors, and a gesture operation is performed based on a result of photographing the plurality of gesture regions. In addition to detecting, a gesture region in which the gesture operation is performed is detected. Then, control is performed to perform a predetermined operation corresponding to the detected gesture operation on the operation target device corresponding to the detected gesture region.

特開2014−153954号公報JP 2014-153554 A

従来技術にかかるジェスチャを用いた操作入力は、広い空間内で行われるジェスチャを認識するために誤認識率が大きくなるという課題がある。この課題を解決するため、例えば入力用のジェスチャを単純な動きにしたり、複数のセンサやカメラを用いるなどの方法が考えられる。しかしながら、単純なジェスチャは数が限られるため操作入力の種類が限られてしまうという課題があり、複数のセンサやカメラを用いる場合はシステムが高額になるという課題がある。
また、上述した特許文献1では、車内空間内を車幅方向に複数のジェスチャ領域に分割しているが、各領域を操作者が把握できるように色光を照射するなどしており、当該色光が運転者の視覚の妨げになる可能性がある。
また、上述した特許文献1では、車内空間内を一方向(車幅方向)にのみ分割してジェスチャ領域を形成しているため、ジェスチャ動作に制限があるという課題がある。
The operation input using the gesture according to the related art has a problem that the recognition error rate increases because the gesture performed in a wide space is recognized. In order to solve this problem, for example, a method of making a gesture of input a simple movement or using a plurality of sensors and cameras can be considered. However, since the number of simple gestures is limited, there is a problem that the types of operation inputs are limited. When a plurality of sensors and cameras are used, there is a problem that the system becomes expensive.
Further, in Patent Document 1 described above, the interior space of the vehicle is divided into a plurality of gesture regions in the vehicle width direction. However, each region is irradiated with colored light so that the operator can grasp it. It may interfere with the driver's vision.
Moreover, in patent document 1 mentioned above, since the inside of a vehicle interior space is divided | segmented only to one direction (vehicle width direction) and the gesture area | region is formed, there exists a subject that gesture operation has a restriction | limiting.

本発明は、このような事情に鑑みなされたものであり、その目的は、ジェスチャを用いた操作入力において操作入力の認識率を向上させることにある。   The present invention has been made in view of such circumstances, and an object thereof is to improve the recognition rate of operation input in operation input using a gesture.

上述の目的を達成するため、請求項1の発明にかかる操作入力装置は、3次元空間内における操作者のジェスチャを認識して操作対象機器への操作入力を受け付ける操作入力装置であって、前記3次元空間を連続的に撮影する撮影手段と、前記撮影手段によって撮影された撮影画像に基づいて、前記3次元空間内に設定された所定のジェスチャ領域において、前記操作者が所定のジェスチャ動作を行ったか否かを識別し、前記所定のジェスチャ領域で前記所定のジェスチャ動作を行った場合、前記所定のジェスチャ領域と前記所定のジェスチャ動作との組み合わせによって特定される動作を前記操作対象機器に行わせる制御信号を出力するジェスチャ識別手段と、を備え、前記ジェスチャ領域は、前記3次元空間を少なくとも2つの座標軸方向に沿って複数の領域に分割したものである、ことを特徴とする。
請求項2の発明にかかる操作入力装置は、前記ジェスチャ領域は、前記3次元空間を3つの座標軸方向に沿って複数の領域に分割したものである、ことを特徴とする。
請求項3の発明にかかる操作入力装置は、前記3次元空間には車両のステアリングホイールが配置されており、前記ジェスチャ領域は、前記3次元空間を前記ステアリングホイールの中心点を原点として前記車両の上下方向にほぼ沿った略上下方向軸、および前記車両の前後方向にほぼ沿った略前後方向軸に沿って分割したものであり、前記略上下方向軸に沿った空間は、前記ステアリングホイールの内周領域、前記ステアリングホイールの外縁領域、および前記外縁領域より上方の上方領域に分割され、前記略前後方向軸に沿った空間は、前記ステアリングホイールが運転者と対向する面である前面領域と、前記ステアリングホイールの車体への取り付け面である後面領域とに分割される、ことを特徴とする。
請求項4の発明にかかる操作入力装置は、前記3次元空間には車両のステアリングホイールが配置されており、前記ジェスチャ領域は、前記3次元空間を前記ステアリングホイールの中心点を原点として前記車両の上下方向にほぼ沿った略上下方向軸、前記車両の前後方向にほぼ沿った略前後方向軸、および前記車両の車幅方向にほぼ沿った略車幅方向軸に沿って分割したものであり、前記略上下方向軸に沿った空間は、前記ステアリングホイールの内周領域、前記ステアリングホイールの外縁領域、および前記外縁領域より上方の上方領域に分割され、前記略前後方向軸に沿った空間は、前記ステアリングホイールが運転者と対向する面である前面領域と、前記ステアリングホイールの車体への取り付け面である後面領域とに分割され、前記略車幅方向軸に沿った空間は、前記ステアリングホイールの中心点から一方の車側側の領域と、前記中心点から他方の車側側の領域とに分割される、ことを特徴とする。
請求項5の発明にかかる操作入力装置は、前記操作対象機器は、前記車両内の車載機器である、ことを特徴とする。
In order to achieve the above object, an operation input device according to the invention of claim 1 is an operation input device that recognizes an operator's gesture in a three-dimensional space and receives an operation input to an operation target device. The operator performs a predetermined gesture operation in a predetermined gesture region set in the three-dimensional space based on an image capturing unit that continuously captures the three-dimensional space and a captured image captured by the image capturing unit. When the predetermined gesture operation is performed in the predetermined gesture region, the operation target device performs an operation specified by a combination of the predetermined gesture region and the predetermined gesture operation. Gesture recognition means for outputting a control signal for causing the gesture region to move in the three-dimensional space in at least two coordinate axis directions. It is obtained by dividing into a plurality of regions along the, characterized in that.
The operation input device according to a second aspect of the invention is characterized in that the gesture region is obtained by dividing the three-dimensional space into a plurality of regions along three coordinate axis directions.
In the operation input device according to a third aspect of the present invention, a steering wheel of a vehicle is arranged in the three-dimensional space, and the gesture region has the three-dimensional space as an origin at the center point of the steering wheel. It is divided along a substantially vertical axis substantially along the vertical direction and a substantially longitudinal axis substantially along the longitudinal direction of the vehicle, and the space along the substantially vertical axis is an inner space of the steering wheel. The space is divided into a circumferential region, an outer edge region of the steering wheel, and an upper region above the outer edge region, and the space along the substantially front-rear axis is a front region where the steering wheel is a surface facing the driver; The steering wheel is divided into a rear surface region that is a mounting surface to the vehicle body.
In the operation input device according to a fourth aspect of the present invention, a steering wheel of a vehicle is arranged in the three-dimensional space, and the gesture region has the three-dimensional space as an origin at a center point of the steering wheel. Divided along a substantially vertical axis substantially along the vertical direction, a substantially longitudinal axis substantially along the vehicle longitudinal direction, and a substantially vehicle width direction axis substantially along the vehicle width direction of the vehicle, The space along the substantially vertical axis is divided into an inner circumferential region of the steering wheel, an outer edge region of the steering wheel, and an upper region above the outer edge region, and the space along the substantially longitudinal axis is The steering wheel is divided into a front region that is a surface facing the driver and a rear region that is a mounting surface of the steering wheel to the vehicle body. Space along the substantially vehicle transverse axis, said and one of the car-side side area from the center point of the steering wheel, is divided from the center point to the other car side side region, it is characterized.
The operation input device according to a fifth aspect of the invention is characterized in that the operation target device is an in-vehicle device in the vehicle.

請求項1の発明によれば、3次元空間内における操作者のジェスチャを認識して操作入力を受け付けるにあたって、予め定められた所定のジェスチャ動作を行ったか否かと、当該所定のジェスチャ動作が行われた領域とに基づいて操作入力の内容(操作対象機器の動作)を特定する。よって、領域に区分されていない単一空間内でジェスチャを行う場合と比較して、操作入力の意図のない単なる動作を操作入力のジェスチャと誤認識する可能性を低減することができる。また、ジェスチャ領域は3次元空間を少なくとも2つの座標軸方向に沿って複数の領域に分割したものであるので、ジェスチャ動作を行う位置をより詳細に特定することができ、操作入力の認識率を向上させることができる。また、ジェスチャ動作とジェスチャ領域との組み合わせによって、操作入力の種類を増加させることができる。
請求項2の発明によれば、3次元空間を3つの座標軸方向に沿って複数の領域に分割するので、3次元空間をより多くの領域に分割することができるとともに、3次元空間の各座標軸に沿った動作を特定しやすくなり、ジェスチャ動作の幅を広げることができる。
請求項3の発明によれば、車両のステアリングホイールが基準となって、操作者が座標軸方向を認識しやすくなり、ジェスチャ動作を容易かつ正確に行うことができる。
請求項4の発明によれば、3次元空間を略車幅方向軸に沿った領域にも分割するので、車両内の車載機器やその操作部の配置に即した操作入力が設定しやすくなり、ジェスチャを用いた操作入力を直感的に行いやすくすることができる。
請求項5の発明によれば、前方の注視を要求される車両の運転中に入力部等を用いずに車載機器を操作することができ、車両運転中の安全性を向上させることができる。
According to the first aspect of the present invention, when the operator's gesture in the three-dimensional space is recognized and the operation input is accepted, whether or not a predetermined gesture operation is performed in advance and whether the predetermined gesture operation is performed. The content of the operation input (the operation of the operation target device) is specified based on the selected area. Therefore, compared with the case where a gesture is performed in a single space that is not divided into regions, it is possible to reduce the possibility of erroneously recognizing a simple operation with no intention of operation input as a gesture of operation input. In addition, since the gesture region is obtained by dividing the three-dimensional space into a plurality of regions along at least two coordinate axis directions, the position where the gesture operation is performed can be specified in more detail, and the recognition rate of operation input is improved. Can be made. Further, the types of operation inputs can be increased by combining the gesture operation and the gesture area.
According to the invention of claim 2, since the three-dimensional space is divided into a plurality of regions along the three coordinate axis directions, the three-dimensional space can be divided into more regions, and each coordinate axis of the three-dimensional space It is easy to specify the movement along the line, and the range of the gesture movement can be widened.
According to the third aspect of the invention, the operator can easily recognize the coordinate axis direction based on the steering wheel of the vehicle, and the gesture operation can be performed easily and accurately.
According to the invention of claim 4, since the three-dimensional space is also divided into regions substantially along the axis in the vehicle width direction, it becomes easy to set operation inputs in accordance with the arrangement of the in-vehicle device in the vehicle and its operation unit, Operation input using gestures can be easily performed intuitively.
According to the fifth aspect of the present invention, it is possible to operate the in-vehicle device without using the input unit or the like during driving of the vehicle that requires gaze ahead, and it is possible to improve safety during driving of the vehicle.

実施の形態にかかる操作入力装置10の構成を示すブロック図である。It is a block diagram which shows the structure of the operation input apparatus 10 concerning embodiment. ステアリングホイール20の正面図である。2 is a front view of a steering wheel 20. FIG. ステアリングホイール20の側面図(図2のA矢視図)である。FIG. 3 is a side view of the steering wheel 20 (viewed in the direction of arrow A in FIG. 2). 操作識別データベース148の内容を模式的に示す表である。It is a table | surface which shows the content of the operation identification database 148 typically. 操作入力のジェスチャを模式的に示す説明図である。It is explanatory drawing which shows the gesture of operation input typically. 操作入力のジェスチャを模式的に示す説明図である。It is explanatory drawing which shows the gesture of operation input typically. 操作入力のジェスチャを模式的に示す説明図である。It is explanatory drawing which shows the gesture of operation input typically. 操作入力装置10による処理の手順を示すフローチャートである。4 is a flowchart illustrating a processing procedure performed by the operation input device 10. 実施の形態2における3次元空間内の領域設定例である。12 is an example of setting an area in a three-dimensional space in the second embodiment. 操作識別データベース148の内容を模式的に示す表である。It is a table | surface which shows the content of the operation identification database 148 typically. 操作入力のジェスチャを模式的に示す説明図である。It is explanatory drawing which shows the gesture of operation input typically. 操作入力のジェスチャを模式的に示す説明図である。It is explanatory drawing which shows the gesture of operation input typically. 3次元空間内の他の領域設定例である。It is another example of area setting in a three-dimensional space.

以下に添付図面を参照して、本発明にかかる操作入力装置の好適な実施の形態を詳細に説明する。   Exemplary embodiments of an operation input device according to the present invention will be explained below in detail with reference to the accompanying drawings.

(実施の形態1)
図1は、実施の形態にかかる操作入力装置10の構成を示すブロック図である。
実施の形態にかかる操作入力装置10は、図示しない車両に搭載されており、3次元空間S内における操作者のジェスチャを認識して車両内の車載機器30(操作対象機器)への操作入力を受け付ける。
本実施の形態では、3次元空間Sとは車両内の車室空間であり、特に運転席近傍のステアリングホイール20が配置された空間を指す。
また、本実施の形態では、ステアリングホイール20を基準として周囲の空間を複数の領域(ジェスチャ領域)に分割し、どの領域でどのようなジェスチャ(ジェスチャ動作)が行われたかによって、操作内容を識別する。
すなわち、操作入力装置10は、ジェスチャを用いた操作入力が行われる際に、ジェスチャ動作と、そのジェスチャ動作が行われた位置を示すジェスチャ領域によって操作入力の内容を特定する。
このように、ジェスチャ時に基準となる部材(ステアリングホイール20)を空間内で特定することによって、操作者(運転者)がジェスチャの基準となる位置を認識しやすく、操作を行いやすくすることができるとともに、操作入力装置10におけるジェスチャの認識率を向上させることができる。
(Embodiment 1)
FIG. 1 is a block diagram illustrating a configuration of an operation input device 10 according to the embodiment.
The operation input device 10 according to the embodiment is mounted on a vehicle (not shown), recognizes an operator's gesture in the three-dimensional space S, and inputs an operation input to the in-vehicle device 30 (operation target device) in the vehicle. Accept.
In the present embodiment, the three-dimensional space S is a cabin space in the vehicle, and particularly refers to a space where the steering wheel 20 in the vicinity of the driver's seat is arranged.
In the present embodiment, the surrounding space is divided into a plurality of regions (gesture regions) with reference to the steering wheel 20, and the operation content is identified according to what gesture (gesture operation) is performed in which region. To do.
That is, when an operation input using a gesture is performed, the operation input device 10 specifies the content of the operation input based on the gesture operation and the gesture area indicating the position where the gesture operation is performed.
In this way, by specifying the reference member (steering wheel 20) in the space in the space, it is easy for the operator (driver) to recognize the reference position of the gesture and to perform the operation. At the same time, the gesture recognition rate in the operation input device 10 can be improved.

図2は、ステアリングホイール20の正面図であり、図3は、ステアリングホイール20の側面図(図2のA矢視図)である。
図2に示すように、ステアリングホイール20は、環状のグリップ部22と、当該グリップ部22の中央に配置されたセンター部24と、当該センター部24から左右の径方向に延設されてセンター部24とグリップ部22とを接続する複数のスポーク部26と、を有している。
また、図3に示すように、ステアリングホイール20は、車室内前方の幅方向に延びて形成されているインストルメントパネル31からコラムカバー32を介して配設されている。
ステアリングホイール20は、コラムカバー32内でステアリングシャフト34の上端と連結されている 。ステアリングシャフト34は、筒状のステアリングコラム36内に回転自在に支持され、コラムカバー32内からインストルメントパネル31内にかけて延びている。
ステアリングコラム36には、ステアリングホイール20の角度を変更するチルト装置38がインストルメントパネル31内に設けられている。
FIG. 2 is a front view of the steering wheel 20, and FIG. 3 is a side view of the steering wheel 20 (viewed in the direction of arrow A in FIG. 2).
As shown in FIG. 2, the steering wheel 20 includes an annular grip portion 22, a center portion 24 disposed in the center of the grip portion 22, and a center portion extending from the center portion 24 in the left and right radial directions. 24 and a plurality of spoke portions 26 for connecting the grip portion 22 to each other.
Further, as shown in FIG. 3, the steering wheel 20 is disposed via a column cover 32 from an instrument panel 31 formed to extend in the width direction in front of the vehicle interior.
The steering wheel 20 is connected to the upper end of the steering shaft 34 in the column cover 32. The steering shaft 34 is rotatably supported in a cylindrical steering column 36 and extends from the column cover 32 to the instrument panel 31.
The steering column 36 is provided with a tilt device 38 that changes the angle of the steering wheel 20 in the instrument panel 31.

本実施の形態では、ステアリングホイール20周辺の3次元空間Sを、少なくとも2つの座標軸方向に沿って複数の領域に分割することによってジェスチャ領域を特定する。
実施の形態1では、3次元空間Sをステアリングホイール20の中心点を原点Oとして、車両の上下方向にほぼ沿った略上下方向軸であるX軸および車両の前後方向にほぼ沿った略前後方向軸であるZ軸に沿って分割してジェスチャ領域を特定する。
ここで、車両の上下方向や前後方向にほぼ沿ったとは、図3に示すようにステアリングホイール20は車両の前後方向に傾けて配置されている場合が多く、後述のようにステアリングホイール20の円環を基準として座標軸を設定した場合、車両の上下方向や前後方向に厳密には沿わないことを意味する。
In the present embodiment, the gesture region is specified by dividing the three-dimensional space S around the steering wheel 20 into a plurality of regions along at least two coordinate axis directions.
In the first embodiment, the three-dimensional space S is set to the origin O as the center point of the steering wheel 20, and the X axis, which is a substantially vertical axis substantially along the vertical direction of the vehicle, and the substantially longitudinal direction substantially along the longitudinal direction of the vehicle. A gesture region is specified by dividing along the Z-axis.
Here, “almost along the up-down direction and the front-rear direction of the vehicle” means that the steering wheel 20 is often inclined with respect to the front-rear direction of the vehicle as shown in FIG. When the coordinate axis is set based on the ring, it means that the vehicle does not strictly follow the vertical direction or the front-rear direction of the vehicle.

略上下方向軸(X軸)に沿った空間は、図2に示すようにステアリングホイール20の内周領域X1、ステアリングホイール20の外縁領域X2、および外縁領域X2より上方の上方領域X3に分割される。
なお、外縁領域X2は、例えばステアリングホイール20のグリップ部22の上端部22Aから上に数センチ程度(操作者の握りこぶしの高さ程度)までの領域である。
また、本実施の形態では、各領域X1〜X3を原点Oより上の空間にのみ設定している。これは、原点Oより下の空間は操作者の視界に入りにくく、操作が行いづらいためである。
しかしながら、図13Aに示すように、原点Oより下の空間にも各領域X1〜X3を設定してもよい。また、図13Bに示すように、原点Oより上の空間に設定された領域X1〜X3と、原点Oより下の空間に設定された領域X1〜X3(領域X1’〜X3’)とを別個の領域として設定してもよい。
また、略前後方向軸(Z軸)に沿った空間は、ステアリングホイール20が運転者と対向する面である前面領域Z1と、ステアリングホイール20の車体への取り付け面である後面領域Z2とに分割される。
As shown in FIG. 2, the space along the substantially vertical axis (X axis) is divided into an inner peripheral region X1 of the steering wheel 20, an outer edge region X2 of the steering wheel 20, and an upper region X3 above the outer edge region X2. The
The outer edge region X2 is, for example, a region from the upper end 22A of the grip portion 22 of the steering wheel 20 up to about several centimeters (about the height of the fist of the operator).
In the present embodiment, the regions X1 to X3 are set only in the space above the origin O. This is because the space below the origin O is difficult to enter the operator's field of view and is difficult to operate.
However, as shown in FIG. 13A, the regions X1 to X3 may be set in a space below the origin O. Further, as shown in FIG. 13B, the regions X1 to X3 set in the space above the origin O and the regions X1 to X3 (regions X1 ′ to X3 ′) set in the space below the origin O are separated. It may be set as a region.
Further, the space substantially along the longitudinal axis (Z-axis) is divided into a front region Z1, which is a surface where the steering wheel 20 faces the driver, and a rear region Z2, which is a mounting surface of the steering wheel 20 to the vehicle body. Is done.

図1の説明に戻り、操作入力装置10は、撮影手段12と、ジェスチャ識別手段14とによって構成される。
撮影手段12は、3次元空間を連続的に撮影する。連続的に撮影とは、3次元空間内における操作者の挙動(ジェスチャ)が認識可能な画像群(映像データ)を撮影することを指す。
撮影手段12は、例えば赤外線カメラであり、夜間でも3次元空間内の映像を撮影可能とする。また、撮影手段12を複数のカメラ(ステレオカメラ等)で構成してもよい。
撮影手段12の設置位置は任意であるが、ステアリングホイール20および上述した各領域X1〜X3,Z1,Z2を撮影範囲に含むことができる位置とする。
Returning to the description of FIG. 1, the operation input device 10 includes an imaging unit 12 and a gesture identification unit 14.
The photographing means 12 continuously photographs a three-dimensional space. Continuous shooting refers to shooting a group of images (video data) in which the behavior (gesture) of the operator in a three-dimensional space can be recognized.
The photographing means 12 is, for example, an infrared camera, and can photograph a video in a three-dimensional space even at night. Further, the photographing means 12 may be composed of a plurality of cameras (stereo cameras or the like).
The installation position of the photographing unit 12 is arbitrary, but the steering wheel 20 and the above-described regions X1 to X3, Z1, and Z2 are positions that can be included in the photographing range.

ジェスチャ識別手段14は、撮影手段12によって撮影された撮影画像に基づいて、3次元空間内Sに設定された所定のジェスチャ領域において、操作者が所定のジェスチャ動作を行ったか否かを識別し、所定のジェスチャ領域で所定のジェスチャ動作を行った場合、所定のジェスチャ領域と所定のジェスチャ動作との組み合わせによって特定される動作を操作対象機器に行わせる制御信号を出力する。
ジェスチャ識別手段14は、車両ECU等の処理部によって構成される。車両ECUは、CPU、制御プログラムなどを格納・記憶するROM、制御プログラムの作動領域としてのRAM、各種データを書き換え可能に保持するEEPROM、周辺回路等とのインターフェースをとるインターフェース部などを含んで構成され、上記CPUが上記制御プログラムを実行することによって、ジェスチャ識別手段14として機能する。
ジェスチャ識別手段14は、動作識別手段140、領域識別手段142、操作内容特定手段144、および機器制御手段146を有する。
また、ジェスチャ識別手段14には、ステアリングホイール20周辺のどの領域でどのようなジェスチャ動作が行われたかによって、操作内容を識別するための操作識別データベース(DB)148が記録されている。
The gesture identification unit 14 identifies whether or not the operator has performed a predetermined gesture operation in a predetermined gesture region set in the three-dimensional space S based on the captured image captured by the imaging unit 12. When a predetermined gesture operation is performed in a predetermined gesture region, a control signal that causes the operation target device to perform an operation specified by a combination of the predetermined gesture region and the predetermined gesture operation is output.
The gesture identification unit 14 is configured by a processing unit such as a vehicle ECU. The vehicle ECU includes a CPU, a ROM that stores and stores a control program, a RAM as an operation area of the control program, an EEPROM that holds various data in a rewritable manner, an interface unit that interfaces with peripheral circuits, and the like. When the CPU executes the control program, the CPU functions as the gesture identification unit 14.
The gesture identification unit 14 includes an operation identification unit 140, a region identification unit 142, an operation content identification unit 144, and a device control unit 146.
Further, the gesture identification unit 14 records an operation identification database (DB) 148 for identifying the operation content depending on what gesture operation is performed in which region around the steering wheel 20.

図4は、操作識別データベース148の内容を模式的に示す表である。
図4の表では、3種類の操作入力(第1の操作入力〜第3の操作入力)について、ジェスチャが行われる領域(略上下方向軸および略前後方向軸の各領域)1481、ジェスチャ動作1482、操作対象機器1483、および操作内容1484が示されている。
第1の操作入力は、ステアリングホイール20の内周領域X1かつ前面領域Z1で、ステアリングホイール20に対して手をかざすジェスチャ動作を行うものである。
すなわち、図5に示すようにステアリングホイール20に正対して操作者の手Hを広げるジェスチャである。
なお、図5〜図7において、図Aはステアリングホイール20の正面図であり、図Bはステアリングホイール20の側面図である。
第1の操作入力の操作対象機器30は車両のスモールランプおよびテールランプであり、操作内容は点灯および消灯、すなわちスモールランプおよびテールランプが消灯した状態でこのジェスチャが行われた場合にはスモールランプおよびテールランプを点灯し、スモールランプおよびテールランプが点灯した状態でこのジェスチャが行われた場合にはスモールランプおよびテールランプを消灯する。
FIG. 4 is a table schematically showing the contents of the operation identification database 148.
In the table of FIG. 4, for three types of operation inputs (first operation input to third operation input), a region where gesture is performed (each region of a substantially vertical axis and a substantially front-rear axis) 1481, a gesture operation 1482. An operation target device 1483 and an operation content 1484 are shown.
The first operation input is a gesture operation in which the hand is held with respect to the steering wheel 20 in the inner peripheral region X1 and the front region Z1 of the steering wheel 20.
That is, as shown in FIG. 5, the gesture is to open the operator's hand H directly to the steering wheel 20.
5 to 7, FIG. A is a front view of the steering wheel 20, and FIG. B is a side view of the steering wheel 20.
The operation target device 30 of the first operation input is a small lamp and a tail lamp of the vehicle, and the operation content is turned on and off, that is, when this gesture is performed with the small lamp and the tail lamp turned off, the small lamp and the tail lamp. Is turned on, and when this gesture is performed in a state where the small lamp and the tail lamp are lit, the small lamp and the tail lamp are turned off.

第2の操作入力は、ステアリングホイール20の上方領域X3かつ後面領域Z2で、操作者の手をグー(握りこぶし)からパー(手のひらを広げる)に変化させるジェスチャ動作を行うものである。
すなわち、図6に示すようにステアリングホイール20の上方のインストルメントパネル31寄りの領域に操作者の手Hを位置させて、手Hの形状をグーからパーへと変化させるジェスチャである。
第2の操作入力の操作対象機器30は車両のヘッドランプであり、操作内容は点灯および消灯、すなわちヘッドランプが消灯した状態でこのジェスチャが行われた場合にはヘッドランプを点灯し、ヘッドランプが点灯した状態でこのジェスチャが行われた場合にはヘッドランプを消灯する。
The second operation input is a gesture operation that changes the operator's hand from goo (fist) to par (opens the palm) in the upper region X3 and the rear surface region Z2 of the steering wheel 20.
That is, as shown in FIG. 6, the operator's hand H is positioned in an area near the instrument panel 31 above the steering wheel 20, and the shape of the hand H is changed from goo to par.
The operation target device 30 of the second operation input is a vehicle headlamp, and the operation content is turned on and off, that is, when this gesture is performed with the headlamp turned off, the headlamp is turned on. If this gesture is performed while is lit, the headlamp is turned off.

第3の操作入力は、操作者の手をステアリングホイール20の内周領域X1の前面領域Z1から後面領域Z2に移動させるジェスチャ動作を行うものである。
すなわち、図7に示すようにステアリングホイール20の内周に手をくぐらせるジェスチャである。
第3の操作入力の操作対象機器30は車両のヘッドライトであり、操作内容はヘッドライトが点灯した状態でこのジェスチャが行われた場合にはヘッドライトの照射方向をハイとローとで切り替え(ハイ/ロー切替)、ヘッドライトが消灯した状態でこのジェスチャが行われた場合にはパッシング点灯(瞬間的なハイビーム点灯)を行う。
The third operation input is to perform a gesture operation for moving the operator's hand from the front surface region Z1 of the inner peripheral region X1 of the steering wheel 20 to the rear surface region Z2.
That is, as shown in FIG. 7, it is a gesture for putting a hand over the inner periphery of the steering wheel 20.
The operation target device 30 of the third operation input is a vehicle headlight, and the operation content is switched between high and low in the headlight irradiation direction when this gesture is performed with the headlight turned on ( When this gesture is performed in a state where the headlight is turned off), passing lighting (instant high beam lighting) is performed.

図2の説明に戻り、動作識別手段140は、撮影手段12によって撮影された撮影画像に基づいて、3次元空間内で操作者が予め定められた所定のジェスチャ動作を行ったか否かを識別する。
本実施の形態において、操作者とは運転者であり、動作を行う部分は手Hである。動作識別手段140は、公知の画像認識技術(パターン認識技術)を用いて撮影画像中に映る手を識別し、さらに手の各点の位置が時間経過とともにどのように変化するかに基づいて、手のジェスチャ動作を認識する。そして、操作識別DB148に記録されたジェスチャ動作1482(所定のジェスチャ動作)と一致するジェスチャ動作を行ったか否かを識別する。
Returning to the description of FIG. 2, the action identifying unit 140 identifies whether or not the operator has performed a predetermined gesture action in the three-dimensional space based on the photographed image photographed by the photographing unit 12. .
In the present embodiment, the operator is a driver, and the part that performs the operation is the hand H. The action identifying means 140 identifies a hand appearing in a captured image using a known image recognition technique (pattern recognition technique), and further, based on how the position of each point of the hand changes over time, Recognize hand gestures. Then, it is identified whether or not a gesture operation that matches the gesture operation 1482 (predetermined gesture operation) recorded in the operation identification DB 148 has been performed.

領域識別手段142は、所定のジェスチャ動作が行われた位置が上述した複数の領域X1〜X3,Z1,Z2のいずれに属するかを識別する。
領域識別手段142は、撮影画像中のステアリングホイール20の位置とジェスチャ動作時における操作者の手の位置との相対関係から、当該ジェスチャ動作が複数の領域X1〜X3,Z1,Z2のいずれで行われたかを識別する。
The area identification unit 142 identifies which of the plurality of areas X1 to X3, Z1, and Z2 the position where the predetermined gesture operation is performed belongs.
The region identification unit 142 performs the gesture operation in any of the plurality of regions X1 to X3, Z1, and Z2 based on the relative relationship between the position of the steering wheel 20 in the captured image and the position of the operator's hand during the gesture operation. Identify what happened.

操作内容特定手段144は、所定のジェスチャ動作と所定のジェスチャが行われた領域とに基づいて、操作対象機器30への操作入力の内容(操作内容)を特定する。
操作内容特定手段144は、動作識別手段140で識別されたジェスチャ動作の種類と、領域識別手段142で識別された領域との組み合わせが、操作識別DB148に記録された操作入力に一致するかを判断し、一致している場合には当該操作入力に対応する操作対象機器30への操作内容を特定する。
例えば、動作識別手段140で識別されたジェスチャ動作がステアリングホイール20に対して手をかざすジェスチャ動作(第1の操作入力におけるジェスチャ動作)である場合、領域識別手段142で識別された領域がステアリングホイール20の内周領域X1かつ前面領域Z1である際には、第1の操作入力が行われたと判断し、車両のスモールランプおよびテールランプの点灯または消灯が操作内容であると特定する。
また、ステアリングホイール20に対して手をかざすジェスチャ動作(第1の操作入力のジェスチャ動作)が行われた場合であっても、領域識別手段142で識別された領域がステアリングホイール20の上方領域X3や後面領域Z2などである際には、該当する操作入力はないため操作入力なしと判定する。
すなわち、操作内容特定手段144は、動作識別手段140で識別されたジェスチャ動作と、領域識別手段142で識別された領域との組み合わせが、操作識別DB148に記録された操作入力のいずれかに一致した場合のみ、有効な操作入力として認識する。
The operation content specifying unit 144 specifies the content (operation content) of the operation input to the operation target device 30 based on the predetermined gesture operation and the area where the predetermined gesture is performed.
The operation content specifying unit 144 determines whether the combination of the type of gesture action identified by the action identifying unit 140 and the area identified by the area identifying unit 142 matches the operation input recorded in the operation identification DB 148. If they match, the operation content to the operation target device 30 corresponding to the operation input is specified.
For example, when the gesture motion identified by the motion identification unit 140 is a gesture motion (gesture motion in the first operation input) that holds the hand over the steering wheel 20, the region identified by the region identification unit 142 is the steering wheel. In the case of the 20 inner peripheral area X1 and the front area Z1, it is determined that the first operation input has been performed, and it is specified that the small lamp and tail lamp of the vehicle are turned on or off.
Further, even when a gesture operation of holding the hand over the steering wheel 20 (the gesture operation of the first operation input) is performed, the region identified by the region identification unit 142 is the upper region X3 of the steering wheel 20. Or the rear area Z2 or the like, it is determined that there is no operation input because there is no corresponding operation input.
In other words, the operation content specifying unit 144 matches the combination of the gesture action identified by the action identifying unit 140 and the area identified by the area identifying unit 142 with any of the operation inputs recorded in the operation identification DB 148. Only when it is recognized as a valid operation input.

機器制御手段146は、操作内容に対応する動作、すなわち所定のジェスチャ領域と所定のジェスチャ動作との組み合わせによって特定される動作を操作対象機器30に行わせる制御信号を出力する。
例えば上記第1の操作入力が行われた場合には、機器制御手段146は、車両のスモールランプおよびテールランプに対して点灯および消灯を切り換える制御信号を出力する。
The device control means 146 outputs a control signal that causes the operation target device 30 to perform an operation corresponding to the operation content, that is, an operation specified by a combination of a predetermined gesture region and a predetermined gesture operation.
For example, when the first operation input is performed, the device control unit 146 outputs a control signal for switching on / off the small lamp and tail lamp of the vehicle.

図8は、操作入力装置10による処理の手順を示すフローチャートである。
操作入力装置10は、車両の走行中は図8に示す処理をくり返し行う。
まず、撮影手段12によってステアリングホイール20周辺の車室空間を撮影する(ステップS800)。
動作識別手段140は、撮影手段12で撮影された撮影画像を解析し、操作者が操作識別DB148に記録されたジェスチャ動作(所定のジェスチャ動作)を行ったか否かを判断する(ステップS802)。
所定のジェスチャ動作を行っていない場合は(ステップS802:No)、ステップS800に戻って以降の処理をくり返す。
また、所定のジェスチャ動作を行った場合は(ステップS802:Yes)、領域識別手段142によって所定のジェスチャ動作を行った領域を特定する(ステップS804)。
つぎに、操作内容特定手段144は、所定のジェスチャ動作と所定のジェスチャを行った領域との組み合わせが、操作識別DB148に記録されたいずれかの操作入力に一致するか否かを判断する(ステップS806)。
いずれかの操作入力に一致しない場合は(ステップS806:No)、ステップS800に戻って以降の処理をくり返す。
また、いずれかの操作入力に一致する場合は(ステップS806:Yes)、操作対象機器30および制御内容を特定し(ステップS808)、機器制御手段146によって操作対象機器30へと制御信号を出力する(ステップS810)。
なお、図8および上記の説明では、動作識別手段140によって所定のジェスチャ動作が行われたことを識別してから領域識別手段142によってジェスチャ領域を識別しているが、これに限らずジェスチャ領域を識別してから所定のジェスチャ動作を行ったかを識別してもよい。例えば、操作者の手の位置を常時追跡しつつ、所定のジェスチャ動作が行われたかを識別してもよい。
FIG. 8 is a flowchart illustrating a processing procedure performed by the operation input device 10.
The operation input device 10 repeats the process shown in FIG. 8 while the vehicle is traveling.
First, the vehicle interior space around the steering wheel 20 is photographed by the photographing means 12 (step S800).
The motion identification unit 140 analyzes the captured image captured by the imaging unit 12, and determines whether or not the operator has performed a gesture operation (predetermined gesture operation) recorded in the operation identification DB 148 (step S802).
When the predetermined gesture operation is not performed (step S802: No), the process returns to step S800 and the subsequent processing is repeated.
When a predetermined gesture operation is performed (step S802: Yes), the region where the predetermined gesture operation is performed is specified by the region identification unit 142 (step S804).
Next, the operation content specifying unit 144 determines whether or not the combination of the predetermined gesture action and the area where the predetermined gesture is performed matches any one of the operation inputs recorded in the operation identification DB 148 (Step S1). S806).
If it does not match any of the operation inputs (step S806: No), the process returns to step S800 and the subsequent processing is repeated.
If it matches any of the operation inputs (step S806: Yes), the operation target device 30 and the control content are specified (step S808), and the device control means 146 outputs a control signal to the operation target device 30. (Step S810).
In FIG. 8 and the above description, the gesture identification region is identified by the region identification unit 142 after identifying that the predetermined gesture operation has been performed by the motion identification unit 140. However, the present invention is not limited to this. You may identify whether predetermined gesture operation | movement was performed after identifying. For example, it may be identified whether a predetermined gesture operation has been performed while constantly tracking the position of the operator's hand.

以上説明したように、実施の形態にかかる操作入力装置10は、3次元空間S内における操作者のジェスチャを認識して操作入力を受け付けるにあたって、予め定められた所定のジェスチャ動作を行ったか否かと、当該所定のジェスチャ動作が行われた領域とに基づいて操作入力の内容(操作対象機器30の動作)を特定する。
よって、領域に区分されていない単一空間内でジェスチャを行う場合と比較して、操作入力の意図のない単なる動作を操作入力のジェスチャと誤認識する可能性を低減することができる。
また、ジェスチャ領域は3次元空間を少なくとも2つの座標軸方向に沿って複数の領域に分割したものであるので、ジェスチャ動作を行う位置をより詳細に特定することができ、操作入力の認識率を向上させることができる。
また、ジェスチャ動作とジェスチャ領域とを組み合わせることによって、操作入力の種類を増加させることができる。
また、操作入力装置10は、車両のステアリングホイール20が基準となって、操作者が座標軸方向を認識しやすくなり、ジェスチャ動作を容易かつ正確に行うことができる。
また、操作入力装置10は、前方の注視を要求される車両の運転中に入力部等を用いずに車載機器30を操作することができ、車両運転中の安全性を向上させることができる。
As described above, whether or not the operation input device 10 according to the embodiment has performed a predetermined gesture operation in advance when recognizing an operator's gesture in the three-dimensional space S and receiving an operation input. The content of the operation input (the operation of the operation target device 30) is specified based on the area where the predetermined gesture operation is performed.
Therefore, compared with the case where a gesture is performed in a single space that is not divided into regions, it is possible to reduce the possibility of erroneously recognizing a simple operation with no intention of operation input as a gesture of operation input.
In addition, since the gesture region is obtained by dividing the three-dimensional space into a plurality of regions along at least two coordinate axis directions, the position where the gesture operation is performed can be specified in more detail, and the recognition rate of operation input is improved. Can be made.
Further, the types of operation inputs can be increased by combining the gesture action and the gesture area.
In addition, the operation input device 10 is based on the vehicle steering wheel 20 so that the operator can easily recognize the direction of the coordinate axis, and the gesture operation can be performed easily and accurately.
Further, the operation input device 10 can operate the in-vehicle device 30 without using an input unit or the like during driving of a vehicle that requires a forward gaze, and can improve safety during driving of the vehicle.

(実施の形態2)
実施の形態1では、ステアリングホイール20周辺の3次元空間Sを2つの座標軸方向、すなわちステアリングホイール20の中心点を原点Oとして、車両の上下方向にほぼ沿った略上下方向軸であるX軸および車両の前後方向にほぼ沿った略前後方向軸であるZ軸に沿って分割してジェスチャ領域とした。
実施の形態2では、ステアリングホイール20周辺の3次元空間Sを3つの座標軸方向に沿って複数の領域に分割してジェスチャ領域とする。すなわち、上述した略上下方向軸であるX軸および略前後方向軸であるZ軸に加えて、車両の車幅方向にほぼ沿った略車幅方向軸であるY軸に沿って分割する。
なお、実施の形態2において、実施の形態1と同様の箇所については実施の形態1と同じ符号を用い、詳細な説明を省略する。
(Embodiment 2)
In the first embodiment, the three-dimensional space S around the steering wheel 20 is set in two coordinate axis directions, that is, the center point of the steering wheel 20 is the origin O, and the X axis, which is a substantially vertical axis substantially along the vertical direction of the vehicle. A gesture region is formed by dividing along the Z axis, which is a substantially longitudinal axis substantially along the longitudinal direction of the vehicle.
In the second embodiment, the three-dimensional space S around the steering wheel 20 is divided into a plurality of regions along the three coordinate axis directions to form a gesture region. That is, in addition to the above-described X axis that is the substantially vertical axis and Z axis that is the substantially front-rear direction axis, the image is divided along the Y axis that is the substantially vehicle width direction axis substantially along the vehicle width direction of the vehicle.
In the second embodiment, the same parts as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and detailed description thereof is omitted.

図9は、実施の形態2における3次元空間内の領域設定例である。
図9に示すように、実施の形態2では、ステアリングホイール20を正面視した際に、略上下方向軸(X軸)に沿って内周領域X1、外縁領域X2、および上方領域X3に分割するとともに、略車幅方向軸(Y軸)に沿った空間を、ステアリングホイール20の中心点(原点O)から一方の車側側の領域(図9では操作者から見て右側に位置する右側領域Y1)と、中心点(原点O)から他方の車側側の領域(図9では操作者から見て左側に位置する左側領域Y2)とに分割する。
なお、車両の略前後方向軸(Z軸)については実施の形態1と同様なので説明を省略する。
このように3次元空間上の3軸に沿って領域を設定することによって、操作入力に用いるジェスチャをより多く設定することができる。また、操作入力に用いるジェスチャ間の動きの違いが大きくなるので、操作入力の認識率を向上させることができる。
FIG. 9 is a region setting example in the three-dimensional space in the second embodiment.
As shown in FIG. 9, in the second embodiment, when the steering wheel 20 is viewed from the front, the steering wheel 20 is divided into an inner peripheral region X1, an outer edge region X2, and an upper region X3 along a substantially vertical axis (X axis). In addition, a space along the substantially vehicle width direction axis (Y axis) is defined as a region on the vehicle side from the center point (origin O) of the steering wheel 20 (the right region located on the right side as viewed from the operator in FIG. 9). Y1) and an area on the other vehicle side from the center point (origin O) (left area Y2 located on the left side as viewed from the operator in FIG. 9).
Note that the substantially longitudinal axis (Z-axis) of the vehicle is the same as that of the first embodiment, and thus the description thereof is omitted.
By setting the regions along the three axes in the three-dimensional space as described above, more gestures used for operation input can be set. In addition, since the difference in motion between gestures used for operation input becomes large, the recognition rate of operation input can be improved.

図10は、操作識別データベース148の内容を模式的に示す表である。
図10では、6種類の操作入力(第1の操作入力〜第6の操作入力)が記録されており、第1の操作入力〜第3の操作入力については図4と同様であるが、第4の操作入力〜第6の操作入力については略車幅方向軸に沿ったジェスチャ内容となっている。
第4の操作入力は、ステアリングホイール20の外縁領域X2に沿って操作者の手を右側領域Y1から左側領域Y2へと移動させ、さらに右側領域Y1へと戻すジェスチャ動作を行うものである。
すなわち、図11Aに示すように操作者の右手Hをステアリングホイール20の外縁に沿って車幅方向に往復させるジェスチャである。
第4の操作入力の操作対象機器30は、操作者から見て左側のターンランプであり、操作内容は点灯である。これは、操作者が左折操作をする際にステアリングホイール20を左側に回転させる動作を模擬している。
FIG. 10 is a table schematically showing the contents of the operation identification database 148.
In FIG. 10, six types of operation inputs (first operation input to sixth operation input) are recorded, and the first operation input to third operation input are the same as those in FIG. The operation input No. 4 to the sixth operation input are gesture contents substantially along the vehicle width direction axis.
The fourth operation input is a gesture operation in which the operator's hand is moved from the right region Y1 to the left region Y2 along the outer edge region X2 of the steering wheel 20, and is then returned to the right region Y1.
That is, as shown in FIG. 11A, the gesture is a reciprocation of the operator's right hand H in the vehicle width direction along the outer edge of the steering wheel 20.
The operation target device 30 of the fourth operation input is a left turn lamp as viewed from the operator, and the operation content is lit. This simulates the operation of rotating the steering wheel 20 to the left when the operator performs a left turn operation.

また、第5の操作入力は、ステアリングホイール20の外縁領域X2に沿って操作者の手を左側領域Y2から右側領域Y1へと移動させ、さらに左側領域Y2へと戻すジェスチャ動作を行うものである。
すなわち、図11Bに示すように操作者の左手Hをステアリングホイール20の外縁に沿って車幅方向に往復させるジェスチャである。
第5の操作入力の操作対象機器30は、操作者から見て右側のターンランプであり、操作内容は点灯である。これは、操作者が右折操作をする際にステアリングホイール20を右側に回転させる動作を模擬している。
The fifth operation input is a gesture operation in which the operator's hand is moved from the left region Y2 to the right region Y1 along the outer edge region X2 of the steering wheel 20, and is then returned to the left region Y2. .
In other words, as shown in FIG. 11B, the gesture is a reciprocation of the left hand H of the operator in the vehicle width direction along the outer edge of the steering wheel 20.
The operation target device 30 of the fifth operation input is a right turn lamp as viewed from the operator, and the operation content is lit. This simulates the operation of rotating the steering wheel 20 to the right when the operator performs a right turn operation.

また、第6の操作入力は、ステアリングホイール20の後面領域Z2において操作者の左手(左側領域Y2)の人差し指を動かすジェスチャ動作を行うものである。
すなわち、図12に示すように左側領域Y2に位置する操作者の左手Hでステアリングホイール20を握った状態で人差し指を挙げて往復させるジェスチャである。
第6の操作入力の操作対象機器30は、ワイパーであり、操作内容は稼働および非稼働の切り替え、すなわちワイパーが非稼働の状態でこのジェスチャが行われた場合にはワイパーを稼働させ、ワイパーが稼働した状態でこのジェスチャが行われた場合にはワイパーを非稼働とする。
第6の操作入力において左手でジェスチャを行うのは、一般的にワイパーの操作レバー(操作部)はステアリングホイール20の左後ろに配置されている場合が多く、ジェスチャと操作内容とが直感的に結びつきやすいためである。
The sixth operation input is a gesture operation for moving the index finger of the left hand (left region Y2) of the operator in the rear surface region Z2 of the steering wheel 20.
That is, as shown in FIG. 12, the gesture is a reciprocating gesture by raising the index finger while grasping the steering wheel 20 with the left hand H of the operator located in the left region Y2.
The operation target device 30 of the sixth operation input is a wiper, and the operation content is switched between operation and non-operation, that is, when this gesture is performed in a state where the wiper is not in operation, the wiper is operated. If this gesture is performed in the activated state, the wiper is deactivated.
In the sixth operation input, a gesture with the left hand is generally performed in many cases where the wiper operation lever (operation unit) is arranged on the left rear side of the steering wheel 20, and the gesture and the operation content are intuitive. It is because it is easy to connect.

このように操作対象機器30の本来の操作部の位置に基づいてジェスチャ動作を行う領域を設定する他、操作対象機器30の位置に基づいてジェスチャ動作を行う領域を設定してもよい。
例えば、運転席の左右に設けられた空調吹き出し口の風量を調整するに際して、右側の空調吹き出し口の調整は右側領域Y1で所定のジェスチャ動作を行うように設定し、左側の空調吹き出し口の調整は左側領域Y2で所定のジェスチャ動作を行うように設定するなどが考えられる。
In this way, in addition to setting the region for performing the gesture operation based on the position of the original operation unit of the operation target device 30, the region for performing the gesture operation may be set based on the position of the operation target device 30.
For example, when adjusting the air volume of the air conditioning outlets provided on the left and right sides of the driver's seat, the adjustment of the right air conditioning outlet is set to perform a predetermined gesture operation in the right region Y1, and the adjustment of the left air conditioning outlet For example, it may be set to perform a predetermined gesture operation in the left region Y2.

以上説明したように、実施の形態2によれば、3次元空間Sを3つの座標軸方向に沿って複数の領域に分割するので、3次元空間Sをより多くの領域に分割することができるとともに、3次元空間Sの各座標軸に沿った動作を特定しやすくなり、ジェスチャ動作の幅を広げることができる。
また、実施の形態2では、3次元空間Sを略車幅方向軸に沿った領域にも分割するので、車両内の車載機器やその操作部の配置に即した操作入力が設定しやすくなり、ジェスチャを用いた操作入力を直感的に行いやすくすることができる。
As described above, according to the second embodiment, since the three-dimensional space S is divided into a plurality of regions along the three coordinate axis directions, the three-dimensional space S can be divided into more regions. It becomes easy to specify the motion along each coordinate axis of the three-dimensional space S, and the width of the gesture motion can be widened.
Further, in the second embodiment, since the three-dimensional space S is also divided into regions substantially along the vehicle width direction axis, it becomes easy to set an operation input in accordance with the arrangement of the in-vehicle device in the vehicle and its operation unit, Operation input using gestures can be easily performed intuitively.

10……操作入力装置、12……撮影手段、14……ジェスチャ識別手段、140……動作識別手段、142……領域識別手段、144……操作内容特定手段、146……機器制御手段、148……操作識別データベース、20……ステアリングホイール、22……グリップ部、22A……上端部、24……センター部、26……スポーク部、30……車載機器(操作対象機器)、O……原点、X1……内周領域、X2……外縁領域、X3……上方領域、Y1……右側領域、Y2……左側領域、Z1……前面領域、Z2……後面領域。   DESCRIPTION OF SYMBOLS 10 ... Operation input device, 12 ... Imaging | photography means, 14 ... Gesture identification means, 140 ... Action identification means, 142 ... Area identification means, 144 ... Operation content specification means, 146 ... Apparatus control means, 148 …… Operation identification database, 20 …… Steering wheel, 22 …… Grip part, 22A …… Upper end part, 24 …… Center part, 26 …… Spoke part, 30 …… In-vehicle device (operation target device), O …… Origin, X1... Inner circumferential area, X2... Outer edge area, X3... Upper area, Y1... Right area, Y2 ... Left area, Z1.

Claims (5)

3次元空間内における操作者のジェスチャを認識して操作対象機器への操作入力を受け付ける操作入力装置であって、
前記3次元空間を連続的に撮影する撮影手段と、
前記撮影手段によって撮影された撮影画像に基づいて、前記3次元空間内に設定された所定のジェスチャ領域において、前記操作者が所定のジェスチャ動作を行ったか否かを識別し、前記所定のジェスチャ領域で前記所定のジェスチャ動作を行った場合、前記所定のジェスチャ領域と前記所定のジェスチャ動作との組み合わせによって特定される動作を前記操作対象機器に行わせる制御信号を出力するジェスチャ識別手段と、を備え、
前記ジェスチャ領域は、前記3次元空間を少なくとも2つの座標軸方向に沿って複数の領域に分割したものである、
ことを特徴とする操作入力装置。
An operation input device that recognizes an operator's gesture in a three-dimensional space and receives an operation input to an operation target device,
Photographing means for continuously photographing the three-dimensional space;
Based on a photographed image photographed by the photographing means, it is identified whether or not the operator has performed a predetermined gesture operation in a predetermined gesture area set in the three-dimensional space, and the predetermined gesture area And a gesture identifying means for outputting a control signal for causing the operation target device to perform an action specified by a combination of the predetermined gesture area and the predetermined gesture action when the predetermined gesture action is performed. ,
The gesture region is obtained by dividing the three-dimensional space into a plurality of regions along at least two coordinate axis directions.
An operation input device characterized by that.
前記ジェスチャ領域は、前記3次元空間を3つの座標軸方向に沿って複数の領域に分割したものである、
ことを特徴とする請求項1記載の操作入力装置。
The gesture region is obtained by dividing the three-dimensional space into a plurality of regions along three coordinate axis directions.
The operation input device according to claim 1.
前記3次元空間には車両のステアリングホイールが配置されており、
前記ジェスチャ領域は、前記3次元空間を前記ステアリングホイールの中心点を原点として前記車両の上下方向にほぼ沿った略上下方向軸、および前記車両の前後方向にほぼ沿った略前後方向軸に沿って分割したものであり、
前記略上下方向軸に沿った空間は、前記ステアリングホイールの内周領域、前記ステアリングホイールの外縁領域、および前記外縁領域より上方の上方領域に分割され、
前記略前後方向軸に沿った空間は、前記ステアリングホイールが運転者と対向する面である前面領域と、前記ステアリングホイールの車体への取り付け面である後面領域とに分割される、
ことを特徴とする請求項1記載の操作入力装置。
A steering wheel of a vehicle is arranged in the three-dimensional space,
The gesture region has a substantially vertical axis substantially along the vertical direction of the vehicle with the center point of the steering wheel as an origin in the three-dimensional space, and a substantially longitudinal axis substantially along the longitudinal direction of the vehicle. Divided,
The space along the substantially vertical axis is divided into an inner peripheral region of the steering wheel, an outer edge region of the steering wheel, and an upper region above the outer edge region,
The space along the substantially longitudinal axis is divided into a front region, which is a surface where the steering wheel faces the driver, and a rear region, which is a mounting surface of the steering wheel to the vehicle body.
The operation input device according to claim 1.
前記3次元空間には車両のステアリングホイールが配置されており、
前記ジェスチャ領域は、前記3次元空間を前記ステアリングホイールの中心点を原点として前記車両の上下方向にほぼ沿った略上下方向軸、前記車両の前後方向にほぼ沿った略前後方向軸、および前記車両の車幅方向にほぼ沿った略車幅方向軸に沿って分割したものであり、
前記略上下方向軸に沿った空間は、前記ステアリングホイールの内周領域、前記ステアリングホイールの外縁領域、および前記外縁領域より上方の上方領域に分割され、
前記略前後方向軸に沿った空間は、前記ステアリングホイールが運転者と対向する面である前面領域と、前記ステアリングホイールの車体への取り付け面である後面領域とに分割され、
前記略車幅方向軸に沿った空間は、前記ステアリングホイールの中心点から一方の車側側の領域と、前記中心点から他方の車側側の領域とに分割される、
ことを特徴とする請求項2記載の操作入力装置。
A steering wheel of a vehicle is arranged in the three-dimensional space,
The gesture region includes a substantially vertical axis substantially along the vertical direction of the vehicle with the center point of the steering wheel as an origin in the three-dimensional space, a substantially longitudinal axis substantially along the longitudinal direction of the vehicle, and the vehicle Divided substantially along the vehicle width direction axis substantially along the vehicle width direction,
The space along the substantially vertical axis is divided into an inner peripheral region of the steering wheel, an outer edge region of the steering wheel, and an upper region above the outer edge region,
The space along the substantially longitudinal axis is divided into a front region, which is a surface where the steering wheel faces the driver, and a rear region, which is a mounting surface of the steering wheel to the vehicle body,
The space along the substantially vehicle width direction axis is divided into a region on one vehicle side from the center point of the steering wheel and a region on the other vehicle side from the center point.
The operation input device according to claim 2.
前記操作対象機器は、前記車両内の車載機器である、
ことを特徴とする請求項1から4のいずれか1項記載の操作入力装置。
The operation target device is an in-vehicle device in the vehicle.
The operation input device according to any one of claims 1 to 4, wherein
JP2014222628A 2014-10-31 2014-10-31 Operation input device Active JP6413645B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014222628A JP6413645B2 (en) 2014-10-31 2014-10-31 Operation input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014222628A JP6413645B2 (en) 2014-10-31 2014-10-31 Operation input device

Publications (2)

Publication Number Publication Date
JP2016091171A true JP2016091171A (en) 2016-05-23
JP6413645B2 JP6413645B2 (en) 2018-10-31

Family

ID=56019350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014222628A Active JP6413645B2 (en) 2014-10-31 2014-10-31 Operation input device

Country Status (1)

Country Link
JP (1) JP6413645B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019178943A (en) * 2018-03-30 2019-10-17 Necソリューションイノベータ株式会社 Motion determination device, motion determination method, and program
CN110480648A (en) * 2019-07-30 2019-11-22 深圳市琅硕海智科技有限公司 A kind of ball shape robot intelligent interactive system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11134090A (en) * 1997-10-30 1999-05-21 Tokai Rika Co Ltd Operation signal output device
JP2007237919A (en) * 2006-03-08 2007-09-20 Toyota Motor Corp Input operation device for vehicle
JP2008162376A (en) * 2006-12-27 2008-07-17 Takata Corp Vehicular working system, and vehicle
WO2014085277A1 (en) * 2012-11-27 2014-06-05 Neonöde Inc. Light-based touch controls on a steering wheel and dashboard
JP2014109994A (en) * 2012-12-04 2014-06-12 Alpine Electronics Inc Gesture recognition device, and method and program
US20150061895A1 (en) * 2012-03-14 2015-03-05 Flextronics Ap, Llc Radar sensing and emergency response vehicle detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11134090A (en) * 1997-10-30 1999-05-21 Tokai Rika Co Ltd Operation signal output device
JP2007237919A (en) * 2006-03-08 2007-09-20 Toyota Motor Corp Input operation device for vehicle
JP2008162376A (en) * 2006-12-27 2008-07-17 Takata Corp Vehicular working system, and vehicle
US20150061895A1 (en) * 2012-03-14 2015-03-05 Flextronics Ap, Llc Radar sensing and emergency response vehicle detection
WO2014085277A1 (en) * 2012-11-27 2014-06-05 Neonöde Inc. Light-based touch controls on a steering wheel and dashboard
JP2014109994A (en) * 2012-12-04 2014-06-12 Alpine Electronics Inc Gesture recognition device, and method and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019178943A (en) * 2018-03-30 2019-10-17 Necソリューションイノベータ株式会社 Motion determination device, motion determination method, and program
JP7053014B2 (en) 2018-03-30 2022-04-12 Necソリューションイノベータ株式会社 Motion judgment device, motion judgment method, and program
CN110480648A (en) * 2019-07-30 2019-11-22 深圳市琅硕海智科技有限公司 A kind of ball shape robot intelligent interactive system

Also Published As

Publication number Publication date
JP6413645B2 (en) 2018-10-31

Similar Documents

Publication Publication Date Title
CN110831819B (en) Parking assist method and parking assist device
CN105807912B (en) Vehicle, method for controlling the same, and gesture recognition apparatus therein
JP5143235B2 (en) Control device and vehicle surrounding monitoring device
EP3290301B1 (en) Parking assist device
KR101683509B1 (en) For preventing glaring by the head lamp and method for preventing glaring using the same
EP3051807B1 (en) Predicted-route presentation device and predicted-route presentation method
JPWO2015037117A1 (en) Information display system and information display device
EP2765568A1 (en) Warning device
US10484651B2 (en) Image display control device
JP6342874B2 (en) Image recognition device
WO2018061603A1 (en) Gestural manipulation system, gestural manipulation method, and program
JP2010111260A (en) Vehicle speed control device
JP2017208690A (en) Image creation device, image display system, and image display method
JP2012176656A (en) Parking support device
JP6413647B2 (en) Operation input device
JP6413649B2 (en) Operation input device
JP6413645B2 (en) Operation input device
JP6720729B2 (en) Display controller
JP2017186008A (en) Information display system
KR20170056100A (en) Objects displaying apparatus of head up display and method thereof
US10599226B2 (en) Operating system and method for operating an operating system for a motor vehicle
JP7055563B2 (en) Light distribution control device
JP6464681B2 (en) Operation input device
JP2020121638A (en) Display control device
WO2018193579A1 (en) Image recognition device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180917

R151 Written notification of patent or utility model registration

Ref document number: 6413645

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350