JP2016091182A

JP2016091182A - Operation input device

Info

Publication number: JP2016091182A
Application number: JP2014222788A
Authority: JP
Inventors: 忠孝八幡; Tadako Yahata; 慎梧豊留; Shingo Toyotome
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 2014-10-31
Filing date: 2014-10-31
Publication date: 2016-05-23
Anticipated expiration: 2034-10-31
Also published as: JP6413647B2

Abstract

PROBLEM TO BE SOLVED: To improve safety during steering a steering wheel and reduce a false recognition rate for an operation input using a gesture.SOLUTION: An operation input device 10 recognizes an operator's gesture in a three-dimensional space and receives an operation input to to-be-operated equipment 30. Gestures to serve as the operation input are classified into a prohibition gesture group for prohibiting the operation input from being received when a steering angle of a steering wheel 20 of a vehicle is not smaller than a predetermined angle, and a permission gesture group for receiving the operation input even when the steering angle is not smaller than the predetermined angle, and only the operation input by the permission gesture group is received when the steering angle is not smaller than the predetermined angle.SELECTED DRAWING: Figure 1

Description

本発明は、操作対象機器への操作入力を受け付ける操作入力装置に関する。 The present invention relates to an operation input device that receives an operation input to an operation target device.

従来、操作者のジェスチャを認識して操作対象機器への操作入力を受け付ける操作入力装置が知られている。ジェスチャを用いた操作入力は、スイッチやボタン等の入力部を用いる操作入力と比較して、操作者の視線や注意を入力部に向けることなく行うことができるので、例えば車両に搭載された車載機器への操作入力等に有効である。
例えば、下記特許文献１は、予め定めた複数の操作対象機器に対応して設けられた複数のジェスチャ領域にそれぞれ異なる色の光を照射し、複数のジェスチャ領域を撮影した撮影結果からジェスチャ操作を検出する共に当該ジェスチャ操作されたジェスチャ領域を検出する。そして、検出されたジェスチャ領域に対応する操作対象機器に対して、検出されたジェスチャ操作に対応する予め定めた操作を行うように制御する。 Conventionally, an operation input device that recognizes an operator's gesture and receives an operation input to an operation target device is known. Compared with operation input using an input unit such as a switch or a button, operation input using a gesture can be performed without directing the operator's line of sight or attention to the input unit. Effective for operation input to equipment.
For example, in Patent Document 1 below, a plurality of gesture regions provided corresponding to a plurality of predetermined operation target devices are irradiated with light of different colors, and a gesture operation is performed based on a result of photographing the plurality of gesture regions. In addition to detecting, a gesture region in which the gesture operation is performed is detected. Then, control is performed to perform a predetermined operation corresponding to the detected gesture operation on the operation target device corresponding to the detected gesture region.

特開２０１４−１５３９５４号公報JP 2014-153554 A

ジェスチャは操作者の体の一部、特に操作対象機器が車載機器である場合には、操作者である運転者の手を動かして行うのが一般的である。車両の運転中は、通常運転者の手はステアリングホイールを握った状態であるが、ジェスチャを行っている間はステアリングホイールを離した状態になる場合がある。また、ステアリングホイールを握った状態で行うジェスチャであっても、運転者の注意は多少ジェスチャに対して向くことになる。
よって、運転動作をより慎重に行う必要がある場面、例えばステアリングホイールを大きく操舵している際などには、ジェスチャを用いた操作入力は好ましくない場合がある。
また、ステアリングホイールの操舵量が大きい場合には、運転動作（ステアリングホイールの操舵）をジェスチャ動作と誤認識する可能性があり、操作入力装置の誤認識率が上昇する可能性があるという課題がある。 The gesture is generally performed by moving the driver's hand as a part of the operator's body, particularly when the operation target device is an in-vehicle device. While the vehicle is being driven, the driver's hand is usually in a state of gripping the steering wheel, but may be in a state of releasing the steering wheel while performing a gesture. Even if the gesture is performed while holding the steering wheel, the driver's attention is slightly directed toward the gesture.
Therefore, when a driving operation needs to be performed more carefully, for example, when the steering wheel is steered greatly, an operation input using a gesture may not be preferable.
Further, when the steering amount of the steering wheel is large, there is a possibility that the driving operation (steering of the steering wheel) may be erroneously recognized as a gesture operation, and the erroneous recognition rate of the operation input device may increase. is there.

本発明は、このような事情に鑑みなされたものであり、その目的は、ジェスチャを用いた操作入力においてステアリング操舵時の安全性向上および誤認識率低減を図ることにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to improve safety and reduce a false recognition rate at the time of steering by an operation input using a gesture.

上述の目的を達成するため、請求項１の発明にかかる操作入力装置は、３次元空間内における操作者のジェスチャを認識して操作対象機器への操作入力を受け付ける操作入力装置であって、前記操作対象機器は車両に搭載された車載機器であり、前記車両のステアリングホイールの操舵角を検出する操舵角検出手段と、前記操舵角に基づいて前記ジェスチャを用いた操作入力を受け付けるか否かを決定するジェスチャ操作可否決定手段と、前記３次元空間を連続的に撮影する撮影手段と、前記ジェスチャを用いた操作入力が許可されている場合、前記撮影手段によって撮影された撮影画像に基づいて、前記操作者が所定のジェスチャを行ったか否かを識別し、前記所定のジェスチャを行った際に、前記所定のジェスチャに対応する動作を前記操作対象機器に行わせる制御信号を出力するジェスチャ識別手段と、を備える。
請求項２の発明にかかる操作入力装置は、前記所定のジェスチャは複数種類設定されており、前記ジェスチャ可否決定手段は、前記複数種類の所定のジェスチャを、前記操舵角が所定角度以上の場合は受け付けを禁止する禁止ジェスチャ群と、前記操舵角が所定角度以上の場合にも受け付ける許可ジェスチャ群と、に分けて設定し、前記ジェスチャ識別手段は、前記操舵角が所定角度以上の場合には、前記操作者が前記許可ジェスチャ群に属するジェスチャを行ったか否かを識別し、前記許可ジェスチャ群に属するジェスチャを行った際に、当該ジェスチャに対応する動作を前記操作対象機器に行わせる制御信号を出力する、ことを特徴とする。
請求項３の発明にかかる操作入力装置は、前記ジェスチャ操作可否決定手段は、前記操舵角が所定角度以上の場合は前記ジェスチャを用いた操作入力を禁止する、ことを特徴とする。
請求項４の発明にかかる操作入力装置は、前記所定のジェスチャは、ジェスチャ動作と、当該ジェスチャ動作が行われた前記３次元空間上の位置を示すジェスチャ領域によって特定され、前記ジェスチャ領域は、前記３次元空間を少なくとも２つの座標軸方向に沿って複数の領域に分割したものである、ことを特徴とする。
請求項５の発明にかかる操作入力装置は、前記３次元空間には車両のステアリングホイールが配置されており、前記ジェスチャ領域は、前記３次元空間を前記ステアリングホイールの中心点を原点として前記車両の上下方向にほぼ沿った略上下方向軸、および前記車両の前後方向にほぼ沿った略前後方向軸に沿って分割したものであり、前記略上下方向軸に沿った空間は、前記ステアリングホイールの内周領域、前記ステアリングホイールの外縁領域、および前記外縁領域より上方の上方領域に分割され、前記略前後方向軸に沿った空間は、前記ステアリングホイールが運転者と対向する面である前面領域と、前記ステアリングホイールの車体への取り付け面である後面領域とに分割される、ことを特徴とする。
請求項６の発明にかかる操作入力装置は、前記３次元空間には車両のステアリングホイールが配置されており、前記ジェスチャ領域は、前記３次元空間を前記ステアリングホイールの中心点を原点として前記車両の上下方向にほぼ沿った略上下方向軸、前記車両の前後方向にほぼ沿った略前後方向軸、および前記車両の車幅方向にほぼ沿った略車幅方向軸に沿って分割したものであり、前記略上下方向軸に沿った空間は、前記ステアリングホイールの内周領域、前記ステアリングホイールの外縁領域、および前記外縁領域より上方の上方領域に分割され、前記略前後方向軸に沿った空間は、前記ステアリングホイールが運転者と対向する面である前面領域と、前記ステアリングホイールの車体への取り付け面である後面領域とに分割され、前記略車幅方向軸に沿った空間は、前記ステアリングホイールの中心点から一方の車側側の領域と、前記中心点から他方の車側側の領域とに分割される、ことを特徴とする。 In order to achieve the above object, an operation input device according to the invention of claim 1 is an operation input device that recognizes an operator's gesture in a three-dimensional space and receives an operation input to an operation target device. The operation target device is an on-vehicle device mounted on a vehicle, and a steering angle detection unit that detects a steering angle of a steering wheel of the vehicle, and whether to accept an operation input using the gesture based on the steering angle. Based on the photographed image photographed by the photographing means when the gesture operation enable / disable determining means to be determined, the photographing means for continuously photographing the three-dimensional space, and the operation input using the gesture are permitted, Identifying whether or not the operator has performed a predetermined gesture, and when performing the predetermined gesture, an action corresponding to the predetermined gesture is performed Comprising a gesture identification means for outputting a control signal for causing the work target device, the.
In the operation input device according to a second aspect of the present invention, a plurality of types of the predetermined gestures are set, and the gesture availability determining unit is configured to determine the plurality of types of predetermined gestures when the steering angle is equal to or greater than a predetermined angle. A gesture group for prohibiting acceptance and a permission gesture group that is accepted even when the steering angle is greater than or equal to a predetermined angle are set separately, and the gesture identification means, when the steering angle is greater than or equal to a predetermined angle, A control signal for identifying whether or not the operator has performed a gesture belonging to the permitted gesture group and causing the operation target device to perform an operation corresponding to the gesture when performing a gesture belonging to the permitted gesture group. Output.
The operation input device according to a third aspect of the invention is characterized in that the gesture operation propriety determining means prohibits an operation input using the gesture when the steering angle is equal to or larger than a predetermined angle.
In the operation input device according to a fourth aspect of the invention, the predetermined gesture is specified by a gesture action and a gesture area indicating a position in the three-dimensional space where the gesture action is performed. The three-dimensional space is divided into a plurality of regions along at least two coordinate axis directions.
In the operation input device according to a fifth aspect of the present invention, a steering wheel of a vehicle is arranged in the three-dimensional space, and the gesture region of the vehicle has the three-dimensional space as an origin at a center point of the steering wheel. It is divided along a substantially vertical axis substantially along the vertical direction and a substantially longitudinal axis substantially along the longitudinal direction of the vehicle, and the space along the substantially vertical axis is an inner space of the steering wheel. The space is divided into a circumferential region, an outer edge region of the steering wheel, and an upper region above the outer edge region, and the space along the substantially front-rear axis is a front region where the steering wheel is a surface facing the driver; The steering wheel is divided into a rear surface region that is a mounting surface to the vehicle body.
In the operation input device according to a sixth aspect of the present invention, a steering wheel of a vehicle is arranged in the three-dimensional space, and the gesture region has the three-dimensional space as an origin at the center point of the steering wheel. Divided along a substantially vertical axis substantially along the vertical direction, a substantially longitudinal axis substantially along the vehicle longitudinal direction, and a substantially vehicle width direction axis substantially along the vehicle width direction of the vehicle, The space along the substantially vertical axis is divided into an inner circumferential region of the steering wheel, an outer edge region of the steering wheel, and an upper region above the outer edge region, and the space along the substantially longitudinal axis is The steering wheel is divided into a front region that is a surface facing the driver and a rear region that is a mounting surface of the steering wheel to the vehicle body. Space along the substantially vehicle transverse axis, said and one of the car-side side area from the center point of the steering wheel, is divided from the center point to the other car side side region, it is characterized.

請求項１の発明によれば、車両のステアリングホイールの操舵角に基づいてジェスチャを用いた操作入力を受け付けるか否かを決定する。車両内における操作者は運転者である場合が多いが、運転者の身体的・心理的状態は、車両の走行状態、例えば操舵角の大きさによって大きく異なる。よって、ステアリングホイールの操舵角に基づいてジェスチャを用いた操作入力の可否を決定することによって、操作者の身体的・心理的状態に即した操作入力を実現することができ、ジェスチャを用いた操作入力をより有効に機能させることができる。また、前方の注視を要求される車両の運転中に入力部等を用いずに車載機器を操作することができ、車両運転中の安全性を向上させることができる。
請求項２の発明によれば、操舵角が所定角度以上の場合、すなわち運転動作をより慎重に行う必要があるとともに、操作者（運転者）の身体がステアリング操舵に大きく拘束される状態では、一部のジェスチャを禁止ジェスチャ群として禁止するとともに、残りのジェスチャは許可ジェスチャ群として操作入力を受け付ける。よって、例えばステアリング操舵時には必要性が低い操作入力を禁止するなどして、ステアリング操舵時の操作入力の数を減らすことができ、ステアリング操舵時における操作者（運転者）の注意を走行動作に向けやすくすることができる。
請求項３の発明によれば、操舵角が所定角度以上の場合にはジェスチャを用いた操作入力を禁止するので、ステアリング操舵時における操作者（運転者）の注意を更に走行動作に向けやすくすることができる。
請求項４の発明によれば、３次元空間内における操作者のジェスチャを認識して操作入力を受け付けるにあたって、予め定められた所定のジェスチャ動作を行ったか否かと、当該所定のジェスチャが行われた領域とに基づいて所定のジェスチャを特定する。よって、領域に区分されていない単一空間内でジェスチャを行う場合と比較して、操作入力の意図のない単なる動作を操作入力のジェスチャと誤認識する可能性を低減することができる。また、ジェスチャ領域は３次元空間を少なくとも２つの座標軸方向に沿って複数の領域に分割したものであるので、ジェスチャ動作を行う位置をより詳細に特定することができ、操作入力の認識率を向上させることができる。また、ジェスチャ動作とジェスチャ領域との組み合わせによって、操作入力の種類を増加させることができる。
請求項５および請求項６の発明によれば、車両のステアリングホイールが基準となって、操作者が座標軸方向を認識しやすくなり、ジェスチャ動作を容易かつ正確に行うことができる。 According to the first aspect of the present invention, it is determined whether or not to accept an operation input using a gesture based on the steering angle of the steering wheel of the vehicle. In many cases, the operator in the vehicle is a driver, but the physical and psychological state of the driver varies greatly depending on the traveling state of the vehicle, for example, the magnitude of the steering angle. Therefore, by determining whether or not an operation input using a gesture is possible based on the steering angle of the steering wheel, it is possible to realize an operation input that matches the physical and psychological state of the operator. Input can function more effectively. In addition, the vehicle-mounted device can be operated without using an input unit or the like during driving of a vehicle that requires forward gaze, and safety during driving of the vehicle can be improved.
According to the invention of claim 2, when the steering angle is equal to or larger than the predetermined angle, that is, the driving operation needs to be performed more carefully, and the body of the operator (driver) is largely restrained by the steering steering, Some gestures are prohibited as prohibited gesture groups, and the remaining gestures receive operation inputs as permitted gesture groups. Therefore, for example, it is possible to reduce the number of operation inputs at the time of steering steering by prohibiting operation inputs that are less necessary at the time of steering, and to turn the operator's (driver) 's attention at the time of steering to the driving operation. It can be made easier.
According to the invention of claim 3, when the steering angle is equal to or larger than the predetermined angle, the operation input using the gesture is prohibited, so that the operator's (driver) 's attention at the time of steering is further directed toward the traveling operation. be able to.
According to the fourth aspect of the present invention, whether or not a predetermined gesture operation is performed in advance when the operator's gesture in the three-dimensional space is recognized and an operation input is accepted, and the predetermined gesture is performed. A predetermined gesture is identified based on the region. Therefore, compared with the case where a gesture is performed in a single space that is not divided into regions, it is possible to reduce the possibility of erroneously recognizing a simple operation with no intention of operation input as a gesture of operation input. In addition, since the gesture region is obtained by dividing the three-dimensional space into a plurality of regions along at least two coordinate axis directions, the position where the gesture operation is performed can be specified in more detail, and the recognition rate of operation input is improved. Can be made. Further, the types of operation inputs can be increased by combining the gesture operation and the gesture area.
According to the fifth and sixth aspects of the invention, the operator can easily recognize the coordinate axis direction based on the steering wheel of the vehicle, and the gesture operation can be performed easily and accurately.

実施の形態にかかる操作入力装置１０の構成を示すブロック図である。It is a block diagram which shows the structure of the operation input apparatus 10 concerning embodiment. ステアリングホイール２０の正面図である。2 is a front view of a steering wheel 20. FIG. ステアリングホイール２０の側面図（図２のＡ矢視図）である。FIG. 3 is a side view of the steering wheel 20 (viewed in the direction of arrow A in FIG. 2). 操作識別データベースＤＢの内容を模式的に示す表である。It is a table | surface which shows the content of operation identification database DB typically. 操作入力のジェスチャを模式的に示す説明図である。It is explanatory drawing which shows the gesture of operation input typically. 操作入力のジェスチャを模式的に示す説明図である。It is explanatory drawing which shows the gesture of operation input typically. 操作入力のジェスチャを模式的に示す説明図である。It is explanatory drawing which shows the gesture of operation input typically. 操作入力のジェスチャを模式的に示す説明図である。It is explanatory drawing which shows the gesture of operation input typically. 操作入力装置１０による処理の手順を示すフローチャートである。4 is a flowchart illustrating a processing procedure performed by the operation input device 10. ３次元空間内の他の領域設定例である。It is another example of area setting in a three-dimensional space.

以下に添付図面を参照して、本発明にかかる操作入力装置の好適な実施の形態を詳細に説明する。 Exemplary embodiments of an operation input device according to the present invention will be explained below in detail with reference to the accompanying drawings.

（実施の形態１）
図１は、実施の形態にかかる操作入力装置１０の構成を示すブロック図である。
実施の形態にかかる操作入力装置１０は、図示しない車両に搭載されており、３次元空間Ｓ内における操作者のジェスチャを認識して車両内の車載機器３０（操作対象機器）への操作入力を受け付ける。
本実施の形態では、３次元空間Ｓとは車両内の車室空間であり、特に運転席近傍のステアリングホイール２０が配置された空間を指す。
また、本実施の形態では、ステアリングホイール２０を基準として周囲の空間を複数の領域（ジェスチャ領域）に分割し、どの領域でどのようなジェスチャ（ジェスチャ動作）が行われたかによって、操作内容を識別する。
すなわち、操作入力装置１０は、ジェスチャを用いた操作入力が行われる際に、ジェスチャ動作と、そのジェスチャ動作が行われた位置を示すジェスチャ領域によって操作入力の内容を特定する。
このように、ジェスチャ時に基準となる部材（ステアリングホイール２０）を空間内で特定することによって、操作者（運転者）がジェスチャの基準となる位置を認識しやすく、操作を行いやすくすることができるとともに、操作入力装置１０におけるジェスチャの認識率を向上させることができる。 (Embodiment 1)
FIG. 1 is a block diagram illustrating a configuration of an operation input device 10 according to the embodiment.
The operation input device 10 according to the embodiment is mounted on a vehicle (not shown), recognizes an operator's gesture in the three-dimensional space S, and inputs an operation input to the in-vehicle device 30 (operation target device) in the vehicle. Accept.
In the present embodiment, the three-dimensional space S is a cabin space in the vehicle, and particularly refers to a space where the steering wheel 20 in the vicinity of the driver's seat is arranged.
In the present embodiment, the surrounding space is divided into a plurality of regions (gesture regions) with reference to the steering wheel 20, and the operation content is identified according to what gesture (gesture operation) is performed in which region. To do.
That is, when an operation input using a gesture is performed, the operation input device 10 specifies the content of the operation input based on the gesture operation and the gesture area indicating the position where the gesture operation is performed.
In this way, by specifying the reference member (steering wheel 20) in the space in the space, it is easy for the operator (driver) to recognize the reference position of the gesture and to perform the operation. At the same time, the gesture recognition rate in the operation input device 10 can be improved.

図２は、ステアリングホイール２０の正面図であり、図３は、ステアリングホイール２０の側面図（図２のＡ矢視図）である。
図２に示すように、ステアリングホイール２０は、環状のグリップ部２２と、当該グリップ部２２の中央に配置されたセンター部２４と、当該センター部２４から左右の径方向に延設されてセンター部２４とグリップ部２２とを接続する複数のスポーク部２６と、を有している。
また、図３に示すように、ステアリングホイール２０は、車室内前方の幅方向に延びて形成されているインストルメントパネル３１からコラムカバー３２を介して配設されている。
ステアリングホイール２０は、コラムカバー３２内でステアリングシャフト３４の上端と連結されている。ステアリングシャフト３４は、筒状のステアリングコラム３６内に回転自在に支持され、コラムカバー３２内からインストルメントパネル３１内にかけて延びている。
ステアリングコラム３６には、ステアリングホイール２０の角度を変更するチルト装置３８と、チルト装置３８と一体となりステアリングホイール２０の操舵角を検出する操舵角センサ３９が設けられている。これらの機構は、インストルメントパネル３１内に収容されている。 FIG. 2 is a front view of the steering wheel 20, and FIG. 3 is a side view of the steering wheel 20 (viewed in the direction of arrow A in FIG. 2).
As shown in FIG. 2, the steering wheel 20 includes an annular grip portion 22, a center portion 24 disposed in the center of the grip portion 22, and a center portion extending from the center portion 24 in the left and right radial directions. 24 and a plurality of spoke portions 26 for connecting the grip portion 22 to each other.
Further, as shown in FIG. 3, the steering wheel 20 is disposed via a column cover 32 from an instrument panel 31 formed to extend in the width direction in front of the vehicle interior.
The steering wheel 20 is connected to the upper end of the steering shaft 34 in the column cover 32. The steering shaft 34 is rotatably supported in a cylindrical steering column 36 and extends from the column cover 32 to the instrument panel 31.
The steering column 36 is provided with a tilt device 38 that changes the angle of the steering wheel 20 and a steering angle sensor 39 that is integrated with the tilt device 38 and detects the steering angle of the steering wheel 20. These mechanisms are accommodated in the instrument panel 31.

本実施の形態では、ステアリングホイール２０周辺の３次元空間Ｓを、少なくとも２つの座標軸方向に沿って複数の領域に分割することによってジェスチャ領域を特定する。
本実施の形態では、３次元空間Ｓを３つの座標軸方向、すなわちステアリングホイール２０の中心点を原点Ｏとして、車両の上下方向にほぼ沿った略上下方向軸であるＸ軸、車両の前後方向にほぼ沿った略前後方向軸であるＺ軸、および車両の車幅方向にほぼ沿った略車幅方向軸であるＹ軸に沿って分割してジェスチャ領域を特定する。
ここで、車両の上下方向や前後方向等にほぼ沿ったとは、図３に示すようにステアリングホイール２０は車両の前後方向に傾けて配置されている場合が多く、後述のようにステアリングホイール２０の円環を基準として座標軸を設定した場合、車両の上下方向や前後方向に厳密には沿わないことを意味する。 In the present embodiment, the gesture region is specified by dividing the three-dimensional space S around the steering wheel 20 into a plurality of regions along at least two coordinate axis directions.
In the present embodiment, the three-dimensional space S is set in three coordinate axis directions, that is, with the center point of the steering wheel 20 as the origin O, the X axis that is a substantially vertical axis substantially along the vehicle vertical direction, and the vehicle longitudinal direction. A gesture region is specified by dividing along a Z axis that is a substantially longitudinal axis that is substantially along, and a Y axis that is a substantially vehicle width direction axis that is substantially along the vehicle width direction of the vehicle.
Here, “almost along the vertical direction or the front-rear direction of the vehicle” means that the steering wheel 20 is often inclined with respect to the front-rear direction of the vehicle as shown in FIG. When the coordinate axis is set based on the circular ring, it means that the vehicle does not strictly follow the vertical direction or the front-rear direction of the vehicle.

略上下方向軸（Ｘ軸）に沿った空間は、図２に示すようにステアリングホイール２０の内周領域Ｘ１、ステアリングホイール２０の外縁領域Ｘ２、および外縁領域Ｘ２より上方の上方領域Ｘ３に分割される。
なお、外縁領域Ｘ２は、例えばステアリングホイール２０のグリップ部２２の上端部２２Ａから上に数センチ程度（操作者の握りこぶしの高さ程度）までの領域である。
また、本実施の形態では、各領域Ｘ１〜Ｘ３を原点Ｏより上の空間にのみ設定している。これは、原点Ｏより下の空間は操作者の視界に入りにくく、操作が行いづらいためである。
しかしながら、図１０Ａに示すように、原点Ｏより下の空間にも各領域Ｘ１〜Ｘ３を設定してもよい。また、図１０Ｂに示すように、原点Ｏより上の空間に設定された領域Ｘ１〜Ｘ３と、原点Ｏより下の空間に設定された領域Ｘ１〜Ｘ３（領域Ｘ１’〜Ｘ３’）とを別個の領域として設定してもよい。 As shown in FIG. 2, the space along the substantially vertical axis (X axis) is divided into an inner peripheral region X1 of the steering wheel 20, an outer edge region X2 of the steering wheel 20, and an upper region X3 above the outer edge region X2. The
The outer edge region X2 is, for example, a region from the upper end 22A of the grip portion 22 of the steering wheel 20 up to about several centimeters (about the height of the fist of the operator).
In the present embodiment, the regions X1 to X3 are set only in the space above the origin O. This is because the space below the origin O is difficult to enter the operator's field of view and is difficult to operate.
However, as shown in FIG. 10A, the regions X1 to X3 may be set in a space below the origin O. Further, as shown in FIG. 10B, the regions X1 to X3 set in the space above the origin O and the regions X1 to X3 (regions X1 ′ to X3 ′) set in the space below the origin O are separated. It may be set as a region.

略車幅方向軸（Ｙ軸）に沿った空間は、図２に示すようにステアリングホイール２０の中心点（原点Ｏ）から一方の車側側の領域（図２では操作者から見て右側に位置する右側領域Ｙ１）と、中心点（原点Ｏ）から他方の車側側の領域（図２では操作者から見て左側に位置する左側領域Ｙ２）とに分割する。 As shown in FIG. 2, the space along the substantially vehicle width direction axis (Y axis) is a region on the vehicle side from the center point (origin O) of the steering wheel 20 (in FIG. 2, on the right side as viewed from the operator). It is divided into a right area Y1) and a center area (origin O) on the other vehicle side (left area Y2 located on the left side as viewed from the operator in FIG. 2).

略前後方向軸（Ｚ軸）に沿った空間は、図３に示すようにステアリングホイール２０が運転者と対向する面である前面領域Ｚ１と、ステアリングホイール２０の車体への取り付け面である後面領域Ｚ２とに分割される。 As shown in FIG. 3, the space along the substantially longitudinal axis (Z-axis) includes a front area Z1 where the steering wheel 20 faces the driver and a rear area where the steering wheel 20 is attached to the vehicle body. Divided into Z2.

なお、図２および図３では、３次元空間Ｓを３つの座標軸方向に分割する場合について説明したが、３次元空間Ｓを２つの座標軸方向、例えば略上下方向軸であるＸ軸と略前後方向軸であるＺ軸とに分割するようにしてもよい。 2 and 3, the case where the three-dimensional space S is divided into three coordinate axis directions has been described. However, the three-dimensional space S is divided into two coordinate axis directions, for example, an X axis that is a substantially vertical axis and a substantially front-rear direction. You may make it divide | segment into the Z-axis which is an axis | shaft.

図１の説明に戻り、操作入力装置１０は、操舵角検出手段１１と、ジェスチャ操作可否決定手段１２と、撮影手段１３と、ジェスチャ識別手段１４と、操作識別データベースＤＢによって構成される。
上記の構成のうち、ジェスチャ操作可否決定手段１２およびジェスチャ識別手段１４は、車両ＥＣＵ等の処理部によって構成される。車両ＥＣＵは、ＣＰＵ、制御プログラムなどを格納・記憶するＲＯＭ、制御プログラムの作動領域としてのＲＡＭ、各種データを書き換え可能に保持するＥＥＰＲＯＭ、周辺回路等とのインターフェースをとるインターフェース部などを含んで構成され、上記ＣＰＵが上記制御プログラムを実行することによって、ジェスチャ操作可否決定手段１２またはジェスチャ識別手段１４として機能する。 Returning to the description of FIG. 1, the operation input device 10 includes a steering angle detection unit 11, a gesture operation availability determination unit 12, a photographing unit 13, a gesture identification unit 14, and an operation identification database DB.
Among the above configurations, the gesture operation availability determination unit 12 and the gesture identification unit 14 are configured by a processing unit such as a vehicle ECU. The vehicle ECU includes a CPU, a ROM that stores and stores a control program, a RAM as an operation area of the control program, an EEPROM that holds various data in a rewritable manner, an interface unit that interfaces with peripheral circuits, and the like. When the CPU executes the control program, the CPU functions as the gesture operation availability determination unit 12 or the gesture identification unit 14.

操舵角検出手段１１は、ステアリングホイール２０の操舵角を検出する。本実施の形態では、操舵角検出手段１１は図３に示した操舵角センサ３９である。
ジェスチャ操作可否決定手段１２は、操舵角検出手段１１で検出された操舵角に基づいてジェスチャを用いた操作入力を受け付けるか否かを決定する。
より詳細には、ジェスチャ操作可否決定手段１２は、ステアリングホイール２０の操舵角が所定角度以上の場合には、操作者の注意を運転操作に対してより多く向ける必要がある、またはジェスチャの誤認識の可能性が高くなると判断して、少なくとも一部のジェスチャ操作を禁止する。
なお、以下の説明において「所定角度以上」とは、ステアリングホイール２０の基準位置（直進状態における位置）から時計回りまたは反時計回りに所定角度以上であることを指し、回転方向は問わない。 The steering angle detection means 11 detects the steering angle of the steering wheel 20. In the present embodiment, the steering angle detection means 11 is the steering angle sensor 39 shown in FIG.
Based on the steering angle detected by the steering angle detection unit 11, the gesture operation propriety determination unit 12 determines whether to accept an operation input using a gesture.
More specifically, when the steering angle of the steering wheel 20 is equal to or greater than a predetermined angle, the gesture operation propriety determination unit 12 needs to direct more attention of the operator to the driving operation, or erroneous gesture recognition. Therefore, at least a part of the gesture operation is prohibited.
In the following description, “more than a predetermined angle” means that the steering wheel 20 is more than a predetermined angle clockwise or counterclockwise from the reference position (position in the straight traveling state), and the rotation direction is not limited.

ジェスチャ操作可否決定手段１２による決定結果には、例えば以下の＜１＞または＜２＞の種類がある。
以下では主に上記＜１＞について説明する。
＜１＞操舵角が大きい（所定角度以上）場合、複数種類の操作入力のうち一部の操作入力を禁止し、残りは通常通り受け付ける。
すなわち、操作入力として認識するジェスチャ（所定のジェスチャ）は複数種類設定されており、複数種類のジェスチャを、操舵角が所定角度以上の場合は受け付けを禁止する禁止ジェスチャ群と、操舵角が所定角度以上の場合にも受け付ける許可ジェスチャ群と、に分けて設定する。
＜２＞操舵角が大きい（所定角度以上）場合にはジェスチャを用いた操作入力を全面的に禁止する。 The determination result by the gesture operation propriety determination means 12 includes the following types <1> or <2>, for example.
Below, <1> will be mainly described.
<1> When the steering angle is large (more than a predetermined angle), some of the plural types of operation inputs are prohibited, and the rest are accepted as usual.
That is, a plurality of types of gestures recognized as operation inputs (predetermined gestures) are set, and a plurality of types of gestures are prohibited from being accepted when the steering angle is a predetermined angle or more, and the steering angle is a predetermined angle. Even in the above case, the permission gesture group to be accepted is set separately.
<2> When the steering angle is large (greater than a predetermined angle), operation input using gestures is completely prohibited.

ジェスチャ操作可否決定手段１２についてより詳細に説明するために、操作識別データベースＤＢについて説明する。
操作識別データベースＤＢは、３次元空間Ｓ内のどの領域でどのようなジェスチャ動作が行われたかによって、操作内容を識別するためのデータが記録されている。
図４は、操作識別データベースＤＢの内容を模式的に示す表である。
図４の表では、５種類の操作入力（第１の操作入力〜第５の操作入力）について、操作対象機器１４８１、操作内容１４８２、ジェスチャ内容１４８３、操舵角が所定角度以上の大操舵時における操作入力の可否１４８４がそれぞれ示されている。
なお、ジェスチャ内容１４８３ジェスチャ動作と、ジェスチャ動作が行われる領域（ジェスチャ領域）の２つの要素から特定される。 In order to describe the gesture operation availability determination unit 12 in more detail, the operation identification database DB will be described.
In the operation identification database DB, data for identifying the operation content is recorded depending on which gesture operation is performed in which region in the three-dimensional space S.
FIG. 4 is a table schematically showing the contents of the operation identification database DB.
In the table of FIG. 4, for five types of operation inputs (first operation input to fifth operation input), the operation target device 1481, the operation content 1482, the gesture content 1483, and at the time of large steering where the steering angle is a predetermined angle or more. The operational input propriety 1484 is shown.
Note that the gesture content 1483 is specified from two elements: a gesture action and an area in which the gesture action is performed (gesture area).

第１の操作入力の操作対象機器３０は車両のスモールランプおよびテールランプであり、操作内容は点灯および消灯、すなわちスモールランプおよびテールランプが消灯した状態でこのジェスチャが行われた場合にはスモールランプおよびテールランプを点灯し、スモールランプおよびテールランプが点灯した状態でこのジェスチャが行われた場合にはスモールランプおよびテールランプを消灯する。
第１の操作入力のジェスチャ内容は、ステアリングホイール２０の上方領域Ｘ３かつ後面領域Ｚ２で、操作者の手をグー（握りこぶし）からパー（手のひらを広げる）に変化させるジェスチャ動作を行うものである。
すなわち、図５に示すようにステアリングホイール２０の上方のインストルメントパネル３１寄りの領域に操作者の手Ｈを位置させて、手Ｈの形状をグーからパーへと変化させるジェスチャである。
なお、図５、図６、図８において、図Ａはステアリングホイール２０の正面図であり、図Ｂはステアリングホイール２０の側面図である。また、図７Ａおよび図７Ｂは、共にステアリングホイール２０の正面図である。
第１の操作入力は、ステアリングホイール２０の操舵角が所定角度以上の場合にも許可されている。すなわち、第１の操作入力は許可ジェスチャ群に属する。 The operation target device 30 of the first operation input is a small lamp and a tail lamp of the vehicle, and the operation content is turned on and off, that is, when this gesture is performed with the small lamp and the tail lamp turned off, the small lamp and the tail lamp. Is turned on, and when this gesture is performed in a state where the small lamp and the tail lamp are lit, the small lamp and the tail lamp are turned off.
The gesture content of the first operation input is a gesture operation that changes the operator's hand from goo (fist fist) to par (spreads palm) in the upper region X3 and the rear surface region Z2 of the steering wheel 20.
That is, as shown in FIG. 5, the gesture is a gesture in which the operator's hand H is positioned in a region near the instrument panel 31 above the steering wheel 20 and the shape of the hand H is changed from goo to par.
5, 6, and 8, FIG. A is a front view of the steering wheel 20, and FIG. B is a side view of the steering wheel 20. 7A and 7B are both front views of the steering wheel 20. FIG.
The first operation input is permitted even when the steering angle of the steering wheel 20 is a predetermined angle or more. That is, the first operation input belongs to the permission gesture group.

第２の操作入力の操作対象機器３０は車両のヘッドライトであり、操作内容はヘッドライトが点灯した状態でこのジェスチャが行われた場合にはヘッドライトの照射方向をハイとローとで切り替え（ハイ／ロー切替）、ヘッドライトが消灯した状態でこのジェスチャが行われた場合にはパッシング点灯（瞬間的なハイビーム点灯）を行う。
第２の操作入力のジェスチャ内容は、操作者の手をステアリングホイール２０の内周領域Ｘ１の前面領域Ｚ１から後面領域Ｚ２に移動させるジェスチャ動作を行うものである。
すなわち、図６に示すようにステアリングホイール２０の内周に手をくぐらせるジェスチャである。
第２の操作入力は、ステアリングホイール２０の操舵角が所定角度以上の場合には禁止されている。すなわち、第２の操作入力は禁止ジェスチャ群に属する。これは、ステアリングホイール２０の操舵角が所定角度以上の場合には内周領域Ｘ１の位置が左右いずれかに大きくずれることになり、動作が行いにくくなるとともに、操作入力装置１０でも誤認識を起こす可能性があるためである。 The operation target device 30 of the second operation input is a headlight of a vehicle, and when the gesture is performed with the headlight turned on, the operation content is switched between a headlight irradiation direction between high and low ( When this gesture is performed in a state where the headlight is turned off), passing lighting (instant high beam lighting) is performed.
The gesture content of the second operation input is to perform a gesture operation of moving the operator's hand from the front surface area Z1 of the inner peripheral area X1 of the steering wheel 20 to the rear surface area Z2.
That is, as shown in FIG. 6, it is a gesture for making a hand pass through the inner periphery of the steering wheel 20.
The second operation input is prohibited when the steering angle of the steering wheel 20 is greater than or equal to a predetermined angle. That is, the second operation input belongs to the prohibited gesture group. This is because when the steering angle of the steering wheel 20 is greater than or equal to a predetermined angle, the position of the inner peripheral region X1 is greatly shifted to the left or right, making it difficult to operate, and causing erroneous recognition in the operation input device 10 as well. This is because there is a possibility.

第３の操作入力の操作対象機器３０は、操作者から見て左側のターンランプであり、操作内容は点灯である。
第３の操作入力のジェスチャ内容は、ステアリングホイール２０の外縁領域Ｘ２に沿って操作者の手を右側領域Ｙ１から左側領域Ｙ２へと移動させ、さらに右側領域Ｙ１へと戻すジェスチャ動作を行うものである。
すなわち、図７Ａに示すように操作者の右手Ｈをステアリングホイール２０の外縁に沿って車幅方向に往復させるジェスチャである。これは、操作者が左折操作をする際にステアリングホイール２０を左側に回転させる動作を模擬している。
第３の操作入力は、ステアリングホイール２０の操舵角が所定角度以上の場合には禁止されている。すなわち、第３の操作入力は禁止ジェスチャ群に属する。これは、ターンランプの点灯は通常車両の右左折前に行うものであるが、ステアリングホイール２０の操舵角が所定角度以上の場合にはすでに車両の右左折が開始されており、ターンランプを点灯させる実益がなく、また、ステアリングホイール２０の操舵時における運転者（操作者）の運転動作を誤認識している可能性が高いためである。 The operation target device 30 of the third operation input is a left turn lamp as viewed from the operator, and the operation content is lit.
The gesture content of the third operation input is to perform a gesture operation that moves the operator's hand from the right region Y1 to the left region Y2 along the outer edge region X2 of the steering wheel 20, and then returns to the right region Y1. is there.
That is, as shown in FIG. 7A, this is a gesture in which the operator's right hand H is reciprocated in the vehicle width direction along the outer edge of the steering wheel 20. This simulates the operation of rotating the steering wheel 20 to the left when the operator performs a left turn operation.
The third operation input is prohibited when the steering angle of the steering wheel 20 is greater than or equal to a predetermined angle. That is, the third operation input belongs to the prohibited gesture group. This is because the turn lamp is normally turned on before the vehicle turns left or right, but when the steering angle of the steering wheel 20 is greater than or equal to a predetermined angle, the vehicle has already started turning right and left, and the turn lamp is turned on. This is because there is a high possibility that the driving operation of the driver (operator) at the time of steering the steering wheel 20 is erroneously recognized.

また、第４の操作入力の操作対象機器３０は、操作者から見て右側のターンランプであり、操作内容は点灯である。
第４の操作入力のジェスチャ内容は、ステアリングホイール２０の外縁領域Ｘ２に沿って操作者の手を左側領域Ｙ２から右側領域Ｙ１へと移動させ、さらに左側領域Ｙ２へと戻すジェスチャ動作を行うものである。
すなわち、図７Ｂに示すように操作者の左手Ｈをステアリングホイール２０の外縁に沿って車幅方向に往復させるジェスチャである。これは、操作者が右折操作をする際にステアリングホイール２０を右側に回転させる動作を模擬している。
第４の操作入力も、第３の操作入力と同様に、ステアリングホイール２０の操舵角が所定角度以上の場合には禁止されている。すなわち、第４の操作入力は禁止ジェスチャ群に属する。 The operation target device 30 of the fourth operation input is a right turn lamp as viewed from the operator, and the operation content is lit.
The gesture content of the fourth operation input is a gesture operation in which the operator's hand is moved from the left side area Y2 to the right side area Y1 along the outer edge area X2 of the steering wheel 20 and then returned to the left side area Y2. is there.
That is, as shown in FIG. 7B, the gesture is a reciprocation of the operator's left hand H in the vehicle width direction along the outer edge of the steering wheel 20. This simulates the operation of rotating the steering wheel 20 to the right when the operator performs a right turn operation.
Similarly to the third operation input, the fourth operation input is also prohibited when the steering angle of the steering wheel 20 is greater than or equal to a predetermined angle. That is, the fourth operation input belongs to the prohibited gesture group.

第５の操作入力の操作対象機器３０は車両のヘッドランプであり、操作内容は点灯および消灯、すなわちヘッドランプが消灯した状態でこのジェスチャが行われた場合にはヘッドランプを点灯し、ヘッドランプが点灯した状態でこのジェスチャが行われた場合にはヘッドランプを消灯する。
第５の操作入力のジェスチャ内容は、ステアリングホイール２０の内周領域Ｘ１かつ前面領域Ｚ１で、ステアリングホイール２０に対して手をかざすジェスチャ動作を行うものである。
すなわち、図８に示すようにステアリングホイール２０に正対して操作者の手Ｈを広げるジェスチャである。
第５の操作入力は、ステアリングホイール２０の操舵角が所定角度以上の場合にも許可されている。すなわち、第５の操作入力は許可ジェスチャ群に属する。 The operation target device 30 of the fifth operation input is a vehicle headlamp, and the operation content is turned on and off, that is, when this gesture is performed with the headlamp turned off, the headlamp is turned on. If this gesture is performed while is lit, the headlamp is turned off.
The gesture content of the fifth operation input is to perform a gesture operation of holding the hand over the steering wheel 20 in the inner peripheral area X1 and the front area Z1 of the steering wheel 20.
That is, as shown in FIG. 8, the gesture is to spread the operator's hand H directly against the steering wheel 20.
The fifth operation input is permitted even when the steering angle of the steering wheel 20 is greater than or equal to a predetermined angle. That is, the fifth operation input belongs to the permission gesture group.

図１の説明に戻り、撮影手段１３は、３次元空間を連続的に撮影する。連続的に撮影とは、３次元空間内における操作者の挙動（ジェスチャ）が認識可能な画像群（映像データ）を撮影することを指す。
撮影手段１３は、例えば赤外線カメラであり、夜間でも３次元空間内の映像を撮影可能とする。また、撮影手段１３を複数のカメラ（ステレオカメラ等）で構成してもよい。
撮影手段１３の設置位置は任意であるが、ステアリングホイール２０および上述した各領域Ｘ１〜Ｘ３，Ｙ１，Ｙ２，Ｚ１，Ｚ２を撮影範囲に含むことができる位置とする。 Returning to the description of FIG. 1, the photographing unit 13 continuously photographs a three-dimensional space. Continuous shooting refers to shooting a group of images (video data) in which the behavior (gesture) of the operator in a three-dimensional space can be recognized.
The photographing means 13 is, for example, an infrared camera, and can photograph a video in a three-dimensional space even at night. Further, the photographing means 13 may be composed of a plurality of cameras (stereo cameras or the like).
The installation position of the photographing unit 13 is arbitrary, but the steering wheel 20 and the above-described regions X1 to X3, Y1, Y2, Z1, and Z2 are positions that can be included in the photographing range.

ジェスチャ識別手段１４は、ジェスチャを用いた操作入力が許可されている場合、撮影手段１３によって撮影された撮影画像に基づいて、操作者が所定のジェスチャを行ったか否かを識別し、所定のジェスチャを行った際に、所定のジェスチャに対応する動作を操作対象機器３０に行わせる制御信号を出力する。
ジェスチャ識別手段１４は、動作識別手段１４０、領域識別手段１４２、操作内容特定手段１４４、および機器制御手段１４６を有する。 When the operation input using the gesture is permitted, the gesture identification unit 14 identifies whether or not the operator has performed the predetermined gesture based on the captured image captured by the imaging unit 13, and the predetermined gesture When the operation is performed, a control signal for causing the operation target device 30 to perform an operation corresponding to a predetermined gesture is output.
The gesture identification unit 14 includes an operation identification unit 140, a region identification unit 142, an operation content identification unit 144, and a device control unit 146.

動作識別手段１４０は、撮影手段１３によって撮影された撮影画像に基づいて、３次元空間内で操作者が所定のジェスチャ動作を行ったか否かを識別する。
本実施の形態において、操作者とは運転者であり、動作を行う部分は手Ｈである。動作識別手段１４０は、公知の画像認識技術（パターン認識技術）を用いて撮影画像中に映る手を識別し、さらに手の各点の位置が時間経過とともにどのように変化するかに基づいて、手の動きを認識する。そして、認識した手の動きが上記所定のジェスチャ動作と一致するか否かを識別する。
所定のジェスチャ動作とは、ステアリングホイール２０の操舵角が所定角度未満の場合には操作識別データベースＤＢに記録された全てのジェスチャ動作であり、ステアリングホイール２０の操舵角が所定角度以上の場合には操作識別データベースＤＢ中の許可ジェスチャ群に属するジェスチャ動作である。
また、ステアリングホイール２０の操舵角が所定角度以上の場合に全ての操作入力が禁止されている場合には、所定のジェスチャ動作がなくなる。よって、動作識別手段１４０の撮影画像の画像認識を停止してもよいが、操舵角は頻繁に変更されるため画像認識は常時継続するのが好ましい。 The motion identification unit 140 identifies whether or not the operator has performed a predetermined gesture motion in the three-dimensional space based on the captured image captured by the imaging unit 13.
In the present embodiment, the operator is a driver, and the part that performs the operation is the hand H. The action identifying means 140 identifies a hand appearing in a captured image using a known image recognition technique (pattern recognition technique), and further, based on how the position of each point of the hand changes over time, Recognize hand movements. Then, it is determined whether or not the recognized hand movement matches the predetermined gesture action.
The predetermined gesture operation refers to all gesture operations recorded in the operation identification database DB when the steering angle of the steering wheel 20 is less than the predetermined angle, and when the steering angle of the steering wheel 20 is equal to or larger than the predetermined angle. This is a gesture operation belonging to the permitted gesture group in the operation identification database DB.
Further, when all the operation inputs are prohibited when the steering angle of the steering wheel 20 is greater than or equal to a predetermined angle, the predetermined gesture operation is lost. Therefore, although the image recognition of the captured image by the action identifying unit 140 may be stopped, it is preferable that the image recognition is always continued because the steering angle is frequently changed.

領域識別手段１４２は、所定のジェスチャ動作が行われた位置が上述した複数の領域Ｘ１〜Ｘ３，Ｙ１，Ｙ２，Ｚ１，Ｚ２のいずれに属するかを識別する。
領域識別手段１４２は、撮影画像中のステアリングホイール２０の位置とジェスチャ動作時における操作者の手の位置との相対関係から、当該ジェスチャ動作が複数の領域Ｘ１〜Ｘ３，Ｙ１，Ｙ２，Ｚ１，Ｚ２のいずれで行われたかを識別する。 The area identifying unit 142 identifies which of the plurality of areas X1 to X3, Y1, Y2, Z1, and Z2 the position where the predetermined gesture operation is performed.
The region identification unit 142 determines that the gesture operation is performed in a plurality of regions X1 to X3, Y1, Y2, Z1, and Z2 based on the relative relationship between the position of the steering wheel 20 in the captured image and the position of the operator's hand during the gesture operation. To identify whether it was done.

操作内容特定手段１４４は、所定のジェスチャ動作と所定のジェスチャが行われた領域とに基づいて、操作対象機器３０への操作入力の内容（操作内容）を特定する。
操作内容特定手段１４４は、動作識別手段１４０で識別されたジェスチャ動作の種類と、領域識別手段１４２で識別された領域との組み合わせが操作識別データベースＤＢに記録された操作入力と一致するかを判断し、一致している場合には当該操作入力に対応する操作対象機器３０への操作内容を特定する。
例えば、動作識別手段１４０で識別されたジェスチャ動作が操作者の手の形状をグーからパーへと変化させるジェスチャ動作（第１の操作入力におけるジェスチャ動作）であったとする。
このとき、領域識別手段１４２で識別された領域がステアリングホイール２０の上方領域Ｘ３かつ後面領域Ｚ２である場合には、操作内容特定手段１４４は、第１の操作入力が行われたと判断し、車両のスモールランプおよびテールランプの点灯または消灯が操作内容であると特定する。
また、領域識別手段１４２で識別された領域がステアリングホイール２０の内周領域Ｘ１や前面領域Ｚ１などである場合には、該当する操作入力はないため、操作内容特定手段１４４は、操作入力なしと判定する。
すなわち、操作内容特定手段１４４は、動作識別手段１４０で識別されたジェスチャ動作と、領域識別手段１４２で識別された領域との組み合わせが、操作識別データベースＤＢに記録された操作入力のいずれかに一致した場合のみ、有効な操作入力として認識する。 The operation content specifying unit 144 specifies the content (operation content) of the operation input to the operation target device 30 based on the predetermined gesture operation and the area where the predetermined gesture is performed.
The operation content specifying unit 144 determines whether the combination of the type of gesture action identified by the action identifying unit 140 and the area identified by the area identifying unit 142 matches the operation input recorded in the operation identification database DB. If they match, the operation content to the operation target device 30 corresponding to the operation input is specified.
For example, it is assumed that the gesture action identified by the action identification unit 140 is a gesture action (a gesture action in the first operation input) that changes the shape of the operator's hand from goo to par.
At this time, if the region identified by the region identifying unit 142 is the upper region X3 and the rear region Z2 of the steering wheel 20, the operation content specifying unit 144 determines that the first operation input has been performed, and the vehicle It is specified that the small lamp and the tail lamp are turned on or off.
In addition, when the area identified by the area identifying unit 142 is the inner peripheral area X1 or the front area Z1 of the steering wheel 20, there is no corresponding operation input. judge.
In other words, the operation content specifying unit 144 matches the combination of the gesture action identified by the action identifying unit 140 and the area identified by the area identifying unit 142 with one of the operation inputs recorded in the operation identification database DB. Is recognized as a valid operation input only.

機器制御手段１４６は、操作入力に対応する動作を操作対象機器３０に行わせる制御信号を出力する。
例えば上記第１の操作入力が行われた場合には、機器制御手段１４６は、車両のスモールランプおよびテールランプに対して点灯および消灯を切り換える制御信号を出力する。 The device control unit 146 outputs a control signal that causes the operation target device 30 to perform an operation corresponding to the operation input.
For example, when the first operation input is performed, the device control unit 146 outputs a control signal for switching on / off the small lamp and tail lamp of the vehicle.

なお、上記の説明では、ステアリングホイール２０の操舵角が所定角度以上の場合に、動作識別手段１４０で認識するジェスチャ動作（所定のジェスチャ動作）を許可ジェスチャ群のみにすることによって、ジェスチャを用いた操作入力の可否を切り換えるようにしたが、操作入力装置１０の動作中どの段階でこのような切り換えを行うかは任意である。
他の構成部、例えば機器制御手段１４６からの制御信号を出力するか否かによって、ジェスチャを用いた操作入力の可否を切り換えるようにしてもよい。
この場合、機器制御手段１４６は、ステアリングホイール２０の操舵角が所定角度未満の場合には、認識された全ての操作入力について制御信号を出力するが、ステアリングホイール２０の操舵角が所定角度以上の場合には、許可ジェスチャ入力群に属する操作入力の制御信号のみを出力し、禁止ジェスチャ群に属する操作入力の制御信号は出力しない。
また、ステアリングホイール２０の操舵角が所定角度以上の場合に全ての操作入力が禁止されている場合には、ステアリングホイール２０の操舵角が所定角度以上の際にはいずれの操作入力についても制御信号は出力しないようにする。 In the above description, when the steering angle of the steering wheel 20 is greater than or equal to a predetermined angle, the gesture motion recognized by the motion identification unit 140 (predetermined gesture motion) is set to only the permitted gesture group, thereby using the gesture. Although whether or not the operation input can be performed is switched, it is arbitrary at which stage during the operation of the operation input device 10 the switching is performed.
Depending on whether or not a control signal from another component, for example, the device control means 146 is output, whether or not an operation input using a gesture is possible may be switched.
In this case, when the steering angle of the steering wheel 20 is less than the predetermined angle, the device control unit 146 outputs a control signal for all recognized operation inputs, but the steering angle of the steering wheel 20 is greater than or equal to the predetermined angle. In this case, only the control signal for the operation input belonging to the permitted gesture input group is output, and the control signal for the operation input belonging to the prohibited gesture group is not output.
In addition, when all the operation inputs are prohibited when the steering angle of the steering wheel 20 is equal to or greater than a predetermined angle, the control signal for any operation input when the steering angle of the steering wheel 20 is equal to or greater than the predetermined angle. Is not output.

図９は、操作入力装置１０による処理の手順を示すフローチャートである。
操作入力装置１０は、車両の走行中は図９に示す処理をくり返し行う。
まず、操舵角検出手段１１によってステアリングホイール２０の操舵角を検出し（ステップＳ８００）、操舵角が所定角度以上か否かを判断する（ステップＳ８０１）。
操舵角が所定角度以上の場合は（ステップＳ８０１：Ｙｅｓ）、許可ジェスチャ群のジェスチャ動作を動作識別手段１４０で識別するジェスチャ動作（所定のジェスチャ動作）として設定する（ステップＳ８０２）。また、操舵角が所定角度未満である場合には（ステップＳ８０１：Ｎｏ）、操作識別データベースＤＢに含まれる全てのジェスチャ動作を動作識別手段１４０で識別するジェスチャ動作（所定のジェスチャ動作）として設定する（ステップＳ８０３）。
つぎに、撮影手段１３によってステアリングホイール２０周辺の車室空間を撮影する（ステップＳ８０４）。
動作識別手段１４０は、撮影手段１３で撮影された撮影画像を解析し、操作者が上記所定のジェスチャ動作を行ったか否かを判断する（ステップＳ８０５）。
操作者が所定のジェスチャ動作を行っていない場合は（ステップＳ８０５：Ｎｏ）、ステップＳ８００に戻って以降の処理をくり返す。
また、操作者が所定のジェスチャ動作を行った場合は（ステップＳ８０５：Ｙｅｓ）、領域識別手段１４２によってジェスチャ動作を行った領域を特定する（ステップＳ８０６）。
つぎに、操作内容特定手段１４４は、操作者が行ったジェスチャ動作と当該ジェスチャ動作を行った領域との組み合わせが、いずれかの操作入力に一致するか否かを判断する（ステップＳ８０７）。
いずれかの操作入力に一致しない場合は（ステップＳ８０７：Ｎｏ）、ステップＳ８００に戻って以降の処理をくり返す。
また、いずれかの操作入力に一致する場合は（ステップＳ８０７：Ｙｅｓ）、当該操作入力の操作対象機器３０および制御内容を特定し（ステップＳ８０８）、機器制御手段１４６によって操作対象機器３０へと制御信号を出力する（ステップＳ８０９）。
その後、ステップＳ８００に戻り、以降の処理をくり返す。 FIG. 9 is a flowchart illustrating a procedure of processing performed by the operation input device 10.
The operation input device 10 repeats the process shown in FIG. 9 while the vehicle is traveling.
First, the steering angle detection means 11 detects the steering angle of the steering wheel 20 (step S800), and determines whether or not the steering angle is equal to or greater than a predetermined angle (step S801).
If the steering angle is equal to or greater than the predetermined angle (step S801: Yes), the gesture operation of the permitted gesture group is set as a gesture operation (predetermined gesture operation) that is identified by the operation identification unit 140 (step S802). If the steering angle is less than the predetermined angle (step S801: No), all gesture actions included in the operation identification database DB are set as gesture actions (predetermined gesture actions) that are identified by the action identification unit 140. (Step S803).
Next, the vehicle interior space around the steering wheel 20 is photographed by the photographing means 13 (step S804).
The motion identification unit 140 analyzes the captured image captured by the capturing unit 13 and determines whether or not the operator has performed the predetermined gesture operation (step S805).
If the operator is not performing a predetermined gesture operation (step S805: No), the process returns to step S800 and the subsequent processing is repeated.
If the operator performs a predetermined gesture operation (step S805: Yes), the region identification unit 142 identifies the region where the gesture operation has been performed (step S806).
Next, the operation content identification unit 144 determines whether or not the combination of the gesture action performed by the operator and the region where the gesture action is performed matches any operation input (step S807).
If it does not match any of the operation inputs (step S807: No), the process returns to step S800 and the subsequent processing is repeated.
If it matches any of the operation inputs (step S807: Yes), the operation target device 30 and the control content of the operation input are specified (step S808), and the operation control device 146 controls the operation target device 30. A signal is output (step S809).
Thereafter, the process returns to step S800, and the subsequent processing is repeated.

なお、図９および上記の説明では、動作識別手段１４０によって所定のジェスチャ動作が行われたことを識別してから領域識別手段１４２によってジェスチャ領域を識別しているが、これに限らずジェスチャ領域を識別してから所定のジェスチャ動作を行ったかを識別してもよい。例えば、操作者の手の位置を常時追跡しつつ、所定のジェスチャ動作が行われたかを識別してもよい。 In FIG. 9 and the above description, the gesture region is identified by the region identifying unit 142 after identifying that the predetermined gesture operation has been performed by the motion identifying unit 140. However, the present invention is not limited to this. You may identify whether predetermined gesture operation | movement was performed after identifying. For example, it may be identified whether a predetermined gesture operation has been performed while constantly tracking the position of the operator's hand.

以上説明したように、実施の形態にかかる操作入力装置１０は、車両のステアリングホイール２０の操舵角に基づいてジェスチャを用いた操作入力を受け付けるか否かを決定する。車両内における操作者は運転者である場合が多いが、運転者の身体的・心理的状態は、車両の走行状態、例えば操舵角の大きさによって大きく異なる。よって、ステアリングホイール２０の操舵角に基づいてジェスチャを用いた操作入力の可否を決定することによって、操作者の身体的・心理的状態に即した操作入力を実現することができ、ジェスチャを用いた操作入力をより有効に機能させることができる。
また、前方の注視を要求される車両の運転中に入力部等を用いずに車載機器を操作することができ、車両運転中の安全性を向上させることができる。
また、操作入力装置１０は、操舵角が所定角度以上の場合、すなわち運転動作をより慎重に行う必要があるとともに、操作者（運転者）の身体がステアリング操舵に大きく拘束される状態では、一部のジェスチャを禁止ジェスチャ群として禁止するとともに、残りのジェスチャは許可ジェスチャ群として操作入力を受け付ける。
よって、例えばステアリング操舵時には必要性が低い操作入力を禁止するなどして、ステアリング操舵時の操作入力の数を減らすことができ、ステアリング操舵時における操作者（運転者）の注意を走行動作に向けやすくすることができる。
また、操作入力装置１０において、操舵角が所定角度以上の場合にはジェスチャを用いた操作入力を禁止するようにすれば、ステアリング操舵時における操作者（運転者）の注意を更に走行動作に向けやすくすることができる。
また、操作入力装置１０は、３次元空間内における操作者のジェスチャを認識して操作入力を受け付けるにあたって、予め定められた所定のジェスチャ動作を行ったか否かと、当該所定のジェスチャが行われた領域とに基づいて所定のジェスチャを特定する。
よって、領域に区分されていない単一空間内でジェスチャを行う場合と比較して、操作入力の意図のない単なる動作を操作入力のジェスチャと誤認識する可能性を低減することができる。
また、ジェスチャ領域は３次元空間を少なくとも２つの座標軸方向に沿って複数の領域に分割したものであるので、ジェスチャ動作を行う位置をより詳細に特定することができ、操作入力の認識率を向上させることができる。
また、ジェスチャ動作とジェスチャ領域との組み合わせによって、操作入力の種類を増加させることができる。
また、操作入力装置１０では、車両のステアリングホイール２０が基準となって、操作者が座標軸方向を認識しやすくなり、ジェスチャ動作を容易かつ正確に行うことができる。 As described above, the operation input device 10 according to the embodiment determines whether to accept an operation input using a gesture based on the steering angle of the steering wheel 20 of the vehicle. In many cases, the operator in the vehicle is a driver, but the physical and psychological state of the driver varies greatly depending on the traveling state of the vehicle, for example, the magnitude of the steering angle. Therefore, by determining whether or not an operation input using a gesture can be performed based on the steering angle of the steering wheel 20, an operation input in accordance with the physical and psychological state of the operator can be realized. Operation input can be made to function more effectively.
In addition, the vehicle-mounted device can be operated without using an input unit or the like during driving of a vehicle that requires forward gaze, and safety during driving of the vehicle can be improved.
In addition, the operation input device 10 is necessary when the steering angle is equal to or greater than a predetermined angle, that is, when the driving operation needs to be performed more carefully and the operator's (driver's) body is largely restrained by steering. Are prohibited as a prohibited gesture group, and the remaining gestures receive an operation input as a permitted gesture group.
Therefore, for example, it is possible to reduce the number of operation inputs at the time of steering steering by prohibiting operation inputs that are less necessary at the time of steering, and to turn the operator's (driver) 's attention at the time of steering to the driving operation. It can be made easier.
In addition, if the operation input device 10 prohibits operation input using gestures when the steering angle is greater than or equal to a predetermined angle, the operator's (driver) 's attention at the time of steering is further directed toward the traveling operation. It can be made easier.
Further, when the operation input device 10 recognizes the gesture of the operator in the three-dimensional space and accepts the operation input, whether or not a predetermined gesture operation is performed in advance and the region where the predetermined gesture is performed Based on the above, a predetermined gesture is specified.
Therefore, compared with the case where a gesture is performed in a single space that is not divided into regions, it is possible to reduce the possibility of erroneously recognizing a simple operation with no intention of operation input as a gesture of operation input.
In addition, since the gesture region is obtained by dividing the three-dimensional space into a plurality of regions along at least two coordinate axis directions, the position where the gesture operation is performed can be specified in more detail, and the recognition rate of operation input is improved. Can be made.
Further, the types of operation inputs can be increased by combining the gesture operation and the gesture area.
In the operation input device 10, the operator can easily recognize the coordinate axis direction based on the steering wheel 20 of the vehicle, and the gesture operation can be performed easily and accurately.

１０……操作入力装置、１１……速度検出手段、１２……ジェスチャ操作可否決定手段、１３……撮影手段、１４……ジェスチャ識別手段、１４０……動作識別手段、１４２……領域識別手段、１４４……操作内容特定手段、１４６……機器制御手段、ＤＢ……操作識別データベース、２０……ステアリングホイール、２２……グリップ部、２２Ａ……上端部、２４……センター部、２６……スポーク部、３０……操作対象機器（車載機器）。 DESCRIPTION OF SYMBOLS 10 ... Operation input device, 11 ... Speed detection means, 12 ... Gesture operation availability determination means, 13 ... Shooting means, 14 ... Gesture identification means, 140 ... Action identification means, 142 ... Area identification means, 144: Operation content specifying means, 146: Device control means, DB: Operation identification database, 20: Steering wheel, 22: Grip part, 22A ... Upper end part, 24 ... Center part, 26 ... Spoke Part, 30... Operation target device (in-vehicle device).

Claims

An operation input device that recognizes an operator's gesture in a three-dimensional space and receives an operation input to an operation target device,
The operation target device is an in-vehicle device mounted on a vehicle,
Steering angle detection means for detecting the steering angle of the steering wheel of the vehicle;
Gesture operation propriety determining means for determining whether or not to accept an operation input using the gesture based on the steering angle;
Photographing means for continuously photographing the three-dimensional space;
When operation input using the gesture is permitted, it is determined whether or not the operator has performed a predetermined gesture based on a captured image captured by the imaging unit, and the predetermined gesture has been performed. A gesture identifying means for outputting a control signal for causing the operation target device to perform an operation corresponding to the predetermined gesture;
An operation input device comprising:

A plurality of types of the predetermined gestures are set,
The gesture availability determining means includes a prohibited gesture group that prohibits reception of the plurality of types of predetermined gestures when the steering angle is equal to or greater than a predetermined angle, and a permitted gesture group that is also permitted when the steering angle is equal to or greater than a predetermined angle. And set it separately.
When the steering angle is equal to or greater than a predetermined angle, the gesture identifying means identifies whether the operator has performed a gesture belonging to the permitted gesture group, and when performing a gesture belonging to the permitted gesture group Outputting a control signal for causing the operation target device to perform an operation corresponding to the gesture;
The operation input device according to claim 1.

The gesture operation propriety determining means prohibits an operation input using the gesture when the steering angle is a predetermined angle or more;
The operation input device according to claim 1.

The predetermined gesture is specified by a gesture action and a gesture region indicating a position in the three-dimensional space where the gesture action is performed,
The gesture region is obtained by dividing the three-dimensional space into a plurality of regions along at least two coordinate axis directions.
The operation input device according to any one of claims 1 to 3, wherein

A steering wheel of a vehicle is arranged in the three-dimensional space,
The gesture region has a substantially vertical axis substantially along the vertical direction of the vehicle with the center point of the steering wheel as an origin in the three-dimensional space, and a substantially longitudinal axis substantially along the longitudinal direction of the vehicle. Divided,
The space along the substantially vertical axis is divided into an inner peripheral region of the steering wheel, an outer edge region of the steering wheel, and an upper region above the outer edge region,
The space along the substantially longitudinal axis is divided into a front region, which is a surface where the steering wheel faces the driver, and a rear region, which is a mounting surface of the steering wheel to the vehicle body.
The operation input device according to claim 4.

A steering wheel of a vehicle is arranged in the three-dimensional space,
The gesture region includes a substantially vertical axis substantially along the vertical direction of the vehicle with the center point of the steering wheel as an origin in the three-dimensional space, a substantially longitudinal axis substantially along the longitudinal direction of the vehicle, and the vehicle Divided substantially along the vehicle width direction axis substantially along the vehicle width direction,
The space along the substantially vertical axis is divided into an inner peripheral region of the steering wheel, an outer edge region of the steering wheel, and an upper region above the outer edge region,
The space along the substantially longitudinal axis is divided into a front region, which is a surface where the steering wheel faces the driver, and a rear region, which is a mounting surface of the steering wheel to the vehicle body,
The space along the substantially vehicle width direction axis is divided into a region on one vehicle side from the center point of the steering wheel and a region on the other vehicle side from the center point.
The operation input device according to claim 4.