JP2006335112A - Command input device - Google Patents

Command input device Download PDF

Info

Publication number
JP2006335112A
JP2006335112A JP2005159105A JP2005159105A JP2006335112A JP 2006335112 A JP2006335112 A JP 2006335112A JP 2005159105 A JP2005159105 A JP 2005159105A JP 2005159105 A JP2005159105 A JP 2005159105A JP 2006335112 A JP2006335112 A JP 2006335112A
Authority
JP
Japan
Prior art keywords
hand
imaging
command
camera
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005159105A
Other languages
Japanese (ja)
Other versions
JP4788199B2 (en
Inventor
Yoshimi Ota
最実 太田
Masaki Hirota
正樹 廣田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2005159105A priority Critical patent/JP4788199B2/en
Publication of JP2006335112A publication Critical patent/JP2006335112A/en
Application granted granted Critical
Publication of JP4788199B2 publication Critical patent/JP4788199B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

<P>PROBLEM TO BE SOLVED: To improve a recognition rate of a hand command by a shape of the hand or the like indicated by an occupant. <P>SOLUTION: The command input device is equipped with cameras 10A, 10B which image a predetermined detection area including the hand of the occupant of the vehicle from the two or more different directions, an extraction means 21 which extracts the shape of the hand and/or the moving of the hand based on two or more of the image pick up data to be imaged, a determination means 22 which determines the hand command corresponding to the shape of the hand and/or the moving of the hand to be extracted, and an execution means 23 executing the hand command to be determined. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、車両の乗員により表現されるハンドコマンドの入力を受け付けるコマンド入力装置に関し、特に、乗員の手等を２以上の方向から撮像するコマンド入力装置に関する。   The present invention relates to a command input device that receives an input of a hand command expressed by an occupant of a vehicle, and more particularly to a command input device that images an occupant's hand or the like from two or more directions.

車両に搭載される車載機器の多様化に伴い、乗員が行う入力操作は複雑化している。運転中の乗員の負担を軽減するため、乗員がステアリングを握りながら差し出した指の形状や動きをイメージセンサで認識し、指の形状や動きに応じたハンドコマンドを受け付ける非接触型の入力装置が提案されている（特許文献１参照）。これによれば、ハンドルを持ったままハンドコマンドの入力を行うことができる。   With the diversification of in-vehicle devices mounted on vehicles, input operations performed by passengers are becoming more complex. In order to reduce the burden on the driver while driving, a non-contact type input device that recognizes the finger shape and movement that the occupant put out while grasping the steering wheel with an image sensor and accepts hand commands according to the finger shape and movement It has been proposed (see Patent Document 1). According to this, it is possible to input a hand command while holding the handle.

しかしながら、操作者が所定のハンドコマンドに対応する手の形状を示すため、指を１本、指を２本又は指を３本立てた場合、立てた指がすべて撮像に適した所定の方向に向いていることは稀であり、１本の指の方向は所定の方向を向いていても他の指は異なる方向を向いてしまうという問題があった。例えば、伸ばした指の本数に基づいてハンドコマンドを判定する場合、伸ばした指が撮像方向に向かって折れていると、その指が伸びているか否かを判断することが困難であるという問題があった。例えば、操作者が親指と人さし指を曲げてステアリングを握り、他の３本の指を伸ばした状態の手の形状が所定のハンドコマンドに対応する場合、この手の形状を掌側（この方向を仮に正面方向と仮定する）から見ると、３本の指がほぼ同じ方向に向かって自然に伸びている状態を観察することができるため、この方向から手を撮像すれば３本の指が伸ばされた手の形状を正確に認識することができる。しかしながら、実際には伸ばした３本の指は曲げている人さし指の方向に自然と曲がってしまう傾向があるため、この手の形状を正面方向以外の方向から観察する場合、特に手の形状を横から（掌側に対して約90度回転させた位置から）観察する場合には、何れの指が伸びているのかを正確に認識することができず、実際には３本の指が伸ばされている手の形状を、１本の指が伸ばされた手の形状又は２本の指が伸ばされた手の形状と誤認識してしまう可能性があるという問題があった。
特開２００３−１３１７８５号公報 However, when the operator stands one finger, two fingers, or three fingers to indicate the shape of the hand corresponding to a predetermined hand command, all the raised fingers are directed in a predetermined direction suitable for imaging. However, there is a problem that even if the direction of one finger faces a predetermined direction, the other finger faces a different direction. For example, when determining a hand command based on the number of fingers that have been stretched, there is a problem in that it is difficult to determine whether or not the fingers are stretched if the stretched fingers are bent toward the imaging direction. there were. For example, if the operator holds the steering wheel with his thumb and index finger bent, and the hand shape with the other three fingers extended corresponds to a predetermined hand command, this hand shape is changed to the palm side (this direction Assuming the front direction), it is possible to observe a state in which the three fingers naturally extend in substantially the same direction. If the hand is imaged from this direction, the three fingers are extended. Can accurately recognize the shape of the hand. In reality, however, the three fingers that have been stretched tend to bend naturally in the direction of the bent index finger. Therefore, when observing the shape of the hand from a direction other than the front direction, the shape of the hand is particularly lateral. When observing (from a position rotated about 90 degrees with respect to the palm side), it is impossible to accurately recognize which finger is extended, and in reality, three fingers are extended. There is a problem that the shape of a hand may be erroneously recognized as the shape of a hand with one finger extended or the shape of a hand with two fingers extended.
JP 2003-131785 A

本発明は、乗員が示した手の形状等によるハンドコマンドの認識率を向上させることを目的とする。
この発明によれば、車両の乗員の手を含む所定の検出領域を２以上の異なる方向から撮像する撮像手段と、撮像された２以上の撮像データに基づいて乗員の手の形状および／または手の動きを抽出する抽出手段と、抽出された手の形状および／または手の動きに対応するハンドコマンドを判定する判定手段と、判定されたハンドコマンドを実行させる実行手段とを備えたコマンド入力装置が提供される。 An object of the present invention is to improve a hand command recognition rate based on a hand shape or the like indicated by an occupant.
According to the present invention, the imaging means for imaging a predetermined detection area including the occupant's hand of the vehicle from two or more different directions, and the shape and / or hand of the occupant's hand based on the two or more captured image data. Command input device comprising: extraction means for extracting the movement of the hand; determination means for determining a hand command corresponding to the extracted hand shape and / or hand movement; and execution means for executing the determined hand command Is provided.

複数の方向から手の形状を撮像するため、乗員が示した手の向き及び指の向きにかかわらず、示されたハンドコマンドを正確に認識することができる。   Since the hand shape is imaged from a plurality of directions, the indicated hand command can be accurately recognized regardless of the hand direction and finger direction indicated by the occupant.

＜第１実施形態＞
以下、本発明の実施形態を図面に基づいて説明する。
本実施形態のコマンド入力装置１００は車両に搭載され、図１に示すように乗員が車両のステアリングを握りながら手若しくは指の形態（差し出した指・差し出した指の本数など）又は手若しくは指の動作により表現したハンドコマンドの入力を受け付ける。本実施形態のハンドコマンドは、車両搭載のオーディオ装置、エアコン、ナビゲーション装置等の車載装置に対する制御命令である。 <First Embodiment>
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
The command input device 100 according to the present embodiment is mounted on a vehicle, and as shown in FIG. 1, the occupant is in the form of a hand or fingers (such as the number of fingers and fingers that have been drawn out) or the Accepts input of hand commands expressed by actions. The hand command of the present embodiment is a control command for an in-vehicle device such as an on-vehicle audio device, an air conditioner, or a navigation device.

本実施形態のコマンド入力装置１００は、乗員によって示されたハンドコマンドを２以上の異なる方向から撮像し、撮像された２以上の撮像データに基づいてハンドコマンドの抽出・判定を行う。図２に本実施形態のコマンド入力装置１００のブロック構成を示した。図２に示すように、コマンド入力装置１００は、第１カメラ１０Ａ及び第２カメラ１０Ｂを含む撮像手段１０と、入力制御装置２０とを備えている。コマンド入力装置１００は、外部の車載装置２００と車載ＬＡＮにより情報授受が可能なように接続されている。コマンド入力装置１００は、車載ＬＡＮを介して受け付けたハンドコマンドを車載装置２００に向けて送出する。   The command input device 100 according to the present embodiment captures a hand command indicated by an occupant from two or more different directions, and extracts and determines a hand command based on the two or more captured image data. FIG. 2 shows a block configuration of the command input device 100 of the present embodiment. As illustrated in FIG. 2, the command input device 100 includes an imaging unit 10 including a first camera 10 </ b> A and a second camera 10 </ b> B, and an input control device 20. The command input device 100 is connected to an external in-vehicle device 200 so as to be able to exchange information via an in-vehicle LAN. The command input device 100 sends the hand command received via the in-vehicle LAN to the in-vehicle device 200.

本実施形態の「撮像手段１０」は、乗員の手を含む所定の検出領域を２以上の異なる方向から撮像する。本実施形態では２つの赤外線カメラを設けることにより、所定の検出領域を２つの異なる方向から撮像する。本例では、説明の便宜のため、２つのカメラを設けた例を説明するが、カメラの数及び撮像方向の数は２に限定されず、３以上のカメラを設けてもよい。撮像手段１０は、乗員によりコマンドが示された手を撮像し、ハンドコマンドの抽出・判定処理ができる画像データを取得できればよく、赤外線カメラ、ＣＣＤカメラ、その他のデジタルカメラであってもよい。本例では夜間や暗い場所でも撮像データを取得してコマンドの抽出・判定を行う観点から、赤外線カメラを採用する。本装置が搭載される車両車内は、昼間は明るく夜は暗く、外光状態の変動が大きく、外光状態の影響により可視カメラで得られた画像は大きく変動するため、検出精度が低下する場合がある。本実施形態では、遠赤外線を検出する赤外線カメラを撮像手段として採用したため、熱を発する対象物のみを画像として捕らえ、外光状態にかかわらずコマンドを示す乗員の手７のみを検出することができる。   The “imaging means 10” of the present embodiment images a predetermined detection area including the passenger's hand from two or more different directions. In this embodiment, by providing two infrared cameras, a predetermined detection area is imaged from two different directions. In this example, for convenience of description, an example in which two cameras are provided will be described. However, the number of cameras and the number of imaging directions are not limited to two, and three or more cameras may be provided. The imaging means 10 may be an infrared camera, a CCD camera, or other digital cameras as long as it can capture a hand in which a command is indicated by an occupant and acquire image data that can be subjected to hand command extraction / determination processing. In this example, an infrared camera is employed from the viewpoint of acquiring imaging data and extracting / determining commands even at night or in a dark place. The inside of the vehicle in which this device is installed is bright in the daytime and dark at night, the fluctuation of the external light condition is large, and the image obtained by the visible camera greatly fluctuates due to the influence of the external light condition, so the detection accuracy decreases There is. In this embodiment, since an infrared camera that detects far-infrared rays is employed as an imaging means, only an object that emits heat can be captured as an image, and only the occupant's hand 7 indicating a command can be detected regardless of the external light state. .

撮像手段１０が撮像する所定の検出領域は、乗員がコマンドを示す位置として予め定義された入力領域を含むことが好ましい。本実施形態における入力領域９と検出領域６を図３（Ａ）に示した。入力領域９はステアリング１付近に設けられ、この入力領域９を含むように検出領域６が設定されている。検出領域６をダッシュボード側から撮像する第２カメラ１０Ｂは、ステアリング１の中心部分と入力領域とを通る帯状領域Ｔをステアリングコラムの延在方向に沿って投影した領域に設けられている。   The predetermined detection area imaged by the imaging means 10 preferably includes an input area defined in advance as a position where the occupant indicates a command. The input area 9 and the detection area 6 in this embodiment are shown in FIG. The input area 9 is provided near the steering 1, and the detection area 6 is set so as to include the input area 9. The second camera 10B that images the detection area 6 from the dashboard side is provided in an area obtained by projecting a belt-like area T passing through the center portion of the steering 1 and the input area along the extending direction of the steering column.

図３（Ｂ）に示すように、入力領域９及び検出領域６は右ステアリングの右側（右手側）に設定されている。乗員はステアリング１を握ったまま、ステアリング１の奥側（フロントガラス側）へ指を伸ばすようにしてハンドコマンドに対応する手の形状等を示す。このような位置に入力領域９及び検出領域６を設けることにより、乗員は手７をステアリング１から離さずに自然な体勢で操作することができる。なお、左側ステアリングの車両の場合には、入力領域９、検出領域６、カメラ１０Ｂを図３（Ａ）（Ｂ）に示す例とは左右対称にすればよい。   As shown in FIG. 3B, the input area 9 and the detection area 6 are set on the right side (right hand side) of the right steering. The occupant shows the shape of the hand corresponding to the hand command by extending the finger toward the back side (front glass side) of the steering wheel 1 while holding the steering wheel 1. By providing the input area 9 and the detection area 6 at such positions, the occupant can operate the hand 7 with a natural posture without taking the hand 7 away from the steering wheel 1. In the case of a left-steering vehicle, the input area 9, the detection area 6, and the camera 10B may be symmetric with respect to the example shown in FIGS.

第１実施形態の撮像手段１０は、異なる位置に設けられた第１カメラ１０Ａ及び第２カメラ１０Ｂを有し、これら第１カメラ１０Ａ及び第２カメラ１０Ｂにより２つの異なる方向から所定の検出領域を撮像する。図４にステアリング１、ステアリングコラム２、ダッシュボード５、第１カメラ１０Ａ及び第２カメラ１０Ｂの位置関係を示した。入力領域９はステアリング１の近傍に設けられ、この入力領域９を含むように検出領域６が設定されている。   The imaging means 10 of the first embodiment includes a first camera 10A and a second camera 10B provided at different positions, and a predetermined detection region is obtained from two different directions by the first camera 10A and the second camera 10B. Take an image. FIG. 4 shows the positional relationship among the steering 1, the steering column 2, the dashboard 5, the first camera 10A, and the second camera 10B. The input area 9 is provided in the vicinity of the steering 1, and the detection area 6 is set so as to include the input area 9.

図４に示すように、第１カメラ１０Ａは車両のステアリングコラム２の側面の第１撮像位置Ｐから入力領域９を含む所定の検出領域６を撮像する。第２カメラ１０Ｂは入力領域９に対向するダッシュボード５（ステアリングコラム２と第１カメラ１０Ａが設けられた第１撮像位置Ｐに最も近いドアとの間にあるダッシュボード５）に設定された第２撮像位置Ｑから検出領域６を撮像する。第１カメラ１０Ａを車両のステアリングコラム２の側面の第１撮像位置Ｐに設けることにより、ドアの内壁面を背景としてステアリングに置かれた手を撮像するため、背景に乗員の身体が写りこまず、手を背景から正確に抽出することができる。   As shown in FIG. 4, the first camera 10 </ b> A images a predetermined detection area 6 including the input area 9 from the first imaging position P on the side surface of the steering column 2 of the vehicle. The second camera 10B is set to the dashboard 5 facing the input area 9 (the dashboard 5 between the steering column 2 and the door closest to the first imaging position P where the first camera 10A is provided). 2 The detection area 6 is imaged from the imaging position Q. Since the first camera 10A is provided at the first imaging position P on the side surface of the steering column 2 of the vehicle, the hand placed on the steering is imaged with the inner wall surface of the door as the background. The hand can be accurately extracted from the background.

第２カメラ１０Ｂは、ステアリング１の中心部分と入力領域９とを通る帯状領域Ｔを、ステアリングコラム２の延在方向（矢印Ｒ）に沿ってダッシュボードへ投影した領域の第２撮像位置Ｑに設けられている。本例では、入力領域９への撮像方向ｑがステアリングコラム２の延在方向に沿うように第２撮像位置Ｑの横位置及び高さを設定し、第２撮像位置Ｑに第２カメラ１０Ｂを設けた。第２カメラ１０Ｂを車両のダッシュボード５の第２撮像位置Ｑに設けることにより、ステアリング１の裏側を背景としてステアリングに置かれた手を撮像することができるため、背景に乗員の身体が写りこまず、手を背景から正確に抽出することができる。   The second camera 10B has a second imaging position Q in a region where a belt-like region T passing through the center portion of the steering 1 and the input region 9 is projected onto the dashboard along the extending direction of the steering column 2 (arrow R). Is provided. In this example, the lateral position and height of the second imaging position Q are set so that the imaging direction q to the input area 9 is along the extending direction of the steering column 2, and the second camera 10B is set at the second imaging position Q. Provided. By providing the second camera 10B at the second imaging position Q of the dashboard 5 of the vehicle, it is possible to image the hand placed on the steering with the back side of the steering 1 as the background, so that the occupant's body is reflected in the background. First, the hand can be accurately extracted from the background.

特に限定されないが、ステアリングコラム側の位置Ｐから撮像する第１撮像方向（矢印ｐ）とダッシュボード５側の位置Ｑから撮像する第２撮像方向（矢印ｑ）とが検出領域６において略直交するように、第１撮像位置Ｐ及び第２撮像位置Ｑとを設定することが好ましい。 Although not particularly limited, the first imaging direction (arrow p) for imaging from the position P on the steering column side and the second imaging direction (arrow q) for imaging from the position Q on the dashboard 5 side are substantially orthogonal in the detection region 6. Thus, it is preferable to set the first imaging position P and the second imaging position Q.

第１撮像位置Ｐに設けられた第１カメラ１０Ａ及び第２撮像位置Ｑに設けられた第２カメラ１０Ｂは、ステアリング１を握りながらハンドコマンドを示す乗員の手７を略直交する２方向から撮像する。乗員がステアリング１を握ったまま指を立ててハンドコマンドを示す場合、各指は同じ方向ではなく異なる方向を向いてしまう。たとえば、ステアリング１を握りながら人指し指、中指、薬指の3本を立てた場合、図５に示すように、薬指と中指は６５度程度の角度をもってしまう。このような場合、一方向から撮像すると薬指が立っていることは認識できても中指が立っていることは認識できない、又は中指が立っていることは認識できても薬指が立っていることは認識できないということとなり、誤検出を招くおそれがある。これに対し、本実施形態のコマンド入力装置１００は、２以上の異なる方向から乗員の手を撮像するため、各指が異なる方向を向いていても、伸びているか否かを正確に検出することができる。   The first camera 10A provided at the first imaging position P and the second camera 10B provided at the second imaging position Q image the occupant's hand 7 indicating a hand command while grasping the steering wheel 1 from two directions substantially orthogonal to each other. To do. When an occupant stands a finger while holding the steering wheel 1 to indicate a hand command, each finger points in a different direction instead of the same direction. For example, when the index finger, the middle finger, and the ring finger are raised while holding the steering wheel 1, the ring finger and the middle finger have an angle of about 65 degrees as shown in FIG. In such a case, when taking an image from one direction, it can be recognized that the ring finger is standing, but the middle finger is not standing, or the middle finger is standing, but the ring finger is standing This means that it cannot be recognized, which may lead to erroneous detection. On the other hand, since the command input device 100 of the present embodiment images the occupant's hand from two or more different directions, it can accurately detect whether or not the fingers are extending even if each finger is pointing in a different direction. Can do.

次に「入力制御装置２０」について説明する。「入力制御装置２０」は、抽出手段２１と、判定手段２２と、実行手段２３とを備え、カメラ１０により撮像された画像に基づいて乗員が示したハンドコマンドを実行させる。   Next, the “input control device 20” will be described. The “input control device 20” includes an extraction unit 21, a determination unit 22, and an execution unit 23, and executes a hand command indicated by the occupant based on an image captured by the camera 10.

本例の抽出手段２１は、２のカメラ１０Ａ，１０Ｂ（赤外線カメラ）により撮像された２以上の撮像データから、手の形状および／または手の動きを抽出する。抽出手法は特に限定されないが、本例では赤外線データに基づいて人間の手の表皮温度（２４〜３４℃）を基準とした温度帯域に含まれる温点の分布を抽出し、この分布から人間の手の形状および／または人間の手の動きを抽出する。   The extraction means 21 of this example extracts the shape of the hand and / or the movement of the hand from two or more pieces of image data captured by the two cameras 10A and 10B (infrared camera). Although the extraction method is not particularly limited, in this example, the distribution of the warm spots included in the temperature band based on the epidermis temperature (24 to 34 ° C.) of the human hand is extracted based on the infrared data, and the human temperature is extracted from this distribution. Extract hand shape and / or human hand movement.

本実施形態の抽出手段２１は、第１画像取得部２１１Ａと、第１手形状検出部２１２Ａと、第２画像取得部２１１Ｂと、第２手形状検出部２１２Ｂと、合成抽出部２１３とを有する。第１画像取得部２１１Ａは第１カメラ１０Ａにより撮像された撮像データを取得し、第１手形状検出部２１２Ａは第１画像取得部２１１Ａにより取得された撮像データに基づいて乗員の手の形状および／または手の動きを抽出する。同様に、第２画像取得部２１１Ｂは第２カメラ１０Ｂにより撮像された撮像データを取得し、第２手形状検出部２１２Ｂは第２画像取得部２１１Ｂにより取得された撮像データに基づいて乗員の手の形状および／または手の動きを抽出する。   The extraction unit 21 of the present embodiment includes a first image acquisition unit 211A, a first hand shape detection unit 212A, a second image acquisition unit 211B, a second hand shape detection unit 212B, and a synthesis extraction unit 213. . The first image acquisition unit 211A acquires imaging data captured by the first camera 10A, and the first hand shape detection unit 212A uses the imaging data acquired by the first image acquisition unit 211A and the occupant's hand shape and Extract hand movements. Similarly, the second image acquisition unit 211B acquires imaging data captured by the second camera 10B, and the second hand shape detection unit 212B acquires the occupant's hand based on the imaging data acquired by the second image acquisition unit 211B. Shape and / or hand movement.

乗員が３本の指を立ててハンドコマンドを示した状態を図６に示した。図６に示すように、人指し指、中指は略平行に撮像方向ｑ方向へ向かって伸び、薬指は撮像方向ｐへ向かって曲がっている。このハンドコマンドについて、第１手形状検出部２１２Ａおよび第２手形状検出部２１２Ｂの検出結果を図７（Ａ）（Ｂ）に示した。   FIG. 6 shows a state in which the occupant raises three fingers and indicates a hand command. As shown in FIG. 6, the index finger and the middle finger extend in the imaging direction q direction substantially in parallel, and the ring finger is bent in the imaging direction p. 7A and 7B show the detection results of the first hand shape detection unit 212A and the second hand shape detection unit 212B for this hand command.

図７（Ａ）は第１カメラ１０Ａにより撮像方向ｐで撮像された画像データに基づいて第１手形状検出部２１２Ａが抽出した乗員の手の形状および／または手の動きであり、図７（Ｂ）は第２カメラ１０Ｂにより撮像方向ｑで撮像された画像データに基づいて第２手形状検出部２１２Ｂが抽出した乗員の手の形状および／または手の動きである。   FIG. 7A shows the occupant's hand shape and / or hand movement extracted by the first hand shape detector 212A based on image data captured in the imaging direction p by the first camera 10A. B) is the occupant's hand shape and / or hand movement extracted by the second hand shape detector 212B based on the image data captured in the imaging direction q by the second camera 10B.

図７（Ａ）に示すように、第１手形状検出部２１２Ａは第１カメラ１０Ａにより撮像された画像データに基づいて人指し指と中指が伸びていることを検出するが、薬指が伸びていることは検出できない。他方、図７（Ｂ）に示すように、第２手形状検出部２１２Ｂは、第２カメラ１０Ｂにより撮像された画像データに基づいて薬指が伸びていることを検出するが、人指し指と中指が伸びていることを検出できない。 As shown in FIG. 7A, the first hand shape detector 212A detects that the index finger and middle finger are extended based on the image data captured by the first camera 10A, but the ring finger is extended. Cannot be detected. On the other hand, as shown in FIG. 7B, the second hand shape detection unit 212B detects that the ring finger is extended based on the image data captured by the second camera 10B, but the index finger and the middle finger are extended. Cannot be detected.

合成抽出部２１３は、第１手形状検出部２１２Ａの検出結果と第２手形状検出部２１２Ｂの検出結果に基づいて、乗員の手の形状および／または手の動きを抽出する。合成抽出部２１３は、各指を特定し、特定された指の長さに基づいてその指が伸びているか否かを判断する。   The composition extraction unit 213 extracts the occupant's hand shape and / or hand movement based on the detection result of the first hand shape detection unit 212A and the detection result of the second hand shape detection unit 212B. The combination extraction unit 213 identifies each finger and determines whether or not the finger is extended based on the length of the identified finger.

合成抽出部２１３は、検出された指の相対的位置に基づいて指を特定する。指の長さを参照して指を特定してもよい。指の長さの検出は取得した複数の画像データに基づいて行う。具体的に、図６及び図７を参照して説明する。手７を第１カメラ１０Ａで撮像方向ｐから撮像すると、人指し指Ｍの長さはLaと検出される（図７（Ａ））。他方、第２カメラ１０Ｂで撮像方向ｑから撮像すると、人指し指Ｍの長さはLbと検出され（図７（Ｂ））、カメラの位置によって検出結果が異なることがある。本実施形態では、第１カメラ１０Ａの撮像データと第２カメラ１０Ｂの撮像データに基づいて、人差し指Ｍの長さを検出する。本例では、撮像方向ｐと撮像方向ｑとが直交するため、人指し指Ｍの実際の長さを√(Ｌａ２＋Ｌｂ２)として算出する。同様にして、合成抽出部２１３は検出された各指について指の長さを算出し、各指が伸びた状態にあるか否かを判断する。合成抽出部２１３はどの指が伸びているか、何本の指が伸びているかに基づいて、乗員が示した手の形状を抽出する。 The composition extraction unit 213 identifies the finger based on the detected relative position of the finger. The finger may be specified with reference to the length of the finger. The finger length is detected based on a plurality of acquired image data. This will be specifically described with reference to FIGS. When the hand 7 is imaged from the imaging direction p by the first camera 10A, the length of the index finger M is detected as La (FIG. 7A). On the other hand, when the second camera 10B captures an image from the imaging direction q, the length of the index finger M is detected as Lb (FIG. 7B), and the detection result may differ depending on the position of the camera. In the present embodiment, the length of the index finger M is detected based on the imaging data of the first camera 10A and the imaging data of the second camera 10B. In this example, since the imaging direction p and the imaging direction q are orthogonal, the actual length of the index finger M is calculated as √ (La 2 + Lb 2 ). Similarly, the composition extraction unit 213 calculates the finger length for each detected finger, and determines whether or not each finger is in an extended state. The composition extraction unit 213 extracts the shape of the hand indicated by the occupant based on which finger is stretched and how many fingers are stretched.

このように、２以上の異なる方向から撮像された２つの画像データに基づいて手の形状等を抽出することにより、正確な指の長さを検出し、ハンドコマンドを正確に抽出することができる。つまり、1方向からの撮像データだけでは誤検知が生じてしまうような場合にあっても、正確に指が伸びているか否かを検出することができ、手の形状等の検出精度を向上させることができる。   In this way, by extracting the hand shape and the like based on two image data captured from two or more different directions, it is possible to detect an accurate finger length and accurately extract a hand command. . In other words, it is possible to detect whether or not a finger is stretched accurately even in the case where erroneous detection occurs only with imaging data from one direction, and improve the detection accuracy of the hand shape etc. be able to.

判定手段２２は、抽出手段２１により抽出された手の形状および／または手の動きに基づいてハンドコマンドの内容を判定する。判定の手法は特に限定されず、伸ばされた指の本数、伸ばされた指の別に基づいてハンドコマンド認識してもよいし、抽出された手の形状等に基づいてパターンマッチング手法により判定してもよい。   The determination unit 22 determines the content of the hand command based on the hand shape and / or hand movement extracted by the extraction unit 21. The determination method is not particularly limited, and hand commands may be recognized based on the number of extended fingers, the number of extended fingers, or determined by a pattern matching method based on the extracted hand shape, etc. Also good.

本実施形態では、伸ばされた指の本数と、各ハンドコマンドに予め対応づけられた手の形状および／または手の動きとを対比して、抽出された手の形状および／または手の動きのハンドコマンドを判定する。判定手段２２は、ハンドコマンドの内容と手の形状および／または手の動きとを予め対応づけた対応情報を、読み込み可能な記憶手段（ＲＡＭまたはＲＯＭ）から取得する。図８に手の形状等（伸ばされた指の本数）とハンドコマンドとを予め対応づけた対応情報の一例を示す。対応情報においては、手の形状および／または手の動きから予め対応づけられた所定のハンドコマンドが特定される。所定の手の形状（例えば指の本数）等と所定のハンドコマンド（例えば機器のＯＮ／ＯＦＦ）とを対応づけてもよいし、ハンドコマンドの階層構造に応じて、所定の手の形状（例えば指の本数）等の組み合わせと、所定のハンドコマンド（例えばオーディオ選択後の音量ＵＰ／ＤＯＷＮ）とを対応づけてもよい。図８に示す例では、手の形状ａはエアコンの起動命令に対応し、手の形状ｂはオーディオの起動命令に対応し、手の形状ｃはナビゲーション装置の起動命令に対応する。   In the present embodiment, the number of extended fingers and the hand shape and / or hand movement previously associated with each hand command are compared, and the extracted hand shape and / or hand movement are compared. Determine hand command. The determination unit 22 acquires correspondence information in which the content of the hand command is associated with the hand shape and / or hand movement in advance from a readable storage unit (RAM or ROM). FIG. 8 shows an example of correspondence information in which a hand shape and the like (number of extended fingers) are associated with a hand command in advance. In the correspondence information, a predetermined hand command associated in advance with the hand shape and / or hand movement is specified. A predetermined hand shape (for example, the number of fingers) or the like may be associated with a predetermined hand command (for example, ON / OFF of the device), and depending on the hierarchical structure of the hand command, a predetermined hand shape (for example, A combination such as the number of fingers) may be associated with a predetermined hand command (for example, volume UP / DOWN after audio selection). In the example shown in FIG. 8, the hand shape a corresponds to an air conditioner activation command, the hand shape b corresponds to an audio activation command, and the hand shape c corresponds to an navigation device activation command.

実行手段２３は、判定手段２２により判定されたハンドコマンドを実行させる。実行手段２３は、判定されたハンドコマンドが制御する装置へ向けて、そのハンドコマンドを送出する。ハンドコマンドを取得した各車載装置２００は、取得したハンドコマンドを実行する。   The execution unit 23 causes the hand command determined by the determination unit 22 to be executed. The execution means 23 sends the hand command to the device controlled by the determined hand command. Each in-vehicle device 200 that has acquired the hand command executes the acquired hand command.

次に本実施形態のコマンド入力装置１００の制御手順を図９のフローチャートに基づいて説明する。図９に示すように、起動後(Ｓ１０１)、第１カメラ１０Ａは、１の撮像方向ｐから所定の検出領域を撮像する（Ｓ１０２）。第１画像取得部２１１Ａは第１カメラ１０Ａから第１画像データＡを取得する（Ｓ１０３）。第１手形状検出部２１２Ａは第１画像データにＡ基づいて手形状Ａを検出する（Ｓ１０４）。Ｓ１０２からＳ１０４の処理と並行して、第２カメラ１０Ｂは、１の撮像方向ｑから所定の検出領域を撮像する（Ｓ１１２）。第２画像取得部２１１Ｂは第２カメラ１０Ｂから第２画像データＢを取得する（Ｓ１１３）。第２手形状検出部２１２Ｂは第２画像データＢに基づいて手形状Ｂを検出する（Ｓ１１４）。   Next, the control procedure of the command input device 100 of this embodiment will be described based on the flowchart of FIG. As shown in FIG. 9, after activation (S101), the first camera 10A images a predetermined detection region from one imaging direction p (S102). The first image acquisition unit 211A acquires the first image data A from the first camera 10A (S103). The first hand shape detector 212A detects the hand shape A based on A based on the first image data (S104). In parallel with the processing from S102 to S104, the second camera 10B images a predetermined detection area from one imaging direction q (S112). The second image acquisition unit 211B acquires the second image data B from the second camera 10B (S113). The second hand shape detection unit 212B detects the hand shape B based on the second image data B (S114).

合成抽出部２１３は、第１手形状検出部２１２Ａが検出した手形状Ａと第２手形状検出部２１２Ｂが検出した手形状Ｂに基づいて、手形状を抽出する。本例では、伸ばされた指の本数をカウントする（Ｓ１０５）。   The composition extraction unit 213 extracts a hand shape based on the hand shape A detected by the first hand shape detection unit 212A and the hand shape B detected by the second hand shape detection unit 212B. In this example, the number of stretched fingers is counted (S105).

判定手段２２は抽出手段２１の合成抽出部２１３により抽出された乗員の手の形状および／又は手の動きに対応するコマンドを判定する（Ｓ１０６）。   The determination unit 22 determines a command corresponding to the shape and / or movement of the occupant's hand extracted by the synthesis extraction unit 213 of the extraction unit 21 (S106).

実行手段２３は判定手段２２により判定されたコマンドを車載装置２００の制御手段に向けて出力する（Ｓ１０７）。車載装置２００は、受け付けたコマンドに基づいて車載装置２００を制御し(Ｓ１０８)、終了する。   The execution unit 23 outputs the command determined by the determination unit 22 to the control unit of the in-vehicle device 200 (S107). The in-vehicle device 200 controls the in-vehicle device 200 based on the received command (S108) and ends.

本実施形態のコマンド入力装置１００は、２以上の異なる方向から撮像された２以上の撮像データに基づいて手の形状等を抽出することにより、1方向だけから撮像した画像データに基づいての形状等を抽出するよりも、指の本数を含む手の形状を正確に抽出することができ、ハンドコマンドの認識率を向上させることができる。   The command input device 100 according to the present embodiment extracts the shape of a hand based on two or more image data captured from two or more different directions, and thereby shapes based on image data captured from only one direction. The shape of the hand including the number of fingers can be accurately extracted, and the recognition rate of the hand command can be improved.

従来、この種の装置において、一つのカメラから投光した光の反射光の輝度分布から立体情報を得て、指空間ベクトル情報を検出することにより指が伸びているかどうかを検出する手法が用いられていた。しかし、輝度分布を検出するには、カメラがこの輝度差を感じるだけの高感度性能を備えること、および照射光（例えば近赤外線）に対する指の反射率が均一であるということが必要となり、正確な検出を行うことが困難であった。また、レンズの被写体深度が有限であるため、指が曲がるとカメラから遠いところと近いところでは、画像に部分的なボケが生じて、輝度値が変化してしまい指の向きや長さを正確に検出することができないという問題があった。これに対し、本実施形態コマンド入力装置１００は、このような問題を生じることなく、２以上の異なる方向から撮像された２以上の撮像データに基づいて手の形状等を抽出することにより、伸ばされた指の本数等の手の形状を正確に抽出することができる。   Conventionally, in this type of device, a method has been used in which three-dimensional information is obtained from the luminance distribution of the reflected light of light projected from one camera, and the finger space vector information is detected to detect whether the finger is extended. It was done. However, in order to detect the luminance distribution, it is necessary for the camera to have a high-sensitivity performance that can sense this luminance difference, and that the reflectance of the finger with respect to the irradiated light (for example, near infrared rays) is uniform. It was difficult to perform accurate detection. In addition, since the depth of the subject of the lens is finite, if the finger is bent, the image will be partially blurred near and away from the camera, the brightness value will change, and the orientation and length of the finger will be accurate. There was a problem that it could not be detected. On the other hand, the command input device 100 according to the present embodiment is stretched by extracting the shape of the hand and the like based on two or more imaging data imaged from two or more different directions without causing such a problem. The shape of the hand, such as the number of fingers, can be accurately extracted.

＜第２実施形態＞
第２実施形態のコマンド入力装置１００は、基本的な構成、作用及び効果は第１実施形態のコマンド入力装置と共通するが、第２カメラ１０Ｃの配置位置が第１実施形態の第２カメラ１０Ｂの配置位置と異なる。ここでは異なる点を中心に説明し、重複する説明は省略する。 Second Embodiment
The command input device 100 of the second embodiment has the same basic configuration, operation, and effect as the command input device of the first embodiment, but the arrangement position of the second camera 10C is the second camera 10B of the first embodiment. It is different from the arrangement position. Here, different points will be mainly described, and duplicate descriptions will be omitted.

乗員がステアリング１を操作しながら入力のために指を伸ばす場合、指の方向は乗員のステアリング１を握る位置、すなわち入力位置９の場所に応じて変化する。本実施形態では入力位置９の位置に応じて第２カメラ１０Ｃを適切な位置に配置する。   When the occupant extends his / her finger for input while operating the steering 1, the direction of the finger changes according to the position of the occupant's steering 1, that is, the position of the input position 9. In the present embodiment, the second camera 10 </ b> C is arranged at an appropriate position according to the position of the input position 9.

図１０（Ａ）に示すように、入力位置９がステアリング１の中心に対して右側にある場合に、ステアリング１を握りながら指を伸ばすと、図１０（Ｂ）に示すように、指はステアリング１の内側に向かって曲がる傾向がある。また、図１１（Ａ）に示すように、入力位置９がステアリング１の中心に対して右下側にある場合に、ステアリング１を握りながら指を伸ばすと、図１１（Ｂ）に示すように、指はステアリング１の内側に向かって曲がる傾向がある。このようにハンドコマンドを示す指がステアリングの内側に曲がり、ステアリングコラム２の延在方向に対して垂直方向に指が向くことは少ない場合には、ダッシュボード５の延在面から垂直方向に入力領域９を撮像するよりも、ステアリング２よりも外側から斜めの撮像方向で入力領域９を撮像する方が、曲がった指を確実に２方向から撮像できる。   As shown in FIG. 10 (A), when the input position 9 is on the right side with respect to the center of the steering wheel 1, when the finger is extended while grasping the steering wheel 1, the finger is steered as shown in FIG. 10 (B). There is a tendency to bend toward the inside of 1. Further, as shown in FIG. 11A, when the input position 9 is on the lower right side with respect to the center of the steering wheel 1, when the finger is extended while grasping the steering wheel 1, as shown in FIG. The finger tends to bend toward the inside of the steering wheel 1. When the finger indicating the hand command bends inward of the steering and the finger does not point in the direction perpendicular to the direction in which the steering column 2 extends, it is input in the vertical direction from the extending surface of the dashboard 5. Rather than imaging the area 9, imaging the input area 9 in an oblique imaging direction from the outside of the steering wheel 2 can reliably image a bent finger from two directions.

本実施形態では、ステアリング中心部分と入力領域９とを通る帯状領域を、ステアリングコラム２の延在方向に沿ってダッシュボード５へ投影した領域であって、ステアリング１の外延（輪郭）をステアリングコラム２の延在方向に沿ってダッシュボード５へ投影したステアリング領域よりも外側の領域に第２撮像位置を設け、この第２撮像位置に第２カメラ１０Ｃを設けた。第２カメラ１０Ｃは、ステアリング領域よりも外側からステアリング１の近傍乃至内側の入力領域９を撮像する。   In the present embodiment, a belt-like region passing through the steering center portion and the input region 9 is a region projected onto the dashboard 5 along the direction in which the steering column 2 extends, and the outer extension (contour) of the steering 1 is defined as the steering column. The second imaging position is provided in an area outside the steering area projected onto the dashboard 5 along the extending direction of 2, and the second camera 10C is provided at the second imaging position. The second camera 10 </ b> C captures an image of the input area 9 near or inside the steering 1 from the outside of the steering area.

図１２にステアリング１、ステアリングコラム２、ダッシュボード５、第１カメラ１０Ａ及び第２カメラ１０Ｃの位置関係を示した。図１２に示すように、第１カメラ１０Ａは車両のステアリングコラム２の側面の第１撮像位置Ｐから入力領域９を含む所定の検出領域６を撮像する。第２カメラ１０Ｃは入力領域９に対向するダッシュボード５（ステアリングコラム２と第１カメラ１０Ａが設けられた第１撮像位置Ｐに最も近いドアとの間にあるダッシュボード５）に設定された第２撮像位置Ｓから検出領域６を撮像する。第２カメラ１０Ｃは、ステアリング１の中心部分と入力領域９とを通る帯状領域を、ステアリングコラム２の延在方向（矢印Ｒ）に沿ってダッシュボードへ投影した領域の第２撮像位置Ｓに設けられている。   FIG. 12 shows the positional relationship among the steering 1, the steering column 2, the dashboard 5, the first camera 10A, and the second camera 10C. As shown in FIG. 12, the first camera 10 </ b> A images a predetermined detection area 6 including the input area 9 from the first imaging position P on the side surface of the steering column 2 of the vehicle. The second camera 10C is set to the dashboard 5 facing the input area 9 (the dashboard 5 located between the steering column 2 and the door closest to the first imaging position P where the first camera 10A is provided). 2 The detection area 6 is imaged from the imaging position S. The second camera 10C is provided with a belt-like region passing through the central portion of the steering wheel 1 and the input region 9 at a second imaging position S in a region projected onto the dashboard along the extending direction of the steering column 2 (arrow R). It has been.

本実施形態では、図１２に示すように、ステアリングコラム側から撮像する第１撮像方向（矢印ｐ）とダッシュボード５側から撮像する第２撮像方向（矢印ｓ）とが検出領域６において１２０度で交差するように、第１撮像位置Ｐ及び第２撮像位置Ｓとを設定した。第１撮像方向（矢印ｐ）と第２撮像方向（矢印ｓ）との角度は、特に限定されず、１００〜１３０度の角度で交差させてもよい。
ステアリング１の中心高さにある右端を持ったまま、人差し指、中指及び薬指の3本を伸ばすと、薬指がハンドルの内側に大きく曲がる傾向がある。薬指を曲げることができる角度は、指の付け根からぴんと伸ばした指に対して0〜90度までの範囲であるが、薬指とともに伸ばした中指、人差し指に対しては大体10〜65度の範囲で曲がることが多い。そのため、ダッシュボード５面から垂直に撮像するよりも、ステアリング外周位置よりも外側のダッシュボード５面からステアリングコラム２に対して３０度程度の入射角を有する撮像方向で撮像したほうが、垂直に撮像するよりも曲がった薬指を明確に撮像することが出来る。 In the present embodiment, as shown in FIG. 12, the first imaging direction (arrow p) for imaging from the steering column side and the second imaging direction (arrow s) for imaging from the dashboard 5 side are 120 degrees in the detection region 6. The first imaging position P and the second imaging position S were set so as to intersect each other. The angle between the first imaging direction (arrow p) and the second imaging direction (arrow s) is not particularly limited, and may intersect at an angle of 100 to 130 degrees.
If the index finger, middle finger, and ring finger are extended while holding the right end at the center height of the steering wheel 1, the ring finger tends to bend greatly inside the steering wheel. The angle at which the ring finger can be bent is in the range of 0 to 90 degrees with respect to the finger stretched from the base of the finger, but in the range of approximately 10 to 65 degrees with respect to the middle and index fingers extended with the ring finger. Often bends. Therefore, it is more vertically imaged when the image is taken in the imaging direction having an incident angle of about 30 degrees with respect to the steering column 2 from the dashboard 5 surface outside the steering outer peripheral position than the imaged vertically from the dashboard 5 surface. It is possible to clearly image the bent ring finger rather than to do.

これにより、ステアリング１の内側方向に曲がった手の指を、ダッシュボード側及びステアリングコラム側の両方から確実に撮像することができ、ハンドコマンドを正確に認識することができる。   Thereby, the fingers of the hand bent in the inner direction of the steering 1 can be reliably imaged from both the dashboard side and the steering column side, and the hand command can be recognized accurately.

図１３（Ａ）に示すように、入力位置９がステアリング１の中心に対して右上側にある場合に、ステアリング１を握りながら指を伸ばすと、図１３（Ｂ）に示すように、指はステアリング１の外側に向かって伸びる傾向がある。   As shown in FIG. 13 (A), when the input position 9 is on the upper right side with respect to the center of the steering wheel 1, when the finger is extended while grasping the steering wheel 1, as shown in FIG. There is a tendency to extend toward the outside of the steering 1.

本実施形態では、ステアリング中心部分と入力領域９とを通る帯状領域を、ステアリングコラム２の延在方向に沿ってダッシュボード５へ投影した領域であって、ステアリング１の外延（輪郭）をステアリングコラム２の延在方向に沿ってダッシュボード５へ投影したステアリング領域よりも内側の領域に第２撮像位置を設け、この第２撮像位置に第２カメラ１０Ｃを設けた。第２カメラ１０Ｃは、ステアリング領域よりも内側からステアリング１の近傍乃至内側の入力領域９を撮像する。   In the present embodiment, a belt-like region passing through the steering center portion and the input region 9 is a region projected onto the dashboard 5 along the direction in which the steering column 2 extends, and the outer extension (contour) of the steering 1 is defined as the steering column. The second imaging position is provided in an area inside the steering area projected onto the dashboard 5 along the extending direction 2, and the second camera 10 </ b> C is provided at the second imaging position. The second camera 10 </ b> C captures an image of the input area 9 in the vicinity of or inside the steering 1 from the inside of the steering area.

図１４にステアリング１、ステアリングコラム２、ダッシュボード５、第１カメラ１０Ａ及び第２カメラ１０Ｃの位置関係を示した。図１４に示すように、第１カメラ１０Ａは車両のステアリングコラム２の側面の第１撮像位置Ｐから入力領域９を含む所定の検出領域６を撮像する。第２カメラ１０Ｃは入力領域９に対向するダッシュボード５（ステアリングコラム２と第１カメラ１０Ａが設けられた第１撮像位置Ｐに最も近いドアとの間にあるダッシュボード５）に設定された第２撮像位置Ｓから検出領域６を撮像する。第２カメラ１０Ｃは、ステアリング１の中心部分と入力領域９とを通る帯状領域を、ステアリングコラム２の延在方向（矢印Ｒ）に沿ってダッシュボードへ投影した領域内の第２撮像位置Ｓに設けられている。   FIG. 14 shows the positional relationship among the steering 1, the steering column 2, the dashboard 5, the first camera 10A, and the second camera 10C. As shown in FIG. 14, the first camera 10 </ b> A images a predetermined detection area 6 including the input area 9 from the first imaging position P on the side surface of the steering column 2 of the vehicle. The second camera 10C is set to the dashboard 5 facing the input area 9 (the dashboard 5 located between the steering column 2 and the door closest to the first imaging position P where the first camera 10A is provided). 2 The detection area 6 is imaged from the imaging position S. The second camera 10C is located at the second imaging position S in the area projected on the dashboard along the extending direction of the steering column 2 (arrow R) along the belt-shaped area passing through the center portion of the steering wheel 1 and the input area 9. Is provided.

本実施形態では、図１４に示すように、ステアリングコラム側から撮像する第１撮像方向（矢印ｐ）とダッシュボード５側から撮像する第２撮像方向（矢印ｓ）とが検出領域６において６０度で交差するように、第１撮像位置Ｐ及び第２撮像位置Ｓとを設定した。第１撮像方向（矢印ｐ）と第２撮像方向（矢印ｓ）との角度は、特に限定されず、５０〜７０度の角度で交差させてもよい。これにより、ステアリング１の内側方向に曲がった手の指を、ダッシュボード側及びステアリングコラム側の両方から確実に撮像することができ、ハンドコマンドを正確に認識することができる。   In the present embodiment, as shown in FIG. 14, the first imaging direction (arrow p) for imaging from the steering column side and the second imaging direction (arrow s) for imaging from the dashboard 5 side are 60 degrees in the detection region 6. The first imaging position P and the second imaging position S were set so as to intersect each other. The angle between the first imaging direction (arrow p) and the second imaging direction (arrow s) is not particularly limited, and may intersect at an angle of 50 to 70 degrees. Thereby, the fingers of the hand bent in the inner direction of the steering 1 can be reliably imaged from both the dashboard side and the steering column side, and the hand command can be recognized accurately.

本実施形態は、乗員がハンドコマンドを示す際、入力領域の位置に応じて指の曲がる方向が異なる点を考慮し、入力領域の位置に応じてカメラ１０の設置位置を決定することにより、曲がった指を複数の方向から確実に撮像し、指の位置及び指の長さを正確に認識することができる。   In the present embodiment, when the occupant indicates a hand command, the bending direction of the finger differs depending on the position of the input area, and the bending position is determined by determining the installation position of the camera 10 according to the position of the input area. The finger can be reliably imaged from a plurality of directions and the finger position and finger length can be accurately recognized.

本実施形態によれば、ステアリング１の外側方向に曲がった手の指を、ダッシュボード側及びステアリングコラム側の両方から確実に撮像することができ、ハンドコマンドを正確に認識することができる。   According to this embodiment, the finger of the hand bent in the outward direction of the steering 1 can be reliably imaged from both the dashboard side and the steering column side, and the hand command can be accurately recognized.

＜第３実施形態＞
第３実施形態のコマンド入力装置１００は、基本的な構成、作用及び効果は第１実施形態のコマンド入力装置と共通するが、入力領域９がステアリングコラム２とステアリング１とに連なるスポーク３近傍に設けられ、スポーク３の幅が所定値以上である点が異なる。ここでは異なる点を中心に説明し、重複した説明は省略する。 <Third Embodiment>
The command input device 100 of the third embodiment has the same basic configuration, operation and effect as the command input device of the first embodiment, but the input region 9 is in the vicinity of the spoke 3 connected to the steering column 2 and the steering 1. The difference is that the width of the spoke 3 is not less than a predetermined value. Here, different points will be mainly described, and a duplicate description will be omitted.

図１５（Ａ）には、スポーク３近傍に入力領域９が設けられ、その幅が所定値以上のＸａであるステアリング１を示した。スポークの幅は人の一般的な掌の幅（例えば１０〜１５ｃｍ）以上であることが好ましい。乗員は入力領域９に含まれるスポーク３に指をかけて、所定の手の形状（ハンドコマンド）を示す。この入力領域９を含むように検出領域６を設定する。   FIG. 15A shows the steering 1 in which the input region 9 is provided in the vicinity of the spoke 3 and the width thereof is Xa equal to or greater than a predetermined value. The spoke width is preferably equal to or greater than the width of a typical human palm (for example, 10 to 15 cm). The occupant puts his finger on the spoke 3 included in the input area 9 and shows a predetermined hand shape (hand command). The detection area 6 is set so as to include this input area 9.

図１５（Ｂ）は他のステアリング１の例である。図１５（Ａ）に示した例と同様に、スポーク３近傍に入力領域９が設けられ、その幅は所定値（人の一般的な掌の幅（例えば１０〜１５ｃｍ））以上のＸｂである。乗員は入力領域９に含まれるスポーク３に指をかけて、所定の手の形状（ハンドコマンド）を示す。この入力領域９を含むように検出領域６を設定する。   FIG. 15B is an example of another steering 1. Similar to the example shown in FIG. 15A, the input area 9 is provided in the vicinity of the spoke 3, and the width thereof is Xb equal to or greater than a predetermined value (a typical palm width (for example, 10 to 15 cm)). . The occupant puts his finger on the spoke 3 included in the input area 9 and shows a predetermined hand shape (hand command). The detection area 6 is set so as to include this input area 9.

検出領域６をダッシュボード５側から撮像した場合に、ステアリングの隙間から乗員の身体が背景として映り込むと、乗員の手と乗員の身体（背景）との区別ができず、手の形状等の抽出が正確にできない。本実施形態ではスポーク３の幅を手の幅よりも太くすることにより、ステアリング１の隙間から乗員の身体が撮像されないようにした。これにより乗員の手と身体とが重ならず、背景から乗員の手を正確に抽出して、示されたコマンドを正確に認識することができる。   When the detection area 6 is imaged from the dashboard 5 side and the occupant's body is reflected as a background from the steering gap, the occupant's hand and the occupant's body (background) cannot be distinguished, and the shape of the hand, etc. Extraction is not accurate. In this embodiment, the width of the spoke 3 is made larger than the width of the hand so that the occupant's body is not imaged from the gap in the steering 1. Accordingly, the occupant's hand and body do not overlap, and the occupant's hand can be accurately extracted from the background, and the indicated command can be accurately recognized.

スポーク３に入力領域９を設定し、スポーク３に手をかけてハンドコマンドを示した場合、乗員の手等の背景は車両のウィンドガラスやドアとなり、乗員の身体が背景として映り込むことを防止することができる。   When the input area 9 is set on the spoke 3 and a hand command is given to the spoke 3, the background of the occupant's hand becomes the windshield or door of the vehicle, preventing the occupant's body from being reflected as the background. can do.

＜第４実施形態＞
第４実施形態のコマンド入力装置２００は、基本的な構成、作用及び効果は第１実施形態のコマンド入力装置と共通するが、撮像手段１０がその撮像領域を分割するミラーを有し、撮像領域を分割することにより検出領域を２以上の異なる方向から撮像する点が異なる。ここでは異なる点を中心に説明し、重複した説明は省略する。 <Fourth embodiment>
The command input device 200 of the fourth embodiment has the same basic configuration, operation, and effect as the command input device of the first embodiment, but the imaging means 10 has a mirror that divides the imaging area, and the imaging area Is different in that the detection area is imaged from two or more different directions. Here, different points will be mainly described, and a duplicate description will be omitted.

第４実施形態のコマンド入力装置１００の構成を図１６に示した。本実施形態の撮像手段１０はカメラ１０Ｄとミラー１１を備える。その他の点は第１実施形態のコマンド入力装置と共通する。   The configuration of the command input device 100 of the fourth embodiment is shown in FIG. The imaging means 10 of this embodiment includes a camera 10D and a mirror 11. Other points are common to the command input device of the first embodiment.

図１７にカメラ１０Ｄ及び３つのミラー１１ａ，ミラー１１ｂ，ミラー１１ｃ、ステアリング１、及びダッシュボード５の配置を示した。ミラーはアルミなどの反射率の高い材料により作られたものである。第１実施形態と同様に、ステアリング１上に入力領域９が設定され、この入力領域９を含むように検出領域６を設定されている。特に限定されないが、本例では、１つの赤外線カメラ１０Ｄをステアリングコラム２の側面であってステアリング１の根元に設けた。赤外線カメラ１０Ｄはドア４の方向を向き、ステアリング１上の入力領域９においてハンドコマンドを示す手７を撮像する。   FIG. 17 shows the arrangement of the camera 10D and the three mirrors 11a, 11b, 11c, steering 1, and dashboard 5. The mirror is made of a highly reflective material such as aluminum. Similar to the first embodiment, an input area 9 is set on the steering 1, and the detection area 6 is set so as to include the input area 9. Although not particularly limited, in this example, one infrared camera 10 </ b> D is provided on the side of the steering column 2 and at the root of the steering 1. The infrared camera 10 </ b> D faces the door 4 and images the hand 7 indicating the hand command in the input area 9 on the steering 1.

次にこの赤外線カメラ１０Ｄの撮像領域を分割するため、ミラー１１ａをカメラ１０Ｄの直前に設置する。赤外線カメラ１０Ｄの撮像領域のうち下側半分は撮像方向ｐの方向を撮像し、画像Ａを取得する。またミラー１１ａにより分割された撮像領域のうち上側半分は、ステアリングコラム２の付け根に配置されたミラー１１ｂ、ステアリングコラム２とドア４（カメラ１１ｂに最も近いドア）の間のダッシュボード５上に置かれたミラー１１ｃを介して撮像方向ｑの方向を撮像し、画像Ｂを取得する。   Next, in order to divide the imaging area of the infrared camera 10D, the mirror 11a is installed immediately before the camera 10D. The lower half of the imaging region of the infrared camera 10D captures an image A in the imaging direction p, and acquires an image A. The upper half of the imaging region divided by the mirror 11a is placed on the dashboard 11 between the mirror 11b arranged at the base of the steering column 2 and the steering column 2 and the door 4 (the door closest to the camera 11b). The imaging direction q is imaged through the mirror 11c, and an image B is acquired.

撮像方向ｐ，ｑから手７を撮像するための赤外線カメラ１０、ミラー１１の配置例は図１７に示すものに限定されず、図１８に示すものであってもよい。本例の赤外線カメラ１０Ｅは、ステアリングコラム２の根元に設置され、カメラ１０Ｅの直前に置かれたミラーｅとミラーｄにより撮像方向ｐからの画像Ａと、ミラーｆにより撮像方向ｑからの画像Ｂを得る。なお、本例ではミラー１１の枚数は3枚、赤外線カメラ１０は1台の場合を例にして説明したが、それぞれの数について限定するものではない。   The arrangement example of the infrared camera 10 and the mirror 11 for imaging the hand 7 from the imaging directions p and q is not limited to that shown in FIG. 17 and may be that shown in FIG. The infrared camera 10E of this example is installed at the base of the steering column 2, and an image A from the imaging direction p by the mirror e and mirror d placed immediately before the camera 10E, and an image B from the imaging direction q by the mirror f. Get. In this example, the case where the number of mirrors 11 is three and the number of infrared cameras 10 is one has been described as an example, but the number of each is not limited.

以上のような構成において、乗員が人差し指、中指、薬指の3本を伸ばしている場合に取得した各画像を図１９（Ａ）（Ｂ）に示す。図１９（Ａ）は撮像方向ｐから取得した画像Ａであり、図１９（Ｂ）は撮像方向ｑから取得した画像Ｂである。本実施形態では、ミラー１１により撮像領域を分割したため、赤外線カメラ１０Ｄ，１０Ｅにより撮像方向の異なる画像Ａと画像Ｂを取得でき、２以上の画像を用いることにより、１枚の画像を用いた場合よりも、手７の形状等を正確に抽出することができる。抽出手段２１、判定手段２２の動作は第１実施形態と共通する。   FIGS. 19A and 19B show images acquired when the occupant extends three of the index finger, the middle finger, and the ring finger in the above configuration. FIG. 19A is an image A acquired from the imaging direction p, and FIG. 19B is an image B acquired from the imaging direction q. In this embodiment, since the imaging area is divided by the mirror 11, the images A and B having different imaging directions can be acquired by the infrared cameras 10D and 10E, and a single image is used by using two or more images. Rather, the shape and the like of the hand 7 can be extracted more accurately. The operations of the extraction unit 21 and the determination unit 22 are the same as those in the first embodiment.

図２０に第２実施形態のコマンド入力装置２００の制御手順を示す。本実施形態の制御手順は、図９に示した第１実施形態の制御手順と基本的に共通する。   FIG. 20 shows a control procedure of the command input device 200 of the second embodiment. The control procedure of this embodiment is basically the same as the control procedure of the first embodiment shown in FIG.

カメラ１０Ｄ，１０Ｅ（第１カメラ）は、直接又はミラー１１群を介して２以上の異なる撮像方向から検出領域６を撮像する。カメラ１０Ｄ，１０Ｅは撮像方向ｐで直接検出領域を撮像する（Ｓ１０２）。第１画像取得部２１１Ａは、撮像方向ｐで撮像された画像Ａを取得する（Ｓ１０３）。第１手形状検出部２１２Ａは画像Ａに基づいて手の形状等を検出する（Ｓ１０４）。Ｓ１０２〜Ｓ１０４と並行して、カメラ１０Ｄ（第１カメラ）は、ミラー１１群を介して撮像方向ｑで間接的に検出領域を撮像する（Ｓ１１２）。第２画像取得部２１１Ｂは、撮像方向ｑで撮像された画像Ｂを取得する（Ｓ１１３）。第２手形状検出部２１２Ｂは画像Ｂに基づいて手の形状等を検出する（Ｓ１１４）。   The cameras 10D and 10E (first camera) image the detection area 6 from two or more different imaging directions directly or via the mirror 11 group. The cameras 10D and 10E directly image the detection area in the imaging direction p (S102). The first image acquisition unit 211A acquires the image A captured in the imaging direction p (S103). The first hand shape detection unit 212A detects the hand shape and the like based on the image A (S104). In parallel with S102 to S104, the camera 10D (first camera) indirectly images the detection area in the imaging direction q through the mirror 11 group (S112). The second image acquisition unit 211B acquires the image B imaged in the imaging direction q (S113). The second hand shape detector 212B detects the hand shape and the like based on the image B (S114).

本実施形態によれば、１のカメラで２以上の異なる方向から検出領域を撮像することができるため、カメラ設置のコストを抑制しつつ、第１実施形態と同様の効果を得ることができる。   According to the present embodiment, since the detection area can be imaged from two or more different directions with one camera, the same effects as in the first embodiment can be obtained while suppressing the cost of camera installation.

なお、本例では１のカメラ１０Ｄと３枚のミラー１１により２以上の異なる方向から検出領域を撮像する構成を例に説明したが、カメラ及びミラーの数は限定されない。   In this example, the configuration in which the detection area is imaged from two or more different directions by one camera 10D and three mirrors 11 has been described as an example, but the number of cameras and mirrors is not limited.

＜第５実施形態＞
第５実施形態のコマンド入力装置２００は、基本的な構成、作用及び効果は第４実施形態のコマンド入力装置２００と共通するが、ミラー１１が所定の曲率を有する点が異なる。ここでは異なる点を中心に説明し、重複した説明は省略する。 <Fifth Embodiment>
The command input device 200 of the fifth embodiment has the same basic configuration, operation, and effect as the command input device 200 of the fourth embodiment, except that the mirror 11 has a predetermined curvature. Here, different points will be mainly described, and a duplicate description will be omitted.

図１７に示すようにミラー１１を配置した場合、撮像方向ｐで撮像する場合のカメラ１１Ｄから撮像対象となる手７までの光学的距離Ｙａと、撮像方向ｑで撮像する場合のカメラ１１Ｄから手７までの光学的距離Ｙｂとの差が大きい。このような場合、撮像方向ｐで撮像した画像Ａと撮像方向ｑで撮像した画像Ｂとの縮尺に無視できない違いが生じるため、これを補正する処理が必要となる。   When the mirror 11 is arranged as shown in FIG. 17, the optical distance Ya from the camera 11 </ b> D to the imaging target hand 7 when imaging in the imaging direction p, and the camera 11 </ b> D from the camera 11 </ b> D when imaging in the imaging direction q. The difference from the optical distance Yb up to 7 is large. In such a case, a non-negligible difference occurs in the scale between the image A captured in the image capturing direction p and the image B captured in the image capturing direction q, and processing for correcting this is necessary.

本実施形態では、図２１に示すようにミラー１１ｉとミラー１１ｊに曲率を持たせた。ミラーの曲率はカメラから撮像対象までの距離に応じて適宜設定すればよい。ミラーと凹凸レンズの組み合わせとすることで、撮像方向ｐの光学的距離Yaと撮像方向ｑの光学的距離Ybとの差による縮尺の違いを補正することができる。これにより平板ミラーだけを用いた時よりも手の解像度が上がるので手の形状を正確に検出することができる。このように、本実施形態によれば、撮像方向ごとに光学的距離が異なる場合でもミラーの曲率を変えるだけで縮尺の調整を容易に行うことが出来る。これによりミラーの配置の自由度を向上させることができる。   In the present embodiment, as shown in FIG. 21, the mirror 11i and the mirror 11j have a curvature. What is necessary is just to set the curvature of a mirror suitably according to the distance from a camera to an imaging target. By using a combination of a mirror and a concave-convex lens, a difference in scale due to a difference between the optical distance Ya in the imaging direction p and the optical distance Yb in the imaging direction q can be corrected. As a result, the resolution of the hand is higher than when only a flat mirror is used, so that the shape of the hand can be accurately detected. As described above, according to the present embodiment, even when the optical distance is different for each imaging direction, the scale can be easily adjusted only by changing the curvature of the mirror. Thereby, the freedom degree of arrangement | positioning of a mirror can be improved.

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。   The embodiment described above is described for facilitating the understanding of the present invention, and is not described for limiting the present invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.

コマンド入力装置の使用例を示す図である。It is a figure which shows the usage example of a command input device. 第１実施形態のコマンド入力装置のブロック構成図である。It is a block block diagram of the command input device of 1st Embodiment. （Ａ）（Ｂ）は第１実施形態のカメラと入力領域の位置関係の第１の例を示す図である。(A) and (B) are diagrams showing a first example of the positional relationship between the camera and the input area of the first embodiment. 第１実施形態のカメラ１０の第１の配置例を示す図である。It is a figure which shows the 1st example of arrangement | positioning of the camera 10 of 1st Embodiment. 第１実施形態のハンドコマンドを示す乗員の手の状態を示す図である。It is a figure which shows the state of the passenger | crew's hand which shows the hand command of 1st Embodiment. 第１実施形態のハンドコマンドを示す乗員の手を撮像する撮像方向を説明するための図である。It is a figure for demonstrating the imaging direction which images the passenger | crew's hand which shows the hand command of 1st Embodiment. （Ａ）は第１実施形態の撮像方向ｐの撮像データを示し、（Ｂ）は第１実施形態の撮像方向ｑの撮像データを示す。(A) shows imaging data in the imaging direction p of the first embodiment, and (B) shows imaging data in the imaging direction q of the first embodiment. 第１実施形態の乗員の手の形状とコマンド内容を対応づけた対応データの例を示す図である。It is a figure which shows the example of the corresponding data which matched the passenger | crew's hand shape and command content of 1st Embodiment. 第１実施形態のコマンド入力装置の制御手順を示すフローチャート図である。It is a flowchart figure which shows the control procedure of the command input device of 1st Embodiment. （Ａ）（Ｂ）は第２実施形態のカメラと入力領域の位置関係の第１の例を示す図である。(A) and (B) are diagrams showing a first example of the positional relationship between the camera and the input area of the second embodiment. （Ａ）（Ｂ）は第２実施形態のカメラと入力領域の位置関係の第２の例を示す図である。(A) and (B) are diagrams showing a second example of the positional relationship between the camera and the input area of the second embodiment. 第２実施形態におけるカメラ１０の第１の配置例を示す図である。It is a figure which shows the 1st example of arrangement | positioning of the camera 10 in 2nd Embodiment. （Ａ）（Ｂ）は第２実施形態におけるカメラと入力領域の位置関係の第３の例を示す図である。(A) and (B) are diagrams showing a third example of the positional relationship between the camera and the input area in the second embodiment. 第２実施形態におけるカメラ１０の第２の配置例を示す図である。It is a figure which shows the 2nd example of arrangement | positioning of the camera 10 in 2nd Embodiment. （Ａ）（Ｂ）は第３実施形態のスポークの例である。(A) (B) is an example of the spoke of 3rd Embodiment. 第４実施形態のコマンド入力装置のブロック構成図である。It is a block block diagram of the command input device of 4th Embodiment. 第４実施形態のカメラ１０とミラーの第１の配置例を示す図である。It is a figure which shows the 1st example of arrangement | positioning of the camera 10 and mirror of 4th Embodiment. 第４実施形態のカメラ１０とミラーの第２の配置例を示す図である。It is a figure which shows the 2nd example of arrangement | positioning of the camera 10 and mirror of 4th Embodiment. （Ａ）は第４実施形態における撮像方向ｐの撮像データを示し、（Ｂ）は第４実施形態における撮像方向ｑの撮像データを示す。(A) shows imaging data in the imaging direction p in the fourth embodiment, and (B) shows imaging data in the imaging direction q in the fourth embodiment. 第４実施形態のコマンド入力装置の制御手順を示すフローチャート図である。It is a flowchart figure which shows the control procedure of the command input device of 4th Embodiment. 第５実施形態のカメラ１０とミラーの配置例を示す図である。It is a figure which shows the example of arrangement | positioning of the camera 10 and mirror of 5th Embodiment.

符号の説明Explanation of symbols

１００…コマンド入力装置
１０…カメラ（赤外線カメラ）
１０Ａ，１０Ｃ，１０Ｄ…第１カメラ
１０Ｂ…第２カメラ
２０…入力制御装置
２１…抽出手段
２１１Ａ…第１画像取得部
２１１Ｂ…第２画像取得部
２１２Ａ…第１手形状検出部
２１２Ｂ…第２手形状検出部
２１３…合成抽出部
２２…判定手段
２３…実行手段
１…ステアリング
２…ステアリングコラム
３…スポーク
４…フロントドア
５…ダッシュボード
７…乗員の手
２００・・・車載装置

DESCRIPTION OF SYMBOLS 100 ... Command input device 10 ... Camera (infrared camera)
10A, 10C, 10D ... 1st camera 10B ... 2nd camera 20 ... Input control device 21 ... Extraction means 211A ... 1st image acquisition part 211B ... 2nd image acquisition part 212A ... 1st hand shape detection part 212B ... 2nd hand Shape detection unit 213 ... synthesis extraction unit 22 ... determination means 23 ... execution means 1 ... steering 2 ... steering column 3 ... spoke 4 ... front door 5 ... dashboard 7 ... passenger's hand 200 ... in-vehicle device

Claims (8)

車両に搭載され、車両の乗員の手の形状および／または手の動きにより表現されるコマンドの入力を受け付けるコマンド入力装置であって、
前記乗員の手を含む所定の検出領域を２以上の異なる方向から撮像する撮像手段と、
前記撮像手段により撮像された２以上の撮像データに基づいて乗員の手の形状および／または手の動きを抽出する抽出手段と、
前記抽出手段により抽出された手の形状および／または手の動きに対応するハンドコマンドを判定する判定手段と、
前記判定手段により判定されたハンドコマンドを実行させる実行手段と、を備えたことを特徴とするコマンド入力装置。 A command input device that is mounted on a vehicle and accepts an input of a command expressed by the shape and / or movement of a hand of an occupant of the vehicle,
Imaging means for imaging a predetermined detection area including the occupant's hand from two or more different directions;
Extraction means for extracting the shape and / or movement of the occupant's hand based on two or more imaging data imaged by the imaging means;
Determining means for determining a hand command corresponding to the hand shape and / or hand movement extracted by the extracting means;
An execution means for executing the hand command determined by the determination means. 前記撮像手段は、２以上のカメラを有する請求項１に記載のコマンド入力装置。   The command input device according to claim 1, wherein the imaging unit includes two or more cameras. 前記撮像手段は、当該撮像手段の撮像領域を分割するミラーを備えた請求項１に記載のコマンド入力装置。   The command input device according to claim 1, wherein the imaging unit includes a mirror that divides an imaging region of the imaging unit. 前記ミラーは所定の曲率を有する請求項３に記載のコマンド入力装置。   The command input device according to claim 3, wherein the mirror has a predetermined curvature. 前記撮像手段は、前記車両のステアリングコラム側面の第１撮像位置から前記車両のステアリング付近に設けられた入力領域を含む所定の検出領域を撮像するとともに、前記入力領域に対向するダッシュボードの第２撮像位置から前記検出領域を撮像することを特徴とする請求項１〜４のいずれかに記載のコマンド入力装置。   The imaging means images a predetermined detection area including an input area provided in the vicinity of the steering of the vehicle from a first imaging position on a side surface of the steering column of the vehicle, and a second dashboard that faces the input area. The command input device according to claim 1, wherein the detection area is imaged from an imaging position. 前記第２撮像位置は、前記ステアリング中心部分と前記入力領域とを通る帯状領域を、前記ステアリングコラムの延在方向に沿ってダッシュボードへ投影した領域に設定されたことを特徴とする請求項５に記載のコマンド入力装置。   6. The second imaging position is set to a region obtained by projecting a belt-like region passing through the steering center portion and the input region onto a dashboard along the extending direction of the steering column. Command input device described in 1. 前記入力領域は前記ステアリングコラムと前記ステアリングとに連なるスポーク近傍に設けられ、当該スポークの幅が所定値以上であることを特徴とする請求項６に記載のコマンド入力装置。   The command input device according to claim 6, wherein the input area is provided in the vicinity of a spoke connected to the steering column and the steering, and a width of the spoke is a predetermined value or more. 前記撮像手段は赤外線カメラであることを特徴とする請求項１〜７のいずれかに記載のコマンド入力装置。

The command input device according to claim 1, wherein the imaging unit is an infrared camera.

JP2005159105A 2005-05-31 2005-05-31 Command input device Active JP4788199B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005159105A JP4788199B2 (en) 2005-05-31 2005-05-31 Command input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005159105A JP4788199B2 (en) 2005-05-31 2005-05-31 Command input device

Publications (2)

Publication Number Publication Date
JP2006335112A true JP2006335112A (en) 2006-12-14
JP4788199B2 JP4788199B2 (en) 2011-10-05

Family

ID=37556033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005159105A Active JP4788199B2 (en) 2005-05-31 2005-05-31 Command input device

Country Status (1)

Country Link
JP (1) JP4788199B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011107915A (en) * 2009-11-16 2011-06-02 Fujitsu Ltd Display device, display program and display method
WO2015146037A1 (en) * 2014-03-27 2015-10-01 株式会社デンソー Vehicular display input device
JP2015531719A (en) * 2012-11-27 2015-11-05 ネオノード インコーポレイテッド Light-based touch control on steering wheel and dashboard
US9511669B2 (en) 2014-06-24 2016-12-06 Denso Corporation Vehicular input device and vehicular cockpit module
WO2017061183A1 (en) * 2015-10-05 2017-04-13 株式会社村田製作所 Human interface
JP2017142820A (en) * 2017-03-16 2017-08-17 パイオニア株式会社 Operation input device, operation input method and operation input program
US9939912B2 (en) 2014-03-05 2018-04-10 Denso Corporation Detection device and gesture input device
JP2018147500A (en) * 2018-04-12 2018-09-20 パイオニア株式会社 Operation input device, operation input method and operation input program
JP2020123369A (en) * 2020-04-02 2020-08-13 パイオニア株式会社 Operation input device, operation input method and operation input program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000075991A (en) * 1998-08-28 2000-03-14 Aqueous Research:Kk Information input device
JP2001282428A (en) * 2000-03-29 2001-10-12 Matsushita Electric Ind Co Ltd Information processor
JP2002149304A (en) * 2000-11-13 2002-05-24 Toyota Motor Corp System for user interface of computer and method for providing user interface
JP2003131785A (en) * 2001-10-22 2003-05-09 Toshiba Corp Interface device, operation control method and program product
JP2004334590A (en) * 2003-05-08 2004-11-25 Denso Corp Operation input device
JP2005047329A (en) * 2003-07-31 2005-02-24 Nissan Motor Co Ltd Input device for vehicle
JP2005047412A (en) * 2003-07-30 2005-02-24 Nissan Motor Co Ltd Non-contact information input device
JP2005071246A (en) * 2003-08-27 2005-03-17 Nissan Motor Co Ltd Operation input device and operation input method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000075991A (en) * 1998-08-28 2000-03-14 Aqueous Research:Kk Information input device
JP2001282428A (en) * 2000-03-29 2001-10-12 Matsushita Electric Ind Co Ltd Information processor
JP2002149304A (en) * 2000-11-13 2002-05-24 Toyota Motor Corp System for user interface of computer and method for providing user interface
JP2003131785A (en) * 2001-10-22 2003-05-09 Toshiba Corp Interface device, operation control method and program product
JP2004334590A (en) * 2003-05-08 2004-11-25 Denso Corp Operation input device
JP2005047412A (en) * 2003-07-30 2005-02-24 Nissan Motor Co Ltd Non-contact information input device
JP2005047329A (en) * 2003-07-31 2005-02-24 Nissan Motor Co Ltd Input device for vehicle
JP2005071246A (en) * 2003-08-27 2005-03-17 Nissan Motor Co Ltd Operation input device and operation input method

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011107915A (en) * 2009-11-16 2011-06-02 Fujitsu Ltd Display device, display program and display method
JP2015531719A (en) * 2012-11-27 2015-11-05 ネオノード インコーポレイテッド Light-based touch control on steering wheel and dashboard
US9939912B2 (en) 2014-03-05 2018-04-10 Denso Corporation Detection device and gesture input device
WO2015146037A1 (en) * 2014-03-27 2015-10-01 株式会社デンソー Vehicular display input device
JP2015191310A (en) * 2014-03-27 2015-11-02 株式会社デンソー Display input device for vehicle
US10019069B2 (en) 2014-03-27 2018-07-10 Denso Corporation Vehicular display input apparatus
US9511669B2 (en) 2014-06-24 2016-12-06 Denso Corporation Vehicular input device and vehicular cockpit module
WO2017061183A1 (en) * 2015-10-05 2017-04-13 株式会社村田製作所 Human interface
JPWO2017061183A1 (en) * 2015-10-05 2018-08-30 株式会社村田製作所 Human interface
JP2017142820A (en) * 2017-03-16 2017-08-17 パイオニア株式会社 Operation input device, operation input method and operation input program
JP2018147500A (en) * 2018-04-12 2018-09-20 パイオニア株式会社 Operation input device, operation input method and operation input program
JP2020123369A (en) * 2020-04-02 2020-08-13 パイオニア株式会社 Operation input device, operation input method and operation input program

Also Published As

Publication number Publication date
JP4788199B2 (en) 2011-10-05

Similar Documents

Publication Publication Date Title
JP4788199B2 (en) Command input device
JP5029470B2 (en) Prompter type operation device
JP6177006B2 (en) Camera calibration apparatus and camera calibration method
EP3545818B1 (en) Sight line direction estimation device, sight line direction estimation method, and sight line direction estimation program
JP2006044596A (en) Display device for vehicle
JP5382313B2 (en) Vehicle operation input device
JPWO2015045568A1 (en) Predicted course presentation device and predicted course presentation method
JP6342874B2 (en) Image recognition device
JP2006312347A (en) Command input device
JP3900122B2 (en) Non-contact information input device
JP5161685B2 (en) Gaze measurement apparatus and program
JP6581482B2 (en) Image recognition device
JP2006282145A (en) Command input device
JP2019148491A (en) Occupant monitoring device
JP2005182452A (en) Device for detecting direction of face
JP2008037118A (en) Display for vehicle
JP2006298003A (en) Command input device
JP6589991B2 (en) Human interface
WO2013175603A1 (en) Operation input device, operation input method and operation input program
JP2006327526A (en) Operating device of car-mounted appliance
JP6413645B2 (en) Operation input device
JP4715791B2 (en) Information device operating device and in-vehicle electronic device
JP2009184638A (en) Virtual image display device
WO2018193579A1 (en) Image recognition device
JP3933107B2 (en) Vehicle input device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110324

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110704

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4788199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150