JP2006312347A - コマンド入力装置 - Google Patents

Abstract

【課題】ハンドコマンドの認識率を向上させる。
【解決手段】
車両を運転する運転者の手を含む所定の検出領域を撮像するカメラ１０と、カメラの撮像データに基づいて運転者の手の形状および／または手の動きを抽出する抽出手段２１と、抽出された手の形状および／または手の動きに対応するハンドコマンドを判定する判定手段２２と、判定されたハンドコマンドを実行させる実行手段２３とを備え、車両のステアリング１の検出領域内に含まれる領域に１又は２以上の貫通孔３１を設けた。
【選択図】 図２

Description

本発明は、車両の運転者により表現されるハンドコマンドの入力を受け付けるコマンド入力装置に関し、特に、カメラを用いたコマンド入力装置に関する。

車両に搭載される車載機器の多様化に伴い、運転者が行う入力操作は複雑化している。運転中の運転者の負担を軽減するため、運転者がステアリングを握りながら差し出した指の形状や動きをイメージセンサで認識し、指の形状や動きに応じたハンドコマンドを受け付ける入力装置が提案されている（特許文献１、特許文献２参照）。

しかしながら、操舵のためにステアリングを握りながら手や指を動かした場合、その手の形状、指の形状が誤ってハンドコマンドとして認識されてしまい、運転者が意図しない動作が実行されてしまうという問題があった。また、ハンドコマンドに対応する手の形状を示しても、運転者の手がカメラの撮像領域内に存在しない場合、ハンドコマンドとして認識されず、運転者が意図した動作が実行されないという問題があった。
特開２００１−２１６０６９号公報 特開２００３−１３１７８５号公報

本発明は、運転者が示した手の形状等によるハンドコマンドの認識率を向上させることを目的とする。
この発明によれば、車両に搭載され、車両の乗員の手の形状および／または手の動きにより表現されるコマンドの入力を受け付けるコマンド入力装置であって、車両を運転する運転者の手を含む所定の検出領域を撮像するカメラと、カメラの撮像データに基づいて運転者の手の形状および／または手の動きを抽出する抽出手段と、抽出された手の形状および／または手の動きに対応するハンドコマンドを判定する判定手段と、判定されたハンドコマンドを実行させる実行手段とを備え、車両のステアリング（スポークを含む、以下同じ）の検出領域内に含まれる領域に１又は２以上の貫通孔が設けられたコマンド入力装置が提供される。

ステアリングに設けられた貫通孔の撮像データに基づいてハンドコマンドの入力が開始された入力開始タイミングを検出することができるため、運転者により示されるハンドコマンドと操舵に伴う無意識の手の形状等とを誤認識することがなく、ハンドコマンドを正確に認識することができる。

＜第１実施形態＞
以下、本発明の実施形態を図面に基づいて説明する。
本実施形態のコマンド入力装置１００は車両に搭載され、図１に示すように運転者が車両のステアリングを握りながら手若しくは指の形態（差し出した指・差し出した指の本数など）又は手若しくは指の動作により表現したハンドコマンドの入力を受け付ける。本実施形態のハンドコマンドは、車両搭載のオーディオ装置、エアコン、ナビゲーション装置等の車載装置に対する制御命令である。

本実施形態のコマンド入力装置１００は、運転者によって示されたハンドコマンドをカメラ１０で撮像し、その撮像データに基づいてハンドコマンドの抽出・判定を行う。図２に本実施形態のコマンド入力装置１００のブロック構成を示した。図２に示すように、コマンド入力装置１００は、カメラ１０と、入力手段３０と、入力制御装置２０とを備えている。コマンド入力装置１００は、外部の車載装置２００と車載ＬＡＮにより情報授受が可能なように接続されている。コマンド入力装置１００は、車載ＬＡＮを介して受け付けたハンドコマンドを車載装置２００に向けて送出する。

本実施形態の「カメラ１０」の種類は限定されず、運転者によりコマンドが示された手を撮像し、ハンドコマンドの抽出・判定処理ができる画像データを取得できればよい。本例では夜間や暗い場所でも撮像データを取得し、コマンドの抽出・判定を行う観点から、カメラ１０として赤外線カメラを採用するが、ＣＣＤカメラ、その他のデジタルカメラであってもよい。

図３に、本実施形態のカメラ１０（赤外線カメラ）の配置例を示した。図３は運転者の手７がステアリングを握った状態を上方から見下ろした場合の検出領域６を示す。図３に示すように、本実施形態のカメラ１０は、ステアリングコラム２に取り付けられており、ステアリング１を握る運転者の手７と背景面となるフロントドア４の内壁面とを含む所定の検出領域を撮像し、検出領域内の背景面と運転者の手に関する撮像データ（赤外線データ）を取得する。このように検出領域を設定したのは、撮像データに運転者の手と背景以外の対象物、例えばその運転者の身体の一部を含まないようにするためである。これにより、背景面と検出対象となる運転者の手のみを撮像することができるため、運転者が示す手の形態等を正確に抽出することができる。なお、図３では右側ステアリング車両における各構成の配置を示したが、左側ステアリング車両では左右が反対の位置関係となる。

「入力手段３０」は、ハンドコマンドによる入力を開始する入力開始タイミングを示す入力開始情報をユーザが入力するための手段である。本実施形態では、入力開始情報を受け付ける入力手段３０として機能する貫通孔３１をステアリング１の検出領域に含まれる部分に設けた。貫通孔３１が設けられたステアリング１の一例を図４に示した。ステアリング１上の黒い円形の部分が、ステアリングを貫通する貫通孔３１である。運転者はハンドコマンドを示す前に所定の貫通孔３１を押さえ、その後ハンドコマンドを示す。図５（Ａ）は運転者が貫通孔３１を押さえていない状態を示し、図５（Ｂ）は運転者が貫通孔３１を押さえている状態を示す。なお、本実施形態のステアリング１はスポーク３を含み、スポーク３の部分に貫通孔３１を設けてもよい。

カメラ１０が貫通孔３１を撮像する状態を図６に示した。図６に示すように、ステアリングコラム２に取り付けられたカメラ１０は、貫通孔３１が設けられたステアリング１の一部分を含む検出領域６を撮像する。貫通孔３１が運転者の手で塞がれている場合には、カメラ１０は貫通孔３１を介して運転者の手を撮像し、閉塞された所定の貫通孔３１の撮像データを取得する。貫通孔３１が運転者の手で塞がれていない場合には、カメラ１０は開放された貫通孔３１を撮像し、開放された所定の貫通孔３１の撮像データを取得する。

カメラ１０が赤外線カメラである場合は貫通孔３１内側の温点が撮像される。貫通孔３１が運転者の手で塞がれている場合には、カメラ１０は貫通孔３１を介して運転者の手を撮像し、所定の貫通孔３１の内側に人間の表皮温度程度の温点を含む撮像データを取得する。貫通孔３１が運転者の手で塞がれていない場合には、カメラ１０は開放された貫通孔３１を撮像し、貫通孔３１内に人間の表皮温度程度の温点が含まれない撮像データを取得する。つまり、図５（Ａ）のように貫通孔３１が運転者の手により塞がれていない場合、赤外線カメラ１０により撮像された撮像データの貫通孔３１の撮像データ上の位置に人間の表皮温度（２４〜３４℃）程度の温点は検出されない。他方、図５（Ｂ）のように貫通孔３１が運転者により押さえられている場合、赤外線カメラ１０により撮像された撮像データの貫通孔３１に対応する撮像データ上の位置に人間の表皮温度（２４〜３４℃）程度の温点が検出される。

カメラ１０がＣＣＤカメラ等である場合には、貫通孔３１が運転者の手により塞がれていなければ、明るい円形画像（貫通孔の開口部の形状に応じた形状）が含まれ、図５（Ｂ）のように貫通孔３１が運転者により押さえられていれば、貫通孔３１の像に対応する位置に明るい円形画像は検出されない。

「入力制御装置２０」は、抽出手段２１と、判定手段２２と、実行手段２３とを備え、カメラ１０により撮像された画像に基づいて運転者が示したハンドコマンドを実行させる。

さらに、本実施形態の入力制御装置２０は、カメラ１０により撮像された撮像データに含まれる貫通孔３１に対応するデータに基づいて、ハンドコマンドの入力が開始された入力開始タイミングを判定し、ハンドコマンドの入力が開始された入力開始タイミング以後に撮像された撮像データに基づいて、ハンドコマンドの抽出処理、判定処理、及び実行処理を行う。

本例の抽出手段２１は、カメラ１０（赤外線カメラ）により撮像された撮像データから、手の形状および／または手の動きを抽出する。抽出手法は特に限定されないが、人間の手の表皮温度（２４〜３４℃）を基準とした温度帯域に含まれる温点の分布を抽出し、この分布から人間の手の形状および／または人間の手の動きを抽出する。また、抽出手段２１は、カメラ１０の撮像データに基づいて貫通孔３１の撮像データ（画像データ、赤外線データ）を抽出する。

判定手段２２は、抽出手段２１により抽出された手の形状および／または手の動きに基づいてハンドコマンドの内容を判定する。判定の手法は特に限定されず、抽出された手の形状および／または手の動きを、その特徴点（指先など）に基づいて認識してもよいし、パターンマッチング手法により判定してもよい。本実施形態では、抽出された手の形状および／または手の動きと、予めハンドコマンドにそれぞれ割り振られた手の形状および／または手の動きとを対比して、抽出された手の形状および／または手の動きのハンドコマンドを判定する。判定手段２２は、ハンドコマンドの内容と手の形状および／または手の動きとを予め対応づけた対応情報を、読み込み可能な記憶手段（ＲＡＭまたはＲＯＭ）から取得する。対応情報においては、手の形状および／または手の動きから予め対応づけられた所定のハンドコマンドが特定される。所定の手の形状（例えば指の本数）等と所定のハンドコマンド（例えば機器のＯＮ／ＯＦＦ）とを対応づけてもよいし、ハンドコマンドの階層構造に応じて、所定の手の形状（例えば指の本数）等の組み合わせと、所定のハンドコマンド（例えばオーディオ選択後の音量ＵＰ／ＤＯＷＮ）とを対応づけてもよい。

また、判定手段２２は、抽出手段２１により抽出された貫通孔３１の撮像データに基づいて、ハンドコマンドによる入力が開始された入力開始タイミングをさらに判定する。

本実施形態の判定手段２２は、撮像データにおける貫通孔３１の位置に人間の表皮温度（２４〜３４℃）程度の温点が検出された場合又は撮像データにおける貫通孔３１の位置に明るい円形画像が検出されなかった場合には、その貫通孔３１は運転者により押さえられていると判断する。そして、所定の貫通孔が閉塞された撮像データを取得したタイミング又は所定の貫通孔に対応する撮像データ上の所定の位置に人間の表示温度程度の温点を含む撮像データを取得したタイミングを、ハンドコマンドによる入力が開始された入力開始タイミングであると判定する。このように、本実施形態では貫通孔３１を設けてハンドコマンドによる入力が開始された入力開始タイミングを示す入力開始情報を受け付けるため、運転者が示す手の形状がハンドコマンドであるのか、操舵に伴う無意識のものであるのかを誤ることなく判断することができる。また、ハンドコマンドを示す運転者の手を撮像するカメラを共用することで、ステアリング１に貫通孔３１を設けるという簡単な加工によりスイッチ機能を装備することができる。

特に限定されないが、判定手段２２は、抽出手段２１により抽出された１又は２以上の貫通孔３１のうち所定の貫通孔３１が運転者の手により塞がれているか否かに基づいて、ハンドコマンドによる入力が開始された入力開始タイミングを判定することが好ましい。先述したように、撮像データに基づいて貫通孔３１が塞がれているか否かを判断できるため、この判断結果に基づいて運転者がハンドコマンドの提示を開始した入力開始タイミングを正確に検出することができる。

実行手段２３は、判定手段２２により判定されたハンドコマンドを実行させる。実行手段２３は、判定されたハンドコマンドが制御する装置へ向けて、そのハンドコマンドを送出する。ハンドコマンドを取得した各車載装置２００は、取得したハンドコマンドを実行する。特に、本実施形態の実行手段２３は、ハンドコマンドによる入力が開始された入力開始タイミング以後に撮像された撮像データに基づいて抽出・判定されたハンドコマンドを実行させる。ハンドコマンドの入力が開始された入力開始タイミング以後の撮像データに基づいてコマンドの処理を行うため、運転者がハンドコマンドとして示したものではない（無意識に示した）手の形状等を、ハンドコマンドとして誤って認識することがない。これによりハンドコマンドの認識率を向上させることができる。

このように、本実施形態のコマンド入力装置１００は、ステアリング１の検出領域に含まれる部分に貫通孔３１を設け、貫通孔３１の撮像データ（塞がれているか否か）に基づいて、ハンドコマンドにより入力が開始された入力開始タイミングを判断するので、ハンドコマンドの抽出・判定を正確に行うことができる。また運転者がハンドコマンドとして示したものではない（無意識に示した）手の形状等を、ハンドコマンドとして誤って認識することがない。これによりハンドコマンドの認識率を向上させることができる。

本実施形態では、接点式（接触式）スイッチを設けることなく、ステアリングに貫通孔を設けるだけでハンドコマンドの入力開始タイミングを検出することができるため、入力手段を装備するためのコストを低減させることができる。また、ハンドコマンド入力処理を行うカメラ１０、入力制御装置２０を共用するため、ハンドコマンドによる入力が開始された入力開始タイミングを判断するためのハードウエアを新たに設ける必要がない。このため、製品のコストを低減させることができる。

運転者は貫通孔３１を塞いでからハンドコマンドを示す。このため、ステアリング１に設けた貫通孔３１は、ハンドコマンドを示そうとする運転者の手を所定の入力基準位置に誘導する。これにより、示されたハンドコマンドを確実に撮像することができる。さらに、撮像領域を必要最小限範囲に限定することができるため、撮像範囲が比較的狭い（画角が狭い、解像度が低い）安価なカメラでも高い認識率を維持することができる。つまり、コマンド入力装置１００のコストを低く抑えることができる。

次に本実施形態のコマンド入力装置１００の制御手順を図７のフローチャートに基づいて説明する。図７に示すように、起動後(Ｓ１０１)、カメラ１０は、ステアリング１の一部と運転者の手を含む所定の検出領域を撮像する（Ｓ１０２）。撮像された撮像データに基づいて抽出手段２１は貫通孔３１に対応するデータを抽出し、判定手段２２は抽出手段２１により抽出された貫通孔３１の撮像データに基づいて、ハンドコマンドによる入力が開始された入力開始タイミングを判定する（Ｓ１０３）。判定手段２２は、所定の貫通孔３１が運転者の手で塞がれているか否かに基づいてハンドコマンドの入力が開始された入力開始タイミングを判定する（Ｓ１０４）。本例では、所定の貫通孔３１が塞がれている場合、すなわち閉塞された所定の貫通孔３１の撮像データを取得した場合又は所定の貫通孔３１に対応する撮像データ上の位置に人間の表皮温度（２４〜３４℃）程度の温点が検出された場合は、所定の貫通孔３１が塞がれていると判定する。

運転者からハンドコマンドの入力開始タイミングを示す入力開始情報が入力されたと判定した場合、抽出手段２１は入力開始タイミング以後に撮像された撮像データに基づいて運転者の手の形状および／または運転者の手の動きを抽出する(Ｓ１０５)。判定手段２２は、抽出手段２１により抽出された運転者の手の形状および／又は手の動きに対応するコマンドを判定する（Ｓ１０６）。実行手段２３は判定手段２２により判定されたコマンドを車載装置２００の制御手段に向けて出力する（Ｓ１０７）。車載装置２００は、受け付けたコマンドに基づいて車載装置２００を制御し(Ｓ１０８)、終了する。本例ではハンドコマンドによる入力が開始された入力開始タイミングを示す入力開始情報が入力されたと判定した場合、抽出手段２１がハンドコマンドによる入力が開始された入力開始タイミング以後の撮像データに基づいて運転者の手の形状等の抽出処理を行うようにしたが、この入力開始情報を判定手段２２に送出し、入力開始情報が示す入力開始タイミング以後に撮像された撮像データからハンドコマンドを判定してもよい。同様に、入力開始情報を実行手段２３に送出し、入力開始情報が示す入力開始タイミング以後に撮像された撮像データから抽出・判定されたコマンドを実行してもよい。

＜第２実施形態＞
第２実施形態のコマンド入力装置１００は、ステアリング１に２以上の貫通孔３１を設けた点を特徴とし、基本的な構成、作用及び効果は第１実施形態のコマンド入力装置と共通する。ここでは異なる点を中心に説明し、重複する説明は省略する。

図８に第２実施形態における貫通孔３１が設けられたステアリング１を示した。図８に示すように５つの貫通孔３１が、ステアリング１からスポーク３が分かれる領域に設けられている。本実施形態では貫通孔３１を複数設け、このうち所定の貫通孔３１が塞がれているか否かに基づいて、ハンドコマンドによる入力が開始された入力開始タイミングであるか否かを判定する。

図９（Ａ）に示すように、２以上の貫通孔３１のうち所定の貫通孔３１ａのみが運転者の手により塞がれている場合、つまり、本実施形態の判定手段２２（図２参照）が所定の貫通孔３１ａのみが閉塞され、他の４つの貫通孔３１が開放されている撮像データを取得した場合又は所定の貫通孔３１ａに対応する撮像データ上の位置にのみ人間の表皮温度（２４〜３４℃）程度の１塊の温点が検出され、他の４つの貫通孔３１には人間の表皮温度（２４〜３４℃）程度の温点が検出されない撮像データを取得した場合は、その撮像データが撮像されたタイミングをハンドコマンドによる入力が開始された入力開始タイミングであると判定する。

一方、図９（Ｂ）に示すように、所定の貫通孔３１ａのみならず他の貫通孔３１も同時に塞がれている場合、入力開始情報は入力されておらず、ハンドコマンドによる入力が開始されていないと判定する。なお、図９（Ｂ）にはハンドコマンドによる入力が開始されていない、つまりユーザにより入力開始情報の入力がされていないと判定される一例を示したが、これに限定されず、所定の貫通孔３１ａのみが閉塞されている場合（図９（Ａ））以外の場合は、判定手段２２はハンドコマンドの入力が開始されていないと判定する。

複数の貫通孔３１ａのうちの所定の（１又は２以上の）貫通孔３１ａを塞いだ場合にのみ、すなわち、所定の貫通孔３１ａを塞いで、それ以外の貫通孔３１を塞がない場合のみ、ハンドコマンドによる入力が開始されたと判定するので、精度の高い判定を行うことができる。

本態様においては、所定の貫通孔３１ａを運転者の手の一部を象った形状の凹部３１ｂ内側に設けることが好ましい。この例を図１０（Ａ）に示した。図１０（Ａ）に示すように、貫通孔３１のうち所定の貫通孔３１ａの周囲は他よりも凹んでいる。図１０（Ｂ）に示すように、運転者は親指の形状を象った凹部３１ｂに親指を合わせると貫通孔３１ａを塞ぐことができる。ステアリング１に設けられた凹部３１ｂは、手の触覚で判別することができるため、運転者の視線を誘導することなく、運転者の指（手の一部）を所定の貫通孔３１ａに導くことができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

コマンド入力装置の使用例を示す図である。 コマンド入力装置のブロック構成図である。 検出領域の一例を示す図である。 １つの貫通孔を設けたステアリングの一例を示す図である。 図５（Ａ）は貫通孔が塞がれていない状態を示す図、図５（Ｂ）は貫通孔が塞がれて状態を示す図である。 貫通孔が撮像される状態を示す図である。 コマンド入力装置の制御手順を示すフローチャート図である。 複数の貫通孔を設けたステアリングの一例を示す図である。 図９（Ａ）は所定の貫通孔のみが塞がれた状態を示す図、図９（Ｂ）は所定の貫通孔のみが塞がれた状態以外の状態の一例を示す図である。 図１０（Ａ）は所定の貫通孔を凹部内側に設けた例を示す図、図１０（Ｂ）は凹部内側に設けられた所定の貫通孔が塞がれた状態を示す図である。

符号の説明

１００…コマンド入力装置
１０…カメラ（赤外線カメラ）
２０…入力制御装置
２１…抽出手段
２２…判定手段
２３…実行手段
３０・・・入力手段
３１・・・貫通孔
３１ａ・・・所定の貫通孔
３１ｂ・・・凹部
１…ステアリング
２…ステアリングコラム
３…スポーク
４…フロントドア
７…運転者の手
２００・・・車載装置

Claims (7)

1. 車両に搭載され、車両の乗員の手の形状および／または手の動きにより表現されるハンドコマンドの入力を受け付けるコマンド入力装置であって、
   車両を運転する運転者の手とステアリングの一部とを含む所定の検出領域を撮像するカメラと、
   前記カメラの撮像データに基づいて運転者の手の形状および／または手の動きを抽出する抽出手段と、
   前記抽出手段により抽出された手の形状および／または手の動きに対応するハンドコマンドを判定する判定手段と、
   前記判定手段により判定されたハンドコマンドを実行させる実行手段と、を備え、
   前記車両のステアリングの前記検出領域内に含まれる領域に１又は２以上の貫通孔を設けたことを特徴とするコマンド入力装置。
2. 前記抽出手段は、前記カメラの撮像データに基づいて前記貫通孔をさらに抽出し、
   前記判定手段は、前記抽出手段により抽出された貫通孔の撮像データに基づいて、前記ハンドコマンドによる入力が開始された入力開始タイミングをさらに判定し、
   前記実行手段は、前記判定された入力開始タイミング以後に撮像された撮像データに基づいて、前記判定手段が判定したハンドコマンドを実行させる請求項１に記載のコマンド入力装置。
3. 前記判定手段は、前記抽出手段により抽出された１又は２以上の貫通孔のうち所定の貫通孔が前記運転者の手により塞がれているか否かに基づいて、前記ハンドコマンドによる入力が開始された入力開始タイミングを判定する請求項２に記載のコマンド入力装置。
4. 前記判定手段は、所定の貫通孔が閉塞された撮像データを取得したタイミングを、前記ハンドコマンドによる入力が開始された入力開始タイミングであると判定する請求項３に記載のコマンド入力装置。
5. 前記所定の貫通孔は、運転者の手の一部を象った形状の凹部内側に設けられたことを特徴とする請求項１〜４のいずれかに記載のコマンド入力装置。
6. 前記カメラは赤外線カメラであることを特徴とする請求項１〜５のいずれかに記載のコマンド入力装置。
7. 前記判定手段は、所定の貫通孔に対応する撮像データ上の位置に人間の表皮温度程度の温点を含む撮像データを取得したタイミングを、前記ハンドコマンドによる入力が開始された入力開始タイミングであると判定する請求項６に記載のコマンド入力装置。
   
   

Images