JP2014119295A - 制御装置、及び携帯端末 - Google Patents

Abstract

【課題】運転を妨げない目視不要であってかつ簡易な操作によって機器の機能を制御可能な制御装置を提供する。
【解決手段】経路案内装置に接続される制御装置であって、撮像画像からユーザの手に関する情報を検出する手情報検出部と、経路案内装置又は経路案内装置に接続される複数の機器に制御命令を出力する機器操作命令部と、を備え、機器操作命令部は、手情報検出部によって検出されるユーザの手の向きに基づいて、経路案内装置又は機器への制御命令を出力することを特徴とする。
【選択図】図１

Description

本発明は、経路を案内する制御装置に関し、特に、ユーザの手を認識し、ユーザの手の動作によって機器を制御する制御装置に関する。

車両には、走行に必要な機器及び快適な空間を作り出す機器、並びにこれらの機器を制御するためにユーザによって操作されるスイッチが配置される。走行に必要な機器としては、例えば、ハンドル、ミラー、ライト、及び方向指示器等がある。快適な空間を作り出す機器としては、例えば、エアコン、オーディオ、及びカーナビゲーション等がある。

車両に配置されるこれらの機器の数の増加、及びこれらの機器を動作させる機能の数の増加に伴って、スイッチの数も増加傾向にある。このようにスイッチの数の増加及びスイッチの多機能化は、機器を制御するための操作が複雑化してしまい、運転手に負担がかかる。このため、スイッチを削減して運転手の負担を軽減するインタフェースの提供が必要となる。

例えば、非接触のインタフェースとしてユーザのジェスチャ（身振り及び手振りの動作）を検出し、検出したジェスチャに基づいて機器を制御するインタフェースが知られている。このインタフェースでは、ユーザはスイッチを操作する必要がなくなり、直感的に操作可能なジェスチャによって機器を制御できるため、運転手の負担を軽減することができる。しかしながら、車両のように配置される機器の数が多い場合には、スイッチの数を減少させることができても、機器を操作するために必要なジェスチャの動作数が増加してしまい、運転手に負担がかかる。

本技術分野の背景技術として、特開２００４−１７１４７６号公報（特許文献１）がある。この公報には、「ハンドパターンスイッチ装置は、カメラ３の入力画像から認識される手指の形状により運転員（スイッチ操作者）によるスイッチ装置の操作意図であると認識し、その上でスイッチ制御対象設定手段１４によりその後の手指の形状や動きを認識してグループ分けした複数の制御対象の中から１つの制御対象を選択し、所定のスイッチ操作情報を出力する。各制御対象における複数のスイッチは、操作・調整形態が類似したものを集合させていることで、関連づけて覚えやすく操作性が向上する。」と記載されている。

特開２００４−１７１４７６号公報

特許文献１では、運転手が操作したい機器を選択し、機器の機能を実行するまでに複数回の動作が必要となり、操作性が悪化する可能性がある。

また、運転手が、車両に配置された機器を制御するには、運転を妨げない操作となる必要があり、目視不要であって、かつ簡易な操作が必要となる。

本発明の目的は、運転を妨げない目視不要であってかつ簡易な操作によって機器の機能を制御可能な制御装置を提供することである。

上記課題を解決するために、本発明は、経路案内装置に接続される制御装置であって、撮像画像からユーザの手に関する情報を検出する手情報検出部と、前記経路案内装置又は前記経路案内装置に接続される複数の機器に制御命令を出力する機器操作命令部と、を備え、前記機器操作命令部は、前記手情報検出部によって検出される前記ユーザの手の向きに基づいて、前記経路案内装置又は前記機器への制御命令を出力することを特徴とする。

本発明によれば、運転を妨げない目視不要であってかつ簡易な操作によって機器の機能を制御可能な制御装置を提供できる。

上記した以外、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施例１の車載機器インタフェースを搭載した車両のブロック図である。 本発明の実施例１の手形状認識部による手形状認識処理のフローチャートである。 本発明の実施例１の手形状認識部が認識する手形状の例の説明図である。 本発明の実施例１の手向き認識部による手向き認識処理のフローチャートである。 本発明の実施例１の手向き認識部が認識する手の向きの例の説明図である。 本発明の実施例１の手形状と車載機器群の機器との関係の説明図である。 本発明の実施例１の手形状及び手の向きと制御対象の機器の機能との関係の説明図である。 本発明の実施例１の効果の一例の説明図である。 本発明の実施例２のジェスチャ領域の説明図である。 本発明の実施例３の照明装置の照射範囲の説明図である。 本発明の実施例４のカメラの配置位置の説明図である。 本発明の実施例５の車載機器インタフェースを搭載した車両のブロック図である。 本発明の実施例５の音声によるトリガ操作の説明図である。 本発明の実施例５の手のジェスチャによるトリガ操作の説明図である。 本発明の実施例５の変形例の手によるトリガ操作の説明図である。 本発明の実施例６の音声による質問に対する返答を出力するナビゲーション装置の説明図である。 本発明の実施例７のジェスチャ認識を搭載した携帯端末のブロック図である。 本発明の実施例８の認識結果確定部がユーザのジェスチャがジェスチャ操作であるか否かを判定する処理の説明図である。 本発明の実施例８の手の向き及び手の移動方向をオーディオの機能との関係の説明図である。 本発明の実施例８のユーザの手の回転動作の説明図である。 本発明の実施例８の回転角度と閾値との関係の説明図である。 本発明の実施例８のナビゲーションの画面変更の説明図である。

以下、実施例を図面を用いて説明する。

本発明の実施例１を図１〜図１６を用いて説明する。

本実施例では、ユーザの手形状と手の向きとによって機器の機能を制御可能な制御装置の例を説明する。例えば、この制御装置は経路案内装置（ナビゲーション装置）に接続される。

図１は、本発明の実施例１の車載機器インタフェース１を搭載した車両のブロック図である。

図１に示す車両には、車載機器インタフェース１及び車載機器群２が搭載される。車載機器インタフェース１は、ユーザの手形状及び手の向きを認識し、車載機器群２に含まれる機器を制御する。

車載機器インタフェース１は、画像入力部１１、手情報検出部１２、手形状認識部１３、手向き認識部１４、機器操作命令部１５、認識結果確定部７２０、ＣＰＵ１０、及びＲＡＭ１９を有する。手情報検出部１２、手形状認識部１３、手向き認識部１４、認識結果確定部７２０、及び機器操作命令部１５に対応するプログラムがＲＡＭ１９に格納され、ＣＰＵ１０がこれらのプログラムを実行する。なお、手情報検出部１２、手形状認識部１３、手向き認識部１４、認識結果確定部７２０、及び機器操作命令部１５を手情報検出部という。

画像入力部１１は、例えばカメラ等であり、画像データを取得し、取得した画像データを手情報検出部１２に出力する。例えば、カメラは、二次元画像データを取得するＲＧＢカメラ、及び距離データを取得可能な赤外線カメラを用いることができるが、これら以外のカメラを用いてもよい。

手情報検出部１２は、画像入力部１１が取得した画像からユーザの手に関する情報を検出する。ユーザの手に関する情報は、例えば、手の領域情報及び手の位置情報等である。手の領域情報の検出方法としては、特定の色の箇所を手の領域として検出する肌色検出、及び予め大量の手の画像データを学習しておき、学習データに基づいて手の領域を検出するＡｄａＢｏｏｓｔ等がある。ＡｄａＢｏｏｓｔの詳細は、Ｐ．Ｖｉｏｌａ ａｎｄ Ｍ．Ｊｏｎｅｓ， “Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”， Ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）， Ｋａｕａｉ， ＵＳＡ， ２００１．に記載されているので、説明を省略する。

また、画像入力部１１が取得する画像データは、手の向き及び手の位置によって学習データと背景が異なる場合があり、照明環境の変化によってテクスチャも変化する場合があるため、手情報検出部１２は、手の領域情報を検出できない場合がある。これを解決するためには、手情報検出部１２に背景を統一した手の画像データを学習させておき、手情報検出部１２は、当該画像データに基づいて手の領域を検出すればよい。なお、手情報検出部１２は、学習した画像データから、手の領域に検出に不適切な画像データを除外し、不適切なデータが除外された画像データを手の領域に検出に用いることによって、手の領域の誤検出を削減できる。

手情報検出部１２は、検出された手の領域の中心又は重心の二次元座標を算出することによって、手の位置情報を算出する。なお、手形状の変化による影響を削減するために、手情報検出部１２は、重心の二次元座標を算出する方が好ましい。また、手の位置情報を時系列に収集することで、手の動き情報を算出できる。手の動き情報は、動きの方向と動き量で表せる。

手形状認識部１３は、手情報検出部１２が検出した手の領域情報から手形状を認識し、認識結果を認識結果確定部７２０に出力する。手形状認識部１３の詳細は図２で説明する。手向き認識部１４は、手情報検出部１２が検出した手の領域情報及び手の位置情報に基づいて、手の手首から指先にかけての手の向きを認識し、認識結果を認識結果確定部７２０に出力する。手向き認識部１４の詳細は図４で説明する。

認識結果確定部７２０は、手形状認識部１３及び手向き認識部１４による認識結果が入力されると、入力された認識結果を機器操作命令部１５に出力する。

機器操作命令部１５は、認識結果確定部７２０から入力された手形状認識部１３及び手向き認識部１４の一方の認識結果に基づいて、車載機器群２に含まれる機器から制御対象となる機器を選択する。そして、機器操作命令部１５は、他方の認識結果に基づいて、選択された制御対象となる機器が所定の機能を実現するように、当該機器に制御命令を出力することによって、制御対象となる機器を制御する。

以降の説明では、機器操作命令部１５は、手形状認識部１３の認識結果（手形状）に基づいて、制御対象となる機器を選択し、手向き認識部１４の認識結果（手の向き）に基づいて、制御対象となる機器の機能を特定する例について説明するが、手の向きに基づいて、制御対象となる機器を選択し、手の向きに基づいて、制御対象となる機器の機能を特定してもよい。

機器操作命令部１５には、手形状認識部１３の各認識結果と車載機器群２に含まれる各機器との関係を登録した機器関係情報、及び、手向き認識部１４の各認識結果と車載機器群２に含まれる各機器の各機能とを関係を登録した機能関係情報が予め設定される。

手の向きは小さな動きであるため、機器操作命令部１５は、手向き認識部１４の認識結果から手の向きの小さな変化を認識することは困難であり、また、小さな動きを認識しようとすると、手のぶれによって誤った機器の機能を特定してしまい、ユーザが意図しない制御命令が機器に出力される可能性がある。したがって、機器操作命令部１５は、ユーザが意図しない制御命令を機器に出力しないようにするために、手形状認識部１３の認識結果及び手向き認識部１４の認識結果を事前に予測結果として保持する。機器操作命令部１５は、認識結果と予測結果とが一致しない場合には、認識結果を棄却することによって、ユーザの意図しない制御命令を出力することを防止する。

また、機器操作命令部１５は、機器を瞬時に動作させるためには、ユーザによる手の動きが一瞬の動作であるので、どのタイミングで制御命令を出力するかが課題となる。例えば、ユーザの手の動きが停止する前に機器を動作させる場合について説明する。手が第１停止状態から動き始め、第２停止状態で停止するとする。この場合、機器操作命令部１５は、第１停止状態の段階の状態でユーザの動作特徴を捉え、次の動作を予測する。そして、機器操作命令部１５は、手が動き始めてから処理を開始し、第２停止状態で手の動きが停止すると処理を完了すると、認識結果と予測結果とが一致すれば、認識結果に対応する制御命令を出力する。これによって、早いタイミングで制御命令を与え、誤動作を削減することができる。

車載機器群２は、オーディオ２１、ヘッドアップディスプレイ（ＨＵＤ）２２、テレビ２３、ナビゲーション２４、及びエアコン２５を含む。また、車載機器群２は、車両の走行に必要な機器を含んでもよい。車両の走行に必要な機器は、例えば、ライト、ミラー、方向指示器、及びワイパー等である。

車載機器インタフェース１と目的地までの経路を案内するナビゲーション２４とを有する装置をナビゲーション装置（経路案内装置）という。ナビゲーション装置は、車載機器インタフェース１及びナビゲーション２４を有していれば、カーナビ等の車両に搭載される装置であってもよいし、高機能携帯電話等のユーザが携帯できる装置であってもよい。

図２は、本発明の実施例１の手形状認識部１３による手形状認識処理のフローチャートである。

手形状認識処理は、手情報検出部１２によって出力された手に関する情報が手形状認識部１３に入力された場合に実行される。手形状認識処理は、手のテクスチャ及び指先と点の重心との距離に基づいて手形状を認識する処理であって、車載機器インタフェース１が有する図示しないＣＰＵによって実行される。

まず、手形状認識部１３は、入力された手に関する情報に含まれる手の領域情報から手のテクスチャを取得する（２０１）。

次に、手形状認識部１３は、ステップ２０１の処理で取得したテクスチャに対して主成分分析又は独立成分分析を実行することによって、手の大まかな形状を算出し、手が表か裏か判定する（２０２）。

次に、手形状認識部１３は、入力された手に関する情報に含まれる手の領域情報に基づいて手の輪郭を抽出し（２０３）、手の領域情報に基づいて手の重心の座標を算出する（２０４）。

次に、手形状認識部１３は、ステップ２０３の処理で抽出された輪郭の曲率を算出し、算出した曲率が予め設定された指先を示す曲率の範囲に属する箇所を指先として検出する（２０５）。次に、手形状認識部１３は、ステップ２０５の処理で検出された指先同士の距離を算出する（２０６）。

具体的には、手形状認識部１３は、指先同士の距離が第１所定値以下であれば、手が閉じている状態であると判定し、指先同士の距離が第１所定値より大きければ、手が開いている状態であると判定する。ステップ２０５の処理では手首が指先として誤検出される可能性がある。ステップ２０６の処理で、手形状認識部１３は、指先同士の距離が第２所定値より大きい場合には、どちらかの指先が手首であると仮定し、手首と仮定した指先のうち、手首と仮定していない他の指先との距離が第２所定値より大きい指先があれば、当該指先が手首であると特定し、当該指先を削除する。これによって、手形状認識部１３は、手首を指先として誤検出することを防止できる。なお、第２所定値には、第１所定値より大きい値が設定されるものとする。

次に、手形状認識部１３は、ステップ２０６の処理で検出された各指先と重心との間の距離を算出する（２０７）。手形状認識部１３は、指先と重心との間の距離が第３所定値より大きければ、当該指先は伸びている状態であると判定し、指先と重心との間の距離が第３所定値以下であれば、当該指先は曲げている状態であると判定する。これによって、手形状認識部１３は、ユーザがどの指を伸ばしているのか、どの指を曲げているのかを特定できる。

次に、手形状認識部１３は、ステップ２０２の処理の結果、及びステップ２０５〜２０７の処理の結果に基づいて、手形状を認識し（２０８）、処理を終了する。

ステップ２０１〜２０２の処理は、手のテクスチャに基づいて手形状を認識する処理であり、ステップ２０３〜２０７の処理は、指先と点の重心との距離に基づいて手形状を認識する処理である。

図２に示す手形状認識処理では、ステップ２０１〜２０２の処理及びステップ２０３〜２０７の処理を実行するが、ステップ２０１〜２０２の処理及びステップ２０３〜２０７の処理のどちらか一方のみを実行してもよい。ただし、例えば、ステップ２０３〜２０７の処理のみを実行した場合には、手形状認識部１３は、図３の手形状Ｆ及び手形状Ｈに示すような手の表と裏とを認識できない可能性が高いため、ステップ２０１〜２０２の処理及びステップ２０３〜２０７の処理の両方を実行したほうが、手形状認識部１３の手形状の認識は正確になる。

その他にも、手形状認識部１３は、抽出した手の画像から局所領域毎のエッジや色エッジヒストグラムを特徴量として抽出して、抽出した特徴量をＳＶＭ、ＡｄａＢｏｏｓｔ及びＲａｎｄｏｍＦｏｒｅｓｔ等のクラス識別器によって手の形状を認識してもよい。

図３は、本発明の実施例１の手形状認識部１３が認識する手形状の例の説明図である。

手形状認識部１３が認識する手形状の例としては、図３に示す手形状Ａ〜手形状Ｎがある。

手形状Ａは人差し指を伸ばした形状である。手形状Ｂは人差し指及び中指を伸ばした形状である。手形状Ｃは人差し指、中指、及び薬指を伸ばした形状である。手形状Ｄは人差し指、中指、薬指、及び小指を伸ばした形状である。手形状Ｅは親指、人差し指、中指、薬指、及び小指を伸ばした形状である。

手形状Ｆは、全ての指を伸ばし、手の平側（手の裏側）をカメラに向けた形状である。手形状Ｇは、全ての指を伸ばし、小指側をカメラに向けた形状である。手形状Ｈは、全ての指を伸ばし、手の甲側（手の表側）をカメラに向けた形状である。手形状Ｉは、人差し指と親指とで円を形成した形状である。手形状Ｎは親指を伸ばした形状である。

なお、これらの手形状Ａ〜手形状Ｎは、制御対象となる機器と関連付けられ、機器操作命令部１５に設定される機器関係情報に登録される。

また、手形状認識部１３は、手形状Ａ〜手形状Ｎ以外の手形状を認識してもよい。

図４は、本発明の実施例１の手向き認識部１４による手向き認識処理のフローチャートである。

手向き認識処理は、手情報検出部１２によって出力された手に関する情報が手向き認識部１４に入力された場合に実行される。手向き認識処理は、主成分分析によって得られた指先と重心とを通る直線、並びに指先の座標及び重心の座標に基づいて、手の向きを認識する処理であって、車載機器インタフェース１が有する図示しないＣＰＵによって実行される。

まず、手向き認識部１４は、入力された手に関する情報に含まれる手の領域情報に基づいて手の輪郭を抽出し（４０１）、手の領域情報に基づいて手の重心の座標を算出する（４０２）。

次に、手向き認識部１４は、ステップ４０１の処理で抽出された輪郭の曲率を算出し、算出した曲率が予め設定された指先を示す曲率の範囲に属する箇所を指先として検出する（４０３）。

次に、手向き認識部１４は、入力された手に関する情報に含まれる手の領域情報に対して、分散が最大となる軸を求める主成分分析を実行することによって、式（１）を算出する（４０４）。
ｙ＝ａ₁ｘ＋ｂ・・・式（１）
式（１）のａ₁は、重心の座標を指先の座標を通る直線の傾きを示し、式（１）のｂは手の領域の座標の平均値を示す。

手の領域情報に対して主成分分析が実行されることによって、分散が最大となる軸が算出されるので、複数の指先が検出されている場合であっても一つの直線が算出される。また、手の領域情報に対して主成分分析が実行されることによって、手首が指先として誤検出された場合であっても、指先として誤検出された手首と中心とを通る直線が算出されること防止できる。

ステップ４０４の処理で算出された式（１）で示される直線のいずれかの向きが手の向きであるが、式（１）で示される直線のどちらの向きが手の向きであるかを特定するために、ステップ４０５及び４０６の処理を実行する。

手向き認識部１４は、ステップ４０４の処理で算出された式（１）の直線上の指先の座標を取得する（４０５）。

次に、手向き認識部１４は、ステップ４０５の処理で取得した指先の座標、重心の座標、及びステップ４０４の処理で算出された式（１）に基づいて手の向きを認識し（４０６）、処理を終了する。具体的には、手向き認識部１４は、式（１）で示される直線のいずれかの方向のうち、重心の座標から指先の座標に向かう方向を手の向きと認識する。

手の向きには個人のばらつきがあり、例えば同じ上方向を指した場合でもユーザ毎に手の向きが異なる。また、手を動かすスピードにも個人のばらつきがある。このため、ユーザ毎のばらつきを示すデータを収集した学習データが手向き認識部１４に予め設定されており、手向き認識部１４は、学習データから手の向きの認識の対象となるユーザとの共通点を抽出して、ユーザの手の向きを認識する。

例えば、手を動き出しには溜めがあり、手を動かしている最中は普段の動きより速い傾向にあるユーザの場合、手向き認識部１４は、手の位置及び当該位置の時刻に基づいて手の動きの速さを算出し、算出した速さが所定の速さ以上であれば、機器制御のための動作として判定する。また、手向き認識部１４は、算出した速さが所定の速さより小さい場合、機器制御のための動きでないと判定し、この場合の手形状及び向きを機器の制御に用いないようにする。なお、所定の速さは、収集したばらつきを示すデータの平均値であってもよいし、任意の値であってもよい。

また、手向き認識部１４は、抽出した手の画像から局所領域毎のエッジや色エッジヒストグラムを特徴量として抽出して、抽出した特徴量をＳＶＭ、ＡｄａＢｏｏｓｔ、及びＲａｎｄｏｍＦｏｒｅｓｔ等のクラス識別器を用いて、予め定めた上下左右のどの方向に最も近いかを判定することによって、手の向きを識別してもよい。この際の特徴量としては、ＨｏＧ（Ｈｉｓｔｇｒａｍ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）及びＨａａｒ等を用いることで、手の特徴を抽出できる。また、クラス識別器としてＲｅｇｒｅｓｓｉｏｎ Ｆｏｒｅｓｔ等を用いることで、手の左右回転角度（−９０〜９０度等）を推定できる。

図５は、本発明の実施例１の手向き認識部１４が認識する手の向きの例の説明図である。

手向き認識部１４が認識する手の向きの例としては、図５に示すＵＰ、ＲＩＧＨＴ、ＤＯＷＮ、及びＬＥＦＴがある。

図５に示すＵＰは、手がユーザから見て上を向いている状態であり、指先が手の重心より上に位置する。図５に示すＲＩＧＨＴは、手がユーザから見て右を向いている状態であり、指先が手の重心の右に位置する。図５に示すＤＯＷＮは、手がユーザから見て下を向いている状態であり、指先が手の重心より下に位置する。図５に示すＬＥＦＴは、手がユーザから見て左を向いている状態であり、指先が手の重心の左に位置する。

なお、これらの手の向きは、制御対象となる機器の機能と関連付けられ、機器操作命令部１５に設定される機能関係情報に登録される。

また、手向き認識部１４は、図５に示す手の向き以外の向きも認識してもよい。

図６は、本発明の実施例１の手形状と車載機器群２の機器との関係の説明図である。

手形状Ａはオーディオ２１に関連付けられているので、機器操作命令部１５は、手形状認識部１３から手形状Ａの認識結果が入力されると、制御対象の機器としてオーディオ２１を選択する。

また、手形状Ｂはテレビ２３に関連付けられており、手形状Ｃはエアコン２５に関連付けられている。

なお、これらの関連付けは、機器関係情報として機器操作命令部１５に設定される。また、手形状と制御対象の機器との関連付けは図６に限定されない。

図７は、本発明の実施例１の手形状及び手の向きと制御対象の機器の機能との関係の説明図である。

機器操作命令部１５は、手形状認識部１３の認識結果から制御対象の機器を特定し、手向き認識部１４の認識結果から制御対象の機器の機能を特定する。そして、機器操作命令部１５は、特定した機能に制御するための制御命令を制御対象の機器に出力する。

図７では、パターンａ〜パターンｆの六つのパターンを説明する。

パターンａ〜パターンｃでは、手形状Ａであるので制御対象の機器がオーディオ２１であり、パターンｄ〜パターンｆでは、手形状Ｃであるので制御対象の機器がエアコン２５である。

パターンａでは、手形状Ａを上向きにしているので、機器操作命令部１５はオーディオ２１の機能を再生又は停止に制御する。パターンｂでは、手形状Ａを左向きにしているので、機器操作命令部１５はオーディオ２１の機能を次の曲に制御する。パターンｃでは、手形状Ａを右向きにしているので、機器操作命令部１５はオーディオ２１の機能を前の曲に制御する。

パターンｄでは、手形状Ｃを左向きにしているので、機器操作命令部１５はエアコン２５の機能を、風量を強めるように制御する。パターンｅでは、手形状Ｃを上向きにしているので、機器操作命令部１５はエアコン２５の機能を、温度を上げるように制御する。パターンｆでは、手形状Ｃを下向きしているので、機器操作命令部１５はエアコン２５の機能を、温度を下げるように制御する。

上記したように、手の向きに基づいて制御対象の機器の機能を特定するほうが、手形状に基づいて制御対象の機器の機能を特定するよりも、ユーザは直感的に機器を操作することができる。

図８は、本発明の実施例１の効果の一例の説明図である。

図８では、車載機器群２に含まれる機器からＨＵＤ２２の機能を運転手のジェスチャによって操作する場合について説明する。機器操作命令部１５に設定された機器関係情報には、手形状ＮとＨＵＤ２２との関係が登録される。また、機器操作命令部１５に設定された機能関係情報には、手形状ＮのＵＰとＨＵＤ２２の画面表示を開始する機能との関係、手形状ＮのＬＥＦＴとＨＵＤ２２の前の画面に切り替える機能との関係、及び手形状ＮのＲＩＧＨＴとＨＵＤ２２の次の画面に切り替える機能との関係が登録される。

運転手は、ＨＵＤ２２に画面表示を開始させるために、カメラの撮像領域で手形状を手形状Ｎにし、かつ手の向きを上向きにする。これによって、手形状認識部１３がカメラによって撮像された運転手の手形状が手形状Ｎであると認識し、手向き認識部１４がカメラによって撮像された運転手の手の向きがＵＰであると認識することによって、機器操作命令部１５は、画面表示を開始する旨の制御命令をＨＵＤ２２に出力する。

運転手は、手形状Ｎをした手を右向き又は左向きにすることによって、ＨＵＤ２２の画面を切り替えることができる。

ＨＵＤ２２には、通常操作ボタン等がないので、ユーザのジェスチャによる操作を可能とすることは有効である。

以上のように、本実施例では、ユーザの手形状と手の向きとからなる一動作によって、車載機器群２に含まれる複数の機器から制御対象となる機器を所定の機能を実現するように制御できる。これによって、運転を妨げない目視不要であってかつ簡易な操作によって機器の機能を制御することができる。

本実施例では、手情報検出部１２が手に関する情報を検出する領域であるジェスチャ領域をユーザの顔の領域に基づいて設定するナビゲーション装置について説明する。これによって、機器を操作するユーザ以外の人のジェスチャによる機器の誤動作を防止できる。

図９は、本発明の実施例２のジェスチャ領域の説明図である。

実施例１では、図９の上部に示すように、カメラの撮像領域の中からユーザの手を検出する。換言すれば、実施例１では、カメラの全撮像領域をジェスチャ領域とするものである。

実施例１では、運転手以外の後部座席及び助手席に座っている同乗者の手を検出してしまい、同乗者の意図しない手の動きを機器の操作のためのジェスチャとして検出し、機器を誤動作させてしまう可能性がある。

本実施例では、車載機器インタフェース１は、運転手の顔の領域を検出して、検出した顔の領域に基づいてジェスチャ領域を手情報検出部１２に設定する。例えば、車両が右ハンドルである場合、車載機器インタフェース１は、検出した運転手の顔の領域の左下の領域をジェスチャ領域に設定する。また、車両が左ハンドルである場合、車載機器インタフェース１は、検出した運転手の顔の領域の右下の領域をジェスチャ領域に設定する。また、手情報検出部１２は、車載機器制御群２を制御するための操作時以外に手が置かれる領域（例えば、ハンドル等の常に手が置かれる領域）をジェスチャ領域から除外することもできる。これは、事前にハンドル位置等の車載機器制御群２を制御するための操作時以外に手が置かれる領域をユーザが手情報検出部１２に設定してもよいし、手情報検出部１２が、手が一定時間以上連続で存在した領域を過去履歴から推定し、当該領域を車載機器制御群２を制御するための操作時以外に手が置かれる領域としてもよい。

手情報検出部１２は、ジェスチャ領域のみからユーザの手に関する情報を検出し、ジェスチャ領域以外の撮像領域からユーザの手に関する情報を検出しない。

また、車載機器インタフェース１は、運転手の所定の手形状及び手の向きを検出した場合、手情報検出部１２に設定されたジェスチャ領域を所定の領域に切り替える。例えば、図９に示すように、切替え先の領域は助手席の同乗者の手を検出可能な領域とする。また、車載機器インタフェース１は、同乗者の顔の領域を検出し、検出した顔の領域基づいて、切替先の領域を特定してもよい。

以上によって、ジェスチャ領域を全撮像領域から限定することができ、同乗者の意図しない手の動きによる機器の誤動作を防止することができる。

本実施例では、照明装置がジェスチャ領域を照射することについて説明する。これによって、照明環境が変動しやすい車両で、一定の照明環境を維持することができ、ジェスチャの誤検出を防止する。本実施例は実施例１及び実施例２に適用可能である。

図１０は、本発明の実施例３の照明装置の照射範囲の説明図である。

本実施例の照明装置は、車両に備わる室内灯であってもよいし、カメラに備わる照明装置であってもよいし、カメラとは独立して車両に取り付けられた照明装置であってもよい。

照明装置はジェスチャ領域を照射するように配置される。実施例１の場合、ジェスチャ領域はカメラの全撮像領域であるため、照明装置は運転手が手を動かす領域を照射するように配置される。また、実施例２のように、ジェスチャ領域の切替えが可能である場合には、車載機器インタフェース１は、ジェスチャ領域を切り替えた場合、照明装置の向きを切替先のジェスチャ領域を照射する向きに制御してもよい。

このように、機器を操作するユーザの手の動作領域を照射することによって、当該ユーザ以外の同乗者の手の誤検出を防止できる。

また、照明装置が色つきの光を照射することによって、手情報検出部１２は、カメラによって撮像された撮像領域のうち手の領域の色を他の領域の色と区別することができ、手の領域を正確に検出することができる。また、これによって、手形状認識部１３の手形状認識精度及び手向き認識部１４の手向き認識精度もさらに向上する。

なお、照明装置は、常にジェスチャ領域を照射してもよいが、必要なときだけジェスチャ領域を照射してもよい。例えば、車両のヘッドライトの照射を開始すると同時に照明装置のジェスチャ領域の照射を開始してもよい。また、赤外線センサ等によってジェスチャ領域に手を検出した場合に、照明装置のジェスチャ領域の照射を開始してもよい。

本実施例では、カメラをユーザの手を撮像するように車両に配置する。これによって、カメラが手を撮像した場合の背景が天井となり、外部環境（後部座席に座っている人の動作、車両の外の景色等）の変化の影響を受けにくいので、ジェスチャの誤検出を防止できる。

図１１は、本発明の実施例４のカメラの配置位置の説明図である。

カメラは、運転席と助手席との中間であって、かつハンドルの中心より低い位置に配置されるため、上方に位置することになるユーザの顔付近にカメラが向けられる。これによって、カメラはユーザの手を下から撮像するように配置され、カメラが撮像した画像の背景を天井にすることができるので、外部環境の変化を受けにくくなり、ジェスチャの誤検出を防止できる。

本実施例では、機器操作命令部１５は、ユーザからの所定の操作（トリガ操作）を受け付けるまで、制御対象の機器に制御命令を出力しない。これによって、ユーザが意図しない制御命令が機器に出力されることを防止できる。

例えば、トリガ操作には音声による操作、及び手のジェスチャによる操作があり、音声による操作については図１２及び図１３で詳細を説明し、手のジェスチャによる操作については図１４で詳細を説明する。

まず、音声による操作がトリガ操作となる場合について説明する。

図１２は、本発明の実施例５の車載機器インタフェース１を搭載した車両のブロック図である。なお、図１２に示す構成のうち実施例１の図１と同じ構成は、同じ符号を付与し、説明を省略する。

本実施例の車載機器インタフェース１は、画像入力部１１、手情報検出部１２、手形状認識部１３、手向き認識部１４、及び機器操作命令部１５の他に、音声入力部１６及び音声認識部１７を有する。

音声入力部１６は、マイク等であり、音声データを取得し、取得した音声データを音声認識部１７に出力する。

音声認識部１７は、音声入力部１６から入力された音声データを音声認識し、音声認識結果がトリガ操作を示す所定の音声である場合には、撮像データの手情報検出部１２への出力開始命令を画像入力部１１に出力する。また、音声認識部１７は、音声認識結果が車載機器群２に含まれる機器の機能を制御する所定の音声認識結果である場合には、当該音声認識結果を認識結果確定部７２０を介して機器操作命令部１５に出力し、機器操作命令部１５から音声認識結果に対応する制御命令が車載機器群２に含まれる機器に出力されるようにしてもよい。

図１３は、本発明の実施例５の音声によるトリガ操作の説明図である。

図１３では、音声認識部１７による音声認識結果が例えば「ジェスチャ開始」である場合にトリガ操作がなされたと判定し、音声認識部１７は、出力開始命令を画像入力部１１に出力する。

以上のように、所定の音声が車載機器インタフェース１に入力された場合に、画像入力部１１から手情報検出部１２への撮像データの入力が開始される。このため、ユーザは、車載機器群２に含まれる機器を操作する場合には、所定の音声を発話してから手形状及び手の向きをカメラに読み取らせることになるので、意図しないジェスチャによって機器に対して意図しない操作がなされることを防止できる。

なお、上記した音声によるトリガ操作では、音声認識部１７が所定の音声を認識した場合、画像入力部１１から手情報検出部１２への撮像データの入力を開始するとした。換言すれば、音声認識部１２が所定の音声を認識しなければ、機器操作命令部１５には手形状認識部１３及び手向き認識部１４の認識結果が入力されないので、機器操作命令部１５は、制御命令を車載機器群２に含まれる機器に制御命令を出力することはなく、音声認識部１７が所定の音声を認識した場合にのみ、機器操作命令部１５は、制御命令を車載機器群２に含まれる機器に制御命令を出力する。

次に、手のジェスチャによる操作がトリガ操作となる場合について説明する。

図１４は、本発明の実施例５の手のジェスチャによるトリガ操作の説明図である。

図１４では、上向きの手形状Ｆ、上向きの手形状Ｇ、及び上向きの手形状Ｈのように時系列的に変化するジェスチャをトリガ操作としている。このトリガ操作は、カメラの前で手の平から手の甲へと手を回転させるだけでよいので、ユーザの操作性を考慮したものである。

機器操作命令部１５は、手形状認識部１３及び手向き認識部１４の認識結果からトリガ操作を検出すると、トリガ操作以降の手形状認識部１３及び手向き認識部１４の認識結果に基づいて、制御対象の機器と制御対象の機器の機能とを特定し、当該制御対象の機器に制御命令の出力を許可する。換言すれば、機器操作命令部１５は、トリガ操作を検出しない場合に入力された手形状認識部１３及び手向き認識部１４の認識結果に基づく制御命令の出力を禁止する。

なお、手のジェスチャによるトリガ操作は、時系列的に変化するジェスチャに限定されず、一つ手形状及び手の向きからなるジェスチャであってもよいが、時系列的に変化するジェスチャをトリガ操作としたほうが、意図しないジェスチャがトリガ操作として検出されることによる機器の誤動作を防止できる。

また、音声による操作及び手のジェスチャによる操作を組み合わせた操作をトリガ操作としてもよい。

実施例５では、機器を操作するためのジェスチャの前にトリガ操作がなされる必要があるが、機器を操作するためのジェスチャの後にトリガ操作がなされてもよい。これについて実施例５の変形例として図１５を用いて説明する。

図１５は、本発明の実施例５の変形例の手によるトリガ操作の説明図である。

本変形例のトリガ操作は、上記したように、機器を操作するためのジェスチャの後になされ、図１５では、トリガ操作は上向きの手形状Ｉとする。

機器操作命令部１５は、手形状認識部１３及び手向き認識部１４からトリガ操作となる認識結果が入力された場合、当該認識結果の直前に入力された手形状認識部１３及び手向き認識部１４による認識結果に基づいて制御命令を制御対象の機器に出力する。換言すれば、機器操作命令部１５は、出力する制御命令を決定しても、ジェスチャ操作が入力されない限りは、当該制御命令の出力を禁止する。

図１５に示すパターンａでは、機器操作命令部１５は、トリガ操作となる上向きの手形状Ｉの認識結果の直前に上向きの手形状Ａの認識結果が入力されているので、手形状Ａに対応するオーディオ２１を制御対象の機器に選択し、オーディオ２１を上向きに対応する機能に制御する制御命令を、オーディオ２１に出力する。

また、図１５に示すパターンｂでは、機器操作命令部１５は、トリガ操作となる上向きの手形状Ｉの認識結果の直前に上向きの手形状Ｂの認識結果が入力されているので、手形状Ｂに対応するテレビ２３を制御対象の機器に選択し、テレビ２３を上向きに対応する機能に制御する制御命令を、テレビ２３に出力する。

また、図１５に示すパターンｃでは、機器操作命令部１５は、トリガ操作となる上向きの手形状Ｉの認識結果の直前に上向きの手形状Ｃの認識結果が入力されているので、手形状Ｂに対応するエアコン２５を制御対象の機器に選択し、エアコン２５を上向きに対応する機能に制御する制御命令を、エアコン２５に出力する。

なお、本変形例では、機器を操作するためのジェスチャの後のトリガ操作として、手のジェスチャによる操作について説明したが、音声による操作であってもよいし、手のジェスチャによる操作と音声による操作とを組み合わせたものであってもよい。

また、上記した実施例５及び実施例５の変形例では、手のジェスチャによる操作がトリガ操作となる場合、手形状及び手の向きによる操作がトリガ操作となることについて説明したが、手形状のみの操作がトリガ操作となってもよい。手の向きのみの操作がトリガ操作とすれば、トリガ操作が誤検出される可能性が高く、少なくとも手形状を含む操作をトリガ操作としたほうが、トリガ操作が誤検出される可能性は低くなる。

本実施例では、手のジェスチャによる操作と音声による操作とを組み合わせたナビゲーション装置について説明する。例えば、ユーザが車両の外の建造物等を指差し、質問を発話すると、車載機器インタフェース１は、手形状認識部１３及び手向き認識部１４による認識結果とＧＰＳ等による位置情報とに基づいて、指差した方向の建造物等に関する情報を質問に対する返答を出力する。

図１６は、本発明の実施例６の音声による質問に対する返答を出力するナビゲーション装置の説明図である。

本実施例の車載機器インタフェース１は、実施例５の図１２に示す車載機器インタフェース１と同じく、画像入力部１１、手情報検出部１２、手形状認識部１３、手向き認識部１４、及び機器操作命令部１５の他に、音声入力部１６及び音声認識部１７を有する。

音声認識部１７が予め設定された質問を示す音声データを認識した場合、当該音声認識結果を認識結果確定部７２０を介して機器操作命令部１５に出力する。機器操作命令部１５は、音声認識結果が入力された場合、手形状認識部１３の認識結果である手形状と手向き認識部１４の認識結果である手の向きから、ユーザが指差している方向を特定する。そして、機器操作命令部１５は、図示しない方位検出部から方位を取得し、取得した方位と特定したユーザが指差している方向とに基づいて、ユーザが指差している方角を特定する。

次に、機器操作命令部１５は、現在位置からユーザが指差している方角にある地図情報を、ナビゲーション装置に記憶された地図情報から取得し、取得した地図情報から所定の条件を利用して一つの地図情報を選択する。そして、機器操作命令部１５は、選択した地図情報を質問に対する返答として出力する制御命令を、オーディオ２１が有する図示しないスピーカ、ＨＵＤ２２、又はテレビ２３に出力する。なお、機器操作命令部１５は、地図情報を取得する場合、ネットワークに接続され、地図情報を格納した地図情報サーバから取得してもよい。

複数の地図情報から一つの地図情報を選択する場合に利用する条件は、例えば、重要度が最も高い地図情報であってもよいし、現在位置から最も近い地図情報であってもよい。また、必ずしも複数の地図情報から一つの地図情報を選択する必要はなく、複数の地図情報をユーザの質問に対する返答としてもよい。

図１６では、助手席に座っているユーザが、東京タワーの方向を指差し、「あれは何？」と質問し、ナビゲーション装置が、表示装置又はスピーカを介して「東京タワー」である旨の返答を出力する。

なお、ユーザの意図しない質問を受け付けることを防止するために、音声認識部１７が音声認識を開始又は終了するトリガ操作を設定してもよい。例えば、トリガ操作は手のジェスチャによる操作であり、指先を閉じた手形状でユーザの口に向かって移動する操作を音声認識部１７に音声認識を開始させるトリガ操作とし、手を振る操作を音声認識部１７に音声認識を終了させるトリガ操作としてもよい。

本実施例では、車載機器群２に接続可能な携帯端末７０１が、ユーザの手形状及び手の向きを認識し、車載機器インタフェース１を介して車載機器群２を制御するための構成について説明する。

図１７は、本発明の実施例７の車載機器インタフェース１を介して車載機器群２に接続された携帯端末７０１のブロック図である。なお、図１７に示す構成のうち、図１に示す構成と同じ構成は、同じ符号を付与し、説明を省略する。

携帯端末７０１は，画像入力部７１０、手領域認識部１２、手形状認識部１３、手向き認識部１４、認識結果確定部７２０、ＣＰＵ７１１、ＲＡＭ７１２、ディスプレイ７１３、及び外部Ｉ／Ｆ（インタフェース）７１４を有する。手領域検出部１２、手形状認識部１３、手向き認識部１４は、実施例１と同じであるので説明を省略する。

画像入力部７１０は、携帯端末２に搭載されているカメラであり、手情報検出部１２へ撮像画像を出力する。なお、認識結果確定部７２０には、手形状認識部１３の認識結果Ａと手向き認識部１４の認識結果Ｂが入力される。認識結果確定部７２０は、入力された認識結果Ａ及び認識結果Ｂを認識結果として外部Ｉ／Ｆ７１４を経由して車載機器インタフェース１が有する機器操作命令部１５に送信する。認識結果の内容は、時間、手の位置（座標）、手の大きさ、手の向き、及び手の形状等を含む。

手領域認識部１２、手形状認識部１３、手向き認識部１４、及び認識結果確定部７２０に対応するプログラムがＲＡＭ７１２に格納され、ＣＰＵ７１１がこれらのプログラムを実行する。なお、手領域認識部１２、手形状認識１３、手向き認識部１４及び認識結果確定部７２０を手情報検出部という。また、ディスプレイ７１３には、手領域認識部１２、手形状認識部１３、及び手向き認識部１４によるユーザの手の認識結果が表示される。

外部Ｉ／Ｆ７１４は、無線通信又は有線接続等によって、車載機器インタフェース１の機器操作命令部１５へ認識結果を送り出す。無線通信には、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＷｉ−Ｆｉ（登録商標）があり、有線接続には、ＵＳＢによる接続、ＬＡＮによる接続、及び携帯専用端子による接続等がある。

機器操作命令部１５は、認識結果を受信した場合、実施例１の機器操作命令部１５と同じく、制御対象の機器を特定し、制御対象の機器の機能を特定し、特定した機能に制御するための制御命令を制御対象の機器に出力する。

なお、本実施例では、車載機器群２を制御対象の一例として示したが、制御対象はテレビ又はＰＣ（パーソナルコンピュータ）等であってもよい。

本実施例では、ユーザの意図しないジェスチャを認識せずに、ユーザが意図したジェスチャ（ジェスチャ操作）を認識する認識方法について説明する。

図１８は、本発明の実施例８の認識結果確定部７２０がユーザのジェスチャがジェスチャ操作であるか否かを判定する処理の説明図である。

認識結果確定部７２０は、手向き認識部１４が取得する手の向きの情報、及び手情報検出部１２が取得する手の位置の情報に基づいて算出可能な手の移動方向、手の移動量を時系列で扱う。このように、本実施例における認識結果確定部７２０は、手の移動方向及び手の移動量等の手の動きを認識する動き認識部として機能する。ここで、認識結果確定部７２０は、手の移動量が所定の閾値以上である場合には、ジェスチャ操作が終了していないと判断し、入力された認識結果を機器操作命令部１５に出力しない。これによって、機器操作命令部１５が制御命令を出力することはないので、ユーザの意図しないジェスチャによる車載機器群２の誤動作を防止できる。なお、認識結果各停部７２０は、手の移動量が閾値より小さい場合には、ジェスチャが終了したと判断し、入力された認識結果を機器操作命令部１５に出力する。例えば、認識結果確定部７２０は、図１８に示す時刻ｔ０及びｔ１の認識結果のみを機器操作命令部１５に出力する。換言すれば、図１８に示す時刻ｔ０及びｔ１が認識対象時間となる。

さらに、認識結果確定部７２０は、手の移動量が閾値より小さくなった時刻の手の向きと手の移動方向とを比較し、手の向きと手の移動方向とが同じである場合に、ジェスチャ操作がなされたと判断し、認識結果を機器操作命令部１５に出力してもよい。図１８に示す時刻ｔ０の手の向きが左であるのに対して手の移動方向は右であるため認識結果確定部７２０は、ジェスチャ操作がなされたと判断せず、認識結果を出力しない。一方、認識結果確定部７２０は、図１８に示す時刻ｔ１の手の向き及び手の移動方向が右で同じとなるため、時刻ｔ１のジェスチャをジェスチャ操作と判断し、時刻ｔ１の認識結果を機器操作命令部１５に出力する。

この場合、認識結果確定部７２０は、手の移動量が閾値より小さくなる前に所定時間連続して出現した手の移動方向を判定に用いることとする。これは、手の移動量が閾値より小さくなり、手が静止している状態では、ユーザのわずかな震えによって手の方向が上下左右に定まらなくなり、手の移動方向を誤検出してしまうことを防止するためである。

上記した通り、手の移動方向及び手の向きの両者をジェスチャ操作か否かの判定に用いることによって、認識結果各停部７２０は、ユーザの意図しないジェスチャを認識せずに、ユーザが意図したジェスチャを瞬時に認識できる。

手を所定方向に移動した場合には、手を元の位置に戻すために手を逆方向に移動することとなる。このため、認識結果確定部７２０が手の移動方向のみに基づいてジェスチャ操作か否かを判定する場合には、手を元の位置に戻すための手の移動もジェスチャ操作として誤認識してしまう。例えば、手を右に動かすとオーディオ２１が「次の曲」を再生するように制御され、手を左に動かすとオーディオ２１が「前の曲」を再生するように制御される場合において、手を右に移動した後に左に戻す動作が必要となり、この左に戻すためのジェスチャがジェスチャ操作として誤認識され、オーディオ２１が「前の曲」を再生してしまうことが生じる。

一方、認識結果確定部７２０が手の向きのみに基づいてジェスチャ操作か否かを判定する場合、操作中に偶然手が右向きになった瞬間にオーディオ２１が「次の曲」を再生するように制御されてしまう。これを防止するために、認識結果確定部７２０手の向きが所定の方向を所定時間差す場合にジェスチャ操作として判断するようにすることも可能であるが、ユーザは手の向きを所定の方向で所定時間静止する必要があるので、操作が不便となる。これに対し、上記したように、認識結果確定部７２０が手の移動方向と手の向きとをジェスチャ操作か否かの判定に用いることによって、手を元に戻すための手の移動の誤検出、及び手の方向が偶然所定方向となった場合の誤検出等を防止できる。

図１９は、本発明の実施例８の手の向き及び手の移動方向をオーディオ２１の機能との関係の説明図である。このように手の向き及び手の移動方向を制御対象の機器の機能に割り当てるようにすることによって、ジェスチャを誤認識することなく機器を制御できる。

なお、図１９では、「上方向」の手の向きと「右、左、右、左」の手の移動方向との組み合せが「再生／停止」機能に割り当てられている。この場合、認識結果確定部７２０は、「上方向」の手の向きで「右、左、右、左」に手が移動した場合（例えば、左右に手を振る動作）のジェスチャをジェスチャ動作として判断する。ここで、手の向きと手の移動方向とは必ずしも同じでなくてもよいが、これらを同じ方向にすることによって、ユーザは自然かつ直感的な操作が可能となる。

次に、認識結果確定部７２０は、手向き認識部１４が取得する手の向きの情報、及び手情報検出部１２が取得する手の位置の情報に基づいて、回転角度を算出し、機器操作命令部１５が算出した回転角度に応じて機器を制御する場合について、図２０Ａ〜図２０Ｃを用いて説明する。

図２０Ａは、本発明の実施例８のユーザの手の回転動作の説明図である。ユーザは、例えば、図２０Ａに示すように、手を左右方向に回転させる動作をジェスチャとして行うことができる。

図２０Ｂは、本発明の実施例８の回転角度と閾値との関係の説明図である。

認識結果確定部７２０には、回転角度の第１閾値及び第２閾値が設定されている。ここで、第２閾値は第１閾値より大きな値に設定される。認識結果確定部７２０は、回転角度が第１閾値を超えた場合又は第２閾値を超えた場合、手形状認識部１３による認識結果及び手向き認識部１４による認識結果、及びどちらの閾値を超えたかを示す情報を認識結果として、機器操作命令部１５に出力する。

機器操作命令部１５は、認識結果が入力された場合、入力された手形状認識部１３による認識結果及び手向き認識部１４による認識結果に基づいて、制御対象の機器と当該機器で制御される機能とを特定する。そして、機器操作命令部１５は、第１閾値を超えたと判定した場合には、映像又は音声等によってユーザのジェスチャに対応する機器の制御内容をユーザに確認できるようにする。

例えば、ナビゲーション２４の画面を変更する場合の画面変更の様子について図２０Ｃを用いて説明する。図２０Ｃは、本発明の実施例８のナビゲーション２４の画面変更の説明図である。

ナビゲーション２４の地図画面が表示されていて、ユーザが地図画面からメニュー画面への変更を所望する場合において、機器操作命令部１５は、回転角度が第１閾値を超えたと判定した場合、地図画面の一部にメニュー画面を表示し、ユーザに変更後の制御内容を確認させる。そして、ユーザは、メニュー画面を確認し、自身の所望する制御内容と一致するので、手をさらに回転させる。認識結果確定部７２０は、回転角度が第２閾値を超えた場合、認識結果を機器操作命令部１５に出力し、機器操作命令部１５は、回転角度が第２閾値を超えたと判定した場合、ユーザがメニュー画面への変更を決定したと判断し、地図画面の全てをメニュー画面に変更する。

この他、例えば、オーディオ２１で再生中の曲を変更する場合には、回転角度が第１閾値を超えた場合、現在の曲を再生しながら、次の曲の出だし部分又はサビ部分を所定時間再生する等再生する等して、ユーザの操作中のジェスチャに対応する制御内容をユーザに通知することによって、ユーザにフィードバックの機会を付与する。これによって、ユーザの操作性が向上するとともに、ユーザの意図しない機器の制御を防止できる。

なお、回転角度に対して閾値が設定されたが、手の移動速度に対して閾値が設定されてもよい。例えば、移動速度が閾値以下でユーザが手を回転させた場合、機器操作命令部１５は、一画面だけ表示を切り替え、移動速度が閾値より大きくユーザが手を回転させた場合、機器操作命令部１５は、二画面以上表示を切り替えるようにしてもよい。すなわち、移動速度に応じて類似しているが異なる機能を割り当てることによって、ユーザは直感的かつ簡易に車載機器群２を操作できる。

なお、上述した種々の実施例は、組み合わせることができる。例えば、実施例１の手の形状及び手の向きに加え実施例８の手の動きを組み合わせて、制御対象の機器及び当該機器の機能を特定してもよい。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１ 車載機器インタフェース
２ 車載機器群
１１ 画像入力部
１２ 手情報検出部
１３ 手形状認識部
１４ 手向き認識部
１５ 機器操作命令部
２１ オーディオ
２２ ヘッドアップディスプレイ（ＨＵＤ）
２２ 車載機器群
２３ テレビ
２４ ナビゲーション
２５ エアコン

Claims (9)

1. 経路案内装置に接続される制御装置であって、
   撮像画像からユーザの手に関する情報を検出する手情報検出部と、
   前記経路案内装置又は前記経路案内装置に接続される複数の機器に制御命令を出力する機器操作命令部と、を備え、
   前記機器操作命令部は、前記手情報検出部によって検出される前記ユーザの手の向きに基づいて、前記経路案内装置又は前記機器への制御命令を出力することを特徴とする制御装置。
2. 請求項１に記載の制御装置であって、
   前記手情報検出部は、
   前記ユーザの手の領域を検出する領域認識部と、
   検出された前記手の領域に基づいて、前記ユーザの手形状を認識する形状認識部と、
   検出された前記手の領域に基づいて、前記ユーザの手の向きを認識する向き認識部と、
   前記手の領域と前記手の向きとに基づいて、前記ユーザの手の動きを認識する動き認識部と、を有し、
   前記機器操作命令部は、さらに前記動き認識部によって認識される前記手の動きにも基づいて制御命令を出力することを特徴とする制御装置。
3. 請求項２に記載の制御装置であって、
   前記機器操作命令部は、さらに前記形状認識部によって認識される前記手の形状にも基づいて制御命令を出力することを特徴とする制御装置。
4. 請求項２に記載の制御装置であって、
   前記機器操作命令部は、さらに前記形状認識部によって認識される前記手の形状にも基づいて制御命令を出力することを特徴とする制御装置。
5. 請求項４に記載の制御装置であって、
   前記形状認識部が認識し得る認識結果と、当該認識結果に対応して制御対象として選択される機器との関係を登録した機器関係情報と、
   前記向き認識部が認識し得る認識結果と、当該認識結果に対応して制御される機能との関係を登録した機能関係情報と、を保持し、
   前記機器操作命令部は、
   前記機器関係情報を参照し、前記形状認識部の認識結果に対応する機器を、前記制御対象となる機器として選択し、
   前記機能関係情報を参照し、前記向き認識部の認識結果に対応する機能を特定し、制御命令を出力することを特徴とする制御装置。
6. 請求項２に記載の制御装置であって、
   前記手情報検出部は、
   前記撮像画像からユーザの顔領域を検出し、
   前記撮像画像内における前記顔領域の位置に基づいて、前記ユーザの手を検出する領域を設定し、
   前記経路案内装置又は前記機器を制御するための操作時以外の時間にユーザの手が置かれる領域を、前記手を検出する領域から除外することを特徴とする制御装置。
7. 請求項２に記載の制御装置であって、
   さらに照明装置を備え、
   前記照明装置は、ユーザの手が置かれる領域を照射するように配置されることを特徴とする制御装置。
8. 請求項２に記載の制御装置及び経路案内装置を備える車両であって、
   さらに撮像装置を備え、
   前記撮像装置は、車載ハンドルの中心より下に位置し、前記車両内の天井が前記ユーザの手の背景となるように配置されることを特徴とする車両。
9. 経路案内装置に制御装置を介して接続可能な携帯端末であって、
   前記制御装置は、前記経路案内装置又は前記経路案内装置に接続される複数の機器に制御命令を出力する機器操作命令部を有し、
   前記携帯端末は、
   撮像装置と、
   前記撮像装置による撮像画像からユーザの手に関する情報を検出する手情報検出部を有し、
   前記手情報検出部は、
   検出された前記手の領域に基づいて、前記ユーザの手形状を認識する形状認識部と、
   検出された前記手の領域に基づいて、前記ユーザの手の向きを認識する向き認識部と、
   前記形状認識部による認識結果及び前記向き認識部による認識結果を、前記機器操作命令部に出力する認識結果出力部と、を有し、
   前記機器操作命令部が、前記認識結果出力部によって出力された前記形状認識部による認識結果及び前記向き認識部による認識結果に基づいて、前記経路案内装置又は前記機器への制御命令を出力することを特徴とする携帯端末。

Images