JP2017052490A - 車載機器制御装置 - Google Patents

Abstract

【課題】ジェスチャーに対する認識精度を高めて、より信頼性の高い制御を実現することのできる車載機器制御装置を提供する。
【解決手段】この装置は、室内カメラ１１０による運転者の撮影画像に基づいて運転者によるジェスチャーをジェスチャー認識部１１１を通じて認識する。また、室内カメラ１１０による運転者の撮影画像に基づく運転者の視線の認識結果、及びマイク１２０を介しての運転者の会話内容の認識結果、及び外気温センサ１３０を介しての外気温の検出結果に基づいて運転者のおかれたシーンをシーン推定部１４０を通じて推定する。そして、ジェスチャー認識部１１１を通じて認識されるジェスチャーとシーン推定部１４０を通じて推定されるシーンとがジェスチャー学習テーブルＴ１に関連付けされていることを条件に、該ジェスチャーに対応付けられた制御命令を機器制御部１５０を通じて対応する車載機器へ発する。
【選択図】図１

Description

本発明は、車両の運転者によるジェスチャーを認識し、該認識結果に応じて車載機器に制御命令を発する車載機器制御装置に関する。

例えば特許文献１に記載の装置では、車両の運転者によるジェスチャーとして、運転者の撮影画像から運転者の手の輪郭によって囲まれる手の領域を認識するとともに、こうして認識した手の領域と当該手の領域の中心又は重心から求まる手の位置とに基づき運転者の手首から指先にかけての手の向きを認識する。そして、それらのうち一方の認識結果に基づき複数の車載機器の中から制御対象となる車載機器を選択するとともに、他方の認識結果に基づき上記制御対象として選択した車載機器が所定の機能を実現するように当該車載機器に制御命令を発するようにしている。

特開２０１４−１１９２９５号公報

ところで、上記文献に記載の装置では、車載機器の制御に対応付けて予め登録されているジェスチャーに対して運転者によるジェスチャーが運転者自身の意図とは関係なく偶然一致したような場合であっても、当該ジェスチャーがいわば誤認識されて車載機器の制御が実行されてしまうこともある。そのため、このようなジェスチャーによる車載機器制御装置としてはなお改善の余地を残すものとなっている。

本発明は、このような実情に鑑みてなされたものであり、その目的は、ジェスチャーに対する認識精度を高めて、より信頼性の高い制御を実現することのできる車載機器制御装置を提供することにある。

以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決する車載機器制御装置は、車両の運転者によるジェスチャーを認識し、該認識結果に応じて車載機器に制御命令を発する車載機器制御装置であって、室内カメラによる運転者の撮影画像に基づいて運転者によるジェスチャーを認識するジェスチャー認識部と、室内カメラによる運転者の撮影画像に基づく運転者の視線の認識結果、及びマイクを介しての運転者の会話内容の認識結果、及び温度センサを介しての気温の検出結果の少なくとも一つに基づいて運転者のおかれたシーンを推定するシーン推定部と、車両の運転者によるジェスチャーに対応付けられた車載機器への制御命令が運転者のおかれるシーンにさらに関連付けされてデータ登録されたテーブルを有し、前記ジェスチャー認識部を通じて認識されるジェスチャーと前記シーン推定部を通じて推定されるシーンとが前記テーブルに関連付けされてデータ登録されていることを条件に、当該ジェスチャーに対応付けられた制御命令を対応する車載機器へ発する機器制御部とを備える。

上記構成によれば、運転者が車載機器を制御すべくジェスチャーを行ったとしても、当該ジェスチャーがそのときの運転者のおかれたシーンに関連付けされたものでなければ、対応する車載機器には制御命令が発せられない。すなわち、運転者によるジェスチャーだけでなく、そのときの運転者のおかれたシーンも併せて照合されることにより、運転者によるジェスチャーに対する認識の確かさ、すなわち認識精度が高められるようになる。そして、運転者によるジェスチャーの認識精度がこうして高められることにより、より信頼性の高い車載機器の制御が実現されるようになる。

車載機器制御装置の一実施の形態の概略構成を示すブロック図。 運転者の視界前方に投影表示される映像の一例を示す模式図。 ジェスチャー学習テーブルの設定内容の一例を示す模式図。 機器制御テーブルの設定内容の一例を示す模式図。 同実施の形態の車載機器制御装置が実行する車載機器制御の制御手順を示すフローチャート。

以下、車載機器制御装置の一実施の形態について説明する。
本実施の形態の車載機器制御装置は、車両の走行時における運転者のジェスチャーを監視し、車載機器の制御に対応付けられたジェスチャーが行われたときに該ジェスチャーに対応付けられた制御命令を対応する車載機器へ発するものである。ここで、車載機器の制御に対応付けられたジェスチャーが行われたとしても、該ジェスチャーが運転者自身の意図とは関係なく偶然一致したような可能性もある。そこで本実施の形態では、車両の運転時に運転者のおかれたシーンも併せて監視し、車載機器の制御に対応付けられたジェスチャーがそのときに運転者のおかれたシーンと関連付けされてデータ登録されていることを条件に、車載機器へ制御命令を発するようにしている。

はじめに、本実施の形態の装置の構成について図面を参照して説明する。
図１に示すように、車両１００は、例えばキネクト（登録商標：ＫＩＮＥＣＴ）等、各画素値を距離の値に置き換えて生成した運転者の距離画像を撮影する室内カメラ１１０を備えている。この室内カメラ１１０を通じて撮影された運転者の距離画像は、ジェスチャー認識部１１１における運転者によるジェスチャーの認識に用いられる。

具体的には、ジェスチャー認識部１１１はまず、室内カメラ１１０から入力される各フレーム毎の距離画像から運転者の手、頭、足といった各部位の三次元配置を抽出し、こうして抽出した各部位の三次元配置から運転者の擬似的な骨格モデルを生成する。そして、ジェスチャー認識部１１１は、こうして生成した運転者の骨格モデルから運転者の手の向きを含めた動作の特徴量を算出する。また、ジェスチャー認識部１１１は、室内カメラ１１０から入力される運転者の距離画像に対して画像認識処理を行うことにより、運転者の手の輪郭によって囲まれる手の領域を認識する。そして、ジェスチャー認識部１１１は、こうして認識した手の領域から運転者の手形状の特徴量を算出する。そして、ジェスチャー認識部１１１による運転者の動作の特徴量及び手形状の特徴量といったジェスチャーの特徴量の算出結果は機器制御部１５０に送られ、機器制御部１５０による車載機器の制御に用いられる。

また、車両１００は、同じく室内カメラ１１０を通じて撮影された運転者の距離画像に基づき運転者の視線を認識する視線認識部１１２を備えている。ここでは、視線認識部１１２による運転者の視線の認識に周知の角膜反射法を用いており、室内カメラ１１０により撮影された運転者の角膜の反射位置を基準とした瞳孔の位置に基づいて運転者の視線を認識する。そして、こうして視線認識部１１２を通じて認識された運転者の視線の認識結果はシーン推定部１４０に送られ、シーン推定部１４０による運転者のおかれたシーンの推定に用いられる。

具体的には、図２に示すように、シーン推定部１４０は、視線認識部１１２から入力される運転者の視線と、例えばヘッドアップディスプレイ（ＨＵＤ）１１３により運転者の視界前方に投影表示される映像とが交差する点Ｐの三次元座標を算出する。そして、シーン推定部１４０は、こうして算出した三次元座標に基づき、各種の車載機器（空調装置、ルームランプ等）の制御の際に使用するアイコンの映像Ｇ１，Ｇ２が運転者の視線と一致したか否かを運転者のおかれたシーンとして推定する。

また、図１に示すように、シーン推定部１４０は、運転者の視線の他にも、運転者からマイク１２０を通じて入力される会話の音声信号に対して会話認識部１２１を通じてテキスト変換がなされたテキストデータも併せて用いてシーンの推定を行う。具体的には、シーン推定部１４０は、会話認識部１２１から入力される会話のテキストデータに対してコンテキスト解析を行うことにより、例えば会話中に運転者自身が感じている車室内の温度や明るさ等、運転者による会話の文脈や背景とされるコンテキストを会話のテキストデータから抽出する。そして、シーン推定部１４０は、こうして抽出したコンテキストに基づき、運転者自身による主観的な判断に基づく車室内の温度や明るさ等を、運転者のおかれたシーンとして推定する。

また、シーン推定部１４０は、外気温センサ１３０を通じて入力される車両外部の気温も併せて用いてシーンの推定を行う。これにより、シーン推定部１４０は、上述した運転者自身による主観的な判断に基づく車室内の温度の他、外気温センサ１３０から入力される車両外部の気温データといった車室内の温度に反映される客観的なデータも併せて、運転者のおかれたシーンとして推定する。

そして、上述したシーン推定部１４０によるシーンの推定結果は機器制御部１５０に送られ、機器制御部１５０による車載機器の制御に用いられる。なお、本実施の形態では、機器制御部１５０による制御の対象となる車載機器として、車室内に設けられた空調装置１６１とルームランプ１６２とを例示している。

ここで、機器制御部１５０は、車載機器の制御に際し、ジェスチャー認識部１１１から入力されるジェスチャーの認識結果が、シーン推定部１４０から入力されるシーンの推定結果に関連付けされた図３に例示するようなジェスチャー学習テーブルＴ１を有している。

図３に示すジェスチャー学習テーブルＴ１では、上述したジェスチャーとシーンとが関連付けされたデータが、大きくは制御対象となる車載機器ごとに区別して管理されている。そして、例えば運転者の会話に対するコンテキスト解析により、運転者自身が「暑い」と感じており、外気温も「２０〜２５℃」であって実際に高めであるシーンの推定結果に対しては、空調装置１６１の温度を下げるようなジェスチャーと、空調装置１６１の風向きを「左」に向けて運転席に近づけるようなジェスチャーとが関連付けされている。また、同じく運転者の会話に対するコンテキスト解析により、運転者自身が「寒い」と感じているとの推定結果に対しては、空調装置１６１の温度を上げるようなジェスチャーと、空調装置１６１の風向きを「右」に向けて運転席から遠ざけるようなジェスチャーとが関連付けされている。このように特定のシーンの推定結果に対して複数のジェスチャーが関連付けされているのは、運転者自身が「暑い」もしくは「寒い」と同様に感じていたとしても、空調装置１６１の温度もしくは風向きの何れを調整するかについては運転者個人の嗜好に応じて異なるためである。

また同様に、運転者の会話に対するコンテキスト解析により、運転者自身が「眩しい」と感じているとのシーンの推定結果に対しては、ルームランプ１６２の光強度を下げるようなジェスチャーと、ルームランプ１６２の光の照射方向を「左」に向けて運転席から遠ざけるようなジェスチャーとが関連付けされている。その一方で、運転者の会話に対するコンテキスト解析により、運転者自身が「暗い」と感じているとのシーンの推定結果に対しては、ルームランプ１６２の光強度を上げるようなジェスチャーと、ルームランプ１６２の光の照射方向を「右」に向けて運転席に近づけるようなジェスチャーとが関連付けされている。ここでも特定のシーンの推定結果に対して複数のジェスチャーが関連付けされているのは、運転者自身が「眩しい」もしくは「暗い」と同様に感じていたとしても、ルームランプ１６２の光強度もしくは光の照射方向の何れを調整するかについては運転者個人の嗜好に応じて異なるためである。

なお、外気温センサ１３０を通じて得られる外気温が「１５〜２０℃」であるとのシーンの推定結果に対しては、空調装置１６１の温度を上げるようなジェスチャーや空調装置１６１の風向きを「右」に向けて運転席から遠ざけるようなジェスチャーの他、空調装置１６１の温度を下げるようなジェスチャーも関連付けされている。これは、外気温センサ１３０から入力される外気温といった客観的なデータに基づいたときには、外気温そのものが共通であったとしても、運転者自身が「暑い」もしくは「寒い」と感じるかについては運転者ごとに個人差を有するためである。

一方、視線認識部１１２を通じて得られる運転者の視線が「空調装置のアイコンに向いている」とのシーンの推定結果に対しては、空調装置１６１の制御に対応付けられた各種のジェスチャーが関連付けされている。その一方で、視線認識部１１２を通じて得られる運転者の視線が「ルームランプのアイコンに向いている」とのシーンの推定結果に対しては、ルームランプ１６２の制御に対応付けられた各種のジェスチャーが関連付けされている。これは、車載機器の制御に対応するアイコンに運転者の視線が向くことを条件として車載機器の制御を行うときには、車載機器を制御する際に対応するアイコンと運転者の視線が一致する頻度が高くなるためである。

そして、機器制御部１５０は、上述したジェスチャー学習テーブルＴ１を参照しつつ、ジェスチャー認識部１１１から入力される運転者の動作の特徴量及び手形状の特徴量とシーン推定部１４０から入力されるシーンの推定結果との照合を行う。

具体的には、図３に示したジェスチャー学習テーブルＴ１では、例えばシーン推定部１４０から入力されるシーンの推定結果として、運転者の会話に対するコンテキスト解析により運転者自身が「暑い」と感じていると推定され、且つ、外気温センサ１３０を通じて得られる外気温が「１５〜２０℃」であって、更に、視線認識部１１２を通じて得られる運転者の視線が「空調装置のアイコンに向いている」と推定されているものとする。この場合、上述した運転者の会話に対するコンテキスト解析により、空調装置１６１の温度を下げるようなジェスチャーと、空調装置１６１の風向きを「左」に向けて運転席に近づけるようなジェスチャーとが照合対象の候補として抽出される。また、外気温センサ１３０を通じて得られる外気温を更に加味したときには、空調装置１６１の温度を下げるようなジェスチャーが照合対象の候補として更に特定される。また、こうして特定された空調装置１６１の温度を下げるようなジェスチャーは、運転者の視線が「空調装置のアイコンに向いている」といった条件にも合致するジェスチャーであるため、照合対象の候補としての条件を満たす。そこで、機器制御部１５０は、こうして候補として特定されたジェスチャーについて予め用意した特徴量と、ジェスチャー認識部１１１から入力されるジェスチャーの特徴量とを比較して照合を行う。

また、例えばシーン推定部１４０から入力されるシーンの推定結果として、運転者の会話に対するコンテキスト解析により運転者自身が「暗い」と感じていると推定され、且つ、視線認識部１１２を通じて得られる運転者の視線が「ルームランプのアイコンに向いている」と推定されているものとする。この場合、上述した運転者の会話に対するコンテキスト解析により、ルームランプ１６２の光の照射方向を「右」に向けて運転席に近づけるようなジェスチャーと、ルームランプ１６２の光強度を上げるようなジェスチャーとが照合対象の候補として抽出される。また、こうして抽出されたルームランプ１６２の光の照射方向を「右」に向けて運転席に近づけるようなジェスチャーと、ルームランプ１６２の光強度を上げるようなジェスチャーとは何れも、運転者の視線が「ルームランプのアイコンに向いている」といった条件にも合致するジェスチャーであるため、照合対象の候補としての条件を満たす。そこで、機器制御部１５０は、これら照合対象の候補として抽出されたジェスチャーについて予め用意した特徴量と、ジェスチャー認識部１１１から入力される運転者の動作の特徴量及び手形状の特徴量とを比較して照合を行う。

なお、機器制御部１５０は、上述した照合が成立しなかったとしても、ジェスチャー学習テーブルＴ１に登録されているジェスチャーの特徴量と、ジェスチャー認識部１１１から入力される運転者のジェスチャーの特徴量との差が小さいときには、その入力されたジェスチャーの特徴量をシーン推定部１４０から入力されるシーンに関連するジェスチャーの特徴量としてジェスチャー学習テーブルＴ１に追加登録するようにしている。これは、ジェスチャー認識部１１１から入力される運転者のジェスチャーの特徴量との差が小さいときには、ジェスチャー学習テーブルＴ１に登録されているジェスチャーと運転者自身が意図するジェスチャーとが一致しているにも関わらず、運転者個人ごとのジェスチャーの動作及び手形状のばらつきにより、上述した照合が適正に行われない可能性があるためである。そして、こうしてジェスチャー学習テーブルＴ１へのジェスチャーの特徴量の追加登録が行われて以降は、上述した運転者個人ごとのジェスチャーの動作及び手形状のばらつきが加味されたかたちでジェスチャーの照合が行われるようになる。

また、機器制御部１５０は、上述した照合によりジェスチャーが確定したときには、図４に例示するような機器制御テーブルＴ２を参照しつつ、ルームランプ１６２や空調装置１６１といった車載機器にそれぞれ該当する制御命令を送る。

図４に示す機器制御テーブルＴ２では、第１の手形状に対応する制御対象機器として空調装置１６１が設定されているとともに、第２の手形状に対応する制御対象機器としてルームランプ１６２が設定されている。また、これら第１及び第２の手形状の各々の手の向きに対応して制御対象機器において実行させる制御の命令が設定されている。

具体的には、第１の手形状が「上向き」であるときには、「温度を上げる」という空調装置１６１の制御が対応付けられる一方で、第１の手形状が「下向き」であるときには、「温度を下げる」という空調装置１６１の制御が対応付けられている。すなわち、第１の手形状を上下に向けることにより、空調装置１６１の温度を制御することが可能とされている。また、第１の手形状が「左向き」であるときには、「風向きを左にする」という空調装置１６１の制御が対応付けられる一方で、第１の手形状が「右向き」であるときには、「風向きを右にする」という空調装置１６１の制御が対応付けられている。すなわち、第１の手形状を左右に向けることにより、同方向に一致させるかたちで空調装置１６１の風向きを制御することが可能とされている。

また同様に、第２の手形状が「上向き」であるときには、「光強度を上げる」というルームランプ１６２の制御が対応付けられる一方で、第２の手形状が「下向き」であるときには、「光強度を下げる」というルームランプ１６２の制御が対応付けられている。すなわち、第２の手形状を上下に向けることにより、ルームランプ１６２の光強度を制御することが可能とされている。また、第２の手形状が「左向き」であるときには、「光の照射方向を左にする」というルームランプ１６２の制御が対応付けられる一方で、第２の手形状が「右向き」であるときには、「光の照射方向を右にする」というルームランプ１６２の制御が対応付けられている。すなわち、第２の手形状を左右に向けることにより、同方向に一致させるかたちでルームランプ１６２の光の照射方向を制御することが可能とされている。

次に、車載機器制御装置が実行する車載機器制御についてその具体的な制御手順を説明する。ここで、車載機器制御装置は、車両１００のイグニッションスイッチがオンとなっている条件で、図５に示す車載機器制御を実行する。

車載機器制御装置はまず、運転者の上半身の映像を室内カメラ１１０を通じて撮影する（ステップＳ１０）。そして、車載機器制御装置は、先のステップＳ１０において撮影した映像に対してジェスチャー認識部１１１を通じて画像認識処理を行うことにより、運転者個人に適応した骨格モデルを生成する（ステップＳ１１）。

続いて、車載機器制御装置は、先のステップＳ１１において生成した骨格モデルをベースに、ジェスチャー認識部１１１を通じて運転者の動作及び手形状といった運転者のジェスチャーを認識する（ステップＳ１２）。

また、車載機器制御装置は、視線認識部１１２を通じて認識される運転者の視線、会話認識部１２１を通じて抽出される運転者の会話のコンテキスト、外気温センサ１３０を通じて取得される外気温を用いて、運転者のおかれたシーンをシーン推定部１４０を通じて推定する（ステップＳ１３）。

そして次に、車載機器制御装置は、先のステップＳ１２において認識したジェスチャーと、先のステップＳ１３において推定したシーンとの関連付けがジェスチャー学習テーブルＴ１に登録されているか否かを機器制御部１５０を通じて判定する（ステップＳ１４）。

そして、車載機器制御装置は、ジェスチャーとシーンとの関連付けがジェスチャー学習テーブルＴ１に登録されているときには（ステップＳ１４＝ＹＥＳ）、そのジェスチャーに対応する車載機器の制御命令を機器制御テーブルＴ２から取得する。また、車載機器制御装置は、対応する制御命令を機器制御部１５０から車載機器に出力した上で（ステップＳ１５）、その処理をステップＳ１２に戻す。

一方、車載機器制御装置は、ジェスチャーとシーンとの関連付けがジェスチャー学習テーブルＴ１に登録されていないときには（ステップＳ１４＝ＮＯ）、先のステップＳ１２において認識したジェスチャーの特徴量とジェスチャー学習テーブルＴ１に登録されているジェスチャーの特徴量との差が所定未満となる程度に小さいか否かを機器制御部１５０を通じて判定する（ステップＳ１６）。そして、車載機器制御装置は、これらジェスチャーの特徴量同士の差が所定未満となる程度に小さいと判定したときには（ステップＳ１６＝ＹＥＳ）、先のステップＳ１２において認識したジェスチャーの特徴量を先のステップＳ１３において推定したシーンに関連するジェスチャーの特徴量として機器制御部１５０を通じてジェスチャー学習テーブルＴ１に追加登録した上で（ステップＳ１７）、その処理をステップＳ１２に戻す。また、車載機器制御装置は、これらジェスチャーの特徴量同士の差が所定以上である程度に大きいと判定したときには（ステップＳ１６＝ＮＯ）、ノイズや誤り等、明らかに意図しないジェスチャーであると判断する。そして、上述したステップＳ１７におけるジェスチャー学習テーブルＴ１へのジェスチャーの特徴量の追加登録を行うことなく、その処理をステップＳ１２に戻す。

次に、本実施の形態の車載機器制御装置の作用について説明する。
一般に、車両１００の走行時には、車載機器の制御に対応付けて予め登録されているジェスチャーが運転者自身の意図とは関係なく偶然行われる可能性がある。この場合、ジェスチャーが誤認識されて車載機器の制御が行われてしまうことにもなりかねない。

この点、本実施の形態では、上述のように運転者自身の意図とは関係なく運転者のジェスチャーが予め登録されているジェスチャーと偶然一致するような場合であっても、該ジェスチャーがそのときの運転者のおかれたシーンに対してジェスチャー学習テーブルＴ１にさらに関連付けされたものでなければ、対応する車載機器には制御命令が発せられない。すなわち、ジェスチャーだけでなくそのときのシーンも併せて照合されることにより、ジェスチャーに対する認識の確かさ、すなわち認識精度が高められており、これにより信頼性の高い車載機器の制御が実現されている。

特に、本実施の形態では、ジェスチャー学習テーブルＴ１に登録されているジェスチャーの特徴量と、ジェスチャー認識部１１１から入力される運転者のジェスチャーの特徴量との差が小さいときには、その入力されたジェスチャーの特徴量がシーン推定部１４０から入力されるシーンに関連するジェスチャーの特徴量としてジェスチャー学習テーブルＴ１に追加登録される。これにより、運転者個人ごとのジェスチャーの動作及び手形状にばらつきがあったとしても、ジェスチャー学習テーブルＴ１には、運転者個人ごとのジェスチャーの動作及び手形状のばらつきが反映されるかたちで車載機器の制御に対応するジェスチャーの特徴量が運転者のおかれたシーンと関連付けされて追加登録されていく。そして以降は、こうしたジェスチャー学習テーブルＴ１が参照されることにより上述したばらつきが吸収され、運転者の意図する制御が実行されやすくなる。

以上説明したように、本実施の形態によれば、以下に示す効果を得ることができる。
（１）機器制御部１５０は、ジェスチャー認識部１１１を通じて認識される運転者によるジェスチャーとシーン推定部１４０を通じて推定される運転者のおかれたシーンとがジェスチャー学習テーブルＴ１に関連付けされてデータ登録されていることを条件に、該ジェスチャーに対応付けられた制御命令を対応する車載機器へ発するようにしている。これにより、運転者が車載機器を制御すべくジェスチャーを行ったとしても、該ジェスチャーがそのときのシーンに対してジェスチャー学習テーブルＴ１に関連付けされたものでなければ、対応する車載機器には制御命令が発せられない。すなわち、ジェスチャーだけでなく、そのときの運転者のおかれたシーンも併せて照合されることにより、ジェスチャーに対する認識の確かさ、すなわち認識精度が高められるようになる。そして、ジェスチャーの認識精度が高められることにより、より信頼性の高い車載機器の制御を実現することが可能となる。

（２）機器制御部１５０は、ジェスチャー学習テーブルＴ１に登録されているジェスチャーの特徴量と、ジェスチャー認識部１１１から入力される運転者のジェスチャーの特徴量との差が小さいときには、その入力されたジェスチャーの特徴量をシーン推定部１４０から入力されるシーンに関連するジェスチャーの特徴量としてジェスチャー学習テーブルＴ１に追加登録するようにしている。これにより、ジェスチャー学習テーブルＴ１には、運転者個人ごとのジェスチャーの動作及び手形状のばらつきが反映されるかたちでジェスチャーとシーンとの関連付けがなされることにより、運転者の意図する制御が実行されやすくなる。

なお、上記実施の形態は、以下のような形態にて実施することもできる。
・上記実施の形態においては、ジェスチャーとシーンとの関連付けをジェスチャー学習テーブルＴ１にて管理するとともに、ジェスチャーと対応する車載機器への制御命令との関連付けを機器制御テーブルＴ２にて管理するようにした。これに代えて、これらジェスチャー、シーン、及び車載機器への制御命令の関連付けを共通のテーブルにて一括管理するようにしてもよい。

・上記実施の形態においては、車室内の温度を反映した客観的なデータを取得する温度センサとして、外気温センサ１３０を用いるようにしたが、要は気温を検出することのできる温度センサであればよく、こうした外気温センサ１３０に代えて、車室内の温度を検出する室内温度センサを用いるようにしてもよい。

・上記実施の形態においては、運転者によるジェスチャーの認識に用いる映像として室内カメラ１１０を通じて取得される運転者の距離画像を用いるようにした。ただし、運転者による動作の特徴量及び手形状の特徴量を抽出することが可能であれば、運転者によるジェスチャーの認識に用いる映像として同様に室内カメラを通じて取得される運転者の二次元画像を用いるようにしてもよい。

・上記実施の形態においては、運転者のおかれたシーンの推定は、視線認識部１１２による運転者の視線の認識結果、及び会話認識部１２１による運転者の会話内容の認識結果、及び外気温センサ１３０による外気温等の気温の検出結果に基づいて行うようにしたが、同推定をこれらのうち少なくとも一つに基づいて行うようにしてもよい。

・上記実施の形態においては、運転者によるジェスチャーを通じた制御対象の車載機器として、空調装置１６１及びルームランプ１６２を例に挙げて説明した。これに限らず、例えば車室内に設けられるオーディオシステムやテレビ等、その他の車載機器を制御対象として上述したジェスチャーによる制御を採用することも可能である。

１００…車両、１１０…室内カメラ、１１１…ジェスチャー認識部、１１２…視線認識部、１１３…ヘッドアップディスプレイ（ＨＵＤ）、１２０…マイク、１２１…会話認識部、１３０…外気温センサ、１４０…シーン推定部、１５０…機器制御部、１６１…空調装置、１６２…ルームランプ、Ｔ１…ジェスチャー学習テーブル、Ｔ２…機器制御テーブル。

Claims (1)

1. 車両の運転者によるジェスチャーを認識し、該認識結果に応じて車載機器に制御命令を発する車載機器制御装置であって、
   室内カメラによる運転者の撮影画像に基づいて運転者によるジェスチャーを認識するジェスチャー認識部と、
   室内カメラによる運転者の撮影画像に基づく運転者の視線の認識結果、及びマイクを介しての運転者の会話内容の認識結果、及び温度センサを介しての気温の検出結果の少なくとも一つに基づいて運転者のおかれたシーンを推定するシーン推定部と、
   車両の運転者によるジェスチャーに対応付けられた車載機器への制御命令が運転者のおかれるシーンにさらに関連付けされてデータ登録されたテーブルを有し、前記ジェスチャー認識部を通じて認識されるジェスチャーと前記シーン推定部を通じて推定されるシーンとが前記テーブルに関連付けされてデータ登録されていることを条件に、当該ジェスチャーに対応付けられた制御命令を対応する車載機器へ発する機器制御部とを備える
   ことを特徴とする車載機器制御装置。