JP2010009484A - 車載機器制御装置および車載機器制御方法 - Google Patents

Abstract

【課題】簡単なインターフェースで車載機器を制御できる車載機器制御装置を提供する。
【解決手段】ドライバを撮影するカメラと、車載機器の制御を行うか否かを問い合わせる第１のメッセージ、および、車載機器の制御を行うべきか否かの決定を支援する第２のメッセージを記憶したメッセージ記憶部と、第１のメッセージを出力するメッセージ出力部と、第１のメッセージを出力した後の一定の期間におけるカメラの映像を解析し、ドライバの顔が縦に動く肯定のリアクション、またはドライバの顔が横に動く否定のリアクションを検出するリアクション検出部と、リアクション検出部にて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信部とを備え、肯定のリアクションおよび否定のリアクションのいずれも検出されなかったときに、メッセージ出力部は、第２のメッセージを出力する。
【選択図】図１

Description

本発明は、エアコン、オーディオ等の車載機器を制御するための制御装置に関し、特に、簡単なインターフェースで制御可能な車載機器制御装置に関する。

車両内には、エアコン、オーディオ等の様々な車載装置があり、従来から、これらの車載装置を車両の運転中に安全に操作できるようにするための制御装置が提案されている。

特許文献１は、発話内容を音声認識して車載機器を制御する装置に関する発明である。特許文献１に記載された装置は、発話内容に対する認識率を高めるために、制御対象の機器に対応させて専用の語彙が登録されている複数の音声認識辞書を有している。そして、発話者が視聴している情報のソース（例えば、運転席であればナビゲーションユニット、助手席であればラジオ受信機、リア席であればＤＶＤプレーヤ等）に対応した専用の音声認識辞書を選択し、選択した辞書を用いて音声認識を行なうことによって発話内容に対する認識率を高めている。
特開２００７−２８６１３６号公報

上記した音声を用いたインターフェースは、ドライバがハンドルから手を離さずに安全に車載機器を操作できるというメリットがあるが、実際問題としては、発話内容を認識するのは容易ではない。特許文献１の発明のように、音声認識辞書を用意しても、ドライバが辞書にある語彙を用いて指示を行なうとは限らない。逆に、辞書にある語彙の範囲内で指示しなくてはならないとすれば、辞書に登録された語彙を覚えておく必要があり、運転中のドライバに過度な負担を強いることになる。

また、車両内には、他の乗員の話し声、オーディオの音楽、あるいは、外部から入ってくる騒音などのノイズがあるため、音声認識によって精度良く発話内容を分析することは困難であった。

本発明は、簡単なインターフェースで車載機器を制御できる車載機器制御装置を提供することを目的とする。

本発明の車載機器制御装置は、車載機器に制御信号を送信して車載機器の制御を行う車載機器制御装置であって、ドライバを撮影するカメラと、車載機器の制御を行うか否かを問い合わせる第１のメッセージ、および、車載機器の制御を行うべきか否かの決定を支援する第２のメッセージを記憶したメッセージ記憶部と、前記メッセージ記憶部から第１のメッセージを読み出し、読み出した第１のメッセージを出力するメッセージ出力部と、前記メッセージ出力部にて第１のメッセージを出力した後の一定の期間における前記カメラの映像を解析し、ドライバの顔が縦に動く肯定のリアクション、またはドライバの顔が横に動く否定のリアクションを検出するリアクション検出部と、前記リアクション検出部にて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信部とを備え、前記メッセージ出力部は、前記リアクション検出部にて、肯定のリアクションおよび否定のリアクションのいずれも検出されなかったときに、前記メッセージ記憶部から前記第２のメッセージを読み出し、読み出した第２のメッセージを出力する。

このようにドライバに対して車載機器の制御を行うか否かを問い合わせ、これに対するドライバの顔の動き（リアクション）によって車載機器への制御を行うか否かの決定を受け付けるので、ドライバは質問に対して頷くか、あるいは首を振ればよく、簡単かつ自然なインターフェースによって車載機器の制御を行うことができる。また、運転中には、車載機器の制御を行うか否かドライバが即断できない場合もあると考えられる。本発明の構成によれば、第１のメッセージを出力した後の一定の期間に肯定または否定のリアクションが検出されない場合には、車載機器の制御を行うべきか否かの決定を支援する第２のメッセージを出力するので、ドライバは、車載機器を制御するか否かを判断しやすくなる。

本発明の別の態様の車載機器制御装置は、車載機器に制御信号を送信して車載機器の制御を行う車載機器制御装置であって、ドライバを撮影するカメラと、肯定のリアクション、否定のリアクション、迷いのリアクションのパターンを記憶したリアクションパターン記憶部と、車載機器の制御を行うか否かを問い合わせる第１のメッセージ、および車載機器の制御を行うべきか否かの決定を支援する第２のメッセージを記憶したメッセージ記憶部と、前記メッセージ記憶部から第１のメッセージを読み出し、読み出した第１のメッセージを出力するメッセージ出力部と、前記メッセージ出力部にて第１のメッセージを出力した後の一定の期間における前記カメラの映像と、前記リアクションパターン記憶部に記憶されたリアクションパターンとを比較し、肯定のリアクション、否定のリアクション、または迷いのリアクションを検出するリアクション検出部と、前記リアクション検出部にて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信部とを備え、前記メッセージ出力部は、前記リアクション検出部にて、迷いのリアクションが検出されたときに、前記メッセージ記憶部から前記第２のメッセージを読み出し、読み出した第２のメッセージを出力し、前記リアクション検出部にて、肯定のリアクション、否定のリアクション、および迷いのリアクションのいずれも検出されなかったときに、前記第１のメッセージを再度出力する。

このようにドライバに対して車載機器の制御を行うか否かを問い合わせ、これに対するドライバのリアクションに基づいて車載機器への制御を行うか否かの決定を受け付けるので、ドライバは質問に対して頷くか、あるいは首を振ればよく、簡単かつ自然なインターフェースによって車載機器の制御を行うことができる。運転中には、車載機器の制御を行うか否かドライバが即断できない場合もあると考えられる。本発明では、迷いのリアクションを検出した場合には、車載機器の制御を行うべきか否かの決定を支援する第２のメッセージを出力するので、ドライバは、車載機器を制御するか否かを判断しやすくなる。また、本発明では、第１のメッセージを出力した後の一定の期間に肯定、否定または迷いのいずれのリアクションも検出されない場合には、第１のメッセージを再度出力する。このように、制御を行なうか否か迷っている場合とメッセージを聞いていなかった場合とで処理を分けることにより、きめ細かい制御が可能となる。

本発明の車載機器制御装置は、前記第２のメッセージとして、前記第１のメッセージの問合せに係る制御より影響の小さい制御を行うか否かを問い合わせるメッセージを用いてもよい。

ドライバが制御を行なうか否か迷う場合には、現状を維持するか、何らかの影響のある制御を行うかの間でどちらがよいか決めかねていると考えられる。この場合に、第１のメッセージに係る制御より影響の小さい制御、すなわち、現状維持と第１のメッセージに係る制御との中間の制御を行なうか否かの問合せを第２のメッセージとして出力する。これにより、「迷う」というリアクションに隠された真の要求に応じた問合せを行い、ドライバは制御を行なうか否かを決定しやすくなる。ここで、メッセージの一例を示すと、第１のメッセージとして「エアコンの温度を上げますか？」という問合せを行ったのに対し、迷いのリアクションを検出した場合には、「エアコンの温度を少し上げますか？」という第２のメッセージを出力する。

本発明の車載機器制御装置は、前記第２のメッセージとして、前記車載機器の現在のステータスを示す情報を含むメッセージを用いてもよい。

現在のステータスを第２のメッセージとして出力することにより、車載機器の現在のステータスを判断材料として車載機器の制御を行なうか否かを判断することができる。例えば、第１のメッセージとして「エアコンの温度を上げますか？」という問合せを行ったのに対し、迷いのリアクションを検出した場合には、「現在２４℃ですが、エアコンの温度を上げますか？」という第２のメッセージを出力する。

本発明の車載機器制御装置は、前記第２のメッセージとして、レコメンデーションの情報を含むメッセージを用いてもよい。

ドライバが制御を行なうか否か迷う場合には、制御を行っても行わなくてもどちらでもよい場合があるが、本発明の構成によればレコメンデーション情報を出力するので、ドライバはレコメンデーション情報に従って判断することができる。例えば、第１のメッセージとして「エアコンを内気空調に切り替えますか？」という問合せを行ったのに対し、迷いのリアクションを検出した場合に、「まもなくトンネルがありますので内気空調がオススメです。切り替えますか？」という第２のメッセージを出力する。

本発明の車載機器制御装置は、前記カメラにて撮影した映像からドライバの視線を検出する視線検出部と、前記視線検出部にて検出した視線に基づいて、ドライバが見た車載機器を特定する車載機器特定部とを備え、前記メッセージ出力部は、前記車載機器特定部にて特定された車載機器の制御を行うか否かを問い合せる第１のメッセージを出力してもよい。

このようにドライバの視線に基づいて制御を行なうか否かの問合せを行う対象の車載機器を決定するので、ハンドルから手を離さずに、所望の車載機器の制御を行なうことができる。

本発明の車載機器制御装置において、前記メッセージ出力部は、前記カメラにて撮影した映像に基づいてドライバが車両前方を向いているか否かを判断し、ドライバが車両前方を向いているときに、前記第１のメッセージまたは前記第２のメッセージを出力してもよい。

ドライバが車両の前方を向いているときにメッセージを出力することにより、ドライバのリアクションを適切に検出することができる。

本発明の車載機器制御装置は、車両の走行状態に基づいてドライバのワークロードを算出するワークロード算出部を備え、前記メッセージ出力部は、前記ワークロード算出部にて算出されたワークロードがあらかじめ定められた閾値より小さい場合に、前記第１のメッセージまたは前記第２のメッセージを出力してもよい。

このようにドライバのワークロードが小さいときにメッセージを出力することにより、ドライバは適切にリアクションをとることができる。ワークロード算出部は、例えば、車速、ウィンカーのオン／オフを示すデータ、または、ナビゲーション装置により検知した車両の現在位置等に基づいてワークロードを計算することとしてもよい。

本発明の車載機器制御装置は、前記リアクションパターン記憶部には、ドライバを特定する識別子に関連付けて、そのドライバのリアクションパターンのデータが記憶されており、ドライバを識別するドライバ識別部を有し、前記リアクション検出部は、前記ドライバ識別部にて求めたドライバに対応するリアクションパターンのデータを読み出し、読み出したリアクションパターンのデータを用いてドライバのリアクションを検出してもよい。

この構成により、ドライバに対応した異なるリアクションパターンを用いてリアクションを検出するので、精度良くリアクションを検出することができる。なお、ドライバ識別部は、例えば、カメラにて撮影したドライバの顔の映像に対して認証処理を行うことによってドライバを特定してもよい。また、運転時のシートの調整位置によってドライバを識別することとしてもよい。

本発明の車載機器制御装置は、前記カメラにて撮影したドライバのリアクションの映像を用いて、前記リアクションパターン記憶部に記憶されたリアクションパターンの学習を行なうリアクション学習部を備えてもよい。

この構成により、ドライバに対応したリアクションパターンを適切に生成することができる。

本発明の車載機器制御方法は、車載機器に制御信号を送信して車載機器の制御を行う方法であって、車載機器の制御を行うか否かを問い合わせる第１のメッセージ、および、車載機器の制御を行うべきか否かの決定を支援する第２のメッセージを記憶したメッセージ記憶部を準備するステップと、ドライバをカメラで撮影するステップと、前記メッセージ記憶部から第１のメッセージを読み出し、読み出した第１のメッセージを出力する第１メッセージ出力ステップと、前記第１メッセージ出力ステップにて第１のメッセージを出力した後の一定の期間に撮影された映像を解析し、ドライバの顔が縦に動く肯定のリアクション、またはドライバの顔が横に動く否定のリアクションを検出するリアクション検出ステップと、前記リアクション検出ステップにて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信ステップと、前記リアクション検出ステップにて肯定のリアクションおよび否定のリアクションのいずれも検出されなかったときに、前記メッセージ記憶部から前記第２のメッセージを読み出し、読み出した第２のメッセージを出力する第２メッセージ出力ステップとを備える。

この構成により、上記した車載機器制御装置と同様に、簡単かつ自然なインターフェースによって車載機器の制御を行うことができる。また、ドライバのリアクションが検出されないときには、車載機器の制御を行うべきか否かの決定を支援する第２のメッセージを出力するので、ドライバは、車載機器を制御するか否かを判断しやすくなる。なお、上記した車載機器制御装置の発明の各種の構成を本発明の車載機器制御方法に適用することが可能である。

本発明のプログラムは、車載機器に制御信号を送信して車載機器の制御を行うためのプログラムであって、コンピュータに、メッセージを記憶した記憶部から車載機器の制御を行うか否かを問い合わせる第１のメッセージを読み出し、読み出した第１のメッセージを出力する第１メッセージ出力ステップと、前記第１メッセージ出力ステップにて第１のメッセージを出力した後の一定の期間にカメラにて撮影されたドライバの映像を解析し、ドライバの顔が縦に動く肯定のリアクション、またはドライバの顔が横に動く否定のリアクションを検出するリアクション検出ステップと、前記リアクション検出ステップにて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信ステップと、前記リアクション検出ステップにて肯定のリアクションおよび否定のリアクションのいずれも検出されなかったときに、前記記憶部から車載機器の制御を行うべきか否かの決定を支援する第２のメッセージを読み出し、読み出した第２のメッセージを出力する第２メッセージ出力ステップとを実行させる。

この構成により、上記した車載機器制御装置と同様に、簡単かつ自然なインターフェースによって車載機器の制御を行うことができる。また、ドライバのリアクションが検出されないときには、車載機器の制御を行うべきか否かの決定を支援する第２のメッセージを出力するので、ドライバは、車載機器を制御するか否かを判断しやすくなる。なお、上記した車載機器制御装置の発明の各種の構成を本発明のプログラムに適用することが可能である。

本発明によれば、頷き又は首振りというリアクションに基づいて車載機器への制御を行うか否かを決定するので、簡単かつ自然なインターフェースによって車載機器の制御を行うことができるとともに、ドライバのリアクションが検出されないときには、車載機器の制御を行うべきか否かの決定を支援するメッセージを出力することにより、ドライバの判断を助けることができる。

以下、本発明の実施の形態の車載機器制御装置の構成について説明する。
（第１の実施の形態）
図１は、第１の実施の形態の車載機器制御装置１の構成を示す図である。第１の実施の形態の車載機器制御装置１は、ナビゲーション装置４２、オーディオ４４、エアコン４６、電話４６等の車載機器４０に接続されている。車載機器制御装置１は、車載機器４０に制御信号を送信し、車載機器４０の制御を行なう。

車載機器制御装置１は、ドライバを撮影するカメラ１０と、カメラ１０にて撮影した映像に基づいて車載機器４０を制御するか否かの判断処理等を行なう制御部１２と、音声メッセージのデータを記憶したメッセージ記憶部２８と、音声メッセージを出力するスピーカ３０と、車載機器４０に対して制御信号を送信する制御信号送信部２６とを有している。

制御部１２は、視線検出部１４と、車載機器特定部１６と、ドライバ識別部１８と、リアクション検出部２０と、リアクション学習部２２と、メッセージ出力部２４と、制御信号送信部２６とを有している。制御部１２が有するこれらの機能は、図示しないＲＯＭ等に記憶されたプログラムを実行することによって実現される。制御部１２の機能を実現するプログラムも本発明の範囲に含まれる。

視線検出部１４は、カメラ１０にて撮影した映像からドライバの頭部の位置およびドライバの眼球の動きを検出してドライバの視線を検出する。

車載機器特定部１６は、視線検出部１４にて求めたドライバの視線上にある車載機器４０を求め、求めた車載機器４０をドライバが見た車載機器４０として特定する。なお、車載機器特定部１６は、ドライバの視線が車載機器４０に向けられた時間が一定時間以上であるとき、あるいはドライバの視線が車載機器４０に向けられた回数が所定の回数以上であるときに車載機器４０を特定する構成としてもよい。これにより、たまたま車載機器４０の方向に視線が向けられた場合に、その車載機器４０をドライバが制御を望んでいる車載機器として特定しないようにし、ドライバの意図にそぐわない問合せの動作を回避できる。

ドライバ識別部１８は、車両を運転しているドライバを識別する機能を有する。ドライバ識別部１８は、カメラ１０にて撮影されたドライバの顔画像を予め登録されたドライバの基準画像と比較してドライバを特定する。なお、ドライバを識別する手法は、カメラ１０の映像を使う方法に限られない。例えば、シートの調整量を検知するセンサからシートの調整量を示すデータを取得し、取得したデータとあらかじめ記憶しておいた各ドライバ特有のシートの調整量とに基づいて、ドライバを特定してもよい。また、ドライバを特定するＩＤの入力を受け付け、入力されたＩＤにてドライバを特定してもよい。

リアクション検出部２０は、ドライバの顔の動きとリアクションパターン記憶部３２に記憶されたリアクションパターンとを比較してドライバのリアクションを求める。

図２は、リアクションパターン記憶部３２に記憶されたリアクションパターンの例を示す図である。リアクションパターン記憶部３２には、肯定のリアクションパターン、否定のリアクションパターン、迷いのリアクションパターンを記憶している。リアクションパターンは、縦方向（図３（ａ）参照）、横方向（図３（ｂ）参照）、傾き方向（図３（ｃ）参照）への顔および頭部の振り角の変位によって規定したパターンである。

図２を参照して具体例について説明する前に、本実施の形態における振り角の求め方について説明する。本実施の形態では、画像中に含まれる顔部品（目、鼻、口等）の位置の動きに基づいて顔および頭部の振り角を求める。また、本実施の形態では、リアクションの検出精度を高めるために、顔部品から求めた振り角を時間方向に加重平均することによってノイズを低減する処理を行う。具体的には、一定範囲内の過去における振り角の値Ｄ（ｔ−ｎ）から現時点の振り角の値Ｄ（ｔ）までの値の加重平均値Ｄ_ａｖ（ｔ）を求める。具体的には、例えば、下記の式（１）に示すように、新しいデータの重みを古いデータより重くして重み付けを行うことにより、加重平均値Ｄ_ａｖ（ｔ）を求める。
Ｄ_ａｖ（ｔ）＝（ｋ_１×Ｄ（ｔ−ｎ）＋ｋ_２×Ｄ（ｔ−ｎ＋１）＋・・・＋ｋ_ｎ×Ｄ（ｔ））／ｎ （ただし、ｋ_１＜ｋ_２＜・・・＜ｋ_ｎ） ・・・（１）

図２に示すように、肯定のリアクションパターンは、顔・頭部は一定時間内（この例では１秒間）に下方向に向いてから上方向に戻り、かつ、横方向と傾き方向に大きい変化がない。否定のリアクションパターンは、顔・頭部は一定時間内（この例では1秒間）に左（又は右）方向に向いてから右（又は左）方向に戻り、かつ、縦方向と傾き方向に大きい変化がない。迷いのリアクションパターンは、縦方向および横方向の動きが小さく、ゆっくりであり、かつ、傾き方向に有意の動きを有している。

なお、リアクションパターンには、個人差がある。図２では、肯定、否定、迷いのリアクションパターンを一つずつしか示していないが、リアクションパターン記憶部３２は、各ドライバに対応したリアクションパターンを記憶している。ドライバごとのリアクションパターンは、例えば、以下のようにして生成する。まず、リアクションパターン記憶部３２に、初期パターンとして肯定、否定、迷いの一般的なリアクションパターンを登録しておく。リアクション学習部２２が、各ドライバの肯定、否定、迷いのリアクションを教師信号として初期パターンから学習を行なうことによって、各ドライバに対応したリアクションパターンを生成する。

次に、リアクション検出部２０が行なう処理について説明する。リアクション検出部２０は、ドライバ識別部１８にて求めたドライバの識別データに対応するリアクションパターンをリアクションパターン記憶部３２から読み出す。次に、リアクション検出部２０は、カメラ１０にて撮影したドライバの顔および頭部の縦、横、傾き方向の振り角の変位が読み出したリアクションパターンに対応するか否かを判断する。ここで、ドライバの顔のおよび頭部の縦、横、傾き方向の振り角の変位がリアクションパターンに対応するとは、両者が完全に一致することを意味するのではなく、両者の類似度が所定の閾値より高いことを意味する。

類似度は、例えば、差分絶対値和の大きさによって定量化することができる。すなわち、顔および頭部方向の移動ベクトルパターンとリアクションパターン記憶部３２との差分（傾きと角度）を求め、差分によって類似度を表わす。差分が小さいほど、類似度は高くなる。また、差分絶対値和を求める方法のほかにも、ＤＰ法を用いて類似度を求めることも可能である。ＤＰ法は、音声や文字（サイン）などの認証技術として知られている方法である。リアクション検出部２０は、リアクションパターン記憶部３２に記憶されたパターンとのマッチングにより、肯定のリアクション、否定のリアクション、迷いのリアクションの３種類のリアクションを検出することができる。

メッセージ出力部２４は、車載機器４０の制御を行なうか否かを問い合わせるためのメッセージをメッセージ記憶部２８から読み出し、読み出したメッセージをスピーカ３０から出力する。

図４は、メッセージ記憶部２８に記憶されたメッセージの例を示す図である。メッセージ記憶部２８には、車載機器、ステータス、出力順序、メッセージＩＤ、メッセージ内容のデータが記憶されている。車載機器、ステータスは、出力すべきメッセージを選択するための条件であり、出力順序は一の条件に該当する複数のメッセージの候補がある場合のメッセージ出力の順序である。メッセージＩＤは、メッセージ内容を特定する識別子であり、メッセージＩＤとメッセージ内容とは対応している。

図４に示す例では、例えば、制御対象の車載機器がエアコン、ステータスが「電源：オン、設定温度：２３℃以下」である場合には、最初に出力するメッセージがメッセージＡ００１、２番目に出力するメッセージがメッセージＡ００２である。ここで、出力順序は、請求項に記載した第１のメッセージと第２のメッセージとを規定する情報である。この例では、メッセージＡ００１が第１のメッセージ、メッセージＡ００２が第２のメッセージである。

本実施の形態においては、第１のメッセージと第２のメッセージは、同種の制御内容に関するメッセージである。ただし、第２のメッセージの制御内容は、第１のメッセージの制御内容より、制御による影響が小さい。すなわち、第２のメッセージに係る制御内容によって実現される状態は、第１のメッセージの制御内容によって実現される内容より、現在のステータスに近い状態である。図４に示す例では、メッセージＡ００１は、「温度を上げますか？」という問合せメッセージであり、メッセージＡ００２は、「温度を少し上げますか？」という問合せメッセージである。メッセージＡ００１より、メッセージＡ００２の方が、制御を行ったときの影響が小さい。

メッセージ出力部２４は、車載機器特定部１６にて特定された車載機器４０、車載機器４０のステータス、およびドライバのリアクションに応じて、メッセージ記憶部２８からメッセージを読み出し、読み出したメッセージをスピーカ３０に渡す。スピーカ３０は、渡されたメッセージのデータを音声として出力する。

制御信号送信部２６は、リアクション検出部２０にて肯定のリアクションが検出された場合に、メッセージ出力部２４にて出力したメッセージに係る制御を行なうように車載機器４０に指示する制御信号を生成する。制御信号生成部２６は、生成した制御信号を通信インターフェース３４を通じて該当の車載機器４０に送信する。

図５は、第１の実施の形態の車載機器制御装置１の動作を示すフローチャートである。図５を参照して、車載機器制御装置１の動作について説明する。

車載機器制御装置１は、まず、ドライバ識別部１８にてドライバを識別する（Ｓ１０）。具体的には、ドライバ識別部１８は、カメラ１０にてドライバを撮影し、撮影したドライバの顔画像とあらかじめ記憶しているドライバの基準画像とのマッチングを行なことにより、ドライバを識別する。この処理は、リアクション検出部２０にて用いるリアクションパターンを決定するための準備である。

車載機器制御装置１は、カメラ１０にて撮影したドライバの映像からドライバの視線を検出し（Ｓ１２）、ドライバの視線上にある車載機器４０を特定する（Ｓ１４）。次に、車載機器制御装置１は、車載機器４０のステータスを取得する（Ｓ１６）。車載機器制御装置１は、車載機器４０とそのステータスに対応するメッセージ（第１のメッセージ）を、メッセージ記憶部２８から読み出し、読み出したメッセージを音声出力する（Ｓ１８）。例えば、車載機器特定部１６にてエアコン４６が特定され、その時点でエアコン４６の電源がオンされていて設定温度が２３℃の場合には、図４に示すメッセージ記憶部２８からメッセージＡ００１を読み出して出力する。

なお、車載機器制御装置１は、ドライバが車両前方を見ているタイミングに問合せメッセージを音声出力することが安全運転の観点から望ましい。従って、メッセージ制御部１２は、カメラ１０の映像を監視して、ドライバが車両前方を見ているタイミングでメッセージデータをスピーカ３０に送信する。

続いて、車載機器制御装置１は、メッセージを音声出力した後のドライバのリアクションを検出する（Ｓ２０）。具体的には、メッセージを出力した後の一定の期間（例えば、５秒間）にわたって撮影されたドライバの映像と、ドライバ識別部１８にて求めたドライバに対応するリアクションパターンとを比較し、撮影されたドライバの映像が肯定、否定、迷いのいずれかのリアクションパターンに対応するか否かを判定する。

車載機器制御装置１は、リアクション検出部２０にてリアクションが検出されたか否かを判定する（Ｓ２２）。リアクションが検出されなかった場合（Ｓ２２でＮＯ）、車載機器制御装置１は、再度、同じメッセージを送信し（Ｓ２４）、その後、ドライバのリアクションを検出する処理に戻る（Ｓ２０）。

リアクションが検出された場合（Ｓ２２でＹＥＳ）、車載機器制御装置１は、リアクションの種類を判定する（Ｓ２６）。検出されたリアクションが否定のリアクションであった場合、車載機器制御装置１は、車載機器４０の制御を行なわないで処理を終了する。検出されたリアクションが肯定のリアクションであった場合、車載機器制御装置１は、出力したメッセージに対応する制御を行なうように指示する制御信号を車載機器４０に送信する（Ｓ２８）。

検出されたリアクションが迷いのリアクションであった場合、車載機器制御装置１は、第２のメッセージを出力済みであるか否かを判定する（Ｓ３０）。第２のメッセージを出力済みである場合には（Ｓ３０でＹＥＳ）、ドライバのリアクションを検出する処理に戻る（Ｓ２０）。第２のメッセージをまだ出力していない場合には（Ｓ３０でＮＯ）、第２のメッセージを音声出力し（Ｓ３２）、その後に、ドライバのリアクションを検出する処理に戻る（Ｓ２０）。以上、第１の実施の形態の車載機器制御装置１の構成および動作について説明した。

車載機器制御装置１は、車載機器４０を制御するか否かを問い合わせるメッセージを音声出力し、この問合せに対する応答を、頷きまたは首振りの動作によって受け付けるので、ドライバはハンドルから手を離さずに、前方を向いたまま車載機器４０を制御することができる。また、ドライバを撮影した映像からリアクションを検出するので、雑音があっても、ドライバの応答を適切に検出できる。

車載機器制御装置１は、迷いのリアクションを検出した場合には、第１のメッセージの問合せに係る制御より影響の小さい制御を行うか否かを問い合わせる第２のメッセージを音声出力する。車載機器４０の制御を行なうか否か迷っている状態は、現状を維持するか、何らかの影響のある制御を行うかのどちらがよいか決めかねていると考えられる。従って、第１のメッセージに係る制御より影響の小さい制御、すなわち、現状維持と第１のメッセージに係る制御との中間の制御を行なうか否かを問い合わせるメッセージは、「迷い」というリアクションに隠された真の要求に対応すると考えられる。このような第２のメッセージを出力することにより、ドライバは制御を行なうか否かを決定しやすくなる。

車載機器制御装置１は、メッセージに対するドライバのリアクションがなかった場合には、同じメッセージを出力するので（Ｓ２４）、ドライバがメッセージを聞いていなかった場合に、車載機器４０を制御するか否かを、再度問い合せることができる。なお、リアクションがなかった場合に同じメッセージを出力する回数に上限を設けてもよい。これにより、運転に集中しているときに、何度も同じメッセージが繰り返し出力されることを防止できる。

（第２の実施の形態）
次に、本発明の第２の実施の形態の車載機器制御装置について説明する。第２の実施の形態の車載機器制御装置の基本的な構成および動作は、第１の実施の形態の車載機器制御装置１（図１、図５参照）と同じであるが、第２の実施の形態の車載機器制御装置では、メッセージ記憶部２８に記憶されたメッセージが第１の実施の形態とは異なる。

図６は、第２の実施の形態の車載機器制御装置のメッセージ記憶部２８に記憶されたメッセージの例を示す図である。第２の実施の形態では、第２のメッセージとして、車載機器の現在のステータスを示す情報を含むメッセージが記憶されている。例えば、メッセージＡ００２は「現在○○度ですが、温度を上げますか？」であり、第１のメッセージＡ００１に対して現在の設定温度を示す情報が付加されている。

第２の実施の形態では、リアクション検出部２０にて迷いのリアクションを検出したときに、第２のメッセージとして、現在のステータスを示す情報を含むメッセージを出力することにより、ドライバは現在のステータスを判断材料として車載機器を制御するか否かを判断することができる。

（第３の実施の形態）
次に、本発明の第３の実施の形態の車載機器制御装置について説明する。第３の実施の形態の車載機器制御装置の基本的な構成および動作は、第１の実施の形態の車載機器制御装置１（図１、図５参照）と同じであるが、第３の実施の形態の車載機器制御装置では、メッセージ記憶部２８に記憶されたメッセージが第１の実施の形態とは異なる。

図７は、第３の実施の形態の車載機器制御装置のメッセージ記憶部２８に記憶されたメッセージの例を示す図である。第３の実施の形態では、一つの条件に関連付けて３つのメッセージが記憶されている。一例を示すと、例えば、制御対象の車載機器がエアコン、ステータスが「電源：オン、設定温度：２３℃以下」である場合には、最初に出力するメッセージがメッセージＡ００１、２番目に出力するメッセージがメッセージＡ００２、３番目に出力するメッセージがメッセージＡ００３である。メッセージＡ００２は、車載機器の現在のステータスを示す情報を含むメッセージであり、メッセージＡ００３は、第１のメッセージの問合せに係る制御より影響の小さい制御を行うか否かを問い合わせるメッセージである。

第３の実施の形態では、リアクション検出部２０にて迷いのリアクションを検出したときに、第２のメッセージとして、現在のステータスを示す情報を含むメッセージを出力することにより、ドライバは現在のステータスを判断材料として車載機器を制御するか否かを判断することができる。第２のメッセージに対して、さらに迷いのリアクションパターンを検出した場合には、第１のメッセージの問合せに係る制御より影響の小さい制御を行うか否かを問い合わせる第３のメッセージを音声出力する。これにより、ドライバは制御を行なうか否かを決定しやすくなる。なお、本実施の形態では、一つの条件に関連付けて３つのメッセージを記憶し、迷いのリアクションパターンの検出に応じて順次出力する例について説明したが、メッセージ数は３つに限られず、４つ以上であってもよい。

（第４の実施の形態）
図８は、第４の実施の形態の車載機器制御装置４の構成を示す図である。第４の実施の形態の車載機器制御装置４は、第１〜第３の実施の形態の車載機器制御装置より簡単な構成により、車載機器の制御を行なう構成を有している。第４の実施の形態の車載機器制御装置４は、リアクションパターン記憶部を有していない。リアクション検出部２０は、カメラ１０の映像を解析し、ドライバの顔の重心あるいは顔部品（目、鼻、口等）が縦に動いている場合には肯定のリアクションを検出し、顔の重心あるいは顔部品が横に動いている場合には否定のリアクションを検出する。

図９は、第４の実施の形態の車載機器制御装置４の動作を示す図である。第４の実施の形態の車載機器制御装置４の基本的な動作は、第１の実施の形態の車載機器制御装置１の動作（図５参照）と同じである。第４の実施の形態の車載機器制御装置４は、リアクション検出部２０にてリアクションを検出しなかった場合に（Ｓ２２でＮＯ）、第２のメッセージを出力済みか否か判定し（Ｓ３０）、出力済みでない場合には（Ｓ３０でＮＯ）、第２のメッセージを音声出力し（Ｓ３２）、リアクションを検出する処理に戻る（Ｓ２０）。第２のメッセージが出力済みの場合には（Ｓ３０でＹＥＳ）、リアクションを検出する処理に戻る（Ｓ２０）。以上、第４の実施の形態の車載機器制御装置４の構成および動作について説明した。

第４の実施の形態の車載機器制御装置４は、第１のメッセージに対してドライバのリアクションを検出しなかった場合（Ｓ２２でＮＯ）、車載機器の制御を行うべきか否かの決定を支援する第２のメッセージを出力するので（Ｓ３２）、ドライバは制御を行なうか否かを決定することができる。

なお、第４の実施の形態では、第１の実施の形態と異なり、ドライバが迷っている状態と、ドライバがメッセージを聞いていなかった状態との切り分けをしておらず、リアクションがない場合には第２のメッセージを出力する構成を採用している。ドライバが迷っているために肯定または否定のリアクションがない場合には、第２のメッセージを出力することにより、ドライバは制御を行なうか否かを決定しやすくなることは上述のとおりである。ドライバが第１のメッセージを聞いていなかったために肯定または否定のリアクションがない場合には、ドライバが第２のメッセージに初めて気がついたとしても、第２のメッセージの問い合わせ内容を理解でき、リアクションをとることができるので、不都合は生じない。

（第５の実施の形態）
図１０は、第５の実施の形態の車載機器制御装置５の構成を示す図である。第５の実施の形態の車載機器制御装置５の基本的な構成は、第１の実施の形態の車載機器制御装置１と同じであるが、第５の実施の形態では、ドライバのワークロードを算出するワークロード算出部３６を備えている点が異なる。また、第５の実施の形態では、メッセージ出力部２４は、ワークロード算出部３６にて算出したドライバのワークロードがあらかじめ定められた閾値より小さい場合にメッセージを出力する。ワークロードが閾値以上の場合には、メッセージ出力部２４は、メッセージの出力を保留し、ワークロードが閾値より小さくなるまで待つ。なお、メッセージを保留する最大時間をあらかじめ設定しておき、この最大時間を経過した場合には、メッセージ出力をキャンセルすることとしてもよい。

ワークロード算出部３６は、通信インターフェース３４を通じて、車載機器制御装置５に接続された車載機器４０からのデータを取得する。ワークロード算出部３６は、車載機器４０の動作状態から車両の走行状態を推定し、ドライバのワークロードを算出する。例えば、車速が０（すなわち停止中）で、右のウィンカーがオンされている場合には、ドライバは右折待ちで、対向車の流れが途切れるのを待っていると考えられるので、ワークロードが大きいと判断する。ここで、ワークロードを定量化する算式は、設計により適宜決定することができる。

第５の実施の形態の車載機器制御装置５の基本的な動作は、上記した第１の実施の形態の車載機器制御装置１と同じである。車載機器制御装置５は、ワークロード算出部３６にて算出したワークロードの値が閾値より小さいタイミングでメッセージを出力する点が第１の実施の形態と異なる。つまり、メッセージ出力部２４は、メッセージ記憶部２８から読み出したメッセージを無条件で出力するのではなく、ワークロードが閾値以下になるまで待って出力する。以上、第５の実施の形態の車載機器制御装置５の構成および動作について、第１の実施の形態との相違点を中心に説明した。

第５の実施の形態の車載機器制御装置５は、ドライバのワークロードが小さいタイミングでメッセージを出力するので、ドライバから適切なリアクションを得られる。また、ワークロードが高いときにはメッセージを出力しないので、ドライバが運転に手いっぱいの状態のときにメッセージによって集中力を削いでしまうという危険な事態を引き起こすことがない。

以上、本発明の車載機器制御装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。

上記した実施の形態においては、リアクション検出部２０にて否定のリアクションを検出した場合には、車載機器４０の制御を行なわないで動作を終了する例について説明したが、否定のリアクションを検出した場合に、同じ車載機器に対する別の制御についての問い合わせメッセージを出力することとしてもよい。例えば、「温度を上げますか？」というメッセージに対して否定のリアクションが検出された場合に、「風量を上げますか？」という風量に関するメッセージを出力してもよい。

上記した実施の形態において、リアクション検出部２０は、音声メッセージを出力した後の一定の期間の映像からリアクションを検出する処理を行なっているが、この一定の期間はドライバごとに変えてもよい。判断の早いドライバとそうでないドライバがいるので、ドライバの過去のリアクションまでに要した時間に基づいて、リアクションを検出するための期間を調節してもよい。

上記した実施の形態では、視線検出部１４にて検出した視線に基づいてドライバが見た車載機器４０を特定し、その車載機器の制御を行なうか否かの問い合わせを行なう例について説明したが、車載機器４０の制御の問い合わせを行なうトリガは、ドライバが車載機器４０を見たことに限定されない。例えば、曇りの日などに一定の閾値より暗いことを検出した場合に、「ライトを点灯しますか？」という問合せメッセージを出力してもよい。また、例えば、ナビゲーションの情報に基づいてトンネルが近いことを検出した場合に、「エアコンを内気空調に切替えますか？」という問合せメッセージを出力してもよい。なお、ドライバが問合せメッセージに対して車載機器の制御を行なうか否か迷っているときには、「ライトを点灯するのがオススメですが、点灯しますか？」等というように、レコメンデーションの情報を付加した第２のメッセージを出力してもよいし、さらに、「トンネル内では内気空調がオススメですが、切替えますか？」等というようにレコメンデーションの情報とその理由を付加した第２のメッセージを出力してもよい。

上記した実施の形態では、一般的なリアクションパターンから学習を行なうことによってドライバに対応するリアクションパターンを生成する例について説明したが、ドライバごとのリアクションパターンを最初に登録する構成を採用してもよい。例えば、初期設定時に、ドライバに対して、肯定、否定、迷いのリアクションをとるように指示し、そのリアクションをカメラ１０にて撮影し、得られた映像を分析してリアクションパターンを求める。また、ドライバに対して明示的にリアクションをとるように指示する方法のほかに、肯定または否定することが予想される質問メッセージをドライバに投げかけ、そのリアクションを分析してリアクションパターンを求めてもよい。例えば、晴れの日に「今日は良いお天気ですね？」という質問メッセージを出力し、そのリアクションを肯定のリアクションとして登録してもよい。

以上説明したように、本発明によれば、簡単かつ自然なインターフェースによって車載機器の制御を行うことができるという効果を有し、車載機器の制御を行なう車載機器制御装置等として有用である。

第１の実施の形態の車載機器制御装置の構成を示す図である。 リアクションパターン記憶部に記憶されたデータの例を示す図である。 （ａ）顔および頭部の縦方向の動きを示す図である。（ｂ）顔および頭部の横方向の動きを示す図である。（ｃ）顔および頭部の傾き方向の動きを示す図である。 メッセージ記憶部に記憶されたデータの例を示す図である。 第１の実施の形態の車載機器制御装置の動作を示す図である。 第２の実施の形態のメッセージ記憶部に記憶されたデータの例を示す図である。 第３の実施の形態のメッセージ記憶部に記憶されたデータの例を示す図である。 第４の実施の形態の車載機器制御装置の構成を示す図である。 第４の実施の形態の車載機器制御装置の動作を示す図である。 第５の実施の形態の車載機器制御装置の構成を示す図である。

符号の説明

１，４，５ 車載機器制御装置
１０ カメラ
１２ 制御部
１４ 視線検出部
１６ 車載機器特定部
１８ ドライバ識別部
２０ リアクション検出部
２２ リアクション学習部
２４ メッセージ出力部
２６ 制御信号送信部
２８ メッセージ記憶部
３０ スピーカ
３２ リアクションパターン記憶部
３４ 通信インターフェース
３６ ワークロード算出部
４０ 車載機器
４２ ナビゲーション装置
４４ オーディオ
４６ エアコン
４８ 電話
５０ ウィンカー
５２ 車速センサ

Claims (12)

1. 車載機器に制御信号を送信して車載機器の制御を行う車載機器制御装置であって、
   ドライバを撮影するカメラと、
   車載機器の制御を行うか否かを問い合わせる第１のメッセージ、および、車載機器の制御を行うべきか否かの決定を支援する第２のメッセージを記憶したメッセージ記憶部と、
   前記メッセージ記憶部から第１のメッセージを読み出し、読み出した第１のメッセージを出力するメッセージ出力部と、
   前記メッセージ出力部にて第１のメッセージを出力した後の一定の期間における前記カメラの映像を解析し、ドライバの顔が縦に動く肯定のリアクション、またはドライバの顔が横に動く否定のリアクションを検出するリアクション検出部と、
   前記リアクション検出部にて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信部と、
   を備え、
   前記メッセージ出力部は、前記リアクション検出部にて、肯定のリアクションおよび否定のリアクションのいずれも検出されなかったときに、前記メッセージ記憶部から前記第２のメッセージを読み出し、読み出した第２のメッセージを出力する車載機器制御装置。
2. 車載機器に制御信号を送信して車載機器の制御を行う車載機器制御装置であって、
   ドライバを撮影するカメラと、
   肯定のリアクション、否定のリアクション、迷いのリアクションのパターンを記憶したリアクションパターン記憶部と、
   車載機器の制御を行うか否かを問い合わせる第１のメッセージ、および車載機器の制御を行うべきか否かの決定を支援する第２のメッセージを記憶したメッセージ記憶部と、
   前記メッセージ記憶部から第１のメッセージを読み出し、読み出した第１のメッセージを出力するメッセージ出力部と、
   前記メッセージ出力部にて第１のメッセージを出力した後の一定の期間における前記カメラの映像と、前記リアクションパターン記憶部に記憶されたリアクションパターンとを比較し、肯定のリアクション、否定のリアクション、または迷いのリアクションを検出するリアクション検出部と、
   前記リアクション検出部にて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信部と、
   を備え、
   前記メッセージ出力部は、
   前記リアクション検出部にて、迷いのリアクションが検出されたときに、前記メッセージ記憶部から前記第２のメッセージを読み出し、読み出した第２のメッセージを出力し、
   前記リアクション検出部にて、肯定のリアクション、否定のリアクション、および迷いのリアクションのいずれも検出されなかったときに、前記第１のメッセージを再度出力する車載機器制御装置。
3. 前記第２のメッセージは、前記第１のメッセージの問合せに係る制御より影響の小さい制御を行うか否かを問い合わせるメッセージである請求項１または２に記載の車載機器制御装置。
4. 前記第２のメッセージは、前記車載機器の現在のステータスを示す情報を含むメッセージである請求項１または２に記載の車載機器制御装置。
5. 前記第２のメッセージは、レコメンデーションの情報を含むメッセージである請求項１または２に記載の車載機器制御装置。
6. 前記カメラにて撮影した映像からドライバの視線を検出する視線検出部と、
   前記視線検出部にて検出した視線に基づいて、ドライバが見た車載機器を特定する車載機器特定部と、
   を備え、
   前記メッセージ出力部は、前記車載機器特定部にて特定された車載機器の制御を行うか否かを問い合せる第１のメッセージを出力する請求項１〜５のいずれかに記載の車載機器制御装置。
7. 前記メッセージ出力部は、前記カメラにて撮影した映像に基づいてドライバが車両前方を向いているか否かを判断し、ドライバが車両前方を向いているときに、前記第１のメッセージまたは前記第２のメッセージを出力する請求項１〜６のいずれかに記載の車載機器制御装置。
8. 車両の走行状態に基づいてドライバのワークロードを算出するワークロード算出部を備え、
   前記メッセージ出力部は、前記ワークロード算出部にて算出されたワークロードがあらかじめ定められた閾値より小さい場合に、前記第１のメッセージまたは前記第２のメッセージを出力する請求項１〜７のいずれかに記載の車載機器制御装置。
9. 前記リアクションパターン記憶部には、ドライバを特定する識別子に関連付けて、そのドライバのリアクションパターンのデータが記憶されており、
   ドライバを識別するドライバ識別部を有し、
   前記リアクション検出部は、前記ドライバ識別部にて求めたドライバに対応するリアクションパターンのデータを読み出し、読み出したリアクションパターンのデータを用いてドライバのリアクションを検出する請求項２に記載の車載機器制御装置。
10. 前記カメラにて撮影したドライバのリアクションの映像を用いて、前記リアクションパターン記憶部に記憶されたリアクションパターンの学習を行うリアクション学習部を備える請求項２に記載の車載機器制御装置。
11. 車載機器に制御信号を送信して車載機器の制御を行う方法であって、
    車載機器の制御を行うか否かを問い合わせる第１のメッセージ、および、車載機器の制御を行うべきか否かの決定を支援する第２のメッセージを記憶したメッセージ記憶部を準備するステップと、
    ドライバをカメラで撮影するステップと、
    前記メッセージ記憶部から第１のメッセージを読み出し、読み出した第１のメッセージを出力する第１メッセージ出力ステップと、
    前記第１メッセージ出力ステップにて第１のメッセージを出力した後の一定の期間に撮影された映像を解析し、ドライバの顔が縦に動く肯定のリアクション、またはドライバの顔が横に動く否定のリアクションを検出するリアクション検出ステップと、
    前記リアクション検出ステップにて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信ステップと、
    前記リアクション検出ステップにて肯定のリアクションおよび否定のリアクションのいずれも検出されなかったときに、前記メッセージ記憶部から前記第２のメッセージを読み出し、読み出した第２のメッセージを出力する第２メッセージ出力ステップと、
    を備える車載機器制御方法。
12. 車載機器に制御信号を送信して車載機器の制御を行うためのプログラムであって、コンピュータに、
    メッセージを記憶した記憶部から車載機器の制御を行うか否かを問い合わせる第１のメッセージを読み出し、読み出した第１のメッセージを出力する第１メッセージ出力ステップと、
    前記第１メッセージ出力ステップにて第１のメッセージを出力した後の一定の期間にカメラにて撮影されたドライバの映像を解析し、ドライバの顔が縦に動く肯定のリアクション、またはドライバの顔が横に動く否定のリアクションを検出するリアクション検出ステップと、
    前記リアクション検出ステップにて肯定のリアクションを検出したときに、その車載機器に対して問合せに係る制御の実行を指示する制御信号を送信する制御信号送信ステップと、
    前記リアクション検出ステップにて肯定のリアクションおよび否定のリアクションのいずれも検出されなかったときに、前記記憶部から車載機器の制御を行うべきか否かの決定を支援する第２のメッセージを読み出し、読み出した第２のメッセージを出力する第２メッセージ出力ステップと、
    を実行させるプログラム。