JP2008201146A - 車両用操作案内装置 - Google Patents

Abstract

【課題】車両に搭載された機器において、ユーザにとって有益な機能の操作案内を行うことができ、また、その機能を有効活用することができる車両用操作案内装置を提供する。
【解決手段】撮影された車両の乗員の動作を解析し、該乗員が行おうとしている機器操作を推定し、推定された機器操作に対応する、予め記憶された推定対象となる機器操作と対応付けた形で操作案内情報を読み出して出力する車両用操作案内装置として提供可能である。
【選択図】図１

Description

本発明は、車両に搭載された機器の操作案内を行う、車両用操作案内装置に関するものである。

車両には、乗員の利便性，居住性，あるいは快適さを向上させるための様々な車載機器が搭載されている。これら車載機器の代表的なものとして、車両用ナビゲーション装置やオーディオ・ビデオ（ＡＶ）装置がある。

これら車載機器は、機能が多様化するとともに操作も複雑になり、取扱説明書も厚みを増すばかりで、ユーザが取扱説明書で所望の機能の説明を探すのに手間取ることも多く、取扱説明書の量や厚さを見ただけで、取扱説明書を読むことを諦めてしまうユーザもいる。これでは、折角の便利な機能を十分活用することなく終わってしまうこともある。

また、特にレンタカーや知人の車のような日頃使用していない車両に搭載されている車載機器を使用する際には、その機能を使ってみたいという興味はあるが、操作した結果何が起きるか判らない為、ユーザが操作をためらう場合がある。逆に、操作しない方がよい操作をしてしまい、ユーザの意図とは別の動きをしてしまう場合もある。

そこで、ユーザの操作を補助するために、キーやスイッチ周りに照明を設ける、注意喚起を行うメッセージの画面表示を行う、画面表示あるいは音声ガイダンスにより操作誘導を行うなどして、取扱説明書に頼ることなくユーザが操作でき、より便利な機能を使うことができるような改良がなされている。

例えば、ユーザの行動に基づいて照明装置を自動的に制御するための方法及び装置が考案されている（特許文献１参照）。

また、乗員の乗降時から起動して、あらかじめ定められたプログラムパターンにもとづいて複数の照明具が順に点灯／消灯していくこと、または複数の照明具が順に照度を変化させていくこと、または複数の照明具が順に照射方向を変化させていくこと、またはこれらが組み合わされた自動車室内照明装置が考案されている（特許文献２参照）。

特表２００５−５１３７５４号公報 特開２００４−３５１９４９号公報

特許文献１，特許文献２の構成は、照明装置の制御を行っているだけで、他の車載機器については、開示，示唆ともなされていない。

また、操作誘導等の方法では、ユーザが何らかの操作を行ってからメッセージ等が表示されるので、操作を行おうとしている場合や、「○○機能を使いたいが、このボタンを押せばよいのだろうか」のように、操作を迷っている場合には、ユーザにとって有益なメッセージを表示することはできない。

上記問題を背景として、本発明の課題は、車両に搭載された機器において、ユーザにとって有益な機能の操作案内を行うことができ、また、その機能を有効活用することができる車両用操作案内装置を提供することにある。

課題を解決するための手段および発明の効果

上記課題を解決するための車両用操作案内装置は、車両の乗員の動作を画像撮影する乗員動作撮影手段と、撮影された乗員の動作を解析し、該乗員が行おうとしている機器操作を推定する機器操作推定手段と、操作案内情報を推定対象となる機器操作と対応付けた形で記憶する操作案内情報記憶手段を備え、推定された機器操作に対応する操作案内情報を操作案内情報記憶手段から読み出して出力する操作案内出力手段と、を備えることを特徴とする。

従来技術による操作案内は、何らかの操作が行われてから、その操作に対応する案内、例えば次の操作の案内を行うものである。上記構成によって、乗員（すなわちユーザ）が実際に操作を行う前の段階で操作案内情報を出力することが可能となり、ユーザが操作をためらうという事態は発生しなくなる。

また、本発明の車両用操作案内装置は、個々の機器操作に特有の乗員動作が画像内容に反映されたマスタ動作画像を、機器操作の種別と対応付けて記憶するマスタ動作画像記憶手段を備え、機器操作推定手段は、撮影された車両の乗員の画像と、マスタ動作画像との比較に基づいて、乗員の機器操作を推定するように構成することもできる。

いわゆる画像処理は、画像処理装置の高性能化・小型化等により、車両においてもレーンキープと呼ばれる車線追従走行や、車室内の乗員検知等にも用いられている。上記構成によって、車載用の画像処理装置を用いることで、低コストで乗員の機器操作を推定することが可能となる。

また、本発明の車両用操作案内装置における機器操作推定手段は、撮影された乗員の手の動作方向を解析し、当該動作方向に存在する機器を操作対象機器として推定するように構成することもできる。

車室内の車載機器の配置は、ほぼ固定的に決まっているので、その車載機器を操作可能な乗員も限定される。よって、例えば、接近した指先の示す方向にある機器を操作対象機器として推定することができる。上記構成によって、マスタ動作画像の数を抑えることができ、マスタ動作画像の記憶に必要となる容量も少なくなる。

また、本発明の車両用操作案内装置における機器操作推定手段は、撮影された乗員の手の動作だけでなく視線の方向からも動作方向を解析し、当該動作方向に存在する機器を操作対象機器として推定するように構成することもできる。

上記構成によって、乗員の手の動きだけで乗員の動作を推定する構成よりも、乗員の動作を推定する精度をさらに上げることが可能となる。

また、本発明の車両用操作案内装置における操作案内情報記憶手段は、車両の動作状態に応じて互いに異なる内容の操作案内情報を、動作状態と対応付けた形で機器別に記憶するものであり、機器操作推定手段により機器操作の推定がなされるときの車両の動作状態を検出する車両動作状態検出手段を備え、操作案内出力手段は、推定された機器操作に対応する操作案内情報のうち、検出された動作状態に対応するものを操作案内情報記憶手段から読み出して出力するように構成することもできる。

上記構成によって、同じスイッチの操作でも車両の動作状態によって異なる動作指示となる場合は、その動作状態に応じた適切な操作案内情報を出力することが可能となる。

また、本発明の車両用操作案内装置における操作案内情報記憶手段は、推定した乗員の操作と実際に操作された結果が異なった場合に、操作案内情報および撮影された車両の乗員の画像を、マスタ動作画像として更新することもできる。

上記構成によって、案内表示を間違った場合でも次回からは更新された新しい操作案内情報を出力することが可能となる。

また、本発明の車両用操作案内装置における操作案内情報記憶手段は、対応する機器への操作がなされた場合の、車両の動作状態に応じた操作結果を反映した操作案内情報を、動作状態と対応付けて記憶するように構成することもできる。

上記構成によって、操作を行おうとしている場合の他に、操作が行われた後でも、適切な操作案内情報を出力することが可能となる。

また、本発明の車両用操作案内装置における操作案内情報は、操作結果によりもたらされる車両動作への影響に対し注意喚起する注意喚起情報を含むように構成することもできる。

上記構成によって、操作しない方がよい操作をしてしまい、ユーザの意図とは別の動きをしてしまう事態は発生しない。

また、本発明の車両用操作案内装置における機器操作推定手段は、車両の始動／停止操作部への操作発生を推定する始動／停止操作発生推定手段を含み、車両動作状態検出手段は、車両の動作状態として車両の走行制御状態を検出するものであり、操作案内出力手段は、検出された走行制御状態に応じて、当該始動／停止操作部への操作結果を反映した操作案内情報を出力するように構成することもできる。

上記構成によって、始動／停止操作部の一つであるエンジン始動スイッチの操作が推定された場合に、走行制御状態に応じて適切な操作案内情報を出力することが可能となる。

また、本発明の車両用操作案内装置における機器操作推定手段は、車両のパワーウィンドウの操作を推定するパワーウィンドウ操作推定手段を含み、車両動作状態検出手段は、車両の動作状態としてパワーウィンドウの動作制御設定状態を検出するものであり、操作案内出力手段は、車両のパワーウィンドウの操作が推定された場合に、検出されたパワーウィンドウの動作制御設定状態に基づいて、操作案内情報を出力するように構成することもできる。

上記構成によって、パワーウィンドウの操作が推定された場合に、パワーウィンドウの動作制御設定状態に応じて適切な操作案内情報を出力することが可能となる。

また、本発明の車両用操作案内装置における機器操作推定手段は、車両のフューエルオープナの操作を推定するフューエルオープナ操作推定手段を含み、操作案内出力手段は、車両のフューエルオープナの操作が推定された場合に、当該フューエルオープナの存在位置を含む操作案内情報を出力するように構成することもできる。

上記構成によって、ユーザがフューエルオープナのスイッチがどこにあるか探しているような場合に、適切な操作案内情報を出力することが可能となる。

また、本発明の車両用操作案内装置における機器操作推定手段は、車両のエアコン装置の操作を推定するエアコン操作推定手段を含み、操作案内出力手段は、車両のエアコン装置の操作が推定された場合に、エアコンの操作を支援するエアコン操作支援情報を操作案内情報として出力するように構成することもできる。

上記構成によって、エアコンの操作が推定された場合に、エアコン操作に必要な操作案内情報を出力することが可能となる。

また、本発明の車両用操作案内装置は、道路地図データを記憶する道路地図データ記憶手段と、道路地図データ上における車両の現在位置を特定する位置特定手段と、を備え、機器操作推定手段は、道路地図上における現在位置を参照して機器操作を推定するように構成することもできる。

上記構成によって、車両の現在位置に応じて適切な操作案内情報を出力することが可能となる。

また、本発明の車両用操作案内装置における機器操作推定手段は、車両の現在位置がガソリンスタンドの近傍に位置する場合に、車両のフューエルオープナの操作を推定するように構成することもできる。

車両の現在位置がガソリンスタンドの近傍に位置する場合には、給油を行おうとしていると推定することができる。上記構成によって、ユーザにフューエルオープナのスイッチがどこにあるかを示す等して、給油に要する時間を短縮することが可能となる。

また、本発明の車両用操作案内装置は、機器操作推定手段により機器操作の推定がなされるときの車両の動作状態を検出する車両動作状態検出手段を備え、機器操作推定手段は、道路地図上における現在位置と車両の動作状態との双方を参照して機器操作を推定するように構成することもできる。

上記構成によって、例えば、車両の現在位置がガソリンスタンドの近傍に位置していても、車両が走行中であれば、ユーザにフューエルオープナのスイッチがどこにあるかを示すような操作案内情報を出力することはないので、ユーザを混乱させることもなく、よりユーザにとって有益な操作案内情報を出力することができる。

また、本発明の車両用操作案内装置における車両状態検出手段は、車両の車速を検出する車速検出手段を含み、機器操作推定手段は、車両の現在位置が高速道路上に特定され、かつ検出された車両の車速が一定速度である場合に、オートクルーズ機能の操作を推定するように構成することもできる。

上記構成によって、ユーザにオートクルーズ機能を使用する適切なタイミングを知らせることができ、ユーザも、オートクルーズ機能とその使い方を覚えることができる。

また、本発明の車両用操作案内装置は、操作案内情報の出力を行うか否かを切替可能に設定する操作案内情報出力切替設定手段を備えるように構成することもできる。

ユーザが既に知っている機能についての操作案内は必要なく、かえって煩わしく感じることもある。上記構成によって、不要な操作案内情報に煩わされ、運転が妨げられることはなくなる。

また、本発明の車両用操作案内装置は、操作案内情報の出力の履歴を記憶する操作案内情報出力履歴記憶手段と、該出力履歴を参照することにより、既に出力済みの操作案内情報を出力制限する操作案内情報出力制限手段と、を備えるように構成することもできる。

上記構成によって、出力切替を含めて操作案内情報の出力制限を行うことが可能となり、ユーザが真に必要な操作案内情報のみを出力することができる。

また、本発明の車両用操作案内装置は、操作案内情報の出力設定状態を乗員別にカスタマイズした形で記憶する出力設定状態記憶手段と、機器操作を行っている乗員を特定する乗員特定手段と、特定された乗員に対応する出力設定状態を出力設定状態記憶手段から読み出して操作案内出力手段に対し設定する出力設定制御手段と、を備えるように構成することもできる。

操作案内情報の必要の度合いやレベルは乗員によって異なる。上記構成によって、乗員に応じて木目細かく操作案内情報を出力することが可能となる。また、特定された乗員のみに操作案内情報を出力するようにもできる。

また、本発明の車両用操作案内装置は、機器操作を行っている乗員を特定する乗員特定手段を備え、マスタ動作画像記憶手段は、車両の乗員毎に固有のマスタ画像を記憶するものであり、機器操作推定手段は、特定された乗員に対応するマスタ画像を用いて、該乗員が行おうとしている機器操作を推定するように構成することもできる。

上記構成によって、より精度良く乗員の操作を推定することが可能となる。また、特定された乗員のみに操作案内情報を出力するようにもできる。

以下、本発明の車両用操作案内装置を、図面を参照しながら説明する。図１に車両用操作案内装置１００の構成を示す。車両用操作案内装置１００は、位置検出器１，カメラ６ａおよび６ｂ，操作部７，表示部２１，音声合成回路２２，スピーカ２３，照明制御部２４，およびこれらの接続された制御回路８０等を備えている。

また、制御回路８０には、車速センサ８，エンジン始動／停止スイッチ９，パワーウィンドウスイッチ１０，エアコンスイッチ１１，フューエルオープナ１２，オートクルーズスイッチ１３，エンジン回転センサ１４，ブレーキセンサ１５，シフトポジションセンサ１６が接続されている。

位置検出器１は、周知の地磁気センサ２，車両１０１（図２参照）の回転角速度を検出するジャイロスコープ３，車両１０１の走行距離を検出する距離センサ４，および衛星からの電波に基づいて車両１０１の位置を検出するＧＰＳ受信機５を有している。これらのセンサ等２，３，４，５は各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。なお、精度によっては前述したうちの一部のセンサで構成してもよく、さらに、ステアリング３５（図２参照）の回転センサ（図示せず）や各転動輪の車輪センサ例えば車速センサ８等を用いてもよい。なお、位置検出器１が本発明の位置特定手段に相当する。

カメラ６ａおよび６ｂは周知のＣＣＤビデオカメラ等で構成され、撮影された画像データは制御回路８０（画像処理部８９）に送られる。図２に搭載例を示す。カメラ６ａは、乗員の機器操作を撮影可能なように、例えば、車両室内の天井の中央部に取り付けられる。また、カメラ６ｂは、乗員の視認視認行動を検出可能なように、ステアリングコラム上あるいはダッシュパネル中央部に取り付けられる。なお、カメラ６ａおよび６ｂが本発明の乗員動作撮影手段に相当する。

操作部７は、例えば表示部２１（後述）と一体になったタッチパネル（図示せず）もしくはメカニカルなスイッチが用いられる。タッチパネルは、表示部２１の画面上にガラス基盤と透明なフィルムにスペーサと呼ばれる隙間を介してＸ軸方向、Ｙ軸方向に電気回路が配線され、フィルム上をユーザがタッチすると、押された部分の配線がショートして電圧値が変わるため、これを２次元座標値（Ｘ，Ｙ）として検出する、いわゆる抵抗膜方式が広く用いられる。その他に、周知のいわゆる静電容量方式を用いてもよい。メカニカルスイッチの他に、マウスやカーソル等のポインティングデバイスを用いてもよい。なお、操作部７が本発明の操作案内出力切替設定手段に相当する。

車速センサ８は、周知のロータリエンコーダ等の回転検出部を含み、例えば車輪取り付け部付近に設置されて車輪の回転を検出してパルス信号として制御回路８に送るものである。制御回路８０では、その車輪の回転数を車両１０１（図２参照）の速度に換算する。なお、車速センサ８が本発明の車両動作状態検出手段，車速検出手段に相当する。

エンジン始動／停止用スイッチ９は、エンジン始動あるいは停止を行うためのものである。周知のイグニッションスイッチあるいはプッシュボタン式スイッチが用いられる。なお、エンジン始動／停止用スイッチ９が本発明の車両の始動／停止操作部に相当する。

パワーウィンドウスイッチ１０は、パワーウィンドウ（図示せず）の開閉を行うためのスイッチである。パワーウィンドウスイッチ１０には、ウィンドウの開閉を禁止するパワーウィンドウロックスイッチおよびパワーウィンドウ開閉状態を検出する開閉状態検出センサが含まれる。

エアコンスイッチ１１は、エアコン（図示せず）の各種操作を行うためのもので、ＯＮ／ＯＦＦ，温度設定，風量調節，風向調節を行うためのスイッチが含まれる。

フューエルオープナ１２は、車室内からフューエルリッド(蓋：図示せず)を開けるためのレバーあるいはスイッチである。フューエルリッドに開状態を検出するセンサを設け、その状態を制御回路８０に送るようにしてもよい。

オートクルーズスイッチ１３は、車速が乗員によって設定された一定速度になるように制御するためのもので、ＯＮ／ＯＦＦ，速度設定を行うためのスイッチが含まれる。

エンジン回転数センサ１４は、例えば、クランクシャフトに取り付けられる、鉄等の磁性体が用いられるギアが磁石の先端で回ることによりコイルを通る磁力線が変化し、そのために交流電圧を発生する周知の電磁ピックアップ等の回転センサを含んで構成され、制御回路８０では、その交流電圧の周波数を車両１０１のエンジン回転数に換算する。エンジン回転数の情報を、エンジンの回転制御を行うエンジンＥＣＵ（図示せず）から通信Ｉ／Ｆ８７（後述）を介して取得する構成でもよい。

ブレーキセンサ１５は、ブレーキペダル（図示せず）の踏み込み量を検出するもので、周知のポテンショメータを含んで構成される。ブレーキペダルを踏むと、ブレーキペダルの位置によりポテンショメータの抵抗値が変化して、その抵抗値に応じて発生する電圧値が制御回路８０に送られる。制御回路８０では、その電圧値に基づいてブレーキペダル踏み込み量を算出する。

シフトポジションセンサ１６は、シフトレバー（図示せず）あるいは変速機のギア（図示せず）の位置を検出するものである。シフトレバーあるいはギアの位置毎にスイッチが配設され、車両のシフトレバーあるいはギアの位置に応じて該スイッチの状態が変化するようになっている。オートマチックトランスミッション搭載車両の場合には、車両運転席の計器パネルあるいはシフトレバーの近傍に現在のシフト位置が点灯表示されるものがあるので、点灯している位置を検出して現在のシフト位置を特定する方法を用いてもよい。

表示部２１は、例えば、周知のカラー液晶表示器で構成され、ドット・マトリックスＬＣＤ（Liquid Crystal Display）およびＬＣＤ表示制御を行うための図示しないドライバ回路を含んで構成されている。ドライバ回路は、例えば、画素毎にトランジスタを付けて目的の画素を確実に点灯させたり消したりすることができるアクティブマトリックス駆動方式が用いられ、制御回路８０（描画部８７）から送られる表示指令および表示画面データに基づいて表示を行う。また、表示用デバイスとして有機ＥＬ（ElectroLuminescence：電界発光）表示器，プラズマ表示器等を用いてもよい。なお、表示部２１が本発明の操作案内出力手段に相当する。

スピーカ２３は周知の音声合成回路２２に接続され、制御プログラム８２ｐの指令によってメモリ９０に記憶されるデジタル音声データが音声合成回路２２においてアナログ音声に変換されたものが送出される。なお、音声合成の方法には、音声波形をそのままあるいは符号化して蓄積しておき必要に応じて繋ぎ合わせる録音編集方式、文字入力情報からそれに対応する音声を合成するテキスト合成方式などがある。

照明制御部２４は、車両に搭載された機器のスイッチの所在を明らかにするために、スイッチ自体を光らせる、あるいはスイッチおよびその周辺を照らすためのもので、図示しないＬＥＤやランプ等の照明装置および点灯回路を含んで構成される。

制御回路８０には、周知のＣＰＵ８１，ＲＯＭ８２，ＲＡＭ８３，入出力回路であるＩ／Ｏ８４，Ａ／Ｄ変換部８６，通信Ｉ／Ｆ（インターフェース）８７，画像処理部８９，メモリ９０，およびこれらの構成を接続するバスライン８５が備えられている。ＣＰＵ８１は、ＲＯＭ８２に記憶された制御プログラム８２ｐおよびデータにより制御を行う。

なお、制御回路８０が本発明の機器操作推定手段，操作案内情報出力制限手段，出力設定制御手段，車両動作状態検出手段，始動／停止操作発生推定手段，パワーウィンドウ操作推定手段，フューエルオープナ操作推定手段，エアコン操作推定手段に相当する。

Ａ／Ｄ変換部８６は周知のＡ／Ｄ（アナログ／デジタル）変換回路を含み、例えば上記の各種センサ等から制御回路８０に入力されるアナログデータをＣＰＵ８１で演算可能なデジタルデータに変換するものである。

通信Ｉ／Ｆ８７はエンジンＥＣＵ等の他の車載機器とのデータの遣り取りを行うための、例えばＬＡＮ（Local Area Network）カードのような通信インターフェース回路である。

画像処理部８９は、公知のパターン認識などの技術によってカメラ６ａおよび６ｂによって撮影された画像の解析を行う画像処理回路を含んで構成される。画像処理部８９では、例えば、カメラ６ａおよび６ｂにより撮影された映像信号に一般的な２値化処理を施すことにより、ピクセル毎のデジタル多値画像データに変換する。そして、得られた多値画像データから、一般的な画像処理手法を用いて所望の画像部分を抽出する。なお、画像処理部８９が本発明の乗員特定手段に相当する。

メモリ９０は、フラッシュメモリなどの電気的に書き換え可能な半導体記憶媒体あるいはハードディスク装置等が用いられ、車両用操作案内装置１００の動作に必要な情報およびデータが記憶されている。なお、メモリ９０は、車両用操作案内装置１００がオフ状態になっても記憶内容が保持されるようになっている。なお、メモリ９０が本発明の道路地図データ記憶手段，操作案内情報記憶手段，マスタ動作画像記憶手段，操作案内情報出力履歴記憶手段，出力設定状態記憶手段に相当する。

図３のように、メモリ９０には、位置検出の精度向上のためのいわゆるマップマッチング用データ、道路の接続を表した道路データを含む地図データベースである道路地図データ９０ｍが記憶される。道路地図データ９０ｍは、表示用となる所定の地図画像情報を記憶するとともに、リンク情報やノード情報等を含む道路網情報を記憶する。リンク情報は、各道路を構成する所定の区間情報であって、位置座標，距離，所要時間，道幅，車線数，制限速度等から構成される。また、ノード情報は、交差点（分岐路）等を規定する情報であって、位置座標，右左折車線数，接続先道路リンク等から構成される。また、リンク間接続情報には、通行の可不可を示すデータなどが設定されている。

また、メモリ９０には、マスタ動作画像９０ａ，ユーザ特定用データ９０ｂ，操作案内情報用メッセージ９０ｃ，出力設定状態９０ｄ，操作案内情報出力履歴９０ｅ等の、本発明の操作案内情報を出力するために必要な情報やデータが記憶されている。

マスタ動作画像９０ａは、カメラ６ａおよび６ｂで撮影された乗員の動作を解析し、該乗員が行おうとしている機器操作を推定するためのもので、個々の機器操作に特有の乗員動作が画像内容に反映されたものが機器操作の種別と対応付けて記憶されている。マスタ動作画像は、例えば、図４のような、機器のボタンを押すために、該ボタンに指先が接近している画像である。また、ユーザＡ動作画像９０ａ１，ユーザＢ動作画像９０ａ２のように、ユーザ毎に動作画像を記憶する構成でもよい。

図３に戻り、ユーザ特定用データ９０ｂは、機器操作を推定するためのユーザを特定するためのもので、特定方法に応じたデータが記憶される。例えば、特定方法が操作部７からの入力によるものであれば、ユーザＩＤおよびパスワードが記憶される。指紋，静脈パターン，虹彩等を用いた生体認証によりユーザを特定する場合には、これらの認証方法に対応したデータが記憶される。なお、ユーザ特定用データ９０ｂが本発明の乗員特定手段に相当する。

操作案内情報用メッセージ９０ｃは、推定された機器操作に対応する操作案内を行うための、車両の動作状態に応じて互いに異なる内容の操作案内情報を、表示部２１に表示するためのメッセージあるいはスピーカ２３から出力するための音声メッセージとして、車両の動作状態と対応付けた形で機器別に記憶される。操作案内情報用メッセージの内容には、推定された機器の説明（例：エアコンスイッチです），操作するための前提条件の有無，操作するとどうなるか，次に必要な操作の有無等が含まれる。また、図５のように、操作案内情報用メッセージの出力内容は、一つの操作に対して、簡略化して説明するもの（簡略），詳細に説明するもの（丁寧）のように複数の内容を含む構成としてもよい。

操作案内情報には、単なる機器の操作案内の他に、その操作結果によりもたらされる車両動作への影響に対し注意喚起する注意喚起情報を含むようにしてもよい。

図３に戻り、出力設定状態９０ｄは、操作案内情報の出力を行うか否か，既に出力済みの操作案内情報を出力制限するか否かの設定状態が記憶される。図５に出力設定状態９０ｄの一例（操作案内情報出力設定，操作案内情報出力制限）を示す。また、出力設定状態（ユーザＡ）９０ｄ１，出力設定状態（ユーザＢ）９０ｄ２のように、操作案内情報の出力設定状態を乗員別にカスタマイズした形で記憶してもよい。なお、出力設定状態９０ｄが本発明の操作案内出力切替設定手段に相当する。

操作案内情報出力履歴９０ｅは、操作案内情報の出力が行われたかどうかを記憶するものである。図５にその一例（操作案内情報出力の有無）を示す。操作案内情報出力履歴の記憶方法は、例えば、予め定められる期間内に操作案内情報の出力が行われたときに「出力済」とする。期間は、エンジン始動〜停止の間，１週間あるいは１ヶ月のように定められる。このとき、日時情報は、例えば、ＧＰＳ受信機５で受信されるＧＰＳ信号に含まれるものを用いる。

図６を用いて操作情報案内出力メイン処理について説明する。なお、本処理は制御プログラム８２ｐに含まれ、制御プログラム８２ｐの他の処理とともに繰り返し実行される。まず、操作を行う乗員を特定する（Ｓ１１）。特定方法は、図３のユーザ特定用データの記憶内容に基づく。例えば、ユーザＩＤ，パスワードが記憶されている場合には、操作部７の操作により、表示部２１にユーザＩＤ，パスワードの入力を行う画面（図示せず）を表示させ、その表示にしたがってユーザＩＤ，パスワードを入力する。

乗員の特定は、必ずしも行う必要はない。

次に、カメラ６ａで車室内の乗員の様子を撮影する（Ｓ１２）。撮影は動画あるいは静止画のいずれによるものでもよい。そして、撮影された画像と、マスタ動作画像９０ａあるいは上記で特定されたユーザの動作画像（９０ａ１，９０ａ２等）との比較を行う（Ｓ１３）。例えば、撮影された乗員の手の動作方向を解析し、その動作方向に存在する機器を操作対象機器として推定する。

このとき、カメラ６ｂで乗員の視認行動を撮影し、乗員の手の動作方向と乗員の視認行動とから操作対象機器を推定してもよい。すなわち、乗員の注視点（注視方向）を検出し、乗員の手の動作方向にある車載機器と、その注視方向にある車載機器が同一であれば、その車載機器を操作対象機器として推定するものである。

なお、乗員の視認行動（注視点）の特定方法については、以下の文献に詳細が記載されている。
特開２００１−１６３０８２号公報

次に、推定された操作対象機器に対応する操作情報案内を作成・出力する操作情報案内作成出力処理を実行する（Ｓ１４，後述）。最後に、推定された操作と、実際に操作された結果とを比較し、異なっていた場合には、マスタ動作画像に対応付ける機器操作の種別を変更する等の操作情報案内学習処理を実行する（Ｓ１５，後述）。

図７を用いて、図６のステップＳ１４に相当する操作情報案内作成出力処理の例について説明する。まず、撮影画像とマスタ動作画像との比較から、エンジン始動／停止スイッチ９（図７では、スタートＳＷと表記）の操作が推定された場合（Ｓ３１：Ｙｅｓ）、車速センサ８から車速情報を取得する（Ｓ３２）。そして、車両（１０１）が停止しているか否かを判定する。

車両が停止していない場合、すなわち車両が走行中の場合（Ｓ３３：Ｎｏ）、エンジン始動／停止スイッチ９を押すとエンジンが停止して、車両が走行できなくなってしまうので、例えば、「スタートＳＷを操作するとエンジンが停止するので操作しないで下さい」というメッセージ（本発明の注意喚起情報）を、メモリ９０の、エンジン始動／停止スイッチ９の車両の状態に対応する操作案内情報用メッセージ９０ｃから取得し、表示部２１に表示するとともに、同様のメッセージをスピーカ２３から送出する（Ｓ４４）。

一方、車両が停止中の場合（Ｓ３３：Ｙｅｓ）、エンジン回転センサ１４からエンジン状態を取得する（Ｓ３４）。エンジン状態に含まれるエンジン回転数が予め定められた閾値を下回って、エンジンが停止していると判定された場合（Ｓ３５：Ｙｅｓ）、ブレーキセンサ１５からブレーキ状態を取得する（Ｓ３６）。そして、ブレーキが作動状態と判定された場合（Ｓ３７：Ｙｅｓ）、エンジンを始動しようとしていると推定され、エンジン始動可能状態であるので、例えば、「スタートＳＷを操作するとエンジンを始動します」というメッセージを操作案内情報用メッセージ９０ｃから取得し、表示部２１に表示する（Ｓ３８）。

ブレーキが作動状態でないと判定された場合（Ｓ３７：Ｎｏ）、例えば、「エンジンを始動する場合にはブレーキを踏んで下さい」というメッセージを表示部２１に表示する（Ｓ３９）。このとき、「電源状態を遷移します」と表示してもよい。すなわち、エンジン始動／停止スイッチ９は、押すたびに、ＯＦＦ→ＡＣＣ＝ＯＮ→ＩＧ＝ＯＮ→エンジン始動→→ＯＦＦのように電源状態が遷移する。よって、エンジン始動／停止スイッチ９が操作されることが推定されたときの電源状態に応じて、「ＡＣＣ＝ＯＮします」，「ＩＧ＝ＯＮします」，あるいは「電源を切ります」のようなメッセージを操作案内情報用メッセージ９０ｃから取得し、表示部２１に表示する。

一方、エンジンが停止していないと判定された場合（Ｓ３５：Ｎｏ）、シフトポジションセンサ１６からシフトポジション状態を取得する（Ｓ４０）。そして、シフトポジションがパーキングの位置にある場合（Ｓ４１：Ｙｅｓ）、エンジンを停止しようとしていると推定されるので、例えば、「スタートＳＷを操作するとエンジンを停止します」のようなメッセージを操作案内情報用メッセージ９０ｃから取得し、表示部２１に表示する（Ｓ４２）。

シフトポジションがパーキングの位置にない場合（Ｓ４１：Ｎｏ）、エンジンを停止しようとしていると推定されるが、この状態では電源を切ることができないので、（ＡＣＣ＝ＯＮ，ＩＧ＝ＯＦＦ，エンジン停止）例えば、「エンジンを停止する場合、シフトをパーキングへ変更して下さい」のようなメッセージを操作案内情報用メッセージ９０ｃから取得し、表示部２１に表示する（Ｓ４３）。

図８を用いて、図６のステップＳ１４に相当する操作情報案内作成出力処理の別例について説明する。まず、撮影画像とマスタ動作画像との比較から（乗員の視認行動を含めてもよい）、パワーウィンドウスイッチ１０の操作が推定された場合（Ｓ５１：Ｙｅｓ）、パワーウィンドウ情報を取得する（Ｓ５２）。パワーウィンドウ情報には、パワーウィンドウロックスイッチの状態およびパワーウィンドウ開閉状態も含まれる。

次に、制御回路８０から照明制御部２４に指令を送り、パワーウィンドウスイッチ１０自体あるいはその周辺を照らす（Ｓ５３）。

最後に、パワーウィンドウ情報に応じた操作案内情報を出力する（Ｓ５４）。例えば、パワーウィンドウロックスイッチが作動してウィンドウの開閉が禁止されている場合には、「パワーウィンドウがロックされています。ロック解除後に操作して下さい」のようなメッセージを表示部２１に表示する。

図９を用いて、図６のステップＳ１４に相当する操作情報案内作成出力処理の別例について説明する。まず、位置検出器１から車両（１０１）の現在位置情報を取得する（Ｓ７１）。次に、道路地図データ９０ｍを参照して、車両の現在位置がガソリンスタンドから予め定められた所定の範囲内にあるか否かを判定する。

車両の現在位置がガソリンスタンドから所定の範囲内にあると判定された場合（Ｓ７２：Ｙｅｓ）、車速センサ８から車速情報を取得する（Ｓ７３）。そして、車両が停止しているか否かを判定する。

車両が停止していると判定された場合（Ｓ７４：Ｙｅｓ）、撮影画像とマスタ動作画像との比較から（乗員の視認行動を含めてもよい）、フューエルオープナ１２の操作が推定されたか否かを判定する。フューエルオープナ１２の操作が推定された場合（Ｓ７５：Ｙｅｓ）、フューエルリッドに開状態を検出するセンサが設けられているときにはフューエルオープナ情報を取得する（Ｓ７６）。

次に、制御回路８０から照明制御部２４に指令を送り、フューエルオープナ１２自体あるいはその周辺を照らす（Ｓ７７）。

最後に、フューエルオープナ情報に応じた操作案内情報を出力する（Ｓ７８）。例えば、図１０のように、表示部２１にフューエルオープナ１２の場所を表示する。このとき、フューエルオープナを点滅表示してもよい。

図１１を用いて、図６のステップＳ１４に相当する操作情報案内作成出力処理の別例について説明する。まず、撮影画像とマスタ動作画像との比較から（乗員の視認行動を含めてもよい）、エアコンスイッチ１１の操作が推定されたされた場合（Ｓ９１：Ｙｅｓ）、エアコンスイッチ１１から、あるいは通信Ｉ／Ｆを介して図示しないエアコンＥＣＵからエアコンの動作状態を含むエアコン情報を取得する（Ｓ９２）。

次に、制御回路８０から照明制御部２４に指令を送り、エアコンスイッチ１１自体あるいはその周辺を照らす（Ｓ９３）。

最後に、エアコン情報に応じた操作案内情報を出力する（Ｓ９４）。例えば、図１１のように、表示部２１にエアコンの動作状態を表示し、動作状態に応じた操作を促す。

図１３を用いて、図６のステップＳ１４に相当する操作情報案内作成出力処理の別例について説明する。まず、位置検出器１から車両の現在位置情報を取得する（Ｓ１１１）。次に、道路地図データ９０ｍを参照して、車両（１０１）の現在位置が高速道路上にあるか否かを判定する。

車両の現在位置が高速道路上にあると判定された場合（Ｓ１１２：Ｙｅｓ）、車速センサ８から車速情報を取得する（Ｓ１１３）。そして、車両が一定速度で走行しているか否かを判定する。

車速情報は予め定められたタイミングで周期的にサンプリングされ、ＲＡＭ８３あるいはメモリ９０に記憶されている。例えば５分間の車速の変化幅が１０ｋｍ／ｈ以内である場合に、車両が一定速度で走行していると判定する。

車両が一定速度で走行している、すなわち車速に変化がないと判定された場合（Ｓ１１４：Ｙｅｓ）、オートクルーズスイッチ１３あるいは図示しないオートクルーズＥＣＵからオートクルーズ情報を取得する（Ｓ１１５）。オートクルーズ情報には、オートクルーズを実行中かどうかの情報が含まれる。

次に、制御回路８０から照明制御部２４に指令を送り、オートクルーズスイッチ１３自体あるいはその周辺を照らす（Ｓ１１６）。

最後に、オートクルーズ情報に応じた操作案内情報を出力する（Ｓ１１７）。例えば、図１４のように、表示部２１にオートクルーズの動作状態を表示し、動作状態に応じた操作を促す。図１４の例では、「使う」ボタンを押下すると、オートクルーズの操作方法が表示される。

図１５を用いて、操作案内情報の作成・出力の詳細について説明する。まず、出力設定状態（９０ｄ，図３参照）を取得する（Ｓ１３１）。乗員が特定されている場合は、その乗員（ユーザ）に対応する出力設定状態（９０ｄ１，９０ｄ２等）を取得する。次いで、取得された出力設定状態において、操作案内情報を出力するように設定されているかどうかを調べる。

図５の例で、エンジン始動／停止スイッチ９の操作が推定された場合には、毎回操作案内情報を作成・出力するように設定されている。また、操作案内情報は「簡略」としたものを出力するよう設定されている。これは、例えば、車両（１０１）が走行中にエンジン始動／停止スイッチ９の操作が推定された場合（図７のＳ３３：Ｎｏ）、「丁寧」設定のときは「スタートＳＷを操作するとエンジンが停止するので操作しないで下さい」と出力されるものを、「簡略」設定のときは「操作しないで下さい」のように短いメッセージを出力するものである。

また、「簡略」設定のとき、推定された操作が動作上好ましくないものについては、表示部２１にメッセージを表示する代わりに、スピーカ２３から警報音を送出するようにしてもよい。

また、図５の例で、パワーウィンドウスイッチ１０の操作が推定された場合には、例えばエンジン始動中に「１回のみ」出力されるように設定され、履歴からまだ出力されてないことが分かるので、この後にパワーウィンドウスイッチ１０の操作が推定されたときには、表示部２１にメッセージが表示される。また、「簡略」された操作案内情報を出力する設定となっている。

図１５に戻り、操作案内情報を出力するように設定されている場合、あるいは操作案内情報の出力制限の対象となっていない場合（Ｓ１３２：Ｙｅｓ）、推定された機器操作に応じた操作案内情報用メッセージ（図３の９０ｃ）を取得する（Ｓ１３３）。そして、取得された操作案内情報用メッセージを表示部２１に表示、あるいはスピーカ２３から送出する（Ｓ１３４）。

図１６を用いて、図６のステップＳ１５に相当する操作情報案内学習処理について説明する。まず、撮影画像比較結果、すなわち操作が推定された車載機器あるいは出力された操作案内情報の内容を取得する（Ｓ１５１）。次に、実際に操作された結果が、出力された操作案内情報に対応したものでなかった場合（Ｓ１５２：Ｙｅｓ）、操作案内情報を更新する（Ｓ１５３）。

車載機器の操作結果は、制御回路８０に直接入力される各スイッチの情報、あるいは通信Ｉ／Ｆおよび車内ＬＡＮを介して取得される他の車載機器の動作状態から判定することができる。

例えば図８のようにパワーウィンドウスイッチ１０の操作が推定され、ステップＳ５４の処理が実行されたが、実際にはドアロックスイッチ（図示せず）が操作された場合には、出力された操作案内情報が実際の操作に対応したものではないと判定され、操作案内情報を、例えば「ドアがロックされました」のように変更する。そして、パワーウィンドウスイッチ１０の操作を推定するために用いられていたマスタ動作画像（９０ａ等）を、ドアロック操作を推定するために用いるように関連付けを更新する。

以上、本発明の実施の形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。

車両用操作案内装置の構成を示すブロック図。 カメラの取り付け例を示す図。 メモリの記憶内容を示す図。 マスタ動作画像の例を示す図。 出力設定状態，操作案内情報出力履歴の例を示す図。 操作情報案内出力メイン処理を説明するフロー図。 操作情報案内作成出力処理の例を説明するフロー図。 操作情報案内作成出力処理の別例を説明するフロー図。 操作情報案内作成出力処理の別例を説明するフロー図。 図９の操作情報案内出力時の表示例を示す図。 操作情報案内作成出力処理の別例を説明するフロー図。 図１１の操作情報案内出力時の表示例を示す図。 操作情報案内作成出力処理の別例を説明するフロー図。 図１３の操作情報案内出力時の表示例を示す図。 操作情報案内作成出力の詳細を説明するフロー図。 操作情報案内学習処理を説明するフロー図。

符号の説明

１ 位置検出器（位置特定手段）
６ａ，６ｂ カメラ（乗員動作撮影手段）
７ 操作部（操作案内出力切替設定手段）
８ 車速センサ（車両動作状態検出手段，車速検出手段）
９ エンジン始動／停止スイッチ（車両の始動／停止操作部）
１０ パワーウィンドウスイッチ
１１ エアコンスイッチ
１２ フューエルオープナ
１３ オートクルーズスイッチ
１４ エンジン回転センサ
１５ ブレーキセンサ
１６ シフトポジションセンサ
２１ 表示部（操作案内出力手段）
２２ 音声合成回路
２３ スピーカ
２４ 照明制御部
８０ 制御回路（機器操作推定手段，操作案内情報出力制限手段，出力設定制御手段，車両動作状態検出手段，始動／停止操作発生推定手段，パワーウィンドウ操作推定手段，フューエルオープナ操作推定手段，エアコン操作推定手段）
８９ 画像処理部（乗員特定手段）
９０ メモリ（道路地図データ記憶手段，操作案内情報記憶手段，マスタ動作画像記憶手段，操作案内情報出力履歴記憶手段，出力設定状態記憶手段）
９０ｍ 道路地図データ
９０ａ マスタ動作画像
９０ｂ ユーザ特定用データ（乗員特定手段）
９０ｃ 操作案内情報用メッセージ
９０ｄ 出力設定状態（操作案内出力切替設定手段）
９０ｅ 操作案内情報出力履歴
１００ 車両用操作案内装置
１０１ 車両

Claims (20)

1. 車両の乗員の動作を画像撮影する乗員動作撮影手段と、
   撮影された前記乗員の動作を解析し、該乗員が行おうとしている機器操作を推定する機器操作推定手段と、
   前記操作案内情報を推定対象となる前記機器操作と対応付けた形で記憶する操作案内情報記憶手段を備え、
   推定された前記機器操作に対応する操作案内情報を前記操作案内情報記憶手段から読み出して出力する操作案内出力手段と、
   を備えることを特徴とする車両用操作案内装置。
2. 個々の前記機器操作に特有の乗員動作が画像内容に反映されたマスタ動作画像を、前記機器操作の種別と対応付けて記憶するマスタ動作画像記憶手段を備え、
   前記機器操作推定手段は、撮影された前記車両の乗員の画像と、前記マスタ動作画像との比較に基づいて、前記乗員の機器操作を推定する請求項１に記載の車両用操作案内装置。
3. 前記機器操作推定手段は、撮影された前記乗員の手の動作方向を解析し、当該動作方向に存在する機器を操作対象機器として推定するものである請求項１または請求項２に記載の車両用操作案内装置。
4. 前記機器操作推定手段は、撮影された前記乗員の手の動作方向および視線の方向を解析し、当該動作方向に存在する機器を操作対象機器として推定するものである請求項１または請求項２に記載の車両用操作案内装置。
5. 前記操作案内情報記憶手段は、前記車両の動作状態に応じて互いに異なる内容の操作案内情報を、前記動作状態と対応付けた形で機器別に記憶するものであり、
   前記機器操作推定手段により前記機器操作の推定がなされるときの前記車両の動作状態を検出する車両動作状態検出手段を備え、
   前記操作案内出力手段は、推定された前記機器操作に対応する操作案内情報のうち、検出された前記動作状態に対応するものを前記操作案内情報記憶手段から読み出して出力するものである請求項１ないし請求項４のいずれか１項に記載の車両用操作案内装置。
6. 前記マスタ動作画像記憶手段は、推定した前記乗員の機器操作と実際に操作された機器操作が異なった場合に、前記マスタ動作画像を実際に操作された機器操作に更新することが可能な請求項５に記載の車両用操作案内装置。
7. 前記操作案内情報記憶手段は、対応する機器への操作がなされた場合の、前記車両の動作状態に応じた操作結果を反映した操作案内情報を、前記動作状態と対応付けて記憶するものである請求項５または請求項６のいずれか１項に記載の車両用操作案内装置。
8. 前記操作案内情報は、前記操作結果によりもたらされる車両動作への影響に対し注意喚起する注意喚起情報を含むものである請求項７に記載の車両用操作案内装置。
9. 前記機器操作推定手段は、前記車両の始動／停止操作部への操作発生を推定する始動／停止操作発生推定手段を含み、
   前記車両動作状態検出手段は、前記車両の動作状態として車両の走行制御状態を検出するものであり、
   前記操作案内出力手段は、検出された前記走行制御状態に応じて、当該始動／停止操作部への操作結果を反映した前記操作案内情報を出力する請求項５ないし請求項８のいずれか１項に記載の車両用操作案内装置。
10. 前記機器操作推定手段は、前記車両のパワーウィンドウの操作を推定するパワーウィンドウ操作推定手段を含み、
    前記車両動作状態検出手段は、前記車両の動作状態として前記パワーウィンドウの動作制御設定状態を検出するものであり、
    前記操作案内出力手段は、前記車両のパワーウィンドウの操作が推定された場合に、検出された前記パワーウィンドウの動作制御設定状態に基づいて、前記操作案内情報を出力する請求項５ないし請求項９のいずれか１項に記載の車両用操作案内装置。
11. 前記機器操作推定手段は、前記車両のフューエルオープナの操作を推定するフューエルオープナ操作推定手段を含み、
    前記操作案内出力手段は、前記車両のフューエルオープナの操作が推定された場合に、当該フューエルオープナの存在位置を含む前記操作案内情報を出力する請求項１ないし請求項１０のいずれか１項に記載の車両用操作案内装置。
12. 前記機器操作推定手段は、前記車両のエアコン装置の操作を推定するエアコン操作推定手段を含み、
    前記操作案内出力手段は、前記車両のエアコン装置の操作が推定された場合に、前記エアコンの操作を支援するエアコン操作支援情報を前記操作案内情報として出力する請求項１ないし請求項１１のいずれか１項に記載の車両用操作案内装置。
13. 道路地図データを記憶する道路地図データ記憶手段と、
    前記道路地図データ上における前記車両の現在位置を特定する位置特定手段と、を備え、
    前記機器操作推定手段は、前記道路地図上における前記現在位置を参照して前記機器操作を推定するものである請求項１ないし請求項１２のいずれか１項に記載の車両用操作案内装置。
14. 前記機器操作推定手段は、前記車両の現在位置がガソリンスタンドの近傍に位置する場合に、前記車両のフューエルオープナの操作を推定するものとされる請求項１３に記載の車両用操作案内装置。
15. 前記機器操作推定手段により前記機器操作の推定がなされるときの前記車両の動作状態を検出する車両動作状態検出手段を備え、
    前記機器操作推定手段は、前記道路地図上における前記現在位置と前記車両の動作状態との双方を参照して前記機器操作を推定するものである請求項１３または請求項１４に記載の車両用操作案内装置。
16. 前記車両動作状態検出手段は、前記車両の車速を検出する車速検出手段を含み、
    前記機器操作推定手段は、前記車両の現在位置が高速道路上に特定され、かつ検出された前記車両の車速が一定速度である場合に、オートクルーズ機能の操作を推定するものである請求項１５に記載の車両用操作案内装置。
17. 前記操作案内情報の出力を行うか否かを切替可能に設定する操作案内情報出力切替設定手段を備える請求項１ないし請求項１６のいずれか１項に記載の車両用操作案内装置。
18. 前記操作案内情報の出力の履歴を記憶する操作案内情報出力履歴記憶手段と、
    該出力履歴を参照することにより、既に出力済みの操作案内情報を出力制限する操作案内情報出力制限手段と、
    を備える請求項１ないし請求項１７のいずれか１項に記載の車両用操作案内装置。
19. 前記操作案内情報の出力設定状態を乗員別にカスタマイズした形で記憶する出力設定状態記憶手段と、
    前記機器操作を行っている乗員を特定する乗員特定手段と、
    特定された乗員に対応する出力設定状態を前記出力設定状態記憶手段から読み出して前記操作案内出力手段に対し設定する出力設定制御手段と、
    を備える請求項１ないし請求項１８のいずれか１項に記載の車両用操作案内装置。
20. 前記機器操作を行っている乗員を特定する乗員特定手段を備え、
    前記マスタ動作画像記憶手段は、前記車両の乗員毎に固有の前記マスタ画像を記憶するものであり、
    前記機器操作推定手段は、特定された前記乗員に対応する前記マスタ画像を用いて、該乗員が行おうとしている機器操作を推定する請求項１ないし請求項１９のいずれか１項に記載の車両用操作案内装置。

Images