JP2008013070A - 車両用表示装置 - Google Patents

Abstract

【課題】運転者の視線から注視対象を特定し、注視対象の種類に基づいて表示情報の種類を定めて自動的に表示することにより、運転者が必要とする表示情報を適切に運転者に提供することを目的とする。
【解決手段】本発明は、情報の種類を切り替えて表示できる表示制御手段３０を備えた車両用表示装置であって、
運転者の視線を検出する視線検出手段１０と、該視線検出手段により検出した運転者の視線に基づき運転者が注視する注視対象を特定する注視対象特定手段２０と、該注視対象特定手段により特定された前記注視対象の種類に基づいて表示情報の種類を定める表示制御手段と、該表示制御手段により定められた情報を表示する表示手段４０、とを備えたことを特徴とする。
【選択図】図１

Description

本発明は、複数の種類の情報を切り替えて表示でき、運転者の注視対象の種類に基づいて自動的に表示情報の種類を定める車両用表示装置に関する。

従来から、使用者の安全性や操作性等を考慮するため、人間が操作する航空機や車両等の移動体に搭載して、人間の意志や行為等と外部装置等とのインターフェースを確立する車載システムにおいて、使用者の眼球をビデオカメラで撮影し、眼球の注視方向や角度及び瞳孔像等の眼球特徴点を検出し、これらの検出情報から計算機にて使用者の意志や行為の確認及び次の行為の予測等を行ない、表示器に必要な情報の表示や外部装置の制御を行なう画像処理による注視点検出手段を利用した車載システムが知られている（例えば、特許文献１参照）。

また、不要な情報の表示により運転者の安全運転への集中が妨げられるのを防ぐべく、車両の周囲の測定範囲に存在する物体との距離及び方位を検出する距離検出手段と、運転者の視線方向を算出して注視座標点を得る視線計測手段と、距離及び方位と注視座標点から運転者の注視している物体を判別する注視物体判別手段と、注視物体判別手段により運転者の注視している物体が判別されたとき、その物体のみに関わる距離情報を表示する表示手段とを有し、複数車両が前方に存在しても、運転者の注視対象車のみとの車間距離を表示するように構成した車間距離測定装置が知られている（例えば、特許文献２参照）。
特開平１１−３３８６１５号公報 特開平７−５５９４１号公報

しかしながら、上述の特許文献１に記載の構成では、使用者の眼球の注視方向や角度及び眼球の眼球特徴点等、眼球のみから検出情報を得ており、注視対象の種類と表示すべき情報の種類の関係は考慮されていないため、その制御は、視認し難い対象を視認し易くするために照明やカメラ等の外部装置の方向を制御する等、眼球の情報のみから得られる視界を確保するような制御に限定され、刻一刻と変化する運転状況に対応し、運転者の必要とする情報をタイミングよく切り替えて表示し、運転者を支援するような制御までは行なえなかった。

また、上述の特許文献２に記載の構成では、車間距離測定については情報が運転者に与えられるが、車間距離以外の他の種類の多様な情報をいかに取り扱うかについては、何も考慮されていなかった。

そこで、本発明は、運転者の視線から注視対象を特定し、注視対象の種類に基づいて表示情報の種類を定めて自動的に表示することにより、運転者が車両表示装置の表示内容を自分で手動により切り替えながら運転することに伴う危険性を無くすとともに、運転者が必要とする表示情報を適切に運転者に提供することを目的とする。

上記目的を達成するため、第１の発明に係る車両用表示装置は、情報の種類を切り替えて表示できる表示制御手段を備えた車両用表示装置であって、
運転者の視線を検出する視線検出手段と、該視線検出手段により検出した運転者の視線に基づき運転者が注視する注視対象を特定する注視対象特定手段と、該注視対象特定手段により特定された前記注視対象の種類に基づいて表示情報の種類を定める表示制御手段と、該表示制御手段により定められた情報を表示する表示手段、とを備えたことを特徴とする。これにより、注視対象の種類に基づいて、運転者の必要な適切な種類の情報を表示して運転者の運転を支援することができる。

第２の発明は、第１の発明に係る車両用表示装置において、
前記表示制御手段は、前記注視対象物の種類の変化の時系列パターンに基づいて前記表示情報の種類を定めることを特徴とする。これにより、より運転者にとって適切な情報を表示して運転者の運転を支援することができる。

第３の発明は、第１又は２の発明に係る車両用表示装置において、
前記表示情報は、ナイトビュー表示を含むことを特徴とする。これにより、運転者の夜間時の運転を適切に支援できる。

本発明によれば、注視対象の種類に基づいて運転者の必要とする情報を適切に自動的に表示し、運転者の車両の安全運転を支援することができる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、本実施例に係る車両用表示装置の一例を示す機能ブロック図である。本実施例に係る車両用表示装置は、視線検出手段１０と、注視対象特定手段２０と、表示制御手段３０と、表示手段４０とを備える。また、必要に応じて、注視対象特定手段２０は、カメラ等の撮像手段２１や、ミリ波センサ等の距離検出手段２２や、照度センサ２３等の注視対象を特定するために必要な検出手段と、注視対象の変化の時系列パターンを記憶する記憶手段２５を備えてもよい。

視線検出手段１０は、運転者の視線を検出するための検出器である。視線検出手段１０は、運転者の眼球から、運転者の視線の方位や角度等を検出し、運転者の注視している地点を検出する。視線検出手段１０は、運転者の視線から注視している地点を検出できるセンサ等であれば、その種類や形式は問わないが、一般的にはテレビカメラ等の撮像手段が用いられる。視線検出手段１０で、運転者の眼球を映像化する。映像化された眼球の画像信号は、画像処理回路等の画像処理手段で処理し、運転者の目の位置及び視線方向を算出し、運転者がどの地点を注視しているかを特定する。画像処理手段は、画像処理回路の他、計算機等の演算手段により構成されてもよいし、ＥＣＵ（Ｅｌｅｃｔｏｒｉａｌ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）の一部を利用してもよい。視線検出手段により検出された注視点位置情報は、注視対象特定手段２０に送られる。

注視対象特定手段２０は、運転者が注視している注視対象を特定するための手段である。視線検出手段１０から送られてきた注視点位置情報に基づき、注視対象を特定する。注視対象の特定は、注視点位置情報から、ＧＰＳ（Ｇｒｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）やＧ−ＢＯＯＫ等の通信情報手段で地図上の自車位置を認識し、自車位置と注視位置との位置関係から特定できればそれでもよいし、必要により、カメラ等の撮像手段２１、ミリ波センサ等の距離検出手段２２、明るさを検出する照度センサ２３等を必要に応じて備えてよい。

ＧＰＳやＧ−ＢＯＯＫ等の通信情報手段は、地図上の自車両の位置と交差点等や特定の建物等の情報を認識できるので、自車両の位置と、注視位置との位置関係を把握できれば、注視対象が何であるかをそれらの通信情報に基づいて特定できる。なお、通信情報の取得には、アンテナ等の通信情報受信手段２４を用いてよい。

撮像手段２１は、注視地点が特定されたら、その地点を撮像し、画像認識を行なって、注視対象の特定を行なうためのものである。注視対象が、ある一定の範囲内で特定できれば、画像認識によりパターンマッチングを行い、注視対象が何であるかを特定することができる。例えば、信号の画像や、道路の路肩、交差点、Ｔ字路、建物等の画像をパターンとして予め認識しておけば、撮像手段２１により撮像した画像と予め認識した参照用画像とのパターンマッチングを行うことにより、注視対象を特定できる。

距離検出手段２２は、車間距離や、特定の対象物に対する距離を測定するための距離センサである。距離検出手段２２は、ミリ波センサを始めとして、マイクロ波センサ、レーザーセンサ等の種々の波長の音波、光等を用いたレーダー形式のセンサを利用してよい。また、音波や光の反射を利用したレーダー形の検出手段でなくても、自車と対象物との距離を測定・検出できる検出手段であれば何を利用してもよい。

照度センサ２３は、周囲の明るさ、照度を検出するためのセンサである。コンライト等のライト自動点灯・消灯システムに用いられている、赤外を用いた照度センサと同様のものを利用してよく、一般的なフォトトランジスタ、フォトダイオード又はフォトＩＣを用いて構成されてよい。

このように、注視対象特定手段２０は、必要に応じて種々の手段を用いて運転者の注視対象を特定することができる。注視対象特定手段により特定された注視対象の情報は、表示制御手段３０に送られる。

なお、注視対象特定手段２０は、注視対象の変化の時系列パターンを記憶する記憶手段２５を必要に応じて更に備えてもよい。記憶手段２５は、特定された注視対象を、対象物だけではなくその対象物を注視している時系列も併せて記憶しておくためのものである。記憶手段２５は、一般的にコンピュータ等に用いられているメモリ等を利用してよい。記憶手段２５により、注視対象を特定するだけでなく、注視対象を注視している時間も併せてデータとして活用できる。記憶手段２５により記憶された時系列パターンは、上述の注視対象の情報と一緒に表示制御手段３０に送られる。

表示制御手段３０は、注視対象特定手段２０により特定された注視対象の種類に基づいて、表示する情報の種類を定める。注視対象の種類と運転者が車両を運転する際に必要とする視認情報には一定の関係があり、注視対象の種類により、運転者が必要とする視認情報を推定できるため、運転者の視認意志に沿うような情報を表示することにより、運転者の運転を適切に支援できる。そのような運転者の車両の運転を適切に支援する表示情報の種類の決定を表示制御手段３０で行なう。即ち、表示制御手段３０は、運転者の意思を推定する運転者意思推定部としての役割を果たす。

例えば、運転者が信号を注視していれば、右左折する交差点を探している意思が推定でき、表示情報の種類を簡易ナビゲーションにすれば、運転者の運転を適切に支援することができる。これは、注視対象の種類が信号である場合は、表示情報の種類は簡易ナビゲーションが好ましいということを意味している。また、運転者が左の方向を注視して、左側のバックミラーを注視したり左後方を注視したりしようとしていれば、それは交差点左折の際の巻き込み又は左後輪が障害物に接触するか否かを気にしていることを意味すると推定できるので、サイドモニターの映像を表示すれば運転者の運転を支援することができる。この場合は、注視対象の種類が左側バックミラー又は左後方であるときには、表示情報の種類はサイドモニターの映像情報が運転者を支援するのに好ましいということになる。

このような表示制御を行なうため、表示制御手段３０は、入力された注視対象情報から、運転者を支援するのに適切な情報の種類を定める演算を行なう機能を備える。具体的には、表示制御手段３０は、演算処理を行なうコンピュータ等により実現され、ＥＣＵの内部に備えられていてもよいし、単独で備えられてもよい。演算処理のアルゴリズムは、注視対象特定手段２０から送られてきた注視対象の情報から、その種類を特定し、その種類に対応して表示情報の種類を定める内容のものである。

また、表示制御手段３０は、注視対象特定手段２０が注視対象の変化の時系列パターンの情報を記憶する記憶手段２５を備えている場合には、その時系列パターンを考慮して表示情報の種類を定めるようにしてよい。注視対象は、運転者の運転状況、心理や意思に応じて刻一刻と変化するので、注視対象の種類だけではなく、注視対象の変化の時系列パターンも併せて表示情報の種類を決定すれば、より適切なタイミングで緻密に運転者の意思に沿った表示情報を表示できる。

例えば、上述の運転者が信号を注視している例で説明すると、運転者が最初に信号を注視し、次に車両内のナビゲーションシステムの画面を注視し、再び信号を注視した場合には、運転者は交差点を探している意思がより明確に推定できる。つまり、運転者が信号を注視している情報のみに基づくと、交差点を探している意思も推定できるが、単に走行先に信号があり、それで信号を注視しているに過ぎない可能性も残り、どちらの意思であるかは明確には推定できない場合がある。上述のように、この双方の可能性を含む状態で表示情報を簡易ナビゲーション表示にしても、運転者が信号に注目していることには相違ないので、基本的には何ら問題ない。

しかしながら、運転者によっては、頻繁に表示情報が切り替わると煩わしいと感じる人もいるかも知れないので、時系列パターンをも考慮することにより、より緻密な表示制御が可能となる。上述の信号の例で説明すると、例えば、まず信号を注視し、次にナビゲーション画面を注視し、再度信号を注視したという時系列パターンであれば、信号を注視するだけではなくナビゲーション画面を注視する過程が含んでいるので、交差点を探しているという運転者の意思を推定でき、表示画面を切り替えてよい。一方、ずっと信号を注視してナビゲーション画面を注視しない場合には、単に走行途中に信号があって注視しているに過ぎないという運転者の意思を推定し、表示画面の切り替えを行なわない、というようなよりきめ細かい表示制御が可能となる。

このように、注視対象特定手段２０から送られてきた注視対象の情報及び時系列パターン情報の双方に基づけば、よりきめ細かく運転者を支援する適切な表示情報を表示提供することができる。この場合も、表示制御手段３０は、コンピュータ等の演算処理手段により実現されてよく、ＥＣＵの内部又は単独で外部に備えられてよい。演算アルゴリズムについては、推定演算の基礎となるパラメータに、注視対象の種類だけではなく、注視対象の変化の時系列パターンも加えて、これらの組み合わせに基づいてより緻密に場合分けをしてアルゴリズムを組むことができる。

また、上述の説明では、注視対象特定手段２０で注視対象を特定し、注視対象の種類を認識するのは表示制御手段３０の役割としたが、注視対象特定手段２０において、注視対象の種類の認識まで行い、表示制御手段３０では注視対象特定手段２０において認識された注視対象の種類に基づいて、表示情報の種類の決定のみを行なうようにしてもよい。特定された注視対象の種類の認識演算を、注視対象特定手段２０で行なうか表示制御手段３０で行なうかの形式的な事項に過ぎず、どちらで行なっても本実施例を逸脱するものではないからである。

表示制御手段３０で定められた表示情報の種類は、表示手段４０により実現されて表示される。表示手段４０は、運転者に視認し易く情報を表示できる表示手段であれば種類や形式を問わずに利用可能である。例えば、表示手段４０にはヘッドアップディスプレイを用いてよい。運転者から遠前方のフロントウィンドシールドガラス上に情報を表示するので、運転者に視認し易く、車両の運転中も視点の移動が少なくて済み、運転支援に好ましいからである。また、例えば、表示手段４０は、インストルメントパネル内に設けてもよい。車両の運転中に運転者の視界を妨げるおそれがなく、運転者は所望のタイミングで表示情報を視認することができる。

図２は、本実施例に係る車両用表示装置の動作フローの一例を示した図である。

ステップ１００では、表示手段４０がデフォルトコンテンツ表示にある通常の状態を示し、一般的には車両速度を表示している場合が多い。

ステップ１１０では、視線検出手段１０により、運転者の視線を検出する。運転者の視線検出は、常時行なわれてよい。運転の状況は常に変化し得るので、状況変化に常に対応できるようにするためである。視線検出手段１０により、運転者の視線の方向や角度、眼球の状態から運転者の注視位置を特定する。運転者の注視位置を特定したら、ステップ１２０に移行する。

ステップ１２０では、運転者の注視位置情報に基づき、注視対象特定手段２０により、運転者の注視対象の特定を行なう。上述のように、必要に応じて周囲の環境から、注視対象を特定するのに必要な検出器を用いてよい。例えば、カメラ等の撮像手段２１により注視対象を撮像し、撮像された画像を画像認識して注視対象を特定してもよい。また、必要に応じて、対象物との距離を測定するためのミリ波センサ等の距離検出手段２２、明るさを検出する照度センサ２３、ＧＰＳやＧ−ＢＯＯＫ等の通信情報を取得するためのアンテナ等の通信情報受信手段２４を任意に用いてよいことも上述の通りである。ステップ１２０において注視対象を特定したら、注視対象の変化の時系列を記憶する場合はステップ１３０、記憶しない場合はステップ１４０に移る。

ステップ１３０では、記憶手段２５に、ステップ１２０で特定された注視対象の変化の時系列パターンを記憶する。注視時系列パターンを考慮することにより、注視対象の種類との対応関係で運転者に必要な情報の種類をより正確に推定でき、運転者の意思に沿った適切な情報を表示することができる。時系列パターンの記憶がなされたら、ステップ１４０に進む。

ステップ１４０では、表示制御手段４０により、運転者の意思を推定し、表示情報の種類を定める。視線方向から注視対象が特定されているので、注視対象の種類に基づいて表示情報の種類を定めることができる。必要に応じて、ステップ１３０で取得した注視対象の変化の時系列パターン、注視した時間等が考慮され、より正確に運転者の意思を反映して表示情報の種類を決定することができる。表示情報の種類を定めたら、ステップ１５０に進む。

ステップ１５０では、運転者に視認意思があるか否かの最終判断を行なう。運転の状況は刻一刻と変化し、運転者の意思もそれに伴って変化するので、ステップ１４０で定めた表示情報の種類を定めるに至った注視対象の注視又はその変化時系列パターンが、現在も続いているか否か、又はステップ１４０でなされた決定でよいか否かの最終判断をステップ１５０にて行なう。最終の確認的なステップであり、表示変更の精度を高めるために設けるものである。時系列パターンを構成する要素が複数あれば、最終の決定トリガ的要素として設けることができるステップである。注視対象の種類のみに基づいて表示情報の種類を決定するときや、簡単な時系列パターンのときは、ステップ１４０と同じステップと捉えて省略してもよい。ステップ１５０において、ステップ１４０で推定された時系列パターンが現在も続いている、又は最終的にそれでよいと判断されたら、ステップ１６０に進む。意思推定の根拠となる注視対象への注視が継続しておらず、注視対象がまた変化したときには、ステップ１１０に戻り、また運転者の視線検出から始める。

ステップ１６０では、表示手段４０の表示内容の変更、即ち表示情報の種類の変更を行なう。ステップ１４０における決定に基づき、表示手段４０の表示内容を、ステップ１００で表示されていたデフォルトコンテンツ表示から、運転者の運転を支援する表示情報の種類に変更する。例えば、交差点を探しているときの簡易ナビゲーション表示、高速走行中で車間距離が近い場合の車間距離表示、ライトの照射範囲が足りない場合のナイトビュー表示への切替等が例として挙げられる。表示を変更したら、ステップ１７０は飛ばしてステップ１８０に進んでもよいが、必要に応じてステップ１７０に進む。

ステップ１７０では、表示手段４０の表示情報の種類が変更したことを運転者に知らせるために、変更通知音を発生させる。表示が単に切り替えられただけでは、運転者が気付かない場合があり得るので、表示の変更をブザー音や音楽等の音声情報により通知し、運転者の認知を促す。変更通知音を発生させたら、ステップ１８０に進む。

ステップ１８０では、例えばメモリで構成された記憶手段２５に記憶されていた注視対象の時系列パターンを消去し、メモリを開放する。開放後は、ステップ１１０に戻り、次の運転者の視線検出による処理に備えることになる。

このような手順で、本実施例に係る車両用表示装置は動作する。なお、時系列パターンを表示情報の種類の決定に用いず、注視対象の種類のみに基づいて表示情報の種類を定めるときは、ステップ１３０とステップ１５０とステップ１８０は不要となる。

図３は、本実施例に係る車両用表示装置を、具体的に車両へ適用した一例を示す図である。本実施例では、交差点を探している例について説明する。なお、図１で説明した構成要素に対応する役割を果たす構成要素には、図１と同一の参照符号にアルファベットを更に付記した参照符号を用い、その説明を簡略化する。

図３（ａ）は、デフォルト表示の状態の本実施例に係る車両用表示装置を示す。車両用表示装置は、運転者の視線を検出する視線検知センサ１０ａと、注視対象を特定するための撮像を行なうカメラ２１ａと、距離を測定するためのミリ波センサ２２ａと、カメラ２１ａとミリ波センサ２２ａで検出した値から注視対象を特定するための対象検知器２０ａと、運転者の意思を推定して表示情報の種類を決めるためのドライバー意思推定部３０ａと、表示情報を運転者に提供するためのコンンテンツ表示器４０ａとから構成される。コンテンツ表示器４０ａは、デフォルト表示として車両速度を表示している。また、車両内には、ナビゲーションシステム５０とメーター６０も載置されている。

最初に、時系列パターンを考慮しない実施例について説明する。図３（ａ）において、矢印（１）で示すように、最初は、運転者は前方の信号７０を注視している。これは、視線検知センサ１０により視線を検知し、これに基づいてカメラ２１により運転者の注視対象を撮像し、対象検知器２０ａにより画像認識を行なうことにより注視対象を特定できる。次に、注視対象を信号７０と特定して、注視対象情報をドライバー意思推定部３０ａに送る。表示制御手段３０では、注視対象の種類が信号であることに基づき、運転者は注視信号の位置の交差点を探しているとの意思推定を行い、コンテンツ表示器４０ａの表示を、簡易ナビゲーションの表示に切り替える。図３（ｂ）は、コンテンツ表示器４０ａの表示情報の種類が、簡易ナビゲーションに変更された図を示している。

次に、注視対象の時系列パターンをも考慮した実施例について説明する。上述の矢印（１）のように信号７０を視認した後、矢印（２）に示すように、運転者がナビゲーションシステム５０を注視したとする。これは、信号７０を注視した後、ナビゲーションシステム５０でその位置を確認しようとしていると推定できる。この段階で、ドライバー意思推定部３０ａでは、表示情報の種類が簡易ナビゲーションに推定されてよい。

その後、運転者が図３（ａ）の矢印（３）に示すように、信号７０を再度注視したとすれば、図２で説明したステップ１５０の運転者の視認意思があるか否かの判断において、視認意思はあると判断することができ、コンテンツ表示器４０ａの表示情報を簡易ナビゲーションに変更する。その際、必要に応じて、変更通知音を発生させるようにしてもよい。

図４は、図３において説明した、運転者が交差点を探していると判断したときの、時系列パターンを考慮する場合のドライバー意思推定部３０ａのアルゴリズムの一例を示すフローチャートである。

ステップ２００では、注視対象が信号か否かが判断される。注視対象が信号でないときには、別のアルゴリズムにより処理されるので、本アルゴリズムではステップ２５０に進み、表示切替なしと判断して処理を終了する。注視対象が信号である場合には、ステップ２１０に進む。

ステップ２１０では、所定期間に、信号の他に注視対象が存在するか否かが判断される。注視対象が存在するか否かを判断するためには、運転者が一瞬でも注視した総ての対象のどれを注視対象とみなすか否かの基準が必要であるが、例えば撮像している画像が所定の秒数以上一定である等の基準を設けてもよい。また、画像処理を行なうために要する時間を基準としてもよい。即ち、注視対象が信号と判断された後の所定期間の間に、他に注視対象と判断できるものが存在するかが判断される。他の注視対象が存在しなければ、運転者は単に走行途中の信号を視認しているに過ぎないと推定できるので、ステップ２５０に進み、表示切替なしと判断して処理を終了する。他の注視対象が存在すれば、ステップ２２０に進む。

ステップ２２０では、他の注視対象がナビゲーションシステムか否かが判断される。ナビゲーションシステムでなければ、交差点を探している訳ではないと判断し、ステップ２５０に進み、表示切替なしと判断して処理を終了する。ナビゲーションシステムであれば、運転者は交差点を探していると判断し、ステップ２３０に進む。

ステップ２３０では、信号を再度注視したか否かが判断される。運転者の視認意思を最終確認するためである。信号を再度注視しなければ、もう交差点を通り過ぎてしまった等の運転状況の変化が推定され、情報を切り替えてもタイミングを逃して運転者を支援することにはならないと判断され、ステップ２５０に進み、表示切替なしとして処理を終了する。一方、信号を再度注視した場合には、運転者はまだ交差点の情報を必要としていると判断できるので、表示情報の種類を簡易ナビゲーション表示に切り替えて処理を終了する。なお、判断のアルゴリズムとは異なるが、その後に必要に応じて表示切替通知音の発生指令や記憶手段２５のリセット等を行なってもよいことは上述の通りである。

なお、このアルゴリズムは一例であり、注視対象の変化パターンを複数種類設定したり、注視対象の時系列パターンに時間の長さや注視する順序の概念を設けたりして、更に柔軟かつ適切なアルゴリズムを作成してよい。

なお、図３及び図４において説明した実施例は、注視対象が信号７０ではなく、例えば、信号に取り付けられた交差点名や、幹線道路への方向を示すために交差点付近に設けられた道路標識である場合も同様に適用可能である。いずれも、地理上の自車の位置を確認し、自車の向かいたい方向を定めようとしているときに注視する対象物だからである。本実施例により、運転者が交差点を探している適切なタイミングで、簡易ナビゲーションの表示情報を提供し、運転者の運転を支援できる。

次に、図５及び図６を用いて、表示手段４０がデフォルト表示から車間距離表示に切り替わる場合の実施例を説明する。

図５は、運転者の注視対象と表示手段４０の表示情報の種類の関係を示す斜視図である。なお、図１で説明したのと同様の構成要素には同一の参照符号を付し、その説明を省略する。

図５（ａ）は、運転者が通常の状態で前方の景色を注視している状態を示している。視線検出手段１０で運転者の視線を検出して運転者の視線位置を特定し、これに基づいて撮像手段２１で注視対象を撮像し、注視対象特定手段２０で注視対象の景色を特定する。表示制御手段３０で注視対象の種類を景色と認識し、これに基づいて、注視表示手段４０の表示情報の種類をデフォルト表示の車両速度と定めて表示している。

図５（ｂ）は、運転者が自車線内の先行車８０を注視した状態を示す。これにより、視線検出手段１０は、運転者の視線方向が自車線内、即ちほぼ直線からやや内側方向であり、角度はほぼ水平からやや下がる程度であることを検出し、その注視位置を検出する。この注視位置情報に基づき、撮像手段２１で先行車８０を撮像して注視対象特定手段２０にて自車線内の先行車８０を注視対象と特定するするとともに、ミリ波レーダー等を利用した距離検出手段２２にて、先行車との車間距離を検出する。注視対象特定手段２０により特定された注視対象の情報に基づき、表示制御装置３０は自車線内の先行車８０が注視対象の種類であることを認識し、車間距離情報が運転者を支援する適切な情報であると演算処理して判断する。そして表示手段４０の表示情報の種類を、距離検出手段２２で検出されている車間距離の表示情報に変更する。

また、もっと正確に運転者の意思を推定すべく、運転者の視線が、一定時間内で先行車８０を何回注視するかという注視回数と、注視したときの視線停留時間をも考慮して表示情報の種類を定めることもできる。例えば、運転者の先行車８０の注視回数と注視したときの視線停留時間をも注視対象特定手段２０にて記憶する。次に、表示制御手段３０にてこれらの情報を、一定時間内の注視回数と注視対象の視線停留時間の閾値基準と比較する。その結果、注視回数又は視線停留時間が一定の回数又は一定の時間以上であるときには、車間距離表示に表示手段４０の表示を切り替えるような構成としてもよい。本実施例により、運転者が先行車８０との車間距離を気にしている適切なタイミングで、運転者を適切に支援する車間距離表示情報を自動的に表示提供できる。

図６は、図５において説明した実施例の動作フローの一例を示した図である。

ステップ２００では、運転者が景色を注視しているので、車両表示手段４０はデフォルト表示の車両速度表示であることを示している。

ステップ２１０では、運転者の視線が変化したのを、視線検出手段１０により検出し、その注視位置を検出する。

ステップ２２０では、撮像手段２１により、視線の注視位置にある自車線内の先行車８０を検出し、注視対象特定手段２０により注視対象として特定する。

ステップ２３０では、注視対象である先行車８０を注視した回数、時間等の時系列パターンも注視対象とともに記憶手段２５に記憶される。

ステップ２４０では、表示制御手段３０において、注視対象が自車線内の先行車８０であること、及び必要に応じてその注視の時系列パターンを表すタイムテーブルの情報に基づいて、運転者の必要とする情報、即ち運転者の意思は注視対象である先行車８０との車間距離に関する情報であるとの推定がなされる。時系列パターンについては、例えば、先行車８０を一定時間内に注視した回数や、注視時間の合計等に一定の基準を設けて推定してよい。

ステップ２５０では、運転者に視認意思があるかの最終確認の判断を行なう。注視対象が変更されていないか、運転者の注視パターンが全く異なるものに変化していないか等を最終確認し、運転者に視認意思があると推定できる注視対象又は注視パターンであれば、運転者の視認意思ありと判断し、ステップ２６０に進む。一方、例えば注視対象又は注視パターンが大きく変化し、運転者の視認意思があると推定できない場合には、ステップ２１０に戻り、運転者の視線検出からやり直す。

ステップ２６０では、ステップ２４０で行なった判断の通り、表示手段４０の表示内容を、デフォルト表示の車両速度表示から自車線内走行者８０との車間距離表示に切り替える。これにより、車間距離を気にしながら車両を運転している運転者の意思に沿う表示情報の変更が自動的になされ、運転者の車両の運転が支援される。なお、車間距離は距離検出手段２２により検出されたものを用いてよい。

ステップ２７０では、表示手段４０の表示情報の種類が変更したことを、音声により運転者に通知して認識させる。

ステップ２８０では、記憶手段２５の時系列パターンに関するタイムテーブルの記憶を取り消し、記憶手段２５を開放し、次の表示変更に備える。

なお、注視対象の時系列パターンまでは考慮せず、注視対象の種類のみに基づいて表示情報の種類を定めるときは、ステップ２３０とステップ２５０とステップ２８０は不要である。

本実施例により、運転者が先行車８０との車間距離を気にしている適切なタイミングで、運転者を適切に支援する車間距離表示情報を自動的に表示提供できる。

次に、図７、図８及び図９を用いて、夜間にロービームの照明を点灯しながら走行しているときに、表示情報をナイトビュー表示に切り替える場合の実施例を説明する。

図７は、運転者の注視対象と表示手段４０の表示情報の種類の関係を示す斜視図である。なお、図１と同様の構成要素については、同一の参照符号を付し、その説明を省略する。

図７（ａ）は、運転者が夜間において景色を注視しており、表示手段４０はデフォルト表示の車両速度を表示している状態を示している。視線検出手段１０において運転者の視線から注視地点を検出し、撮像手段２１により注視対象の景色を撮像し、注視対象特定手段２０において注視対象が景色であることを特定する。また、必要に応じて照度センサ２３を設け、周囲の明るさを検出し、夜間であることを検出する。注視対象特定手段２０で特定された注視対象の情報は表示制御手段３０に送られ、注視対象の種類は景色なので、デフォルト表示の速度表示で表示情報は良いとの判断がなされ、表示手段４０には車両速度が表示されている。

図７（ｂ）は、運転者が照明のロービームの照射境界を注視している状態を示す図である。まず、視線検出手段１０により、運転者の視線が遠くの方へ移動し、視線の角度が下向きからやや水平寄りに移動したことが検出され、視線の注視地点が検出される。次に、注視地点の情報に基づき、撮像手段２１により注視地点が撮像され、注視対象特定手段２０により注視対象がロービームの照射境界或いはその先の暗闇であると特定される。なお、例えば照度センサから、照度が図７（ａ）の状態より暗くなったことを検出したら、注視対象が照射境界又はその先であると特定するのを裏付ける検出結果として、利用してもよい。このように特定された注視対象の情報は、表示制御手段３０に送られ、注視対象の種類が照明の照射境界であることに基づき、運転者は現在の照明範囲よりも先を視認する意思を有すると判断し、ロービームより広範囲の視界が得られるナイトビュー表示に表示手段４０の表示情報の種類を変更する。この場合、夜間であり撮像手段２１による画像から注視対象が認識し難い状況もあり得るので、照度センサ２３からの夜間走行中であるとの前提的な検出結果とも併せて、総合的に判断できるように表示制御手段３０の演算アルゴリズムを構成してもよい。

また、運転者の注視対象が照明の照射境界又はその先の暗闇である場合には、運転者は、周囲をよく視認しようとして、又は視認範囲が狭いことの不安から、視線が右路側帯と左側路側帯を交互に行き来し、注視対象に左右の路側帯が含まれる可能性が高い。このような時系列パターンをも考慮し、併せて総合的に判断するように構成してもよい。時系列パターンのタイムテーブルは、記憶手段２５に記憶するようにしてよい。時系列パターンをも考慮することにより、よりきめ細かな表示情報の制御ができ、運転者の車両の運転をより適切に支援することができる。

図８は、ロービームによる視認範囲とナイトビューによる視認範囲の比較例を示した図である。図８（ａ）に示すように、ロービームの視認範囲の２倍以上の距離の先までナイトビューにより視認することが可能である。ナイトビューを利用することにより、夜間走行時、ヘッドランプの照射範囲内外の見えにくい歩行者や車両、障害物、道路状況などを明確に表示し、より広範囲の視界が得られる。ナイトビューは、近赤外線を投光し、それを近赤外線カメラで撮影した映像を表示手段に表示するものである。これを利用することにより、路面形状や落下物など多くの路面情報を表示することができ、暗闇の先の情報を運転者がいち早く認識することが可能になるので、運転者の支援システムとして適しており、本実施例のような運転者を支援する車両用表示装置に好適に適用できる。

図８（ｂ）は、ロービームによる視界の一例である。運転者の視認できる範囲が近い範囲の路面に限られていることが示されている。

一方、図８（ｃ）は、図８（ｂ）と同一の注視対象について、ナイトビュー表示により表示手段４０に表示した表示情報の一例を示すものである。図８（ｂ）よりも遠方に視界が拡大され、運転者はこの表示情報により、夜間の運転負担が大幅に軽減されるので、運転者を支援する表示情報として好ましい。

図９は、図７及び図８において説明した車両速度表示からナイトビュー表示に表示手段４０の情報の種類を変更する動作フローの一例を示す図である。

ステップ３００では、運転者は景色を注視している通常の運転状態を示し、それ故表示情報はデフォルト表示の車両速度表示となっている。

ステップ３１０では、視線検出手段１０により、運転者の視線を検出する。本実施例では、ロービームの先の位置が運転者の注視位置であることを検出する。

ステップ３２０では、注視対象特定手段２０により、注視対象がロービームの先であることを特定する。必要により、撮像手段２１により注視対象を撮像したり、照度センサ２３により周囲の明るさを検出し、これらに基づいて注視対象がロービームの先であることを特定してよい。

ステップ３３０では、運転者の注視対象の変化、即ち注視対象の時系列パターンを記憶手段２５により記憶する。一定時間中のロービーム照射境界、左右路側帯等の注視対象を注視する回数と、注視対象への視線停留時間等も併せて記憶してよい。

ステップ３４０では、表示制御手段３０により、ステップ３２０及びステップ３３０で得られた注視対象の情報及び注視の時系列パターン情報に基づき、運転者の意思がロービーム先の情報であると推定する。なお、注視対象の種類のみに基づいて推定してもよい。

ステップ３５０では、最終的に運転者の意思がロービームの先の情報であるか否かの判断を行なう。時系列パターンの最終的なトリガとなるステップを定めてもよいし、注視対象が全く関係ないものに変更されていないか等で判断してよい。運転者の意思がロービームの先の情報であると最終的に判断されたときにはステップ３６０に進む。一方、運転者の意思が最終的にはロービームの先の情報ではなく、別の情報に変化したと判断されたときには、ステップ３１０に戻り、視線検出からやり直す。

ステップ３６０では、表示制御手段３０の制御指令により、表示手段４０の表示内容を車両速度表示からナイトビュー表示に変更する。この変更により、運転者の視界不安は解消され、運転者の運転を支援することができる。

ステップ３７０では、表示手段４０の表示情報の種類が変更したことを、変更通知音にて運転者に知らせる。運転者に変更を確実に了知させるためである。

ステップ３８０では、記憶手段２５に記憶された時系列パターンの情報を取り消し、記憶手段２５が次の情報を記憶できる状態に戻し、次の表示変更に備える。

なお、注視対象がロービームの先であることのみに基づいて表示情報をナイトビュー表示に変更するように構成するときは、ステップ３３０、ステップ３５０及びステップ３８０は不要である。

図１０及び図１１は、本実施例に係る車両用表示装置を、ブラインドモニター及びサイドモニターの表示に適用する場合の実施例を説明するための図である。ブラインドモニターは、例えば、見通しの悪い交差点やＴ字路などへの進入を最小限にとどめるため、左右の接近車両や自転車、通行人の確認を補助するべく、車両のフロントグリル等の前方中央部にカメラを設け、車両左右方向の約２０ｃｍ程度の近距離の状況を画面に表示するものである。同様に、サイドモニターは、車両左側の確認を補助するとともに、左折時の内輪差による障害物との接触回避を支援するために、ハンドル操作と連動した予想進路線と最大操舵時の最小回転予想進路線を表示したり、路肩などへの幅寄せを支援する車幅平行線を表示したりするものである。

このような、運転者にとって視認し難い死角となる領域をカメラによりモニタリングする機能は運転者の運転支援に役立つが、これらもスイッチにより運転者が手動で表示を切り替えているのが現状である。

そこで、本実施例に係る車両用表示装置をブラインドモニター及びサイドモニターの表示に適用する場合について、以下説明する。

まず、図１０を用いてブラインドモニター表示に表示情報を切り替える実施例について説明する。図１０において、車両は前方にモニターカメラ２６を備えている。このモニターカメラ２６により、左右のブラインドコーナーを撮像する。なお、図１において説明した車両用表示装置に係る構成要素は、図１０においては図示しないが、同一の参照符号を用いて適宜説明に利用する。

通常の車両速度表示で、図１０に示すような見通しの悪いＴ字路に来た場合、運転者は、左右のブラインドを視認しようとして、視線は左右に交互に動く。また、運転者は前方に身を乗り出し、可能な限り左右の前方を視認しようとする。この場合には、注視対象は、左右の壁等の障害物を含む道路と風景で構成された画像が交互に切り替わることになるので、短い時間の周期で、左右の同一画像の繰り返しの時系列パターンがあれば、見通しの悪いＴ字路で運転者は左右を視認しようとしている意思を推定でき、表示手段４０の表示情報の種類をモニターカメラ２６の画像に切り替える。

具体的には、まず、運転者の視線の左右の動きを視線検出手段１０により検出し、注視対象特定手段２０により、左右の壁等の障害物を含む道路と風景で構成された画像を注視対象として特定する。その際、注視対象の注視パターンを記憶手段２５により記憶しておき、時系列パターンも記憶しておくことが望ましい。上述のように、例えば、左右の注視対象が、短い時間周期で複数回繰り返される注視パターンであることが考えられる。次に、注視対象及び時系列パターンが表示制御手段３０に送られ、上述の注視対象と注視時系列パターンから、左右のブラインド画像を運転者が必要としていると推定される。運転者の注視対象が変化しなければ、表示手段４０の表示画面をモニターカメラ２５の表示情報に切り替えて表示する。

本実施例により、運転者が見通しの悪いＴ字路等に居て左右が視認し難い状況下で、特に後から別の車両が続いているようなときには、自動的に左右のブラインドを表示する表示情報に切り替わるので、運転の負担が極めて軽減され、安全性を向上させることができる。

次に、図１０及び図１１を用いて、サイドモニター表示に表示情報を切り替える実施例について説明する。図１０において、車両の左側の網をかけた部分が、サイドモニターで通常撮像できる部分である。サイドモニター用のモニターカメラ２７は、図１１に示すように、左ドアミラーに設置されている。例えば、サイドモニターは、図１１に示すように、左折時にハンドル操作と連動して、予想進路線を表示することができる。予想進路線が、障害物と重ならないようにハンドル操作をすれば、障害物に接触せず通過することができ、更に最大操舵時の最小回転予想進路線も表示され、これが障害物と重ならなければ、通過可能の目安とできる、という表示情報を与えることにより運転を支援するものである。本実施例をサイドモニターに適用することにより、運転者が左折の意思が推定できるときにタイミング良く自動的にサイドモニターを表示し、運転者の運転を支援することができる。

具体的には、以下のようになる。

まず、視線検出手段１０により、運転者の視線を検出する。運転者は左折の意思があるので、左前方の左折進行方向を注視すると考えられる。そして、左側の障害物、又は路肩との距離を見ようとするので、左側のバックミラーを注視すると考えられる。また、巻き込みを防止する観点から、左側後方も注視する可能性があると考えられる。そして、最終的には、左前方の左折進行方向を注視すると考えられる。
注視対象特定手段２０は、このような視線の動きに合わせて、それぞれ注視対象を特定する。注視対象は、上述のように、左前方の進行方向の道路、左側のバックミラー、信号がある場合には信号も含むと考えられる。左側への車線変更も同じような注視対象となるが、道路が左側に延びている画像と、同一方向の左側の車線の画像は異なるので、この点で左折と左側車線への車線変更は区別できる。注視対象特定手段２０では、必要に応じて注視の時系列パターンも記憶手段２５に記憶してよい。注視対象特定手段２０により特定された注視対象の情報は、表示制御手段３０に送られる。

表示制御手段３０では、例えば、注視対象の種類が左前方の進行方向の道路、左側のバックミラーであること、更にはそれらの注視時系列パターンに基づいて、左折する運転者の意思を推定し、サイドモニターの表示画面を、表示手段４０の表示情報に切り替える。必要に応じて、通知音で運転者に変更を通知したり、記憶手段２５の記憶データを開放してよいことは今までの説明と同様である。

本実施例により、サイドモニターの画面を運転者の左折時にタイミングよく自動的に表示でき、運転者の運転を適切に支援して安全性を向上させることができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

本実施例に係る車両用表示装置の一例を示す機能ブロック図である。 本実施例に係る車両用表示装置の動作フローの一例を示した図である。 本実施例に係る車両用表示装置を、具体的に車両へ適用した一例を示す図である。図３（ａ）は、デフォルト表示の状態の本実施例に係る車両用表示装置を示す図である。図３（ｂ）は、表示情報の種類が、簡易ナビゲーションに変更された状態を示す図である。 ドライバー意思推定部３０ａのアルゴリズムの一例を示すフローチャートである。 運転者の注視対象と表示手段４０の表示情報の種類の関係を示す斜視図である。図５（ａ）は、デフォルト表示の状態を示す図である。図５（ｂ）は、運転者が自車線内の先行車８０を注視した状態を示す図である。 図５において説明した実施例の動作フローの一例を示した図である。 運転者の注視対象と表示手段４０の表示情報の種類の関係を示す斜視図である。図７（ａ）は、夜間においてデフォルト表示の状態を示す図である。図７（ｂ）は、運転者が照明のロービームの照射境界を注視している状態を示す図である。 ロービームとナイトビューによる視認範囲の比較例を示した図である。図８（ａ）は、ロービームとナイトビューの視認範囲を示した図である。図８（ｂ）は、ロービームによる視界の一例を示す図である。図８（ｃ）は、ナイトビュー表示の一例を示す図である。 車両速度表示からナイトビュー表示に変更する動作フローの一例を示す図である。 本実施例に係る車両用表示装置を、ブラインドモニター及びサイドモニターの表示に適用する場合の実施例を説明するための図である。 本実施例に係る車両用表示装置を、サイドモニターの表示に適用する場合の実施例を説明するための図である。

符号の説明

１０ 視線検出手段
１０ａ 視線検知センサ
２０ 注視対象特定手段
２０ａ 対象検知器
２１ 撮像手段
２１ａ カメラ
２２ 距離検出手段
２２ａ ミリ波センサ
２３ 照度センサ
２４ 通信情報受信手段
２５ 記憶手段
２６、２７ モニターカメラ
３０ 表示制御手段
３０ａ ドライバー意思推定部
４０ 表示手段
４０ａ コンテンツ表示器
５０ ナビゲーションシステム
６０ メーター
７０ 信号
８０ 自車線内先行車

Claims (3)

1. 情報の種類を切り替えて表示できる表示制御手段を備えた車両用表示装置であって、
   運転者の視線を検出する視線検出手段と、該視線検出手段により検出した運転者の視線に基づき運転者が注視する注視対象を特定する注視対象特定手段と、該注視対象特定手段により特定された前記注視対象の種類に基づいて表示情報の種類を定める表示制御手段と、該表示制御手段により定められた情報を表示する表示手段、とを備えたことを特徴とする車両用表示装置。
2. 前記表示制御手段は、前記注視対象物の種類の変化の時系列パターンに基づいて前記表示情報の種類を定めることを特徴とする請求項１に記載の車両用表示装置。
3. 前記表示情報は、ナイトビュー表示を含むことを特徴とする請求項１又は２に記載の車両用表示装置。

Images