JP2014211787A

JP2014211787A - 情報提供装置

Info

Publication number: JP2014211787A
Application number: JP2013088140A
Authority: JP
Inventors: 佐藤　正行; Masayuki Sato; 正行佐藤; 雄也岸本; Takeya Kishimoto
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2013-04-19
Filing date: 2013-04-19
Publication date: 2014-11-13

Abstract

【課題】運転者に種々の情報を提供する情報提供装置において、表示画面に対する運転者の視線滞留や意識集中を無理なく回避して、当該視線や意識を車両前方へ自然に誘導する。【解決手段】自車両の進行方向前方の映像を撮影するカメラ（１１０）と、第１の表示装置（１０６）と、プロセッサと記憶装置とを備えた処理装置（１００）と、を有し、前記処理装置は、運転者の画像又は運転者が行った操作、若しくは自車両の挙動に係る入力情報に基づき、運転者の視線が前記第１の表示装置に向いているか否かを判断し、前記運転者の視線が前記第１の表示装置に向いていると判断されるときは、当該視線が第１の表示装置の方向に滞留する視線滞留時間を計測し、当該計測した視線滞留時間が所定時間を経過したとき、前記第１の表示装置の表示画面上において、前記第２のカメラが撮影した映像の重畳表示を開始するよう構成される。【選択図】図１

Description

本発明は、車両に搭載されて運転者に種々の情報を提供する情報提供装置に関し、特に、運転中に運転者の視線が当該装置の表示画面に長期滞留するのを回避し得る情報提供装置に関する。

車両運転時の利便性や居住性の向上のため、車両内には、通常、ナビゲーション装置、ステレオ機器、テレビ放送受信機器等、様々な装置が搭載されている。また、これら装置に係る乗員の操作や情報取得を簡便化すべく、これらの装置は、操作入力装置を兼ねた一つの表示装置（例えば、タッチパネル機能を備える液晶表示装置）に接続されて構成されることが多い。

このため、運転者は、車両前方から当該表示装置に視線を移して所望の操作を行う機会が増えることとなり、操作の内容や道路状況等によっては、表示装置に視線を滞留させる時間が長くなって運転操作に支障を来す事態が生じ得る。例えば、走行中においては、表示装置への脇見により前方走行車両との衝突の危険性が高まる。また、赤信号により交差点で停止した場合であっても、信号灯の表示が変わるまでの間に表示装置を操作する際には、一定の停止期間が確保されるとの安心感から表示装置の操作に気を取られ、信号灯の変化に気づかない場合があり得る。

このような表示装置への視線滞留を防止する装置として、従来、車室内に設けたカメラにより運転者の視線方向を特定し、運転者が表示画面を継続的に注視している時間が所定時間以上になったときに、当該表示画面及び車載スピーカにより運転者に警告を発すると共に、警告発出後も運転者が表示画面を注視していれば当該表示画面をオフにする車載用ナビゲーション装置が知られている（特許文献１）。

また、表示装置への視線滞留を防止する他の装置として、車室内に設けたカメラにより運転者の視線方向を特定し、走行中に運転者がナビゲーション装置の方向を向いたことを検知したときは、ナビゲーション装置に表示されている地図情報を、フロントガラス部に設けられたヘッドアップディスプレイ（HUD、Head-Up Display）のほぼ中央に表示する、情報処理装置が知られている（特許文献２）

しかしながら、特許文献１に記載の装置は運転者に対し警告を発して注意を促すため、当該運転者は怒られている印象を持つ等、煩わしさを非常に大きく感じることとなり、場合によっては当該警告に驚いて運転行動が阻害される危険性もある。

また、強制的に表示画面が停止（オフ）された場合には、運転者が感じる煩わしさやストレスはさらに高まることとなる。特に、運転者が表示画面の当該停止を表示装置の不具合や太陽光などによる視認性低下と勘違いした場合には、運転者の心理的負担が増大したり表示画面を凝視してしまうことにもなり、却って運転操作への集中力を低下させる危険性がある。

また、特許文献２に記載の装置では、フロントガラスに設けられたＨＵＤにナビゲーション装置の地図情報が表示されるため、運転者は車両前方と地図情報とを同時に見ることができるものの、結局のところ、運転者は直前まで注視していた地図情報に見入ってしまい、交通環境に向けるべき意識が他の表示情報へ逸らされることとなる。その結果、交通環境への注意がおろそかになり、前方他車両との追突等の事故を発生させる危険性が高まる。

特開２００１−３０７２９８号公報特開２００７−１４１２２３号公報

上記の背景より、表示画面に対する運転者の視線滞留や意識集中を無理なく回避して、運転者の視線及び意識を車両前方の交通環境へ自然に誘導することのできる情報提供装置の実現が望まれている。

本発明は、車両に搭載され運転者に種々の情報を提供する情報提供装置である。本情報提供装置は、自車両の進行方向前方の映像を撮影するカメラと、第１の表示装置と、プロセッサ及び記憶装置を備えた処理装置と、を有する。そして、前記処理装置は、運転者の画像又は運転者が行った操作、若しくは自車両の挙動に係る入力情報に基づき、運転者の視線が前記第１の表示装置に向いているか否かを判断し、前記運転者の視線が前記第１の表示装置に向いていると判断されるときは、当該視線が第１の表示装置の方向に滞留する視線滞留時間を計測し、当該計測した視線滞留時間が所定時間を経過したとき、前記第１の表示装置の表示画面上において、前記カメラが撮影した映像の重畳表示を開始するよう構成される。
本発明の一の態様によると、前記カメラが取得した映像の、前記第１の表示装置上における重畳表示は、前記第１の表示装置上における当該映像の透過率を時間経過と共に減少させることにより開始される。
本発明の他の態様によると、前記カメラが取得した映像の、前記第１の表示装置上における重畳表示の領域は、当該重畳表示の開始後に、前記第１の表示装置の表示画面上をフロントガラスの方向に向かって移動される。
本発明の他の態様によると、車両前方を見る運転者の視界内に配置される第２の表示装置をさらに備え、前記第１の表示装置上に重畳された前記映像は、前記第１の表示装置の表示画面上をフロントガラスの方向へ移動した後、前記第２の表示装置上に移動される。
本発明の更に他の態様によると、前記第２の表示装置は、フロントガラス上に画像を表示するヘッドアップディスプレイである。

本発明によれば、ナビゲーション情報等を表示する情報提供装置において、表示画面に対する運転者の視線滞留及び意識の集中を無理なく回避して、運転者の視線及び意識を車両前方の交通環境へ自然に誘導することができる。

本発明の一実施形態に係る情報提供装置の構成を示すブロック図である。本発明の一実施形態に係る情報提供装置の、自車両室内における配置の一例を示す図である。本発明の一実施形態に係る情報提供装置の２つの表示装置において車両前方映像を重畳表示する際の、表示態様の一例を示す図である。本発明の一実施形態に係る情報提供装置における、滞留時間計測処理の動作手順を示すフロー図である。本発明の一実施形態に係る情報提供装置における、重畳表示処理の動作手順を示すフロー図である。

以下、図面を参照して、本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係る情報提供装置の構成を示すブロック図である。

本情報提供装置１０は、処理装置１００と、第１カメラ１０２と、第１の表示装置であるディスプレイ１０４と、操作入力装置１０６と、第２の表示装置であるヘッドアップディスプレイ（ＨＵＤ）１０８と、第２カメラ１１０と、ナビゲーション装置１１２と、オーディオ装置１１４と、映像装置１１６と、を有している。

第１カメラ１０２は、車室内に設けられ、運転者の少なくとも顔を含む頭部画像（例えば、肩から上の画像）を撮影するように配置されている。第１カメラ１０２が撮影した運転者の頭部画像は、処理装置１００により受信されて、運転者の視線の検出に用いられる。

ディスプレイ１０４は、運転者に種々の情報を表示する第１の表示装置であって、自車両のフロントガラス下部にあるダッシュボードの、例えば車両幅方向の中央部に配されている。ディスプレイ１０４には、ナビゲーション装置１１２、オーディオ装置１１４、映像装置１１６から出力される各種の情報（映像、画像、文字等）が表示される。ディスプレイ１０４は、例えば液晶表示装置（LCD、Liquid Crystal Display）により構成することができる。

操作入力装置１０６は、ディスプレイ１０４上に出力された表示等に対して乗員がデータ入力等の入力操作を行うため装置であり、例えば、ディスプレイ１０４の表示画面上に設けられたタッチパネルとすることができる。

ＨＵＤ１０８は、車両前方を見る運転者の視界内に配置される第２の表示装置の一例であって、自車両のフロントガラス上の運転席前方部分に画像を投影あるいは表示するものである。ＨＵＤ１０８には、予め定められた所定の情報、例えば、自車両の走行速度や、ナビゲーション装置１１２からの経路案内等の情報が表示される。

第２カメラ１１０は、自車両の進行方向に沿って前方の画像を撮影するものであり、例えば自車両の前方バンパー部分に設けられる。

ナビゲーション装置１１２は、経路探索及び経路案内等を行う通常のナビゲーション機能を有し、当該ナビゲーション機能に係る情報を処理装置１００に出力する。当該情報を受信した処理装置１００は、当該情報をディスプレイ１０４に（あるいはＨＵＤ１０８にも）表示すると共に、当該表示に対し操作入力装置１０６を介して乗員が入力した情報等を、ナビゲーション装置１１２へ出力する。ナビゲーション装置１１２、は当該入力された情報を受信して、当該情報に応じた処理を行う。

オーディオ装置１１４は、ＣＤやＵＳＢ（登録商標）メモリ等の記憶媒体に記録され又は記憶された音楽等の音響情報を再生する。オーディオ装置１１４は、当該音響情報の再生に係る情報（例えば、再生音楽のタイトルや、アーティスト名等の付帯情報）を、処理装置１００を介してディスプレイ１０４に表示する。また、オーディオ装置１１４は、操作入力装置１０６を介して乗員が入力する音響情報再生に係る動作指示を、処理装置１００を介して受信し、当該受信した指示に応じて音響情報を再生する。

映像装置１１６は、ＤＶＤ等に記憶され又は記録された映像情報を再生する。映像装置１１６は、当該再生した映像を、処理装置１００を介してディスプレイ１０４に表示する。また、映像装置１１６は、映像情報の再生に係る情報（例えば、再生される映画のタイトルなど）を、処理装置１００を介してディスプレイ１０４に表示する。さらに、映像装置１１６は、操作入力装置１０６を介して乗員が入力する映像情報再生に係る動作指示（例えば、再生を開始すべきチャプターの指定）を、処理装置１００を介して受信し、当該受信した指示に応じて映像情報を再生する。

なお、ナビゲーション装置１１２、オーディオ装置１１４、及び映像装置１１６は運転者に情報を提供する装置の一例であって、処理装置１００には、これらに限らず、運転者がディスプレイ１０４を介して何らかの情報を取得することのできる任意の他の装置を接続することができる。例えば、運転者に提供する情報の情報源として、スマートフォン等の多機能携帯電話を処理装置１００に接続し、当該多機能携帯電話の表示装置に表示される画面を、処理装置１００を介してディスプレイ１０４に表示させるものとすることができる。

処理装置１００は、ＣＰＵ（Central Processing Unit）等のプロセッサと、プログラムが書き込まれたＲＯＭ（Read Only Memory）やデータの一時記憶のためのＲＡＭ（Random Access Memory）等の記憶装置と、を有するコンピュータであり、入力選択ユニット１２０と、操作検出ユニット１２２と、表示制御ユニット１２４と、視線認識ユニット１２６と、重畳制御ユニット１２８と、を有している。

処理装置１００が備える上記各ユニットは、コンピュータである処理装置１００がプログラムを実行することにより実現される仮想マシンであり、機能実現手段である。ただし、上記各ユニットは、それぞれ個別のハードウェアにより構成することもできる。なお、コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。

入力選択ユニット１２０は、ディスプレイ１０４に表示する情報の情報源として、ナビゲーション装置１１２、オーディオ装置１１４、又は映像装置１１６のいずれかを選択する。入力選択ユニット１２０は、乗員から操作入力装置１０６を介して情報源の指定に関する指定情報が入力されたことに応じて、当該指定情報に基づいて、上記装置１１２〜１１６のいずれかを選択する。また、入力選択ユニット１２０は、情報源として上記装置１１２〜１１６を選択した後は、当該選択した装置に関し操作入力装置１０６を介して乗員が入力する情報を、当該選択した装置に出力する。

操作検出ユニット１２２は、乗員が操作入力装置１０６に対して入力した情報を、当該操作入力装置１０６から受信する。操作検出ユニット１２２は、当該受信した情報が、上記選択された装置１１２〜１１６のいずれかの装置に関するものであれば、当該入力選択ユニット１２０を介して当該選択された装置へ上記受信した情報を出力する。また、操作検出ユニット１２２は、上記受信した情報が、処理装置１００の動作に係る情報であるときは、当該動作に係るいずれかのユニット１２０、１２４〜１２８へ、当該受信した情報を受け渡す。なお、上記受信した情報が、処理装置１００の動作に係る情報か否かは、例えば、操作入力装置１０６の特定のボタン操作を処理装置１００の動作に予め関連付けておくことで判断することができる。

表示制御ユニット１２４は、入力選択ユニット１２０を介して入力された装置１１２〜１１６のいずれかからの画像情報又は映像情報を、ディスプレイ１０４の表示画面に出力する。また、表示制御ユニット１２４は、処理装置１００の動作に係る情報も、ディスプレイ１０４に出力する。さらに、表示制御ユニット１２４は、ディスプレイ１０４に出力する情報の全部又は一部、及び又はその他の情報を、ＨＵＤ１０８に表示することができる。

表示制御ユニット１２４は、重畳制御ユニット１２８からの指示に基づき、重畳制御ユニット１２８から出力される画像情報（映像情報を含む）を、ディスプレイ１０４上の画像及び又はＨＵＤ１０８上の画像に重畳して表示することができる。

視線認識ユニット１２６は、第１カメラ１０２が撮影した運転者の頭部画像（顔画像を含む）を受信し、運転者の視線方向を認識する。視線認識ユニット１２６は、運転者がディスプレイ１０４の方向へ視線を向けていることを検知すると、視線が当該方向に向いている状態の持続時間、すなわち、運転者の視線がディスプレイ１０４に滞留している時間（視線滞留時間）の計測を開始する。ここで、運転者の顔画像を含む頭部画像から当該運転者の視線方向を認識する方法としては、公知の任意の手法を用いることができる。

視線認識ユニット１２６は、視線滞留時間が第１及び第２の所定時間を超える毎に、当該各所定時間が経過したことを重畳制御ユニット１２８に通知する。さらに、視線認識ユニット１２６は、ディスプレイ１０４の方向への運転者の視線滞留が終了したときは、その旨を重畳制御ユニット１２８に通知する。

なお、本実施形態では、運転者の視線方向を認識するための情報として第１カメラが撮影する運転者の頭部画像を用いるものとしたが、これに限らず、運転者が自車両前方の交通環境から視線を逸らしていることを推定するための根拠となり得る情報が得られる限りにおいて、カメラと異なる他の手段を用いて視線方向推定のための情報を得るものとすることができる。例えば、運転者に情報を提供する装置（ナビゲーション装置１１２、オーディオ装置１１４、及び映像装置１１６等）に対し運転者が操作を行っていることを操作検出部１２２が検知し、操作検知情報を視線認識ユニット１２６に通知するものとして、視線認識ユニット１２６は、当該操作検知情報が通知されたことをもって、運転者の視線がディスプレイ１０４に向いているものと判断することができる。

また、例えば、第２カメラが撮影する自車両前方の画像に基づき、視線認識ユニット１２６が自車両の非正常挙動を検知するものとし、当該非正常挙動を検知したことをもって運転者の視線がディスプレイ１０４に向いていると推定するものとすることができる。なお、非正常挙動としては、例えば、自車両前方画像に含まれた車線区切り線の位置から判断される車線逸脱や、前方車両画像のサイズ等から判断される車間距離の異常な減少などを用いることができる。

さらに、例えば、第２のカメラからの情報を用いずに、車両に搭載される各種制御装置から車載ネットワーク（例えばＣＡＮ（Controller Area Network））（不図示）を介して取得される車両情報（速度、加速度、ＧＰＳ情報など）に基づいて、運転者の視線がディスプレイ１０４に向いていることを推定するものとしてもよい。例えば、上記ＣＡＮから取得される速度又は加速度の情報から、所定値以下の減速が検出され、かつＧＰＳ情報に基づく車両の位置又は軌跡から、車線からの逸脱が検知され又は予測される場合に、運転者の視線がディスプレイ１０４に向いていると推定してもよい。

重畳制御ユニット１２８は、第２カメラ１１０が撮影している自車両前方の映像（車両前方映像）を取得し、視線認識ユニット１２６からの、視線滞留時間が各所定の時間を経過した旨の通知に基づいて、上記取得した映像を、ディスプレイ１０４及び又はＨＵＤ１０８上の画像に重畳して表示するように、表示制御ユニット１２４に指示する。

具体的には、重畳制御ユニット１２８は、視線滞留時間が第１の所定時間を超えた旨の通知を視線認識ユニット１２６から受け取ると、第２カメラ１１０から取得している車両前方映像をディスプレイ１０４上の所定の位置に重畳するよう、表示制御ユニット１２４に指示する。当該所定の位置は、例えば、ディスプレイ１０４の表示領域のうち、自車両のフロントガラスから遠い位置、通常は下部領域とすることができる。

表示制御ユニット１２４は、当該指示に基づき、重畳制御ユニット１２８から車両前方映像を受信して、当該映像をディスプレイ１０４上の所定の位置に画重畳表示する。このとき、表示制御ユニット１２４は、車両前方映像を、ディスプレイ１０４上の画像に、徐々に重畳表示するものとすることができる。例えば、重畳表示した車両前方映像の透過率を９９％から徐々に下げ（すなわち、映像重畳率を徐々に増やし）、背景画像が透けて見えている状態（透過率９９％）から見えない状態（透過率０％）まで時間の経過と共に一定の比率で変化するように表示するものとすることができる。

また、重畳制御ユニット１２８は、視線滞留時間が第２の所定時間を超えた旨の通知を視線認識ユニット１２６から受け取ると、ディスプレイ１０４上に重畳表示している車両前方映像の位置を、フロントガラスの方向へ、すなわちディスプレイ１０４の表示画面の上方領域へ、徐々に移動させるように、表示制御ユニット１２４に指示する。

このとき、重畳制御ユニット１２８は、車両前方映像のうち、上記重畳位置が上方に移動するにつれてディスプレイ１０４の表示画面からはみ出すこととなる映像部分を、表示制御ユニット１２４に指示してＨＵＤ１０８上に重畳表示するものとすることができる。

さらに、重畳制御ユニット１２８は、表示制御ユニット１２４に指示して、ディスプレイ１０４上の車両前方映像の重畳部分が全てディスプレイ１０４上から出たときに当該車両前方映像の全体がＨＵＤ１０８上に重畳表示されるものとすることができる。

ＨＵＤ１０８上に表示された車両前方映像は、ＨＵＤ１０８上での表示開始から所定の時間の経過後に、重畳制御ユニット１２８が表示制御ユニット１２４に指示することにより、ＨＵＤ１０８上から消去される。

図２は、本実施形態に係る情報提供装置１０の自車両室内における配置の一例を示す図である。図示の例では、フロントガラス２１４の下部にあるダッシュボード２１０の図示右側部分、自車両室内の幅方向中央部に対応する位置に、ディスプレイ１０４が配置されている。図示中央から左の領域は運転席の領域であり、ダッシュボード２１０の図示中央部に第１カメラ１０２が配置されている。また、運転席正面部に速度計２１２が配され、速度計２１２の図示上方のフロントガラス２１４の部分にＨＵＤ１０８が設けられている。

図３Ａ〜Ｃは、２つの表示装置（ディスプレイ１０４及びＨＵＤ１０８）において、第２カメラ１１０からの車両前方映像を重畳する際の、当該重畳表示の表示態様の一例を示す図である。図３Ａでは、ディスプレイ１０４上の地図表示を背景画像として、矩形領域２００ａの位置に車両前方映像が重畳表示されている。当該表示は、重畳制御ユニット１２８が、視線滞留時間が第１の所定時間を超えた旨の通知を視線認識ユニット１２６から受け取ったことに応じて、表示制御ユニット１２４を介してディスプレイ１０４に重畳表示させたものである。

なお、図示の例では、車両前方映像の透過率は０％となっているが、実際には、上述したように透過率がほぼ１００％の状態（背景画像が透けて見えている状態）から図示の状態まで時間経過に伴って透過率を下げ、車両前方映像が徐々に表れるように重畳表示が行われる。

図３Ｂは、視線滞留時間が第２の所定時間を超えたことに応じて、重畳制御ユニット１２８が、ディスプレイ１０４上の車両前方映像をフロントガラス方向（図示上方向）へ移動させた場合の例である。太線矢印２２０ａは、矩形領域２００ａから表示画面左上部の矩形領域２００ｂに向かう車両前方映像の重畳位置の移動を模式的に示している。また、太線矢印２２０ｂは、ディスプレイ１０４からはみ出ることとなる車両前方映像の部分がＨＵＤ１０８上に表示されることを模式的に示している。図３Ｂの例では、矩形領域２００ｂに重畳表示された車両前方映像の、ディスプレイ１０４の表示画面からはみ出した映像部分は、ＨＵＤ１０８の画面右下部分の矩形領域２００ｃに表示されている。

図３Ｃは、ディスプレイ１０４上に重畳表示されていた車両前方映像の全体が、ＨＵＤ１０８上に表示された状態の例を示している。図示の例では、ＨＵＤ１０８の表示画面のほぼ全体に広がる矩形領域２００ｄに車両前方映像が表示されているが、これに限らず、ＨＵＤ１０８にそれまで表示されていた画面を背景画像として、ＨＵＤ１０８の表示領域の一部分に車両前方映像の全体を重畳表示するものとしてもよい。ＨＵＤ１０８に表示あるいは重畳表示された車両前方映像は、ＨＵＤ１０８上への表示開始から所定の時間の経過後に、重畳制御ユニット１２８が表示制御ユニット１２４に消去を指示することにより、ＨＵＤ１０８上から消去される。

なお、図３Ｂにおいて矩形領域２００ａに示したハッチング、及び図３Ｃにおいて矩形領域２００ｂに示したハッチングは、それぞれ矩形領域２００ａ、２００ｂに車両前方映像が重畳されていたことを強調して示したものであり、実際には、図３Ｂ及び図３Ｃにおけるこれらの領域には、背景画像である地図画像が表示されている。

上記の構成を備える情報提供装置１０は、上述したように、運転者の視線がディスプレイ１０４の方向に向かって第１の所定時間を超えて滞留すると、車両前方映像をディスプレイ１０４上に重畳表示する。このため、運転者は、ディスプレイ１０４を見続けていることを自然に認識し、車両前方へ視線を戻すように促されることとなる。また、ディスプレイ１０４上への車両前方映像の重畳表示は、当該映像の透過率を時間経過と共に減少させることで徐々にディスプレイ１０４上に現れるため、従来のように警告音により視線滞留を報知する構成に比べ、運転者は怒られた印象等を持つことなく、より自然に車両前方への視線復帰が促される。これにより、運転者に対しディスプレイ１０４上に表示されたコンテンツ（図３の例では地図）への注視及び意識を徐々に緩和させることができる。

また、本情報提供装置１０では、視線滞留時間がさらに長くなり第２の所定時間を超えると、ディスプレイ１０４上に重畳表示された車両前方映像の表示領域がフロントガラスのある方向へ、すなわち上方向へ向かって徐々に移動する。これにより、運転者の視線は、ディスプレイ１０４からフロントガラス方向へ、従ってフロントガラスを介した車両進行方向の交通環境に向けて、自然に誘導されることとなる。

さらに、本情報提供装置１０では、ディスプレイ１０４の表示画面からＨＵＤ１０８の表示領域へ車両前方映像を移動させるため、ディスプレイ１０４から車両前方への視線の誘導がより効果的に行われることとなる。

次に、情報提供装置１０の動作手順について説明する。
情報提供装置１０の動作は、（ｉ）視線滞留時間を計測する滞留時間計測処理と、（ｉｉ）車両前方映像を重畳表示する重畳表示処理と、により構成される。以下、これらの処理について順に説明する。

〔滞留時間計測処理〕
本処理は、情報提供装置１０の電源が投入されたときに、視線認識ユニット１２６において開始され実行される。本処理では、処理装置１００が備える２つのタイマ１及び２（不図示）と、処理装置１００が備えるＲＡＭ等の記憶装置（不図示）に記憶されるＦｌａｇ（フラグ）を使用する。また、処理の開始時は、Ｆｌａｇはゼロにリセットされている。

視線認識ユニット１２６は、Ｆｌａｇの値によって視線状態を管理する。Ｆｌａｇ＝０は、ディスプレイ１０４に視線が滞留していないことを示し、Ｆｌａｇ＝１は視線滞留が始まって継続していることを示し、Ｆｌａｇ＝２は、視線滞留が中断され、当該中断時間の計測を行っている状態であることを示している。

以下、滞留時間計測処理について、図４に示すフロー図にしたがって説明する。
処理を開始すると、視線認識ユニット１２６は、まず第１カメラ１０２から運転者の顔画像を含む頭部画像を取得し（Ｓ１０１）、当該取得した画像に基づいて運転者の視線方向を認識した後（Ｓ１０２）、当該認識した視線方向が、ディスプレイ１０４の方向であるか否かを判断又は推定する（Ｓ１０３）。

視線方向がディスプレイ１０４の方向であるときは（Ｓ１０３、Ｙｅｓ）、Ｆｌａｇが１か否か、すなわち、既にディスプレイ１０４の方向への視線滞留が始まっていたか否かを判断し（Ｓ１０４）、Ｆｌａｇが１でなければ（Ｓ１０４、Ｎｏ）、Ｆｌａｇが２か否かを判断する（Ｓ１０５）。そして、Ｆｌａｇが２でないときは（Ｓ１０５、Ｎｏ）、Ｆｌａｇ＝０、すなわち、今まで視線は滞留しておらず、新たに視線滞留が開始したものとして、Ｆｌａｇ＝１に設定すると共に（Ｓ１０６）、タイマ１を起動して視線滞留時間の計測を開始した後（Ｓ１０７）、ステップＳ１０１に戻って処理を繰り返す。

一方、ステップＳ１０４においてＦｌａｇ＝１であるときは（Ｓ１０４、Ｙｅｓ）、既に視線滞留が始まっており、タイマ１による視線滞留時間の計測が開始されているものとして、タイマ１が第１の所定時間に達したか否かを判断する（Ｓ１０８）。そして、第１の所定時間に達したときは（Ｓ１０８、Ｙｅｓ）、視線滞留時間が第１の所定時間に達したことを、重畳制御ユニット１２８に通知した後（Ｓ１０９）、ステップＳ１０１に戻って処理を繰り返す。なお、ステップＳ１０８における第１の所定時間に達したか否かの判断は、例えばタイマ１が計測した時間が第１の所定時間を挟む所定の許容誤差時間を含んだ時間範囲内に入ったか否かにより判断することができる。

一方、Ｓ１０８においてタイマ１が第１の所定時間に達していないか、又は第１の所定時間を過ぎているときは（Ｓ１０８、Ｎｏ）、タイマ１が第２の所定時間に達したか否かを判断し（Ｓ１１０）、第２の所定時間に達したときは（Ｓ１１０、Ｙｅｓ）、その旨を重畳制御ユニット１２８に通知した後（Ｓ１１１）、ステップＳ１０１に戻って処理を繰り返す。また、ステップＳ１１０においてタイマ１が第２の所定時間に達していないか、又は第２の所定時間を過ぎているときは（Ｓ１１０、Ｎｏ）、そのままステップＳ１０１に戻って処理を繰り返す。なお、ステップＳ１１０における第２の所定時間に達したか否かの判断は、ステップＳ１０８の場合と同様に、例えばタイマ１が計測した時間が第２の所定時間を挟む所定の許容誤差時間を含んだ時間範囲内に入ったか否かにより判断することができる。

ここで、上記第１及び第２の所定時間は、それぞれ、例えば１秒及び２秒とすることができる。この所定時間の設定は、１．５〜２秒以上の脇見により事故率が増大するとのＮＨＴＳＡ（National Highway Traffic Safety Administration）の１００ｃａｒｓｔｕｄｙの調査結果に基づいている。なお、第１及び第２の所定時間は、走行中及び停止中においてそれぞれ異なる時間を用いるものとすることもできる。例えば、一時停止中（例えば停止開始から所定の時間内）における第１及び第２の所定時間を、走行中における第１及び第２の所定時間よりも長く設定すれば、走行中よりも赤信号停止中の視線滞留時間に余裕を持たせて、車両前方映像の重畳動作を行わせることができる。

ステップ１０５に戻り、当該ステップにおいてＦｌａｇ＝２（視線滞留の中断時間計測状態）であるときは（Ｓ１０５、Ｙｅｓ）、中断時間が所定時間内（後述の第３の所定時間内）に終了し視線滞留が再開されたものとして、タイマ２をゼロにリセットすると共に（Ｓ１１２）、Ｆｌａｇ＝１に設定した後（Ｓ１１３）、ステップＳ１０１に戻って処理を繰り返す。

一方、ステップＳ１０３において運転者の視線方向がディスプレイ１０４の方向でないときは（Ｓ１０３、Ｎｏ）、Ｆｌａｇが１か否かを判断し（Ｓ１１４）、Ｆｌａｇが１でないときは（Ｓ１１４、Ｎｏ）、Ｆｌａｇが０か否かを判断する（Ｓ１１５）。そして、Ｆｌａｇ＝０であれば、視線がディスプレイ１０４方向に滞留していない状態が継続しているものとして、そのままステップＳ１０１に戻って処理を繰り返す。

一方、Ｓ１１４においてＦｌａｇ＝１であるときは（Ｓ１１４、Ｙｅｓ）、視線滞留が中断されたものとし、Ｆｌａｇ＝２に設定し（Ｓ１１６）、タイマ２を起動して滞留中断時間の計測を開始した後（Ｓ１１７）、ステップＳ１０１に戻って処理を繰り返す。

また一方、ステップＳ１１５においてＦｌａｇが０でないときは（Ｓ１１５、Ｎｏ）、Ｆｌａｇ＝２の状態、すなわち、視線滞留の中断時間の計測中であるので、タイマ２が第３の所定時間を経過したか否かを判断する（Ｓ１１８）。そして、タイマ２が第３の所定時間を超えたときは（Ｓ１１８、Ｙｅｓ）、中断時間が長いことから、視線滞留が終了したものとして、タイマ１、２をリセットして時間計測を終了すると共に、Ｆｌａｇを０（ゼロ）にリセットし（Ｓ１１９）、視線滞留が終了したことを重畳制御ユニット１２８に通知した後（Ｓ１２０）、ステップＳ１０１に戻って処理を繰り返す。一方、ステップＳ１１８においてタイマ２が第３の所定時間を超えていないときは（Ｓ１１８、Ｎｏ）、ステップＳ１０１に戻って処理を繰り返す。

これにより、視線滞留の中断時間が第３の所定時間（例えば１秒）を超えない短いものであるときには、視線滞留が継続しているものとして、タイマ１による視線滞留時間の計測を継続し、中断時間が第３の所定時間を超えたときは、視線滞留が終了したものとして、その旨が重畳制御ユニット１２８に通知される。
なお、本処理は、情報提供装置１０の電源が断になったときに終了する。

〔重畳表示処理〕
本処理は、重畳制御ユニット１２８により実行され、上述の滞留時間計測処理により視線認識ユニット１２６から送信される視線滞留時間が第１の所定時間に達した旨の通知（図４のステップＳ１０９）を受け取った時に開始する。

処理を開始すると、重畳制御ユニット１２８は、第２カメラ１１０から車両前方映像の取得を開始し（Ｓ２０１）、表示制御ユニット１２４に対し、車両前方映像を送信すると共にディスプレイ１０４上に当該車両前方映像を重畳するよう指示する（Ｓ２０２）。このとき、重畳制御ユニット１２８は、表示制御ユニット１２４に対し、ディスプレイ１０４上における車両前方映像の重畳領域の位置と、重畳する車両前方映像の透過率の初期値、及び当該透過率の増加率を指定するものとする。ここで、上記透過率の増加率は、例えば０．０１秒当たり１％とすることができる。これにより、表示制御ユニット１２４は、重畳制御ユニット１２８から送信されて来る車両前方映像を、指定された領域に、指定された透過率の初期値及び増加率に従って、ディスプレイ１０４上に重畳表示する。

次に、重畳制御ユニット１２８は、視線認識ユニット１２６から視線滞留時間が第２の所定時間に達した旨の通知（図４のステップＳ１１１）を受信したか否かを判断し（Ｓ２０３）、受信していないときは（Ｓ２０３、Ｎｏ）、ステップＳ２０３を繰り返し、当該通知を受信するのを待機する。一方、当該通知を受信したときは（Ｓ２０３，Ｙｅｓ）、重畳制御ユニット１２８は、表示制御ユニット１２４に対し、ディスプレイ１０４上における車両前方映像の重畳領域の位置を、ディスプレイ１０４の表示画面の徐々に上方へ移動した後、ＨＵＤ１０８上へ移動するにように指示し、表示制御ユニット１２４は、当該指示を実行する（Ｓ２０４）。ここで、ディスプレイ１０４及びＨＵＤ１０８上における重畳領域の移動方向と移動速度、ディスプレイ１０４からＨＵＤ１０８への重畳映像の移動態様の指定は、予め表示制御ユニット１２４に設定されているものとする。なお、上記移動態様の指定及びその実行は、公知のマルチモニタ表示制御の技術に従って行うことができる。

次に、重畳制御ユニット１２８は、ＨＵＤ１０８上に車両前方映像を表示してから所定時間が経過したか否かを判断し（Ｓ２０５）、経過していないときは（Ｓ２０５、Ｎｏ）、ステップＳ２０５を繰り返して、所定時間が経過するのを待機する。一方、所定時間が経過したときは、ＨＵＤ１０８上の車両前方映像の表示を消去した後（Ｓ２０６）、本処理を終了する。ここで、上記所定時間は、例えば０．５秒とすることができる。

なお、本処理は、重畳制御ユニット１２８が、視線認識ユニット１２６から送信された視線滞留が終了した旨の通知（図４のステップＳ１１９）を受信したときにも、終了するものとすることができる。

以上説明したように、本実施形態に係る情報提供装置１０は、車内に設けられた第１カメラ１０２の画像から運転者の視線方向を認識し、運転者の視線がディスプレイ１０４の方向に向いている時間（視線滞留時間）を計測する。そして、視線滞留時間が第１の所定時間を超えると、ディスプレイ１０４上に第２カメラ１１０から取得した車両前方映像を重畳表示する。これにより、運転者によるディスプレイ１０４上の表示コンテンツへの注視と意識を減らすとともに、車両前方映像により車両前方に存在する危険を認識できるようにすることができる。

また、情報提供装置１０は、視線滞留時間が第２の所定時間を超えたときは、ディスプレイ１０４上における車両前方映像の表示位置をフロントガラス方向へ移動させる。これにより、本情報提供装置１０は、運転者の視線と意識をフロントガラス方向へ、したがってフロントガラスを介した車両進行方向の交通環境へと戻るように、自然に誘導することができ、前方走行車両との追突等の事故を未然に防止することができる。

１０・・・情報提供装置、１００・・・処理装置、１０２・・・第１カメラ、１０４・・・ＨＵＤ、１０６・・・ディスプレイ、１０８・・・操作入力装置、１１０・・・第２カメラ、１１２・・・ナビゲーション装置、１１４・・・オーディオ装置、１１６・・・映像装置、１２０・・・入力選択ユニット、１２２・・・操作検出ユニット、１２４・・・表示制御ユニット、１２６・・・視線認識ユニット、１２８・・・重畳制御ユニット、２１０・・・ダッシュボード、２１４・・・フロントガラス。

Claims

自車両の進行方向前方の映像を撮影するカメラと、
第１の表示装置と、
プロセッサ及び記憶装置を備えた処理装置と、
を有し、
前記処理装置は、
運転者の画像又は運転者が行った操作、若しくは自車両の挙動に係る入力情報に基づき、運転者の視線が前記第１の表示装置に向いているか否かを判断し、
前記運転者の視線が前記第１の表示装置に向いていると判断されるときは、当該視線が第１の表示装置の方向に滞留する視線滞留時間を計測し、
当該計測した視線滞留時間が所定時間を経過したとき、前記第１の表示装置の表示画面上において、前記カメラが撮影した映像の重畳表示を開始するよう構成される、
情報提供装置。
前記カメラが取得した映像の、前記第１の表示装置上における重畳表示は、前記第１の表示装置上における当該映像の透過率を時間経過と共に減少させることにより開始される、
請求項１に記載の情報提供装置。
前記カメラが取得した映像の、前記第１の表示装置上における重畳表示の領域は、当該重畳表示の開始後に、前記第１の表示装置の表示画面上をフロントガラスの方向に向かって移動される、
請求項１又は２に記載の情報提供装置。
車両前方を見る運転者の視界内に配置される第２の表示装置をさらに備え、
前記第１の表示装置上に重畳された前記映像は、前記第１の表示装置の表示画面上をフロントガラスの方向へ移動した後、前記第２の表示装置上に移動される、
請求項３に記載の情報提供装置。
前記第２の表示装置は、フロントガラス上に画像を表示するヘッドアップディスプレイである、請求項４に記載の情報提供装置。