JP2018022349A - 情報提示装置 - Google Patents

Abstract

【課題】ドライバに対して有用な情報を十分に提示できる情報提示装置を提供する。【解決手段】車両３００の周辺環境における少なくとも周辺対象物の位置に関する位置関連情報を検出する周辺環境検出部１０２と、ドライバの眼球運動のうち視運動性眼振を示す視運動性眼振情報を計測する眼球運動計測部１０１と、周辺環境検出部１０２で検出した位置関連情報と、眼球運動計測部で計測した視運動性眼振情報とから、ドライバの視線方向とは別に、ドライバが注意している方向である注意方向を推定する注意方向推定部１０５と、注意方向推定部で推定された注意方向に応じて情報を提示する情報提示部１０６と、を備える。【選択図】図３

Description

本開示は、ユーザに車両の周辺環境における周辺対象物に関する情報を提示する情報提示装置に関する。

特許文献１は、乗員（ドライバ）の年齢および疲労度に応じて、提示方法を変更する表示装置などを開示している。

特開２００４−１１０５４６号公報

金成慧、金子寛彦、阪本清美、森俊也、辻勝長、「視運動性眼振に基づいた注意位置の推定」、一般社団法人 電子情報通信学会、信学技報，ｖｏｌ．１１５，ｎｏ．２３２，ＨＩＰ２０１５−８５，ｐｐ．６７−７２，２０１５年９月．

しかしながら、特許文献１では、ドライバに対して有用な情報を十分に提示できていなかった。

そこで、本開示は、ドライバに対して有用な情報を十分に提示できる情報提示装置を提供する。

本開示の一態様に係る情報提示装置は、車両の周辺環境における少なくとも周辺対象物の位置に関する位置関連情報を検出する周辺環境検出部と、ドライバの眼球運動のうち視運動性眼振を示す視運動性眼振情報を計測する眼球運動計測部と、前記周辺環境検出部で検出した前記位置関連情報と、前記眼球運動計測部で計測した前記視運動性眼振情報とから、前記ドライバの視線方向とは別に、前記ドライバが注意している方向である注意方向を推定する注意方向推定部と、前記注意方向推定部で推定された前記注意方向に応じて情報を提示する情報提示部と、を備える。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

上記態様によれば、ドライバに対して有用な情報を十分に提示できる。

図１は、本実施の形態における情報提示装置の使用例を示す図である。 図２は、本実施の形態における表示装置１０によって光が投射される領域であるＤ１の一例を示す図である。 図３は、本実施の形態における情報提示装置の機能構成の一例を示すブロック図である。 図４は、車両が道路上を走行している場合に、車両の位置と、周辺対象物との位置関係を示す図である。 図５は、ドライバからの周辺対象物の見え方を説明するための図である。 図６Ａは、ドライバが所定の周辺対象物に注意を向けている場合に生じる、ドライバの視運動性眼振を示すグラフである。 図６Ｂは、ドライバが所定の周辺対象物に注意を向けている場合に生じる、ドライバの視運動性眼振を示すグラフである。 図７は、本実施の形態における情報提示装置の動作を説明するためのフローチャートである。 図８は、想定緩徐相速度の算出処理の詳細を示すフローチャートである。 図９は、注意方向の推定処理の詳細を示すフローチャートである。 図１０は、脅威対象物に注意を向けているか否かに応じて、提示態様を変更する提示処理の一例を示すフローチャートである。 図１１は、脅威対象物に注意を向けている場合の提示態様の一例を示す図である。 図１２は、脅威対象物に注意を向けていない場合の提示態様の一例を示す図である。 図１３は、漫然運転状態であるか否かに応じて、情報を提示する提示処理の一例を示すフローチャートである。 図１４は、漫然運転状態であるか否かに応じて、情報を提示する提示処理の他の一例を示すフローチャートである。 図１５は、漫然運転状態であるか否かに応じて、情報を提示する提示処理の他の一例を示すフローチャートである。 図１６は、漫然運転状態であると判定された場合に表示される警告表示の一例を示す図である。 図１７は、脅威対象物とは別の方向に注意を向けている場合に、脅威対象物へ注意を向けるように促す提示処理の一例を示すフローチャートである。 図１８は、脅威対象物とは別の方向に注意を向けている場合に、脅威対象物へ注意を向けるように促す表示の一例を示す図である。 図１９は、注意方向における表示領域での位置に何らかの表示がある場合に、当該表示を目立たない表示態様で表示させる提示処理の一例を示すフローチャートである。 図２０は、注意方向における表示領域での位置に何らかの表示がある場合に、当該表示を目立たない表示態様に変更する前後の表示の一例を示す図である。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、表示装置などに関し、以下の問題が生じることを見出した。

特許文献１では、具体的には、表示装置は、ドライバの疲労レベルに基づいて、表示の大きさやコントラストなどをドライバが見やすくなるように変更することが開示されている。

しかしながら、ドライバがどの方向に注意を向けているかを想定していないため、ドライバの注意の状況に応じて、ドライバに対して当該状況であることを提示することについては十分に検討されていなかった。例えば、ドライバが運転する車両の走行方向に何らかの物体があるのに、ドライバが当該物体に注意を向けていないと推定される状況や、ドライバが偏った方向のみに継続して注意を向けていると推定される状況などにおいて、当該状況であることを提示することは検討されていなかった。つまり、従来技術では、ドライバに対して状況に応じた有用な情報を十分に提供できていなかった。

このような問題を解決するために、本発明の一態様に係る情報提示装置は、車両の周辺環境における少なくとも周辺対象物の位置に関する位置関連情報を検出する周辺環境検出部と、ドライバの眼球運動のうち視運動性眼振を示す視運動性眼振情報を計測する眼球運動計測部と、前記周辺環境検出部で検出した前記位置関連情報と、前記眼球運動計測部で計測した前記視運動性眼振情報とから、前記ドライバの視線方向とは別に、前記ドライバが注意している方向である注意方向を推定する注意方向推定部と、前記注意方向推定部で推定された前記注意方向に応じて情報を提示する情報提示部と、を備える。

これによれば、ドライバの視線方向とは別に、ドライバの注意方向を推定し、推定された注意方向に応じて、ドライバに情報を提示できるため、ドライバに対して有用な情報を十分に提供できる。

また、さらに、前記位置関連情報から、前記位置関連情報に対応する前記周辺対象物に対して前記ドライバが注意を向けている場合に想定される、前記ドライバの緩徐相における速度である想定緩徐相速度を算出するオプティカルフロー算出部を備え、前記視運動性眼振情報は、前記ドライバの緩徐相の速度である緩徐相速度を示す情報を含み、前記注意方向推定部は、前記想定緩徐相速度と前記緩徐相速度とを比較することにより、前記ドライバの前記注意方向を推定してもよい。

これによれば、周辺対象物に対してドライバが注意を向けている場合に想定されるドライバの想定緩徐相速度と、ドライバから実際に計測した緩徐相の速度とを比較することにより、ドライバの注意方向を推定するため、ドライバの注意方向を効果的に推定できる。

また、前記オプティカルフロー算出部は、前記位置関連情報を用いて、前記ドライバの視覚におけるオプティカルフローでの、当該位置関連情報に対応する周辺対象物が流れる速度であるフロー速度を算出し、算出した前記フロー速度を用いて、前記想定緩徐相速度を算出してもよい。

これによれば、オプティカルフロー算出部１０４は、複数の周辺対象物のそれぞれがドライバに見えていると推定される放射状のオプティカルフローにおいて、所定の方向に移動する複数の周辺対象物のそれぞれの速度をフロー速度として算出する。つまり、ドライバが注意を向けている周辺対象物を含む複数の周辺対象物のそれぞれのフロー速度を算出し、複数の周辺対象物のそれぞれの想定緩徐相速度を算出する。このため、複数の周辺対象物のそれぞれの想定緩徐相速度と、実際に計測されたドライバの緩徐相速度とを比較することにより、容易にドライバが注意を向けている周辺対象物を特定できる。よって、ドライバが注意を向けている注意方向を容易に推定することができる。

また、さらに、車両の走行情報における少なくとも車速を検出する車両情報取得部を備え、前記オプティカルフロー算出部は、前記位置関連情報および前記車速を用いて、前記フロー速度を算出してもよい。

このように、オプティカルフロー算出部１０４は、位置関連情報の他にさらに車速を用いてフロー速度を算出するため、より精度よくフロー速度を算出できる。

また、前記オプティカルフロー算出部は、算出した前記フロー速度および前記位置関連情報を用いて、前記車両の走行方向と前記車両から前記周辺対象物を見たときの方向との角度の単位時間における変化率を算出し、前記変化率を用いて、前記想定緩徐相速度を算出してもよい。

このため、単純な方法で想定緩徐相速度を算出できる。

また、前記情報提示部は、推定した前記注意方向と、複数の前記周辺対象物のうち前記ドライバに注意を促すべき脅威対象物までの前記車両から見たときの方向を示す脅威方向とに応じて、前記ドライバへの提示態様を変更してもよい。

また、前記情報提示部は、前記注意方向が、前記脅威方向を基準とした第１の範囲内を向いている場合と比較して、前記第１の範囲外を向いている場合に提示する前記情報を強調して提示してもよい。

このため、ドライバが脅威対象物に気づいていないと想定される場合に、強調して提示でき、ドライバに脅威対象物の存在を気づかせることができる。

また、前記眼球運動計測部は、さらに、前記ドライバの視線方向を検出し、前記情報提示部は、前記注意方向および前記視線方向が、前記第１の範囲外を向いている状態が第１の所定時間以上継続している場合、前記情報を提示してもよい。

このため、ドライバが脅威対象物とは異なる方向に注意を向けている状態が第１の所定時間以上継続している場合に、当該状態が長く続いていることを、ドライバに気づかせることができる。よって、ドライバにより注意深く運転させることができ、ドライバが安全運転するように促すことができる。

また、前記情報提示部は、前記視線方向および前記注意方向が移動しない状態が第２の所定時間以上継続している場合、前記情報を提示してもよい。

このため、ドライバが視線方向および注意方向を移動させない状態が長く続いていることを、ドライバに気づかせることができる。よって、ドライバにより注意深く運転させることができ、ドライバが安全運転するように促すことができる。

また、前記情報提示部は、前記情報を提示した時点から、前記視線方向および前記注意方向が前記第１の範囲内または前記第１の範囲とは異なる第２の範囲内に向いている状態が第３の所定時間以上継続している場合、前記ドライバに警告情報を提示してもよい。

このため、情報を提示しても、ドライバが第１の範囲内または第２の範囲内に視線または注意を向けている状態が長く続いていることを、ドライバに気づかせることができる。よって、ドライバにより注意深く運転させることができ、ドライバが安全運転するように促すことができる。

また、前記情報提示部は、前記注意方向が、前記第１の範囲とは異なる第３の範囲内に向いている状態が第４の所定時間以上継続している場合、前記第１の範囲への注意を促す注意情報を前記情報として提示してもよい。

このため、ドライバが第３の範囲内に注意を向けている状態が長く続いており、脅威対象物が存在する方向を気づかせることができる。よって、ドライバにより注意深く運転させることができ、ドライバが安全運転するように促すことができる。

また、前記情報提示部は、所定の表示領域に表示情報を表示することで、前記ドライバに前記情報を提示し、前記注意方向が向いている、前記表示領域における位置である注意位置を基準とした注意領域に表示している表示情報を、前記注意領域以外の領域に表示している表示情報と比較して目立たない表示態様で表示してもよい。

このように、注意領域に表示している表示情報を、注意領域以外の領域に表示している表示情報と比較して目立たない表示態様で表示するため、ドライバが注意を向けている注意領域の表示をドライバが煩わしいと感じることを抑制できる。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、本発明の一態様に係る情報提示装置について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
［１．構成］
図１は、本実施の形態における情報提示装置の使用例を示す図である。

本実施の形態における情報提示装置１００は、表示装置１０と、第１カメラ２０と、第２カメラ３０と、コンピュータ４０とを備える。

表示装置１０は、車載用のヘッドアップディスプレイ（ＨＵＤ）として構成され、車両３００のダッシュボード３０１の上面付近に取り付けられる。

この表示装置１０は、表示媒体であるウインドシールド（フロントガラス）２０１の表示領域Ｄ１に光を投射する。投射された光はそのウインドシールド２０１に反射される。この反射光は、表示装置１０のユーザである運転席に座る運転者の目に向かう。運転者は、目に入ったその反射光を、ウインドシールド２０１越しに見える実際にある物を背景に、ウインドシールド２０１の反対側（車外側）に見える虚像Ｉ１として捉える。つまり、表示装置１０はウインドシールド２０１を用いて虚像Ｉ１を表示する。

第１カメラ２０は、ドライバの顔の画像を撮像するカメラである。第１カメラ２０は、例えば、ウインドシールド２０１の上方に車両の後方に向かう姿勢で配置され、運転席のドライバの顔が位置する領域を撮像対象とする。第１カメラ２０は、異なる複数のタイミングでドライバの顔を含む画像を撮像する。具体的には、第１カメラ２０は、所定の周期（例えば１／２０〔秒〕、１／３０〔秒〕、１／６０〔秒〕など）で、ドライバの顔を含む画像を撮像する。なお、第１カメラ２０は、ドライバの目を含む画像を撮像していればよい。

第２カメラ３０は、車両の周囲の画像を撮像するカメラである。第２カメラ３０は、具体的には、車両の前側に前方に向かう姿勢で配置され、車両の前方の画像を撮像する。第２カメラ３０は、異なる複数のタイミングで車両の前方の画像を撮像する。具体的には、第２カメラ３０は、所定の周期（例えば１／２０〔秒〕、１／３０〔秒〕、１／６０〔秒〕など）で、車両の前方の画像を撮像する。なお、第２カメラ３０は、車両の前方に限らずに、車両の右側の画像を撮像してもよいし、車両の左側の画像を撮像してもよいし、車両の後方の画像を撮像してもよいし、これらの画像を組み合わせてもよい。また、第２カメラ３０は、撮像対象までの奥行きの距離を示す距離情報を取得できるカメラであってもよく、例えば、ステレオカメラであってもよいし、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラであってもよいし、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）であってもよいし、ミリ波センサであってもよい。

第１カメラ２０および第２カメラ３０は、画像として、静止画を撮像してもよいし、動画を撮像してもよい。

コンピュータ４０は、第１カメラ２０および第２カメラ３０において撮像された画像を取得し、取得した画像を用いて所定の画像解析を行い、画像解析の結果を用いて、表示装置１０に表示させる画像を生成し、生成した画像を表示装置１０に表示させる。コンピュータ４０は、プロセッサ、および、プログラムを格納しているメモリを有する。

図２は、本実施の形態における表示装置１０によって光が投射される領域であるＤ１の一例を示す図である。

図２が示すように、ダッシュボード３０１に取り付けられた表示装置１０は例えば、光をウインドシールド２０１の運転席側下寄りに位置する表示領域Ｄ１（図中破線で囲まれた領域）に投射する。これにより、運転席に座る運転者から見てウインドシールド２０１の反対側（車外側）に見える虚像Ｉ１が表示される。

図３は、本実施の形態における情報提示装置の機能構成の一例を示すブロック図である。

情報提示装置１００は、機能構成として、眼球運動計測部１０１と、周辺環境検出部１０２と、車両情報取得部１０３と、オプティカルフロー算出部１０４と、注意方向推定部１０５と、情報提示部１０６とを備える。なお、情報提示装置１００は、図３における破線で示した車両情報取得部１０３を備えていなくてもよい。

眼球運動計測部１０１は、ドライバの眼球運動のうち視運動性眼振を示す視運動性眼振情報を計測する。ここで、視運動性眼振情報は、ドライバの緩徐相の速度である緩徐相速度を示す情報を含む。眼球運動計測部１０１は、具体的には、ドライバの目が撮像された複数の画像に対して所定の画像解析（アイトラッキング）を行うことで、ドライバの視運動性眼振を計測する。また、眼球運動計測部１０１は、ドライバの視運動性眼振を計測することで、ドライバの視運動性眼振の方向と、視運動性眼振における角度とを計測する。

眼球運動計測部１０１は、さらに、ドライバの視線方向を検出してもよい。眼球運動計測部１０１は、具体的には、ドライバの目（眼球）が撮像された複数の画像に対して所定の画像解析（アイトラッキング）を行うことで、ドライバの視線方向を検出してもよい。眼球運動計測部１０１は、例えば、第１カメラ２０、コンピュータ４０などにより構成される。

周辺環境検出部１０２は、車両の周辺環境における少なくとも周辺対象物の位置に関する位置関連情報を検出する。周辺環境検出部１０２は、具体的には、車両の前方（側方または後方）における複数の撮像動画に対して所定の動画解析を行うことで、歩行者、他の車両（自転車、バイクなどを含む）、その他の物体の当該車両に対する相対的な位置（つまり、車両３００からの距離および方向）を検出する。あるいは、周辺環境検出部１０２は、歩行者、他の車両（自転車、バイクなどを含む）、その他の物体の当該車両に対する相対的な位置と相対的な動きである運動分布を検出する。周辺環境検出部１０２は、例えば、第２カメラ３０、コンピュータ４０などにより構成される。

なお、周辺環境検出部１０２は、車両３００の走行経路上にある人または物体、あるいは、車両３００の走行経路上を車両３００の前方において横切ると推定される人または物体に絞り込んでもよい。また、周辺環境検出部１０２は、ドライバの視野内に含まれると推定される全ての人または物体（建物、構造物などを含む）を周辺対象物として認識してもよい。

車両情報取得部１０３は、車両の走行情報における少なくとも車速を検出する。車両情報取得部１０３は、例えば、車両のスピードメータなどにより実現される。車両情報取得部１０３は、車速の他にも、操舵方向を検出してもよいし、走行方向を検出してもよいし、車両の位置情報を検出してもよい。この場合、車両情報取得部１０３は、ステアリングの角度を検出するセンサにより実現されてもよいし、前輪の向きを検出するセンサにより実現されてもよいし、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｓｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュールにより実現されてもよいし、車載Ｇセンサにより実現されてもよい。

オプティカルフロー算出部１０４は、位置関連情報から、位置関連情報に対応する周辺対象物に対してドライバが注意を向けている場合に想定される、ドライバの緩徐相における速度である想定緩徐相速度を算出する。

具体的には、オプティカルフロー算出部１０４は、位置関連情報を用いて、ドライバの視覚におけるオプティカルフローでの、当該位置関連情報に対応する周辺対象物が流れる速度であるフロー速度を算出する。ドライバの視覚におけるオプティカルフローとは、車両３００が走行状態である場合に、車両３００の走行方向を中心とする所定の位置から放射状に外側に向かって流れる景色の流れである。フロー速度は、オプティカルフローにおいて放射状に流れる流れの各方向における速度であり、流れる方向を含む。また、一般的に、オプティカルフローにおいて、車両３００から遠い位置に位置する周辺対象物が移動して見える速度は、車両３００から近い位置に位置する周辺対象物が移動して見える速度よりも遅い。

また、オプティカルフロー算出部１０４は、算出したフロー速度および位置関連情報を用いて、車両の走行方向と車両から周辺対象物を見たときの方向との角度の変化率を算出する。そして、オプティカルフロー算出部１０４は、算出した角度の変化率を用いて、想定緩徐相速度を算出する。

オプティカルフロー算出部１０４は、例えば、コンピュータ４０などにより実現される。

なお、オプティカルフロー算出部１０４は、位置関連情報の他に、さらに、車速を用いて、フロー速度を算出してもよい。

注意方向推定部１０５は、ドライバが注意を向けている場合の視運動性眼振（ＯＫＮ：Ｏｐｔｏｋｉｎｅｔｉｃ Ｎｙｓｔａｇｍｕｓ）の性質を利用して、注意方向を推定する。注意方向の推定は、例えば、非特許文献１に開示されている知見を利用することが考えられる。非特許文献１では、人の中心視野と周辺視野とにおいて、同時に互いに異なる方向の運動刺激が与えられた場合、人が周辺視野における運動刺激に注意を向けたときに、周辺視野における運動刺激の方向に対応した振動性眼振が生じることが開示されている。

ここで、ドライバが、運転中において周辺対象物に注意を向けているときに、計測される視運動性眼振について、図４〜図６Ａおよび図６Ｂを用いて説明する。

図４は、車両が道路上を走行している場合に、車両の位置と、周辺対象物との位置関係を示す図である。図５は、ドライバからの周辺対象物の見え方を説明するための図である。図６Ａおよび図６Ｂは、ドライバが所定の周辺対象物に注意を向けている場合に生じる、ドライバの視運動性眼振を示すグラフである。

図４に示すように、ドライバが車両３００の運転中において、車両３００が位置Ｐ１に位置する場合、走行方向に平行な直線ｄｂと、ドライバが車両３００から前方の周辺対象物Ｏ１（例えば歩行者）を見たときの方向ｄ１とが為す角度は、第１の角度θ１となる。そして、位置Ｐ１から所定時間Δｔ後に、所定の距離だけ車両３００は走行するため、車両３００は、位置Ｐ２に位置するとする。位置Ｐ１から所定時間Δｔ後に車両３００が位置する位置Ｐ２において、車両３００の走行方向に平行な直線ｄｂと、ドライバが車両３００から前方の周辺対象物Ｏ１を見たときの方向ｄ２とが為す角度は、第２の角度θ２となる。この場合、ドライバが運転中において周辺対象物Ｏ１に注意を向けていると仮定すると、ドライバの眼球は、所定時間Δｔの間に第１の角度θ１から第２の角度θ２に変化する。このため、ドライバの視運動性眼振のうちの緩徐相における速度（緩徐相速度）ＥＶは、次のような式１で表される。

ＥＶ＝（θ２−θ１）／Δｔ ・・・（式１）

車両３００が位置Ｐ１から位置Ｐ２まで移動したとき、ドライバからは周辺対象物Ｏ１および周辺対象物Ｏ２が図５に示すように見える。図５の（ａ）は、車両３００が位置Ｐ１に位置するときにドライバの視界における映像を示し、図５の（ｂ）は、車両３００が位置Ｐ２に位置する時にドライバの視界における映像を示す。なお、図５では、上下方向をＺ軸方向とし、上側をＺ軸方向プラス側、下側をＺ軸方向マイナス側とする。また、左右方向をＸ軸方向とし、右側をＸ軸方向プラス側、左側をＸ軸方向マイナス側とする。

図５に示すように、車両３００が位置Ｐ１から位置Ｐ２まで移動したとき、ドライバには、周辺対象物Ｏ１が左方向のＥＶ１で示す矢印に沿って移動するように見える。また、車両３００が位置Ｐ１から位置Ｐ２まで移動したとき、ドライバには、周辺対象物Ｏ２（例えばロードコーン）が左斜め下方向のＥＶ２で示す矢印に沿って移動するように見える。

つまり、ドライバが周辺対象物Ｏ１に注意を向けているときは、ドライバの眼球は左右方向に沿って振動する視運動性眼振が発生し、左方向に向かう場合にＥＶ１に対応する緩徐相が現れる。このため、例えば、図６Ａに示すような視運動性眼振が計測される。

また、ドライバが周辺対象物Ｏ２に注意を向けているときは、ドライバの眼球は左斜め下方向に沿って振動する視運動性眼振が発生し、左斜め下方向に向かう場合にＥＶ２に対応する緩徐相が現れる。このため、例えば、図６Ｂに示すような視運動性眼振が計測される。

また、周辺対象物Ｏ１と周辺対象物Ｏ２とを比較すると、周辺対象物Ｏ１が周辺対象物Ｏ２よりも手前側にあるため、車両３００が位置Ｐ１から位置Ｐ２に移動したときに、ドライバからは、周辺対象物Ｏ１の移動距離が周辺対象物Ｏ２の移動距離よりも長く見える。このため、ドライバの眼球の移動する角度は、周辺対象物Ｏ１に注意を向けているときの方が、周辺対象物Ｏ２に注意を向けているときと比較して大きい。つまり、近くの周辺対象物に注意を向けているときのドライバの緩徐相は、遠くの周辺対象物に注意を向けているときと比較して速いと考えられる。よって、周辺対象物Ｏ１に注意を向けているときの方が、周辺対象物Ｏ２に注意を向けているときと比較して、ドライバの眼球の視運動性眼振における振幅は大きくなる、または、単位時間当たりの振動の回数（周波数）が多くなると考えられる。

以上のことから、ドライバの注意方向を推定する場合、ドライバの眼球の視運動性眼振は、注意を向けている周辺対象物の車両３００に対する相対的な位置に応じて、振動する方向と、振動する大きさ（振幅）または振動する回数（周波数）とが変化することを利用することができると考えられる。つまり、ドライバの視野には放射状の運動刺激としてのオプティカルフローが与えられていることを利用することで、ドライバの眼球の視運動性眼振を計測することにより、ドライバが注意を向けている周辺対象物までの車両３００からの方向（注意方向）を特定することができる。

よって、注意方向推定部１０５は、周辺環境検出部１０２で検出した位置関連情報と、眼球運動計測部１０１で計測した視運動性眼振情報とから、ドライバの視線方向とは別に、ドライバが注意している方向を示す注意方向を推定する。注意方向推定部１０５は、想定緩徐相速度と緩徐相速度とを比較することにより、ドライバの注意方向を推定する。具体的には、注意方向推定部１０５は、オプティカルフロー算出部１０４により算出された、複数の周辺対象物のそれぞれをドライバが見たと想定したときに、ドライバから計測されると推定される想定緩徐相速度と、眼球運動計測部が計測した緩徐相速度とを比較する。そして、注意方向推定部１０５は、最も緩徐相速度と一致する想定緩徐相速度に対応する周辺対象物への車両３００からの方向を注意方向として推定する。注意方向推定部１０５は、例えば、コンピュータ４０などにより実現される。

情報提示部１０６は、注意方向推定部１０５で推定された注意方向に応じて情報を提示する。情報提示部１０６は、例えば、所定の表示領域としての表示領域Ｄ１に表示情報を表示することで、ドライバに情報を提示する表示装置１０により実現される。また、情報提示部１０６は、さらに、音声（単なる音も含む）を出力することによりドライバに情報を提示するスピーカ（図示せず）により実現されてもよい。

情報提示部１０６は、具体的には、推定した注意方向と、複数の周辺対象物のうちドライバに注意を促すべき脅威対象物までの車両から見たときの方向を示す脅威方向とに応じて、ドライバへの提示態様を変更してもよい。例えば、情報提示部１０６は、注意方向が、脅威方向を基準とした第１の範囲内を向いている場合と比較して、第１の範囲外に向いている場合に提示する情報を強調して提示してもよい。

また、例えば、情報提示部１０６は、注意方向および視線方向が、第１の範囲外を向いている状態が第１の所定時間以上継続している場合、情報を提示してもよい。また、例えば、情報提示部１０６は、視線方向および注意方向が移動しない状態が第２の所定時間以上継続している場合、情報を提示してもよい。また、例えば、情報提示部１０６は、情報を提示した時点から、視線方向および注意方向が第１の範囲内または第１の範囲とは異なる第２の範囲内に向いている状態が第３の所定時間以上継続している場合、ドライバに警告情報を提示してもよい。また、例えば、情報提示部１０６は、注意方向が、第１の範囲とは異なる第３の範囲内に向いている状態が第４の所定時間以上継続している場合、第１の範囲への注意を促す注意情報を、情報として提示してもよい。また、例えば、情報提示部１０６は、注意方向が向いている、表示領域における位置である注意位置を基準とした注意領域に表示している表示情報を、注意領域以外の領域に表示している表示情報と比較して目立たない表示態様で表示してもよい。

［２．動作］
次に、情報提示装置１００の動作について説明する。

図７は、本実施の形態における情報提示装置の動作を説明するためのフローチャートである。

図７に示すように、情報提示装置１００では、まず、周辺環境検出部１０２が位置関連情報を検出する（Ｓ１１）。例えば、周辺環境検出部１０２は、図５に示す状況においては、周辺対象物Ｏ１および周辺対象物Ｏ２のそれぞれの位置を示す位置情報を、所定の周期で位置関連情報として取得する。

眼球運動計測部１０１が、ドライバの視運動性眼振情報を計測する（Ｓ１２）。

オプティカルフロー算出部１０４が、位置関連情報から想定緩徐相速度を算出する（Ｓ１３）。想定緩徐相速度の算出処理の詳細は後述する。

注意方向推定部１０５が、想定緩徐相速度および視運動性眼振情報から、注意方向を推定する（Ｓ１３）。注意方向の推定処理の詳細は後述する。

情報提示部１０６が、推定された注意方向に応じて情報を提示する（Ｓ１４）。情報の提示処理の詳細は後述する。

図８は、想定緩徐相速度の算出処理の詳細を示すフローチャートである。

図８に示すように、オプティカルフロー算出部１０４は、位置関連情報を用いて、ドライバの視覚におけるオプティカルフローでの、複数の周辺対象物のそれぞれについて、当該周辺対象物が流れる速度であるフロー速度を算出する（Ｓ２１）。例えば、オプティカルフロー算出部１０４は、周辺対象物Ｏ１および周辺対象物Ｏ２のそれぞれの位置関連情報を用いて、周辺対象物Ｏ１および周辺対象物Ｏ２のそれぞれについてフロー速度を算出する。

次に、オプティカルフロー算出部１０４は、複数の周辺対象物のそれぞれについて算出したフロー速度を用いて、当該周辺対象物にドライバが注意を向けている場合に想定される、当該ドライバの緩徐相における速度である想定緩徐相速度を算出する（Ｓ２２）。例えば、オプティカルフロー算出部１０４は、周辺対象物Ｏ１および周辺対象物Ｏ２のそれぞれのフロー速度を用いて、例えば、図６に示すような視運動性眼振がドライバの眼球に生じることを推定することで、周辺対象物Ｏ１および周辺対象物Ｏ２のそれぞれについて想定緩徐相速度を算出する。

図９は、注意方向の推定処理の詳細を示すフローチャートである。

図９に示すように、注意方向推定部１０５は、複数の想定緩徐相速度のそれぞれと、視運動性眼振情報に含まれるドライバの緩徐相速度とを比較する（Ｓ３１）。

次に、注意方向推定部１０５は、比較した結果、ドライバの緩徐相速度との一致度（相関度）が最も大きい相対緩徐相速度に対応する周辺対象物への方向を注意方向として特定する（Ｓ３２）。

次に、情報提示装置１００の提示処理の詳細について、図１０〜図２０を用いて説明する。

情報提示装置１００は、提示処理として、ドライバが脅威対象物に注意を向けているか否かに応じて、情報の提示態様を変更してもよい。

図１０は、脅威対象物に注意を向けているか否かに応じて、提示態様を変更する提示処理の一例を示すフローチャートである。図１１は、脅威対象物に注意を向けている場合の提示態様の一例を示す図である。図１２は、脅威対象物に注意を向けていない場合の提示態様の一例を示す図である。

情報提示部１０６は、脅威対象物があるか否かを判定する（Ｓ４１）。情報提示部１０６は、脅威対象物があるか否かの判定を、周辺環境検出部１０２の検出結果を用いて行う。例えば、情報提示部１０６は、車両３００の走行経路上に人または物体がある場合、あるいは、車両３００の走行経路上を車両３００の前方において人または物体が横切ると推定される場合に、当該人または当該物体を脅威対象物であると判定する。

また、例えば、情報提示部１０６は、周辺環境検出部１０２が車両３００の走行経路上にある人または物体、あるいは、車両３００の走行経路上を車両３００の前方において横切ると推定される人または物体に絞り込んでいる場合には、周辺環境検出部１０２が周辺対象物の位置関連情報を取得した場合に、脅威対象物があると判定してもよい。

次に、情報提示部１０６は、注意方向推定部１０５において推定された注意方向が、車両３００から脅威対象物への方向である脅威方向を基準とした第１の範囲内を向いているか否かを判定する（Ｓ４２）。例えば、脅威方向は、車両３００の運転席の位置から脅威対象物の中心の位置への方向とする。また、第１の範囲は、脅威方向を基準とした所定の角度（例えば１５度）以内の、車両の位置を頂点とする円錐形状の範囲とする。なお、第１の範囲は、脅威対象物の輪郭から所定の角度（例えば５度）以内の範囲としてもよい。

次に、情報提示部１０６は、注意方向が第１の範囲内を向いていると判定した場合（Ｓ４２でＹｅｓ）、注意を示す注意表示を提示する（Ｓ４３）。情報提示部１０６は、例えば、図１１に示すように、表示領域Ｄ１に、表示領域Ｄ１の外周に沿った形状の二重の長方形の枠を注意表示１１３として提示する。図１１の状況では、脅威対象物である周辺対象物Ｏ１に注意方向１１２が向いているため、表示領域Ｄ１に注意表示１１３が表示される。なお、マーク１１４は、脅威対象物が存在する位置をドライバに通知するためのマークであり、脅威対象物がドライバから見える位置に対応する表示領域Ｄ１での位置に表示される。

一方で、情報提示部１０６は、注意方向が第１の範囲内を向いていないと判定した場合（Ｓ４２でＮｏ）、警告を示す警告表示を提示する（Ｓ４４）。情報提示部１０６は、例えば、図１２に示すように、表示領域Ｄ１に、表示領域Ｄ１の外周に沿った形状の斜線ハッチングの長方形の枠であって、注意表示１１３よりも強調された枠を、警告表示１１５として提示する。なお、警告表示１１５は、注意表示１１３よりも強調されるように、注意表示１１３よりも、太い線で表示されてもよいし、黄色および黒の縞模様や、赤色など色が強調されて表示されてもよいし、濃い色で表示されてもよい。また、情報提示部１０６は、ステップＳ４２で「Ｙｅｓ」と判定した場合、注意表示１１３を表示するとしたが、注意表示１１３を表示しなくてもよい。

なお、図１１および図１２では、説明のために、視線方向１１１を円に十字のマークで図示し、注意方向１１２を同心円状の複数の円のマークで図示しているが、実際には表示されない。また、図１１および図１２では、説明のために、「注意表示」、「警告表示」を表示しているが、実際には表示されない。

また、情報提示部１０６は、提示処理として、ドライバが漫然運転状態であるか否かに応じて、情報を提示してもよい。漫然運転状態とは、ドライバの注意方向または視線方向が所定の範囲内に向かっている状態が所定時間以上継続する状態である。漫然運転状態における提示処理について、図１３〜図１６を用いて説明する。

図１３は、漫然運転状態であるか否かに応じて、情報を提示する提示処理の一例を示すフローチャートである。

情報提示部１０６は、脅威対象物があるか否かを判定する（Ｓ５１）。ステップＳ５１は、ステップＳ４１と同様であるので詳細な説明を省略する。

次に、情報提示部１０６は、脅威対象物があると判定した場合（Ｓ５１でＹｅｓ）、注意方向および視線方向が第１の範囲外にあるか否かを判定する（Ｓ５２）。なお、第１の範囲は、上記で説明したものと同様である。

情報提示部１０６は、注意方向および視線方向が第１の範囲外にあると判定した場合（Ｓ５２でＹｅｓ）、注意方向および視線方向が第１の範囲外にある状態が第１の所定時間、例えば３秒間継続しているか否かを判定する（Ｓ５３）。

情報提示部１０６は、注意方向および視線方向が第１の範囲外にある状態が第１の所定時間継続していると判定した場合（Ｓ５３でＹｅｓ）、警告を提示する（Ｓ５４）。

情報提示部１０６は、脅威対象物がないと判定した場合（Ｓ５１でＮｏ）、または、注意方向および視線方向が第１の範囲外にある状態が第１の所定時間継続していないと判定した場合（Ｓ５３でＮｏ）、ステップＳ５１の処理を再度行う。

情報提示部１０６は、注意方向および視線方向が第１の範囲内にあると判定した場合（Ｓ５２でＮｏ）、この提示処理を終了する。

以上のように、図１３に示した提示処理では、注意方向および視線方向が第１の範囲外にある状態が第１の所定時間継続している場合に、警告を提示する。

図１４は、漫然運転状態であるか否かに応じて、情報を提示する提示処理の他の一例を示すフローチャートである。

情報提示部１０６は、注意方向および視線方向が所定範囲に留まっているか否かを判定する（Ｓ６１）。つまり、情報提示部１０６は、注意方向および視線方向が移動しない状態であるか否かを判定する。なお、所定範囲は、例えば、所定歩行を基準とした１５度の角度の車両３００を頂点とする円錐形状の角度範囲である。

情報提示部１０６は、注意方向および視線方向が所定範囲に留まっていると判定した場合（Ｓ６１でＹｅｓ）、注意方向および視線方向が所定範囲に留まっている状態が第２の所定時間、例えば１０秒間継続しているか否かを判定する（Ｓ６２）。

情報提示部１０６は、注意方向および視線方向が所定範囲に留まっていないと判定した場合（Ｓ６１でＮｏ）、この提示処理を終了する。

情報提示部１０６は、注意方向および視線方向が所定範囲に留まっている状態が第２の所定時間継続していると判定した場合（Ｓ６２でＹｅｓ）、警告を提示する（Ｓ６３）。

情報提示部１０６は、注意方向および視線方向が所定範囲に留まっている状態が第２の所定時間継続していないと判定した場合（Ｓ６２でＮｏ）、ステップＳ６１の処理を再度行う。

以上のように、図１４に示した提示処理では、注意方向および視線方向が所定範囲に留まっている状態が第２の所定時間継続している場合に、警告を提示する。

図１５は、漫然運転状態であるか否かに応じて、情報を提示する提示処理の他の一例を示すフローチャートである。

情報提示部１０６は、情報提示中であるか否かを判定する（Ｓ７１）。具体的には、情報提示部１０６は、表示装置１０において注意の提示および警告の提示のいずれかを行っているか否かを判定する。

次に、情報提示部１０６は、注意方向および視線方向が第１の範囲内または第２の範囲内に向いているか否かを判定する（Ｓ７２）。なお、第１の範囲は、上記で説明したものと同様であり、第２の範囲は、上記で説明した所定範囲であって第１の範囲とは異なる範囲である。

情報提示部１０６は、注意方向および視線方向が第１の範囲内または第２の範囲内に向いていると判定した場合（Ｓ７２でＹｅｓ）、注意方向および視線方向が第１の範囲内または第２の範囲内に向いている状態が第３の所定時間、例えば１０秒間継続しているか否かを判定する（Ｓ７３）。つまり、情報提示部１０６は、注意方向が第１の範囲に向いている状態、または、注意方向が第２の範囲に向いている状態が第３の所定時間継続している場合であって、視線方向が第１の範囲に向いている状態、または、視線方向が第２の範囲に向いている状態が第３の所定時間継続している場合であるか否かを判定する。

情報提示部１０６は、注意方向および視線方向が第１の範囲内または第２の範囲内に向いている状態が第３の所定時間継続していると判定した場合（Ｓ７３でＹｅｓ）、警告を提示する（Ｓ７４）。

情報提示部１０６は、情報提示中でないと判定した場合（Ｓ７１でＮｏ）、または、注意方向および視線方向が第１の範囲内または第２の範囲内に向いている状態が第３の所定時間継続していないと判定した場合（Ｓ７３でＮｏ）、ステップＳ７１の処理を再度行う。

情報提示部１０６は、注意方向および視線方向が第１の範囲内または第２の範囲内に向いていないと判定した場合（Ｓ７２でＮｏ）、この提示処理を終了する。

以上のように、図１５に示した提示処理では、既に注意の提示や警告の提示が行われている状況であっても、注意方向および視線方向が第１の範囲内または第２の範囲内に向いている状態が第３の所定時間以上継続している場合に、警告を提示する。

図１６は、漫然運転状態であると判定された場合に表示される警告表示の一例を示す図である。

図１６に示すように、情報提示部１０６は、図１３〜図１５を用いて提示処理において、ステップＳ５４、ステップＳ６３、または、ステップＳ７４にて、警告表示１１５およびマーク１１６を提示する。なお、情報提示部１０６は、警告表示１１５およびマーク１１６を表示領域Ｄ１に表示するだけでなく、音声で漫然運転であることをドライバに提示してもよい。

また、情報提示部１０６は、提示処理として、脅威対象物がある状態で、ドライバが脅威対象物とは別の方向に注意を向けている場合に、脅威対象物へ注意を向けるように促す表示を行ってもよい。

図１７は、脅威対象物とは別の方向に注意を向けている場合に、脅威対象物へ注意を向けるように促す提示処理の一例を示すフローチャートである。図１８は、脅威対象物とは別の方向に注意を向けている場合に、脅威対象物へ注意を向けるように促す表示の一例を示す図である。

情報提示部１０６は、脅威対象物があるか否かを判定する（Ｓ８１）。ステップＳ８１は、ステップＳ４１と同様であるので詳細な説明を省略する。

次に、情報提示部１０６は、脅威対象物があると判定した場合（Ｓ８１でＹｅｓ）、注意方向が第３の範囲内にあるか否かを判定する（Ｓ８２）。なお、第３の範囲は、上記で説明した所定範囲であって第１の範囲とは異なる範囲である。

情報提示部１０６は、注意方向が第３の範囲内にあると判定した場合（Ｓ８２でＹｅｓ）、注意方向が第３の範囲内にある状態が第４の所定時間、例えば１０秒間継続しているか否かを判定する（Ｓ８３）。

情報提示部１０６は、注意方向が第３の範囲内にある状態が第４の所定時間継続していると判定した場合（Ｓ８３でＹｅｓ）、第１の範囲へ注意を向けるように促す注意情報を提示する。具体的には、図１８に示すように、周辺対象物Ｏ１が脅威対象物であると判定された場合であっても、注意方向１１２が周辺対象物Ｏ１に向いていない状態が第４の所定時間継続している場合、視野の右側にある注意方向１１２を周辺対象物Ｏ１へ向けることを促す矢印である注意表示１１７を表示領域Ｄ１に表示する。つまり、注意表示１１７は、例えば、注意方向１１２が向いている表示領域Ｄ１における位置から、周辺対象物Ｏ１がドライバから見える位置に対応する表示領域Ｄ１の位置へ向いている矢印を注意表示１１７として表示領域Ｄ１に表示する。

情報提示部１０６は、脅威対象物がないと判定した場合（Ｓ８１でＮｏ）、または、注意方向が第３の範囲内にある状態が第４の所定時間継続していないと判定した場合（Ｓ８３でＮｏ）、ステップＳ８１の処理を再度行う。

情報提示部１０６は、注意方向が第３の範囲外にあると判定した場合（Ｓ８２でＮｏ）、この提示処理を終了する。

また、情報提示部１０６は、提示処理として、ドライバが注意を向けている方向に対応する表示領域Ｄ１１での位置に何らかの表示がある場合に、当該表示を目立たない表示態様で表示させてもよい。

図１９は、注意方向における表示領域での位置に何らかの表示がある場合に、当該表示を目立たない表示態様で表示させる提示処理の一例を示すフローチャートである。図２０は、注意方向における表示領域での位置に何らかの表示がある場合に、当該表示を目立たない表示態様に変更する前後の表示の一例を示す図である。

情報提示部１０６は、注意方向における表示領域Ｄ１１における位置である注意位置を基準とした注意領域に何らかの表示があるか否かを判定する（Ｓ９１）。

情報提示部１０６は、注意領域に何らかの表示があると判定した場合（Ｓ９１でＹｅｓ）、当該表示を削除する（Ｓ９２）。

具体的には、図２０の（ａ）に示すように、表示領域Ｄ１においてマーク１１４を表示している場合において、図２０の（ｂ）に示すように、注意方向１１２がマーク１１４を表示している方向を向いた場合、マーク１１４を削除する。なお、図２０においては、表示領域Ｄ１１が、表示領域Ｄ１よりも大きい領域である。つまり、図２０に示すようにより大きい表示領域Ｄ１１が採用されている場合に、注意方向と何らかの表示とが重なりやすい。このような場合であっても、注意方向と重なった表示を削除することで、ドライバが注意を向けている領域の表示をドライバが煩わしいと感じることを抑制できる。また、注意方向と重なった表示は削除しなくてもよく、注意方向と重なっていない場合と比較して薄く表示するようにしてもよい。なお、注意領域は、注意方向１１２を示す同心円状の複数の円のマークが占める領域で表されているものとする。

［３．効果など］
本実施の形態に係る情報提示装置１００は、周辺環境検出部１０２と、眼球運動計測部１０１と、注意方向推定部１０５と、情報提示部１０６とを備える。周辺環境検出部１０２は、車両３００の周辺環境における少なくとも周辺対象物の位置に関する位置関連情報を検出する。眼球運動計測部１０１は、ドライバの眼球運動のうち視運動性眼振を示す視運動性眼振情報を計測する。注意方向推定部１０５は、周辺環境検出部１０２で検出した位置関連情報と、眼球運動計測部１０１で計測した視運動性眼振情報とから、ドライバの視線方向とは別に、ドライバが注意している方向である注意方向を推定する。情報提示部１０６は、注意方向推定部１０５で推定された注意方向に応じて情報を提示する。

これによれば、ドライバの視線方向とは別に、ドライバの注意方向を推定し、推定された注意方向に応じて、ドライバに情報を提示できるため、ドライバに対して有用な情報を十分に提供できる。

また、本実施の形態において、情報提示装置１００は、さらに、オプティカルフロー算出部１０４を備える。オプティカルフロー算出部１０４は、位置関連情報から、位置関連情報に対応する周辺対象物に対してドライバが注意を向けている場合に想定される、ドライバの緩徐相における速度である想定緩徐相速度を算出する。視運動誓願新情報は、ドライバの緩徐相の速度である緩徐相速度を示す情報を含む。注意方向推定部１０５は、想定緩徐相速度と緩徐相速度とを比較することにより、ドライバの注意方向を推定する。

これによれば、周辺対象物に対してドライバが注意を向けている場合に想定されるドライバの想定緩徐相速度と、ドライバから実際に計測した緩徐相の速度とを比較することにより、ドライバの注意方向を推定するため、ドライバの注意方向を効果的に推定できる。

また、本実施の形態において、オプティカルフロー算出部１０４は、位置関連情報を用いて、ドライバの視覚におけるオプティカルフローでの、当該位置関連情報に対応する周辺対象物が流れる速度であるフロー速度を算出する。オプティカルフロー算出部１０４は、算出したフロー速度を用いて、想定緩徐相速度を算出する。

これによれば、オプティカルフロー算出部１０４は、複数の周辺対象物のそれぞれがドライバに見えていると推定される放射状のオプティカルフローにおいて、所定の方向に移動する複数の周辺対象物のそれぞれの速度をフロー速度として算出する。つまり、ドライバが注意を向けている周辺対象物を含む複数の周辺対象物のそれぞれのフロー速度を算出し、複数の周辺対象物のそれぞれの想定緩徐相速度を算出する。このため、複数の周辺対象物のそれぞれの想定緩徐相速度と、実際に計測されたドライバの緩徐相速度とを比較することにより、容易にドライバが注意を向けている周辺対象物を特定できる。よって、ドライバが注意を向けている注意方向を容易に推定することができる。

また、本実施の形態において、情報提示装置１００は、さらに、車両情報取得部１０３を備える。車両情報取得部１０３は、車両３００の走行情報における少なくとも車速を検出する。オプティカルフロー算出部１０４は、位置関連情報および車速を用いて、フロー速度を算出する。

このように、オプティカルフロー算出部１０４は、位置関連情報の他にさらに車速を用いてフロー速度を算出するため、より精度よくフロー速度を算出できる。

また、本実施の形態においてオプティカルフロー算出部１０４は、算出したフロー速度および位置関連情報を用いて、車両３００の走行方向と車両３００から周辺対象物を見たときの方向との角度の単位時間における変化率を算出する。オプティカルフロー算出部１０４は、算出した変化率を用いて、想定緩徐相速度を算出する。

このため、単純な方法で想定緩徐相速度を算出できる。

また、本実施の形態において情報提示部１０６は、推定した注意方向と、複数の周辺対象物のうちドライバに注意を促すべき脅威対象物までの車両３００から見たときの方向を示す脅威方向とに応じて、ドライバへの提示態様を変更する。具体的には、情報提示部１０６は、注意方向が、脅威方向を基準とした第１の範囲内を向いている場合の注意表示１１３と比較して、第１の範囲外を向いている場合に提示する警告表示１１５を強調して提示する。

このため、ドライバが脅威対象物に気づいていないと想定される場合に、強調した警告表示１１５を提示でき、ドライバに脅威対象物の存在を気づかせることができる。

また、本実施の形態において眼球運動計測部１０１は、さらに、ドライバの視線方向を検出する。情報提示部１０６は、注意方向および視線方向が、第１の範囲外を向いている状態が第１の所定時間以上継続している場合、情報を提示する。

このため、ドライバが脅威対象物とは異なる方向に注意を向けている状態が第１の所定時間以上継続している場合に、当該状態が長く続いていることを、ドライバに気づかせることができる。よって、ドライバにより注意深く運転させることができ、ドライバが安全運転するように促すことができる。

また、本実施の形態において情報提示部１０６は、視線方向および注意方向が移動しない状態が第２の所定時間以上継続している場合、情報を提示する。

このため、ドライバが視線方向および注意方向を移動させない状態が長く続いていることを、ドライバに気づかせることができる。よって、ドライバにより注意深く運転させることができ、ドライバが安全運転するように促すことができる。

また、本実施の形態において情報提示部１０６は、情報を提示した時点から、視線方向および注意方向が第１の範囲内または第１の範囲とは異なる第２の範囲内に向いている状態が第３の所定時間以上継続している場合、ドライバに警告情報を提示する。

このため、情報を提示しても、ドライバが第１の範囲内または第２の範囲内に視線または注意を向けている状態が長く続いていることを、ドライバに気づかせることができる。よって、ドライバにより注意深く運転させることができ、ドライバが安全運転するように促すことができる。

また、本実施の形態において情報提示部１０６は、注意方向が、第１の範囲とは異なる第３の範囲内に向いている状態が第４の所定時間以上継続している場合、第１の範囲への注意を促す注意情報を情報として提示する。

このため、ドライバが第３の範囲内に注意を向けている状態が長く続いており、脅威対象物が存在する方向を気づかせることができる。よって、ドライバにより注意深く運転させることができ、ドライバが安全運転するように促すことができる。

また、本実施の形態において情報提示部１０６は、所定の表示領域Ｄ１１に表示情報を表示することで、ドライバに情報を提示する。情報提示部１０６は、注意方向が向いている、表示領域における位置である注意位置を基準とした注意領域に表示している表示情報を、注意領域以外の領域に表示している表示情報と比較して目立たない表示態様で表示する。

このように、注意領域に表示している表示情報を、注意領域以外の領域に表示している表示情報と比較して目立たない表示態様で表示するため、ドライバが注意を向けている注意領域の表示をドライバが煩わしいと感じることを抑制できる。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の情報提示装置１００などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、車両の周辺環境における少なくとも周辺対象物の位置に関する位置関連情報を検出し、ドライバの眼球運動のうち視運動性眼振を示す視運動性眼振情報を計測し、検出した前記位置関連情報と、計測した前記視運動性眼振情報とから、前記ドライバの視線方向とは別に、ドライバが注意している方向である注意方向を推定し、推定した前記注意方向に応じて情報を提示する情報提示方法を実行させる。

以上、本発明の一つまたは複数の態様に係る情報提示装置および情報提示方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。

本開示は、ドライバに対して有用な情報を十分に提示できる情報提示装置などとして有用である。

１０ 表示装置
２０ 第１カメラ
３０ 第２カメラ
４０ コンピュータ
１００ 情報提示装置
１０１ 眼球運動計測部
１０２ 周辺環境検出部
１０３ 車両情報取得部
１０４ オプティカルフロー算出部
１０５ 注意方向推定部
１０６ 情報提示部
１１１ 視線方向
１１２ 注意方向
１１３ 注意表示
１１４ マーク
１１５ 警告表示
１１６ マーク
１１７ 注意表示
２０１ ウインドシールド
３００ 車両
３０１ ダッシュボード

Claims (14)

1. 車両の周辺環境における少なくとも周辺対象物の位置に関する位置関連情報を検出する周辺環境検出部と、
   ドライバの眼球運動のうち視運動性眼振を示す視運動性眼振情報を計測する眼球運動計測部と、
   前記周辺環境検出部で検出した前記位置関連情報と、前記眼球運動計測部で計測した前記視運動性眼振情報とから、前記ドライバの視線方向とは別に、前記ドライバが注意している方向である注意方向を推定する注意方向推定部と、
   前記注意方向推定部で推定された前記注意方向に応じて情報を提示する情報提示部と、を備える
   情報提示装置。
2. さらに、
   前記位置関連情報から、前記位置関連情報に対応する前記周辺対象物に対して前記ドライバが注意を向けている場合に想定される、前記ドライバの緩徐相における速度である想定緩徐相速度を算出するオプティカルフロー算出部を備え、
   前記視運動性眼振情報は、前記ドライバの緩徐相の速度である緩徐相速度を示す情報を含み、
   前記注意方向推定部は、前記想定緩徐相速度と前記緩徐相速度とを比較することにより、前記ドライバの前記注意方向を推定する
   請求項１記載の情報提示装置。
3. 前記オプティカルフロー算出部は、
   前記位置関連情報を用いて、前記ドライバの視覚におけるオプティカルフローでの、当該位置関連情報に対応する周辺対象物が流れる速度であるフロー速度を算出し、
   算出した前記フロー速度を用いて、前記想定緩徐相速度を算出する
   請求項２に記載の情報提示装置。
4. さらに、
   車両の走行情報における少なくとも車速を検出する車両情報取得部を備え、
   前記オプティカルフロー算出部は、前記位置関連情報および前記車速を用いて、前記フロー速度を算出する
   請求項３に記載の情報提示装置。
5. 前記オプティカルフロー算出部は、
   算出した前記フロー速度および前記位置関連情報を用いて、前記車両の走行方向と前記車両から前記周辺対象物を見たときの方向との角度の単位時間における変化率を算出し、
   前記変化率を用いて、前記想定緩徐相速度を算出する
   請求項３または４に記載の情報提示装置。
6. 前記情報提示部は、推定した前記注意方向と、複数の前記周辺対象物のうち前記ドライバに注意を促すべき脅威対象物までの前記車両から見たときの方向を示す脅威方向とに応じて、前記ドライバへの提示態様を変更する
   請求項１から５のいずれか１項に記載の情報提示装置。
7. 前記情報提示部は、前記注意方向が、前記脅威方向を基準とした第１の範囲内を向いている場合と比較して、前記第１の範囲外を向いている場合に提示する前記情報を強調して提示する
   請求項６に記載の情報提示装置。
8. 前記眼球運動計測部は、さらに、前記ドライバの視線方向を検出し、
   前記情報提示部は、前記注意方向および前記視線方向が、前記第１の範囲外を向いている状態が第１の所定時間以上継続している場合、前記情報を提示する
   請求項７に記載の情報提示装置。
9. 前記情報提示部は、前記視線方向および前記注意方向が移動しない状態が第２の所定時間以上継続している場合、前記情報を提示する
   請求項８記載の情報提示装置。
10. 前記情報提示部は、
    前記情報を提示した時点から、前記視線方向および前記注意方向が前記第１の範囲内または前記第１の範囲とは異なる第２の範囲内に向いている状態が第３の所定時間以上継続している場合、前記ドライバに警告情報を提示する
    請求項７から９のいずれか１項に記載の情報提示装置。
11. 前記情報提示部は、前記注意方向が、前記第１の範囲とは異なる第３の範囲内に向いている状態が第４の所定時間以上継続している場合、前記第１の範囲への注意を促す注意情報を前記情報として提示する
    請求項７から１０のいずれか１項に記載の情報提示装置。
12. 前記情報提示部は、
    所定の表示領域に表示情報を表示することで、前記ドライバに前記情報を提示し、
    前記注意方向が向いている、前記表示領域における位置である注意位置を基準とした注意領域に表示している表示情報を、前記注意領域以外の領域に表示している表示情報と比較して目立たない表示態様で表示する
    請求項１から１１のいずれか１項に記載の情報提示装置。
13. 車両の周辺環境における少なくとも周辺対象物の位置に関する位置関連情報を検出し、
    ドライバの眼球運動のうち視運動性眼振を示す視運動性眼振情報を計測し、
    検出した前記位置関連情報と、計測した前記視運動性眼振情報とから、前記ドライバの視線方向とは別に、ドライバが注意している方向である注意方向を推定し、
    推定した前記注意方向に応じて情報を提示する
    情報提示方法。
14. 請求項１３に記載の情報提示方法をコンピュータに実行させるプログラム。

Images