以下において、図面を参照して、本発明の実施形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を貼付している。
(情報提示装置)
本発明の実施形態に係る情報提示装置は、車両に搭載可能である(以下、本発明の実施形態に係る情報提示装置が搭載された車両を「自車両」という)。本発明の実施形態に係る情報提示装置は、図1に示すように、コントローラ1、記憶装置2、測位装置3、車両センサ4、周囲センサ5、乗員センサ6、提示装置7、出力装置8、車両制御装置9及びアクチュエータ10を備える。コントローラ1と、記憶装置2、測位装置3、車両センサ4、周囲センサ5、乗員センサ6、提示装置7、出力装置8及び車両制御装置9とは、コントローラエリアネットワーク(CAN)バス等の有線又は無線でデータや信号を送受信可能である。
記憶装置2は、例えば、半導体記憶装置、磁気記憶装置又は光学記憶装置等であってよい。記憶装置2は、コントローラ1に内蔵されていてもよい。記憶装置2は、地図データを記憶する地図記憶部21を備える。地図記憶部21に記憶されている地図データは、例えば高精度地図データ(高精度地図)であってよい。
高精度地図は自動運転用の地図として好適である。高精度地図は、ナビゲーション用の地図データ(ナビ地図)よりも高精度の地図データであり、道路単位の情報よりも詳細な車線単位の情報を含む。例えば、高精度地図は車線単位の情報として、車線基準線(例えば車線内の中央の線)上の基準点を示す車線ノードの情報と、車線ノード間の車線の区間態様を示す車線リンクの情報を含む。車線ノードの情報は、その車線ノードの識別番号、位置座標、接続される車線リンク数、接続される車線リンクの識別番号を含む。車線リンクの情報は、その車線リンクの識別番号、車線の種類、車線の幅員、車線の形状、車線境界線の種類、車線境界線の形状、車線基準線の形状等の情報を含む。
高精度地図は更に、車線上又はその近傍に存在する信号機、停止線、標識、建物、電柱、縁石、横断歩道等の地物の種類及び位置座標と、地物の位置座標に対応する車線ノードの識別番号及び車線リンクの識別番号等の、地物の情報を含む。高精度地図は、車線単位のノード及びリンク情報を含むため、走行経路において自車両が走行する車線を特定可能である。高精度地図は、車線の延伸方向及び幅方向における位置を表現可能な座標を有する。高精度地図は、3次元空間における位置を表現可能な座標(例えば経度、緯度及び高度)を有し、車線や上記地物は3次元空間における形状として記述され得る。
なお、情報提示装置とは別のサーバで地図データのデータベースを管理し、更新された地図データの差分データを、例えばテレマティクスサービスを通じて取得し、地図記憶部21に記憶された地図データの更新を行ってもよい。また、地図データを自車両が走行している位置に合わせて、車車間通信や路車間通信等のテレマティクスサービスにより取得するようにしてもよい。テレマティクスサービスを用いることにより、自車両では、データ容量が大きい地図データを有しておく必要がなく、メモリの容量の抑制することができる。また、テレマティクスサービスを用いることにより、更新された地図データを取得できるため、道路構造の変化、工事現場の有無等、実際の走行状況を正確に把握できる。更に、テレマティクスサービスを用いることにより、自車両以外の複数の他車両から集められたデータに基づき作成された地図データを用いることができるため、正確な情報を把握できる。
測位装置3は、例えば地球測位システム(GPS)受信機で構成してもよく、他の全地球型測位システム(GNSS)受信機で構成してもよい。測位装置3は、複数の航法衛星から電波を受信して自車両の現在位置(自己位置)を取得し、取得した自車両の現在位置をコントローラ1に出力する。
車両センサ4は、自車両の現在位置及び走行状態(挙動)等を検出するセンサである。車両センサ4は、例えば車速センサ、加速度センサ、ジャイロセンサ及びヨーレートセンサであってよいが、車両センサ4の種類及び個数はこれに限定されない。車速センサは、自車両の車輪速に基づき車速を検出し、検出された車速をコントローラ1に出力してよい。加速度センサは、自車両の前後方向及び車幅方向等の加速度を検出し、検出された加速度をコントローラ1に出力してよい。ジャイロセンサは、自車両の角速度を検出し、検出された角速度をコントローラ1に出力してよい。例えば、ヨーレートセンサは、自車両の重心点を通る鉛直軸まわりの回転角速度(ヨーレート)を検出し、検出されたヨーレートをコントローラ1に出力してよい。
周囲センサ5は、自車両の周囲環境(周囲状況)を検出するセンサである。周囲センサ5は、例えばカメラ、レーダ及び通信機等であってよいが、周囲センサ5の種類や個数はこれに限定されない。周囲センサ5として使用されるカメラは、例えばCCDカメラ等であってよい。カメラは単眼カメラであってもよく、ステレオカメラであってもよい。カメラは、自車両の周囲環境を撮像し、撮像画像から他車両、歩行者又は自転車等の物体と自車両との相対位置、物体と自車両との距離、道路上の車線境界線(白線)や縁石等の道路構造等を自車両の周囲環境のデータとして検出し、検出された周囲環境のデータをコントローラ1に出力する。
周囲センサ5として使用されるレーダは、例えばミリ波レーダや超音波レーダ、レーザ車線ジファインダ(LRF)等であってよい。レーダは、物体と自車両との相対位置、物体と自車両との距離、物体と自車両との相対速度、相対加速度等を自車両の周囲環境のデータとして検出し、検出された周囲環境のデータをコントローラ1に出力する。周囲センサ5として使用される通信機は、他車両との車車間通信、路側機との路車間通信、又は交通情報センタ等との通信等を行うことにより、リスク対象を含む自車両の周囲環境のデータを受信し、受信した周囲環境のデータをコントローラ1に出力してよい。
乗員センサ6は、例えば車室内に配置され、運転者及び同乗者の状態をそれぞれ検出する。乗員センサ6は、運転者及び同乗者の状態を一括して検出する1つのセンサで構成されていてもよく、運転者及び同乗者の状態をそれぞれ検出する2つのセンサで構成されていてもよい。乗員センサ6は、例えば赤外光を照射する赤外光源と、赤外光が照射された運転者及び同乗者の顔を撮影する赤外カメラで構成してもよい。
例えば、乗員センサ6は、運転者の顔の向きや、目頭、虹彩、瞳孔の位置等から、運転者の視点の位置座標と視線方向を含む視線情報を、運転者の状態の少なくとも一部として検出する。更に、乗員センサ6は、運転者の開眼率(目の開き具合)を、運転者の状態の一部として検出してもよい。更に、乗員センサ6は、運転者に装着されたウエアラブルデバイスで構成されて、運転者の脈拍数、心拍数、体温、血圧、発汗等の生体情報を、運転者の状態の一部として検出してもよい。
運転者の場合と同様に、乗員センサ6は、同乗者の顔の向きや、目頭、虹彩、瞳孔の位置等から、同乗者の視点の位置座標と視線方向を含む視線情報を、同乗者の状態の少なくとも一部として検出する。更に、乗員センサ6は、運転者及び同乗者の開眼率(目の開き具合)を、同乗者の状態の一部として検出してもよい。更に、乗員センサ6は、同乗者に装着されたウエアラブルデバイスで構成されて、同乗者の脈拍数、心拍数、体温、血圧、発汗等の生体情報を、同乗者の状態の一部として検出してもよい。
コントローラ1は、自車両の走行支援に必要な処理の算術論理演算を行う電子制御ユニット(ECU)等の処理回路である。例えばコントローラ1は、例えば、プロセッサ、記憶装置及び入出力I/Fを備えてもよい。プロセッサは、算術論理演算装置(ALU)、制御回路(制御装置)、各種レジスタ等を含む中央演算処理装置(CPU)等や、これと等価なマイクロプロセッサであってよい。コントローラ1に内蔵又は外付けされる記憶装置は、半導体メモリやディスクメディア等であってよく、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM及びRAM等の記憶媒体を含んでいてもよい。例えば、コントローラ1のプロセッサは、記憶装置に予め記憶されたプログラムを実行することにより、以下に説明する情報提示装置による情報処理を実行する。
例えば、コントローラ1は、地図記憶部21に記憶されている地図データに基づく案内情報を出力装置8から音声等で出力して、運転者等の乗員に対して提示してよい。また、例えばコントローラ1は、自車両の走行支援を実施してよい。例えば走行支援は、運転者が関与せずに自動的に自車両が運転する自動運転であってもよく、運転者による手動運転を支援するように、駆動、制動、操舵の少なくとも一つを制御する運転支援であってもよい。
走行支援を実施する際に、コントローラ1は、地図記憶部21に記憶されている地図データに基づき自車両を走行させる走行経路を生成する。走行経路には、自車両の現在地から目的地までの道路単位の走行経路の他に、車線単位の走行軌跡も含まれてもよい。走行軌跡は、速度プロファイル等の走行制御プロファイルも含んでいてもよい。例えば、コントローラ1は、地図データ上の自車両の位置を特定し、自車両の位置を基準にして、車線内に引かれるように走行経路(走行軌跡)を生成する。走行経路(走行軌跡)は、例えば車線内の中央を通るように生成されてもよい。コントローラ1は、生成した走行経路を車両制御装置9へ出力する。
車両制御装置9は、自車両の走行制御を行う先進走行支援システム(ADAS)等のECUで構成してよい。車両制御装置9は、プロセッサと、記憶装置等の周辺部品とを含む。プロセッサは、例えばCPUや、これと等価なマイクロプロセッサであってよい。記憶装置は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置は、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM及びRAM等のメモリを含んでよい。なお、汎用の半導体集積回路中に設定される機能的な論理回路で車両制御装置9を実現してもよい。例えば、車両制御装置9はフィールド・プログラマブル・ゲート・アレイ(FPGA)等のプログラマブル・ロジック・デバイス(PLD)等を有していてもよい。
車両制御装置9は、コントローラ1が生成した走行経路を自車両が走行するようにアクチュエータ10の制御量を算出する。車両制御装置9は、算出した制御量をアクチュエータ10へ送信する。アクチュエータ10は、車両制御装置9からの制御信号に応じて自車両の走行を制御する。アクチュエータ10は、例えば駆動アクチュエータ、ブレーキアクチュエータ及びステアリングアクチュエータであってよい。駆動アクチュエータは、例えば電子制御スロットルバルブであってよく、車両制御装置9からの制御信号に基づき自車両のアクセル開度を制御する。ブレーキアクチュエータは、例えば油圧回路であってよく、車両制御装置9からの制御信号に基づき自車両のブレーキの制動動作を制御する。ステアリングアクチュエータは、車両制御装置9からの制御信号に基づき自車両のステアリングを制御する。
提示装置7は、運転者によるリスク対象の認知状況を、同乗者に対して提示する(詳細は後述する)。提示装置7は、助手席に着座した同乗者が視認可能な位置に配置される。本明細書における「同乗者が視認可能な位置」とは、同乗者が車室内で着座したときに同乗者から見える位置を意味する。同乗者が助手席に着座する場合には、同乗者が視認可能な位置は、例えば同乗者の前方のダッシュボード又はインストルメントパネルの周辺等であってよい。提示装置7は、例えば図2に示すように、同乗者が助手席に着座したときに同乗者から見える位置に配置された発光部40を有する。発光部40は、ダッシュボードの上部に、フロントウインドウ31の下端に沿って、左右のフロントピラー32a,32bの下端の間で車幅方向に延在するように、帯状に配置されていてよい。発光部40は、帯状の領域のうちの任意の1箇所又は複数箇所の領域を発光させてよい。発光部40は、発光ダイオード(LED)の配列や、有機エレクトロルミネッセンス(EL)パネル等で構成してよい。
図1に示した出力装置8は、ディスプレイ、スピーカ、振動装置等で構成してよい。振動装置は、運転席や助手席、ステアリングホイール等に配置され、振動を発生させてよい。
ここで、本発明者らの実験により、同乗者が、運転者の顔向きや目を見て、運転者の視線方向を推定する場合、同乗者により推定された運転者の視線方向と、実際の運転者の視線方向とはズレが生じ易く、同乗者は、運転者の視線方向を正確に推定し難いという知見が得られた。この知見によれば、同乗者が歩行者等のリスク対象を認知した際に、同乗者は、運転者もそのリスク対象を認知できているのか否か(換言すれば、運転者によるリスク対象の認知状況)を正確に把握できず、不安を感じる場合が想定される。
例えば、同乗者から見て、運転者がリスク対象を認知できているように見えたのに、実際には運転者がリスク対象を認知できておらず、同乗者にとって想定外の自動又は手動による急な運転動作が実行される場合も想定される。一方、同乗者から見て、運転者がリスク対象を認知できていないように見えたために同乗者が不安を感じても、実際には運転者がリスク対象を認知できている場合も想定される。そこで、本発明の実施形態に係る情報提示方法及び情報提示装置は、運転者によるリスク対象の認知状況を、同乗者に対して容易に把握させて、同乗者の安心感を高めることを可能とするものである。
図1に示すように、本発明の実施形態に係る情報提示装置のコントローラ1は、リスク対象検出部11、認知推定部12及び提示制御部13等の論理ブロックを機能的若しくは物理的なハードウェア資源として備える。リスク対象検出部11、認知推定部12及び提示制御部13は、FPGA等のPLD等の物理的な論理回路であってもよく、汎用の半導体集積回路中にソフトウェアによる処理で等価的に設定される機能的な論理回路でもよい。また、リスク対象検出部11、認知推定部12及び提示制御部13は、単一のハードウェアで実現されてもよく、それぞれ別個のハードウェアで実現されてもよい。例えば、リスク対象検出部11、認知推定部12及び提示制御部13を、車載インフォテイメント(IVI)システム等のカーナビゲーションシステムで実現してもよい。
リスク対象検出部11は、周囲センサ5により検出された周囲状況に基づき、自車両の周囲に存在するリスク対象を検出する。本明細書において、リスク対象とは、車両の周囲に存在する、運転者及び同乗者が注意すべき対象を意味する。リスク対象は、歩行者、人間以外の動物、自転車、オートバイ、他車両等の移動物体と、路上の落下物、樹木、交通信号、停止線、車線境界線、道路標識等の静止物体を含む。
認知推定部12は、リスク対象検出部11により検出されたリスク対象と、乗員センサ6により検出された運転者の状態とに基づき、運転者によるリスク対象の認知状況を推定する。例えば、認知推定部12は、リスク対象検出部11により検出されたリスク対象の相対位置の位置座標と、乗員センサ6により検出された運転者の視点及び視線方向を含む視線情報とに基づき、運転者がリスク対象を認知しているか否かを推定(判定)する。
例えば、認知推定部12は、乗員センサ6により検出された運転者の視点の位置座標を通る視線方向がリスク対象の存在する範囲の位置座標と交差する場合、運転者がリスク対象を認知できていると推定(判定)してよい。一方、乗員センサ6により検出された運転者の視点を通る視線方向がリスク対象の存在する範囲の位置座標と交差しない場合には、認知推定部12は、運転者がリスク対象を認知できていないと推定(判定)してよい。なお、認知推定部12は、乗員センサ6により検出された運転者の視線方向がリスク対象の位置座標と交差する場合であっても、リスク対象が運転者から見てフロントピラー32a,32bや同乗者等の死角に入っている場合には、運転者がリスク対象を認知できていないと推定してもよい。
更に、認知推定部12は、リスク対象検出部11により検出されたリスク対象と、乗員センサ6により検出された同乗者の状態とに基づき、同乗者によるリスク対象の認知状況を推定する。例えば、認知推定部12は、リスク対象検出部11により検出されたリスク対象の相対位置の位置座標と、乗員センサ6により検出された同乗者の視点及び視線方向を含む視線情報とに基づき、同乗者がリスク対象を認知しているか否かを推定(判定)する。
例えば、認知推定部12は、乗員センサ6により検出された同乗者の視点の位置座標を通る視線方向がリスク対象の存在する範囲の位置座標と交差する場合、同乗者がリスク対象を認知できていると推定してよい。一方、乗員センサ6により検出された同乗者の視点の位置座標を通る視線方向がリスク対象101の存在する範囲の位置座標と交差しない場合には、認知推定部12は、同乗者がリスク対象を認知できていないと推定してよい。なお、認知推定部12は、乗員センサ6により検出された同乗者の視線方向がリスク対象101の位置座標と交差する場合であっても、リスク対象が同乗者から見てフロントピラー32a,32bや運転者等の死角に入っている場合には、同乗者がリスク対象を認知できていないと推定してもよい。
認知推定部12は、乗員センサ6により検出された運転者の視線方向がリスク対象を向いており、且つ乗員センサ6により検出された運転者の開眼率が所定の閾値以上の場合には、運転者が集中していることが想定されるため、運転者がリスク対象を認知できていると推定してもよい。一方、認知推定部12は、乗員センサ6により検出された運転者の開眼率が所定の閾値未満の場合には、運転者が漫然としており注意力が散漫であることが想定されるため、運転者の視線方向に関わらず、運転者がリスク対象を認知できていないと推定してもよい。
同様に、認知推定部12は、乗員センサ6により検出された同乗者の視線方向がリスク対象を向いており、且つ乗員センサ6により検出された同乗者の開眼率が所定の閾値以上の場合には、同乗者が集中していることが想定されるため、同乗者がリスク対象を認知できていると推定してもよい。一方、認知推定部12は、乗員センサ6により検出された同乗者の開眼率が所定の閾値未満の場合には、同乗者が漫然としており注意力が散漫であることが想定されるため、同乗者の視線方向に関わらず、同乗者がリスク対象を認知できていないと推定してもよい。
認知推定部12は、運転者の視線方向及び同乗者の視線方向の推定精度が比較的低い場合等において、乗員センサ6により検出された運転者及び同乗者の生体情報に基づき、運転者及び同乗者のリスク対象の認知状況を推定してもよい。例えば、認知推定部12は、乗員センサ6により運転者又は同乗者の心拍数の増加が検出された場合には、運転者又は同乗者がリスク対象を認知してリスク(不安)を感じたことが想定されるため、運転者又は同乗者がリスク対象を認知できていると推定する尤度を高めてもよい(リスク対象を認知できていると推定し易くしてもよい)。一方、認知推定部12は、乗員センサ6により運転者又は同乗者の心拍数の増加が検出されない場合には、運転者又は同乗者がリスク対象を認知できておらず、安心感が持続していることが想定されるため、運転者又は同乗者がリスク対象を認知できていないと推定する尤度を高めてもよい(リスク対象を認知できていないと推定し易くしてもよい)。
なお、運転者及び同乗者の視線方向における中心視及び周辺視等の視野を考慮してもよい。例えば、認知推定部12は、運転者の視線方向に対して所定の立体角の範囲内にリスク対象の存在する範囲の位置座標、或いはリスク対象の重心の位置座標等が存在する場合に、運転者がリスク対象を認知できていると推定してもよい。所定の立体角は、中心視及び周辺視等に基づき適宜設定可能である。同様に、認知推定部12は、同乗者の視線方向に対して所定の立体角の範囲内にリスク対象の存在する範囲の位置座標、或いはリスク対象101の重心の位置座標等が存在する場合に、同乗者がリスク対象を認知できていると推定してもよい。
提示制御部13は、認知推定部12により推定された運転者及び同乗者によるリスク対象の認知状況に応じて、運転者によるリスク対象の認知状況を同乗者に対して提示する。提示制御部13は、例えば図2に示した発光部40の発光態様を制御して発光させることにより、運転者によるリスク対象の認知状況を提示してよい。発光部40の発光態様は、発光領域のサイズ、発光色、輝度、明度、点滅周期等を含む。
次に、図3及び図4を参照して、リスク対象検出部11、認知推定部12及び提示制御部13による処理の一例を説明する。図3は、自車両100が、矢印D0で示すように交差点を左折しようとしており、自車両100の旋回先の横断歩道を歩行者であるリスク対象101が横断しようとしている場面を示す。図3では、自車両100の運転者の視点P1及び視線方向D1、同乗者の視点P2及び視線方向D2を模式的に示している。運転者の視線方向D1はリスク対象101を向いており、運転者はリスク対象101を認知している。また、同乗者の視線方向D2もリスク対象101を向いており、同乗者もリスク対象101を認知している。即ち、図3及び図4は、運転者及び同乗者のいずれもがリスク対象101を認知している状況を示している。
図3の走行シーンに対応する自車両100の車室内の様子を図4に示す。図4に示す運転者の視点P1及び視線方向D1、同乗者の視点P2及び視線方向D2は、図3に示す運転者の視点P1及び視線方向D1、同乗者の視点P2及び視線方向D2と対応している。ここでは、乗員センサ6により検出される運転者の視点P1の位置座標及び同乗者の視点P2の位置座標が3次元座標であり、運転者の視線方向D1及び同乗者の視線方向D2も3次元で設定されている場合を例示する。なお、運転者の視点P1の位置座標及び同乗者の視点P2の位置座標は、高さ情報を除いた水平方向の2次元の位置座標であってもよく、運転者の視線方向D1及び同乗者の視線方向D2も2次元で設定されていてもよい。
リスク対象検出部11は、周囲センサ5により検出されたリスク対象101を含む自車両100の周囲状況から、リスク対象101を検出する。乗員センサ6は、図3及び図4に示すように、運転者の視点P1の位置座標及び視線方向D1を検出する。運転者の視点P1の位置座標は、例えば運転者の両目の中央の位置座標に設定してもよい。更に、乗員センサ6は、同乗者の視点P2の位置座標及び視線方向D2を検出する。同乗者の視点P2の位置座標は、例えば同乗者の両目の中央の位置座標に設定してもよい。
認知推定部12は、周囲センサ5により検出されたリスク対象101と、乗員センサ6により検出された運転者及び同乗者の状態とに基づき、運転者及び同乗者のいずれもがリスク対象を認知している状況であると推定する。即ち、認知推定部12は、図3及び図4に示すように、乗員センサ6により検出された運転者の視点P1の位置座標を通る視線方向D1がリスク対象101の存在する範囲の位置座標と交差するため、運転者がリスク対象を認知できていると推定(判定)する。更に、認知推定部12は、乗員センサ6により検出された同乗者の視点P2の位置座標を通る視線方向D2がリスク対象101の存在する範囲の位置座標と交差するため、同乗者がリスク対象を認知できていると推定する。
提示制御部13は、認知推定部12により推定された運転者及び同乗者のそれぞれのリスク対象101の認知状況に基づき、運転者がリスク対象101を認知できていることを示すように、発光部40の発光領域41を青色や緑色等で発光させる。これにより、運転者がリスク対象101を認知できていることを、同乗者に対して容易に把握させることができる。なお、提示制御部13は、発光部40の発光を禁止し、発光しなくてもよい。例えば、同乗者がリスク対象101を認知しているか否かに関わらず、運転者がリスク対象101を認知できている場合には常に、発光部40の発光を禁止するように予め設定しておけばよい。
図4に示すように、発光部40は、リスク対象101の位置に寄らずに、発光領域41の位置を一律に設定してもよい。なお、図5に示すように、発光部40は、同乗者の視点P2から見て、リスク対象101の方向を示す位置に発光領域41を設定してもよい。例えば、リスク対象101の位置座標の水平成分と交差する同乗者の視線方向D2の水平成分が、発光部40の位置座標の水平成分と交差する位置に、発光領域41を設定してもよい。
次に、図6は、図3と同様の走行シーンでの自車両100の車室内の様子であって、運転者がリスク対象101を認知しておらず、同乗者がリスク対象101を認知している状況を模式的に示している。この場合、認知推定部12は、乗員センサ6により検出された運転者の視点P1及び視線方向D1に基づき、運転者がリスク対象101を認知していないことを推定する。更に、認知推定部12は、乗員センサ6により検出された同乗者の視点P2及び視線方向D2に基づき、同乗者がリスク対象101を認知していることを推定する。
提示制御部13は、認知推定部12による推定結果に基づき、図6に示すように、図4に示した発光部40の発光態様とは異なる発光態様で、強調して発光させる。例えば、発光部40は、図4に示した場合よりも発光領域41の幅を広く設定し、図4に示した場合とは異なる黄色等の発光色で発光する。これにより、運転者がリスク対象を認知できていない状況を、同乗者に対して視覚的に容易に把握させることができる。このため、同乗者は、発話やジェスチャーにより運転者に注意喚起を行ったり、自動又は手動による急な運転動作を予測して事前に身構えたりすることができる。
この場合も、発光部40は、リスク対象101の位置に寄らずに、発光領域41を一律に設定してもよい。なお、図7に示すように、発光部40は、同乗者の視点P2から見て、リスク対象101の方向を示す位置に発光領域41を設定してもよい。例えば、リスク対象101の位置座標の水平成分と交差する同乗者の視線方向D2の水平成分が、発光部40の位置座標の水平成分と交差する位置に、発光領域41を設定してもよい。
次に、図8は、図3と同様の走行シーンでの自車両100の車室内の様子であって、運転者がリスク対象101を認知しているが、同乗者がリスク対象101を認知していない状況を模式的に示している。この場合、認知推定部12は、乗員センサ6により検出された運転者の視点P1及び視線方向D1に基づき、運転者がリスク対象101を認知していることを推定する。更に、認知推定部12は、乗員センサ6により検出された同乗者の視点P2及び視線方向D2に基づき、同乗者がリスク対象101を認知していないことを推定する。
提示制御部13は、認知推定部12による推定結果に基づき、図8に示すように、発光部40による発光を禁止し、発光しない。これにより、運転者がリスク対象101を認知できているため、同乗者がリスク対象101を認知していなくても発光は行わず、不要に同乗者の注意を惹くことを抑制することができる。なお、この場合、提示制御部13は、図4と同様に、発光部40を青色や緑色等で発光させてもよい。
次に、図9は、図3と同様の走行シーンでの自車両100の車室内の様子であって、運転者及び同乗者のいずれもがリスク対象101を認知していない状況を模式的に示している。認知推定部12は、乗員センサ6により検出された運転者の視点P1及び視線方向D1に基づき、運転者がリスク対象101を認知していないことを推定する。更に、認知推定部12は、乗員センサ6により検出された同乗者の視点P2及び視線方向D2に基づき、同乗者がリスク対象101を認知していないことを推定する。
提示制御部13は、認知推定部12による推定結果に基づき、図9に示すように、図6に示した場合と異なる発光態様で、図6に示した場合よりも発光部40を強調して発光させる。例えば、発光部40を図6に示した場合よりも広い幅の発光領域41aで、赤色等の発光色で点滅させて発光させてよい。これにより、自車両100の周囲にリスク対象101が存在を同乗者に対して早期に認知させ、運転者がそのリスク対象101を認知できていないことを、同乗者に対して容易に把握させることができる。このため、同乗者は、発話やジェスチャーにより運転者に注意喚起を行ったり、自動又は手動による急な運転動作を予測して事前に身構えたりすることができる。なお、発光領域41aは、同乗者の前方で一律な位置で設定されていてもよく、同乗者の視点P2から見て、リスク対象101の方向を示す位置に発光領域41aを設定してもよい。
更に、図9に示すように、発光部40が、同乗者に注意喚起及び警告するための発光領域41aに加えて、運転者に注意喚起及び警告するための発光領域41bを発光させてよい。これにより、自車両100の周囲にリスク対象101が存在することを、運転者に対して容易に把握させることができる。運転者に注意喚起及び警告するための発光領域41bは、例えば運転者の前方に設定される。
更に、提示制御部13は、発光部40を発光させると共に、出力装置8を構成するスピーカによる音声や、出力装置8を構成する振動装置による振動等により、運転者及び同乗者に対して注意喚起を行ってもよい。
また、提示制御部13は、リスク対象101を認知できていない運転者及び同乗者がリスク対象の存在に気付き易いように、運転者の視線方向D1及び同乗者の視線方向D2の近傍に発光部40の発光領域を設定してもよい。例えば、運転者の視線方向D1の水平成分が、発光部40の位置座標の水平成分と交差する位置に、運転者に注意喚起及び警告するための発光領域を設定してもよい。更に、同乗者の視線方向D2の水平成分が、発光部40の位置座標の水平成分と交差する位置に、同乗者に注意喚起及び警告するための発光領域を設定してもよい。この場合の一例として、図10に示すように、運転者及び同乗者の両方に注意喚起及び警告するための1つの発光領域41を、例えば発光部40全体に設定してもよい。
また、提示制御部13は、図11に示すように、リスク対象101を認知できていない同乗者に対してリスク対象101の方向を容易に把握させるために、同乗者の視点P2から見て、リスク対象101の存在する方向D3を示す位置に発光領域41aを設定してもよい。更に、リスク対象101を認知できていない運転者に対してリスク対象101の方向を容易に把握させるために、運転者の視点P1から見て、リスク対象101の存在する方向D4を示す位置に発光領域41bを設定してもよい。
(情報提示方法)
次に、図12のフローチャートを参照しながら、本発明の実施形態に係る情報提示方法の一例を説明する。ステップS1において、周囲センサ5が、リスク対象を含む自車両の周囲状況を検出する。リスク対象検出部11は、周囲センサ5による自車両の周囲状況の検出結果から、自車両の周囲に存在するリスク対象を検出する。ステップS2において、乗員センサ6が、運転者の視線情報等の、運転者の状態を検出する。ステップS3において、乗員センサ6が、同乗者の視線情報等の、同乗者の状態を検出する。
ステップS4において、認知推定部12は、リスク対象検出部11により検出されたリスク対象と、乗員センサ6により検出された運転者の状態とに基づき、運転者によるリスク対象の認知状況を推定する。更に、認知推定部12は、リスク対象検出部11により検出されたリスク対象と、乗員センサ6により検出された同乗者の状態とに基づき、同乗者によるリスク対象の認知状況を推定する。そして、提示制御部13が、認知推定部12による推定結果に基づき、提示装置7の発光部40の発光態様を制御することにより、運転者によるリスク対象の認知状況を、同乗者に対して提示する。
ステップS5において、コントローラ1は、自車両のイグニッションスイッチ(IGN)がオフになったか否かを判断する。イグニッションスイッチがオフになったと判断された場合に処理は終了する。一方、ステップS5においてイグニッションスイッチがオフでないと判断された場合に処理はステップS1へ戻る。
次に、図12に示したステップS4の発光制御処理の一例を、図13のフローチャートを参照して説明する。ステップS41において、認知推定部12は、運転者がリスク対象を認知できているか否かを推定(判定)する。運転者がリスク対象を認知できていると判定された場合、ステップS42に移行する。
ステップS42において、認知推定部12は、同乗者がリスク対象を認知できているか否かを推定(判定)する。同乗者がリスク対象を認知できていると判定された場合、ステップS43に移行する。ステップS43において、提示制御部13が、例えば同乗者から見てリスク対象の存在する方向の位置を発光領域41に設定し、運転者がリスク対象を認知していることを示す発光態様で、発光部40を青色等で発光させる。
ステップS42の手順の説明に戻り、認知推定部12により、同乗者がリスク対象を認知していない推定された場合、ステップS44に移行する。ステップS43において、提示制御部13が、不要に同乗者の注意を惹かないように、発光部40の発光を禁止し、発光部40を発光させない。
ステップS41の手順の説明に戻り、認知推定部12により、運転者がリスク対象を認知できていないと推定された場合、ステップS45に移行する。ステップS45において、認知推定部12は、同乗者がリスク対象を認知できているか否かを推定(判定)する。同乗者がリスク対象を認知できていると推定された場合、ステップS46に移行する。ステップS46において、提示制御部13が、同乗者から見て、リスク対象の方向が分かる位置に、運転者がリスク対象を認知していないことを示す発光態様で、発光部40を黄色等で発光させる。
ステップS45の手順の説明に戻り、認知推定部12により、同乗者がリスク対象を認知できていないと推定された場合、ステップS47に移行する。ステップS47において、提示制御部13が、同乗者に対してリスクが高いことを示すように、発光部40を強調して赤色等で例えば点滅させる。
(実施形態の効果)
本発明の実施形態によれば、周囲センサ(第1センサ)5が、自車両の周囲に存在するリスク対象を検出し、乗員センサ(第2センサ)6が、自車両の運転者の状態を検出する。そして、乗員センサ6によるリスク対象の検出結果と、周囲センサ5による運転者の状態の検出結果とに基づき、運転者によるリスク対象の認知状況を、同乗者に対して提示装置7により提示する。これにより、運転者によるリスク対象の認知状況を同乗者に対して容易に把握させることができるので、同乗者の安心感を高めることができる。また、自動運転のレベルによってはリスク対象を監視することが必要となるが、リスク対象を監視する役割を、運転者のみで担うのではなく、運転者及び同乗者で分担することができる。このため、運転者の監視負担を軽減することができ、運転者の安心感を高めることができる。
更に、乗員センサ6が自車両の同乗者の状態を更に検出し、同乗者の状態の検出結果に基づき、運転者によるリスク対象の認知状況を、同乗者に対して提示する。これにより、同乗者の状態に応じて、運転者によるリスク対象の認知状況の提示態様を変更することができる。
更に、提示装置7が、同乗者が視認可能な位置に配置された発光部40を有し、発光部40の発光態様により、運転者によるリスク対象の認知状況を提示する。これにより、発光部40の発光態様を変化させることで、運転者によるリスク対象の認知状況を同乗者に対して容易に把握させることができる。
更に、自車両とリスク対象との相対位置と、運転者及び同乗者のそれぞれの視線情報に基づき、運転者及び同乗者のそれぞれのリスク対象の認知状況を推定し、推定結果に応じて発光部40の発光態様を変更する。これにより、運転者と同乗者のリスク対象の認知状況の推定結果に応じて発光部40の発光態様を変更するので、運転者によるリスク対象の認知状況を同乗者に対して容易に把握させることができ、同乗者は安心して同乗することができる。
更に、運転者及び同乗者のいずれもがリスク対象を認知していると推定された場合、発光部40を青色等で発光させる。これにより、同乗者がリスク対象を認知している際に、運転者がリスク対象を認知できていることを同乗者に対して容易に把握させることができ、同乗者は安心して同乗することができる。
更に、運転者がリスク対象を認知し、且つ同乗者がリスク対象を認知していないと推定された場合、発光部40による発光を禁止する。これにより、同乗者がリスク対象を認知していない際には、発光部40が発光しないため、不要に同乗者の注意を惹くことを抑制することができる。
更に、運転者がリスク対象を認知せず、且つ同乗者がリスク対象を認知していると推定された場合、運転者及び同乗者のいずれもがリスク対象を認知していると推定された場合とは異なる発光態様で、発光部40を発光させる。これにより、同乗者がリスク対象を認知している際に、運転者がリスク対象を認知できているか否かを同乗者に対して視覚的に容易に区別して把握させることができる。
更に、運転者及び同乗者のいずれもがリスク対象を認知していないと推定された場合、運転者がリスク対象を認知せず、且つ同乗者がリスク対象を認知していると推定された場合よりも強調して、発光部40を発光させる。これにより、運転者及び同乗者のいずれもがリスク対象を認知していない際には、強調した発光により、同乗者に対して注意喚起及び警告を行うことができる。このため、リスク対象の存在と共に、運転者がリスク対象を認知できていないことを同乗者に対して容易に把握させることができる。
更に、同乗者から見て、リスク対象が存在する方向を示す位置に発光部40の発光領域41を設定する。これにより、リスク対象が存在する方向を同乗者に対して容易に把握させることができる。
更に、運転者の視線情報及び運転者の生理情報に基づき、運転者によるリスク対象の認知状況を推定する。これにより、運転者の視線情報のみに基づき推定する場合と比較して、運転者によるリスク対象の認知状況を高精度に推定し得る。
(第1変形例)
本発明の実施形態の第1変形例として、提示装置7の変形例を説明する。本発明の実施形態においては、提示装置7を構成する発光部40がフロントピラー32a,32bの間で車幅方向に帯状に延伸する場合を例示した。しかしながら、提示装置7を構成する発光部40の形状や配置位置は、同乗者が視認可能であれば限定されない。例えば図14に示すように、発光部40aが、同乗者の前方に配置された発光スポットであってもよい。図14では、運転者の前方にも発光部40bが配置されている。
また、本発明の実施形態においては、提示装置7が発光部40を有する場合を例示したが、提示装置7がヘッドアップディスプレイ(HUD)装置で構成されていてもよい。提示装置7を構成するHUD装置は、画像の光をフロントウインドウ31に投影する。フロントウインドウ31で反射された画像の光は、助手席に着座した同乗者により知覚される。同乗者は、HUD装置により投影された虚像を、フロントウインドウ31越しの前方状況に重畳して視認可能となる。即ち、提示装置7は、HUD装置により投影された虚像の表示態様を制御することで、運転者によるリスク対象の認知状況を、同乗者に対して把握させることができる。
(第2変形例)
本発明の実施形態の第2変形例として、リスク対象検出部11がリスクレベルを算出する場合を説明する。リスク対象検出部11は、周囲センサ5により検出された周囲状況等に基づき、リスク対象毎に、運転者及び同乗者が注意すべき度合いであるリスクレベルを算出してよい。例えば、リスク対象検出部11は、自車両に対するリスク対象の相対位置、相対速度、相対加速度等に基づき、自車両とリスク対象との接触確率を算出し、接触確率が高いほどリスクレベルを高く算出してもよい。例えば、リスク対象検出部11は、自車両に対するリスク対象である他車両の衝突予測時間(TTC)又は車間時間(THW)を算出してもよい。TTCは、車間距離を他車両との相対速度で除算した値である。THWは、車間距離を他車両の速度で除算した値である。リスク対象検出部11は、THW及びTTCが小さいほど、リスク対象のリスクレベルを高くしてもよい。
リスク対象検出部11は、リスク対象の衝撃度合いを算出し、衝撃度合いが高いほどリスクレベルを高く算出してもよい。例えば、リスク対象検出部11は、リスク対象の体積、又は自車両から見た場合の鉛直方向の平面におけるリスク対象の面積を算出し、リスク対象の体積又は面積が大きいほどリスクレベルを高く算出してもよい。
リスク対象検出部11は、リスク対象のリスクレベルが所定の閾値以上か否かを判定してよい。リスク対象検出部11は、リスク対象のリスクレベルが所定の閾値以上と判定された場合、その判定されたリスク対象を、認知推定部12により推定する運転者及び同乗者による認知対象として検出(決定)してよい。
また、図15に示すように、自車両100が交差点を左折する際に、歩行者等の複数のリスク対象101,102が存在する場合を考える。リスク対象検出部11は、リスク対象101,102毎にリスクレベルを算出する。この場合、自車両100により接近しているリスク対象101のリスクレベルがリスク対象102のリスクレベルよりも高く算出されてよい。リスク対象検出部11は、複数のリスク対象101,102がある場合には、リスクレベルが最も高いリスク対象101を、認知推定部12により推定する運転者及び同乗者による認知対象として検出(決定)してよい。
認知推定部12は、運転者及び同乗者のそれぞれによるリスク対象101の認識状況を推定する。図15に対応する自車両100の車室内の様子を図16に示す。運転者の視線方向D1は、リスクレベルが相対的に低いリスク対象102を向いているため、認知推定部12は、運転者がリスク対象101を認識できていないと推定する。同乗者の視線方向D2は、リスクレベルが相対的に高いリスク対象101を向いているため、認知推定部12は、同乗者がリスク対象101を認識できていると推定する。提示制御部13による発光制御処理は、本発明の実施形態と同様であるので、重複した説明を省略する。
提示制御部13は、リスク対象検出部11により算出されたリスク対象のリスクレベルに応じて、発光部40の発光態様を変更してもよい。例えば、リスク対象のリスクレベルが高いほど発光部40の発光を強調させてよい。例えば、リスク対象のリスクレベルが高くなるに従い、発光部40の発光色を黄色、橙色、赤色の順で変化させてもよい。或いは、リスク対象のリスクレベルが高いほど、輝度や明度を高くしたり、発光領域のサイズを大きくしたり、点滅周期を短くしたりしてもよい。
次に、図12に示したステップS1に対応する、本発明の実施形態の第2変形例に係るリスク対象検出処理の一例を、図17のフローチャートを参照して説明する。ステップS11において、リスク対象検出部11は、周囲センサ5による検出結果から、リスク対象となる候補の検出の有無を判定する。ステップS11の手順を、リスク対象の候補が検出されたと判定されるまで繰り返し、リスク対象の候補が検出されたと判定された場合、ステップS12に移行する。
ステップS12において、リスク対象検出部11は、リスク対象の候補のリスクレベルを算出する。ステップS13において、リスク対象検出部11は、リスク対象の候補のリスクレベルが閾値以上か否かを判定する。リスク対象の候補のリスクレベルが閾値未満と判定された場合、ステップS11の手順に戻る。一方、ステップS13において、リスク対象の候補のリスクレベルが閾値以上と判定された場合、ステップS14に移行する。
ステップS14において、リスク対象検出部11は、リスクレベルが閾値以上のリスク対象の候補が複数存在するか否かを判定する。リスクレベルが閾値以上のリスク対象の候補が複数存在しないと判定された場合、ステップS15に移行する。ステップS15において、リスク対象検出部11は、リスクレベルが閾値以上のリスク対象の候補を、運転者及び同乗者が注意すべきリスク対象として選択する。
一方、ステップS14において、リスクレベルが閾値以上のリスク対象の候補が複数存在すると判定された場合、ステップS16に移行する。ステップS16において、リスク対象検出部11は、複数のリスク対象の候補のリスクレベルを比較して、リスクレベルが最大のリスク対象の候補を、運転者及び同乗者が注意すべきリスク対象として選択する。これにより、より重要なリスク対象を優先的に、運転者及び同乗者に対して認知させることができる。
本発明の実施形態の第2変形例によれば、周囲センサ5によるリスク対象の検出結果に基づき、リスク対象のリスクレベルを算出し、リスクレベルに応じて発光部40の発光態様を変更する。これにより、リスク対象のリスクレベル(注意すべき度合い)を同乗者に対して容易に把握させることができる。
(第3変形例)
本発明の実施形態の第3変形例として、同乗者の状態を推定しない場合を説明する。本発明の実施形態においては、認知推定部12が、運転者及び同乗者のそれぞれの状態を推定し、提示制御部13が、認知推定部12による運転者及び同乗者のそれぞれの状態の推定結果に基づき、発光部40の発光態様を制御する場合を例示した。しかし、認知推定部12が、同乗者の状態を推定せずに運転者のみの状態を推定し、提示制御部13が、認知推定部12による運転者のみの状態の推定結果に基づき、発光部40の発光態様を制御してもよい。
即ち、同乗者によるリスク対象の認知状況に関わらず、運転者によるリスク対象の認知状況のみに基づき、発光部40の発光態様を制御してもよい。この場合、同乗者によるリスク対象の認知状況に関わらず、運転者がリスク対象を認知できている場合と、運転者がリスク対象を認知できていない場合とで、発光部40の発光態様を異ならせればよい。
本発明の実施形態の第3変形例に係る情報提供方法では、図12に示したステップS3の同乗者の状態を推定するステップを省略してもよい。図12に示したステップS4に対応する本発明の実施形態の第3変形例に係る発光制御処理の一例を、図17に示すフローチャートを参照して説明する。
ステップS51において、認知推定部12は、運転者がリスク対象を認知できているか否かを推定(判定)する。運転者がリスク対象を認知できていると推定された場合、ステップS52に移行する。ステップS52において、提示制御部13は、発光部40の発光を禁止する。或いは、提示制御部13は、運転者がリスク対象を認知していることを示すように青色等で発光部40を発光させてよい。
ステップS51の手順の説明に戻り、認知推定部12により、運転者がリスク対象を認知できていないと推定された場合、ステップS53に移行する。ステップS53において、提示制御部13は、ステップS52の発光態様とは異なる発光態様で、例えば発光部40を黄色等で発光させる。
本発明の実施形態の第3変形例によれば、同乗者の状態を推定しない場合であっても、乗員センサ6によるリスク対象の検出結果と、周囲センサ5による運転者の状態の検出結果とに基づき、運転者によるリスク対象の認知状況を、同乗者に対して提示装置7により提示する。これにより、運転者によるリスク対象の認知状況を同乗者に対して容易に把握させることができるので、同乗者の安心感を高めることができる。
(その他の実施形態)
上記のように、本発明は実施形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替の実施形態、実施例及び運用技術が明らかとなろう。
例えば、本発明の実施形態に係る情報提供方法及び情報提供装置は自動運転及び手動運転のいずれにも適用可能であるが、自動運転の場合には手動運転の場合よりも運転者の注意力が低下し易く、運転者がリスク対象を認知できていない頻度も増加することが想定される。そこで、自車両が自動運転の場合には、自車両が手動運転の場合よりもリスクレベルを高く算出する。これにより、自動運転時は、手動運転時よりも注意力が散漫となり易いが、同一条件のリスク対象であっても自動運転時には手動運転時よりもリスクレベルを高く算出することで、同乗者に対して警告及び注意喚起を行う場合のタイミングや頻度を増加させて、同乗者の集中力を向上させることができる。
また、本発明の実施形態においては、助手席に着座した同乗者に対して提示する場合を例示したが、後部座席に着座した同乗者に対して提示してもよい。この場合、提示装置7が後部座席に着座した同乗者に視認可能な位置に配置される。同乗者が助手席に着座する場合には、同乗者が視認可能な位置は、同乗者の前方の運転席又は助手席の背面や、同乗者側のリアドアのドアトリムの上部等であってもよい。また、自車両100が走行中のみならず、駐車中にも適用することができる。
このように、本発明は、ここで記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。