JP2017146737A - 車両用表示装置 - Google Patents

Abstract

【課題】運転者のわずらわしさを抑制しつつ、効果的に支援情報を表示することができる車両用表示装置を提供する。【解決手段】車両用表示装置は、車両１のフロントウィンドウ７に運転者へ提供する情報を表示する。車両用表示装置は、運転者の有効視野を検出する有効視野検出部１１１と、表示した情報が運転者に認識されたと推定する認識推定部１１２と、情報に対応する操作が行われたことを検出する操作検出部１１０と、情報を表示してから同情報に対応する操作が行われるまでの時間が第１の基準時間を超えた第１状態、及び、表示した情報が運転者に認識されたと推定されてから表示に対応する操作が行われるまでの時間が第２の基準時間を超えた第２状態の少なくとも一方の状態を検出する応答時間検出部１２０と、第１状態又は第２状態が検出されたことに対応して表示した情報に対応する表示を運転者の有効視野に強調表示する表示強調部１４１とを備える。【選択図】図４

Description

本発明は、車両の運転を支援する情報を表示する車両用表示装置に関する。

従来、車両を運転している運転者に対して運転支援に関する情報を表示する装置が知られている（例えば、特許文献１）。
特許文献１に記載の装置は、車両上にステレオカメラを設置し、このステレオカメラで撮影した車両前方の画像から信号機とその状態（表示色）、及び、信号機と当該車両との距離を認識する。そしてこの装置は、信号機が赤色で、信号機と当該車両との距離が一定値以内で、かつ、一定速度以上の場合に当該車両の運転者に対し音声や画像により警報を出力する。

特開２００４−１９９１４８号公報

特許文献１に記載の装置によれば、赤信号に対して、一定距離以内、かつ、一定速度以上であるとき、例えば、車両の走行中に運転者が赤信号を見落としたようなときに警報が出力され、運転者に注意を喚起することができる。

しかしながら、赤信号に対する車両の距離及び速度の関係に基づいて行われる運転支援は、運転者が赤信号を認識していたとしても、条件の成立に基づきいわば自動的に警報が発生されるため、運転者にとっては逆にわずらわしいと感ずることもあった。

なお、赤信号に対する運転支援に限らず、車両の運転者に対して情報提供が行われるその他の運転支援や操作支援等にあってもこうした課題は同様に生じる。
本発明は、このような実情に鑑みなされたものであって、その目的は、運転者のわずらわしさを抑制しつつ、効果的に支援情報を表示することができる車両用表示装置を提供することにある。

以下、上記課題を解決するための手段及びその作用効果を記載する。
上記目的を達成するために車両用表示装置は、ヘッドアップディスプレイ表示によって車両の運転者へ提供する情報を表示する車両用表示装置であって、運転者の有効視野を検出する有効視野検出部と、前記運転者へ提供する情報を表示した位置と前記運転者の有効視野の位置とが一致することに基づいて前記表示した情報が前記運転者に認識されたと推定する認識推定部と、前記運転者へ提供する情報に対応する操作が行われたことを検出する操作検出部と、前記運転者へ提供する情報を表示してから同情報に対応する操作が行われるまでの時間が第１の基準時間を超えた第１状態、及び、前記表示した情報が運転者に認識されたと推定されてから前記表示に対応する操作が行われるまでの時間が前記第１の基準時間よりも短い第２の基準時間を超えた第２状態の少なくとも一方の状態を検出する応答時間検出部と、前記応答時間検出部で第１状態又は第２状態が検出されたことに対応して前記表示した情報に対応する表示を前記運転者の有効視野に強調表示する表示強調部と、を備えることを特徴とする。

このような構成によれば、表示した情報について運転者により認識されたか否かが推定される。そして、認識されたと推定されたものの、実際には表示された情報を運転者が認識していない可能性が高いとき、その情報が運転者の有効視野に強調表示される。これにより、運転者自身が認識していない情報を運転者に認識させることができるようになる。一方、運転者に認識されている情報は強調表示されないため、強調表示等で運転者にわずらわしさを感じさせるおそれもない。なお、強調表示の一態様は、通常の表示位置にある情報を運転者の有効視野に表示させることである。

車両用表示装置を車両に搭載して具体化した一実施形態について、その車両用表示装置によって操作を支援する情報が表示される態様の一例を示す模式図。 同実施形態において、車両用表示装置によって運転支援情報が強調表示される態様の例を示す模式図。 有効視野の範囲の一例を示す図であって、（ａ）は有効視野の水平方向の視野角及び垂直方向の視野角を示す図、（ｂ）は視線方向における有効視野の形状を示す図。 同実施形態において、車両に搭載された車両用表示装置の概略構造を示すブロック図。 同実施形態において、運転操作を支援する情報を表示する処理についてその処理手順を示すフローチャート。 同実施形態において、運転者が運転支援情報の表示を認識したか否かに基づいて強調表示を行う処理についてその処理手順を示すフローチャート。

図１〜図６を参照して、車両用表示装置を車両に搭載して具体化した一実施形態について説明する。
図１、図２及び図４に示す車両１は乗用車であり、運転者によるアクセルの操作、ブレーキの操作、及びステアリングの操作等を通じて運転される。車両１は、走行路２において、自身の進行方向（前方）を信号機３に向けて走行、もしくは停止している。

図１〜図３を参照して、本実施形態の車両用表示装置によって表示される運転操作等を支援する表示の表示態様について説明する。
図１に示す車両１は、車両１の前方の外部環境（車外環境）を撮影する外部カメラ５を備える。外部カメラ５は、車両１の前方の撮影範囲５Ａを含む画像を撮影する。撮影範囲５Ａは、車両１の前方方向に近傍から遠方までの距離を有するが、図示の便宜上、車両１から所定の距離にあって車両１に対向する平面であるものとして説明する。車両１は、外部カメラ５が撮影した画像を画像処理し、この画像から運転支援に必要な情報として信号機３を抽出する。車両１では、抽出された信号機３が、前方の外部環境に重なるように画像を表示させるヘッドアップディスプレイ（ＨＵＤ）を介して、運転支援の情報である信号表示６Ａとして表示される。このとき、運転者の有効視野５Ｂには信号機３そのものである信号機像３Ａが含まれていることから、運転者は信号機像３Ａを認識することができる可能性が高い。そこで、車両１は、撮影範囲５Ａであって信号機像３Ａとは異なる位置に、過剰とならない程度で、確認的に信号表示６Ａを表示させる。

これに対し、図２に示す車両１は、進行方向の遮蔽物や車両１の向きの変化により運転者の有効視野５Ｂから信号機像３Ａが外れた場合を示している。このとき、車両１では、運転者の運転を積極的に支援するため、抽出されていた信号機３をＨＵＤを介して運転者の有効視野５Ｂに強調的な表示である信号表示６Ｂとして表示させる。なお、本実施形態では、強調的な表示である信号表示６Ｂは、通常の表示位置に表示する確認的な信号表示６Ａが示す情報を運転者の有効視野５Ｂに表示させたものであり、確認的な信号表示６Ａと同じ表示態様でも、相違する表示態様、例えば目立つ表示態様でもよい。また、強調的な表示が行われることに応じて確認的な信号表示６Ａを表示させたままでもよいし、表示を消してもよい。

本実施形態では、事前に運転者が信号表示６Ａ，６Ｂの表示を認識したと推定されたとき、その後、信号機像３Ａが有効視野５Ｂから外れたとしても、確認的な信号表示６Ａの表示が維持され、有効視野５Ｂへの強調的な信号表示６Ｂの表示は行われない。このように、運転者が信号機３を認識している場合、有効視野５Ｂに強調的な信号表示６Ｂは表示されないため、運転者が強調表示に起因するわずらわしさを感じることはない。一方、事前に運転者が信号表示６Ａ，６Ｂを認識したと推定されたものの、実際には認識されていないときには、その後、信号機像３Ａが有効視野５Ｂから外れることに応じて、その情報に対応する強調的な信号表示６Ｂが運転者の有効視野５Ｂに表示される。このように、運転者が信号機３を実際には認識していない場合には、有効視野５Ｂに強調的な信号表示６Ｂが表示されるため、運転者にとって適切な運転支援が提供される。なお、本実施形態では、強調表示の一態様は、通常の表示位置にある情報を運転者の有効視野に表示させることである。

図３を参照して、有効視野５Ｂの一例について説明する。ここでは地面に垂直に立った人が水平を向いていることを前提として説明する。図３（ａ）において左側を眼の位置とすると、水平方向における有効視野角は３０度（左右に１５度ずつ）である。よって視点までの長さが距離Ｌであるとすると、水平方向における有効視野５Ｂの幅は「２Ｌ×ｔａｎ（３０°／２）」である。垂直方向における有効視野角は２０度（上下に１０度ずつ）である。よって視点までの長さが距離Ｌであるとすると、垂直方向における有効視野の高さは「２Ｌ×ｔａｎ（２０°／２）」である。すなわち、図３（ｂ）に示すように、視点までの長さが距離Ｌであるとき、有効視野として構成される矩形（視界）は、高さと幅の比が、つまり「高さ：幅」が、「２Ｌ×ｔａｎ（２０°／２）：２Ｌ×ｔａｎ（３０°／２）」で約「１：１．５２」になる。

なお有効視野５Ｂは、視野のうちで情報受容能力に優れる範囲であるが、情報受容能力に優れる範囲は個人差があることから、水平方向及び垂直方向の各有効視野角についても個人差がある。

図４を参照して、本実施形態の車両用表示装置の構成について説明する。
まず、図１〜図４を参照して、構成の概略を説明する。
本実施形態の車両用表示装置は、車両１のフロントウィンドウ７に運転者へ提供する情報、例えば信号表示６Ａを表示する。車両用表示装置は、運転者の有効視野５Ｂを検出する有効視野検出部１１１と、運転者へ提供する信号表示６Ａを表示した位置と運転者の有効視野５Ｂの位置とが一致することに基づいて表示した信号表示６Ａが運転者に認識されたと推定する認識推定部１１２を備える。また、車両用表示装置は、運転者へ提供する信号表示６Ａに対応する操作が行われたことを検出する操作検出部１１０を備える。また、車両用表示装置は、信号表示６Ａに対応する操作が行われるまでの時間に関する状態である第１状態及び第２状態の少なくとも一方の状態を検出する応答時間検出部１２０を備える。ここで第１状態は、信号表示６Ａを表示してから同信号表示６Ａに対応する操作が行われるまでの時間が第１の基準時間を超えた状態であり、第２状態は、表示した信号表示６Ａが運転者に認識されたと推定されてから表示に対応する操作が行われるまでの時間が第１の基準時間よりも短い第２の基準時間を超えた状態である。また、車両用表示装置は、応答時間検出部１２０で第１状態又は第２状態が検出されたことに対応して信号表示６Ａに対応する強調的な信号表示６Ｂを運転者の有効視野５Ｂに表示する表示強調部１４１を備える。

このような、車両用表示装置についてさらに詳しく説明する。
車両１は、上記外部カメラ５と、上記フロントウィンドウ７と、運転支援に関する処理を行う運転支援装置１０と、運転者の視線を検出する視線検出カメラ１１と、ＨＵＤ用の画像を出力する表示出力部１４と、音声を出力する音声出力部１５とを備える。

外部カメラ５は、車両前方の外部環境を撮影するカメラであって、ＣＣＤカメラ等によって構成されている。外部カメラ５は、撮影した画像を運転支援装置１０に出力する。
フロントウィンドウ７は、車両１の前側に設けられている窓であって、運転者は当該フロントウィンドウ７を介して外部環境を目視するとともに、表示出力部１４から出力されるＨＵＤ用の画像や文字が投影される。フロントウィンドウ７は、ＨＵＤ用の画像や文字が良好に投影されるように表面処理されていてもよい。以下では、表示出力部１４から出力されるＨＵＤ用の画像や文字を「ＨＵＤ表示」と記す。

視線検出カメラ１１は、運転者の眼球の向きから運転者の視線を検出するカメラである。視線検出カメラ１１は、視線の検出結果を運転支援装置１０に出力する。視線検出カメラ１１は、左右の眼球の向きから焦点までの距離Ｌ（図３参照）を検出してもよい。

表示出力部１４は、ＨＵＤ用の画像等の投影機であって、運転支援装置１０から受けた指示に応じて、運転者に提供するＨＵＤ表示をフロントウィンドウ７に向けて出力する。ところで、フロントウィンドウ７に投影されるＨＵＤ表示は、フロントウィンドウ７では結像せず、その表示は、運転者には虚像として認識される。

音声出力部１５は、スピーカ等であって、運転支援装置１０から受けた指示に応じて、運転者に提供する音声を出力する。
運転支援装置１０は、運転者に提供する運転支援情報を検知するとともに、検知した運転支援情報の提供の可否を決定する。運転支援装置１０は、演算部や記憶部を有するマイクロコンピュータを含んで構成されている。よって、運転支援装置１０は、記憶部１３０に保持されている制御用プログラムや各種のパラメータを演算部に読み込み、実行処理することで、所定の処理を行い所定の機能を提供する。本実施形態では、運転支援に関する情報の提供を行う。

運転支援装置１０は、車両１の操作情報等を取得する車両データ取得処理部１００と、外部カメラ５の撮影した画像を取得する前景データ取得処理部１０１と、視線検出カメラ１１の検出情報取得する視線データ取得処理部１０２とを備える。また、運転支援装置１０は、車両１の操作内容を検出する操作検出部１１０と、運転者の有効視野を検出する有効視野検出部１１１と、ＨＵＤ表示が運転者に認識されたことを推定する認識推定部１１２とを備える。さらに、運転支援装置１０は、車両１の前方画像から信号機や道路標識を検出する信号・標識検出処理部１１３と、信号機や道路標識が有効視野外になったことを検出する信号・標識範囲外検出処理部１１４とを備える。また、運転支援装置１０は、ＨＵＤ表示の支援内容に対応する操作に要した時間を検出する応答時間検出部１２０と、運転支援情報の提供の要否を判定する支援判定部１２１とを備える。さらに、対応操作に要する時間の検出等を記憶する記憶部１３０と、運転者へ情報を提供するための処理を行う表示音声処理部１４０と、ＨＵＤ表示の支援内容に対応する操作に要する時間に関する学習等を行う認知操作学習処理部１４３とを備える。

このうち、車両データ取得処理部１００は、車両内の各所に設けられたセンサーや、各種の電子制御装置（ＥＣＵ）から車両１の状態等を示す車両データを取得する。例えば、ブレーキペダルセンサに関するデータ、アクセル開度に関するデータ、エンジンに関するデータ等を取得する（車両用データ取得処理）。車両データ取得処理部１００は、取得した車両データ等を操作検出部１１０へ出力する。

前景データ取得処理部１０１は、外部カメラ５の撮影した車両前方等の画像を取得する（前景データ取得処理）。また、前景データ取得処理部１０１は、取得した画像に、信号・標識検出のための前処理等の所定の画像処理を施して、信号・標識検出処理部１１３に出力する。

視線データ取得処理部１０２は、視線検出カメラ１１から視線方向や視点の情報（視線データ）を取得する（視線データ取得処理）。視線データ取得処理部１０２は、これら取得した情報を有効視野検出部１１１に出力する。

操作検出部１１０は、車両データ取得処理部１００から取得した車両データに基づいて車両１の操作内容を検出する（操作検出処理）。操作検出部１１０は、車両データを確認して得られた状態に応じて、対応する車両操作があったと検出する。例えば、ブレーキ信号が「ＯＮ」になった状態に応じてブレーキが踏まれた操作を検出し、アクセル開度の値が小さくなった状態に応じてアクセルが緩められた操作を検出し、シフトダウンが行われた状態に応じてエンジンブレーキが使用されたことを検出する。また、検出した操作に関連付けるべく、カーナビゲーションシステム（図示略）等と連携して位置情報や時間を取得する。

また、操作検出部１１０は、運転者を特定する個人ＩＤと車両データや検出した操作等を関連付けて記憶させるようにしてもよい。よって、操作検出部１１０は、運転者を特定するための認証機能を有していてもよいし、個人ＩＤを認証機能から取得してもよい。

さらに、操作検出部１１０は、表示音声処理部１４０からＨＵＤ表示の内容を取得して、これに対応する操作が行われたことを検出し、検出した結果を応答時間検出部１２０へ出力する。

有効視野検出部１１１は、視線データ取得処理部１０２から取得した運転者の視線や視点の情報（視線データ）に基づいて運転者が見ている範囲である有効視野５Ｂ（図１参照）を検出する（視線範囲検出処理）。

認識推定部１１２は、有効視野検出部１１１から有効視野５Ｂを取得し、表示音声処理部１４０からＨＵＤ表示の位置を取得する。認識推定部１１２は、ＨＵＤ表示の位置に有効視野５Ｂが置かれた時間の長さに基づいて運転者によるＨＵＤ表示の認識を推定する（ＨＵＤ認識推定処理）。ＨＵＤ認識推定処理では、例えば信号機や標識としてＨＵＤ表示されている位置（領域）が有効視野５Ｂにあるか否かを確認する。そして、ＨＵＤ表示の領域が有効視野５Ｂにある場合、ＨＵＤ表示を認識したと推定し、ＨＵＤ表示の領域が有効視野５Ｂにない場合、ＨＵＤ表示を認識していないと推定する。認識推定部１１２は、ＨＵＤ表示に対する運転者の認識の推定結果を応答時間検出部１２０に出力する。

認識推定部１１２で運転者によるＨＵＤ表示の認識が推定されたとき、応答時間検出部１２０では現在の情報提示認知時間Ｄ２ｃの測定を終了する。また、認知操作時間を計測するために現在の認知操作時間Ｄ３ｃの測定を開始する。

信号・標識検出処理部１１３は、前景データ取得処理部１０１から取得した車両１の前方画像から信号機や標識を検出する（信号・標識検出処理）。信号・標識検出処理では、前景データ取得処理で取得した車両１の前方画像から信号機３及びその灯色や、道路標識を検出する。信号・標識検出処理部１１３は、信号機等の検出結果を信号・標識範囲外検出処理部１１４や支援判定部１２１に出力する。

信号・標識範囲外検出処理部１１４は、有効視野検出部１１１から有効視野５Ｂを取得するとともに、信号・標識検出処理部１１３から信号機や標識の検出結果を取得し、当該取得した信号機や標識が有効視野５Ｂの外に出たことを検出する（信号・標識範囲外検出処理）。信号・標識範囲外検出処理部１１４は、信号・標識検出処理部１１３から取得した、前回の信号機や標識と今回の信号機や標識との比較に基づいて信号機や標識が有効視野５Ｂの外に出たことを検出する。信号・標識範囲外検出処理部１１４は、信号機や標識が有効視野５Ｂの外に出たことの検出結果を応答時間検出部１２０や支援判定部１２１に出力する。

応答時間検出部１２０は、操作検出部１１０から車両１の操作内容を取得し、認識推定部１１２から運転者がＨＵＤ表示を認識したか否かの推定結果を取得し、信号・標識範囲外検出処理部１１４から信号機や標識が有効視野５Ｂの外に出たことを取得し、表示音声処理部１４０からＨＵＤ表示のタイミングを取得する。こうして取得した各情報に基づいて、応答時間検出部１２０は、ＨＵＤ表示の内容と、それに対応する操作に要した時間を検出する。

応答時間検出部１２０で算出される時間、及びこの時間の算出に用いられるタイミングについて説明する。まず、信号機や標識が有効視野５Ｂの外に出た後、ＨＵＤ表示が出力されてから、このＨＵＤ表示の内容に対応する運転操作が行われるまでの間に３つの異なるタイミング、第１〜第３タイミングｔ１〜ｔ３が定義される。第１タイミングｔ１は、運転支援に関する情報がＨＵＤ表示として出力されるタイミングである。第２タイミングｔ２は、第１タイミングｔ１で出力されたＨＵＤ表示が運転者に認識されたと推定したタイミングである。第３タイミングｔ３は、ＨＵＤ表示の内容に対応する運転操作が行われたタイミングである。そして、第１タイミングｔ１から第３タイミングｔ３までの期間を情報提示操作時間Ｄ１、第１タイミングｔ１から第２タイミングｔ２までの期間を情報提示認知時間Ｄ２、第２タイミングｔ２から第３タイミングｔ３までの期間を認知操作時間Ｄ３と定義する。つまり、情報提示操作時間Ｄ１は、情報提示認知時間Ｄ２と認知操作時間Ｄ３とが足された時間に等しい。よって、情報提示操作時間Ｄ１は、ＨＵＤ表示が出力されてから車両１が操作されるまでの時間であり、情報提示認知時間Ｄ２は、ＨＵＤ表示が出力されてからその表示が認識されるまでの時間であり、認知操作時間Ｄ３は、ＨＵＤ表示が認識されてから車両１が操作されるまでの時間である。さらに、上記各時間は、平均値と現在値とが定義される。よって、平均値として、平均の情報提示操作時間Ｄ１ａと、平均の情報提示認知時間Ｄ２ａと、平均の認知操作時間Ｄ３ａとが定義される。なお本実施形態では、平均の情報提示操作時間Ｄ１ａが第１の基準時間であり、平均の認知操作時間Ｄ３ａが第２の基準時間である。また、現在値として、現在の情報提示操作時間Ｄ１ｃと、現在の情報提示認知時間Ｄ２ｃと、現在の認知操作時間Ｄ３ｃとが定義される。ここで平均値は、過去に算出された複数の時間の値の平均値として得られる値であり、現在値は、１組のタイミングデータから得られる時間の値である。各平均値は、事前に取得したデータから予め算出される値であり、各現在値は、最新のデータから算出される値である。各平均値や各現在値を、個人ＩＤや、時刻や、走行位置に関連づけてもよい。

支援判定部１２１は、信号・標識検出処理部１１３から信号・標識の検出結果を取得し、取得された信号・標識の検出結果に対応する運転支援の提供を表示音声処理部１４０に指示する。また、支援判定部１２１は、一旦検出された信号・標識について、一時的に検出できなくなったとき、実像に対応する表示位置に運転支援用のＨＵＤ表示を提供するように表示音声処理部１４０に指示する。さらに、支援判定部１２１は、応答時間検出部１２０から各時間を取得して、提供している運転支援用のＨＵＤ表示を運転者が認識したと推定されたものの、実際には認識していないと判定されたとき、運転支援用のＨＵＤ表示を強調表示するように表示音声処理部１４０に指示する。

支援判定部１２１は、ＨＵＤ表示の見逃しを判定する処理（見逃し判定処理）を行う見逃し判定部１２２を備える。見逃し判定は、ＨＵＤ表示を認識していないと判定するケースと、ＨＵＤ表示を認識したと推定したものの、実際には認識していないケースとを判定する。

見逃し判定部１２２は、運転者がＨＵＤ表示を認識していないと判定したケースに対して、音声にて通知を行うための要求通知である音声強調要求を設定する。例えば、運転者の有効視野５Ｂから信号機や標識が外れ、かつ、ＨＵＤ表示を認識していない場合（現在の情報提示認知時間Ｄ２ｃが平均の情報提示認知時間Ｄ２ａを超える場合）、ＨＵＤ表示を見るように促す音声強調要求を設定する。

また、見逃し判定部１２２は、ＨＵＤ表示を認識したと推定したものの、実際には認識していないケースを判定する。つまり、第１状態としての現在の情報提示操作時間Ｄ１ｃが平均の情報提示操作時間Ｄ１ａを超えること、又は、第２状態としての現在の認知操作時間Ｄ３ｃが平均の認知操作時間Ｄ３ａを超えることに基づいて同実際には認識していないケースを判定する。例えば、見逃し判定部１２２は、運転者の有効視野５Ｂから信号機や標識が外れ、かつ、ＨＵＤ表示を認識していると推定されながらもブレーキ等の車両操作が通常の操作平均時間（平均の情報提示操作時間Ｄ１ａ等）を超えるような場合、同実際には認識していないケースと判定する。そして、見逃し判定部１２２は、同実際には認識していないケースと判定したとき、ＨＵＤ表示を強調表示させる表示強調要求を設定する。

記憶部１３０は、不揮発性の記憶装置から構成されている。記憶部１３０には、平均の情報提示操作時間Ｄ１ａ、平均の情報提示認知時間Ｄ２ａ、平均の認知操作時間Ｄ３ａ、現在の情報提示操作時間Ｄ１ｃ、現在の情報提示認知時間Ｄ２ｃ、及び現在の認知操作時間Ｄ３ｃ等が記憶される。なお、各平均値や各現在値を個人ＩＤに関連付けて記憶してもよい。個人ＩＤに関連付けられた平均値によれば、当該個人ＩＤに対応する現在値との比較によって、当該個人ＩＤに対応する運転者の特性により適合した運転支援表示を行うことができ、運転者のわずらわしさもより軽減されることが期待される。また、各平均値は、時刻及び走行位置の少なくとも一方に関連付けられて記憶されてもよい。時刻や走行位置に関連付けられたた平均値によれば、現在値との適合性が時刻や走行位置に基づいても判断でき、より適切に運転支援表示が行え、運転者のわずらわしさがより軽減されることが期待される。

表示音声処理部１４０は、支援判定部１２１からの指示に基づいて運転者に伝える情報の表示処理や音声出力処理をする（表示音声処理）。表示音声処理部１４０は、音声出力処理に応じてＨＵＤ表示の内容を表示出力部１４に出力し、音声出力の内容を音声出力部１５に出力する。表示音声処理部１４０は、ＨＵＤ表示のタイミングを応答時間検出部１２０に出力し、ＨＵＤ表示の表示位置を認識推定部１１２に出力する。表示音声処理には、外部環境の風景に、信号機の灯色や標識を表示する重畳表示機能が含まれる。重畳表示機能は、通常、運転者の視界を妨げないよう画像や文字情報を前方下部の決まった位置（固定位置）に表示する。例えば、図１に示すように、信号機像３Ａの下方にＨＵＤ表示として信号表示６Ａを表示させる。

表示音声処理部１４０は、支援判定部１２１から運転支援用のＨＵＤ表示の出力の指示を受けると、通常、重畳表示機能によるＨＵＤ表示（例えば、図１の信号表示６Ａ）の出力を行う。例えば、表示音声処理部１４０は、信号・標識検出処理部１１３で、信号機（赤灯色）・標識（一時停止）を検出した場合、信号機（赤灯色）又は標識（一時停止）をＨＵＤ表示によって表示することを開始する。

表示音声処理部１４０は、ＨＵＤ表示を強調表示させる表示強調部１４１と、音声を強調出力させる音声強調部１４２とを備える。
表示音声処理部１４０は、見逃し判定部１２２からの表示強調要求に応じて表示強調要求処理を行う。つまり、表示強調部１４１は、表示強調要求に応じて、運転者の有効視野５Ｂの枠内にＨＵＤ表示として信号表示６Ｂ（図２参照）を強調表示する。

また、表示音声処理部１４０は、見逃し判定部１２２からの音声強調要求に応じて音声強調要求処理を行う。つまり、音声強調部１４２は、音声強調要求に応じて、運転者に対してＨＵＤ表示を認識させるための音声通知を出力する。

認知操作学習処理部１４３は、ＨＵＤ表示から車両操作（ブレーキを踏む、アクセルを緩める、シフトダウンする等）までの各時間を保存するとともに、同一の操作についての平均値を算出する（認知操作学習処理）。ＨＵＤ表示から車両操作までの各時間は、個人ＩＤに関連付けて保存してもよい。

図５及び図６を参照して、車両用表示装置の動作について説明する。この動作に係る処理は、所定の周期で繰り返し行われる。また、次の処理に必要な状況は、フラグ等で記憶されている。

図５に示すように、車両用表示装置は、車両データ取得処理部１００で車両用データ取得処理を行い（ステップＳ１００）、前景データ取得処理部１０１で前景データ取得処理を行い（ステップＳ１０１）、視線データ取得処理部１０２で視線データ取得処理を行う（ステップＳ１０２）。また、車両用表示装置は、信号・標識検出処理部１１３で信号・標識検出処理を行い（ステップＳ１１０）、有効視野検出部１１１で視線範囲検出処理を行い（ステップＳ１１１）、信号・標識範囲外検出処理部１１４で信号・標識範囲外検出処理を行う（ステップＳ１１２）。

また、車両用表示装置は、認識推定部１１２でＨＵＤ認識推定処理を行う（ステップＳ１１３）。ＨＵＤ認識推定処理は、ＨＵＤ表示が認識されたと推定した場合、応答時間検出部１２０での現在の情報提示認知時間Ｄ２ｃの測定を終了させるとともに、現在の認知操作時間Ｄ３ｃの測定を開始させる。

車両用表示装置は、操作検出部１１０で操作検出処理を行う（ステップＳ１１４）。操作検出処理では、検出された車両操作に、その車両操作が発生した場所や時間を関連付ける。また、操作検出処理は、応答時間検出部１２０での現在の情報提示操作時間Ｄ１ｃと現在の認知操作時間Ｄ３ｃの測定を終了させる。

車両用表示装置は、見逃し判定部１２２で見逃し判定処理を行う（ステップＳ１２０）。見逃し判定処理では、見逃し判定に応じて、音声強調要求や表示強調要求が設定される。

すなわち、図６に示すように、見逃し判定部１２２は、見逃し判定処理でＨＵＤ表示はあるか否かを判定する（ステップＳ１２１）。例えば、この判定では、信号・標識検出処理（ステップＳ１１０）にて、信号機が赤灯色又は道路標識（止まれ・一時停止）が検出され、かつ、表示音声処理（ステップＳ１３０）にて信号機又は道路標識のＨＵＤ表示がされている場合、「ＨＵＤ表示あり」と判定する。「ＨＵＤ表示あり」と判定した場合（ステップＳ１２１でＹＥＳ）、見逃し判定部１２２は、現在の情報提示操作時間Ｄ１ｃが平均値を超えたか否か判定する（ステップＳ１２２）。一方、「ＨＵＤ表示あり」以外の条件では「ＨＵＤ表示なし」と判定する。「ＨＵＤ表示なし」と判定した場合（ステップＳ１２１でＮＯ）、見逃し判定部１２２は、見逃し判定処理を終了する。

見逃し判定部１２２は、ステップＳ１２２で、現在の情報提示操作時間Ｄ１ｃが平均値を超えたか否かを、現在の情報提示操作時間Ｄ１ｃと認知操作学習処理（ステップＳ１３１）で保存した平均の情報提示操作時間Ｄ１ａとの比較により判定する。例えば、現在の情報提示操作時間Ｄ１ｃが平均の情報提示操作時間Ｄ１ａを超えている場合、つまりＨＵＤ表示が提供されてから車両操作するまでの時間が平均値を超えている場合（ステップＳ１２２でＹＥＳ）、見逃し判定部１２２は、ＨＵＤ表示が実際には認識されていない可能性が高いため、認識対象が有効視野５Ｂ内にあるか否かを判定する（ステップＳ１２５）。

一方、現在の情報提示操作時間Ｄ１ｃが平均の情報提示操作時間Ｄ１ａを超えていない場合（ステップＳ１２２でＮＯ）、見逃し判定部１２２は、現在の認知操作時間Ｄ３ｃが平均値を超えたか否かを判定する（ステップＳ１２３）。

見逃し判定部１２２は、現在の認知操作時間Ｄ３ｃが平均値を超えたか否かを、認知操作学習処理（ステップＳ１３１）で保存した、平均の認知操作時間Ｄ３ａと現在の認知操作時間Ｄ３ｃとの比較により判定する。例えば、現在の認知操作時間Ｄ３ｃが平均の認知操作時間Ｄ３ａを超えている場合、つまりＨＵＤ表示で提供された情報を認識したと推定されるが車両１の操作が行われていない場合（ステップＳ１２３でＹＥＳ）、見逃し判定部１２２は、ＨＵＤ表示が実際には認識されていない可能性が高いと判定して認識対象が有効視野５Ｂ内にあるか否かを判定する（ステップＳ１２５）。一方、現在の認知操作時間Ｄ３ｃが平均の認知操作時間Ｄ３ａを超えていない場合（ステップＳ１２３でＮＯ）、現在の情報提示認知時間Ｄ２ｃが平均値を超えたか否かを判定する（ステップＳ１２４）。

見逃し判定部１２２は、現在の情報提示認知時間Ｄ２ｃが平均値を超えたか否かを、認知操作学習処理（ステップＳ１３１）で保存した平均の情報提示認知時間Ｄ２ａと現在の情報提示認知時間Ｄ２ｃとの比較により判定する。例えば、現在の情報提示認知時間Ｄ２ｃが平均の情報提示認知時間Ｄ２ａを超えている場合（ステップＳ１２４でＹＥＳ）、見逃し判定部１２２は、ＨＵＤ表示が表示されてからの時間に基づいて、運転者がＨＵＤ表示を認識していない可能性が高いと推定し、音声強調要求処理を実行して（ステップＳ１２６）、その後終了する。音声強調要求処理では、表示音声処理部１４０に対して音声強調要求が設定される。

一方、現在の情報提示認知時間Ｄ２ｃが平均の情報提示認知時間Ｄ２ａを超えていない場合（ステップＳ１２４でＮＯ）、見逃し判定部１２２は、見逃し判定処理を終了する。
見逃し判定部１２２は、認識対象が有効視野５Ｂ内にあるか否かを、信号・標識範囲外検出処理（ステップＳ１１２）にて、信号機や標識が有効視野５Ｂ外になったか否かに基づいて判定する。信号機や標識が有効視野５Ｂ外になったと判定した場合（ステップＳ１２５でＮＯ）、見逃し判定部１２２は、視界から外れたと判定し、表示強調要求処理を実行して（ステップＳ１２７）、その後終了する。表示強調要求処理では、表示音声処理部１４０に対して表示強調要求が設定される。

一方、有効視野５Ｂ内にあると判定した場合（ステップＳ１２５でＹＥＳ）、見逃し判定部１２２は、運転者が認識していると判定し、見逃し判定処理を終了する。
そして、図５に示すように、車両用表示装置は、表示音声処理部１４０で運転者に伝える情報を表示させたり、音声出力させたりする表示音声処理を行う（ステップＳ１３０）。表示音声処理では、表示強調要求に応じて運転者の有効視野５Ｂ内にＨＵＤ表示を強調表示したり、音声強調要求に応じて運転者に対してＨＵＤ表示を認識させるための音声通知を出力させたりする。表示音声処理部１４０は、信号・標識検出処理（ステップＳ１１０）で、信号機（赤灯色）・標識（一時停止）を検出した場合、表示出力部１４に信号機（赤灯色）又は標識（一時停止）を表示開始させるとともに、応答時間検出部１２０に平均の情報提示操作時間Ｄ１ａと平均の情報提示認知時間Ｄ２ａとの測定を開始させる。

また、車両用表示装置は、認知操作学習処理部１４３で認知操作学習処理を行う（ステップＳ１３１）。認知操作学習処理は、この処理で得られた情報、例えば、個人ＩＤとＨＵＤ表示とから車両操作（ブレーキを踏む、アクセルを緩める、シフトダウンする等）までの各時間を保存する。

本実施形態の車両用表示装置の動作例を説明する。
一つの例として、外部カメラ５から車両１の前方の画像を入力し、画像解析により信号機３（赤灯色）、又は標識（止まれ）を検出する。表示音声処理部１４０を介して表示出力部１４から、信号機３（赤灯色）、又は標識（止まれ）をＨＵＤ表示として表示する。このとき、応答時間検出部１２０で現在の情報提示操作時間Ｄ１ｃと、現在の情報提示認知時間Ｄ２ｃとの計測を開始する。そして見逃し判定部１２２は、見逃し判定処理で、現在の情報提示認知時間Ｄ２ｃが「１．２秒」であり、平均の情報提示認知時間Ｄ２ａの「１．０秒」を超えている場合、ＨＵＤ表示を認識していないと判定する。この判定に基づいて、表示音声処理部１４０は音声にて運転支援を行う。

他の例として、外部カメラ５から車両１の前方の画像を入力し、画像解析により信号機３（赤灯色）、又は標識（止まれ）を検出する。表示音声処理部１４０を介して表示出力部１４から、信号機３（赤灯色）、又は標識（止まれ）をＨＵＤ表示として表示する。このとき、応答時間検出部１２０で現在の情報提示操作時間Ｄ１ｃと、現在の情報提示認知時間Ｄ２ｃとの計測を開始する。そして認識推定部１１２で運転者がＨＵＤ表示を注視（「０．２秒」程度）したことを検出することに応じて、応答時間検出部１２０で現在の情報提示認知時間Ｄ２ｃの計測を停止すると同時に、現在の認知操作時間Ｄ３ｃの計測を開始させる。見逃し判定部１２２は、見逃し判定処理で、現在の情報提示認知時間が「０．８秒」であり、平均の情報提示認知時間Ｄ２ａの「１．０秒」以内である場合、ＨＵＤ表示を認識したと推定して処理を継続する。その後、見逃し判定部１２２にて、現在の認知操作時間Ｄ３ｃが「０．７秒」であり、平均の認知操作時間Ｄ３ａの「０．５秒」を経過している場合、ＨＵＤ表示を認識したと推定したにも関わらず、車両操作を行っていない（信号機３や標識の見逃し）と判定し、表示音声処理部１４０を通じてＨＵＤ表示を強調表示する。

以上説明したように、本実施形態に係る車両用表示装置によれば、以下に示すような効果が得られるようになる。
ＨＵＤ表示した情報について運転者により認識されたか否かが推定される。そして、ＨＵＤ表示された情報を運転者が認識したと推定したものの、実際には同情報を認識していない可能性が高いとき、その情報を運転者の有効視野５Ｂに強調表示する。これにより、運転者自身が認識していない情報を運転者に認識させることができる。一方、運転者に認識されている情報は強調表示されないため、強調表示等で運転者にわずらわしさを感じさせるおそれもない。なお、強調表示の一態様は、通常の表示位置にある情報を運転者の有効視野に表示させることである。

なお、上記実施形態は以下の形態にて実施することもできる。
・上記実施形態では、フロントウィンドウ７にＨＵＤによる情報を表示するようにしたが、フロントウィンドウ７に代えて、クリアパネル等の専用の情報表示対象を用いるようにしてもよい。

・上記実施形態では、外部カメラ５が車両１の前方の画像を撮影することができる場合について例示したが、これに限らず、外部カメラは、車両の前方以外の方向、例えば、右側方、左側方、後方等を撮影可能であってもよい。このとき、視線検出カメラも左右、後ろ方向における視線が検出できればよい。これにより、車両の前方以外の方向、例えば、右側方、左側方、後方についても、適切な情報提供を行うことができる。

・上記実施形態では、運転者の有効視野５Ｂから信号機や標識が外れ、かつ、認識したと推定されたＨＵＤ表示を実際には認識していないとき、強調表示させる場合について例示したが、これに限らず、運転者の有効視野から信号機や標識が外れ、かつ、信号機や標識を実際には認識していないとき、ＨＵＤ表示を表示強調させてもよい。信号機や標識を実際には認識していないことは、ＨＵＤ表示を実際には認識していないことと同様に判定できる。

・上記実施形態では、運転者に運転支援情報を提供する場合について例示したが、運転支援情報は、運転を直接的に支援する情報に限らず、間接的に支援する情報でも、運転者の視野から外れるおそれがあるものであって、運転者に何らかの操作を促す情報であればよい。例えば、運転者が運転環境を良好にするエアコンの操作を誤ったと推定されるものの、その後、その操作内容を確認していないような場合、その操作の確認を促すような情報であってもよい。

・上記実施形態では、車両１が乗用車である場合について説明したが、これに限らず、車両は、ＨＵＤ表示が可能であるならば、営業用の車両、二輪車、バス、トラック、農工業用の車両、工事や土木作業用の車両等の自動車であってもよい。

１…車両、２…走行路、３…信号機、３Ａ…信号機像、５…外部カメラ、５Ａ…撮影範囲、５Ｂ…有効視野、６Ａ…信号表示、６Ｂ…信号表示、７…フロントウィンドウ、１０…運転支援装置、１１…視線検出カメラ、１４…表示出力部、１５…音声出力部、１００…車両データ取得処理部、１０１…前景データ取得処理部、１０２…視線データ取得処理部、１１０…操作検出部、１１１…有効視野検出部、１１２…認識推定部、１１３…信号・標識検出処理部、１１４…信号・標識範囲外検出処理部、１２０…応答時間検出部、１２１…支援判定部、１２２…判定部、１３０…記憶部、１４０…表示音声処理部、１４１…表示強調部、１４２…音声強調部、１４３…認知操作学習処理部。

Claims (1)

1. ヘッドアップディスプレイ表示によって車両の運転者へ提供する情報を表示する車両用表示装置であって、
   運転者の有効視野を検出する有効視野検出部と、
   前記運転者へ提供する情報を表示した位置と前記運転者の有効視野の位置とが一致することに基づいて前記表示した情報が前記運転者に認識されたと推定する認識推定部と、
   前記運転者へ提供する情報に対応する操作が行われたことを検出する操作検出部と、
   前記運転者へ提供する情報を表示してから同情報に対応する操作が行われるまでの時間が第１の基準時間を超えた第１状態、及び、前記表示した情報が運転者に認識されたと推定されてから前記表示に対応する操作が行われるまでの時間が前記第１の基準時間よりも短い第２の基準時間を超えた第２状態の少なくとも一方の状態を検出する応答時間検出部と、
   前記応答時間検出部で第１状態又は第２状態が検出されたことに対応して前記表示した情報に対応する表示を前記運転者の有効視野に強調表示する表示強調部と、
   を備えることを特徴とする車両用表示装置。