JP2017199142A - ドライバー視覚情報提供装置、および、車両用運転支援システム - Google Patents

Abstract

【課題】 ドライバー個々の視覚能力に応じた適切な注意喚起を行うことができるようにする。【解決手段】 網膜投影像推定部１２は、外界画像と、ドライバーの視線の方向と、個人眼特性とに基づいて、ドライバーの網膜に投影される外界の映像である網膜投影像を推定する。網膜出力像推定部１３は、網膜投影像が網膜視細胞配列モデルに投影されたときに、網膜視細胞配列モデルの反応によって得られる映像である網膜出力像を推定する。局所領域情報量演算部１４は、網膜出力像内における予め設定された広さの局所領域ごとの情報量を演算し、局所領域における情報量に基づいて、ドライバーの視野内における位置と、情報量が少なくなるほど高くなる見落とし危険度とを対応付けた見落とし危険度マップを演算する。【選択図】 図１

Description

本発明は、自動車を運転中のドライバーの視覚状態に関する情報を出力するドライバー視覚情報提供装置、および、その情報に基づいて自車両の前方の障害物の存在をドライバーに知らせる車両用運転支援システムに関する。

従来から、自車両の前方をカメラで撮像し、その撮影された画像に基づいて障害物を検知した場合に、ドライバーに障害物の存在を知らせるための注意喚起を行う車両用運転支援システムが知られている。しかし、ドライバーは、自身が障害物を認識している場合には、そうした注意喚起に対して煩わしさを感じる。そこで、特許文献１に提案されている装置では、ドライバーの視線の方向から外れた所定範囲内に障害物が検出され、かつ、ドライバーの視線の方向とハンドルの操舵角方向とが一致する場合に限定して注意喚起を行う。

特開２０１１−１１３１２０号公報

こうした車両用運転支援システムにおいては、ドライバー個々の視覚能力について考慮されていない。例えば、共通の風景を複数のドライバーが見た場合、各ドライバーによって、その風景を視覚する能力が異なっている。また、ドライバーの視野内においても相対的に視覚能力の高い領域と視覚能力の低い領域とが存在し、そうした領域の分布もドライバーによって異なる。このため、同じ状況下において、あるドライバーにとっては良好に認識できる障害物であっても、他のドライバーにとっては、その障害物を見落としてしまうことがある。

本発明は、上記課題を解決するためになされたものであり、ドライバー個々の視覚能力に応じた適切な注意喚起を行うことができるようにすることを目的とする。

上記目的を達成するために、本発明の特徴は、
自車両の前方の外界を撮影する撮影手段（２１）と、
前記自車両のドライバーの視線の方向を検出する視線検出手段（１１，２２）と、
ドライバー個々における、ドライバーが外界を視覚する能力に影響する眼の特性である個人眼特性を取得する個人眼特性取得手段（１５，２３）と、
前記撮影手段による撮影によって得られた外界画像と、前記視線検出手段によって検出された前記ドライバーの視線の方向と、前記個人眼特性取得手段によって取得された個人眼特性とに基づいて、ドライバーの視野内における位置とドライバーの見落としやすさの指標となる見落とし危険度とを対応付けた見落とし危険度マップを演算するマップ演算手段（１２，１３，１４）と
を備え、前記マップ演算手段によって演算された見落とし危険度マップを表す情報を出力することにある。

本発明のドライバー視覚情報提供装置は、撮影手段と、視線検出手段と、個人眼特性取得手段と、マップ演算手段とを備えている。撮影手段は、自車両の前方の外界を撮影する。視線検出手段は、ドライバーの視線の方向を検出する。ドライバーの視線の方向は、例えば、ドライバーの頭部の運動、眼球の運動等を検出することにより求めることができる。

個人眼特性取得手段は、ドライバー個々における、ドライバーが外界を視覚する能力に影響する眼の特性である個人眼特性を取得する。個人眼特性は、例えば、眼科医院等で測定された、眼鏡あるいはコンタクトレンズを含むドライバーの眼光学系特性、あるいは、ドライバーの網膜の視野欠損領域などを表す網膜特性などを用いることができる。個人眼特性取得手段は、例えば、ドライバーの個人眼特性を入力して記憶する記憶装置などを用いることができる。

マップ演算手段は、撮影手段による撮影によって得られた外界画像と、視線検出手段によって検出されたドライバーの視線の方向と、個人眼特性取得手段によって取得された個人眼特性とに基づいて、ドライバーの視野内における位置とドライバーの見落としやすさの指標となる見落とし危険度とを対応付けた見落とし危険度マップを演算する。従って、この見落とし危険度マップによって、ドライバーの視野内における見落としやすい方向を把握することができる。また、見落とし危険度とは、見落としやすさを表す指標を二段階以上（複数段階）で表した情報である。

ドライバー視覚情報提供装置は、マップ演算手段によって演算された見落とし危険度マップを表す情報を出力する。従って、ドライバー視覚情報提供装置から出力された情報を取得することによって、ドライバーが、外界をどのように視覚しているかを表す外界視覚状況を逐次把握することができる。例えば、車両に搭載された車両用運転支援装置等に、この見落とし危険度マップを表す情報を入力することによって、ドライバー個々の外界視覚状況に応じた、障害物に対する注意喚起を行うことができる。

このドライバー視覚情報提供装置は、車載装置（例えば、車両用運転支援装置）内に組み込まれていてもよいし、車載装置とは別体に設けられ、車載装置に対して見落とし危険度マップを表す情報を送信するように設けられていてもよい。

本発明の一側面の特徴は、
前記マップ演算手段は、
前記撮影手段による撮影によって得られた外界画像と、前記視線検出手段によって検出されたドライバーの視線の方向と、前記個人眼特性取得手段によって取得された個人眼特性とに基づいて、ドライバーの網膜に投影される外界の映像である網膜投影像を推定する網膜投影像推定手段（１２）と、
網膜視細胞を配列したモデルである網膜視細胞配列モデルを用いて、前記網膜投影像推定手段によって推定された網膜投影像が、前記網膜視細胞配列モデルに投影されたときに、前記網膜視細胞配列モデルの反応によって得られる映像である網膜出力像を推定する網膜出力像推定手段（１３）と、
前記網膜出力像全体にわたって、前記網膜出力像内における予め設定された広さの局所領域ごとの情報量を算出することにより、ドライバーの視野内における位置と、前記情報量が少なくなるほど高くなる前記見落とし危険度とを対応付けた見落とし危険度マップを演算する局所領域情報量演算手段（１４）と
を備えたことにある。

この場合、前記個人眼特性取得手段（１５）は、眼鏡あるいはコンタクトレンズを含むドライバーの眼光学系特性を取得するように構成されるとよい。

本発明の一側面においては、網膜投影像推定手段が、外界画像とドライバーの視線の方向と個人眼特性とに基づいて、ドライバーの網膜に投影される外界の映像である網膜投影像を推定する。従って、この網膜投影像は、ドライバー個々の眼光学系特性が反映されている。網膜モデル出力像推定手段は、網膜視細胞を配列したモデルである網膜視細胞配列モデルを用いて、網膜投影像推定手段によって推定された網膜投影像が、網膜視細胞配列モデルに投影されたときに、網膜視細胞配列モデルの反応によって得られる映像である網膜出力像を推定する。

この網膜視細胞配列モデルとしては、例えば、網膜を構成する視細胞（錐体細胞（赤錐体、緑錐体、青錐体）および桿体細胞）を人間の網膜と同じように配列した網膜のモデルを用いることができる。従って、網膜視細胞配列モデルに網膜投影像が投影された場合における、網膜視細胞配列モデルの網膜投影像に応じた反応（信号）を推定することができる。これにより、ドライバーの個人眼特性に応じた網膜出力像が得られる。

局所領域情報量演算手段は、網膜出力像全体にわたって、網膜出力像内における予め設定された広さの局所領域ごとの情報量を算出する。この情報量は、例えば、各局所領域内の画像中に含まれる画素値の割合を用いた関数にて求められ、画素値の正規化階調分布が拡がっている画像ほど大きな値となる。局所領域情報量演算手段は、算出された各局所領域における情報量に基づいて、ドライバーの視野内における位置と、情報量が少なくなるほど高くなる見落とし危険度とを対応付けた見落とし危険度マップを演算する。この結果、本発明の一側面によれば、個々のドライバーの視覚状態を適正に表した見落とし危険度マップを演算することができる。

また、本発明の一側面によれば、眼鏡あるいはコンタクトレンズを含むドライバーの眼光学系特性に応じた見落とし危険度マップが演算されるため、ドライバーが眼鏡あるいはコンタクトレンズを装着している場合であっても、その状態でのドライバーの視覚状態を適正に表した見落とし危険度マップを演算することができる。

本発明の一側面の特徴は、
前記マップ演算手段は、
前記撮影手段による撮影によって得られた外界画像と、前記視線検出手段によって検出されたドライバーの視線の方向とに基づいて、ドライバーの網膜に投影される外界の映像である網膜投影像を推定する網膜投影像推定手段（１２）と、
網膜視細胞を配列したモデルであって、前記個人眼特性取得手段によって取得された個人眼特性に応じて設定される網膜視細胞配列モデルを用いて、前記網膜投影像推定手段によって推定された網膜投影像が、前記網膜視細胞配列モデルに投影されたときに、前記網膜視細胞配列モデルの反応によって得られる映像である網膜出力像を推定する網膜出力像推定手段（１３）と、
前記網膜出力像全体にわたって、前記網膜出力像内における予め設定された広さの局所領域ごとの情報量を算出することにより、ドライバーの視野内における位置と、前記情報量が少なくなるほど高くなる前記見落とし危険度とを対応付けた見落とし危険度マップを演算する局所領域情報量演算手段（１４）と
を備えたことにある。

この場合、前記個人眼特性取得手段は、ドライバーの網膜特性を取得するように構成されるとよい。

本発明の一側面によれば、網膜視細胞配列モデルが、ドライバー個々における網膜特性に応じて設定される。これにより、例えば、視野欠損領域などを表す網膜特性を見落とし危険度マップに反映させることができる。従って、本発明の一側面によれば、網膜疾患のあるドライバーに対しても、個々のドライバーの視覚状態を適正に表した見落とし危険度マップを演算することができる。

本発明の一側面の特徴は、
前記マップ演算手段は、
前記撮影手段による撮影によって得られた外界画像と、前記視線検出手段によって検出されたドライバーの視線の方向と、前記個人眼特性取得手段によって取得された個人眼特性とに基づいて、ドライバーの網膜に投影される外界の映像である網膜投影像を推定する網膜投影像推定手段（１２）と、
網膜視細胞を配列したモデルであって、前記個人眼特性取得手段によって取得された個人眼特性に応じて設定される網膜視細胞配列モデルを用いて、前記網膜投影像推定手段によって推定された網膜投影像が、前記網膜視細胞配列モデルに投影されたときに、前記網膜視細胞配列モデルの反応によって得られる映像である網膜出力像を推定する網膜出力像推定手段（１３）と、
前記網膜出力像全体にわたって、前記網膜出力像内における予め設定された広さの局所領域ごとの情報量を算出することにより、ドライバーの視野内における位置と、前記情報量が少なくなるほど高くなる前記見落とし危険度とを対応付けた見落とし危険度マップを演算する局所領域情報量演算手段（１４）と
を備えたことにある。

この場合、個人眼特性取得手段は、眼鏡あるいはコンタクトレンズを含むドライバーの眼光学系特性、および、ドライバーの網膜特性を取得し、
前記網膜投影像推定手段は、前記ドライバーの眼光学系特性に基づいて前記網膜投影像を推定し、
前記網膜出力像推定手段は、前記網膜特性に応じた前記網膜視細胞配列モデルを設定するように構成されるとよい。

本発明の一側面によれば、ドライバーの眼光学系特性が網膜投影像の推定に反映され、ドライバーの網膜特性が網膜出力像の推定に反映される。これにより、ドライバーの眼光学系特性および網膜特性を、見落とし危険度マップに反映させることができる。従って、本発明の一側面によれば、個々のドライバーの視覚状態を更に適正に表した見落とし危険度マップを演算することができる。

本発明の一側面の特徴は、
ドライバーの瞳孔の大きさを検出する瞳孔検出手段（１１）を備え、
前記網膜投影像推定手段（１２）は、前記瞳孔の大きさを考慮して前記網膜投影像を推定するように構成されたことにある。

本発明の一側面によれば、瞳孔の大きさ（瞳孔径）を考慮して、網膜投影像が演算されるため、一層適正な見落とし危険度マップを演算することができる。

本発明は、ドライバー視覚情報提供装置に限らず、ドライバー視覚情報提供装置を備えた車両運転支援システムに適用することもできる。

この場合、本発明の車両運転支援システムの特徴は、
前記自車両の前方に存在する障害物の位置に関する障害物情報を取得する障害物情報取得手段（１６）と、
前記障害物情報取得手段によって取得された障害物情報と前記ドライバー視覚情報提供装置から出力された見落とし危険度マップを表す情報とに基づいて、ドライバーに対して前記障害物の存在を通知する注意喚起手段（１７）と
を備えたことにある。

本発明においては、障害物情報取得手段が、自車両の前方に存在する障害物の位置に関する障害物情報を取得する。この場合、例えば、障害物情報取得手段は、撮影手段による撮影によって得られた外界画像に基づいて、障害物を認識し、その障害物の自車両に対する相対位置情報を取得するとよい。

注意喚起手段は、障害物情報と見落とし危険度マップを表す情報とに基づいて、ドライバーに対して障害物の存在を通知する。従って、本発明によれば、ドライバー個々の視覚能力に応じた適切な注意喚起を行うことができる。つまり、ドライバーが見落としていると推定される障害物に対して注意喚起を行うことができる。

本発明の一側面の特徴は、
前記注意喚起手段は、前記見落とし危険度が閾値よりも高い視野領域に入っている障害物についてのみ（Ｓ１２：Ｙｅｓ）、その存在をドライバーに通知するように構成されたことにある。

本発明の一側面によれば、見落とし危険度が閾値よりも高い視野領域に入っている障害物についてのみ、その存在がドライバーに通知される。従って、ドライバー個々の視覚能力に応じた適切な注意喚起を行うことができ、ドライバーが認識している障害物について不要な注意喚起が行われることを低減することができる。

本発明の一側面の特徴は、
前記注意喚起手段は、予め設定された注意喚起条件が成立したときに障害物の存在をドライバーに通知するように構成され、前記見落とし危険度が閾値よりも高い視野領域に入っている障害物に対する前記注意喚起条件（Ｓ１４１）が、前記見落とし危険度が前記閾値以下の視野領域に入っている障害物に対する前記注意喚起条件（Ｓ１４２）に比べて、ドライバーに対して障害物の存在が通知されやすくなるように設定されていることにある。

本発明の一側面によれば、予め設定された注意喚起条件が成立したときに、障害物の存在がドライバーに通知される。この注意喚起条件は、見落とし危険度が閾値よりも高い視野領域に入っている障害物と、見落とし危険度が閾値以下の視野領域に入っている障害物とで相互に異なっている。具体的には、見落とし危険度が閾値よりも高い視野領域に入っている障害物に対する注意喚起条件が、見落とし危険度が閾値以下の視野領域に入っている障害物に対する注意喚起条件に比べて、ドライバーに対して障害物の存在が通知されやすくなるように設定されている。このため、ドライバーが見落としやすい障害物については、注意喚起が行われやすく、ドライバーが見落としにくい障害物については、注意喚起が行われにくくなっている。従って、ドライバー個々の視覚能力に応じた適切な注意喚起を行うことができ、ドライバーが認識している障害物についての不要な注意喚起が行われることを低減することができる。

注意喚起条件は、例えば、現時点から自車両と障害物とが衝突すると予測される時刻までの時間である衝突予測時間が設定時間よりも短くなったこと、あるいは、自車両に衝突するおそれのある障害物と自車両との距離が設定距離よりも短くなったことなど、任意に設定することができる。この場合、例えば、衝突予測時間を注意喚起条件に用いる場合には、見落とし危険度が閾値よりも高い視野領域に入っている障害物に対する設定時間を、見落とし危険度が閾値以下の視野領域に入っている障害物に対する設定時間よりも長くすればよい。また、障害物と自車両との距離を注意喚起条件に用いる場合には、見落とし危険度が閾値よりも高い視野領域に入っている障害物に対する設定距離を、見落とし危険度が閾値以下の視野領域に入っている障害物に対する設定距離よりも長くすればよい。これにより、ドライバーが見落としやすい障害物については、注意喚起が行われやすくなり（早めに注意喚起が行われるようになり）、ドライバーが見落としにくい障害物については、注意喚起が行われにくくなる。

本発明の一側面の特徴は、
前記注意喚起手段は、前記見落とし危険度が閾値よりも高い視野領域に入っている障害物の存在をドライバーに通知する注意喚起態様（Ｓ１５１）が、前記見落とし危険度が前記閾値以下の視野領域に入っている障害物の存在をドライバーに通知する注意喚起態様（Ｓ１５２）に比べて、ドライバーへの注意喚起力が大きくなるように構成されていることにある。

本発明の一側面によれば、見落とし危険度が閾値よりも高い視野領域に入っている障害物の存在をドライバーに通知する場合には、見落とし危険度が閾値以下の視野領域に入っている障害物の存在をドライバーに通知する場合に比べて、ドライバーへの注意喚起力が大きくなる。このため、ドライバーが見落としやすい障害物については、強い注意喚起が行われる。一方、ドライバーが見落としにくい障害物については、軽い注意喚起が行われる、あるいは、注意喚起が行われない。このため、ドライバーが障害物を認識している場合に注意喚起が行われたとしても、ドライバーの感じる煩わしさは少なくて済む。従って、ドライバー個々の視覚能力に応じた適切な注意喚起を行うことができる。

上記説明においては、発明の理解を助けるために、実施形態に対応する発明の構成要件に対して、実施形態で用いた符号を括弧書きで添えているが、発明の各構成要件は、前記符号によって規定される実施形態に限定されるものではない。

本実施形態に係る車両用運転支援システムの概略構成図である。 眼球光学系特性（波面収差）の一例を表す図である。 網膜投影像の一例を表す図である。 網膜視細胞配列モデルを説明する説明図である。 視細胞の応答ダイナミクスを表すグラフである。 外界画像と網膜出力像とを表す図である。 外界画像局所量域正規化階調分布の一例を表すグラフである。 局所領域における情報量のサンプリングについて説明する説明図である。 見落とし危険度マップを表す図である。 濃淡を使って表した見落とし危険度マップ（片眼）の一例を表す図である。 濃淡を使って表した見落とし危険度マップ（片眼）の一例を表す図である。 濃淡を使って表した見落とし危険度マップ（片眼）と外界画像とを重ね合わせた一例を表す図である。 濃淡を使って表した見落とし危険度マップ（両眼）の一例を表す図である。 実施形態に係る注意喚起制御ルーチンを表すフローチャートである。 変形例１に係る注意喚起制御ルーチンを表すフローチャートである。 変形例２に係る注意喚起制御ルーチンを表すフローチャートである。

以下、本発明の実施形態について図面を用いて詳細に説明する。図１は、本実施形態の車両用運転支援システム１の概略構成図である。

車両用運転支援システム１は、支援ＥＣＵ１０を備えている。ＥＣＵは、Electric Control Unitの略である。本明細書において、この車両用運転支援システムが搭載された車両を、他車両と区別する必要がある場合には、「自車両」と呼ぶ。

支援ＥＣＵ１０は、第１カメラ２１と、第２カメラ２２と、入力部２３と、報知器２４とに接続されている。第１カメラ２１は、車体に固定され、自車両の前方の外界を所定の短い周期で撮影し、撮影によって得られた外界画像を支援ＥＣＵ１０に出力する。第１カメラ２１は、本発明の撮影手段に相当する。第２カメラ２２は、ドライバーの頭部に装着固定され、ドライバーの顔を所定の短い周期で撮影し、撮影によって得られたドライバーの顔画像を支援ＥＣＵ１０に出力する。また、第２カメラ２２には、図示しないジャイロ・加速度センサーが内蔵されており、ジャイロ・加速度センサーによって検出したドライバーの頭部の運動状態を表す情報を支援ＥＣＵ１０に出力する。入力部２３は、自車両を運転するドライバーの固有の眼特性（個人眼特性と呼ぶ）を表すデータを入力する装置である。入力部２３は、入力された個人眼特性を支援ＥＣＵ１０に出力する。

報知器２４は、表示器２４ａ、および、スピーカ２４ｂ（ブザーでもよい）を備えており、支援ＥＣＵ１０によって駆動され、ドライバーに対して注意喚起を与える装置である。表示器２４ａとしては、ヘッドアップディスプレイ（ＨＵＤ）が用いられる。以下、表示器２４ａをＨＵＤ２４ａと呼ぶ。ＨＵＤ２４ａは、自車両内の各種ＥＣＵおよびナビゲーション装置からの表示情報を受信し、その表示情報を自車両のフロントガラスの一部の領域（表示領域）に映し出す。支援ＥＣＵ１０は、後述する注意喚起対象物が検知されたときに、注意喚起用表示情報をＨＵＤ２４ａに送信する。これにより、ＨＵＤ２４ａは、表示領域の一部を使って、注意喚起用アイコンを表示する。また、支援ＥＣＵ１０は、ＨＵＤ２４ａへの注意喚起用表示情報を送信するときにスピーカ２４ｂを駆動してドライバーに注意喚起する。

尚、表示器２４ａとしては、ＨＵＤに限るものでは無く、インストルメントパネルに設けられたメータディスプレイ等を用いてもよい。

支援ＥＣＵ１０は、マイクロコンピュータを主要部として備えている。マイクロコンピュータは、ＣＰＵとＲＯＭ及びＲＡＭ等の記憶装置を含み、ＣＰＵはＲＯＭに格納されたプログラムを実行することにより各種機能を実現するようになっている。

支援ＥＣＵ１０は、そのマイクロコンピュータの機能に着目すると、ドライバー視覚情報提供部１０ａと注意喚起部１０ｂとに大別される。この場合、支援ＥＣＵ１０は、例えば、ドライバー視覚情報提供部１０ａを備えたＥＣＵと、注意喚起部１０ｂを備えたＥＣＵとを別々に備え、それらを組み合わせて構成されるなど、複数のＥＣＵによって構成されていてもよい。

ドライバー視覚情報提供部１０ａは、視線方向・瞳孔径検出部１１と、網膜投影像推定部１２と、網膜出力像推定部１３と、局所領域情報量演算部１４と、個人眼特性記憶部１５とを備えている。注意喚起部１０ｂは、障害物検出部１６と、注意喚起制御部１７とを備えている。各機能部１１〜１７は、それぞれ所定の短い演算周期にて、以下の処理を繰り返し実施する。

視線方向・瞳孔径検出部１１は、第２カメラ２２で撮影されたドライバーの顔を表すドライバー顔画像を解析して、例えば、ドライバーの眼球の運動と、瞳孔の輪郭とを検出する。また、視線方向・瞳孔径検出部１１は、第２カメラ２１に内蔵されたジャイロ・加速度センサーの検出信号に基づいて、ドライバーの顔（首から上の頭部）の運動を検出する。視線方向・瞳孔径検出部１１は、ドライバー顔画像から瞳孔の輪郭を抽出し、この輪郭から瞳孔の中心位置および瞳孔径を算出する。また、視線方向・瞳孔径検出部１１は、ドライバーの眼の輪郭（上瞼、下瞼で囲まれる目の輪郭）と瞳孔の中心位置との相対関係から、眼球の回転角度を算出する。

視線方向・瞳孔径検出部１１は、ドライバーの瞳孔の中心位置、ドライバーの眼球の回転角度、および、ドライバーの顔の向き（角度）等に基づいて、ドライバーの視線方向（視線位置と呼ぶこともできる）を算出する。視線方向・瞳孔径検出部１１は、上記のようにして算出したドライバーの視線方向および瞳孔径を表す情報を網膜投影像推定部１２に出力する。尚、ドライバーの視線方向および瞳孔径の検出については、従来から種々の手法が知られているので、それらの手法を任意に採用することができる。また、本実施形態においては、第２カメラ２２は、ドライバーの頭部に装着されるが、それに代えて、車両に固定して設けられていてもよい。また、ドライバーの頭部の運動については、ジャイロ・加速度センサーに代えて、例えば、車両に固定したカメラでドライバーの頭部を撮影し、その撮影画像から検出するようにしてもよい。

第２カメラ２２と視線方向・瞳孔径検出部１１とからなる構成は、本発明の視線検出手段に相当する。

網膜投影像推定部１２は、外界画像ｉｏ（ｘ，ｙ，ｈ，ｔ）からドライバーの網膜に投影される映像である網膜投影像ｉｒ（ｘ，ｙ，ｈ，ｔ）を演算により推定する機能部である。ここで、ｘ，ｙは、映像（画像）の横座標位置，縦座標位置を表し、ｔは、時間を表す。また、ｈは、外界画像の色成分ｈ＝｛ｒ，ｇ，ｂ｝である。外界画像ｉｏ（ｘ，ｙ，ｈ，ｔ）は、第１カメラ２１から出力される画像を表す。網膜投影像ｉｒ（ｘ，ｙ，ｈ，ｔ）は、外界画像ｉｏ（ｘ，ｙ，ｈ，ｔ）と、ドライバーの視線の方向、ドライバーの瞳孔径、および、ドライバーの眼光学系特性とによって決定される。

眼光学系特性は、ドライバーが眼鏡あるいはコンタクトレンズ（これらを補助レンズと呼ぶ）を装着しない場合には、ドライバーの眼球の光学特性であり、ドライバーが補助レンズを装着する場合には、ドライバーの眼球と補助レンズとからなる光学系の光学特性である。

網膜投影像推定部１２は、瞳関数を用いて網膜投影像ｉｒ（ｘ，ｙ，ｈ，ｔ）を演算する。この網膜投影像ｉｒ（ｘ，ｙ，ｈ，ｔ）は、ドライバーの左右眼についてそれぞれ個々に演算される。
瞳関数ＰＦ（ｘ，ｙ，ｔ）は、次式（１）によって表される。
ここで、Ｓ（ｘ，ｙ，ｔ）は、ｘｙ平面内における瞳孔の二次元形状を表し、瞳孔の二次元形状を円と仮定すると、瞳孔半径内に位置する場合には値１に、瞳孔円外に位置する場合には値０に設定される。また、λは、ドライバーの光学系を通過する光の波長を表す。
ドライバーの光学系を通過する光の波長λは、様々な単波長が混ざり合ったものであるため、映像から全ての波長を算出することは不可能である。そこで、本実施形態においては、国際照明委員会（ＣＩＥ）の定めたｘｙ色度図（ＣＩＥxy色度図）を用いて画素毎に、単波長を求め、その単波長を上記（１）式におけるλとする。この場合、ＣＩＥxy色度図に示される領域の周囲が単色光（単波長）となり、領域の中央部が無彩色となる。このＣＩＥxy色度図に示される領域の周囲を単波長曲線と呼ぶ。本実施形態においては、ＣＩＥxy色度図において、無彩色となる点と、画素値（Ｒ，Ｇ，Ｂ）の色座標（ｘ，ｙ）を表す点とを結んだ直線が、単波長曲線と交差する交点を求める。色座標（ｘ，ｙ）は、この交点の単波長の色と無彩色との混合色と考えることができる。従って、この交点で特定される単色光の波長を、上記（１）式のλとして用いる。

網膜投影像推定部１２は、視線方向・瞳孔径検出部から出力されたドライバーの視線方向および瞳孔径を表す情報に基づいて、外界画像ｉｏ（ｘ，ｙ，ｈ，ｔ）において瞳孔円内となる範囲、つまり、Ｓ（ｘ，ｙ，ｔ）を設定する。

式（１）において、Ｗ（ｘ，ｙ）はドライバー個人の眼球の波面収差を表す。ドライバー個人の眼光学系特性は、波面収差に反映される。波面収差Ｗ（ｘ，ｙ）は、個人眼特性記憶部１５に記憶されている。

通常、Ｈartmann-Ｓhackセンサー等、補償光学技術により測定された波面収差は、次式（２）のようなＺernike多項式で近似表現される。
ここで、Ｚは、Ｚernike多項式の各項、ｒ（≦１）は極座標の半径、θは回転角である。また、ｎは放射方向の次数、ｍは回転方向の次数である（ｎ≧ｍ）。これらのＺernike項の線形和として光学系の波面収差Ｗ（ｘ，ｙ）は、次式（３）のように再構成される。
ここで、Ｃn,mは、Ｚernike多項式各項の係数である。尚、本実施形態においては、波面収差は、時間に対して変化しないものとしているが、ドライバーの見ている物体までの距離の変化（焦点位置の変化）に合わせて波面収差を変化させる場合には、時間要素を含めたＷ（ｘ，ｙ，ｔ）とすることもできる。

個人眼特性記憶部１５には、ドライバーの個人眼特性として、Ｚernike項の係数Ｃn,mに相当するデータが記憶されている。

ドライバーの眼光学特性を表す光学系伝達関数ＯＴＦ（ｆx，ｆy，ｔ）は、瞳関数ＰＦ（ｘ，ｙ，ｔ）を使って、次式（４）によって表すことができる。
ここで、ｆxは、ｘ方向の空間周波数を表し、ｆyは、ｙ方向の空間周波数を表す。また、Ｆ₂は、2次元フーリエ変換関数を表す。Ｆ₂ ^-1は、2次元フーリエ逆変換関数を表す。

外界画像ｉｏ（ｘ，ｙ，ｈ，ｔ）をＲＧＢの３成分に分けて表現した各画像を、ｉｏｒ＝ｉｏ（ｘ，ｙ，ｒ，ｔ）、ｉｏｇ＝ｉｏ（ｘ，ｙ，ｇ，ｔ）、ｉｏｂ＝ｉｏ（ｘ，ｙ，ｂ，ｔ）とし、これらの２次元フーリエ変換をそれぞれＩＯｒ，ＩＯｇ，ＩＯｂとすると、ドライバーの光学系を通過した後に網膜に投影される網膜投影像ｉｒ（ｘ，ｙ，ｈ，ｔ）は、次式（５）にて表すことができる。

網膜投影像推定部１２は、このようにして、各ピクセルがＲＧＢ値で表現された外界画像ｉｏ（ｘ，ｙ，ｈ，ｔ）から、各フレームごとに、同じＲＧＢ値で表現される網膜投影像ｉｒ（ｘ，ｙ，ｈ，ｔ）を演算する。

この網膜投影像推定部１２は、本発明の網膜投影像推定手段に相当する。

個人眼特性記憶部１５は、不揮発性メモリであって、ドライバーの個人眼特性を記憶している。ユーザーは、眼科医院等において測定されたドライバーの眼光学系の波面収差を表すデータ（係数Ｃn,mに相当するデータ）を、入力部２３を介して個人眼特性記憶部１５に記憶させる。この個人眼特性は、ドライバーが補助レンズを装着して運転する場合には、ドライバーの眼球と補助レンズとからなる光学系の光学特性である。この場合、ドライバーの眼球と補助レンズとを合成した光学特性を入力してもよいし、それらの個々の光学特性を入力してもよい。

網膜投影像推定部１２は、この個人眼特性記憶部１５に記憶されたデータを読み込んで、網膜投影像ｉｒ（ｘ，ｙ，ｈ，ｔ）を演算する。尚、データ（個人眼特性）の入力にあたっては、データを記憶した記憶媒体を入力部２３に接続して入力部２３がそのデータを読み込むようにしてもよいし、ユーザーがマニュアル操作で入力部２３にデータ入力してもよいし、外部の無線通信装置から送信されたデータを入力部２３で受信するようにしてもよく、任意の形態を採用することができる。

この入力部２３と個人眼特性記憶部１５とからなる構成は、本発明の個人眼特性取得手段に相当する。

図２は、乱視眼の波面収差を表す。図中において、濃い部分がマイナス強度となるエリア、薄い部分がプラス強度となるエリアを表す。乱視眼においては、受光面の位置によって強度が変化する。一方、正常眼では、波面収差が小さく、ほぼ受光面の全域において、強度が一定となる。図３は、網膜投影像を表し、（ａ）は正常眼の網膜投影像であり、（ｂ）は乱視眼の網膜投影像である。この図からわかるように、正常眼に比べて波面収差の大きな乱視眼では、網膜投影像が不鮮明となる。尚、同じ波面収差を有する眼球であっても、瞳孔径が大きい場合には、小さい場合に比べて、網膜投影像が不鮮明となる。

網膜投影像推定部１２は、演算した左右眼の網膜投影像ｉｒ（ｘ，ｙ，ｈ，ｔ）を網膜出力像推定部１３に供給する。網膜出力像推定部１３は、標準的な人の左右眼の網膜視細胞配列モデルを記憶している。この網膜視細胞配列モデルは、人間の網膜の解剖学的知見に従って、赤錐体、緑錐体、および、青錐体の３種類の錐体細胞と、桿体細胞とを配列して構成される。

図４（ａ）に示すように、錐体細胞は、中心窩に近いほど多く存在し、そのサイズは中心窩に近いほど小さい。錐体細胞の直径は、中心窩において約２μｍ、中心窩の外側２０ｄｅｇ付近では約１０μｍである。一方、桿体細胞は、中心窩付近には殆ど存在せず、外側２０ｄｅｇあたりに最も密に存在する。桿体細胞の直径は、中心窩から外側４０ｄｅｇまでのあいだに存在するものでは約１．５μｍ、それより外側では約２．５μｍである。また、鼻側１５ｄｅｇ付近には視細胞が存在しない領域（盲点）が存在する。

網膜視細胞配列モデルは、こうした人間の網膜視細胞の空間配列特性を考慮して作成されている。この網膜視細胞配列モデルにおいては、最も小さい桿体細胞の１つが１×１ピクセルで表現され、外側２０ｄｅｇ付近に位置する大きな錐体細胞の１つが５×５ピクセルで表現されている。また、他の位置の桿体細胞、および、錐体細胞についても、人間の網膜視細胞の大きさに合わせて表現するピクセル数が設定されている。

人間の眼球の直径を２４ｍｍとすると、視野角１ｄｅｇあたりのピクセル数は、約１４０［pix/deg］となる。本実施形態においては、網膜視細胞配列モデルは、視野角±８０ｄｅｇの範囲で作成されている。この場合、網膜視細胞配列モデルには、501,760,000（＝１４０pix×１６０deg）²）ピクセルが含まれる。

図４（ｂ）は、網膜視細胞配列モデル（灰色の円形領域）の視野角範囲を表した図であり、図４（ｃ）は、網膜視細胞配列モデルにおける中心窩付近の網膜視細胞の配列を拡大して表した図であり、図４（ｄ）は網膜視細胞配列モデルにおける中心窩から離れた位置の網膜視細胞の配列を拡大して表した図である。この例では、視細胞は、中心窩付近において、図４（ｃ）に示すように、それぞれ１×１ピクセルの青錐体（図中において黒色）、赤錐体（図中において濃い灰色）、緑錐体（図中において薄い灰色）、および、桿体（図中において白色）により表現されている。また、中心窩から離れた位置として図４（ｄ）に示す例では、視細胞は、それぞれ５×５ピクセルよりもやや小さな青錐体（図中において最も濃い灰色で表された部分）、赤錐体（図中において２番目に濃い灰色で表された部分）、および、緑錐体（図中において３番目に濃い灰色で表された部分）と、１×１ピクセルの桿体（図中において最も薄い灰色で表された部分）とにより表現されている。尚、図４（ｃ），（ｄ）において示した格子の１つが、１ピクセルに相当する。

人間の視細胞がフラッシュ状光を受光してから反応するまでの遅れ時間は、錐体細胞で約３０ｍｓ、桿体細胞で約７０ｍｓである。また、視細胞の反応が最大となるのは、錐体細胞で約１００ｍｓ、桿体細胞で約２００ｍｓである。従って、こうした反応特性に基づいて、視細胞のダイナミクス（インパルス応答）を式にすると、次式（６）、（７）のように表現することができる。
ここで、ｈcone（ｔ）は錐体細胞のダイナミクス、ｈrod（ｔ）は桿体細胞のダイナミクスを表す。ただし、ｈcone（ｔ），ｈrod（ｔ）は、図５に示すように、負の値をとらずに０に保持されるように設定されている。また、それぞれの積分値が１となるように正規化されている。

網膜出力像推定部１３においては、各ピクセルがＲＧＢ値で表現された網膜投影像から赤錐体、緑錐体、および、青錐体の応答を演算するために、以下の変換式が用いられる。画像のＲＧＢ値（０〜２５５の値を持つ）から色座標ＸＹＺへの変換には、国際照明委員会（ＣＩＥ）が定めた標準輝度Ｄ６５（相関色温度が６５０４ｋで日光をシミュレートしたもの）を用いた次式（８）が用いられる。
ここで、Ｒ_ｓＲＧＢ、Ｇ_ｓＲＧＢ、Ｂ_ｓＲＧＢは、それぞれｓＲＧＢ（standardＲＧＢ）におけるＲＧＢの刺激値であって、次式（９）によって表される。
ここで、γはガンマ特性を補正するための指標ガンマ値を表し、例えば、γ＝2.0，2.2，2.4などの値を用いることができる。
また、上記式（９）において、Ｒ’，Ｇ’，Ｂ’は、それぞれ、Ｒ’＝（画素値Ｒ／２５５）、Ｇ’＝（画素値Ｇ／２５５），Ｂ’＝（画素値Ｂ／２５５）を表す。
更に、式（８）で演算された色座標ＸＹＺからＬ，Ｍ，Ｓ錐体（赤錐体、緑錐体、青錐体）の応答への変換には、Ｈｕｎｔ−Ｐｏｉｎｔｅｒが２００２年に提案した次式（１０）で表されるＸＹＺ−ＬＭＳ変換式が用いられる。

網膜視細胞配列モデルは、網膜投影像と同じサイズ（ピクセル数）で表現される。網膜視細胞配列モデルにおいては、網膜投影像のある一つのピクセルのＲＧＢ値が上記式によりＬＭＳ値に変換されるが、これを受容する網膜視細胞配列モデルの対応要素（ピクセル）には、Ｌ，Ｍ，Ｓ錐体（赤錐体、緑錐体、青錐体）のいずれか、または、桿体が割り当てられている。この場合、例えば、赤錐体が割り当てられているピクセルでは、そのピクセルでのＬＭＳ値は、Ｍ＝０，Ｓ＝０とされ、緑錐体が割り当てられているピクセルでは、そのピクセルでのＬＭＳ値は、Ｌ＝０，Ｓ＝０とされ、青錐体が割り当てられているピクセルでは、そのピクセルでのＬＭＳ値は、Ｌ＝０，Ｍ＝０とされる。このように、ＲＧＢ値から変換されたＬＭＳ値のうち、網膜視細胞配列モデルの要素に割り当てられたＬ，Ｍ，Ｓいずれかの錐体以外の応答は、０とされる。この場合、例えば、５×５ピクセルで１つの錐体を表現している領域では、網膜投影像における該当する２５ピクセルの全てに対して同様の処理が行われ、それらの合計値が、その錐体における応答値とされる。

また、式（６）に示したＬ，Ｍ，Ｓ各錐体の応答ダイナミクスについては、次式（１１）により表すことができる。
ここで、τは、現在時刻からの遅れ時間を表す。

一方、ＲＧＢ値で表現された網膜投影像のうち、桿体で受容される部分の桿体応答については、以下のように計算することができる。まず、次式（１２）に示すように、ＣＣＩＲrec.６０１によって規定されるＮＴＣＳ係数による加重平均法により輝度値Ｒｏｄ（ｘ，ｙ，ｔ）の近似値を求める。

桿体応答は、明るいところでは飽和する。この飽和特性を表現するために、Ｒｏｄについては、便宜的に、最大値２５５のところ４０で飽和するものとしている。ただし、このようにすると桿体部分の画素値が錐体部分に比べて暗くなってしまう。そこで、同一光刺激に対し桿体は錐体の約２．５倍の膜電位変化を生じることから、上記４０で飽和させたＲｏｄの出力も２．５倍することとしている。式（７）に示した桿体の応答ダイナミクスについても、式（１３）により表すことができる。

網膜出力像推定部１３は、網膜投影像が網膜視細胞配列モデルに投影されたときの、網膜視細胞配列モデルの時間応答をＲＧＢ値で表現した網膜視細胞配列空間標本化像（以下、網膜出力像と呼ぶ）を演算により求める。この場合、網膜出力像推定部１３は、赤錐体の応答として、Ｌｄの最大値が２５５になるようにＬｄを正規化した値であるＬｄｘを演算し、赤錐体のＲＧＢ値を赤色の明暗で表現した［Ｒ＝Ｌｄｘ，Ｇ＝０，Ｂ＝０］に設定する。同様に、網膜出力像推定部１３は、緑錐体の応答として、Ｍｄの最大値が２５５になるようにＭｄを正規化した値であるＭｄｘを演算し、緑錐体のＲＧＢ値を緑色の明暗で表現した［Ｒ＝０，Ｇ＝Ｍｄｘ，Ｂ＝０］に設定する。同様に、網膜出力像推定部１３は、青錐体の応答として、Ｓｄの最大値が２５５になるようにＳｄを正規化した値であるＳｄｘを演算し、青錐体のＲＧＢ値を青色の明暗で表現した［Ｒ＝０，Ｇ＝０，Ｂ＝Ｓｄｘ］に設定する。

この網膜出力像推定部１３は、本発明の網膜出力像推定手段に相当する。

尚、網膜視細胞配列モデルは、ドライバーの個々の網膜特性を反映させたものであってもよい。例えば、ユーザーは、個人眼特性記憶部１５に、予め、ドライバー個人の左右眼の網膜特性を記憶させておく。網膜特性は、例えば、ハンフリー視野計の計測データ（所定視角間隔（例えば、６ｄｅｇ間隔）で視覚感度を計測して定量化された計測データ）を用いることができる。緑内障患者の場合には、網膜上での特定の領域において視覚感度の低い部分が存在する。従って、この網膜特性を個人眼特性記憶部１５に記憶させておくことで、網膜に視野欠損が生じているドライバーに適した網膜視細胞配列モデルを作成することができる。この場合、網膜出力像推定部１３は、ハンフリー視野計の計測データに基づいて、視覚感度の低い領域ほど応答値（ＲＧＢ値）を小さくするように設定する視野細胞感度空間フィルタを用いて、網膜出力像を補正するようにすればよい。

また、詳細な計測データを用いなくても、大ざっぱに視野欠損領域がわかっている場合には、その視野欠損領域（例えば、上縁、右上縁、右縁、右下縁、下縁、左下縁、左縁、左上縁、中央、中央上側、中央右上側、中央右側、中央右下側、中央下側、中央左下側、中央左側、中央左上側など）を、ユーザーが入力部２３を使って、複数領域にわたって選択できるようにしてもよい。この場合においても、網膜出力像推定部１３は、視野欠損領域内の応答値が小さくなるように設定する視野細胞感度空間フィルタを用いて、網膜出力像を補正する。

あるいは、網膜出力像推定部１３は、ドライバーの年齢に応じた標準的な網膜視細胞配列モデルを選択するように構成されていてもよい。この場合、例えば、網膜出力像推定部１３は、年齢層ごとの標準的な網膜視細胞配列モデルを記憶しており、ユーザーが入力部２３を介して個人眼特性記憶部１５に記憶させたドライバーの年齢に基づいて、ドライバーの年齢に応じた標準的な網膜視細胞配列モデルを選択する。

あるいは、網膜出力像推定部１３は、ドライバーの年齢に応じた視野細胞感度空間フィルタを選択するように構成されていてもよい。この場合、例えば、網膜出力像推定部１３は、年齢層ごとの視野細胞感度空間フィルタを複数記憶しており、ユーザーが入力部２３を介して個人眼特性記憶部１５に記憶させたドライバーの年齢に基づいて、ドライバーの年齢に応じた視野細胞感度空間フィルタを選択する。

図６は、外界画像（ａ）と、その外界画像から演算された網膜出力像（ｂ）の一例を表す。

網膜出力像推定部１３は、演算した左右眼の網膜出力像を局所領域情報量演算部１４に供給する。局所領域情報量演算部１４は、網膜出力像を所定の視野角（本実施形態では、上下、左右方向に２ｄｅｇ）で区画した正方形の領域Ａ（局所領域Ａと呼ぶ）ごとに、その局所領域Ａの有する情報量（エントリピー）である局所領域情報量Ｈを演算する。局所領域情報量Ｈは、次式（１４）により演算される。
ここで、Ｌは階調数、ｆは画素値、Ｐ（ｆ）は、画像中に含まれる画素値の割合を表す。図７に、外界画像局所量域正規化階調分布の一例を表す。この例では、Ｐ（ｆ）を式（１４）に代入することにより、局所領域情報量Ｈは、Ｈ＝７．３２９１となる。局所領域情報量Ｈは、正規化階調分布が拡がっている画像（特定の画素値に集中しない画像）ほど大きな値となる。この画素値ｆは、網膜出力像におけるＲＧＢ値に相当する。

局所領域情報量演算部１４は、図８に示すように、網膜出力像上で、局所領域Ａ（２ｄｅｇ×２ｄｅｇの正方形領域）を０．２５ｄｅｇずつ横方向にスライドさせつつ、各スライド位置ごとの局所領域Ａにおける局所領域情報量Ｈを演算する。局所領域情報量演算部１４は、演算した各局所領域Ａの局所領域情報量Ｈを、その局所領域Ａの中心点ＡＯにおける画像情報量として取り扱う。局所領域情報量演算部１４は、網膜出力像の横方向全体にわたる局所領域情報量Ｈの演算（サンプリング）が終了すると、局所領域Ａを０．２５ｄｅｇずつ縦方向にスライドさせた位置で同様の処理を繰り返す。こうして、局所領域情報量演算部１４は、網膜出力像の全体にわたって、局所領域情報量Ｈを左右および上下に０．２５ｄｅｇの間隔でサンプリングする。

こうしたサンプリングによって、見落とし危険度マップが作成される。見落とし危険度マップは、図９に示すように、左右および上下に視野角０．２５ｄｅｇの間隔で、網膜出力像における各座標位置（ｘ，ｙ）と局所領域情報量Ｈとを対応付けた二次元マップである。局所領域情報量演算部１４は、網膜出力像が切り替わるたびに（その周期は外界画像の撮影周期でもあり、網膜投影像が演算される演算周期でもある）、網膜出力像に対応した見落とし危険度マップを作成する。従って、時々刻々と変化する見落とし危険度マップが作成される。

この場合、局所領域情報量演算部１４は、左眼の網膜出力像から演算される左眼見落とし危険度マップと、右眼の網膜出力像から演算される右眼見落とし危険度マップとを融合する（重ね合わせる）ことによって、両眼見落とし危険度マップ（以下、単に見落とし危険度マップと呼ぶ）を作成する。見落とし危険度マップは、例えば、左右の網膜出力像の座標位置を整合させた状態で、座標位置ごとに右眼見落とし危険度マップの局所領域情報量Ｈと左眼見落とし危険度マップの局所領域情報量ＨとにおけるＯＲ情報によって作成される。つまり、左右両眼の危険度マップの局所領域情報量Ｈにおける大きい方の値が選択されて作成される。従って、左右両眼とも局所領域情報量Ｈが小さい場合には、見落とし危険度マップの局所領域情報量Ｈは小さい値となり、何れか片眼において局所領域情報量Ｈが大きい場合には、見落とし危険度マップの局所領域情報量Ｈは大きい値に設定される。尚、左右両眼において所望の局所領域情報量Ｈが得られている場合と、何れか片眼において所望の局所領域情報量Ｈが得られている場合とでは、前者の局所領域情報量Ｈを後者の局所領域情報量Ｈよりも大きくなるように補正する、あるいは、後者の局所領域情報量Ｈを前者の局所領域情報量Ｈよりも小さくなるように補正しても構わない。

見落とし危険度は、ドライバーの視野内に存在する物体の見落としやすさを表す指標であり、局所領域情報量Ｈが少なくなるほど高くなる。従って、見落とし危険度マップは、左右および上下に０．２５ｄｅｇの間隔で、ドライバーの視野内における座標位置（ｘ，ｙ）と、見落とし危険度とを対応付けた二次元マップであると言い換えることができる。

図１０〜図１３は、外界画像（図６（ａ）に示す外界画像）から作成された見落とし危険度マップの例を表す。図中においては、濃淡によって見落とし危険度が表現されており、濃い領域ほど見落とし危険度が高い領域（換言すれば、局所領域情報量Ｈが少ない領域）として表現されている。図１０，図１１に示す例は、盲点を示すために、見落とし危険度マップは、片眼（左眼）のものである。図１２は、参考として、図１０の見落とし危険度マップに外界画像を重ね合わせた図である。図１３は、両眼見落とし危険度マップの一例を表す。例えば、図１１は、乱視眼のドライバーの見落とし危険度マップであって、図１０に示す見落とし危険度マップに比べて、見落とし危険度が高い領域が広く存在する。尚、この図１０〜図１３に示す見落とし危険度マップは、外界画像の領域の範囲にて示している。

局所領域情報量演算部１４は、演算した見落とし危険度マップを表す情報を注意喚起制御部１７に出力する。この局所領域情報量演算部１４は、本発明の局所領域情報量演算手段に相当する。また、網膜投影像推定部１２、網膜出力像推定部１３、および、局所領域情報量演算部１４からなる構成は、本発明のマップ演算手段に相当する。

注意喚起制御部１７は、局所領域情報量演算部１４から出力された見落とし危険度マップを表す情報と、障害物検出部１６から出力された障害物に関する情報とに基づいて、ドライバーに注意喚起すべき障害物（注意喚起対象物）の有無を判定し、注意喚起対象物が存在する場合に、報知器２４を作動させてドライバーに注意喚起対象物の存在を知らせる。この注意喚起制御部１７および報知器２４は、本発明の注意喚起手段に相当する。

障害物検出部１６は、第１カメラ２１の撮影によって得られた外界画像を画像処理して、外界画像から立体物を抽出し、その立体物の形状および動き等に基づいて、立体物の種類（歩行者、二輪車、自動車等）を特定する。障害物検出部１６は、自車両と衝突するおそれのある立体物を障害物として認識して、その障害物の外界画像における座標位置、および、自車両と障害物との接近状況（例えば、自車両と障害物との距離、自車両と障害物との接近速度など）を表す情報を注意喚起制御部１７に供給する。障害物検出部１６は、本発明の障害物情報取得手段に相当する。

正常な視覚能力を備えたドライバーであれば、障害物の存在を認識して衝突回避操作（ブレーキ操作、および、ハンドル操作）を行うことができる。しかし、ドライバーは、必ずしも正常な視覚能力を備えているわけではなく、障害物を見落としてしまうことがある。そこで、注意喚起制御部１７は、見落とし危険度マップを参照して、ドライバーの見落とし危険度の高い領域（方向）に検出されている障害物に限って、その障害物と自車両との接近度合が閾値を超えたときに、ドライバーがその障害物を見落としていると推定して、その障害物を注意喚起対象物に設定する。

見落とし危険度マップは、外界画像における座標（ｘ，ｙ）と対応がとれている。このため、外界画像から検出された障害物の位置は、見落とし危険度マップ上における位置として求めることができる。注意喚起制御部１７は、見落とし危険度マップ上において障害物が検出されている領域の局所領域情報量Ｈを抽出する。この場合、障害物が検出されている領域内の各局所領域Ａの中心点ＡＯの局所領域情報量Ｈのうち最も大きい値を、その障害物の視覚情報量（以下、障害物視覚情報量と呼ぶ）とすればよい。従って、障害物が検出されている領域内に１つでも局所領域情報量Ｈの大きい値をとる局所領域が存在する場合には、障害物視覚情報量は大きい値に設定される。この障害物視覚情報量が少ないほど、見落とし危険度が高くなる。

注意喚起制御部１７は、この障害物視覚情報量が予め設定した情報量閾値よりも少ない障害物については、見落とし危険度が予め設定した危険度閾値よりも高い視野領域（以下、単に、見落とし危険領域と呼ぶ）に入っていると判定する。注意喚起制御部１７は、見落とし危険領域に入っていると判定した障害物についてのみ、この障害物と自車両との接近度合を演算する。接近度合は、注意喚起を行うか否かを決定するパラメータ、つまり、注意喚起を行うタイミングを決定するパラメータである。

例えば、接近度合は、現時点から自車両と障害物とが衝突すると予測される時刻までの時間である衝突予測時間を用いることができる。この衝突予測時間は、自車両と障害物とのあいだの距離を、自車両と障害物との相対速度で除算することによって求めることができる。あるいは、接近度合は、衝突予測時間に代えて、自車両と障害物との距離を用いることもできる。

注意喚起制御部１７は、自車両と、見落とし危険領域に入っている障害物との接近度合が、予め設定された接近度合閾値よりも大きくなった時に、この障害物を注意喚起対象物に設定して、報知器２４を作動させてドライバーに対して障害物（注意喚起対象物）の存在を知らせる。

以下、注意喚起制御部１７の実施する注意喚起制御処理をフローチャートを使って説明する。図１４は、注意喚起制御部１７の実施する注意喚起制御ルーチンを表す。注意喚起制御ルーチンは、所定の演算周期にて繰り返し実施される。本ルーチンが起動すると、注意喚起制御部１７は、ステップＳ１１において、障害物検出部１６によって障害物が検出されているか否かについて判定する。注意喚起制御部１７は、障害物が検出されていない場合には、本ルーチンを一旦終了する。

注意喚起制御部１７は、こうした処理を繰り返し、障害物が検出された場合（Ｓ１１：Ｙｅｓ）には、その処理をステップＳ１２に進めて、その障害物が見落とし危険領域に入っているか否かについて判定する。注意喚起制御部１７は、障害物が見落とし危険領域に入っていない場合には、本ルーチンを一旦終了した後、上述した処理を繰り返す。一方、障害物が見落とし危険領域に入っている場合（Ｓ１２：Ｙｅｓ）には、注意喚起制御部１７は、その処理をステップＳ１３に進めて、自車両と障害物との接近度合Ｇを演算し、続くステップＳ１４において、接近度合Ｇが接近度合閾値Ｇrefよりも大きいか否かについて判定する。接近度合Ｇが接近度合閾値Ｇref以下である場合（Ｓ１４：Ｎｏ）、注意喚起制御部１７は、本ルーチンを一旦終了する。こうした処理が繰り返されて、接近度合Ｇが接近度合閾値Ｇrefよりも大きくなると（Ｓ１４：Ｙｅｓ）、注意喚起制御部１７は、ステップＳ１５において、この障害物を注意喚起対象物に設定して、報知器２４を作動させる。

例えば、注意喚起制御部１７は、接近度合Ｇとして衝突予測時間を演算し、衝突予測時間が設定時間（予め設定された閾値）よりも短いと判定したとき（Ｓ１４：Ｙｅｓ）に、この障害物を注意喚起対象物に設定する。あるいは、注意喚起制御部１７は、接近度合Ｇとして自車両と障害物との距離を演算し、この距離が設定距離（予め設定された閾値）よりも短いと判定したときに、この障害物を注意喚起対象物に設定する。注意喚起制御部１７は、障害物を注意喚起対象物に設定した場合、その注意喚起対象物の存在を知らせるために、報知器２４を作動させる。

このように、注意喚起制御部１７は、接近度合Ｇが接近度合閾値Ｇrefよりも大きいことを注意喚起条件とし、この注意喚起条件が成立した時に、ドライバーに対して障害物（注意喚起対象物）の存在を知らせる。

この場合、注意喚起制御部１７は、スピーカ２４ｂを駆動して注意喚起音を発生させるとともに、注意喚起用表示情報をＨＵＤ２４ａに送信する。この注意喚起用表示情報には、注意喚起用アイコン（例えば、注意喚起対象物を指し示す矢印アイコン）を表示させる位置（アイコン表示位置と呼ぶ）、および、アイコンの矢印の向いている方向（注意方向と呼ぶ）を表す情報が含まれている。

注意喚起制御部１７は、アイコン表示位置を、ドライバーの見落とし危険度が予め設定された閾値よりも小さな領域に入る位置に設定するとともに、注意方向を、そのアイコン表示位置から注意喚起対象物に向けた方向に設定する。ＨＵＤ２４ａは、注意喚起制御部１７から送信された注意喚起用表示情報に基づいて、注意喚起用アイコンをフロントガラスに投影する。

これにより、ドライバーは、フロントガラスに投影された注意喚起用アイコンによって注意喚起され、見落としていた障害物を認識し、衝突回避操作を行うことができる。

尚、ドライバーに対して注意喚起を行う場合、スピーカから障害物の方向を知らせる音声アナウンスを用いることもできる。また、注意喚起用アイコンの表示と音声アナウンスとを組み合わせるようにしてもよい。

以上説明した本実施形態の車両用運転支援システム１によれば、ドライバー視覚情報提供部１０ａが、外界画像と、ドライバーの視線の方向と、ドライバーの個人眼特性とに基づいて、ドライバーの視野内における位置とドライバーの見落としやすさの指標となる見落とし危険度とを対応付けた見落とし危険度マップを作成する。従って、この見落とし危険度マップによって、ドライバーの視野内における見落としやすい方向を把握することができる。

注意喚起部１０ｂは、外界画像から検出された障害物と、見落とし危険度マップとに基づいて、ドライバーに対して障害物の存在を通知する。従って、ドライバー個々の視覚能力に応じた適切な注意喚起を行うことができる。つまり、ドライバーが見落としていると推定される障害物に対して注意喚起を行うことができる。特に、この実施形態においては、見落とし危険度が閾値よりも高い視野領域に入っている障害物（障害物視覚情報量が予め設定した情報量閾値よりも少ない障害物）についてのみ、その存在がドライバーに通知される。従って、ドライバーが認識している障害物について不要な注意喚起が行われることを低減するができる。これにより、ドライバーに感じさせてしまう煩わしさを低減することができる。

また、見落とし危険度マップを作成するにあたって、ドライバーの個人眼特性に応じた網膜投影像が推定され、更に、この網膜投影像が網膜視細胞配列モデルに投影された場合の反応である網膜出力像が推定される。そして、この網膜出力像内における予め設定された広さの局所領域ごとの情報量が演算されることによって、ドライバーの視野内における位置と、情報量とを関係付けた見落とし危険度マップが作成される。従って、この見落とし危険度マップによって、ドライバー個々の外界視覚状況を把握することができる。この結果、ドライバー個々の外界視覚状況に応じた、障害物に対する注意喚起を行うことができる。また、ドライバー個々の網膜特性に応じて網膜視細胞配列モデルを設定した場合には、網膜疾患のあるドライバーに対しても、適正な見落とし危険度マップを演算することができる。

＜注意喚起の変形例１＞
上記実施形態においては、見落とし危険度が閾値よりも高い視野領域に入っている障害物についてのみ、その存在がドライバーに通知されるように構成されている。この変形例１では、見落とし危険度が閾値よりも高い視野領域に入っていない障害物であっても、ドライバーが衝突回避操作を行わないような状況においては、ドライバーに注意喚起を行うように構成されている。

この変形例１においては、注意喚起制御部１７は、予め設定された注意喚起条件が成立したときに障害物の存在をドライバーに通知するように構成され、見落とし危険度が閾値よりも高い視野領域に入っている障害物に対する注意喚起条件が、見落とし危険度が閾値以下の視野領域に入っている障害物に対する注意喚起条件に比べて、ドライバーに対して障害物の存在が通知されやすくなるように設定されている。

図１５は、変形例１に係る注意喚起制御ルーチンを表す。注意喚起制御部１７は、変形例１に係る注意喚起制御ルーチンを所定の演算周期にて繰り返し実施する。以下、実施形態と同様の処理については、図面に、実施形態と共通のステップ符号を付して簡単な説明に留める。

本ルーチンが起動すると、注意喚起制御部１７は、ステップＳ１１において、障害物が検出されているか否かについて判定し、障害物が検出されるまで、その処理を繰り返す。注意喚起制御部１７は、障害物が検出された場合（Ｓ１１：Ｙｅｓ）、ステップＳ１３において、自車両と障害物との接近度合Ｇを演算する。続いて、注意喚起制御部１７は、ステップＳ１２において、その障害物が見落とし危険領域に入っているか否かについて判定する。このステップＳ１２においては、実施形態と同様に、障害物視覚情報量が予め設定した情報量閾値よりも少ない障害物については、見落とし危険領域に入っていると判定される。

注意喚起制御部１７は、障害物が見落とし危険領域に入っている場合（Ｓ１２：Ｙｅｓ）には、ステップＳ１４１において、接近度合Ｇが第１接近度合閾値Ｇ１refより大きいか否かについて判定し、接近度合Ｇが第１接近度合閾値Ｇ１refより大きい場合（Ｓ１４１：Ｙｅｓ）には、その処理をステップＳ１５に進めることにより、この障害物を注意喚起対象物に設定して、報知器２４を作動させる。これにより、ドライバーに対して障害物への注意喚起が行われる。また、接近度合Ｇが第１接近度合閾値Ｇ１ref以下である場合（Ｓ１４２：Ｎｏ）には、ステップＳ１５の処理をスキップして本ルーチンを一旦終了する。従って、この場合には、ドライバーへの注意喚起が行われない。

一方、障害物が見落とし危険領域に入っていないと判定される場合（Ｓ１２：Ｎｏ）には、注意喚起制御部１７は、ステップＳ１４２において、接近度合Ｇが第２接近度合閾値Ｇ２refより大きいか否かについて判定する。この第２接近度合閾値Ｇ２refは、第１接近度合閾値Ｇ１refよりも大きな値に設定されている（Ｇ２ref＞Ｇ１ref）。注意喚起制御部１７は、接近度合Ｇが第２接近度合閾値Ｇ２refより大きい場合には、その処理をステップＳ１５に進めることにより、この障害物を注意喚起対象物に設定して、報知器２４を作動させる。これにより、ドライバーに対して障害物への注意喚起が行われる。また、接近度合Ｇが第２接近度合閾値Ｇ２ref以下である場合には、ステップＳ１５の処理をスキップして本ルーチンを一旦終了する。従って、この場合には、ドライバーへの注意喚起が行われない。

例えば、接近度合Ｇとして衝突予測時間を用いた場合、注意喚起制御部１７は、見落とし危険領域に入っていると判定した障害物（ドライバーが視認しにくい障害物）については、衝突予測時間が第１設定時間よりも短いと判定したときに、この障害物を注意喚起対象物に設定する。一方、注意喚起制御部１７は、見落とし危険領域に入っていないと判定した障害物（ドライバーが視認しやすい障害物）については、衝突予測時間が第２設定時間（＜第１設定時間）よりも短いと判定したときに、この障害物を注意喚起対象物に設定する。また、例えば、接近度合Ｇとして自車両と障害物との距離を用いた場合、注意喚起制御部１７は、見落とし危険領域に入っていると判定した障害物（ドライバーが視認しにくい障害物）については、自車両と障害物との距離が第１設定距離よりも短いと判定したときに、この障害物を注意喚起対象物に設定する。一方、注意喚起制御部１７は、見落とし危険領域に入っていないと判定した障害物（ドライバーが視認しやすい障害物）については、自車両と障害物との距離が第２設定距離（＜第１設定距離）よりも短いと判定したときに、この障害物を注意喚起対象物に設定する。

従って、見落とし危険領域に入っていると判定された障害物については、見落とし危険領域に入っていないと判定された障害物に比べて、早めにドライバーに対して注意喚起が行われる。ドライバーは、自身が障害物の存在を認識しており、障害物に対して衝突回避操作をするつもりでいる状況で注意喚起された場合には、その注意喚起に対して煩わしさを感じる。従って、注意喚起は、安全性を考えれば早めに（接近度合が小さい段階で）行った方がよいものの、ドライバーにとっての煩わしさを考えた場合には、通常の操作で衝突回避できる間は行わないほうがよい。このため、注意喚起のタイミングは、障害物がある程度接近したタイミングで行うことが一般的である。しかし、ドライバーの個々の視覚能力によって、障害物を認識できない場合がある。

そこで、見落とし危険領域に入っていると判定された障害物については、見落とし危険領域に入っていないと判定された障害物に比べて、早めに（接近度合が小さい段階で）ドライバーに対して注意喚起を行うようにする。これにより、良好に認識できると推定される障害物については、注意喚起のタイミングをできるだけ遅くすることができ、逆に、良好に認識できない推定される障害物については、注意喚起のタイミングを早めに設定してドライバーに十分な衝突回避操作時間を与えることができる。この結果、ドライバー個々の視覚能力に応じた適切な注意喚起を行うことができる。

＜注意喚起の変形例２＞
上記変形例１においては、見落とし危険領域に入っていると判定された障害物と、見落とし危険領域に入っていないと判定された障害物とで、報知器２４による注意喚起態様が同じである。この変形例２においては、見落とし危険領域に入っていると判定された障害物についての注意喚起態様が、見落とし危険領域に入っていないと判定された障害物についての注意喚起態様に比べて、ドライバーへの注意喚起力が大きくなるように構成されている。

図１６は、変形例２に係る注意喚起制御ルーチンを表す。注意喚起制御部１７は、変形例２に係る注意喚起制御ルーチンを所定の演算周期にて繰り返し実施する。変形例１と同様の処理については、図面に、変形例１と共通のステップ符号を付して簡単な説明に留める。

本ルーチンが起動すると、注意喚起制御部１７は、ステップＳ１１において、障害物が検出されているか否かについて判定し、障害物が検出されるまで、その処理を繰り返す。注意喚起制御部１７は、障害物が検出された場合（Ｓ１１：Ｙｅｓ）、ステップＳ１３において、自車両と障害物との接近度合Ｇを演算する。続いて、注意喚起制御部１７は、ステップＳ１４２において、接近度合Ｇが第２接近度合閾値Ｇ２refより大きいか否かについて判定する。注意喚起制御部１７は、接近度合Ｇが第２接近度合閾値Ｇ２ref以下である場合（Ｓ１４２：Ｎｏ）、その処理をステップＳ１４１に進めて、接近度合Ｇが第１接近度合閾値Ｇ１refより大きいか否かについて判定する。この第１接近度合閾値Ｇ１refは、変形例１と同様に、第２接近度合閾値Ｇ２refより小さな値に設定されている（Ｇ２ref＞Ｇ１ref）。従って、自車両と障害物とが接近している場合には、ステップＳ１４２よりも先にステップＳ１４１において「Ｙｅｓ」と判定される。

注意喚起制御部１７は、自車両と障害物とがあまり接近していなく接近度合Ｇが第１接近度合閾値Ｇ１ref以下である場合（Ｓ１４１：Ｎｏ）、本ルーチンを一旦終了する。こうした処理が繰り返されている間に、自車両と障害物とが接近して、接近度合Ｇが第１接近度合閾値Ｇ１refより大きくなると（Ｓ１４１：Ｙｅｓ）、注意喚起制御部１７は、その処理をステップＳ１２に進めて、障害物が見落とし危険領域に入っているか否かについて判定する。注意喚起制御部１７は、障害物が見落とし危険領域に入っている場合（Ｓ１２：Ｙｅｓ）には、ステップＳ１５１において、第１注意喚起態様で報知器２４を作動させ、障害物が見落とし危険領域に入っていない場合（Ｓ１２：Ｎｏ）には、ステップＳ１５２において、第２注意喚起態様で報知器２４を作動させる。

この第１注意喚起態様は、第２注意喚起態様に比べて注意喚起力が大きくなるように設定されている。例えば、第１注意喚起態様は、第２注意喚起態様に比べて、スピーカ２４ｂの報知音（音声アナウンスあるいはブザー音）の音量が大きな値に設定されている。この場合、第１注意喚起態様では、ドライバーに障害物の存在を確実に知らしめることができる程度の大きさの音量でスピーカ２４ｂから報知音が発生させられる。一方、第２注意喚起態様では、ドライバーに煩わしさを感じさせない程度の小さな音量でスピーカ２４ｂから報知音が発生させられる。従って、ドライバーが障害物を認識している場合に注意喚起が行われたとしても、ドライバーの感じる煩わしさは少なくて済む。

自車両と障害物とが更に接近して、接近度合Ｇが第２接近度合閾値Ｇ２refより大きくなると（Ｓ１４２：Ｙｅｓ）、注意喚起制御部１７は、その処理をステップＳ１５１に進める。従って、この場合、見落とし危険領域に入っていない障害物に対しても、第１注意喚起態様にて報知器２４が作動される。これにより、ドライバーに障害物の存在を確実に知らしめることができる

尚、この例では、スピーカ２４ｂの音量によって、ドライバーへの注意喚起力の大きさを切り替えているが、それに代えて、あるいは、それに加えて、表示器２４ａの表示態様によってドライバーへの注意喚起力の大きさを切り替えることもできる。例えば、注意喚起制御部１７は、第１注意喚起態様においては、注意喚起用アイコンの大きさを大に設定し（この注意喚起用アイコンを大アイコンと呼ぶ）、第２注意喚起態様においては、注意喚起用アイコンの大きさを小に設定する（この注意喚起用アイコンを小アイコンと呼ぶ）。小アイコンは、ドライバーに煩わしさを感じさせない程度の大きさに設定され、大アイコンは、ドライバーに障害物の存在を確実に知らしめることができる程度の大きさに設定される。

また、注意喚起用アイコンの大きさに代えて、注意喚起用アイコンの表示位置を切り替えることもできる。例えば、注意喚起制御部１７は、第１注意喚起態様においては、ドライバーにとって視認しやすい位置に注意喚起用アイコンを表示し、第２注意喚起態様においては、ドライバーにとって煩わしさを感じさせない位置（第１注意喚起態様よりも視認しにくい位置）に注意喚起用アイコンを表示する。この場合、例えば、ＨＵＤ２４ａによる表示（注意喚起力大）と、メータディスプレイによる表示（注意喚起力小）とに切り替えるようにしてもよい。

＜ドライバー視覚情報提供装置を別体に備えた変形例＞
上記実施形態においては、支援ＥＣＵ１０が１つの制御装置として構成されているが、その機能を複数の装置に分担させて構成されていてもよい。例えば、車両用運転支援システムは、ドライバー視覚情報提供装置と運転支援装置とから構成されていてもよい。

この場合、ドライバー視覚情報提供装置は、ドライバー視覚情報提供部１０ａと第１カメラ２１と第２カメラ２２と入力部２３とを備え、見落とし危険度マップを演算し、その見落とし危険度マップを表す情報を出力する。一方、運転支援装置は、注意喚起部１０ｂと報知器２４とを備え、ドライバー視覚情報提供装置から出力された見落とし危険度マップを表す情報と、第１カメラ２１の撮影によって得られた外界画像を入力し、上述したように、外界画像から検出された障害物と見落とし危険度マップとに基づいて、ドライバーが見落としていると推定される障害物の存在を報知器２４を介してドライバーに通知する。

このドライバー視覚情報提供装置としては、携帯端末装置、例えば、スマートフォンを用いることができる。ユーザーは、携帯端末装置に、予め、見落とし危険度マップを演算するアプリケーションをインストールするとともに、個人眼特性を入力しておく。ドライバー視覚情報提供装置は、車両の任意の位置（例えば、ダッシュボードの上など）に固定され、車載器である運転支援装置と通信可能（有線通信あるいは近距離無線通信）に接続される。

この場合、第１カメラ２１および第２カメラ２２の少なくとも一方については、ドライバー視覚情報提供装置が内臓しているカメラを利用することもできるし、外付けのカメラ、あるいは、車両に搭載されているカメラを利用することもできる。

＜個人眼特性の変形例＞
上記実施形態においては、網膜投影像を推定するための個人眼特性として、ドライバーの眼光学系の波面収差を表すデータが用いられるが、それに代えて、簡易的に、ドライバーの視力測定結果（例えば、５ｍ視力の測定結果）を表す情報を用いてもよい。この場合には、例えば、網膜投影像推定部１２は、視力測定値に応じた複数通りの光学系伝達関数を記憶し、ドライバーが入力部２３を介して個人眼特性記憶部１５に入力した視力測定結果に応じた光学系伝達関数を選択するようにすればよい。

以上、本実施形態および変形例に係る車両用運転支援システムについて説明したが、本発明は上記実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。

例えば、本実施形態の見落とし危険度マップは、０．２５ｄｅｇ間隔にて局所領域情報量Ｈが設定されているが、必ずしも、この間隔にする必要はなく、マイクロコンピュータの演算負荷にあわせて適宜、設定することができる。また、見落とし危険度マップにおける局所領域情報量Ｈについては、少なくとも２段階以上に設定されていればよい。

また、本実施形態および変形例においては、障害物の存在する領域が、見落とし危険度が危険度閾値よりも高い領域であるか否か（障害物視覚情報量が情報量閾値よりも少ないか否か）について判定し、その判定結果に応じた注意喚起を行っている。しかし、障害物の存在する領域については、必ずしも、見落とし危険度の高低２段階に分ける必要はなく、例えば、高中低３段階に分けるなど、３段階以上の領域に分けて、その領域に応じた注意喚起を行うようにしてもよい。この場合、例えば、見落とし危険度が高い領域に存在する障害物ほど、ドライバーに対して障害物の存在が通知されやすくなるように注意喚起条件が設定されているとよい。また、例えば、見落とし危険度が高い領域に存在する障害物ほど、ドライバーへの注意喚起力が大きくなるように注意喚起態様が設定されているとよい。

また、網膜投影像、網膜出力像、および、局所領域情報量などを演算する式については簡略化することによって、マイクロコンピュータの演算負荷を軽くすることもできる。例えば、最終的な局所領域情報量の演算結果に大きな影響を与えないような変数については、固定値を用いることもできる。

また、本実施形態においては、網膜投影像推定部１２は、ドライバーの個人眼特性（眼光学系特性）に基づいて網膜投影像を推定するが、必ずしも、ドライバーの個人眼特性に基づいて網膜投影像を推定しなくてもよく、その場合には、網膜出力像推定部１３においてドライバーの個人眼特性（網膜特性）に基づいて網膜出力像を推定する構成であればよい。この場合、網膜投影像推定部１２においては、標準的な人の眼光学系特性を用いればよい。

つまり、個人眼特性記憶部１５に記憶されるドライバーの個人眼特性は、眼光学系特性であってもよいし、網膜特性であってもよいし、その両者であってもよい。ドライバーの個人眼特性として、眼光学系特性が記憶されている場合には眼光学系特性が網膜投影像の推定に反映され、網膜特性が記憶されている場合には網膜特性が網膜出力像の推定に反映され、両特性が記憶されている場合には眼光学系特性が網膜投影像の推定に、網膜特性が網膜出力像の推定にそれぞれ反映される。

１…車両用運転支援システム、１０…支援ＥＣＵ、１０ａ…ドライバー視覚情報提供部、１０ｂ…注意喚起部、１１…視線方向・瞳孔径検出部、１２…網膜投影像推定部、１３…網膜出力像推定部、１４…局所領域情報量演算部、１５…個人眼特性記憶部、１６…障害物検出部、１７…注意喚起制御部、２１…第１カメラ、２２…第２カメラ、２３…入力部、２４…報知器、２４ａ…表示器（ＨＵＤ）、２４ｂ…スピーカ、Ａ…局所領域、Ｈ…局所領域情報量。

Claims (12)

1. 自車両の前方の外界を撮影する撮影手段と、
   前記自車両のドライバーの視線の方向を検出する視線検出手段と、
   ドライバー個々における、ドライバーが外界を視覚する能力に影響する眼の特性である個人眼特性を取得する個人眼特性取得手段と、
   前記撮影手段による撮影によって得られた外界画像と、前記視線検出手段によって検出された前記ドライバーの視線の方向と、前記個人眼特性取得手段によって取得された個人眼特性とに基づいて、ドライバーの視野内における位置とドライバーの見落としやすさの指標となる見落とし危険度とを対応付けた見落とし危険度マップを演算するマップ演算手段と
   を備え、前記マップ演算手段によって演算された見落とし危険度マップを表す情報を出力するドライバー視覚情報提供装置。
2. 請求項１記載のドライバー視覚情報提供装置において、
   前記マップ演算手段は、
   前記撮影手段による撮影によって得られた外界画像と、前記視線検出手段によって検出されたドライバーの視線の方向と、前記個人眼特性取得手段によって取得された個人眼特性とに基づいて、ドライバーの網膜に投影される外界の映像である網膜投影像を推定する網膜投影像推定手段と、
   網膜視細胞を配列したモデルである網膜視細胞配列モデルを用いて、前記網膜投影像推定手段によって推定された網膜投影像が、前記網膜視細胞配列モデルに投影されたときに、前記網膜視細胞配列モデルの反応によって得られる映像である網膜出力像を推定する網膜出力像推定手段と、
   前記網膜出力像全体にわたって、前記網膜出力像内における予め設定された広さの局所領域ごとの情報量を算出することにより、ドライバーの視野内における位置と、前記情報量が少なくなるほど高くなる前記見落とし危険度とを対応付けた見落とし危険度マップを演算する局所領域情報量演算手段と
   を備えたドライバー視覚情報提供装置。
3. 請求項２記載のドライバー視覚情報提供装置において、
   前記個人眼特性取得手段は、眼鏡あるいはコンタクトレンズを含むドライバーの眼光学系特性を取得するように構成されたドライバー視覚情報提供装置。
4. 請求項１記載のドライバー視覚情報提供装置において、
   前記マップ演算手段は、
   前記撮影手段による撮影によって得られた外界画像と、前記視線検出手段によって検出されたドライバーの視線の方向とに基づいて、ドライバーの網膜に投影される外界の映像である網膜投影像を推定する網膜投影像推定手段と、
   網膜視細胞を配列したモデルであって、前記個人眼特性取得手段によって取得された個人眼特性に応じて設定される網膜視細胞配列モデルを用いて、前記網膜投影像推定手段によって推定された網膜投影像が、前記網膜視細胞配列モデルに投影されたときに、前記網膜視細胞配列モデルの反応によって得られる映像である網膜出力像を推定する網膜出力像推定手段と、
   前記網膜出力像全体にわたって、前記網膜出力像内における予め設定された広さの局所領域ごとの情報量を算出することにより、ドライバーの視野内における位置と、前記情報量が少なくなるほど高くなる前記見落とし危険度とを対応付けた見落とし危険度マップを演算する局所領域情報量演算手段と
   を備えたドライバー視覚情報提供装置。
5. 請求項４記載のドライバー視覚情報提供装置において、
   前記個人眼特性取得手段は、ドライバーの網膜特性を取得するように構成されたドライバー視覚情報提供装置。
6. 請求項１記載のドライバー視覚情報提供装置において、
   前記マップ演算手段は、
   前記撮影手段による撮影によって得られた外界画像と、前記視線検出手段によって検出されたドライバーの視線の方向と、前記個人眼特性取得手段によって取得された個人眼特性とに基づいて、ドライバーの網膜に投影される外界の映像である網膜投影像を推定する網膜投影像推定手段と、
   網膜視細胞を配列したモデルであって、前記個人眼特性取得手段によって取得された個人眼特性に応じて設定される網膜視細胞配列モデルを用いて、前記網膜投影像推定手段によって推定された網膜投影像が、前記網膜視細胞配列モデルに投影されたときに、前記網膜視細胞配列モデルの反応によって得られる映像である網膜出力像を推定する網膜出力像推定手段と、
   前記網膜出力像全体にわたって、前記網膜出力像内における予め設定された広さの局所領域ごとの情報量を算出することにより、ドライバーの視野内における位置と、前記情報量が少なくなるほど高くなる前記見落とし危険度とを対応付けた見落とし危険度マップを演算する局所領域情報量演算手段と
   を備えたドライバー視覚情報提供装置。
7. 請求項６記載のドライバー視覚情報提供装置において、
   前記個人眼特性取得手段は、眼鏡あるいはコンタクトレンズを含むドライバーの眼光学系特性、および、ドライバーの網膜特性を取得し、
   前記網膜投影像推定手段は、前記ドライバーの眼光学系特性に基づいて前記網膜投影像を推定し、
   前記網膜出力像推定手段は、前記網膜特性に応じた前記網膜視細胞配列モデルを設定するように構成されたドライバー視覚情報提供装置。
8. 請求項２ないし請求項７の何れか一項記載のドライバー視覚情報提供装置において、
   ドライバーの瞳孔の大きさを検出する瞳孔検出手段を備え、
   前記網膜投影像推定手段は、前記瞳孔の大きさを考慮して前記網膜投影像を推定するように構成されたドライバー視覚情報提供装置。
9. 請求項１ないし請求項８の何れか一項記載のドライバー視覚情報提供装置を備えた車両用運転支援システムであって、
   前記自車両の前方に存在する障害物の位置に関する障害物情報を取得する障害物情報取得手段と、
   前記障害物情報取得手段によって取得された障害物情報と前記ドライバー視覚情報提供装置から出力された見落とし危険度マップを表す情報とに基づいて、ドライバーに対して前記障害物の存在を通知する注意喚起手段と
   を備えた車両用運転支援システム。
10. 請求項９記載の車両用運転支援システムにおいて、
    前記注意喚起手段は、前記見落とし危険度が閾値よりも高い視野領域に入っている障害物についてのみ、その存在をドライバーに通知するように構成された車両用運転支援システム。
11. 請求項９記載の車両用運転支援システムにおいて、
    前記注意喚起手段は、予め設定された注意喚起条件が成立したときに障害物の存在をドライバーに通知するように構成され、前記見落とし危険度が閾値よりも高い視野領域に入っている障害物に対する前記注意喚起条件が、前記見落とし危険度が前記閾値以下の視野領域に入っている障害物に対する前記注意喚起条件に比べて、ドライバーに対して障害物の存在が通知されやすくなるように設定されている車両用運転支援システム。
12. 請求項９記載の車両用運転支援システムにおいて、
    前記注意喚起手段は、前記見落とし危険度が閾値よりも高い視野領域に入っている障害物の存在をドライバーに通知する注意喚起態様が、前記見落とし危険度が前記閾値以下の視野領域に入っている障害物の存在をドライバーに通知する注意喚起態様に比べて、ドライバーへの注意喚起力が大きくなるように構成されている車両用運転支援システム。