JP2007276766A - 監視装置および方法、記録媒体、並びに、プログラム - Google Patents

Abstract

【課題】ドライバにとって眩しい状態を正確に検出する。
【解決手段】視線方向検出部１２２は、室内監視カメラ１１１により撮像されたドライバの顔の画像をトラッキング部１２１によりトラッキングした結果に基づいて、ドライバの視線の向きを検出する。照明光眩しさ検出部１２５は、検出されたドライバの視線の向きに基づいて、前方監視カメラ１１２により撮像された車両の前方の画像から、ドライバの視野の中心を中心とする所定の範囲の領域が写っている視界画像を抽出し、視界画像の輝度に基づいて、ドライバの目に強い光が照射されている状態を検出する。本発明は、運転支援装置に適用できる。
【選択図】図１

Description

本発明は、監視装置および方法、記録媒体、並びに、プログラムに関し、特に、ドライバにとって眩しい状態を正確に検出することができるようにした監視装置および方法、記録媒体、並びに、プログラムに関する。

車両を運転している場合、車内に入射する光に眩惑され、視界が悪化し、運転に悪影響を及ぼすときがある。

そこで、従来、ドライバの顔を撮像した画像において、ドライバの目の周辺の領域の明るさに応じて、車両のフロントガラスに設けられた遮光手段による遮光範囲を変更し、直射日光による眩惑を緩和することが提案されている（例えば、特許文献１参照）。

特開２００２−３３１８３５号公報

ところで、運転中にドライバを眩惑する光には、まず、太陽光、対向車のヘッドライトの光、前方の車のブレーキランプの光、店舗などの建物の照明光、街灯の光、電光掲示板の光など、自ら光を発する一次光源からの光がある。加えて、一次光源からの光の正反射光、すなわち、一次光源からの光が反射面により入射角とほぼ同じ角度で反射された光、例えば、窓ガラス、水面、路面または反射板などにより太陽光が鏡面反射された光、後続車のヘッドライトが車内のルームミラーにより鏡面反射された光、対向車のヘッドライトが濡れた路面により鏡面反射された光などがある。

しかしながら、特許文献１に記載の発明では、直射日光による眩惑を緩和することしか考慮されておらず、直射日光以外の光が原因による眩しい状態を検出することは考慮されていない。

本発明は、このような状況に鑑みてなされたものであり、ドライバにとって眩しい状態を正確に検出することができるようにするものである。

本発明の一側面の監視装置は、ドライバの視線の向きに基づいて、ドライバの視野の中心を中心とする所定の範囲の領域が写っている画像である視界画像を抽出する視界画像抽出手段と、視界画像の輝度に基づいて、ドライバの目に強い光が照射されているか否かを検出する第１の状態検出手段とを備える。

本発明の一側面の監視装置においては、ドライバの視線の向きに基づいて、ドライバが運転する車両の前方を撮像した画像である前方画像から、ドライバの視野の中心を中心とする所定の範囲の領域が写っている画像である視界画像が抽出され、視界画像の輝度に基づいて、ドライバの目に強い光が照射されている状態が検出される。

従って、ドライバにとって眩しい状態を正確に検出できる。

この視界画像抽出手段、第１の状態検出手段は、例えば、CPU（Central Processing Unit）により構成される。

この第１の状態検出手段には、視界画像において、輝度が所定の閾値以上である画素が占める割合に基づいて、ドライバの目に強い光が照射されているか否かを検出させるようにすることができる。

これにより、より正確にドライバにとって眩しい状態を検出することができる。

この監視装置は、所定の時間前から現在までの視界画像の輝度に基づいて、ドライバの目の感度を推定する感度推定手段と、推定されたドライバの感度に基づいて、閾値を設定する閾値設定手段とをさらに備えることができる。

これにより、より正確にドライバにとって眩しい状態を検出することができる。

この閾値設定手段は、例えば、CPUにより構成される。

この監視装置は、前方画像において、輝度が大きく変化する位置である変化位置を検出する位置検出手段と、変化位置および前方画像の端部により区分される領域のうち、隣接する領域と比較して輝度が高い領域に含まれる画素により構成される領域を、光源領域として検出する領域検出手段とをさらに備え、視界画像抽出手段には、前方画像から視界画像を抽出させ、第１の状態検出手段には、視界画像の各画素のうち、光源領域に含まれる画素の輝度に基づいて、ドライバの目に強い光が照射されているか否かを検出させるようにすることができる。

これにより、より正確にドライバにとって眩しい状態を検出することができる。

この位置検出手段、領域設定手段は、例えば、CPUにより構成される。

この位置検出手段には、前方画像の水平方向の行および垂直方向の列ごとに、隣接する画素間の輝度の変化が所定の大きさ以上となる位置を変化位置として検出させるようにすることができる。

これにより、１画素を最小単位として光源領域を検出することができ、より正確にドライバにとって眩しい状態を検出することができる。

この監視装置は、ドライバの顔を撮像した画像である顔画像におけるドライバの目の周辺の領域の輝度に基づいて、ドライバの目に強い光が照射されているか否かを検出する第２の状態検出手段と、ドライバが運転する車両の前方を撮像した画像である前方画像の輝度に基づいて、第１の状態検出手段および第２の状態検出手段のうちどちらを用いてドライバの目に強い光が照射されているか否かを検出するかを選択する選択手段とをさらに備えることができる。

これにより、例えば、太陽光が照射されている状態か否かに応じて、より適切な検出方法を用いて、ドライバの目に強い光が照射されている状態を検出することができる。

この状態検出手段、選択手段は、例えば、CPUにより構成される。

この監視装置は、ドライバの顔を撮像した画像である顔画像に基づいて、ドライバの視線の向きを検出する視線方向検出手段をさらに備えることができる。

これにより、監視装置において検出された視線の向きに基づいて、視界画像を抽出することができる。

この視界方向検出手段は、例えば、CPUにより構成される。

この監視装置は、ドライバの目に強い光が照射されている状態が検出された場合、ドライバの視界の悪化に対応した動作を行うように車両に設けられている車載装置を制御する車載装置制御手段をさらに備えることができる。

これにより、眩しさによるドライバの視界の悪化に伴う安全性および利便性の低下が抑制される。

この車載装置制御手段は、例えば、CPUにより構成される。

この車載装置制御手段には、ドライバが運転する車両の前方を撮像した画像である前方画像を表示させるように車載装置としての表示装置を制御させるようにすることができる。

これにより、ドライバは、表示装置を見ることにより、眩しくて見づらくなった車両の前方の状況を確実に確認することができる。

この車載装置制御手段には、画面の輝度を上げるように車載装置としての表示装置を制御させるようにすることができる。

これにより、ドライバは、眩しい状態においても、表示装置の画面に表示されている情報を確実に認識することができる。

この車載装置制御手段には、画像を表示する位置を変更するように車載装置としてのヘッドアップディスプレイを制御させるようにすることができる。

これにより、ドライバは、ヘッドアップディスプレイにより表示される画像を確実に認識することができる。

この車載装置制御手段には、車両の前方を監視する距離を延長するように、車両の前方を監視する車載装置である前方監視装置を制御させるようにすることができる。

これにより、眩しさによる視界の悪化によりドライバの注意力が低下し、車両の前方の確認が平常時より遅くなっても、乗員の安全を損なわないようにすることができる。

この車載装置制御手段には、事故を事前に回避したり、衝突による被害を軽減させる動作を行う車載装置であるプリクラッシュセーフティシステムが起動するタイミングを早めるようにプリクラッシュセーフティシステムを制御させるようにすることができる。

これにより、眩しさによる視界の悪化によりドライバの注意力が低下し、車両の前方の確認が平常時より遅くなっても、乗員の安全を損なわないようにすることができる。

この車載装置制御手段には、車両の加速を抑制するように、車両のエンジンの動作を制御する車載装置である動力制御装置制御させるようにすることができる。

これにより、眩しさによる視界の悪化によりドライバの注意力が低下し、車両の前方の確認が平常時より遅くなっても、追突や衝突を未然に防止するようにすることができる。

本発明の一側面の監視方法、プログラム、および、記録媒体に記録されているプログラムは、ドライバの視線の向きに基づいて、ドライバの視野の中心を中心とする所定の範囲の領域が写っている画像である視界画像を抽出する視界画像抽出ステップと、視界画像の輝度に基づいて、ドライバの目に強い光が照射されているか否かを検出する状態検出ステップとを含む。

本発明の一側面の監視方法、プログラム、および、記録媒体に記録されているプログラムにおいては、ドライバの視線の向きに基づいて、ドライバの視野の中心を中心とする所定の範囲の領域が写っている画像である視界画像が抽出され、視界画像の輝度に基づいて、ドライバの目に強い光が照射されている状態が検出される。

従って、ドライバにとって眩しい状態を正確に検出できる。

この視界画像抽出ステップは、例えば、ドライバの視線の向きに基づいて、ドライバの視野の中心を中心とする所定の範囲の領域が写っている画像である視界画像をCPUにより抽出する視界画像抽出ステップにより構成され、この状態検出ステップは、例えば、視界画像の輝度に基づいて、ドライバの目に強い光が照射されているか否かをCPUにより検出する状態検出ステップにより構成される。

以上のように、本発明の一側面によれば、ドライバにとって眩しい状態を検出することができる。特に、本発明の一側面によれば、ドライバにとって眩しい状態を正確に検出することができる。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した監視システム１０１の一実施の形態を示すブロック図である。監視システム１０１は、監視システム１０１が設けられた車両を運転するドライバおよび車内の状態を監視し、ドライバの目に強い光が照射されている状態、すなわち、ドライバにとって眩しい状態（以下、単に眩しい状態とも称する）を検出した場合、眩しさによるドライバの視界の悪化に対応した動作を行うように、車両に設けられている他の車載装置の動作を制御する。

監視システム１０１は、室内監視カメラ１１１、前方監視カメラ１１２、眩しさ検出部１１３、表示制御部１１４、および、車両制御部１１５を含むように構成される。また、眩しさ検出部１１３は、トラッキング部１２１、視線方向検出部１２２、検出方法選択部１２３、太陽光眩しさ検出部１２４、および、照明光眩しさ検出部１２５を含むように構成される。

室内監視カメラ１１１および前方監視カメラ１１２は、例えば、図３を参照して後述するように、対数変換型の撮像素子を用いて非常に広いダイナミックレンジ（例えば、約170dB）で被写体を撮像する撮像装置により構成される。室内監視カメラ１１１および前方監視カメラ１１２により撮像される画像は、例えば、14bitの符号なし２進数のデジタルのデータであり、最も暗い０から最も明るい２¹⁴−１の範囲の１６３８４階調の輝度値が割り当てられる。

図２は、室内監視カメラ１１１および前方監視カメラ１１２の設置位置の例を模式的に示す図である。図２の上側の図は、監視システム１０１が設けられている車両１４１を右方向から見た図であり、下側の図は、車両１４１を上から見た図である。

室内監視カメラ１１１は、例えば、車両１４１のステアリングホイール１５１の近傍であって、室内監視カメラ１１１の画角内にステアリングホイール１５１が入らない位置、すなわち、ステアリングホイール１５１が車両１４１を運転するドライバ１４２の顔の撮像の邪魔にならない位置に設置され、ドライバ１４２の顔およびその周辺を撮像する。室内監視カメラ１１１は、撮像した画像（以下、顔画像と称する）をトラッキング部１２１に供給する。

前方監視カメラ１１２は、例えば、車両１４１のボディの前端の中央下部に設置され、車両１４１の前方を撮像する。前方監視カメラ１１２は、撮像した画像（以下、前方画像と称する）を、カーナビゲーション装置１０２、前方監視装置１０４、検出方法選択部１２３、および、照明光眩しさ検出部１２５に供給する。

眩しさ検出部１１３は、図９などを参照して後述するように、ドライバにとって眩しい状態を検出する。

トラッキング部１２１は、所定の手法を用いて、顔画像におけるドライバの顔をトラッキングする。すなわち、トラッキング部１２１は、ドライバの顔および顔の特徴（例えば、顔および顔の各器官の位置、形状など）を検出する。トラッキング部１２１は、顔画像およびその顔画像のトラッキング結果を示す情報を視線方向検出部１２２および太陽光眩しさ検出部１２４に供給する。なお、トラッキング部１２１が人の顔をトラッキングする手法は、特定の手法に限定されるものではなく、より迅速かつ正確に人の顔をトラッキングできる手法が望ましい。

視線方向検出部１２２は、所定の手法を用いて、顔画像およびトラッキング結果に基づいて、ドライバの視線の向きを検出する。視線方向検出部１２２は、検出結果を示す情報を、照明光眩しさ検出部１２５に供給する。なお、視線方向検出部１２２が視線の方向を検出する手法は、特定の手法に限定されるものではなく、より迅速かつ正確に視線の方向を検出できる手法が望ましい。

検出方法選択部１２３は、図９または図１２を参照して後述するように、前方画像に基づいて、眩しい状態を検出する方法を選択する。検出方法選択部１２３は、選択結果を示す情報を、太陽光眩しさ検出部１２４および照明光眩しさ検出部１２５に供給する。

太陽光眩しさ検出部１２４は、図１３を参照して後述するように、主に太陽光および太陽光が反射された反射光により眩しい状態を検出する。太陽光眩しさ検出部１２４は、検出結果を示す情報を表示制御部１１４および車両制御部１１５に供給する。

照明光眩しさ検出部１２５は、図１５を参照して後述するように、主に太陽光以外の照明光および照明光が反射された反射光により眩しい状態を検出する。照明光眩しさ検出部１２５は、検出結果を示す情報を表示制御部１１４および車両制御部１１５に供給する。

表示制御部１１４は、図１６および図１７を参照して後述するように、ドライバにとって眩しい状態が検出された場合、眩しさによるドライバの視界の悪化に対応した動作を行うように、監視システム１０１が設けられた車両に設けられているカーナビゲーション装置１０２、ヘッドアップディスプレイ１０３などの表示装置の動作を制御する。

車両制御部１１５は、図１６および図１７を参照して後述するように、ドライバにとって眩しい状態が検出された場合、眩しさによるドライバの視界の悪化に対応した動作を行うように、監視システム１０１が設けられた車両に設けられている前方監視装置１０４、プリセーフティクラッシュシステム１０５、および、動力制御装置１０６など、車両の走行に関わる制御および処理を行う車載装置の動作を制御する。

カーナビゲーション装置１０２は、目的地までの走行経路を案内するナビゲーション機能、および、前方監視カメラ１１２により撮像された前方画像または図示せぬカメラにより撮像された車両の後方の画像などを表示することにより車両の周囲の状況の確認を補助するモニタ機能などを車両の乗員に提供する。

ヘッドアップディスプレイ１０３は、無限遠の点に結像する画像を車両のフロントガラスに投影することにより、ドライバが、車両の前景を見たままの状態で、すなわち、運転中の視線方向を保ったまま見ることができるように、画像を表示する。例えば、車速メータなどが、ヘッドアップディスプレイ１０３により表示される。

前方監視装置１０４は、前方画像に基づいて、車両の前方の状況を監視し、車両の前方のもの、例えば、人、動物、障害物などの存在を検知し、検知した情報をプリクラッシュセーフティシステム１０５に供給する。

プリクラッシュセーフティシステム１０５は、乗員の安全性を確保するために、事故を事前に回避したり、衝突による被害を軽減させる動作を行うシステムである。例えば、プリクラッシュセーフティシステム１０５は、前方監視装置１０４からの情報に基づいて、車両の前方の人や障害物などに衝突する可能性があると判断した場合、衝突を避けるために警報を発したり、衝突が免れないと判断した場合、シートベルトを自動的に巻き取って、乗員の拘束性を高めたり、自動的にブレーキを作動させて、衝突時の衝撃を軽減させるなどの動作を行う。

動力制御装置１０６は、車両のエンジンの動作を制御することにより、車両の速度や加速特性などを制御する。

図３は、図１の室内監視カメラ１１１および前方監視カメラ１１２の機能的構成を示すブロック図である。室内監視カメラ１１１および前方監視カメラ１１２は、レンズ２０１、および対数変換型撮像素子２０２を含むように構成される。対数変換型撮像素子２０２は、例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor）（登録商標））などの対数変換型の撮像素子とされ、光検出部２１１、対数変換部２１２、A/D変換部２１３、および撮像タイミング制御部２１４を含むように構成される。

室内監視カメラ１１１または前方監視カメラ１１２により撮像される被写体から発せられた光（あるいは、被写体により反射された光）は、レンズ２０１に入射し、対数変換型撮像素子２０２の光検出部２１１の図示せぬ光検出面に結像する。

光検出部２１１は、例えば、複数のフォトダイオードからなる受光素子などにより構成される。光検出部２１１は、レンズ２０１により結像された被写体の光を、入射された光の明るさ（照度）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部２１１は、撮像タイミング制御部２１４から供給される制御信号に同期して、蓄積した電荷を対数変換部２１２に供給する。

対数変換部２１２は、例えば、複数のMOSFET（Metal Oxide Semiconductor Field Effect Transistor）などにより構成される。対数変換部２１２は、MOSFETのサブスレッショルド特性を利用して、光検出部２１１から供給される電荷を、各画素ごとに、電荷の数（電流の強さ）の対数、すなわち、被写体の光の光量の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対数変換部２１２は、生成したアナログの電気信号をA/D変換部２１３に供給する。

A/D変換部２１３は、撮像タイミング制御部２１４から供給される制御信号に同期して、アナログの電気信号をデジタルの画像データ（以下、単に画像とも称する）にA/D変換する。例えば、14bitの符号なし２進数のデジタルの画像データに変換される場合、画像データの輝度値（あるいは画素値）は、最も暗い０から最も明るい２¹⁴−１の範囲の値をとる。A/D変換部２１３は、変換したデジタルの画像データを眩しさ検出部１１３に供給する。

このように、室内監視カメラ１１１または前方監視カメラ１１２は、光検出部２１１に入射した被写体の光の明るさ、すなわち、入射光量の対数に比例した輝度値（あるいは画素値）からなるデジタルの画像データを出力する。なお、対数変換型の撮像素子については、例えば、特表平７−５０６９３２公報などにその詳細が開示されている。

なお、対数変換型撮像素子２０２の光検出部２１１においては、変換した電荷を蓄積せずに、そのまま対数変換部２１２に供給させるようにすることも可能である。

図４は、対数変換型撮像素子２０２、CCD撮像素子、銀塩フィルム、および、人の目の感度特性を示すグラフである。図４の横軸は、入射光の照度（単位は、ルクス（lux））の対数値を示し、縦軸は入射光の照度に対する感度を示している。線２３１は対数変換型撮像素子２０２の感度特性を示し、線２３２はCCD撮像素子の感度特性を示し、線２３３は銀塩フィルムの感度特性を示し、線２３４は人の目の感度特性を示している。

対数変換型撮像素子２０２は、上述したように、入射光量の対数にほぼ比例した輝度値（あるいは画素値）からなる画像データを出力するので、入射光量が大きくなった場合でも、対数変換型撮像素子２０２を構成するフォトダイオードやMOSFETなどの素子の容量が飽和したり、各素子に流れる電流や印加される電圧が各素子の入力に応じた出力を行うことができる範囲を超えることがない。従って、撮像可能な輝度の範囲内において、ほぼ正確に入射光量の変動に応じた輝度値（あるいは画素値）を得ることができる。すなわち、CCD撮像素子、銀塩フィルム、および、人の目より広い、例えば、約１ミリルクスから太陽光の輝度より高い約５００キロルクスまでの約１７０dBのダイナミックレンジで、被写体からの入射光量の強さをほぼ正確に反映した輝度値（あるいは画素値）からなる画像を撮像することができる。なお、室内監視カメラ１１１または前方監視カメラ１１２に用いる対数変換型撮像素子２０２のダイナミックレンジは、上述した１７０dBに限定されるものではなく、利用目的に応じて、約１００ｄＢあるいは２００ｄＢなど、必要なダイナミックレンジに対応したものを用いるようにすればよい。

従って、対数変換型撮像素子２０２を用いた室内監視カメラ１１１または前方監視カメラ１１２は、人が視認できる輝度範囲において、輝度クリッピングが発生しないため、絞りやシャッタースピードなどを調整して入射光量を調整する必要がない。すなわち、室内監視カメラ１１１または前方監視カメラ１１２は、入射光量を調整しなくても、被写体の詳細な輝度の分布を忠実に撮像することができる。

例えば、昼間に車内から車の前方を撮像する場合、画角内に太陽が入っていても、室内監視カメラ１１１または前方監視カメラ１１２は、入射光量を調整せずに、太陽と前方の道路の輝度の分布を忠実に再現した画像を撮像することができる。また、夜間に車内から車の前方を撮像する場合、対向車のヘッドライトが前方から照らされていても、室内監視カメラ１１１または前方監視カメラ１１２は、入射光量を調整せずに、対向車のヘッドライトの光から自車のヘッドライトに照らされていない領域までの輝度の分布を忠実に再現した画像を撮像することができる。

また、CCD撮像素子および銀塩フィルムでは、線２３２および線２３３に示されるように、ガンマ特性などの要因により感度特性が入射光の照度の対数に比例しないのに比べて、対数変換型撮像素子２０２では、感度特性が入射光の照度の対数にほぼ比例する。

このように、対数変換型撮像素子２０２を用いた室内監視カメラ１１１および前方監視カメラ１１２は、輝度クリッピングの発生、入射光量の調整、ガンマ特性の影響を受けない。従って、室内監視カメラ１１１または前方監視カメラ１１２により撮像された画像データの輝度値（あるいは画素値）は、被写体の輝度の変動および被写体の動きをほぼ忠実に反映するように変動する。すなわち、フレーム間の画像データの差分をとった差分データの各画素の差分値は、被写体の輝度の変動および被写体の動きがほぼ忠実に反映された値となる。

図５は、図１の検出方法選択部１２３の機能的構成を示すブロック図である。検出方法選択部１２３は、統計部３０１および選択部３０２を含むように構成される。

統計部３０１は、図９または図１２を参照して後述するように、前方監視カメラ１１２から前方画像を取得し、取得した前方画像の輝度値の統計値を算出し、算出した統計値を示す情報を選択部３０２に供給する。

選択部３０２は、図９または図１２を参照して後述するように、前方画像の輝度値の統計値に基づいて、眩しい状態を検出する方法を選択し、選択結果を示す情報を太陽光眩しさ検出部１２４および照明光眩しさ検出部１２５に供給する。

図６は、図１の太陽光眩しさ検出部１２４の機能的構成を示すブロック図である。太陽光眩しさ検出部１２４は、統計部３２１および状態検出部３２２を含むように構成される。

統計部３２１は、顔画像およびその顔画像のトラッキング結果を示す情報をトラッキング部１２１から取得し、検出方法選択部１２３から検出方法の選択結果を示す情報を取得する。統計部３２１は、図１３を参照して後述するように、取得したトラッキング結果に基づいて、顔画像におけるドライバの目の周辺の領域の輝度値の統計値を算出し、算出した統計値を示す情報を状態検出部３２２に供給する。

状態検出部３２２は、図１３を参照して後述するように、統計部３２１により算出された統計値に基づいて、ドライバにとって眩しい状態を検出し、検出結果を示す情報を表示制御部１１４および車両制御部１１５に供給する。

図７は、図１の照明光眩しさ検出部１２５の機能的構成を示すブロック図である。照明光眩しさ検出部１２５は、視界画像抽出部３４１、統計部３４２、感度推定部３４３、閾値設定部３４４、および、状態検出部３４５を含むように構成される。

視界画像抽出部３４１は、前方監視カメラ１１２から前方画像を取得し、視線方向検出部１２２からドライバの視線の向きの検出結果を示す情報を取得し、検出方法選択部１２３から検出方法の選択結果を示す情報を取得する。視界画像抽出部３４１は、検出されたドライバの視線の向きに基づいて、ドライバの視野の中心を中心とする所定の範囲（例えば、一般的な人にとって明るさの感度が高い範囲）の領域が写っている画像（以下、視界画像と称する）を前方画像から抽出する。すなわち、視界画像は、ドライバが感じる眩しさに与える影響が大きい領域が写っている画像であるといえる。視界画像抽出部３４１は、抽出した視界画像を統計部３４２および状態検出部３４５に供給する。

統計部３４２は、図１５を参照して後述するように、視界画像の各画素の輝度値の統計値を算出し、算出した統計値を示す情報を感度推定部３４３に供給する。

感度推定部３４３は、図１５を参照して後述するように、統計部３４２により算出された統計値に基づいて、ドライバの目の感度を推定し、推定結果を示す情報を閾値設定部３４４に供給する。

閾値設定部３４４は、図１５を参照して後述するように、推定されたドライバの目の感度に基づいて、ドライバにとって眩しく感じられると推定される領域を視界画像から抽出するための輝度値である輝度閾値を設定し、輝度閾値を示す情報を状態検出部３４５に供給する。

状態検出部３４５は、図１５を参照して後述するように、視界画像の輝度値および輝度閾値に基づいて、ドライバにとって眩しい状態を検出し、検出結果を示す情報を表示制御部１１４および車両制御部１１５に供給する。

次に、図８乃至図１７を参照して、監視システム１０１により実行される処理を説明する。

まず、図８を参照して、監視システム１０１により実行される車載装置制御処理を説明する。なお、この処理は、例えば、監視システム１０１が設けられている車両のエンジンが始動されたとき開始される。

ステップＳ１において、室内監視カメラ１１１は、ドライバの顔の撮像を開始する。室内監視カメラ１１１は、撮像した画像である顔画像をトラッキング部１２１に供給する。

ステップＳ２において、前方監視カメラ１１２は、車両の前方の撮像を開始する。前方監視カメラ１１２は、撮像した画像である前方画像を、前方監視装置１０４、検出方法選択部１２３の統計部３０１および照明光眩しさ検出部１２５の視界画像抽出部３４１に供給する。

ステップＳ３において、眩しさ検出部１１３は、眩しさ検出処理を実行する。眩しさ検出処理の詳細は、図９または図１２を参照して後述するが、この処理により、ドライバにとって眩しい状態が検出される。

ステップＳ４において、表示制御部１１４および車両制御部１１５は、眩しい状態に遷移したかを判定する。具体的には、表示制御部１１４および車両制御部１１５は、太陽光眩しさ検出部１２４または照明光眩しさ検出部１２５から通知される検出結果に基づいて、ドライバにとって眩しくない状態から眩しい状態に遷移したかを判定する。眩しい状態に遷移したと判定された場合、処理はステップＳ５に進む。

ステップＳ５において、表示制御部１１４および車両制御部１１５は、眩しい状態検出時の処理を実行する。眩しい状態検出時の処理の詳細は、図１６を参照して後述するが、この処理により、ドライバの視界の悪化に対応した動作を開始するように、カーナビゲーション装置１０２などの車載装置が制御される。その後、処理はステップＳ８に進む。

ステップＳ４において、眩しい状態に遷移していないと判定された場合、処理はステップＳ６に進む。

ステップＳ６において、表示制御部１１４および車両制御部１１５は、眩しくない状態に遷移したかを判定する。具体的には、表示制御部１１４および車両制御部１１５は、太陽光眩しさ検出部１２４または照明光眩しさ検出部１２５から通知される検出結果に基づいて、ドライバにとって眩しい状態から眩しくない状態に遷移したかを判定する。眩しくない状態に遷移したと判定された場合、処理はステップＳ７に進む。

ステップＳ７において、表示制御部１１４および車両制御部１１５は、眩しい状態終了時の処理を実行する。眩しい状態終了時の処理の詳細は、図１７を参照して後述するが、この処理により、ドライバの視界の悪化に対応した動作を停止するように、カーナビゲーション装置１０２などの車載装置が制御される。その後、処理はステップＳ８に進む。

ステップＳ６において、眩しくない状態に遷移していないと判定された場合、すなわち、眩しい状態または眩しくない状態のどちらか一方が継続していると判定された場合、ステップＳ７の処理はスキップされ、処理はステップＳ８に進む。

ステップＳ８において、監視システム１０１は、処理を終了するかを判定する。処理を終了しないと判定された場合、処理はステップＳ３に戻り、その後、ステップＳ８において処理を終了すると判定されるまで、ステップＳ３乃至Ｓ８の処理が繰り返し実行される。

ステップＳ８において、例えば、車両のエンジンが停止された場合、監視システム１０１は、処理を終了すると判定し、車載装置制御処理は終了する。

次に、図９のフローチャートを参照して、図８のステップＳ３の眩しさ検出処理の詳細を説明する。

ステップＳ３１において、統計部３０１は、前方画像の輝度値の中央値を検出する。具体的には、統計部３０１は、前方画像の各画素の輝度値を低い順または高い順に並べたデータを生成する。統計部３０１は、生成したデータにおいて中央にくる値、すなわち、前方画像の輝度値の中央値を検出する。

ステップＳ３２において、統計部３０１は、中央値より輝度値が低い画素の輝度値の平均値を算出する。具体的には、統計部３０１は、前方画素の各画素のうち、検出した中央値より輝度値が低い画素の輝度値の平均値、すなわち、画像内において中央値より暗い画素の輝度値の平均値を算出する。統計部３０１は、算出した平均値を示す情報を選択部３０２に供給する。

ステップＳ３３において、選択部３０２は、平均値が所定の閾値以上であるかを判定する。

図１０の画像４０１は、晴れた日の昼間に郊外を走行する車両から撮像した前方画像の例を模式的に示し、ヒストグラム４０２は、画像４０１の輝度値の分布を示している。また、図１１の画像４２１は、夜間に街中を走行する車両から撮像した前方画像の例を模式的に示し、ヒストグラム４２２は、画像４２１の輝度値の分布を示している。なお、ヒストグラム４０２およびヒストグラム４２２の横軸は輝度値を表し、縦軸は画素数を表す。また、横軸方向において、左にいくほど輝度値が低くなり、右にいくほど輝度値が高くなる。

画像４０１においては、ほとんど影になる部分がなく、自分で発光する被写体も存在しないため、周囲と比較して非常に明るい被写体および非常に暗い被写体が存在しない。従って、ほとんどの画素の輝度値が比較的高く、かつ、狭い範囲に集中するため、ヒストグラム４０２において、幅が狭くピーク値が非常に大きな山４１１−１が表れる。また、晴れた日の空は、周囲と比較して明るいため、山４１１−１の右側の比較的近い位置に、ピークの小さい山４１１−２が表れる。

一方、画像４２１においては、ほとんどの被写体の輝度が暗い範囲に集中する。従って、ほとんどの画素の輝度値が低く、かつ、狭い範囲に集中するため、ヒストグラム４２２において、ヒストグラム４０２の山４１１−１より左側、すなわち、輝度値が暗い範囲に、幅が狭くピーク値が大きい山４３１−１が表れる。また、自車のヘッドライトに照らされた路面の画像は、画角内に占める割合がある程度大きく、かつ、周囲と比べて明るいため、山４３１−１の右側の離れた位置に、ピーク値が２番目に大きい山４３１−２が表れる。さらに、車両のヘッドライト、テールランプ、街灯、信号の光など自分で発光する被写体の画像は、画角内に占める割合が非常に小さく、かつ、周囲に比べて非常に明るいため、山４３１−２からさらに右側に離れた位置に、ピークの非常に小さい山４３１−３が表れる。

図１０および図１１の例に示されるように、一般的に、昼間に撮像した前方画像における輝度値の分布と夜間に撮像した前方画像における輝度値の分布とを比較した場合、昼間に撮像した前方画像の方が、夜間に撮像した前方画像よりも、輝度値が、明るい範囲に集中するとともに、狭い範囲内で分布する。これは、昼間の屋外においては、太陽光が照射される範囲が広く、周囲と比較して極端に輝度が異なる領域が少ない傾向にあるからである。逆に、夜間に撮像した前方画像の方が、昼間に撮像した前方画像よりも、輝度値が、暗い範囲に集中するとともに、広い範囲に渡って分布する。これは、夜間の屋外においては、各種の照明の光など、周囲と比較して極端に明るい領域から、光源に照らされない暗い領域まで幅広い輝度の領域が存在する傾向にあるからである。

また、昼間に撮像した前方画像と夜間に撮像した前方画像との明るい領域における輝度値の差よりも、暗い領域における輝度値の差の方が大きくなる。これは、夜間に撮像した前方画像の明るい領域の輝度（例えば、各種の照明光の輝度）と、昼間に撮像した前方画像の明るい領域の輝度（例えば、空の輝度）との差が、夜間に撮像した前方画像の暗い領域の輝度（例えば、光に照らされていない領域の輝度）と、昼間に撮像した前方画像の暗い領域の輝度（例えば、太陽光に照らされていない輝度）との差より小さくなる傾向にあるからである。

従って、前方画像内の暗い領域の輝度値を比較することにより、昼間に撮像された画像か、または、夜間に撮像された画像か、換言すれば、太陽光が照射されている状態で撮像された画像か、または、太陽光が照射されていない状態で撮像された画像かをより正確に判定することができる。すなわち、ステップＳ３２において算出された、前方画像内において中央値より暗い画素の輝度値の平均値を所定の閾値と比較することにより、前方画像が、太陽光が照射されている状態で撮像された画像か、または、太陽光が照射されていない状態で撮像された画像かをより正確に判定することができる。

ステップＳ３２において算出された平均値が所定の閾値以上であると判定された場合、すなわち、太陽光が照射されている状態で前方画像が撮像されたと判定された場合、処理はステップＳ３４に進む。

ステップＳ３４において、選択部３０２は、主に太陽光および太陽光の反射光を対象にした検出方法を選択する。選択部３０２は、選択結果を示す情報を、太陽光眩しさ検出部１２４および照明光眩しさ検出部１２５に供給する。

ステップＳ３５において、太陽光眩しさ検出部１２４は、太陽光眩しさ検出処理を実行し、眩しさ検出処理は終了する。太陽光眩しさ検出処理の詳細は、図１３を参照して後述するが、この処理により、現在の状態がドライバにとって眩しい状態であるかが検出され、検出結果を示す情報が、表示制御部１１４および車両制御部１１５に供給される。

ステップＳ３３において、平均値が所定の閾値未満であると判定された場合、すなわち、太陽光が照射されていない状態で前方画像が撮像されたと判定された場合、処理はステップＳ３６に進む。

ステップＳ３６において、選択部３０２は、主に照明光および照明光の反射光を対象にした検出方法を選択する。選択部３０２は、選択結果を示す情報を、太陽光眩しさ検出部１２４および照明光眩しさ検出部１２５に供給する。

ステップＳ３７において、照明光眩しさ検出部１２５は、照明光眩しさ検出処理を実行し、眩しさ検出処理は終了する。照明光眩しさ検出処理の詳細は、図１５を参照して後述するが、この処理により、現在の状態がドライバにとって眩しい状態であるかが検出され、検出結果を示す情報が、表示制御部１１４および車両制御部１１５に供給される。

次に、図１２を参照して、眩しさ検出処理の第２の実施の形態について説明する。

ステップＳ６１において、上述した図９のステップＳ３１の処理と同様に、前方画像の輝度値の中央値が検出される。

ステップＳ６２において、上述した図９のステップＳ３２の処理と同様に、中央値より輝度値が低い画素の輝度値の平均値が算出される。

ステップＳ６３において、統計部３０１は、中央値より輝度値が高い画素の輝度値の平均値を算出する。具体的には、統計部３０１は、前方画素の各画素のうち検出した中央値より輝度値が高い画素の輝度値の平均値を算出する。統計部３０１は、算出した平均値を示す情報を選択部３０２に供給する。

ステップＳ６４において、選択部３０２は、２つの平均値の差が所定の閾値以上であるかを判定する。

図１０および図１１を参照して上述したように、一般的に、夜間に撮像した前方画像の方が、昼間に撮像した画像よりも、広い範囲に渡って輝度値が分布する。すなわち、夜間に撮像した前方画像の方が、昼間に撮像した前方画像よりも、ステップＳ６２およびＳ６３において算出された２つの平均値の差が大きくなる。従って、閾値を適切に設定することにより、２つの平均値の差に基づいて、前方画像が、太陽光が照射されている状態で撮像された画像か、または、太陽光が照射されていない状態で撮像された画像かを正確に判定することができる。

２つの平均値の差が所定の閾値以上であると判定された場合、すなわち、太陽光が照射されている状態で前方画像が撮像されたと判定された場合、処理はステップＳ６５に進む。

ステップＳ６５において、上述した図９のステップＳ３４の処理と同様に、主に太陽光および太陽光の反射光を対象にした検出方法が選択される。

ステップＳ６６において、上述した図９のステップＳ３５の処理と同様に、太陽光眩しさ検出処理が実行され、眩しさ検出処理は終了する。

ステップＳ６４において、２つの平均値の差が所定の閾値未満であると判定された場合、すなわち、太陽光が照射されていない状態で前方画像が撮像されたと判定された場合、処理はステップＳ６７に進む。

ステップＳ６７において、上述した図９のステップＳ３６の処理と同様に、主に照明光および照明光の反射光を対象にした検出方法が選択される。

ステップＳ６８において、上述した図９のステップＳ３７の処理と同様に、照明光眩しさ検出処理が実行され、眩しさ検出処理は終了する。

なお、眩しさ検出処理の第１の実施の形態および第２の実施の形態とも、曇天または雨天などにより、昼間にも関わらず太陽光の照射量が少ない場合については、閾値を調整することにより、ステップ３３またはステップＳ６４の判定結果を調整することができる。すなわち、閾値を調整することにより、太陽光眩しさ検出処理、または、照明光眩しさ検出処理のどちらを選択するかを調整することが可能である。

次に、図１３のフローチャートを参照して、図９のステップＳ３５および図１２のステップＳ６６の太陽光眩しさ検出処理の詳細を説明する。

ステップＳ９１において、トラッキング部１２１は、所定の手法を用いて、顔画像におけるドライバの顔をトラッキングする。これにより、顔画像におけるドライバの顔の位置および形状、並びに、目の位置および形状などが検出される。トラッキング部１２１は、顔画像およびその顔画像のトラッキング結果を示す情報を統計部３２１に供給する。

ステップＳ９２において、統計部３２１は、ドライバの目の周辺の画像の輝度値の平均値を算出し、ステップＳ９３において、ドライバの目の周辺の画像の輝度値の平均値が所定の閾値以上であるかを判定する。

具体的には、統計部３２１は、トラッキング部１２１によるトラッキング結果に基づいて、例えば、図１４に示されるように、顔画像から、ドライバの右目の周辺の領域４４１−１、および、左目の周辺の領域４４１−２を抽出する。統計部３２１は、領域４４１−１内の右目の部分を除く画素の輝度値の平均値、および、領域４４１−２内の左目の部分を除く画素の輝度値の平均値を算出する。統計部３２１は、算出した２つの平均値のうち少なくとも一方が所定の閾値以上であると判定した場合、すなわち、ドライバの目の周辺が所定の輝度以上に明るい場合、処理はステップＳ９４に進む。

太陽光が照射されている昼間において、ドライバが眩しく感じる光は、直射日光、または、入射した太陽光が反射面によりほぼ同じ方向に反射された反射光、すなわち、太陽光の正反射光のうちいずれかがほとんどである。また、太陽光または太陽光の正反射光が人の目に射し込んだ場合、周囲の明るさに関わらず、ほとんどの人は眩しく感じる。すなわち、太陽光が照射されている昼間において、ドライバが眩しく感じている場合、一定以上の輝度の光が、ドライバの目およびその周辺に照射されていると言える。従って、太陽光が照射されている昼間においては、ドライバの目の周辺の画像の輝度値、すなわち、ドライバの目の周辺の明るさに基づいて、ほぼ正確にドライバにとって眩しい状態を検出することができる。

ステップＳ９４において、状態検出部３２２は、ドライバにとって眩しい状態であると判定し、太陽光眩しさ検出処理は終了する。具体的には、状態検出部３２２は、ドライバの目の周辺の画像の輝度値の平均値が所定の閾値以上であることをもって、ドライバの目に直射日光または太陽光の正反射光が照射され、現在の状態がドライバにとって眩しい状態であると判定する。状態検出部３２２は、ドライバにとって眩しい状態が検出されたことを示す情報を表示制御部１１４および車両制御部１１５に供給する。

ステップＳ９３において、ドライバの目の周辺の画像の輝度値の平均値が所定の閾値未満であると判定された場合、すなわち、ドライバの目の周辺が所定の輝度より暗い場合、処理はステップＳ９５に進む。

ステップＳ９５において、状態検出部３２２は、ドライバにとって眩しい状態でないと判定し、太陽光眩しさ検出処理は終了する。具体的には、状態検出部３２２は、ドライバの目の周辺の画像の輝度値の平均値が所定の閾値未満であることをもって、ドライバの目に直射日光または太陽光の正反射光が照射されておらず、現在の状態がドライバにとって眩しい状態ではないと判定する。状態検出部３２２は、ドライバにとって眩しい状態が検出されなかったことを示す情報を表示制御部１１４および車両制御部１１５に供給する。

なお、ステップＳ９２において平均値の算出に用いた領域は、その一例であり、ドライバの両目を含む他の領域を用いるようにしてもよい。また、以上の説明では、領域４４１−１および領域４４１−２内の画素の輝度値の平均値を用いて、ドライバにとって眩しい状態を検出するようにしたが、例えば、輝度値の最大値、中間値など、領域内の画像の明るさを表すその他の統計値を用いるようにしてもよい。

次に、図１５のフローチャートを参照して、図９のステップＳ３７および図１２のステップＳ６８の照明光眩しさ検出処理の詳細を説明する。

ステップＳ１２１において、上述した図１３のステップＳ９１の処理と同様に、顔画像におけるドライバの顔がトラッキングされる。トラッキング部１２１は、顔画像およびその顔画像のトラッキング結果を示す情報を視線方向検出部１２２に供給する。

ステップＳ１２２において、視線方向検出部１２２は、ドライバの視線の向きを検出する。具体的には、視線方向検出部１２２は、所定の手法を用いて、顔画像およびトラッキング部１２１によるトラッキング結果に基づいて、ドライバの視線の向きを検出する。視線方向検出部１２２は、検出結果を示す情報を視界画像抽出部３４１に供給する。

ステップＳ１２３において、視界画像抽出部３４１は、視界画像を抽出する。具体的には、視界画像抽出部３４１は、ドライバの視線の向きに基づいて、視界画像を前方画像から抽出する。視界画像抽出部３４１は、抽出した視界画像を統計部３４２および状態検出部３４５に供給する。

例えば、視界画像抽出部３４１は、前方監視カメラ１１２の位置とドライバの顔の位置との相対的な関係をもとに視差の補正を行って、前方画像における視線方向の中心点、換言すれば、視野の中心を求める。視界画像抽出部３４１は、視野の中心の周囲の所定の範囲（例えば、視野の中心を中心とする角度１５度の視野の範囲）に含まれる円形の領域の画像を視界画像として抽出する。なお、視界画像の形状は、円形に限定されるものではなく、例えば、楕円形、矩形などにすることも可能である。

なお、前方画像において、実際にはドライバの視野内において遮蔽物により遮られている領域、すなわち、ドライバの眩しさにあまり影響がない領域を視界画像から除外するようにすることが望ましい。そのような遮蔽物として、例えば、運転席周辺のダッシュボード、ドア、ピラーなどがある。また、シェードの使用を検出して、シェードにより遮られる領域を視界画像から除外することも可能である。さらに、顔画像に基づいて、ドライバがつばのついた帽子をかぶっていることを検出して、帽子のつばにより遮られる領域を視界画像から除外するようにすることも可能である。

ステップＳ１２４において、統計部３４２は、所定の時間前から現在までの視界画像の輝度値の平均値を算出する。統計部３４２は、算出した平均値を示す情報を感度推定部３４３に供給する。

ステップＳ１２５において、感度推定部３４３は、ドライバの目の感度を推定する。

人間の目は、周囲の明るさに対して、大きく分けて、明所視、薄明視、および、暗所視の３つの状態のいずれかに遷移する。明所視は、約10ルクスから10万ルクスの環境下で、主に錐体細胞が網膜において働いている状態であって、暗所視と比較して目の感度が低く、ものの形と色がはっきり分かる状態である。暗所視は、約0.001ルクスから0.01ルクスの環境下で、主に杆体細胞が網膜において働いている状態であって、明所視と比較して目の感度が高く、ものの明暗だけがおぼろげに見える状態である。薄明視は、約0.01ルクスから10ルクスの環境下で、錐体細胞と杆体細胞の両方が網膜において働いている状態であって、明所視と暗所視との中間の状態である。すなわち、人間の目の感度は、周囲の明るさに応じて変化する。

また、人間の目は、周囲の明るさの変動に対して、すぐには順応できない。具体的には、人間の目は、周囲が暗い状態から明るい状態に遷移しても、暗所視から明所視になるまでに、すなわち、明るい状態に順応（明順応）するまでに、数十秒から数分を要し、周囲が明るい状態から暗い状態に遷移しても、明所視から暗所視になるまでに、すなわち、暗い状態に順応（暗順応）するまでに、約３０分から２時間を要する。すなわち、同じ明るさの環境下においても、それ以前の周囲の明るさの推移に応じて、人間の目の感度は異なる。

さらに、人間の目は、入射光に対して、ごく短時間で瞳孔の開き具合を調整することにより、目に入射する光の量を調整することができる。

感度推定部３４３は、以上に述べた人間の目の特性に基づいて、統計部３４２により算出された輝度値の平均値を用いて、ドライバの目の感度を推定する。例えば、感度推定部３４３は、所定の時間前（例えば、１分前）から現在までの視界画像の輝度値の平均値の推移に基づいて、すなわち、ドライバの視界の明るさの推移に基づいて、ドライバの目の状態が、明所視、薄明視、または、暗所視のいずれの状態であるかを推定することにより、ドライバの目の感度を推定する。また、上述したように、暗順応は所用時間が長いため、例えば、視界画像の輝度値の平均値が低い状態で推移している場合、さらに長い時間前（例えば、１時間前）から現在までの視界画像の輝度値の平均値、および、暗順応曲線（アウベルト関数曲線）に基づいて、さらに細かくドライバの目の感度を推定するようにしてもよい。さらに、人間の目の感度の特性は、年齢などの違いにより個人差があるため、さらに個人の違いを考慮して、ドライバの感度を推定するようにしてもよい。

感度推定部３４３は、推定したドライバの目の感度を示す情報を閾値設定部３４４に供給する。

ステップＳ１２６において、閾値設定部３４４は、輝度閾値を設定する。

ところで、人間は、同じ輝度の光に対しても、そのときの目の感度に応じて、眩しく感じる場合と感じない場合とがある。すなわち、人間は、同じ輝度の光に対しても、目の感度が高い場合、眩しさを感じやすく、目の感度が低い場合、眩しさを感じにくい。

閾値設定部３４４は、予め設定されている変換式または変換テーブルなどを用いて、感度推定部３４３により推定された目の感度に基づいて、ドライバにとって眩しく感じられると推定される領域を視界画像から抽出するための輝度閾値を設定する。すなわち、推定された目の感度が高い場合、輝度閾値は低い値に設定され、目の感度が低い場合、輝度閾値は高い値に設定される。閾値設定部３４４は、設定した閾値を示す情報を状態検出部３４５に供給する。

ステップＳ１２７において、状態検出部３４５は、視界画像において、輝度値が輝度閾値以上となる画素が占める割合を検出する。具体的には、状態検出部３４５は、視界画像の各画素のうち、輝度値が輝度閾値以上となる画素を抽出する。状態検出部３４５は、視界画像の全画素数のうち抽出した画素の数が占める割合を検出する。

ステップＳ１２８において、状態検出部３４５は、検出された割合が所定の閾値以上であるかを判定する。状態検出部３４５は、ステップＳ１２７において検出された割合が所定の閾値以上であると判定した場合、処理はステップＳ１２９に進む。

ステップＳ１２９において、状態検出部３４５は、ドライバにとって眩しい状態であると判定し、照明光眩しさ検出処理は終了する。具体的には、状態検出部３４５は、ステップＳ１２７において検出された割合が所定の閾値以上であることをもって、ドライバの視野の中心を中心とする所定の範囲内において明るい領域が占める割合が所定の広さ以上であり、現在の状態がドライバにとって眩しい状態であると判定する。状態検出部３４５は、ドライバにとって眩しい状態が検出されたことを示す情報を表示制御部１１４および車両制御部１１５に供給する。

ステップＳ１２８において、ステップＳ１２７において検出された割合が所定の閾値未満であると判定された場合、処理はステップＳ１２９に進む。

ステップＳ１３０において、状態検出部３４５は、ドライバにとって眩しい状態でないと判定し、照明光眩しさ検出処理は終了する。具体的には、状態検出部３４５は、ステップＳ１２７において検出された割合が所定の閾値未満であることをもって、ドライバの視野の中心を中心とする所定の範囲内において明るい領域が占める割合が所定の広さより狭く、現在の状態がドライバにとって眩しい状態でないと判定する。状態検出部３４５は、ドライバにとって眩しい状態が検出されなかったことを示す情報を表示制御部１１４および車両制御部１１５に供給する。

次に、図１６のフローチャートを参照して、図８のステップＳ５の眩しい状態検出時の処理の詳細を説明する。

ステップＳ１５１において、表示制御部１１４は、カーナビゲーション装置１０２に前方画像を表示させる。具体的には、表示制御部１１４は、前方画像の表示を指示する情報を、カーナビゲーション装置１０２に供給する。カーナビゲーション装置１０２は、前方監視カメラ１１２からの前方画像の取得、および、前方画像の表示を開始する。これにより、ドライバは、眩しくて見づらくなった車両の前方の状況を確実に確認することができる。

ステップＳ１５２において、表示制御部１１４は、カーナビゲーション装置１０２の表示の設定を調整する。具体的には、表示制御部１１４は、例えば、画面の輝度を上げるように指示する情報をカーナビゲーション装置１０２に供給する。カーナビゲーション装置１０２は、指示に基づいて、画面の輝度を上げる。これにより、眩しい状態においても、カーナビゲーション装置１０２の画面の視認性の低下が抑制され、ドライバは、画面に表示されている情報を確実に認識することができる。

ステップＳ１５３において、表示制御部１１４は、ヘッドアップディスプレイ１０３の表示位置を調整する。具体的には、表示制御部１１４は、ドライバにとって眩しくない位置に画像を表示するように指示する情報をヘッドアップディスプレイ１０３に供給する。ヘッドアップディスプレイ１０３は、指示された位置に画像の表示位置を変更する。これにより、ドライバは、ヘッドアップディスプレイ１０３により表示される画像を確実に認識することができる。

なお、ここで、ドライバにとって眩しくない位置とは、ヘッドアップディスプレイ１０３の画像の表示位置とドライバの目を結ぶ軸上に、眩しい光が入射しない位置である。例えば、表示制御部１１４は、ヘッドアップディスプレイ１０３の画像の表示位置とドライバの目を結ぶ軸上に、眩しい光が入射する可能性が低い位置、例えば、フロントガラスの下端部などを予め設定しておき、設定された位置に画像の表示位置を移動させる。また、例えば、表示制御部１１４は、後述する図２０の光源検出処理により検出された前方画像に写っている光源の位置に基づいて、ヘッドアップディスプレイ１０３の画像の表示位置とドライバの目を結ぶ軸上に、その光源から発せられる光が入射しない位置に画像の表示位置を移動させる。

ステップＳ１５４において、車両制御部１１５は、前方監視の検知距離を延長する。具体的には、車両制御部１１５は、前方監視の検知距離の延長を指示する情報を前方監視装置１０４に供給する。前方監視装置１０４は、指示に基づいて、車両の前方の人、動物、障害物などの存在を検知する距離を延長する。すなわち、眩しさによる視界の悪化によりドライバの注意力が低下し、車両の前方の確認が平常時より遅くなっても、乗員の安全を損なわないように、車両の前方を監視する範囲が広げられる。

ステップＳ１５５において、車両制御部１１５は、プリクラッシュセーフティシステム１０５が起動するタイミングを早める。具体的には、車両制御部１１５は、起動するタイミングを早めるように指示する情報をプリクラッシュセーフティシステム１０５に供給する。プリクラッシュセーフティシステム１０５は、例えば、衝突を避けるための警報を発するタイミング、シートベルトを自動的に巻き取るタイミング、ブレーキを作動させるタイミングなどを平常時より早くするように自身の設定を行う。すなわち、眩しさによる視界の悪化によりドライバの注意力が低下し、車両の前方の確認が平常時より遅くなっても、乗員の安全を損なわないように、事故を事前に回避したり、衝突による被害を軽減させる動作がより早いタイミングで行われるようになる。

ステップＳ１５６において、車両制御部１１５は、車両の加速を抑制し、眩しい状態検出時の処理は終了する。具体的には、車両制御部１１５は、車両の加速の抑制を指示する情報を動力制御装置１０６に供給する。動力制御装置１０６は、平常時より加速を抑制するように車両のエンジンの動作を制御する。すなわち、眩しさによる視界の悪化によりドライバの注意力が低下し、車両の前方の確認が平常時より遅くなっても、追突や衝突を未然に防止することができるように、車両の加速が抑制される。

次に、図１７のフローチャートを参照して、図８のステップＳ７の眩しい状態終了時の処理の詳細を説明する。

ステップＳ１７１において、表示制御部１１４は、カーナビゲーション装置１０２に前方画像の表示を停止させる。具体的には、表示制御部１１４は、前方画像の表示の停止を指示する情報を、カーナビゲーション装置１０２に供給する。カーナビゲーション装置１０２は、前方画像の表示を停止し、平常時の表示、例えば、目的地までのルートの案内の表示を再開する。

ステップＳ１７２において、表示制御部１１４は、カーナビゲーション装置１０２の表示の設定を元に戻す。具体的には、表示制御部１１４は、画面の輝度、コントラストなどを平常時の設定に戻すように指示する情報をカーナビゲーション装置１０２に供給する。カーナビゲーション装置１０２は、指示に基づいて、画面の輝度、コントラストなどを平常時の設定に戻す。

ステップＳ１７３において、表示制御部１１４は、ヘッドアップディスプレイ１０３の表示位置を元に戻す。具体的には、表示制御部１１４は、画像を表示する位置を平常時の位置に戻すように指示する情報をヘッドアップディスプレイ１０３に供給する。ヘッドアップディスプレイ１０３は、画像の表示位置を指示された位置、すなわち、平常時の位置に戻す。

ステップＳ１７４において、車両制御部１１５は、前方監視の検知距離を元に戻す。具体的には、車両制御部１１５は、前方監視の検知距離を平常時の距離に戻すように指示する情報を前方監視装置１０４に供給する。前方監視装置１０４は、指示に基づいて、前方監視の検知距離を平常時の距離に戻す。

ステップＳ１７５において、車両制御部１１５は、プリクラッシュセーフティシステム１０５が起動するタイミングを元に戻す。具体的には、車両制御部１１５は、起動するタイミングを平常時に戻すように指示する情報をプリクラッシュセーフティシステム１０５に供給する。プリクラッシュセーフティシステム１０５は、指示に基づいて、例えば、衝突を避けるための警報を発するタイミング、シートベルトを自動的に巻き取るタイミング、ブレーキを作動させるタイミングなどを平常時のタイミングとするように自身の設定を行う。

ステップＳ１７６において、車両制御部１１５は、車両の加速の抑制を解除し、眩しい状態終了時の処理は終了する。具体的には、車両制御部１１５は、車両の加速の抑制の解除を指示する情報を動力制御装置１０６に供給する。動力制御装置１０６は、平常時の加速特性となるように車両のエンジンの動作を制御する。

以上のようにして、光源の種類の違いに関わらず、ドライバにとって眩しい状態を正確に検出することができる。また、ドライバの目の感度に基づいて輝度閾値を変化させることにより、周囲の明るさやドライバの顔の輝度のみに基づく場合と比較して、ドライバにとって眩しい状態をより正確に検出することができる。さらに、ドライバの視界の悪化に対応した動作を行うように車両に設けられている車載装置を制御することにより、ドライバの視界の悪化に伴う安全性および利便性の低下が抑制される。

また、視界画像を抽出して、抽出した視界画像の輝度に基づいて、ドライバにとって眩しい状態であるか否かを判定するので、眩しさの原因となっている光源の方向を容易に推測することができる。さらに、視界画像を解析することにより、例えば、光源を特定し、特定した光源の種類および位置などを眩しさを軽減するための対策に活用することができる。

次に、図１８乃至図２１を参照して、図１の照明光眩しさ検出部１２５、並びに、図９のステップＳ３７および図１２のステップＳ６８の照明光眩しさ検出処理の第２の実施の形態を説明する。

図１８は、図１の照明光眩しさ検出部１２５の第２の実施の形態を示すブロック図である。図１８の照明光眩しさ検出部１２５は、視界画像抽出部３４１、光源検出部５０１、判定値算出部５０２、および、状態検出部５０３を含むように構成される。また、光源検出部５０１は、輝度変化検出部５１１および領域検出部５１２を含むように構成される。なお、図中、図７と対応する部分は同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。

光源検出部５０１は、図２０を参照して後述するように、前方画像の各画素の位置の変化に対する輝度値の変化に基づいて、光源が写っている前方画像の領域（以下、光源領域とも称する）を検出する。なお、光源領域には、自ら光を発する一次光源が写っている領域、および、一次光源からの光の正反射光、すなわち、一次光源からの光が反射面により入射角とほぼ同じ角度で反射された光が写っている領域が含まれる。

輝度変化検出部５１１は、前方監視カメラ１１２から前方画像を取得する。輝度変化検出部５１１は、図２０を参照して後述するように、前方画像の各画素の位置の変化に対する輝度値の変化を検出し、検出結果を示す情報を領域検出部５１２に供給する。

領域検出部５１２は、図２０を参照して後述するように、輝度変化検出部５１１からの検出結果に基づいて、光源領域を検出する。領域検出部５１２は、検出した光源領域の位置を示す情報を判定値算出部５０２に供給する。

判定値算出部５０２は、視界画像を視界画像抽出部３４１から取得する。判定値算出部５０２は、図２０を参照して後述するように、ドライバにとって眩しい状態を検出するための眩しさ判定値を算出し、算出した眩しさ判定値を示す情報を状態検出部５０３に供給する。

状態検出部５０３は、図１９を参照して後述するように、判定値算出部５０２により算出された眩しさ判定値に基づいて、ドライバにとって眩しい状態を検出し、検出結果を示す情報を表示制御部１１４および車両制御部１１５に供給する。

次に、図１９のフローチャートを参照して、図９のステップＳ３７の照明光眩しさ検出処理の第２の実施の形態を説明する。

ステップＳ２０１において、光源検出部５０１は、光源検出処理を実行する。光源検出処理の詳細は、図２０を参照して後述するが、この処理により、光源領域が検出され、光源領域の位置を示す情報が、領域検出部５１２から判定値算出部５０２に供給される。

ステップＳ２０２において、上述した図１５のステップＳ１２２の処理と同様に、ドライバの視線の向きが検出され、ステップＳ２０３において、上述した図１５のステップＳ１２３の処理と同様に、視界画像が抽出される。抽出された視界画像は、視界画像抽出部３４１から判定値算出部５０２に供給される。

ステップＳ２０４において、判定値算出部５０２は、眩しさ判定値を算出する。具体的には、判定値算出部５０２は、視界画像において、領域検出部５１２により検出された光源領域内の画素を抽出する。判定値算出部５０２は、抽出した画素の輝度値を合計することにより、眩しさ判定値を算出する。すなわち、眩しさ判定値は、視界画像において、光源領域の面積が広いほど、かつ、光源領域内の画素の輝度値が高いほど、大きな値となる。

なお、例えば、ドライバの視野の中心に近い画素ほど大きくなるように重みを設定し、設定した重みを輝度値に乗じてから、加算することにより眩しさ判定値を求めるようにしてもよい。

ステップＳ２０５において、状態検出部５０３は、眩しさ判定値が所定の閾値以上であるかを判定する。眩しさ判定値が所定の閾値以上であると判定された場合、処理はステップＳ２０６に進む。

ステップＳ２０６において、状態検出部５０３は、ドライバにとって眩しい状態であると判定し、照明光眩しさ検出処理は終了する。具体的には、状態検出部５０３は、眩しさ判定値が所定の閾値以上であることをもって、ドライバの視野の中心を中心とする所定の範囲内に存在する光源の面積の合計値が大きく、または、ドライバの視野の中心を中心とする所定の範囲内に存在する光源の輝度が高く、現在の状態がドライバにとって眩しい状態であると判定する。状態検出部５０３は、ドライバにとって眩しい状態が検出されたことを示す情報を表示制御部１１４および車両制御部１１５に供給する。

ステップＳ２０５において、眩しさ判定値が所定の閾値未満であると判定された場合、処理はステップＳ２０７に進む。

ステップＳ２０７において、状態検出部５０３は、ドライバにとって眩しい状態でないと判定し、照明光眩しさ検出処理は終了する。具体的には、状態検出部５０３は、眩しさ判定値が所定の閾値未満であることをもって、ドライバの視野の中心を中心とする所定の範囲内に存在する光源の面積の合計値が小さく、かつ、光源の輝度が低く、現在の状態がドライバにとって眩しい状態でないと判定する。状態検出部５０３は、ドライバにとって眩しい状態が検出されなかったことを示す情報を表示制御部１１４および車両制御部１１５に供給する。

次に、図２０のフローチャートを参照して、図１９のステップＳ２０１の光源検出処理の詳細を説明する。

ステップＳ２３１において、輝度変化検出部５１１は、前方画像の水平方向において、輝度値が大きく変化する位置を検出する。例えば、輝度変化検出部５１１は、前方画像の水平方向の各行の輝度値を、左方向から右方向に見ていき、隣接する画素間の輝度値の差が所定の大きさ以上となる位置、すなわち、隣接する画素間の輝度値の変化が所定の大きさ以上となる位置を検出する。輝度変化検出部５１１は、検出した位置を示す情報を領域検出部５１２に供給する。

図２１の画像６０１は、夜間に郊外を走行する車両から撮像した前方画像の例を模式的に示し、図２１のグラフは、画像６０１の２つの矢印Ａで挟まれた水平方向の行の輝度値の変化を示している。なお、グラフの横軸は、画素の位置を示しており、縦軸は、その位置の画素の輝度値を示している。

図２１のグラフに示されるように、画像６０１においては、自ら発光する光源である対向車のヘッドライト６１１−１，６１１−２の領域の輝度値が、周囲の輝度値と比較して、突出して高くなっている。従って、画像６０１の２つの矢印Ａで挟まれた行においては、ステップＳ２３１において、ヘッドライト６１１−１の左端付近の位置Ｐ１および右端付近の位置Ｐ２、並びに、ヘッドライト６１１−２の左端付近の位置Ｐ３および右端付近の位置Ｐ４が、隣接する画素間の輝度値の変化が所定の大きさ以上である位置として検出される。また、ヘッドライト６１１−１，６１１−２の端部付近以外の位置では、輝度値が大きく変化しないため、隣接する画素間の輝度値の変化が所定の大きさ以上である位置は検出されない。

同様に、一般的に、夜間に撮像した前方画像においては、光源または光源からの光の正反射光の端部付近の位置が、隣接する画素間の輝度値の変化が所定の大きさ以上である位置として検出される。また、光源または光源からの光の正反射光の端部付近の位置以外では、隣接する画素間の輝度値の変化が所定の大きさ以上である位置はほとんど検出されない。

ステップＳ２３２において、ステップＳ２３１の処理と同様に、輝度変化検出部５１１は、前方画像の垂直方向において、輝度値が大きく変化する位置を検出する。輝度変化検出部５１１は、検出した位置を示す情報を領域検出部５１２に供給する。

なお、輝度値が大きく変化する位置を検出する方法は、上述した方法に限定されるものではなく、例えば、水平または垂直方向の線形一次微分フィルタを用いて前方画像にフィルタ処理を施した画像を用いて検出するようにしてもよい。

ステップＳ２３３において、領域検出部５１２は、光源が写っている領域を検出する。具体的には、領域検出部５１２は、前方画像の水平方向の各行ごとに、ステップＳ２３１において検出された位置、および、前方画像の左右の端部で区分される領域のうち、隣接する領域と比較して、輝度値が高い領域に含まれる画素を抽出する。例えば、図２１の画像６０１の２つの矢印Ａで挟まれた行においては、画像６０１の左端と位置Ｐ１の間の領域、位置Ｐ１と位置Ｐ２の間の領域、位置Ｐ２と位置Ｐ３の間の領域、位置Ｐ３と位置Ｐ４の間の領域、および、位置Ｐ４と画像６０１の右端の間の領域のうち、隣接する領域と比較して輝度値が高い領域である、位置Ｐ１と位置Ｐ２の間の領域、および、位置Ｐ３と位置Ｐ４の間の領域に含まれる画素が抽出される。

また、領域検出部５１２は、前方画像の垂直方向の各列ごとに、ステップＳ２３２において検出された位置、および、前方画像の上下の端部で区分される領域のうち、隣接する領域と比較して、輝度値が高い領域に含まれる画素を抽出する。

領域検出部５１２は、抽出した画素により構成される領域を、前方画像内において光源が写っている領域、すなわち、光源領域として検出する。領域検出部５１２は、検出した光源領域の位置を示す情報を判定値算出部５０２に供給する。

以上のようにして、光源の種類の違いに関わらず、ドライバにとって眩しい状態を正確に検出することができる。また、ドライバの視界内の光源の輝度および面積を検出条件に加えることにより、周囲の明るさやドライバの顔の輝度のみに基づく場合と比較して、ドライバにとって眩しい状態をより正確に検出することができる。さらに、前方画像内において光源が写っている位置を、簡単かつ正確に検出することができる。

なお、上述した図９の処理において、ステップＳ３３の判定処理の結果に基づいて、太陽光眩しさ検出処理と照明光眩しさ検出処理のいずれかを選択して実行するようにしたが、ステップＳ３５において、ステップＳ３７の処理と異なる閾値を用いることにより、第１の実施の形態または第２の実施の形態の照明光眩しさ検出処理を行うようにしてもよい。すなわち、太陽光が照射しているか否かに基づいて、閾値を調整して、照明光眩しさ検出処理を実行することにより、ドライバにとって眩しい状態を検出するようにしてもよい。

なお、以上の説明では、図１５および図１９の照明光眩しさ検出処理において、車両の前方のみを対象にドライバにとって眩しい状態を検出するようにしたが、正面以外の方向、例えば、車両の左右の方向、後方などを対象に含めるようにしてもよい。この場合、追加する検出方向を撮像する撮像装置、および、追加する検出方向にドライバが向いたときのドライバの顔を撮像する撮像装置を設け、上述した処理と同様に、追加する検出方向を撮像する撮像装置により撮像した画像から視界画像を抽出したり、あるいは、光源が映っている領域を検出したりして、ドライバにとって眩しい状態を検出するようにすればよい。この場合、例えば、車両の周囲の全方位を撮像できる全方位カメラを設けるようにしてもよい。

次に、図２２乃至図２６を参照して、本発明の第２の実施の形態について説明する。

図２２は、本発明の第２の実施の形態である監視システム７０１の構成を示すブロック図である。監視システム７０１は、室内監視カメラ１１１、眩しさ検出部７１１、表示制御部１１４、および、車両制御部１１５を含むように構成される。また、眩しさ検出部７１１は、トラッキング部１２１、統計部７２１、基準高さ検出部７２２、および、状態検出部７２３を含むように構成される。なお、監視システム１０１に設けられていた前方監視カメラ１１２は、監視システム７０１の外部に設けられている。

なお、図中、図１と対応する部分は同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。

眩しさ検出部７１１は、図２４などを参照して後述するように、ドライバにとって眩しい状態を検出する。

トラッキング部１２１は、室内監視カメラ１１１により撮像された顔画像およびその顔画像のトラッキング結果を示す情報を統計部７２１に供給する。また、トラッキング部１２１は、トラッキングすることにより検出されるドライバの目の高さを示す情報を、基準高さ検出部７２２および状態検出部７２３に供給する。

図２３は、目の高さを検出する位置の例を示す図である。例えば、図内の矢印Hで示される、目頭８０１と目尻８０２の間の中点Ｐにおける上瞼と下瞼の間の高さが、ドライバの目の高さとして検出される。なお、目の高さを検出する位置は、この例に限定されるものではなく、例えば、上瞼の下端のいちばん高い位置と下瞼の上端のいちばん低い位置との間の高さを目の高さとして検出するようにしてもよい。

統計部７２１は、図６の統計部３２１と同様に、取得したトラッキング結果に基づいて、顔画像におけるドライバの目の周辺の領域の画像の輝度値の統計値を算出し、算出した統計値を示す情報を基準高さ検出部７２２に供給する。

基準高さ検出部７２２は、図２５を参照して後述するように、ドライバにとって眩しい状態を検出するための基準となるドライバの目の高さである基準高さを検出し、検出した基準高さを示す情報を状態検出部７２３に供給する。

状態検出部７２３は、図２６を参照して後述するように、顔画像におけるドライバの目の周辺の領域の画像の輝度値の統計値、および、トラッキング部１２１により検出されたドライバの目の高さと基準高さとの比較結果に基づいて、ドライバにとって眩しい状態を検出し、検出結果を示す情報を表示制御部１１４および車両制御部１１５に供給する。

次に、図２４乃至図２６を参照して、監視システム７０１の処理を説明する。

まず、図２４を参照して、監視システム７０１により実行される車載装置制御処理を説明する。なお、この処理は、例えば、監視システム７０１が設けられている車両のエンジンが始動されたとき開始される。

ステップＳ３０１において、図８のステップＳ１の処理と同様に、ドライバの顔の撮像が開始される。

ステップＳ３０２において、眩しさ検出部７１１は、基準高さ検出処理を実行する。基準高さ検出処理の詳細は、図２５を参照して後述するが、この処理により、ドライバの目の基準高さが検出される。

ステップＳ３０３において、眩しさ検出部７１１は、眩しさ検出処理を実行する。眩しさ検出処理の詳細は、図２６を参照して後述するが、この処理により、ドライバにとって眩しい状態が検出される。

ステップＳ３０４乃至Ｓ３０８の処理は、図８のステップＳ４乃至Ｓ８の処理と同様であり、その説明は繰り返しになるので省略する。

次に、図２５のフローチャートを参照して、図２４のステップＳ３０２の基準高さ検出処理の詳細を説明する。

ステップＳ３３１において、トラッキング部１２１は、上述した図１３のステップＳ９１の処理と同様に、顔画像におけるドライバの顔をトラッキングする。トラッキング部１２１は、顔画像およびその顔画像のトラッキング結果を示す情報を統計部７２１に供給する。また、トラッキング部１２１は、トラッキングを行うことにより検出されたドライバの目の高さを示すデータを基準高さ検出部７２２に供給する。

ステップＳ３３２において、統計部７２１は、上述した図１３のステップＳ９２における統計部３２１による処理と同様に、ドライバの目の周辺の画像の輝度値の平均値を算出する。統計部７２１は、算出した平均値を示す情報を基準高さ検出部７２２に供給する。

ステップＳ３３３において、基準高さ検出部７２２は、ドライバの目の周辺の画像の輝度値の平均値が所定の閾値未満であるかを判定する。統計部７２１により算出された輝度値の平均値が所定の閾値以上であると判定された場合、すなわち、ドライバの目の周辺が所定の輝度より明るい場合、処理はステップＳ３３１に戻る。その後、ステップＳ３３３において、ドライバの目の周辺の画像の輝度値の平均値が所定の閾値未満であると判定されるまで、ステップＳ３３１乃至Ｓ３３３の処理が繰り返し実行される。

ステップＳ３３３において、ドライバの目の周辺の画像の輝度値の平均値が所定の閾値未満であると判定された場合、処理はステップＳ３３４に進む。

ステップＳ３３４において、基準高さ検出部７２２は、データを蓄積する。具体的には、基準高さ検出部７２２は、直前のステップＳ３３１において検出されたドライバの目の高さ、すなわち、ドライバの目の周辺が所定の輝度より暗い状態のときのドライバの目の高さを示すデータを、内部の図示せぬ記憶部に蓄積する。

ステップＳ３３５において、基準高さ検出部７２２は、所定の量のデータが蓄積されたかを判定する。所定の量のデータが蓄積されていないと判定された場合、処理はステップＳ３３１に戻り、その後、ステップＳ３３５において、所定の量のデータが蓄積されたと判定されるまで、ステップＳ３３１乃至Ｓ３３５の処理が繰り返し実行される。

ステップＳ３３５において、所定の量のデータが蓄積されたと判定された場合、すなわち、ドライバの目の高さを示すデータが所定の量だけ蓄積された場合、処理はステップＳ３３６に進む。

ステップＳ３３６において、基準高さ検出部７２２は、基準高さを検出し、基準高さ検出処理は終了する。具体的には、基準高さ検出部７２２は、蓄積されたデータにおける、ドライバの目の高さの平均値を算出し、基準高さとする。すなわち、基準高さは、ドライバの目の周辺があまり明るくない状態、すなわち、ドライバにとってあまり眩しくない状態における目の高さの平均値とされる。

なお、このとき、瞬きなどにより目の大きさが変化しているときのデータを除くために、最大値および最小値付近のデータを除外して、平均値を算出するようにしてもよい。

次に、図２６のフローチャートを参照して、図２４のステップＳ３０３の眩しさ検出処理の詳細を説明する。

ステップＳ３６１において、トラッキング部１２１は、上述した図１３のステップＳ９１の処理と同様に、顔画像におけるドライバの顔をトラッキングする。トラッキング部１２１は、顔画像およびその顔画像のトラッキング結果を示す情報を統計部７２１に供給する。また、トラッキング部１２１は、トラッキングを行うことにより検出されたドライバの目の高さを示すデータを状態検出部７２３に供給する。

ステップＳ３６２において、統計部７２１は、上述した図１３のステップＳ９２における統計部３２１による処理と同様に、ドライバの目の周辺の画像の輝度値の平均値を算出する。統計部７２１は、算出した平均値を示す情報を状態検出部７２３に供給する。

ステップＳ３６３において、状態検出部７２３は、直前の処理において、ドライバにとって眩しい状態であったかを判定する。直前に実行した眩しさ検出処理において、ドライバにとって眩しい状態でなかったと判定された場合、処理はステップＳ３６４に進む。

ステップＳ３６４において、状態検出部７２３は、ドライバの目の周辺の画像の輝度値の平均値が、所定の閾値以上高い方向に変化したかを判定する。ドライバの目の周辺の画像の輝度値の平均値が、所定の閾値以上高い方向に変化したと判定された場合、すなわち、ドライバの目の周辺の輝度が所定の値以上明るく変化した場合、処理はステップＳ３６５に進む。

ステップＳ３６５において、状態検出部７２３は、ドライバの目の高さが基準高さの所定の割合の範囲内であるかを判定する。ドライバの目の高さが、基準高さの所定の割合（例えば、60％）の範囲内であると判定された場合、すなわち、基準高さの所定の割合の範囲内までドライバが目を細めている場合、処理はステップＳ３６６に進む。

ステップＳ３６６において、状態検出部７２３は、ドライバの目の高さが基準高さの所定の割合の範囲内である状態が、所定の時間継続したかを判定する。ドライバの目の高さが基準高さの所定の割合の範囲内である状態が、まだ所定の時間（例えば、１秒間）継続していないと判定された場合、処理はステップＳ３６７に進む。

ステップＳ３６７において、トラッキング部１２１は、上述した図１３のステップＳ９１の処理と同様に、顔画像におけるドライバの顔をトラッキングする。また、トラッキング部１２１は、トラッキングを行うことにより検出されたドライバの目の高さを示すデータを状態検出部７２３に供給する。

その後、処理はステップＳ３６５に戻り、ステップＳ３６５において、ドライバの目の高さが基準高さの所定の割合の範囲を超えていると判定されるか、ステップＳ３６６において、ドライバの目の高さが基準高さの所定の割合の範囲内である状態が、所定の時間継続したと判定されるまで、ステップＳ３６５乃至Ｓ３６７の処理が繰り返し実行される。

ステップＳ３６６において、ドライバの目の高さが基準高さの所定の割合の範囲内である状態が、所定の時間継続したと判定された場合、すなわち、基準高さの所定の割合の範囲内までドライバが目を細めている状態が所定の時間継続した場合、処理はステップＳ３６８に進む。

ステップＳ３６８において、状態検出部７２３は、ドライバにとって眩しい状態に遷移したと判定し、眩しさ検出処理は終了する。具体的には、状態検出部７２３は、ドライバの目の周辺の画像の輝度値の平均値が、所定の閾値以上高い方向に変化し、ドライバの目の高さが基準高さの所定の割合の範囲内である状態が、所定の時間継続したことをもって、眩しさを避けるためにドライバが目を細めており、ドライバにとって眩しくない状態から眩しい状態に遷移したと判定する。状態検出部７２３は、ドライバにとって眩しい状態に遷移したことを示す情報を表示制御部１１４および車両制御部１１５に供給する。

ステップＳ３６５において、ドライバの目の高さが基準高さの所定の割合の範囲を超えていると判定された場合、ドライバにとって眩しい状態に遷移したとは判定されずに、眩しさ検出処理は終了する。

ステップＳ３６４において、ドライバの目の周辺の画像の輝度値の平均値が、所定の閾値以上高い方向に変化していないと判定された場合、すなわち、ドライバの目の周辺の輝度が所定の値以上明るく変化していない場合、ドライバにとって眩しい状態に遷移したとは判定されずに、眩しさ検出処理は終了する。

ステップＳ３６３において、直前の眩しさ検出処理において、ドライバにとって眩しい状態であったと判定された場合、処理はステップＳ３６９に進む。

ステップＳ３６９において、ステップＳ３６５の処理と同様に、ドライバの目の高さが基準高さの所定の割合の範囲内であるかが判定される。ドライバの目の高さが基準高さの所定の割合の範囲を超えていると判定された場合、すなわち、基準高さの所定の割合の範囲内までドライバが目を細めていない場合、処理はステップＳ３７０に進む。

ステップＳ３７０において、状態検出部７２３は、ドライバの目の周辺の画像の輝度値の平均値が、所定の閾値以下であるかを判定する。ドライバの目の周辺の画像の輝度値の平均値が、所定の閾値以下であると判定した場合、すなわち、ドライバの目の周辺の輝度が所定の輝度より暗い場合、処理はステップＳ３７１に進む。

ステップＳ３７１において、状態検出部７２３は、ドライバにとって眩しくない状態に遷移したと判定し、眩しさ検出処理は終了する。具体的には、状態検出部７２３は、ドライバの目の高さが基準高さの所定の割合の範囲を超えており、かつ、ドライバの目の周辺の輝度が所定の輝度より暗いことをもって、ドライバにとって眩しい状態から眩しくない状態に遷移したと判定する。状態検出部７２３は、ドライバにとって眩しくない状態に遷移したことを示す情報を表示制御部１１４および車両制御部１１５に供給する。

ステップＳ３７０において、ドライバの目の周辺の画像の輝度値の平均値が、所定の閾値より大きいと判定された場合、すなわち、基準高さの所定の割合の範囲内までドライバが目を細めていないが、ドライバの目の周辺の輝度が所定の輝度より明るい場合、ステップＳ３７１の処理はスキップされ、ドライバにとって眩しくない状態に遷移したとは判定されずに、眩しさ検出処理は終了する。

ステップＳ３６９において、ドライバの目の高さが基準高さの所定の割合の範囲内であると判定された場合、すなわち、基準高さの所定の割合の範囲内までドライバが目を細めている状態が継続している場合、ステップＳ３７０およびＳ３７１の処理はスキップされ、ドライバにとって眩しくない状態に遷移したとは判定されずに、眩しさ検出処理は終了する。

以上のようにして、ドライバの顔画像のみを用いて、光源の種類の違いに関わらず、ドライバにとって眩しい状態を正確に検出することができる。また、ドライバの目の高さおよびドライバの目の周囲の輝度を検出条件に加えることにより、周囲の明るさやドライバの顔の輝度のみに基づく場合と比較して、ドライバにとって眩しい状態をより正確に検出することができる。また、基準高さをドライバごとに検出することにより、個々のドライバに応じた眩しい状態を検出することができる。

なお、ドライバの顔の輝度を考慮せずに、ドライバの目の高さのみに基づいて、ドライバにとって眩しい状態を検出するようにすることも可能である。

なお、以上の説明では、カーナビゲーション装置１０２に前方画像を表示させたり、カーナビゲーション装置の表示の設定を調整する例を示したが、カーナビゲーション装置１０２以外の車両に設けられている表示装置に前方画像を表示させたり、表示装置の表示の設定を調整するようにしてもよい。

また、前方監視カメラ１１２に広角レンズを用いたり、前方監視カメラ１１２を複数台設けることにより、より広い範囲の前方画像から視界画像を抽出することが可能となり、より正確にドライバにとって眩しい状態を検出することができる。

さらに、ドアミラー、ルームミラーなどのミラーにより反射された光がドライバの顔に照射され、眩しさに影響を与えることを考慮して、車両の後方を撮像する後方監視カメラを設けて、ミラーによりドライバの視界に入る範囲の画像を後方監視カメラにより撮像された画像から抽出する。そして、前方画像において、実際にはドライバにはミラーが見えている領域を、抽出した画像に置き換えた後、視界画像を抽出するようにしてもよい。これにより、ミラーの影響を考慮して、ドライバにとって眩しい状態を検出することができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２７は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ９００の構成の例を示すブロック図である。CPU（Central Processing Unit）９０１は、ROM（Read Only Memory）９０２、または記録部９０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）９０３には、CPU９０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU９０１、ROM９０２、およびRAM９０３は、バス９０４により相互に接続されている。

CPU９０１にはまた、バス９０４を介して入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。CPU９０１は、入力部９０６から入力される指令に対応して各種の処理を実行する。そして、CPU９０１は、処理の結果を出力部９０７に出力する。

入出力インタフェース９０５に接続されている記録部９０８は、例えばハードディスクからなり、CPU９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部９０９を介してプログラムを取得し、記録部９０８に記憶してもよい。

入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部９０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２７に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９１１、または、プログラムが一時的もしくは永続的に格納されるROM９０２や、記録部９０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部９０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した監視システムの一実施の形態を示すブロック図である。 図１の室内監視カメラおよび前方監視カメラの設置位置の例を模式的に示す図である。 図１の室内監視カメラおよび前方監視カメラの機能的構成を示すブロック図である。 対数変換型撮像素子などの感度特性を示すグラフである。 図１の検出方法選択部の機能的構成を示すブロック図である。 図１の太陽光眩しさ検出部の機能的構成を示すブロック図である。 図１の照明光眩しさ検出部の機能的構成を示すブロック図である。 図１の監視システムにより実行される車載装置制御処理を説明するためのフローチャートである。 図８のステップＳ３の眩しさ検出処理の詳細を説明するためのフローチャートである。 昼間に撮像した前方画像および輝度値の分布の例を示す図である。 夜間に撮像した前方画像および輝度値の分布の例を示す図である。 図８のステップＳ３の眩しさ検出処理の第２の実施の形態を説明するためのフローチャートである。 図９のステップＳ３５および図１２のステップＳ６６の太陽光眩しさ検出処理の詳細を説明するためのフローチャートである。 輝度の平均値を検出する領域の例を示す図である。 図９のステップＳ３７および図１２のステップＳ６８の照明光眩しさ検出処理の詳細を説明するためのフローチャートである。 図８のステップＳ５の眩しい状態検出時の処理の詳細を説明するためのフローチャートである。 図８のステップＳ７の眩しい状態終了時の処理の詳細を説明するためのフローチャートである。 図１の照明光眩しさ検出部の第２の実施の形態の構成を示すブロック図である。 図９のステップＳ３７および図１２のステップＳ６８の照明光眩しさ検出処理の第２の実施の形態を説明するためのフローチャートである。 図１９のステップＳ２０１の光源検出処理の詳細を説明するためのフローチャートである。 夜間に撮像した前方画像および輝度値の分布の例を示す図である。 本発明を適用した監視システムの第２の実施の形態を示すブロック図である。 目の高さを検出する位置の例を示す図である。 図２２の監視システムにより実行される実行される車載装置制御処理を説明するためのフローチャートである。 図２４のステップＳ３０２の基準高さ検出処理の詳細を説明するためのフローチャートである。 図２４のステップＳ３０３の眩しさ検出処理の詳細を説明するためのフローチャートである。 パーソナルコンピュータの構成の例を示すブロック図である。

符号の説明

１０１ 監視システム
１０２ カーナビゲーション装置
１０３ ヘッドアップディスプレイ
１０４ 前方監視装置
１０５ プリクラッシュセーフティシステム
１０６ 動力制御部
１１１ 室内監視カメラ
１１２ 前方監視カメラ
１１３ 眩しさ検出部
１１４ 表示制御部
１１５ 車両制御部
１２１ トラッキング部
１２２ 視線方向検出部
１２３ 検出方法選択部
１２４ 太陽光眩しさ検出部
１２５ 照明光眩しさ検出部
２０２ 対数変換型撮像素子
３０１ 統計部
３０２ 選択部
３２１ 統計部
３２２ 状態検出部
３４１ 視界画像抽出部
３４２ 統計部
３４３ 感度推定部
３４４ 閾値設定部
３４５ 状態検出部
５０１ 光源検出部
５０２ 判定値算出部
５０３ 状態検出部
５１１ 輝度変化検出部
５１２ 領域検出部
７０１ 監視システム
７１１ 眩しさ検出部
７２１ 統計部
７２２ 基準高さ検出部
７２３ 状態検出部

Claims (17)

1. ドライバの視線の向きに基づいて、前記ドライバの視野の中心を中心とする所定の範囲の領域が写っている画像である視界画像を抽出する視界画像抽出手段と、
   前記視界画像の輝度に基づいて、前記ドライバの目に強い光が照射されているか否かを検出する第１の状態検出手段と
   を含む監視装置。
2. 前記第１の状態検出手段は、前記視界画像において、輝度が所定の閾値以上である画素が占める割合に基づいて、前記ドライバの目に強い光が照射されているか否かを検出する
   請求項１に記載の監視装置。
3. 所定の時間前から現在までの前記視界画像の輝度に基づいて、前記ドライバの目の感度を推定する感度推定手段と、
   推定された前記ドライバの感度に基づいて、前記閾値を設定する閾値設定手段と
   をさらに含む請求項２に記載の監視装置。
4. 前記ドライバが運転する車両の前方を撮像した画像である前方画像において、輝度が大きく変化する位置である変化位置を検出する位置検出手段と、
   前記変化位置および前記前方画像の端部により区分される領域のうち、隣接する領域と比較して輝度が高い領域に含まれる画素により構成される領域を、光源領域として検出する領域検出手段と
   をさらに含み、
   前記視界画像抽出手段は、前記前方画像から前記視界画像を抽出し、
   前記第１の状態検出手段は、前記視界画像の各画素のうち、前記光源領域に含まれる画素の輝度に基づいて、前記ドライバの目に強い光が照射されているか否かを検出する
   請求項１に記載の監視装置。
5. 前記位置検出手段は、前記前方画像の水平方向の行および垂直方向の列ごとに、隣接する画素間の輝度の変化が所定の大きさ以上となる位置を前記変化位置として検出する
   請求項４に記載の監視装置。
6. 前記ドライバの顔を撮像した画像である顔画像における前記ドライバの目の周辺の領域の輝度に基づいて、前記ドライバの目に強い光が照射されているか否かを検出する第２の状態検出手段と、
   前記ドライバが運転する車両の前方を撮像した画像である前方画像の輝度に基づいて、前記第１の状態検出手段および前記第２の状態検出手段のうちどちらを用いて前記ドライバの目に強い光が照射されているか否かを検出するかを選択する選択手段と
   をさらに含む請求項１に記載の監視装置。
7. 前記ドライバの顔を撮像した画像である顔画像に基づいて、前記ドライバの視線の向きを検出する視線方向検出手段を
   さらに含む請求項１に記載の監視装置。
8. 前記ドライバの目に強い光が照射されている状態が検出された場合、前記ドライバの視界の悪化に対応した動作を行うように前記車両に設けられている車載装置を制御する車載装置制御手段を
   さらに含む請求項１に記載の監視装置。
9. 前記車載装置制御手段は、前記ドライバが運転する車両の前方を撮像した画像である前方画像を表示させるように前記車載装置としての表示装置を制御する
   請求項８に記載の監視装置。
10. 前記車載装置制御手段は、画面の輝度を上げるように前記車載装置としての表示装置を制御する
    請求項８に記載の監視装置。
11. 前記車載装置制御手段は、画像を表示する位置を変更するように前記車載装置としてのヘッドアップディスプレイを制御する
    請求項８に記載の監視装置。
12. 前記車載装置制御手段は、前記車両の前方を監視する距離を延長するように、前記車両の前方を監視する前記車載装置である前方監視装置を制御する
    請求項８に記載の監視装置。
13. 前記車載装置制御手段は、事故を事前に回避したり、衝突による被害を軽減させる動作を行う前記車載装置であるプリクラッシュセーフティシステムが起動するタイミングを早めるように前記プリクラッシュセーフティシステムを制御する
    請求項８に記載の監視装置。
14. 前記車載装置制御手段は、前記車両の加速を抑制するように、前記車両のエンジンの動作を制御する前記車載装置である動力制御装置を制御する
    請求項８に記載の監視装置。
15. ドライバの視線の向きに基づいて、前記ドライバの視野の中心を中心とする所定の範囲の領域が写っている画像である視界画像を抽出する視界画像抽出ステップと、
    前記視界画像の輝度に基づいて、前記ドライバの目に強い光が照射されているか否かを検出する状態検出ステップと
    を含む監視方法。
16. ドライバの視線の向きに基づいて、前記ドライバの視野の中心を中心とする所定の範囲の領域が写っている画像である視界画像を抽出する視界画像抽出ステップと、
    前記視界画像の輝度に基づいて、前記ドライバの目に強い光が照射されているか否かを検出する状態検出ステップと
    を含む処理をコンピュータに実行させるプログラム。
17. 請求項１６に記載のプログラムを記録した記録媒体。

Images