JP2001229499A - 眼の状態検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 明暗判定を正確に行い、正確な居眠り判定等
を可能とする。 【解決手段】顔を撮像して顔画像データを出力する画像
出力手段ＣＬ１と、画像出力手段ＣＬ１から出力された
顔画像データを処理して眼の位置を検出する眼の位置検
出手段ＣＬ２と、検出された眼の位置を基準に眼の開度
を検出する眼の開度検出手段ＣＬ３と、撮像を周囲の明
暗環境が所定以上暗くなったとき行うために照明する照
明手段とＣＬ４、顔画像データの濃度情報により明暗環
境の明暗判定を行う明暗判定手段ＣＬ５と、明暗判定に
応じて照明手段ＣＬ４を制御する照明制御手段ＣＬ６と
を設けたことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両の運転者、船
舶の操船者、プラント等のオペレータ等の居眠り状態を
検出し警報することなどに供する眼の状態検出装置に関
する。

【０００２】

【従来の技術】従来の画像処理によるこの種の装置に
は、例えば特開平６−３２１５４号に記載されたような
ものがある。これは夜間照明に赤外線照明を用いること
により、運転者に煩わしさを与えることなく昼夜を問わ
ず眼の位置検出、開度検出ができるようにしたものであ
る。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の装置では、昼夜を問わず常に赤外線照明を使用して
いるため、次のような問題があった。

【０００４】即ち、昼間直射日光が眼の付近に当たり運
転者が眩しさを感じる状態と、夜間に赤外線照明を使用
しているときの眼の付近の状態が近似し、このままでは
昼間、直射日光により運転者が眩しさを感じる状態であ
ることを特定することが困難となる。このためさらに性
能の良いカメラを使用するなどして運転者が眩しさによ
り眼を細める状態か否かを確実に判定するようにしなけ
ればならず、装置が高価になると言う問題があった。

【０００５】この対策として、赤外線照明を前照灯など
のＯＮ、ＯＦＦ信号に連動させ、あるいは周囲の明暗環
境をセンサによって検出して昼間は赤外線照明を消すよ
うにし、昼間の直射日光による眩しさ状態を確実に判定
する構成とすることも考えられる。しかし、前照灯スイ
ッチのＯＮ、ＯＦＦは、運転者の操作によるものである
ため、周囲の明暗環境が暗くなったと感じて前照灯をＯ
Ｎにするタイミングが運転者毎に異なったり、トンネル
内では前照灯をＯＮしない運転者がいたり、トンネル通
過後でも前照灯のＯＦＦを忘れる運転者がいたりするた
め、前記判定の精度が運転者毎にまちまちとなる恐れが
ある。また、明暗環境をセンサによって検出する場合
は、特別にセンサを設けなければならないと言う問題が
ある。

【０００６】この発明は、周囲の明暗環境が暗いときは
顔を撮像するために照明手段を用いながら、特別なセン
サを必要とすることなく周囲の明暗環境の正確な明暗判
定により精度良く照明制御を行わせ、安価で精度良い検
出を可能とする眼の状態検出装置の提供を課題とする。

【０００７】

【課題を解決するための手段】請求項１の発明は、顔を
撮像して顔画像データを出力する画像出力手段と、該画
像出力手段から出力された顔画像データを処理して眼の
位置を検出する眼の位置検出手段と、前記検出された眼
の位置を基準に眼の開度を検出する眼の開度検出手段
と、周囲の明暗環境が所定以上暗くなったとき前記撮像
を行うために照明する照明手段と、前記顔画像データの
濃度情報により前記明暗環境の明暗判定を行う明暗判定
手段と、前記明暗判定に応じて前記照明手段を制御する
照明制御手段とを設けたことを特徴とする。

【０００８】請求項２の発明は、請求項１記載の眼の状
態検出装置であって、前記明暗判定手段は、前記顔画像
データの少なくとも一部の濃度値が設定値を上回るか下
回るかにより明暗判定を行い、前記照明制御手段は、前
記濃度値が設定値を下回るとの判定により前記照明手段
をＯＮとし、同上回るとの判定により同ＯＦＦとするこ
とを特徴とする。

【０００９】請求項３の発明は、請求項２記載の眼の状
態検出装置であって、前記照明制御手段は、前記照明手
段のＯＮ状態から一時的にＯＦＦとする制御を予め設定
された時間間隔で行い、前記明暗判定手段は、前記Ｏ
Ｎ、ＯＦＦ制御によるＯＮ時とＯＦＦ時との濃度値の差
が設定濃度差を上回るか下回るかにより明暗判定を行
い、前記照明制御手段は、前記濃度値の差が設定濃度差
を下回るとの判定により前記照明手段をＯＦＦとするこ
とを特徴とする。

【００１０】請求項４の発明は、請求項３記載の眼の状
態検出装置であって、前記明暗判定手段は、前記濃度値
が設定値を上回っている状態から同下回る状態に変化し
たか否かを検出することにより該濃度値が時系列的に徐
々に低くなったか否かを判定し、前記照明制御手段は、
前記徐々に低くなったとの判定により前記時間間隔を長
く設定し、同否と判定されたとき同短く設定することを
特徴とする。

【００１１】請求項５の発明は、請求項４記載の眼の状
態検出装置であって、前記照明制御手段は、前記時間間
隔を短く設定するとき最初に最短時間間隔を設定し該最
短時間間隔から時間間隔を漸時延ばすことを特徴とす
る。

【００１２】請求項６の発明は、請求項２記載の眼の状
態検出装置であって、前記明暗判定手段は、前記顔画像
データの処理による眼の濃度データ検出が行われている
か否かを判定し、前記照明制御手段は、前記濃度値が設
定値を下回ると共に前記眼の濃度データ検出が行われて
いないとの判定により前記照明手段をＯＮとし、同上回
ると共に眼の濃度データ検出が行われているとの判定に
より同ＯＦＦとすることを特徴とする。

【００１３】請求項７の発明は、請求項６記載の眼の状
態検出装置であって、前記照明制御手段は、前記明暗判
定手段により前記濃度値が設定値を下回っている状態か
ら同上回るか否かを判定するとき、前記照明手段のＯＮ
状態から一時的にＯＦＦとする制御を設定した時間間隔
で行わせ、前記明暗判定手段は、前記ＯＮ、ＯＦＦ制御
によるＯＮ時とＯＦＦ時との濃度値の差が設定濃度差を
上回るか下回るかにより明暗判定を行い、前記照明制御
手段は、前記濃度値の差が設定濃度差を下回ると共に眼
の濃度データ検出が行われているとの判定により前記照
明手段をＯＦＦとすることを特徴とする。

【００１４】請求項８の発明は、請求項２〜７の何れか
に記載の眼の状態検出装置であって、前記明暗判定手段
は、前記照明制御手段により前記濃度値が設定値を下回
るとの判定で前記照明手段をＯＮとしたとき、前記顔画
像データの処理による眼の濃度データ検出が行われてい
るか否かを判定し、前記照明制御手段は、前記ＯＮとし
たとき眼の濃度データ検出が行われていないとの判定が
ある場合、前記眼の濃度データ検出が行われているとの
判定に変わることにより前記照明手段をＯＦＦとするこ
とを特徴とする。

【００１５】請求項９の発明は、請求項１〜８の何れか
に記載の眼の状態検出装置であって、前記明暗判定手段
は、前記明暗判定を行う濃度情報を前記顔画像データの
画面上下中央部より下の横方向に並ぶデータの何れかの
濃度値としたことを特徴とする。

【００１６】請求項１０の発明は、請求項９の何れかに
記載の眼の状態検出装置であって、前記明暗判定手段
は、前記濃度情報を最も高い濃度値としたことを特徴と
する。

【００１７】

【発明の効果】請求項１の発明では、明暗判定手段によ
り顔画像データの濃度情報を利用して周囲の明暗環境の
明暗判定を行うようにしたので、新たにセンサ等を追加
することなく、周囲の明暗環境の明暗判定を確実に行う
ことができる。そして、この明暗判定手段による明暗判
定に応じて、照明制御手段によって照明手段を制御する
ようにしたので、周囲の明暗環境が所定以上暗くなった
ときは照明手段の照明によって撮像を行い、周囲の明暗
環境が明るくなったときは照明手段による照明をＯＦＦ
にすることができる。従って、昼夜の人間の生活リズム
を考えて居眠り状態を検出するゲインを昼夜で変更した
り、可視光下と近赤外光下との画像データの違いによる
画像処理方法を変更することにより正確な検出が可能と
なる。また顔画像データの濃度情報を利用するから安価
な装置にすることができる。

【００１８】請求項２の発明では、請求項１の発明の効
果に加え、明暗判定手段は顔画像データの少なくとも一
部の濃度値が設定値を上回るか下回るかにより明暗判定
を行うため、より正確な判定により照明手段をＯＮ、Ｏ
ＦＦ制御することができる。

【００１９】請求項３の発明では、請求項２の発明の効
果に加え、周囲の明暗環境の変化によって、照明手段を
ＯＮ状態からＯＦＦ状態へ変えるとき、照明制御手段に
よって照明手段のＯＮ状態から一時的にＯＦＦとする制
御を設定した時間間隔で行わせ、明暗判定手段が、前記
ＯＮ、ＯＦＦ制御によるＯＮ時とＯＦＦ時の濃度値の差
が設定濃度差を上回るか、下回るかにより明暗判定を行
うから、周囲の明暗環境が所定以上暗くなり濃度値が設
定値を下回った状態で照明手段がＯＮとなっていると
き、設定した時間間隔で正確な明暗判定を行うことがで
きる。そして、かかる正確な明暗判定によって濃度値の
差が設定濃度差を下回るとの判定により、照明手段をＯ
ＦＦにすることができ、照明手段の正確なＯＮ、ＯＦＦ
制御を行うことができる。

【００２０】請求項４の発明では、請求項３の発明の効
果に加え、明暗判定手段は濃度値が設定値を上回ってい
る状態から同下回るか否かを判定するときは、濃度値が
時系列的に徐々に低くなったか否かを判定し、照明制御
手段は、前記徐々に低くなったとの判定により照明手段
のＯＮ状態から一時的にＯＦＦとする制御を行う時間間
隔を長く設定し、同否と判定されたとき、同短く設定す
ることができる。従って、昼から夜になったのか、ある
いはトンネルの中に入ったのかなどを区別することがで
きる。このため照明手段を一時的にＯＦＦとして明暗判
定を行う時間間隔を的確に設定することができ、周囲の
明暗環境が明るくなって照明手段をＯＮ状態からＯＦＦ
とするとき、確実に制御することができる。

【００２１】請求項５の発明では、請求項４の発明の効
果に加え、照明手段のＯＮ状態から一時的にＯＦＦとす
る制御を設定した時間間隔で行い、この時間間隔を短く
設定するとき、最初に最短時間間隔を設定し、該最短時
間間隔から時間間隔を漸時延ばすことによって、例えば
長いトンネルの中に入ったのか、高架橋の下を通過して
いるのかなどを区別することができ、より正確に制御を
行うことができる。

【００２２】請求項６の発明では、請求項２の発明の効
果に加え、顔画像データの濃度値の判定に加え、眼の濃
度データ検出が行われているか否かを判定し、照明手段
をＯＮ、ＯＦＦ制御するので、周囲の明暗環境状態に正
確に応じて照明手段の制御を行うことができる。このた
め明暗環境状態のバラツキやカメラなど画像出力手段の
個々の違いを許容することができ、汎用性の高い装置を
得ることができる。

【００２３】請求項７の発明では、請求項６の発明の効
果に加え、周囲の明暗環境が明るくなって照明手段をＯ
Ｎ状態からＯＦＦとする際に、照明手段のＯＮ状態から
一時的にＯＦＦとする制御を設定した時間間隔で行わ
せ、ＯＮ、ＯＦＦ制御によるＯＮ時とＯＦＦ時の濃度値
の差が設定濃度差を上回るか、下回るかにより正確な明
暗判定を行い、かかる濃度値を用いた正確な明暗判定に
加えて、眼の濃度データ検出が行われているか否かを判
定し、照明手段をＯＦＦとするかどうかを制御するの
で、周囲の明暗環境に応じた照明手段の制御を行うこと
ができる。このため明暗環境のバラツキやカメラなど画
像出力手段の個々の違いを許容することができ、汎用性
の高い装置を得ることができる。

【００２４】請求項８の発明では、請求項２〜７の何れ
かの発明の効果に加え、明暗判定手段によって周囲の明
暗環境が所定以上暗くなったとの判定で照明手段をＯＮ
したときは、顔画像データの処理による眼のデータ検出
が行われているか否かを判定するので、照明手段をＯＮ
としたとき眼の濃度データ検出が行われていないとの判
定がある場合、眼のデータ検出が行われているとの判定
に変わることにより照明手段をＯＦＦとすることができ
る。従って、ハレーションなどによって光環境が特に劣
悪な状態となっても、常に安定した明暗判定により安定
した制御を行うことができる。

【００２５】請求項９の発明では、請求項１〜８の何れ
かの発明の効果に加え、明暗判定を行う濃度情報を顔画
像データの画面上下中央部より下の横方向に並ぶデータ
の何れかのデータ値としたため、顔の部分で自然光が当
たりやすい部分の濃度値を用いることができ、自然光の
変化を的確に捉え、より正確な制御を行うことができ
る。

【００２６】請求項１０の発明では、請求項９の発明の
効果に加え、濃度情報を最も高い濃度値としたため、自
然光による光環境状態をより的確に捉え、より正確な制
御を行うことができる。

【００２７】

【発明の実施の形態】本装置は、自動車の他に鉄道車
両、船舶、プラントのオペレータの居眠り運転警報等と
して用いることができるが、本実施例では自動車に適用
した場合で説明する。 （第１実施形態）図１は、本発明を適用した眼の状態検
出装置の構成ブロック図にかかり、該装置は、画像出力
手段ＣＬ１と、眼の位置検出手段ＣＬ２と、眼の開度検
出手段ＣＬ３と、照明手段ＣＬ４と、明暗判定手段ＣＬ
５と、照明制御手段ＣＬ６とを備えている。

【００２８】前記画像出力手段ＣＬ１は、運転者の顔を
撮像して顔画像データを出力する。前記眼の位置検出手
段ＣＬ２は、前記画像出力手段ＣＬ１から出力された顔
画像データを処理して眼の位置を検出する。前記眼の開
度検出手段ＣＬ３は、検出された眼の位置を基準に眼の
開度を検出する。前記照明手段ＣＬ４は、周囲の明暗環
境が所定以上暗くなったときに前記撮像を行うために照
明する。前記明暗判定手段ＣＬ５は、前記顔画像データ
の濃度情報により明暗環境の明暗判定を行う。前記照明
制御手段ＣＬ６は、前記明暗判定に応じて前記照明手段
ＣＬ４を制御する。

【００２９】図２は、本発明の第１実施形態にかかる構
成ブロック図である。同図のように、ＴＶカメラ１が自
動車のインストルメントに設置され、運転者の顔部分を
正面から撮影する。ＴＶカメラ１の入力画像は、本実施
形態では、例えば横方向（Ｘ）５１２画素、縦方向
（Ｙ）４８０画素からなる。

【００３０】前記ＴＶカメラ１で撮像された入力画像
は、Ａ−Ｄ変換器２を介して、デジタル量の入力画像デ
ータとして画像メモリ３に格納される。画像メモリ３の
出力は、画像データ演算回路４に入力される。

【００３１】前記画像データ演算回路４は、前記入力さ
れた画像データに基づいて顔の縦方向の画素列の濃度を
検出し、画素列における濃度の高まりとその変化状態に
よりポイントを抽出し（抽出点）、隣接する画素列の近
接したポイントを連続して顔の横方向への連続データを
抽出し、顔画像データとして出力する。

【００３２】従って、ＴＶカメラ１、Ａ−Ｄ変換器２、
画像メモリ３、画像データ演算回路４は、本実施形態に
おいて前記画像出力手段ＣＬ１を構成している。

【００３３】前記画像データ演算回路４の出力は、眼の
位置検出回路５に入力される。この眼の位置検出回路５
は、前記眼の位置検出手段ＣＬ２を構成するもので、前
記顔画像データから顔の複数の特徴量としての連続デー
タを抽出し、その座標を求める。また前記連続データか
ら眼のテンプレートを用いることなどによって眼の選択
を行うことで眼の位置を検出し、該眼の位置からその代
表座標を用いることにより眼の位置を含む追跡領域を左
右の眼に対してそれぞれ１個づつ決定する。該追跡領域
は、前記眼の移動に応じて該眼を追跡し、この眼を追跡
する各追跡領域内において縦方向への濃度の高まりとそ
の変化状態からポイントを抽出し、隣接する画素列の近
接したポイントを連続して顔の横方向への連続データを
抽出し、左右の眼の詳細位置を検出する。

【００３４】前記眼の位置検出回路５の出力は、眼の開
度検出回路６に入力される。前記眼の開度検出回路６
は、眼の開度検出手段ＣＬ３を構成するもので、前記追
跡領域内の眼の位置の連続データの濃度変化状態から眼
の開度を検出する。

【００３５】そして図示はしないが、眼の開度検出回路
６によって検出された眼の開度データを用いて眼の状態
を判定し、乗員の居眠り運転など判断し、居眠り運転等
が行われているときにはブザー等によって警告を行うよ
うにしている。

【００３６】一方、前記明暗判定回路７は、前記明暗判
定手段ＣＬ５を構成し、前記画像データ演算回路４から
顔画像データを入力し、その濃度情報により明暗環境の
明暗判定を行っている。そして、前記明暗判定に応じて
照明制御手段ＣＬ６としての赤外光照明制御回路８は、
照明手段ＣＬ４としての赤外光照明９を制御する。すな
わち、明暗判定回路７は顔画像データの少なくとも一部
の濃度値が設定値を上回るか、下回るかにより明暗判定
を行い、赤外光照明制御回路８は濃度値が設定値を下回
るとの判定により赤外光照明９をＯＮとし、同上回ると
の判定により同ＯＦＦとする。

【００３７】さらに、赤外光照明制御回路８は、明暗判
定回路７により、前記濃度値が設定値を下回っている状
態から同上回るか否かを判定するとき、前記赤外光照明
９のＯＮ状態から一時的にＯＦＦとする制御を設定した
時間間隔で行わせ、明暗判定回路７はＯＮ、ＯＦＦ制御
によるＯＮ時とＯＦＦ時との濃度値の差が設定濃度差を
上回るか、下回るかにより明暗判定を行い、赤外光照明
制御回路８は濃度値の差が設定濃度差を下回るとの判定
により赤外光照明９をＯＦＦとする。

【００３８】かかる制御によって、昼夜の正確な判定を
行うことができ、昼間は赤外光照明９をＯＦＦとし、夜
間は赤外光照明９をＯＮとして、ＴＶカメラ１による顔
の撮像を行わせることができる。

【００３９】ここで、前記明暗判定回路７によって明暗
判定を行う濃度情報を説明する。図３は前記画像データ
演算回路４から出力された顔画像データであり、この顔
画像データの中で、画面上下中央部より下の横方向に並
ぶデータ１１のいずれかの濃度値とし、本実施形態にお
いてはこのうち最も高い（明るい）濃度値を明暗判定を
行う濃度情報としている。この顔画像データの画面上下
中央部より下の部分は、自動車の運転者の場合、自然光
が当たりやすい部分であり、自然光の変化を的確に捉え
ることができる。又、最も高い（明るい）濃度値を前記
判定の濃度情報とすることによって、自然光による光環
境状態を的確に捉えることができる。このため、かかる
濃度情報によって以下の制御を正確に行うことができ
る。なお、前記判定の濃度情報としては、顔画像データ
の全体の濃度値の平均などを用いることも可能である。

【００４０】次に、図４，図５のフローチャートを用い
てさらに説明する。

【００４１】まず、図４において、ステップＳ４０１
は、前記画像出力手段ＣＬ１として機能し、前記ＴＶカ
メラ１によって運転者の顔を撮影し、前記のようにして
顔画像データとして出力する。

【００４２】ステップＳ４０２では、眼の位置検出がな
されたかの判断を行い、眼の位置が検出できていない場
合に限って、ステップＳ４０３で眼の位置検出を行う。
ステップＳ４０３は、前記眼の位置検出手段ＣＬ２とし
て機能し、前記のように眼の位置を検出して出力し、ス
テップＳ４０４へ移行する。ステップＳ４０４は、前記
眼の開度検出手段ＣＬ３として機能し、前記のように眼
の開度を検出して出力し、ステップＳ４０５へ移行す
る。

【００４３】ステップＳ４０５以降、Ｓ４０５、Ｓ４０
８、Ｓ４１２、Ｓ４１５は、前記明暗判定手段ＣＬ５と
して機能し、その他のステップＳ４０７，Ｓ４０９など
は、照明制御手段ＣＬ６として機能する。

【００４４】ステップＳ４０５では、顔画像データの現
在検出されている濃度値を、後述する明暗判定に使用す
るためにNOUDO_Nに代入する。ステップＳ４０６では、
赤外光照明９がＯＮ（点灯）しているか否かの判断が行
われ、ＯＮ（点灯）している場合は図５のステップＳ５
０１に移行する。図５の説明は後述する。ＯＦＦ（消
灯）の場合は、ステップＳ４０７に移行し、照明制御フ
ラグがＯＮか否かを判断する。この照明制御フラグは、
初期値がＯＦＦであり、夜間等に明暗判定のため前記赤
外光照明９が前記赤外光照明制御回路８によってＯＦＦ
（消灯）された場合にＯＮとなる。

【００４５】ステップＳ４０７において、前記照明制御
フラグがＯＦＦであれば、初期状態でありステップＳ４
０８へ移行する。ステップＳ４０８では、前記明暗判定
の検出濃度値NOUDO_Nが前記赤外光照明９をＯＮ（点
灯）とする基準となる設定値を上回るか、下回るかの判
断が行われる。ステップＳ４０８において濃度値NOUDO_
Nが設定値を下回ると判断されれば、周囲の明暗環境が
夜間などと判断できるため、ステップＳ４０９で赤外光
照明９をＯＮ（点灯）とする。ステップＳ４１０では、
タイマーカウンタをスタートさせ、後述する赤外光照明
９のＯＮ（点灯）状態から一時的にＯＦＦとする制御の
時間間隔を設定する。ステップＳ４０８において濃度値
NOUDO_Nが設定値を上回ると判断されれば、周囲の明暗
環境が昼間などと判断できるため、ステップＳ４０９、
ステップＳ４１０を飛ばしてステップＳ４１５に移行す
る。

【００４６】ステップＳ４１５では、現在の濃度値NOUD
O_NをNOUDO_0に代入し、後述するステップＳ４１２にお
いて一つ前の検出濃度値として用いる。ステップＳ４１
５からはステップＳ４０１に戻り次のフレームの処理に
移る。

【００４７】前記ステップＳ４０７の判定において、夜
間等に明暗判定のため前記赤外光照明９が前記赤外光照
明制御回路８によってＯＦＦ（消灯）にされて照明制御
フラグがＯＮであれば、ステップＳ４１１で照明制御フ
ラグをＯＦＦにし、ステップＳ４１２で一つ前の検出濃
度値NOUDO_0と現在の検出濃度値NOUDO_Nとの差を取り、
設定濃度差に対して比較する。この濃度値の差（NOUDO_
０−NOUDO_N）と設定濃度差との比較は、夜間などに前
記赤外光照明９をＯＮ（点灯）させたとき、設定した時
間間隔での明暗判定をするため赤外光照明９を０ＦＦ
（消灯）にするか否かを決めるものである。従って、検
出濃度値NOUDO_0は、赤外光照明９がＯＮ（点灯）時の
ものとなり、検出濃度値NOUDO_Nは、同ＯＦＦ（消灯）
時のものとなっている。

【００４８】ステップＳ４１２で濃度値の差（NOUDO_０
−NOUDO_N）が設定濃度差を上回っていれば、前記赤外
光照明９のＯＮ、ＯＦＦ時の濃度値の差があり、赤外光
照明９をＯＦＦ（消灯）にしたとき濃度値の差の分だけ
暗いと言うことになり、まだ周囲の明暗環境が夜間など
のままであると判断できる。従って、一時的にＯＦＦ
（消灯）にした赤外光照明９をステップＳ４１３でＯＮ
（点灯）とする。ステップＳ４１４では、タイマーカウ
ントをスタートさせ、前記ステップＳ４１０と同様に、
後述する赤外光照明９のＯＮ（点灯）状態から再び一時
的にＯＦＦとする制御の時間間隔を設定する。

【００４９】ステップＳ４１２で濃度値の差（NOUDO_０
−NOUDO_N）が設定濃度差を下回っていれば、前記赤外
光照明９のＯＮ、ＯＦＦ時の濃度値の差が無く、赤外光
照明９をＯＦＦにしても明るいと言うことになり、周囲
の明暗環境が夜間から昼間へ移行したなどと判断でき
る。従って、ステップＳ４１２からステップＳ４１３、
ステップＳ４１４を飛ばすことにより一時的にＯＦＦ
（消灯）した赤外光照明９をＯＦＦ（消灯）のままと
し、ステップＳ４１５に移行する。

【００５０】一方、前記ステップＳ４０９での処理によ
りステップＳ４０６において赤外光照明９がＯＮ（点
灯）していると判断されたときは、図５のステップＳ５
０１に移行する。ステップＳ５０１では、タイマーカウ
ント数が所定値、即ち、前記ステップＳ４１０，Ｓ４１
４においてタイマーカウントをスタートさせて設定した
時間間隔に達しているか否かを判定する。設定した時間
間隔に達した場合は、ステップＳ５０２に移行して、赤
外光照明９をＯＦＦ（消灯）し、ステップＳ５０３でタ
イマーカウントをクリアし、ステップＳ５０４で照明制
御フラグをＯＮして、図４のステップＳ４１５に移行す
る。またステップＳ５０１でタイマーカウント数が設定
した時間間隔に達していない場合にはステップＳ５０
２、Ｓ５０３、Ｓ５０４を飛ばして図４のステップＳ４
１５に移行する。そして再びステップＳ４０１〜Ｓ４０
７を経てステップＳ４１１，Ｓ４１２と移行し、ステッ
プＳ４１２において明暗判定が行われる。

【００５１】即ち、本実施形態において、基本的には顔
画像データの少なくとも一部の濃度値が設定値を上回る
か、下回るかにより明暗判定を行なっているが、ステッ
プＳ４１２は、明暗環境の変化が夜から昼に変わるとき
などに、赤外光照明９のＯＮ状態から一時的にＯＦＦと
する制御を設定した時間間隔で行わせ、ＯＮ、ＯＦＦ制
御によるＯＮ時とＯＦＦ時との濃度値の差（NOUDO_０−
NOUDO_N）が設定濃度差を上回るか、下回るかにより明
暗判定を行っている。従って、かかる判定により昼、夜
などの明暗判定をより正確に行うことができ、赤外光照
明９の正確なＯＮ、ＯＦＦ制御を行うことができる。

【００５２】そして、全体として明暗判定回路７により
顔画像データの濃度情報を利用して周囲の明暗環境の明
暗判定を行うようにしたので、新たにセンサ等を追加す
ることなく、明暗環境の明暗判定を確実に行うことがで
きる。また、顔画像データの濃度情報を利用して判定を
行うから安価な装置にすることができる。

【００５３】さらに、明暗判定回路７による明暗判定に
応じて、赤外光照明制御回路８により赤外光照明９を制
御するので、周囲の明暗環境が所定以上暗くなったとき
は赤外光照明９の照明によって撮像を行い、周囲の明暗
環境が明るくなったときは照明をＯＦＦにすることがで
きる。このため、昼夜の人間の生活リズムを考えて居眠
り状態を検出するゲインを昼夜で変更したり、可視光下
と近赤外光下との画像データの違いによる画像処理方法
を変更することにより正確な検出が可能となる。

【００５４】即ち、一般的に、昼間と比較して夜間は睡
眠状態に陥りやすいので、前記のような精度の良い明暗
判定により、例えば夜間では居眠り検出精度を昼間より
も上げて検出精度を向上させることができる。また、昼
間の可視光下での画像と夜間の赤外光下の画像とでは、
同じ黒でも濃度階調が異なるので、前記のような精度の
良い明暗判定により、階調差の補正を行うことができる
ので検出精度を向上することができ、夜間の赤外光照明
９のＯＮ（点灯）状態と昼間の眩しさ状態とを区別する
ことができる。 （第２実施形態）図６〜図９は、本発明の第２実施形態
を示している。図６、図７は、顔画像データの濃度値の
時系列的な変化の程度に応じて赤外光照明９のＯＦＦ
（消灯）タイミングの切替えを説明するフローチャート
である。尚、基本的な処理は第１実施形態と同様であ
り、図６は図４に対応するため重複するステップは図４
での説明を参照し、また図５はそのまま踏襲する。図６
と図４との対応を示すと、図６のステップＳ６０１は図
４のステップＳ４０１に対応し、同様にＳ６０２とＳ４
０２、Ｓ６０３とＳ４０３、Ｓ６０４とＳ４０４、Ｓ６
０５とＳ４０５、Ｓ６０６とＳ４０６、Ｓ６０７とＳ４
０７、Ｓ６１３とＳ４０９、Ｓ６１４とＳ４１０、Ｓ６
１５とＳ４１１、Ｓ６１６とＳ４１２、Ｓ６１７とＳ４
１３、Ｓ６１８とＳ４１４、Ｓ６１９とＳ４１５がそれ
ぞれ対応している。図６のは、図５のへの移行を示
し図５のは、図６のへの移行を示している。

【００５５】本実施形態におけるブロック図は図２と同
様であるが、明暗判定手段ＣＬ５としての図２の明暗判
定回路７は、本実施形態において顔画像データの濃度値
が設定値を上回っている状態から同下回るか否かを判定
するときは、該濃度値が時系列的に徐々に低くなったか
否かを判定する。また図２の照明制御手段ＣＬ６として
の照明制御回路７は、本実施形態において濃度値が徐々
に低くなったとの判定により、前記赤外光照明９のＯＮ
状態から一時的にＯＦＦとする制御を行う時間間隔を長
く設定し、同否と判定されたとき同短く設定する。さら
に照明制御回路７は、前記時間間隔を短く設定するとき
最初に最短時間間隔を設定し該最短時間間隔から時間間
隔を漸時延ばすようにする。

【００５６】図６のステップＳ６０１〜Ｓ６０５を経て
ステップＳ６０６の判定により赤外光照明９がＯＮ（点
灯）となっている場合には、図５のステップ５０１に移
行する。図５の説明は既に行っているので省略する。

【００５７】ステップＳ６０６において赤外光照明９が
ＯＦＦ（消灯）と判断され、ステップＳ６０７を経てス
テップＳ６０８に移行すると、該ステップＳ６０８にお
いて検出濃度値NOUDO_Nが設定値を上回るか否かが判断
される。検出濃度値NOUDO_Nが設定値を上回るときは図
７のステップＳ７０１に移行し、後述する濃度値の時系
列的な変化を見る。ステップＳ６０８においてNOUDO_N
が設定値を下回るときは、周囲の明暗環境が夜間などと
判断できるため、ステップＳ６１３で照明をＯＮ（点
灯）とするためにステップＳ６０９側へ移行する。

【００５８】ステップＳ６０９では、空データフラグが
ＯＮか否かの判定が行われる。この判定に用いられる空
データフラグは、明暗判定用の検出濃度値の時系列変化
を見るための、Ｎ１からＮ５の濃度値が一つでも代入さ
れていない場合にＯＮになり、全てに濃度値が代入され
ている場合はＯＦＦになるフラグである。ステップＳ６
０９で空データフラグがＯＮと判定された場合は、ステ
ップＳ６１１でタイマーカウントのカウント数を最小値
に設定して、赤外光照明９がＯＮ（点灯）の時に一時的
にＯＦＦ（ＯＦＦ）とする時間間隔を最短時間間隔に設
定する。即ち、明暗判定用の濃度値が徐々に低くなった
ものではないと判定されたとき前記時間間隔を短く設定
している。

【００５９】ステップＳ６０９で空データフラグがＯＦ
Ｆと判定されたときはステップＳ６１０へ移行し、明暗
判定用濃度値の時系列濃度データ演算結果であるNOUDO_
Cが所定値を下回っているか上回っているかが判定され
る。ステップＳ６１０で明暗判定用濃度値の時系列濃度
データ演算結果であるNOUDO_Cが所定の値を下回り濃度
値が急に低くなって明暗環境がトンネル走行などによっ
て変化したものであると判定されているときは、ステッ
プＳ６２０へ移行する。

【００６０】ステップＳ６２０では、前記時間間隔を短
く設定する処理が初回か否かの判定が行われ、初回であ
れば，ステップＳ６１１へ移行し、前記同様に最短時間
間隔が設定される。ステップＳ６２０で初回でないと判
定されたときは、ステップＳ６２１へ移行し、前回カウ
ント数に＋αがなされる。この＋αは、前記時間間隔の
設定を、最短時間間隔から時間間隔を漸時延ばすための
ものであり、かかる時間間隔の設定により、高架橋下の
通過などから長いトンネルの通過などまで全てに応じて
時間間隔を設定することができ、より正確な明暗判定に
より赤外光照明９のＯＮ、ＯＦＦ制御を行うことができ
る。

【００６１】前記ステップＳ６１０でNOUDO_Cが所定値
を上回ると判定され、濃度値が徐々に低くなって明暗環
境が昼から夜へ移行して変化したものであると判定され
たときは、ステップＳ６１２でタイマーカウンタのカウ
ント数を大きめに設定し、前記時間間隔を長く設定す
る。即ち、明暗判定用の濃度値が徐々に低くなったもの
と判定されたとき前記時間間隔を長く設定している。

【００６２】前記ステップＳ６１１、Ｓ６１２、Ｓ６２
１からは、ステップＳ６１３へ移行する。ステップＳ６
１３では、赤外光照明９をＯＮ（点灯）し、ステップＳ
６１４でタイマーカウンタをスタートさせ、ステップＳ
６１９に移行する。

【００６３】前記ステップＳ６０８でNOUDO_Nが設定値
を上回ると判定されたときは、明暗判定用濃度値の時系
列濃度データNOUDO_Cを演算するために図７のステップ
Ｓ７０１側に移行する。ステップＳ７０１で、NOUDO_N
をＮ０に代入し、Ｎ４の値をＮ５に代入し、Ｎ３の値を
Ｎ４に代入し、Ｎ２の値をＮ３に代入し、Ｎ１をＮ２に
代入し、Ｎ０の値をＮ１に代入する。Ｎ０〜Ｎ４までの
値は、Ｎ０が現在の検出値であり、Ｎ１〜Ｎ４まで順に
古い値となっており、前記代入により順次濃度値を更新
している。

【００６４】ステップＳ７０２では、Ｎ１〜Ｎ５までに
空データが有るか否かの判定を行い、空データが有れば
ステップＳ７０４で空データフラグをＯＮとする。ステ
ップＳ７０２の判定で空データが無いときは、ステップ
Ｓ７０３で空データフラグをＯＦＦとし、ステップＳ７
０５で時系列濃度データの演算を行い、この結果をNOUD
O_Cに代入し、ステップＳ６１９に移行する。

【００６５】次に、ステップＳ７０５で用いられる時系
列濃度データの演算方法の一例を示す。

【００６６】図８の（ａ），（ｂ），（ｃ）はそれぞれ
夕暮れ時（徐々に暗くなる場合）と昼間高架橋の下を通
過した場合とトンネルを通過した場合の濃度変化イメー
ジを示している。図９（ａ）は各グラフでサンプリング
したＮ１〜Ｎ５の濃度データを示すテーブルの図表、図
９（ｂ）はNOUDO_Cの演算結果を示す図表である。

【００６７】時系列濃度データNOUDO_Cの演算は、図８
の（ａ），（ｂ），（ｃ）に示したＮ１〜Ｎ５の所定の
間隔で取り込んだ濃度値を用いて、次式(1)の演算を行
う。

【００６８】 NOUDO_C＝（Ｎ５−Ｎ４）＋（Ｎ４−Ｎ３）＋（Ｎ３−Ｎ２） ＋（Ｎ２−Ｎ１） ・・・(1) 式(1)の演算を用いると、例えば、図８（ａ）のよう
に、昼から夜へ変化する日暮れ時などのように徐々に暗
くなる場合は、図９（ａ）のデータテーブルに示すよう
に、時間に対して徐々に濃度値が小さくなり、図９
（ｂ）の演算結果NOUDO_Cは１２７になる。図８（ｂ）
のように、昼間高架橋の下を通過した場合は、濃度値の
変化は小さくNOUDO_Cは７となる。図８（ｃ）のように
昼間トンネルを通過した場合は、NOUDO_Cは−１０とな
る。

【００６９】このように、濃度値が徐々に変化する場合
は演算結果が０から離れた値になり、トンネル通過など
通過後は元の濃度状態に戻る場合は０に近くなるので、
濃度値が徐々に変化した状態を演算結果により推定でき
る。かかる時系列濃度データNOUDO_Cの演算結果を前記
ステップＳ６１０の判定に用いることにより、昼から夜
になったのか、あるいはトンネルの中に入ったのかなど
を区別することができる。従って、赤外光照明９を一時
的にＯＦＦとして明暗判定を行う時間間隔を的確に設定
することができ、周囲の明暗環境が明るくなって赤外光
照明９をＯＮ状態からＯＦＦとするとき、確実に制御す
ることができる。また、一時的にＯＦＦとする時間間隔
を短く設定するとき、最初に最短時間間隔を設定し、該
最短時間間隔から時間間隔を漸時延ばすことによって、
例えば長いトンネルの中に入ったのか、高架橋の下を通
過しているのかなどを区別することができ、より正確に
制御を行うことができる。その他の作用効果は第１実施
形態と同様である。 （第３実施形態）図１０、図１１は本発明の第３実施形
態を示している。図１０は、明暗判定の画像データの濃
度値判定に加え、眼の濃度データ検出が行われているか
否かの判定を加えた制御のフローチャートである。

【００７０】尚、基本的な処理は第１実施形態と同様で
あり、図１０は図４に対応するため重複するステップは
図４での説明を参照し、また図５はそのまま踏襲する。
図１０と図４との対応を示すと、図１０のステップＳ１
００１は図４のステップＳ４０１に対応し、同様にＳ１
００３とＳ４０３、Ｓ１００５とＳ４０４、Ｓ１０１０
とＳ４０５、Ｓ１０１１とＳ４０６、Ｓ１０１２とＳ４
０７、Ｓ１０１４とＳ４０９、Ｓ１０１５とＳ４１０、
Ｓ１０１６とＳ４１１、Ｓ１０１７とＳ４１２、Ｓ１０
１８とＳ４１３、Ｓ１０１９とＳ４１４、Ｓ１０２０と
Ｓ４１５がそれぞれ対応している。図１０のは、図５
のへの移行を示し図５のは、図１０のへの移行を
示している。

【００７１】本実施形態におけるブロック図は図２と同
様であるが、明暗判定手段ＣＬ５としての図２の明暗判
定回路７は、本実施形態において前記顔画像データの処
理による眼の濃度データ検出が行われているか否かを判
定し、前記照明制御手段は、前記濃度値が設定値を下回
ると共に前記眼の濃度データ検出が行われていないとの
判定により赤外光照明９をＯＮ（点灯）し、同上回ると
共に眼の濃度データ検出が行われているとの判定により
同ＯＦＦ（ＯＦＦ）とする。

【００７２】まずステップＳ１００１で画像入力を行
い、ステップＳ１００２で眼の追跡領域が有るか無いか
を判定する。ステップＳ１００２で眼の追跡領域がない
と判定されたときは、ステップＳ１００３で眼の位置検
出を行い、ステップＳ１００４で眼の追跡領域を設定
し、ステップＳ１００５に移行する。ステップＳ１００
２で眼の追跡領域があると判定されたときは、ステップ
Ｓ１００３とステップＳ１００４を飛ばして、ステップ
Ｓ１００５の眼の開度検出を行う。

【００７３】ステップＳ１００６で眼の追跡領域に明暗
判定に使用する眼の濃度データが存在するかを判定す
る。濃度データがない場合は、ステップＳ１００７で、
追跡領域データフラグをＯＦＦにし、ステップＳ１００
８で眼の追跡領域をクリアし、ステップＳ１０１０に移
行する。ステップＳ１００６の判定により、眼の追跡領
域に昼夜判定に使用する濃度データが有る場合はステッ
プＳ１００９で、追跡領域フラグをＯＮとし、ステップ
Ｓ１０１０へ移行する。

【００７４】ステップＳ１０１０では、NOUDO_Nに明暗
判定用の検出濃度値を代入する。ステップＳ１０１１で
は、赤外光照明９がＯＮ（点灯）か、０ＦＦ（消灯）か
の判定が行われる。ステップＳ１０１１で赤外光照明９
がＯＮ（点灯）していると判定されたときは、図５のス
テップＳ５０１に移行する。図５の説明は既に行ってい
るためここでは省略する。

【００７５】ステップＳ１０１１で赤外光照明９がＯＦ
Ｆ（消灯）であると判定されたときは、ステップＳ１０
１２に移行し、照明制御フラグがＯＮか否かが判定され
る。この判定で照明制御フラグがＯＮであるとされた場
合はステップＳ１０１６に移行する。この流れ（ステッ
プＳ１０１６〜Ｓ１０１９）は、図４において既に説明
を行っているので詳細は省略する。

【００７６】ステップＳ１０１２で照明制御フラグがＯ
ＦＦであると判定された場合は、ステップＳ１０１３に
移行し、NOUDO_Nが設定値を下回るか否かの判定に加
え、追跡領域フラグがＯＦＦか否かを判定する。

【００７７】ステップＳ１０１３で前述の濃度値による
判定に、追跡領域に濃度値データが有るか否かの判定を
加えた理由は次の通りである。濃度情報は、カメラ１の
画像によって得られるものであるため、カメラ１の種類
やゲインのかけ方や光環境などによって同じ明るさでも
常に同一の濃度階調を示すとは限らない。従って、ある
カメラ１で、ある状況において赤外光照明９をＯＮ（点
灯）させるように閾値を決めておいても、カメラ調整や
光環境等の変化によって、実際は暗くなって追跡領域内
に濃度値データを見つけられない状態でありながら、濃
度値のみの判定では赤外光照明９をＯＮ（点灯）しない
といった場合がある。一方、判定用濃度値の設定値を高
めにすると、まだ昼間の状態であるにも係わらず赤外光
照明９の０Ｎ（点灯）を行ってしまい、前記のように赤
外光照明９ＯＮ状態での眼の周りの状況が、昼間の眩し
い状況と似ていることから、誤った眼の開度判定をして
しまう原因になる恐れがある。

【００７８】そこで、ステップＳ１０１３のように濃度
値の判定に追跡領域データフラグの状態判定を加えるこ
とによって、濃度値判定用の設定値を高めとし、例え
ば、その設定値よりNOUDO_Nが小さくなっても、追跡領
域の濃度データが読める限り赤外光照明９をＯＮ（点
灯）しないため、光環境状態のバラツキや、カメラ、画
像入出力部の違いを許容することができる。

【００７９】ステップＳ１０１３の判定で判定内容を満
たす場合は、ステップＳ１０１４で赤外光照明９をＯＮ
（点灯）とし、ステップＳ１０１５でタイマーカウンタ
をスタートさせ、ステップＳ１０２０に移行する。ステ
ップＳ１０１３で判定内容を満たさない場合は、ステッ
プＳ１０１４とステップＳ１０１５を飛ばして、ステッ
プＳ１０２０に移行する。

【００８０】このうように、本実施形態では、顔画像デ
ータの濃度値の判定に加え、追跡領域内に眼の濃度デー
タ検出が行われているか否かを判定し、赤外光照明９を
ＯＮ、ＯＦＦ制御するので、周囲の明暗環境状態により
正確に応じて赤外光照明９の制御を行うことができる。
このため明暗環境状態のバラツキやカメラ１など画像出
力部の個々の違いを許容することができ、汎用性の高い
装置を得ることができる。

【００８１】なお、前記赤外光照明制御回路８は、前記
明暗判定回路７により前記濃度値が設定値を下回ってい
る状態から同上回るか否かを判定するとき、前記赤外光
照明９のＯＮ状態から一時的にＯＦＦとする制御を設定
した時間間隔で行わせ、前記明暗判定回路７は、前記Ｏ
Ｎ、ＯＦＦ制御によるＯＮ時とＯＦＦ時との濃度値の差
が設定濃度差を上回るか下回るかにより明暗判定を行
い、前記赤外光照明制御回路８は、前記濃度値の差が設
定濃度差を下回ると共に眼の濃度データ検出が行われて
いるとの判定により前記赤外光照明９をＯＦＦとする構
成にすることもできる。

【００８２】この場合、周囲の明暗環境が明るくなって
赤外光照明９をＯＮ状態からＯＦＦとする際に、周囲の
明暗環境に応じた赤外光照明９の制御をより正確に行う
ことができる。このため明暗環境のバラツキやカメラ１
など画像出力部の個々の違いを許容することができ、汎
用性の高い装置を得ることができる。 （第４実施形態）図１１〜図１３は、本発明の第４実施
形態を示している。本実施形態では、ハレーション対策
を導入した制御を説明する。図１１（ａ）は昼間の正常
時の顔画像を示している。図１１（ｂ）はハレーション
が起こった状態のイメージを示している。図１１（ｂ）
のようにハレーションを起こすと、昼間にも拘わらず、
濃度情報が夜間と近似するため、前記赤外光照明９をＯ
Ｎ（点灯）させてしまうという不具合が起こる。従っ
て、図１２，図１３のようなフローチャートで制御を行
う。

【００８３】尚、基本的な処理は第３実施形態と同様で
あり、図１２は図１０に対応し、図１３は第３実施形態
でそのまま踏襲する図５に対応するため重複するステッ
プは図１０、図５での説明を参照する。また、図１２と
図１０との対応を示すと、図１２のステップＳ１２０１
は図１０のステップＳ１００１に対応し、同様にＳ１２
０２とＳ１００２、Ｓ１２０３とＳ１００３、Ｓ１２０
５とＳ１００６、Ｓ１２０６とＳ１００７、Ｓ１２０７
とＳ１００８、Ｓ１２０８とＳ１００９、Ｓ１２１２と
Ｓ１０１０、Ｓ１２１３とＳ１０１１、Ｓ１２１４とＳ
１０１２、Ｓ１２１６とＳ１０１４、Ｓ１２１７とＳ１
０１５、Ｓ１２１８とＳ１０１６、Ｓ１２１９とＳ１０
１７、Ｓ１２２０とＳ１０１８、Ｓ１２２１とＳ１０１
９、Ｓ１２２２とＳ１０２０がそれぞれ対応している。
図１３と図５との対応を示すと、図１３のステップＳ１
３０２は図５のステップＳ５０１に対応し、同様にＳ１
３０３とＳ５０２、Ｓ１３０４とＳ５０３、Ｓ１３０５
とＳ５０４がそれぞれ対応している。

【００８４】まず、図１２において、ステップＳ１２０
１〜ステップＳ１２０８、ステップＳ１２１４〜ステッ
プＳ１２２２までは、前述しているので、説明を省略す
る。但し、本実施形態では眼の開度検出のステップＳ１
２０４で眼の追跡領域の設定を行っている。

【００８５】ステップＳ１２０５で眼の追跡領域に濃度
データがあると判定された場合は、ステップＳ１２０８
に移行し、追跡領域データフラグをＯＮし、ステップＳ
１２０９でハレーションフラグがＯＮしているかを判定
する。ハレーションフラグは、後述するように夜間赤外
光照明９がＯＮ（点灯）した後も、眼の追跡領域に眼の
データが存在しない場合にＯＮとなるフラグである。

【００８６】ハレーションフラグがＯＮの場合は、ステ
ップＳ１２１０で赤外光照明９をＯＦＦ（消灯）し、ス
テップＳ１２１１でハレーションフラグがＯＦＦとな
り、ステップＳ１２１２に移行する。ステップＳ１２０
９でハレーションフラグがＯＦＦの場合は、ステップＳ
１２１０とステップＳ１２１１を飛ばして、ステップＳ
１２１２に移行する。

【００８７】ステップＳ１２１２では、明暗判定用の検
出濃度値をNOUDO_Nに代入し、ステップＳ１２１３で赤
外光照明９がＯＮ（点灯）していない場合は、ステップ
Ｓ１２１４に移行し、以下前述した説明同様の処理を行
う。

【００８８】ステップＳ１２１３で赤外光照明９がＯＮ
（点灯）していれば、図１３のステップＳ１３０１に移
行する。ステップＳ１３０１で追跡領域データフラグが
ＯＮでなければ、赤外光照明９がＯＮ（点灯）した後
も、眼の追跡領域に眼の濃度データが存在しない場合と
してステップＳ１３０６に移行し、ハレーションフラグ
をＯＮとし、図１２のステップＳ１２２２に移行する。

【００８９】図１３のステップＳ１３０１で、追跡領域
データフラグがＯＮである場合は、追跡領域内に眼の濃
度データが存在するのでハレーションは起こっていない
とし、ステップＳ１３０２に移行する。ステップＳ１３
０２，Ｓ１３０５からは、図１２のステップＳ１２２２
に移行する。

【００９０】このように本実施形態では、明暗判定回路
７によって周囲の明暗環境が所定以上暗くなったとの判
定で赤外光照明９をＯＮ（点灯）したときは、顔画像デ
ータの処理による眼の濃度データ検出が行われているか
否かを判定するので、赤外光照明９をＯＮ（点灯）とし
たとき眼の濃度データ検出が行われていないとの判定が
ある場合、眼の濃度データ検出が行われているとの判定
に変わることにより赤外光照明９をＯＦＦ（消灯）とす
ることができる。従って、ハレーションなどによって光
環境が特に劣悪な状態となっても、常に安定した明暗判
定により安定した制御を行うことができるなお、前記実
施形態に出てきた眼の位置検出、眼の開度検出、眼の追
跡方法、開閉眼の判定方法の原理は、「特開平１０−４
０３６１号」、「特開平１０−１４３６６９号」公報な
どにも記載されている。

【図面の簡単な説明】

【図１】本発明の構成ブロック図である。

【図２】本発明の第１実施形態に係るブロック図であ
る。

【図３】第１実施形態に係り、濃度による明暗判定の濃
度値を読み出す領域の説明図である。

【図４】第１実施形態のフローチャートである。

【図５】第１実施形態のフローチャートである。

【図６】本発明の第２実施形態に係り、明暗判定時に濃
度値の時系列変化による照明の制御例にかかるフローチ
ャートである。

【図７】第２実施形態に係り、明暗判定時に濃度値の時
系列変化による照明の制御例を示したフローチャートで
ある。

【図８】第２実施形態に係り、時系列濃度変化を示し、
（ａ）は昼から夜へ徐々に変化する場合、（ｂ）は高架
橋の下を通過した場合、（ｃ）はトンネルを通過した場
合を示す説明図である。

【図９】第２実施形態に係り、（ａ）は濃度値変化のデ
ータテーブルを示す図表、（ｂ）は演算結果を示す図表
である。

【図１０】本発明の第３実施形態に係り、明暗判定を濃
度値による判定に加え、追跡領域中のデータの有無判定
を加えたフローチャートである。

【図１１】本発明の第４実施形態に係り、（ａ）は昼間
の正常時の顔画像を示し、（ｂ）はハレーションが起こ
った状態のイメージを示す説明図である。

【図１２】第４実施形態に係り、ハレーション対策の制
御を示すフローチャートである。

【図１３】第４実施形態に係り、ハレーション対策の制
御を示すフローチャートである。

【符号の説明】

１ ＴＶカメラ（画像出力手段ＣＬ１） ２ Ａ−Ｄ変換器（画像出力手段ＣＬ１） ３ 画像メモリ（画像出力手段ＣＬ１） ４ 画像データ演算回路（画像出力手段ＣＬ１） ５ 眼の位置検出回路（眼の位置検出手段ＣＬ２） ６ 眼の開度検出回路（眼の開度検出手段ＣＬ３） ７ 明暗判定回路（明暗判定手段ＣＬ５） ８ 赤外光照明制御回路（照明制御手段ＣＬ６） ９ 赤外光照明（照明手段ＣＬ４）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 河村 弘之 東京都大田区大森西５丁目28番６号 ナイ ルス部品株式会社内 (72)発明者 金田 雅之 神奈川県横浜市神奈川区宝町２番地 日産 自動車株式会社内 (72)発明者 大和田 正次 神奈川県横浜市神奈川区宝町２番地 日産 自動車株式会社内

Claims (10)

【特許請求の範囲】
1. 【請求項１】 顔を撮像して顔画像データを出力する画
   像出力手段と、 該画像出力手段から出力された顔画像データを処理して
   眼の位置を検出する眼の位置検出手段と、 前記検出された眼の位置を基準に眼の開度を検出する眼
   の開度検出手段と、 周囲の明暗環境が所定以上暗くなったとき前記撮像を行
   うために照明する照明手段と、 前記顔画像データの濃度情報により前記明暗環境の明暗
   判定を行う明暗判定手段と、 前記明暗判定に応じて前記照明手段を制御する照明制御
   手段とを設けたことを特徴とする眼の状態検出装置。
2. 【請求項２】 請求項１記載の眼の状態検出装置であっ
   て、 前記明暗判定手段は、前記顔画像データの少なくとも一
   部の濃度値が設定値を上回るか下回るかにより明暗判定
   を行い、 前記照明制御手段は、前記濃度値が設定値を下回るとの
   判定により前記照明手段をＯＮとし、同上回るとの判定
   により同ＯＦＦとすることを特徴とする眼の状態検出装
   置。
3. 【請求項３】 請求項２記載の眼の状態検出装置であっ
   て、 前記照明制御手段は、前記照明手段のＯＮ状態から一時
   的にＯＦＦとする制御を予め設定された時間間隔で行
   い、 前記明暗判定手段は、前記ＯＮ、ＯＦＦ制御によるＯＮ
   時とＯＦＦ時との濃度値の差が設定濃度差を上回るか下
   回るかにより明暗判定を行い、 前記照明制御手段は、前記濃度値の差が設定濃度差を下
   回るとの判定により前記照明手段をＯＦＦとすることを
   特徴とする眼の状態検出装置。
4. 【請求項４】 請求項３記載の眼の状態検出装置であっ
   て、 前記明暗判定手段は、前記濃度値が設定値を上回ってい
   る状態から同下回る状態に変化したか否かを検出するこ
   とにより該濃度値が時系列的に徐々に低くなったか否か
   を判定し、 前記照明制御手段は、前記徐々に低くなったとの判定に
   より前記時間間隔を長く設定し、同否と判定されたとき
   同短く設定することを特徴とする眼の状態検出装置。
5. 【請求項５】 請求項４記載の眼の状態検出装置であっ
   て、 前記照明制御手段は、前記時間間隔を短く設定するとき
   最初に最短時間間隔を設定し該最短時間間隔から時間間
   隔を漸次延ばすことを特徴とする眼の状態検出装置。
6. 【請求項６】 請求項２記載の眼の状態検出装置であっ
   て、 前記明暗判定手段は、前記顔画像データの処理による眼
   の濃度データ検出が行われているか否かを判定し、 前記照明制御手段は、前記濃度値が設定値を下回ると共
   に前記眼の濃度データ検出が行われていないとの判定に
   より前記照明手段をＯＮとし、同上回ると共に眼の濃度
   データ検出が行われているとの判定により同ＯＦＦとす
   ることを特徴とする眼の状態検出装置。
7. 【請求項７】 請求項６記載の眼の状態検出装置であっ
   て、 前記照明制御手段は、前記明暗判定手段により前記濃度
   値が設定値を下回っている状態から同上回るか否かを判
   定するとき、前記照明手段のＯＮ状態から一時的にＯＦ
   Ｆとする制御を設定した時間間隔で行わせ、 前記明暗判定手段は、前記ＯＮ，ＯＦＦ制御によるＯＮ
   時とＯＦＦ時との濃度値の差が設定濃度差を上回るか下
   回るかにより明暗判定を行い、 前記照明制御手段は、前記濃度値の差が設定濃度差を下
   回ると共に眼の濃度データ検出が行われているとの判定
   により前記照明手段をＯＦＦとすることを特徴とする眼
   の状態検出装置。
8. 【請求項８】 請求項２〜７の何れかに記載の眼の状態
   検出装置であって、 前記明暗判定手段は、前記照明制御手段により前記濃度
   値が設定値を下回るとの判定で前記照明手段をＯＮとし
   たとき、前記顔画像データの処理による眼の濃度データ
   検出が行われているか否かを判定し、 前記照明制御手段は、前記照明手段をＯＮとしたとき眼
   の濃度データ検出が行われていないとの判定がある場
   合、前記眼の濃度データ検出が行われているとの判定に
   変わることにより前記照明手段をＯＦＦとすることを特
   徴とする眼の状態検出装置。
9. 【請求項９】 請求項１〜８の何れかに記載の眼の状態
   検出装置であって、 前記明暗判定手段は、前記明暗判定を行う濃度情報を前
   記顔画像データの画面上下中央部より下の横方向に並ぶ
   データの何れかの濃度値としたことを特徴とする眼の状
   態検出装置。
10. 【請求項１０】 請求項９に記載の眼の状態検出装置で
    あって、 前記明暗判定手段は、前記濃度情報を最も高い濃度値と
    したことを特徴とする眼の状態検出装置。