JP2001101386A - 眼の状態検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 片眼が消失した場合でも眼の検出を迅速かつ
的確に行わせることを可能とする。 【解決手段】 乗員の顔画像データを出力する画像出力
手段ＣＬ１と、顔画像データを処理して顔の特徴量を検
出する特徴量検出手段ＣＬ２と、顔の特徴量に基づいて
眼の位置を検出する第一の眼の位置検出手段ＣＬ３と、
検出された眼の位置を含む所定領域を左右の眼に対して
それぞれ一つづつ決定すると共に所定領域により眼を追
跡させる領域決定手段ＣＬ４と、各所定領域の中で左右
の眼の位置を検出する第二の眼の位置検出手段ＣＬ５
と、第二の眼の位置検出手段で左右の眼のうち一方の眼
が検出されなくなったとき、所定領域を拡張する領域拡
張手段ＣＬ６と、拡張した所定領域の中で左右の眼の位
置を検出する第三の眼の位置検出手段ＣＬ７とを備えた
ことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両の運転者、船
舶の操船者、プラント等のオペレータ等の居眠り状態や
脇見状態を検出し警報することなどに供する眼の状態検
出装置に関する。

【０００２】

【従来の技術】従来の画像処理によるこの種の装置に
は、例えば特開平６−２５１２７３号に記載されたよう
なものがある。これは運転者の顔画像から眼の位置を検
出し、その後、眼の位置を追跡することで運転者の状態
を判断している。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の装置では、運転者が振り向く動作をし、或いはドア
ミラーを見るなどして顔を大きく動かし眼を追跡しきれ
ない状態が発生したとき、再度顔画像から眼の位置を検
出し、追跡するようにしなければ成らず、運転者の脇見
状態など短時間での判断が必要となる状況では判断に限
界があった。

【０００４】この発明は、眼を追跡しきれない状態が発
生したときでも速い処理が可能な眼の状態検出装置の提
供を課題とする。

【０００５】

【課題を解決するための手段】請求項１の発明は、乗員
の顔画像データを出力する画像出力手段と、該画像出力
手段から出力された顔画像データを処理して顔の特徴量
を検出する特徴量検出手段と、前記検出された顔の特徴
量に基づいて眼の位置を検出する第一の眼の位置検出手
段と、前記検出された眼の位置を含む所定領域を左右の
眼に対してそれぞれ一つづつ決定すると共に該所定領域
に前記眼の移動に応じて該眼を追跡させる領域決定手段
と、前記各所定領域の中で左右の眼の位置を検出する第
二の眼の位置検出手段と、前記第二の眼の位置検出手段
で左右の眼のうち一方の眼が検出されないとき、前記所
定領域を左右の眼を同時に含めることの可能な大きさに
拡張する領域拡張手段と、前記拡張した所定領域の中で
左右の眼の位置を検出する第三の眼の位置検出手段とを
備えたことを特徴とする。

【０００６】請求項２の発明は、請求項１記載の眼の状
態検出装置であって、前記領域拡張手段は、前記検出さ
れている他方の眼の位置を含む所定領域を拡張すること
を特徴とする。

【０００７】請求項３の発明は、請求項１記載の眼の状
態検出装置であって、前記領域拡張手段は、前記第一の
眼の位置検出手段又は第二の眼の位置検出手段が検出す
る眼の位置の少なくとも一方を記憶し、該記憶した眼の
位置を含む大きさに前記所定領域を拡張することを特徴
とする。

【０００８】請求項４の発明は、請求項１〜３の何れか
に記載の眼の状態検出装置であって、前記領域拡張手段
は、前記左右の眼の相対位置が設定範囲を超えたとき前
記所定領域を拡張することを特徴とする。

【０００９】請求項５の発明は、請求項１〜４の何れか
に記載の眼の状態検出装置であって、前記領域決定手段
は、前記拡張した所定領域の中で左右の眼の相対位置が
設定範囲内となったとき再び左右の所定領域を決定する
ことを特徴とする。

【００１０】請求項６の発明は、請求項４又は５記載の
眼の状態検出装置であって、前記相対位置は、左右の眼
の左右距離であることを特徴とする。

【００１１】請求項７の発明は、請求項４又は５記載の
眼の状態検出装置であって、前記相対位置は、左右の眼
の上下距離であることを特徴とする。

【００１２】請求項８の発明は、請求項３記載の眼の状
態検出装置であって、前記領域拡張手段は、前記第二の
眼の位置検出手段が検出する左右の眼の相対位置が設定
範囲に設定時間あるとき、該左右の眼の位置を記憶する
と共に、同相対位置が設定範囲に設定時間ないとき前記
第一の眼の位置検出手段が検出する左右の眼の位置を記
憶し、該記憶した眼の位置から前記所定領域を拡張する
ことを特徴とする。

【００１３】

【発明の効果】請求項１の発明では、画像出力手段から
出力された乗員の画像データを処理して特徴量検出手段
により顔の特徴量を検出し、検出された顔の特徴量に基
づいて第一の眼の位置検出手段により眼の位置を検出す
ることができる。領域決定手段は、前記検出された眼の
位置を含む所定領域を左右の眼に対してそれぞれ一つづ
つ決定すると共に眼の移動に応じて前記所定領域により
眼を追跡することができる。そして、前記各所定領域の
中で、第二の眼の位置検出手段により左右の眼の位置を
検出することができる。

【００１４】かかる検出において、乗員が振り向く動作
をし、或いはドアミラーを見るなどして顔を大きく動か
し眼を追跡しきれない状態が発生したとき、第二の眼の
位置検出手段で左右の眼のうち一方の眼が検出されなく
なるが、領域拡張手段により前記所定領域が左右の眼を
同時に含めることの可能な大きさに拡張され、拡張した
所定領域の中で第三の眼の位置検出手段により左右の眼
の位置を検出することができる。従って、画像データの
処理から再び行う必要が無くなり、早い処理を可能と
し、脇見運転などにも十分対応することができる。

【００１５】請求項２の発明では、請求項１の発明の効
果に加え、領域拡張手段により検出されている他方の眼
の位置を含む所定領域を拡張することができ、片方の眼
が消失した場合に、他方の眼の所定領域を利用すること
で速い処理を行わせることができる。

【００１６】請求項３の発明では、請求項１の発明の効
果に加え、領域拡張手段により第一の眼の位置検出手段
又は第二の眼の位置検出手段が検出する眼の位置の少な
くとも一方を記憶し、該記憶した眼の位置を含む大きさ
に所定領域を拡張することができ、両方の眼が消失した
場合でも、記憶した眼の所定領域を利用することで速い
処理を行わせることができる。

【００１７】請求項４の発明では、請求項１〜３の何れ
かの発明の効果に加え、領域拡張手段により、左右の眼
の相対位置が設定範囲を超えたとき少なくとも一方の眼
が消失したものとして所定領域を拡張することができ
る。

【００１８】請求項５の発明では、請求項１〜４の何れ
かの発明の効果に加え、領域決定手段により、拡張した
所定領域の中で左右の眼の相対位置が設定範囲内となっ
たとき再び左右の所定領域を決定することができ、拡張
した領域に比べて再びノイズの少ない範囲で眼の検出を
行うことができ、迅速且つ正確な眼の検出を行うことが
できる。

【００１９】請求項６の発明では、請求項４又は５記載
の発明の効果に加え、相対位置を、左右の眼の左右距離
とすることにより、乗員の顔の左右方向で眼でないもの
を誤って検出した場合でも所定領域を拡張し、迅速且つ
正確な眼の検出を行うことができる。

【００２０】請求項７の発明では、請求項４又は５の発
明の効果に加え、相対位置を、左右の眼の上下距離とす
ることにより、乗員の顔の上下方向で眼でないものを誤
って検出した場合でも所定領域を拡張し、迅速且つ正確
な眼の検出を行うことができる。

【００２１】請求項８の発明では、請求項３の発明の効
果に加え、前記領域拡張手段により、前記第二の眼の位
置検出手段が検出する左右の眼の相対位置が設定範囲に
設定時間あるとき、該左右の眼の位置を記憶すると共
に、同相対位置が設定範囲に設定時間ないとき前記第一
の眼の位置検出手段が検出する左右の眼の位置を記憶
し、該記憶した眼の位置から前記所定領域を拡張するこ
とができ、簡単な処理で所定領域を拡張できると共に、
確実に眼の位置を検出することができる。

【００２２】

【発明の実施の形態】本装置は、自動車の他に鉄道車
両、船舶、プラントのオペレータ等の居眠り運転警報装
置や脇見運転警報装置として用いることができるが、本
実施例では脇見運転警報装置として自動車に適用した場
合で説明する。

【００２３】図１は、本発明を適用した眼の状態検出装
置の構成ブロック図にかかり、該装置は、画像入力手段
ＣＬ１と、顔の特徴量検出手段ＣＬ２と、第一の眼の検
出手段ＣＬ３と、領域決定手段ＣＬ４と、第二の眼の位
置検出手段ＣＬ５と、領域拡張手段ＣＬ６と、第三の眼
の位置検出手段ＣＬ７とを備えている。

【００２４】前記画像入力手段ＣＬ１は、乗員の顔画像
を入力し画像データを出力する。前記顔の特徴量検出手
段ＣＬ２は、前記画像入力手段ＣＬ１により出力された
顔画像データを処理して顔の特徴量を検出する。前記第
一の眼の位置検出手段ＣＬ３は、前記検出された顔の特
徴量に基づいて眼の位置を検出する。前記領域決定手段
ＣＬ４は、前記検出された眼の位置を含む所定領域を左
右の眼に対してそれぞれ一つづつ決定すると共に該所定
領域により前記眼の移動に応じて該眼を追跡する。前記
第二の眼の位置検出手段ＣＬ５は、前記各所定領域の中
で左右の眼の位置を検出する。

【００２５】前記領域拡張手段ＣＬ６は、前記所定領域
を左右の眼を同時に含めることの可能な大きさに拡張す
る。前記第三の眼の位置検出手段ＣＬ７は、前記拡張し
た所定領域の中で左右の眼の位置を検出する。

【００２６】検出された眼の位置から、例えば基準値を
用いて脇見判定などを行い、脇見運転状態などであれ
ば、ブザーなどの警報を発する。

【００２７】図２は、本発明の一実施形態にかかる構成
ブロック図である。

【００２８】同図のように、ＴＶカメラ１が自動車のイ
ンストルメントに設置され、運転者の顔部分を正面から
撮影する。ＴＶカメラ１の入力画像は、本実施形態で
は、例えば横方向（Ｘ）５１２画素、縦方向（Ｙ）４８
０画素からなる。

【００２９】前記ＴＶカメラ１で撮像された入力画像
は、Ａ−Ｄ変換器２を介して、デジタル量の入力画像デ
ータとして画像メモリ３に格納される。画像メモリ３の
出力は、画像データ演算回路４に入力される。

【００３０】画像データ演算回路４は、前記入力された
画像データに基づいて顔の縦方向の画素列の濃度を検出
し、画素列における濃度の高まりとその変化状態により
ポイントを抽出し（抽出点）、隣接する画素列の画素列
方向に近接したポイントを連続して顔の横方向への連続
データを抽出し、顔画像データとして出力する。

【００３１】従って、ＴＶカメラ１、Ａ−Ｄ変換器２、
画像メモリ３、画像データ演算回路４は、本実施形態に
おいて前記画像出力手段ＣＬ１を構成している。画像デ
ータ演算回路２４の出力は、顔の特徴量検出回路５に入
力される。

【００３２】この顔の特徴量検出回路５は、前記顔の特
徴量検出手段ＣＬ２を構成し、抽出された顔の複数の特
徴量から眼を特定すると共にその座標を求める。顔の特
徴量検出回路５の出力は、眼の位置検出回路６に入力さ
れる。

【００３３】眼の位置検出回路６は、前記連続データか
ら眼の選択を行うことで眼の位置を検出し、該眼の位置
から眼の位置を含む所定領域を左右の眼に対してそれぞ
れ１つづつ決定すると共に、該所定領域に前記眼の移動
に応じて該眼を追跡させ、この眼を追跡する各所定領域
内において縦方向への濃度の高まりとその変化状態から
ポイントを抽出し、隣接する画素列の画素列方向に近接
したポイントを連続して顔の横方向への連続データを抽
出し、左右の眼の位置を検出する。従って、本実施形態
において、眼の位置検出回路６は前記第一の眼の位置検
出手段ＣＬ３、領域決定手段ＣＬ４、第２の眼の位置検
出手段ＣＬ５を構成している。

【００３４】前記眼の位置検出回路６の出力は、領域拡
張回路７に入力される。領域拡張回路７は、前記領域拡
張手段ＣＬ６を構成するもので、前記眼を追跡する所定
領域により左右の眼のうち一方の眼が検出されなくなっ
たとき、前記所定領域を左右の眼を同時に含めることの
可能な大きさに拡張する。領域拡張回路７の出力は、眼
の位置検出回路８に入力される。眼の位置検出回路８
は、前記第三の眼の位置検出手段ＣＬ７を構成するもの
で、拡張した所定領域の中で左右の眼の位置を検出す
る。尚、眼の位置検出回路６，８は、１つの回路として
構成することもできる。

【００３５】そして図示はしないが、眼の位置検出回路
６，８によって検出された眼の位置のデータを用いて眼
の状態を判定し、乗員の居眠りや脇見運転など判断し、
居眠り運転や脇見運転が行われているときにはブザーな
どによって警告を行うようにしている。

【００３６】次に、顔画像全体から顔の特徴量を検出
し、眼の位置を特定する方法を説明する。

【００３７】図３は、前記ＴＶカメラ１によって映し出
された乗員の顔を示すもので、９は画面枠、１１は乗員
の顔を示している。この顔画像全体から眼の特徴量を特
定することも可能であるが、検索エリアが広いと演算時
間が長くなるため、本実施形態においては画面を４分割
して領域を小さくし、演算時間を短くし処理を早めるよ
うにしている。

【００３８】１３は画面を４分割にし、眼をを特定する
ための検索エリアであり、図３ので眼が特定できれ
ば、ここで眼の初期検出は終了する。位置１で眼が見つ
からなければ，，と順次検索エリアを変えてい
く。

【００３９】次に、図４は検索エリア１３の顔の特徴量
を検出する説明図である。検出エリア１３には、縦方向
に例えば１０画素毎の画素列が設定され、画素列ごとに
濃度変化の大きい点を抽出する。更に、横方向に向いて
いる抽出点をグループ化することにより、図４の符号１
５，１７のように特徴量としてデータ化される。そし
て、眼のテンプレートマッチングにより１５が眼として
特定される。ここでテンプレートマッチングについて図
５〜図８を用いて説明する。

【００４０】図５は眼の濃度値を調べるための説明図で
あり、図５の領域１３内に縦方向に並んでいるＸ_ａ，Ｘ
_ｂ，Ｘ_ｃ，…，Ｘ_ｎは濃度値を調べるための画素列であ
る。この画素列Ｘ_ａ，Ｘ_ｂ，Ｘ_ｃ，…，Ｘ_ｎ上の濃度値
を図６，図７，図８に示している。

【００４１】図６は画素列Ｘ_ａ上の濃度値示している。
濃度変化の大きいところに（ａ_１，ａ_２）を抽出する。
図７は画素列Ｘ_ａとＸ_ｃの中間位置にある画素列Ｘ_ｂ上
の濃度値と抽出ポイント（ｂ_１，ｂ_２）を示している。
図８は右側の画素列Ｘ_ｃ上の濃度値及び抽出ポイント
（ｃ_１，ｃ_２）を示している。

【００４２】眼であるかどうかの判断は、両側の画素列
Ｘ_ａ，Ｘ_ｃと中央の画素列Ｘ_ｂとの抽出ポイント間の距
離Ｙ_ａ，Ｙ_ｂ，Ｙ_ｃの関係 Ｙ_ａ＜Ｙ_ｂ＞Ｙ_ｃ が成立すれば眼と判断する。

【００４３】こうして特定された片方の眼の位置から両
眼を特定する。まず、図９のように、片方の眼の座標値
（ｘ１，ｙ１）を基準に左右対称位置に他方の眼が存在
するものと仮定して、横長の検索エリア１９を設定す
る。そして、前記同様に、他方の眼に相当する位置で画
素列毎に濃度変化の大きい点が抽出され、該抽出点をグ
ループ化することにより、特徴量２１としてデータ化さ
れ、他方の眼の座標値（ｘ２，ｙ２）が特定され、両眼
の位置が検出される。そして、図１０のように、両眼の
座標にそれぞれ所定領域としてのウインドウ２３，２５
を設定し、ウインドウ２３，２５により両眼の移動を追
跡する。

【００４４】（眼のウインドウの大きさと位置の決め
方） ウインドウの大きさ ウインドウの大きさは、図１１〜図１３のようにして決
めている。図１１はウインドウの大きさを示し、図１
２，図１３は数人の眼の大きさを調べた横、縦の長さの
統計データを示している。ここでウインドウの大きさは
ノイズ（顔の皺や明暗などを抽出してしまう）の低減や
処理速度を落とさないためにも、可能な限り小さい領域
が良い。現在の脇見検出などの処理で使っている大きさ
は数人の眼の大きさを調べ、それに余裕分（例えば×
１．５倍）を加味した大きさにしている。数人の眼の大
きさを統計的に求める方法としては、図１２，図１３の
ように、眼の縦横寸法のデータを集め、その分布の例え
ば９５％をカバーする寸法に余裕分をみて決定する方法
が考えられる。そしてこの９５％をカバーする寸法、す
なわち横寸法ｘ_ａ、縦寸法ｙ_ａに図１１のように余裕分
（×１．５）をみて決定している。尚、画像処理により
眼の幅や高さを推定し、縦横の大きさに余裕分を加える
方法も考えられる。

【００４５】位置の決め方図１４は、例えば右眼のウイ
ンドウを位置決めする方法について示している。

【００４６】眼の座標値（ｘ２，ｙ２）を基準に、距離
ｘ３，ｙ３の位置にウインドウを描く基準点Ｐを決め、
Ｐ点から予め決めておいたウインドウの寸法ｘ４，ｙ４
を描画し、位置を決める。ｘ３及びｙ３はｘ４，ｙ４の
１／２で予めウインドウが眼の中心にくるような長さと
している。

【００４７】以上が顔画像から両眼の位置を特定し、両
眼追跡までの過程を説明している図１５は、図２の領域
拡張回路７における処理のフローチャートを示してい
る。まず、Ｓ１では前記眼の位置検出回路６において検
出されている両眼の座標値の入力を行う。次にＳ２にお
いては、片眼の座標値が消えたか否かの判断を行う。こ
の場合、両眼が追跡できていれば両眼の座標値２個が認
識され、片眼しか追跡できていなければ消えていないほ
うの眼の座標値１個だけとなる。これら座標値の個数に
より片眼の座標値が消えたかどうかを判断している。片
眼が消える例としては、例えばドアミラーの確認、後方
の安全確認など画像から片方の眼が消えるほどの大きな
動作をしたときに起こる場合がある。

【００４８】Ｓ２で片眼の座標値が消えたと判断された
場合、Ｓ２’へ進み、両眼の座標値が消えたかどうかが
判断される。両眼の座標値が消えたと判断された場合
は、Ｓ１へ戻る。そして消えていない方の眼の座標値が
確認されれば、Ｓ３において所定領域、すなわちウイン
ドウの拡張を行う。

【００４９】図１６〜図１８は処理画像の経過を示して
いる。図１６は例えば右ドアミラーを見たときの顔の位
置を示している。この場合、両眼追跡の各ウインドウ２
３，２５は距離が減少して重なることがあり、ドアミラ
ーから前方方向に視線が戻ったときに片側の眼の追跡が
図１７のようにできなくなる。このような場合は、図１
８のように所定領域としてウインドウ２７を左右の眼を
同時に含めることの可能な大きさに拡張する。そしてこ
の拡張したウインドウ２７の中で、左右の眼の位置を再
び検出する。ここで検索領域の大きさと位置の決め方に
ついて説明する。

【００５０】（検索領域の大きさと位置の決め方） 大きさの決め方 図１９は検索領域、すなわちウインドウの大きさの決め
方を示している。ウインドウ２７の大きさはノイズ（顔
の皺や明暗などを抽出してしまう）の低減や、処理速度
を落とさないためにも小さい領域が良い。しかし小さす
ぎて走行中の上下左右振動で眼が領域から頻繁に出る
と、眼の位置が判別できなくなる。よって、縦方向は上
下振動で動く距離、横方向は両眼の距離に左右振動で動
く距離に余裕分を加えた大きさとしている。例えば図１
９のように、横方向の大きさｘ１１は、両眼の距離Ｌ０
（Ｌ０＝ｘ１−ｘ２）に所定の定数Ｋを掛けた値とす
る。定数Ｋは車両の左右振動で動く分に余裕分を含んだ
もので、例えばＫ＝２．０に設定する。縦方向Ｙ１１は
例えばｘ１１の０．３掛けとして大きさを決めている 位置の決め方 片眼が消えた場合に、ウインドウの位置を設定するに
は、過去に両眼の位置を図９の段階で検出しており、こ
の座標をもとに設定する。

【００５１】ここで、右眼の座標を基準にした例を示す
と、右眼座標（ｘ２，ｙ２）から距離ｘ１０，ｙ１０の
場所に描画をするときの基準点Ｑを作る。このＱ点から
（ｘ１０，ｙ１０）の寸法で描画することにより領域を
設定する。この（ｘ１０，ｙ１０）はウインドウ２７が
両眼の中心に位置するように設定されるものであるこう
してドアミラーを見るなどして片眼が消失し、再び正面
方向を向いたときに図１６，図１７のように片眼の追跡
ができなくなっても、ウインドウを拡張することによっ
て直ちに両眼を追跡することができる。従って、最初の
画像データの取り込みから行う必要がなく、一旦片眼が
消失した場合でも迅速に両眼の追跡を再開することがで
き、乗員の脇見運転検出などの早い処理が必要とする場
合でも十分に対応することができる。

【００５２】尚、上記実施形態では、片眼が消失した場
合に、過去に検出されている眼の座標値からウインドウ
を拡張するようにしたが、例えば、検出されている他方
の眼の位置のみを基準にウインドウを拡張するようにし
てもよい。

【００５３】図２１は第１実施形態の変形例に係る実施
形態のフローチャートを示し、図１５と対応したもので
ある。本実施形態においては、Ｓ１，Ｓ３は図１５と同
一であり、Ｓ４の判断において両眼の相対距離が所定範
囲より大となったときにＳ３の所定領域の拡張を行うよ
うにしたものである。これは例えば、図２２のように、
ウインドウ２３が誤って眉毛を捉え、相対位置が異常と
なる場合の処理の例である。

【００５４】このような場合、前記同様に両眼追跡から
ウインドウを拡張して両眼の検出を行うものである。両
眼の相対距離が所定距離より大となったときとは、例え
ば図２３のように左右の眼の左右距離ｘ２０は異常では
ないが、上下距離ｙ２０の値が明らかに大きければ、ど
ちらかが眼でないと判断し、その後テンプレートマッチ
ングによって眼を特定する。テンプレートマッチングに
ついては前記同様である。

【００５５】この場合、右眼が眼と特定され、この右眼
の座標値を基準に前記同様にウインドウを拡張し、両眼
の検出を行うものである。また左右の眼の上下距離ｙ２
０は小さいが、左右距離ｘ２０が例えば１．５倍に変化
した場合にも異常と見なし、同様にテンプレートマッチ
ングにより眼を特定し、ウインドウを拡張する。従っ
て、何れの場合にも左右のウインドウ２３，２５が眼で
ないものを追跡している場合に、これを直ちに異常とし
て正しい左右の眼の検出に移行することができる。しか
も、この場合にも、画像データの取り込みから行う必要
がなく、迅速な処理を行わせることができ、脇見運転な
ど早い処理が必要な場合でも十分に対応することができ
る。

【００５６】次に、図２４により、前記眼の位置検出回
路８での拡張した領域での眼の検出から眼の位置検出回
路６での各左右のウインドウによる眼の追跡に復帰する
場合について説明する。この処理は、前記眼の位置検出
回路８が行うものである。

【００５７】まず、ステップＳ５では、両眼に相当する
眼の座標値を入力する。ステップＳ６では、両眼の相対
距離が所定範囲内となったかどうかの判断を行い、所定
範囲内となっていればステップＳ７において両眼に相当
する座標値を基準に左右のウインドウを再び設定し、左
右両眼の検出、追跡を行うようにする。従って、拡張し
たウインドウに比べて再びノイズの少ない範囲で眼の検
出を行うことができ、迅速な眼の検出を正確に行うこと
ができる。

【００５８】このように本発明第１実施形態では、両眼
の位置を独立して検出、追跡すると共に、片眼が消失し
たり誤検出した場合でも、直ちにウインドウを拡張する
ことによって両眼の有無を検出することができ、乗員が
振り向いた場合や顔を大きく動かした場合などでも短時
間で眼の位置を検索することができ、連続的に眼の追跡
が可能となる。

【００５９】（第２実施形態）図２５は本発明の第２実
施形態に係るフローチャートを示している。本実施形態
における基本的な構成は、前記図２と同様である。そし
て、この図２５のフローチャートも前記領域拡張回路７
を実行するものである。従って、図１５と対応するステ
ップには同符合を付して説明し、また重複した説明は省
略する。

【００６０】一方、本実施形態の図２５においては、片
眼の座標値が消えたあと、Ｓ８において移動前の両眼の
距離が所定範囲内かつ所定時間以上続いていたかどうか
の判断を行う。ここで所定範囲内とは、眼の位置検出時
の座標値から両眼の距離Ｌ０（図２６参照）を基準に、
例えば±２０％以内に入っている座標値を１０００デー
タ取り込む。この１０００データの座標値の分布から眼
の位置が最も存在する確率が高い座標値を計算して記憶
する。１０００データは時間に換算すると１ループの時
間を０．１ｓｅｃとすると、１００ｓｅｃとなるが、こ
れは顔が静止しているような条件の良い場合であり、実
際は顔が動いているため１０００データ集まるまでには
時間がかかる（例えば２００ｓｅｃ）。できるだけ眼が
滞留している条件で眼のデータが集まれば、眼の位置の
精度は良くなる。

【００６１】Ｓ８において、移動前の両眼の距離が所定
範囲内かつ所定時間以上続いた場合には、Ｓ９において
移動する前の両眼の座標を含むように所定領域、すなわ
ちウインドウを拡張する。次いでＳ１０では、ウインド
ウ内の両眼の距離が安定しているか否かが判断される。
すなわち、拡張したウインドウ内に両眼に相当するデー
タが検出されているかどうかを判定し、検出されていれ
ば再びＳ１へ戻る。

【００６２】また前記Ｓ８において、移動前の両眼の距
離が所定範囲内かつ所定時間以上続いていないと判断さ
れたとき、又は比較的短時間しかとどまっていなかった
ときは、乗員が動いている可能性がある。ここで比較的
短時間しかとどまっていなかった場合とは、移動前の両
眼の距離Ｌ０±２０％の座標値が２００sec経っても１
０００データに満たない場合であり、運転者の顔が動い
ていると推定され、ウインドウを拡張するときの基準と
してふさわしくないので、この場合は初期に検索した眼
の位置座標を基準とする。すなわち、Ｓ１１において、
初期の両眼の座標値を含むように所定領域、すなわちウ
インドウを拡張する。この初期の両眼の座標値は、前記
眼の位置検出回路６において検出され記憶された両眼の
座標値が用いられる。

【００６３】ここでは初期のデータを用いるため、顔が
画面枠１３の中央にあるとは限らないので、画像全体に
ウインドウを拡げて検索するのが理想である。しかし全
体に拡げると、例えば車両内装の模様などを眼と認識す
るなどノイズが多くなり、また処理速度が遅くなり、顔
の動きに追従できなくなる。よって、乗員が前を見てい
る状態で、車両の上下左右振動で眼が動く範囲をウイン
ドウの大きさとし、これを実験的に求める。顔の大きさ
は運転者により変わるため、求めた基準のウインドウを
ベースに両眼の距離から比例計算で可変とする。

【００６４】次いでＳ１２において、両眼の距離が安定
しているか否かの判断が行われる。

【００６５】この判断は前記Ｓ１０と同様である。

【００６６】図２６〜図２８は処理画像を示している。
尚、Ｓ１，Ｓ２までの画像の入力、及び片眼の座標値が
消えたあと、片方のウインドウが消えて追跡ができなく
なるまでの処理画像は第１実施形態と同様であり、前記
図３〜図１４を参照する。尚、前記図１６、１７に対応
する図を図２７、２８に示している。

【００６７】このように片方のウインドウが消失したと
き、その消失する前に前方を見ていて、かつ位置が安定
していたと判断されているときの両眼の座標、すなわち
図２６の（ｘ１０，ｙ１０）（ｘ２０，ｙ２０）を含む
ように図２９のようにウインドウ２９を拡張する。ま
た、図３０のように初期の両眼の座標、例えば３３，３
５を用いるときは、ウインドウ３１を大きめに拡張す
る。

【００６８】従って、乗員の顔１１が反対側に大きく動
いた場合でも、眼を連続的に捉えることができる。この
ようにして本実施形態においても第１実施形態と略同様
な作用効果を奏することができる。一方、本実施形態に
おいては、予め記憶した眼の位置を含むようにウインド
ウを拡張するため、両眼が消失した場合でも迅速かつ的
確に眼の追跡を行うことができる。

【図面の簡単な説明】

【図１】本発明のブロック図である。

【図２】本発明の第１実施形態に係るブロック図であ
る。

【図３】第１実施形態に係る処理画像である。

【図４】第１実施形態の処理画像である。

【図５】テンプレートマッチングの説明図である。

【図６】画素列と濃度値との説明図である。

【図７】画素列と濃度値との説明図である。

【図８】画素列と濃度列との説明図である。

【図９】第１実施形態の処理画像を示す説明図である。

【図１０】第１実施形態の処理画像を示す説明図であ
る。

【図１１】ウインドウの大きさを示す説明図である。

【図１２】眼の横方向の長さの統計図である。

【図１３】眼の縦方向の長さの統計図である。

【図１４】ウインドウの位置を決める説明図である。

【図１５】第１実施形態のフローチャートである。

【図１６】第１実施形態の処理画像である。

【図１７】第１実施形態の処理画像である。

【図１８】第１実施形態の処理画像である。

【図１９】ウインドウの大きさの決め方の説明図であ
る。

【図２０】ウインドウの位置の決め方の説明図である。

【図２１】第１実施形態のフローチャートである。

【図２２】第１実施形態の変形例に係る実施形態の処理
画像である。

【図２３】左右特徴点の上下距離と左右距離との関係を
示す説明図である。

【図２４】第１実施形態のフローチャートである。

【図２５】本発明の第２実施形態に係るフローチャート
である。

【図２６】第２実施形態の処理画像である。

【図２７】第２実施形態の処理画像である。

【図２８】第２実施形態の処理画像である。

【図２９】第２実施形態の処理画像である。

【図３０】第２実施形態の処理画像である。

【符号の説明】

ＣＬ１ 画像出力手段 ＣＬ２ 顔の特徴量検出手段 ＣＬ３ 第一の眼の位置検出手段 ＣＬ４ 領域決定手段 ＣＬ５ 第二の眼の位置検出手段 ＣＬ６ 領域拡張手段 ＣＬ７ 第三の眼の位置検出手段

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 Ｇ０６Ｆ 15/62 ３８０ ５Ｌ０９６ Ｇ０８Ｂ 21/06 Ａ６１Ｂ 3/10 Ｚ ９Ａ００１ Ｇ０８Ｇ 1/16 Ｇ０６Ｆ 15/70 ３３０Ｚ Ｆターム(参考） 2F065 AA03 CC16 FF01 JJ03 JJ26 KK02 QQ03 QQ24 QQ25 QQ36 QQ38 RR07 SS09 UU05 2G059 AA05 BB12 CC20 KK04 MM01 MM05 MM09 MM10 PP02 3D037 FA01 FA05 FB10 5B057 AA02 AA16 AA19 BA02 DA07 DA08 DA15 DC22 5H180 AA01 BB04 LL01 LL02 LL06 LL20 5L096 BA02 BA04 CA04 DA03 FA19 FA46 FA66 FA69 GA07 HA03 JA09 9A001 HH23 JZ77 KK37

Claims (8)

【特許請求の範囲】
1. 【請求項１】 乗員の顔画像データを出力する画像出力
   手段と、 該画像出力手段から出力された顔画像データを処理して
   顔の特徴量を検出する 特徴量検出手段と、前記検出された顔の特徴量に基づい
   て眼の位置を検出する第一の眼の位置検出手段と、 前記検出された眼の位置を含む所定領域を左右の眼に対
   してそれぞれ一つづつ決定すると共に該所定領域に前記
   眼の移動に応じて該眼を追跡させる領域決定手段と、 前記各所定領域の中で左右の眼の位置を検出する第二の
   眼の位置検出手段と、 前記第二の眼の位置検出手段で左右の眼のうち一方の眼
   が検出されなくなったとき、前記所定領域を左右の眼を
   同時に含めることの可能な大きさに拡張する領域拡張手
   段と、 前記拡張した所定領域の中で左右の眼の位置を検出する
   第三の眼の位置検出手段とを備えたことを特徴とする眼
   の状態検出装置。
2. 【請求項２】 請求項１記載の眼の状態検出装置であっ
   て、 前記領域拡張手段は、前記検出されている他方の眼の位
   置を含む所定領域を拡張することを特徴とする眼の状態
   検出装置。
3. 【請求項３】 請求項１記載の眼の状態検出装置であっ
   て、 前記領域拡張手段は、前記第一の眼の位置検出手段又は
   第二の眼の位置検出手段が検出する眼の位置の少なくと
   も一方を記憶し、該記憶した眼の位置を含む大きさに前
   記所定領域を拡張することを特徴とする眼の状態検出装
   置。
4. 【請求項４】 請求項１〜３の何れかに記載の眼の状態
   検出装置であって、 前記領域拡張手段は、前記左右の眼の相対位置が設定範
   囲を超えたとき前記所定領域を拡張することを特徴とす
   る眼の状態検出装置。
5. 【請求項５】 請求項１〜４の何れかに記載の眼の状態
   検出装置であって、 前記領域決定手段は、前記拡張した所定領域の中で左右
   の眼の相対位置が設定範囲内となったとき再び左右の所
   定領域を決定することを特徴とする眼の状態検出装置。
6. 【請求項６】 請求項４又は５記載の眼の状態検出装置
   であって、 前記相対位置は、左右の眼の左右距離であることを特徴
   とする眼の状態検出装置。
7. 【請求項７】 請求項４又は５記載の眼の状態検出装置
   であって、 前記相対位置は、左右の眼の上下距離であることを特徴
   とする眼の状態検出装置。
8. 【請求項８】 請求項３記載の眼の状態検出装置であっ
   て、 前記領域拡張手段は、前記第二の眼の位置検出手段が検
   出する左右の眼の相対位置が設定範囲に設定時間あると
   き、該左右の眼の位置を記憶すると共に、同相対位置が
   設定範囲に設定時間ないとき前記第一の眼の位置検出手
   段が検出する左右の眼の位置を記憶し、該記憶した眼の
   位置から前記所定領域を拡張することを特徴とする眼の
   状態検出装置。