JP2002008020A - 眼の状態検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 眼の検出精度向上と、眼の検出時間を短縮す
ることを可能とする。 【解決手段】 顔を撮像して顔画像データを出力する画
像出力手段ＣＬ１と、画像出力手段ＣＬ１から出力され
た顔画像データを処理して眼の位置を検出する眼の位置
検出手段ＣＬ２と、検出された眼の位置を基準に眼を含
む追跡領域を設定し追跡対象である両眼を検出しながら
独立に追跡する眼の追跡手段ＣＬ３と、眼の追跡手段Ｃ
Ｌ３により眼の追跡を行いながら運転者が前を見ている
という条件の下に眼の再検出領域を学習する眼の再検出
領域の学習手段ＣＬ４と、眼の再検出領域の学習手段Ｃ
Ｌ４によって学習した眼の再検出領域の切り替え優先順
位を決定する再検出領域の優先順位決定手段ＣＬ５と、
決定された優先順位で眼の再検出領域を切り替え、該切
り替えた眼の再検出領域内で追跡対象として眼を再度検
出する眼の再検出手段ＣＬ６とを備えたことを特徴とす
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両の運転者、船
舶の操船者、プラント等のオペレータ等の脇見状態を検
出し警報することなどに供する眼の状態検出装置に関す
る。

【０００２】

【従来の技術】従来の画像処理によるこの種の装置に
は、例えば特開９−４４６８０号に記載されたようなも
のがある。この装置では、眼の検出領域を設定し、該検
出領域内で眼の領域を抽出し、その抽出結果に応じて眼
の検出領域の位置、大きさ、数、及び形状の少なくとも
１つを変更して設定することで短時間に効率よく眼領域
が抽出できるようにしている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の装置では、眼が抽出できないときに、検出領域を単
に拡大して眼を再検出する構成であるため、ノイズとな
るデータが拡大された検出領域内に多数含まれるように
なり、眼の検出精度向上に限界があると共に、眼の検出
に時間がかかるという問題があった。

【０００４】また、運転者が横を向いたような場合、眼
の追跡限界を超えて脇見状態となるが、仮にその脇見時
間が短くすぐに車両前方を見た場合には脇見状態と検出
する必要はない。しかし、上記従来の装置を用いて脇見
検出を実現しようとすると、運転者が横を向いて眼の追
跡限界を超えてからすぐに車両前方を見たとしても、再
度眼を検出するまでに時間がかかることで脇見状態の誤
検出を起こし、誤警報などの煩わしさを招き易かった。

【０００５】この発明は、目の検出精度向上と、目の検
出時間を短縮することのできる眼の状態検出装置の提供
を課題とする。

【０００６】

【課題を解決するための手段】請求項１の発明は、顔を
撮像して顔画像データを出力する画像出力手段と、該画
像出力手段から出力された顔画像データを処理して眼の
位置を検出する眼の位置検出手段と、前記検出された眼
の位置を基準に眼を含む追跡領域を設定し追跡対象であ
る両眼を検出しながら独立に追跡する眼の追跡手段と、
前記眼の追跡手段により眼の追跡を行いながら運転者が
前を見ているという条件の下に眼の再検出領域を学習す
る眼の再検出領域の学習手段と、前記眼の再検出領域の
学習手段によって学習した眼の再検出領域の切り替え優
先順位を決定する再検出領域の優先順位決定手段と、前
記決定された優先順位で眼の再検出領域を切り替え、該
切り替えた眼の再検出領域内で追跡対象としての眼を再
度検出する眼の再検出手段とを備えたことを特徴とす
る。

【０００７】請求項２の発明は、請求項１記載の眼の状
態検出装置であって、前記眼の再検出領域の学習手段
は、前記運転者が前を見ている条件として両眼のパター
ンマッチングが可能となったときに両眼を含む矩形領域
を前記再検出領域として記憶することを特徴とする。

【０００８】請求項３の発明は、請求項２記載の眼の状
態検出装置であって、前記眼の再検出領域の学習手段
は、前記追跡領域の画像上での座標位置が所定値以上移
動し、且つ両眼の間隔が保持できているときに前記パタ
ーンマッチングを行うことを特徴とする。

【０００９】請求項４の発明は、請求項２記載の眼の状
態検出装置であって、前記眼の再検出領域の学習手段
は、運転対象の運転信号の入力に基づいて前記パターン
マッチングを行うことを特徴とする。

【００１０】請求項５の発明は、請求項１記載の眼の状
態検出装置であって、前記眼の再検出領域の優先順位決
定手段は、前記眼の再検出領域の学習手段によって学習
した複数個の眼の再検出領域の代表座標値の接近度合い
でグループ化し、各グループ毎に眼の再検出領域を更新
設定し、更新設定した眼の再検出領域内に含まれる代表
座標値の度数が多い順に更新設定した眼の再検出領域を
切り替えて眼の再検出を行うことを特徴とする。

【００１１】請求項６の発明は、請求項５記載の眼の状
態検出装置であって、前記眼の再検出領域の優先順位決
定手段は、前記更新設定した眼の再検出領域内に含まれ
る代表座標値の度数が多い順に前記更新設定する眼の検
出領域の大きさを可変とすることを特徴とする。

【００１２】請求項７の発明は、請求項１記載の眼の状
態検出装置であって、前記眼の再検出領域の優先順位決
定手段は、前記眼の再検出領域の学習手段によって学習
した複数個の眼の再検出領域を時系列的に新しいものか
ら古いものへ順次切り替えて眼の再検出を行うことを特
徴とする。

【００１３】請求項８の発明は、請求項５〜７の何れか
に記載の眼の状態検出装置であって、前記眼の再検出領
域の優先順位決定手段は、運転対象の状態に応じて眼の
再検出領域の優先順位の決定方法を変更することを特徴
とする。

【００１４】請求項９の発明は、請求項１〜８の何れか
に記載の眼の状態検出装置であって、前記眼の追跡手段
と前記眼の再検出手段との少なくとも一方の情報を用い
ることにより運転者の脇見運転を検出する脇見検出手段
を備えたことを特徴とする。

【００１５】請求項１０の発明は、請求項９記載の眼の
状態検出装置であって、前記脇見検出手段は、眼の追跡
ができなくなったときから眼の再検出領域において再度
眼の検出ができるようになるまでの時間の長さで脇見運
転を検出することを特徴とする。

【００１６】

【発明の効果】請求項１の発明では、顔画像出力手段に
より顔を撮像して顔画像データを出力し、眼の位置検出
手段より、前記画像出力手段から出力された顔画像デー
タを処理して眼の位置を検出し、眼の追跡手段により、
前記検出された眼の位置を基準に眼を含む追跡領域を設
定し追跡対象である両眼を検出しながら独立に追跡する
ことができる。

【００１７】眼の再検出領域の学習手段では、前記眼の
追跡手段により眼の追跡を行いながら運転者が前を見て
いるという条件の下に眼の再検出領域を複数学習し、再
検出領域の優先順位決定手段では、前記眼の再検出領域
の学習手段によって学習した複数の眼の再検出領域の優
先順位を決定し、眼の再検出手段では、前記決定された
優先順位で眼の再検出領域内の追跡対象として再度眼を
検出することができる。

【００１８】従って、運転者が前方を見ているときに両
眼が存在する必要最小限の領域を学習することが可能と
なり、ノイズとなるデータが含まれる可能性が減少し、
目の検出精度を向上させることができる。

【００１９】また、目の再検出領域を切り替える優先順
位を決定することで効率的に目の再検出ができ、目の再
検出の時間を短縮することができる。従って、顔の大き
な動きを伴う脇見状態が発生しても、すぐに前方を向く
ような場合には直ちに目の再検出ができ、目の誤検出の
可能性を抑制することができる。

【００２０】請求項２の発明では、請求項１記載の発明
の効果に加え、眼の再検出領域の学習手段は、運転者が
前を見ている条件として両眼のパターンマッチングが可
能となったときに両眼を含む矩形領域を再検出領域とし
て記憶することができる。

【００２１】従って、運転者が前方を見ているという条
件で確実に目の再検出領域を学習することができ、目の
検出精度向上と、目の誤検出抑制とをより確実に行うこ
とができる。

【００２２】請求項３の発明は、請求項２記載の発明の
効果に加え、眼の再検出領域の学習手段は、追跡領域の
画像上での座標位置が所定値以上移動し、且つ両眼の間
隔が保持できているときにパターンマッチングを行うこ
とができる。

【００２３】従って、運転者が前方を見ているという条
件で確実に目の再検出領域を学習することができ、目の
検出精度向上と、目の誤検出抑制とをより確実に行うこ
とができる。

【００２４】請求項４の発明は、請求項２記載の発明の
効果に加え、眼の再検出領域の学習手段は、運転対象の
運転信号の入力に基づいてパターンマッチングを行うこ
とができる。

【００２５】従って、運転者が前方を見ているという条
件で確実に目の再検出領域を学習することができ、目の
検出精度向上と、目の誤検出抑制とをより確実に行うこ
とができる。

【００２６】請求項５の発明では、請求項１記載の発明
の効果に加え、眼の再検出領域の優先順位決定手段は、
前記眼の再検出領域の学習手段によって学習した複数個
の眼の再検出領域の代表座標値の接近度合いでグループ
化し、各グループ毎に眼の再検出領域を更新設定し、更
新設定した眼の再検出領域内に含まれる代表座標値の度
数が多い順に更新設定した眼の再検出領域を切り替えて
眼の再検出を行うことができる。

【００２７】従って、運転者の両眼のある確率の高い順
に目の再検出を行うことができ、より確実に短時間で目
の再検出を行うことができ、誤検出を抑制することがで
きる。

【００２８】請求項６の発明では、請求項５記載の発明
の効果に加え、眼の再検出領域の優先順位決定手段は、
前記更新設定した眼の再検出領域内に含まれる代表座標
値の度数が多い順に前記更新設定する眼の検出領域の大
きさを可変とすることができる。

【００２９】従って、運転者が前方を見ているときに両
眼が存在する必要最小限の領域を確実に学習することが
可能となり、ノイズとなるデータが含まれる可能性が減
少し、目の検出精度を確実に向上させることができ、誤
検出を確実に抑制することができる。

【００３０】請求項７の発明では、請求項１記載の発明
の効果に加え、眼の再検出領域の優先順位決定手段は、
前記眼の再検出領域の学習手段によって学習した複数個
の眼の再検出領域を時系列的に新しいものから古いもの
へ順次切り替えて眼の再検出を行うことができる。

【００３１】従って、運転者の両眼のある確率の高い順
に目の再検出をより確実に行うことができ、短時間で目
の再検出を行うことができ、誤検出を抑制することがで
きる。

【００３２】請求項８の発明では、請求項５〜７の何れ
かに記載の発明の効果に加え、眼の再検出領域の優先順
位決定手段は、運転対象の状態に応じて眼の再検出領域
の優先順位の決定方法を変更することができる。

【００３３】従って、運転対象の状態に応じて、運転者
の両眼のある確率の高い順に目の再検出を行うことがで
き、より確実に短時間で目の再検出を行うことができ、
誤検出を抑制することができる。

【００３４】請求項９の発明では、請求項１〜８の何れ
かに記載の発明の効果に加え、脇見検出手段により、眼
の追跡手段と前記眼の再検出手段との少なくとも一方の
情報を用い運転者の脇見運転を検出することができる。

【００３５】従って、確実な脇見検出を行うことができ
る。

【００３６】請求項１０の発明では、請求項９記載の発
明の効果に加え、脇見検出手段は、眼の追跡ができなく
なったときから眼の再検出領域において再度眼の検出が
できるようになるまでの時間の長さで脇見運転を検出す
ることができる。

【００３７】従って、目の追跡が困難な顔の大きな動き
を伴う脇見状態も検出することができる。

【００３８】

【発明の実施の形態】本装置は、自動車の他に鉄道車
両、船舶、プラントのオペレータ等の居眠り運転警報と
して用いることができるが、本実施例では運転対象とし
て自動車に適用した場合で説明する。

【００３９】図１は、本発明を適用した眼の状態検出装
置の構成ブロック図にかかり、該装置は、画像出力手段
ＣＬ１と、眼の位置検出手段ＣＬ２と、眼の追跡手段Ｃ
Ｌ３と、眼の再検出領域の学習手段ＣＬ４と、眼の再検
出領域の優先順位決定手段ＣＬ５と、眼の再検出手段Ｃ
Ｌ６と、脇見検出手段ＣＬ７とを備えている。

【００４０】前記画像出力手段ＣＬ１は、乗員の顔を撮
像して顔画像データを出力するものである。前記眼の位
置検出手段ＣＬ２は、前記画像出力手段ＣＬ１から出力
された顔画像データを処理して眼の位置を検出するもの
である。

【００４１】前記眼の追跡手段ＣＬ３は、前記検出され
た眼の位置を基準に眼を含む追跡領域を設定し追跡対象
である両眼を検出しながら独立に追跡するものである。

【００４２】前記眼の再検出領域の学習手段ＣＬ４は、
前記眼の追跡手段ＣＬ３により眼の追跡を行いながら運
転者が前を見ているという条件の下に眼の再検出領域を
学習するものである。すなわち、眼の再検出領域の学習
手段ＣＬ４は、運転者が前を見ている条件として両眼の
パターンマッチングが可能となったときに両眼を含む矩
形領域を前記再検出領域として記憶する。または、眼の
再検出領域の学習手段ＣＬ４は、追跡領域の画像上での
座標位置が所定値以上移動し、且つ両眼の間隔が保持で
きているときに前記パターンマッチングを行う。また
は、眼の再検出領域の学習手段ＣＬ４は、運転対象の運
転信号の入力に基づいて前記パターンマッチングを行
う。

【００４３】前記眼の再検出領域の優先順位決定手段Ｃ
Ｌ５は、前記眼の再検出領域の学習手段ＣＬ４によって
学習した眼の再検出領域の優先順位を決定するものであ
る。すなわち、眼の再検出領域の優先順位決定手段ＣＬ
５は、前記眼の再検出領域の学習手段ＣＬ４によって学
習した複数個の眼の再検出領域の代表座標値の接近度合
いでグループ化し、各グループ毎に眼の再検出領域を更
新設定し、更新設定した眼の再検出領域内に含まれる代
表座標値の度数が多い順に更新設定した眼の再検出領域
を切り替えて眼の再検出を行う。または、眼の再検出領
域の優先順位決定手段ＣＬ５は、前記更新設定した眼の
再検出領域内に含まれる代表座標値の度数が多い順に前
記更新設定する眼の検出領域の大きさを可変とする。ま
たは、眼の再検出領域の優先順位決定手段ＣＬ５は、前
記眼の再検出領域の学習手段ＣＬ４によって学習した複
数個の眼の再検出領域を時系列的に新しいものから古い
ものへ順次切り替えて眼の再検出を行う。または、眼の
再検出領域の優先順位決定手段ＣＬ５は、運転対象の状
態に応じて眼の再検出領域の優先順位の決定方法を変更
する。

【００４４】前記眼の再検出手段ＣＬ６は、前記決定さ
れた優先順位で眼の再検出領域内の追跡対象として再度
眼を検出するものである。

【００４５】前記脇見検出手段ＣＬ７は、前記眼の追跡
手段ＣＬ３と前記眼の再検出手段ＣＬ６との少なくとも
一方の情報を用いることにより運転者の脇見運転を検出
する。また、前記脇見検出手段ＣＬ７は、眼の追跡がで
きなくなったときから眼の再検出領域において再度眼の
検出ができるようになるまでの時間の長さで脇見運転を
検出する。

【００４６】図２は、本発明の一実施形態にかかる構成
ブロック図である。

【００４７】同図のように、ＴＶカメラ２０１が自動車
のインストルメントに設置され、運転者の顔部分を正面
から撮影する。ＴＶカメラ２０１の入力画像は、本実施
形態では、例えば横方向（Ｘ）５１２画素、縦方向
（Ｙ）４８０画素からなる。前記ＴＶカメラ１で撮像さ
れた入力画像は、Ａ−Ｄ変換器２０２を介して画素毎の
アナログ電圧が２５６階調のデジタル値に変換され、入
力画像データとして画像メモリ２０３に格納される。画
像メモリ２０３の出力は、画像データ演算回路２０４に
入力される。

【００４８】従って、ＴＶカメラ２０１、Ａ−Ｄ変換器
２０２、画像メモリ２０３は、本実施形態において前記
画像出力手段ＣＬ１を構成している。

【００４９】前記画像データ演算回路２０４は、後述す
る眼の位置検出回路２０６と共に前記眼の位置検出手段
ＣＬ２を構成し、前記入力された顔画像データから顔の
縦方向の画素列に沿って画素の濃度値を読み出し、該濃
度値の局所的な高まり毎に１個づつの画素を定めて抽出
点とし、隣接した抽出点を連続させて顔の横方向に延び
る連続データを抽出して顔の特徴量とし、その出力を眼
の位置検出回路２０５に入力する。

【００５０】前記眼の位置検出回路２０５は、前記眼の
位置検出手段ＣＬ２を構成し、前記検出された顔の特徴
量から予め記憶された眼の特徴情報に合致する特徴量を
抽出して眼の位置を検出する。すなわち、前記検出され
た顔の特徴量の代表座標値から該特徴量を含んで特定さ
れた存在領域内で、前記検出された顔の特徴量の画像上
の位置、長さ、形状情報を用いてパターンマッチングに
より眼に合致する特徴量を抽出して眼の位置を検出し、
その出力は眼の追跡回路２０６に入力される。

【００５１】前記眼の追跡回路２０６は、前記眼の追跡
手段ＣＬ３を構成し、前記眼の位置検出回路２０５にお
いて検出された眼の位置を基準に眼を含む追跡領域を設
定すると共に、該追跡領域内で顔の特徴量を検出して眼
の詳細位置を検出し、両眼を独立に追跡する。

【００５２】眼の再検出領域学習回路２０７は、前記眼
の再検出領域の学習手段ＣＬ４を構成し、前記眼の追跡
回路２０６からの信号により、眼の追跡を行いながら運
転者が前を見ているという条件の下に眼の再検出領域を
学習し、眼の再検出領域の優先順位決定回路２０８へ入
力する。眼の再検出領域の優先順位決定回路２０８は、
前記眼の再検出領域の優先順位決定手段ＣＬ５を構成
し、眼の再検出領域学習回路２０７によって学習した眼
の再検出領域の切り替え優先順位を決定し、眼の再検出
回路２０９へ入力する。眼の再検出回路２０９は、前記
眼の再検出手段ＣＬ６を構成し、前記決定された優先順
位で眼の再検出領域を切り替え、該切り替えた眼の再検
出領域内で追跡対象として眼を再度検出し、脇見運転検
出回路２１０へ入力する。

【００５３】脇見運転検出回路２１０は、前記脇見検出
手段ＣＬ７を構成し、前記眼の追跡回路２０６と眼の再
検出回路２０９との少なくとも一方の情報を用いること
により運転者の脇見運転を検出する。

【００５４】次に、上記構成における動作の流れを、図
３のフローチャートに基づいて説明する。まず、ステッ
プＳ３０１において、ＴＶカメラによって顔部分が撮影
され、ステップＳ３０２で１フレーム分の入力画像がＡ
−Ｄ変換器でデジタル信号に変換されたうえ画像メモリ
に格納される。

【００５５】次に、ステップＳ３０３において、眼の追
跡ミスフラグがＯＮかどうかをチェックする。初期状態
では眼の追跡ミスフラグはＯＦＦであるため、ステップ
Ｓ３０４に移行する。ステップＳ３０４では、画像全体
からの眼の初期位置の検出がなされているかどうかをチ
ェックする。このステップにおいても初期状態では眼の
初期位置は検出できていないため、ステップＳ３０５に
移行し、画像全体からの眼の位置検出を行う。その後、
ステップＳ３０６に移行して、眼の追跡領域を設定し、
眼の初期位置としての眼の再検出領域Ａの設定を行う。

【００５６】眼の追跡領域の設定方法と、眼の追跡処理
方法については、図５を用いて後述し、眼の初期位置と
しての眼の再検出領域Ａの設定方法について図６を用い
て後述する。

【００５７】ステップＳ３０６で上記の領域Ａの設定
後、ステップＳ３０７に移行する。ステップＳ３０７で
は、眼の追跡が行えているか否かを判定している。普
通、眼の追跡領域内に眼の位置が留まる範囲内の眼の動
きであれば眼の追跡ができる。眼の追跡が正常に行われ
ている場合は、その座標情報により脇見検出の判定が行
える。しかし、一旦眼を見失ってしまうと従来の装置で
の脇見検出はできなくなってしまう。また、顔の大きな
動きを伴う脇見状態を想定すると、眼の追跡に失敗する
ことも多々あると考えるのが自然である。ステップＳ３
０７で眼の追跡状態がＯＫである場合は、ステップＳ３
０８に移行し、眼の座標位置が所定値以上移動し、且つ
両眼の相対位置関係が保持されているか否かを判定す
る。ステップＳ３０８の条件を満たす場合は、ステップ
Ｓ３１２に移行して眼の追跡領域内で検出できるデータ
が眼のパターン条件を満たすかどうかを判定する。

【００５８】ステップＳ３０８とＳ３１２での判定は、
眼の位置の移動があっても運転者が前方を見ていると考
えられる条件を当てはめたもので、この２つの条件に合
う場合は、眼の位置の移動があっても運転者は車両前方
を見ている確率が高いといえる。ステップＳ３０８とＳ
３１２での判定方法については、図７、図８を用いて後
述する。

【００５９】ステップＳ３０８またはＳ３１２で、諸条
件を満たさないと判定された時は、ステップＳ３０９に
移行して眼の追跡領域を更新してステップＳ３０１に戻
り次の画像データの取り込みを行う。このループを回る
処理は、眼の追跡が正常に行われている場合のもので、
眼の追跡に失敗しなければ眼の位置の移動状態による脇
見検出を行うことができる。このステップＳ３０９の追
跡領域の更新処理の内容は、後述の図５で説明するもの
と同様である。

【００６０】ステップＳ３０８とステップＳ３１２で、
諸条件を満たしたと判定された時は、ステップＳ３１３
に移行する。ステップＳ３１３では、眼を見失った時に
用いる眼の再検出領域を学習する。この考え方は、ステ
ップＳ３０６の眼の初期位置での眼の再検出領域Ａの設
定方法と同じで有り後述する。その後、ステップＳ３１
４に移行して眼の再検出領域の優先順位の決定更新を行
う。眼の再検出領域の優先順位の決定更新方法は、図９
〜図１１を用いて後述する。

【００６１】このように眼の再検出領域の学習、優先順
位を決定、更新を行いながらの眼の追跡を続ける中で、
眼を見失った場合は、図３のステップＳ３０７で、その
ことを認識しステップＳ３１０に移行する。ステップＳ
３１０では、脇見判定タイマーをスタートさせ、ステッ
プＳ３１１で眼の追跡ミスフラグをＯＮにする。その
後、図４のステップＳ４０１に移行し、眼の再検出領域
が所定箇所設定できているかどうかをチェックする。こ
のステップでは、運転者が前方を見ていて、且つ眼が存
在する領域がある程度、学習できたかどうかを判定して
おり、初期段階で眼を見失った場合は、ステップＳ４１
０に移行して、眼の初期位置の設定を解除して、脇見判
定タイマーをストップ、リセットさせ、眼の追跡ミスフ
ラグをＯＦＦにする。その後、ステップＳ３０１に戻
り、また、初期状態からの眼の位置検出と、眼の再検出
領域の設定を行う。

【００６２】このループの処理は、異常状態のバックア
ップとして用意しているもので、眼の再検出領域の所定
箇所の設定は、眼の追跡を行いながらする処理であるた
め、長い時間がかかるということはなく、通常状態では
ステップＳ４０２に移行する。ステップＳ４０２からス
テップＳ４０７の処理は、３つの眼の再検出領域での眼
の再検出を行っている例である。ステップＳ４０２，Ｓ
４０４，Ｓ４０６の眼の再検出領域の設定は、図４のス
テップＳ３１３とＳ３１４において行われ、その順序も
随時変更される。

【００６３】ステップＳ４０３，Ｓ４０５，Ｓ４０７
は、各々の同領域内において眼の再検出を行っており、
眼の再検出ができた場合は、ステップＳ４１１に移行
し、脇見判定タイマーをストップ、リセットして、眼の
追跡ミスフラグをＯＦＦにする。その後、ステップＳ４
１２で同領域内で検出できた眼のデータを基準に眼の追
跡領域を設定し、眼の追跡を開始する。

【００６４】また、ステップＳ４０３，Ｓ４０５，Ｓ４
０７のどの領域においても、眼の再検出ができない場合
は、ステップＳ４０８に移行し、脇見運転タイマーが所
定時間を越えたかどうかを判定する。脇見許容時間を越
えていない場合は、ステップＳ３０１に戻り、次の画像
データでの眼の再検出に移る。このループの判定中にス
テップＳ４０８で脇見許容時間を越えたと判定された場
合は、ステップＳ４０９に移行して脇見状態が発生して
いると判断する。このように運転者が前方を見ていると
考えられる時に眼が存在する領域を、効率的に検索でき
る構成としたため、ステップＳ４０８で脇見許容時間を
越える状態が発生した場合は、運転者が脇見をしている
状態である確率は高く、眼の追跡に失敗するような場面
があったとしても精度高い脇見検出が可能となる。

【００６５】ここで、前記ステップＳ３０６における眼
の追跡領域の設定方法と、眼の追跡処理方法について図
５を用いて説明する。図５（ａ）のように、画像全体か
ら検出した眼の位置が中央になるようにして眼の追跡領
域Ｗ１の基準点を左上に設定する。図５の（ｂ）は、次
の画像データを取り込んだ状態を示すものである。前の
画像データで設定した眼の追跡領域Ｗ１に対し、次の画
像データでの眼の位置は、顔の動きなどで必ずしも該領
域の中央にこない。この時、次の画像データでは、この
眼の追跡領域内で検出された眼の位置が中央になるよう
にして、（ａ）の場合と同様に眼の追跡領域Ｗ２の基準
点を左上に設定する。このようにして眼の追跡領域内に
眼が検出できる場合は、順次、基準点の座標を更新しな
がら眼の追跡を続ける。

【００６６】つぎに、前記ステップＳ３０６における、
眼の初期位置としての眼の再検出領域Ａの設定について
図６を用いて説明する。眼の再検索は、眼の追跡に失敗
し眼を見失ってしまった時に、運転者が車両前方を見て
いる場合に両眼が存在する可能性が高い領域として設定
する。図６の（ａ）は初期状態での眼の検出位置に基づ
き、両眼が入る横長の１つの矩形領域として設定した例
を示す。図６の（ｂ）は、左右の眼の領域を独立させて
２つの小さな矩形領域として設定した例を示す。

【００６７】前記ステップＳ３１３では、前記のように
眼を見失った時に用いる眼の再検出領域を学習するが、
この考え方は、前記ステップＳ３０６の眼の初期位置で
の眼の再検出領域Ａの設定方法と同じで、図７のように
両眼が所定値以上移動しても、運転者が車両前方を見て
いる状態であることを判定した上で、図６に示すよう
に、その位置を眼の再検出領域Ｂとして学習する。この
眼の再検出領域の学習は、眼の位置の移動がある毎に繰
り返されるので、眼の再検出領域はＢ以降、Ｃ，Ｄ，…
と学習していく。

【００６８】前記テップＳ３０８、Ｓ３１２での判定方
法については、図７、図８を用いて説明する。ステップ
Ｓ３０８で、図７に示すように、数フレームでの眼の追
跡状態をモニタすることによって、所定値以上の眼の座
標位置の移動が認識され、且つ両眼の左右間隔Ｄ１が保
持されていると判定された場合に、前記のようにステッ
プＳ３１２に移行して、追跡対象であるデータに対し、
眼のパターンマッチングを行う。眼のパターンマッチン
グは、図８に示すような２値化した形状で行っており、
普通、光環境が良く安定した画像であれば図８の（ａ）
に示すようなものになる。しかし、光環境が悪化した時
は、図８の（ｂ）や（ｃ）のような形状になることもあ
るので、眼のパターンは、横幅が眼の幅の相場値の２／
３以上あり、且つ上に凸の所定範囲の曲率を持っている
ことの条件と、黒眼の左側の凹み形状条件のと、黒
目の右側の凹み形状条件のを組み合わせることにより
設定し、図８の（ｂ），（ｃ）の例を許容するために
と、またはとの条件を満たすものであってもＯＫ
とする。

【００６９】前記ステップＳ３１４の眼の再検出領域の
優先順位の決定更新方法は、図９〜図１１のようにな
る。

【００７０】図９は、眼の再検出領域の学習手段によっ
て学習した複数個の眼の再検出領域の代表座標値の接近
度合いでグループ化を行い、各グループ毎に眼の再検出
領域を更新設定し、その度数が多い順に更新した眼の再
検出領域を切り替えて眼の再検出を行う方法を説明した
ものである。図６に示す眼の再検出領域の１つまたは２
つの代表座標値を基準に、図９に示すように代表座標値
の度数カウント領域を設定する。本例は眼の再検出領域
を１つとした場合である。

【００７１】つぎに、この代表座標値の接近度合いでの
該データのグルーピング方法と、各グループ毎の眼の再
検出領域の更新設定方法を説明する。図９の（１）〜
（１２）の数字は、眼の再検出領域の代表座標値が設定
されていった順序を示すものである。

【００７２】まず、始めに（１）の眼の再検出領域の代
表座標値を基準に度数カウント領域を設定すると共に、
今後、設定される眼の再検出領域の代表座標値が該度数
カウント領域に含まれた場合の更新対象としての眼の再
検出領域も設定する。つぎに（２）の眼の再検出領域の
代表座標値が設定された場合、（１）の度数カウント領
域内に含まれるため、（２）の該領域を（１）の該領域
に更新して、（１）の該領域の度数をカウントアップす
る。つぎに（３）の眼の再検出領域の代表座標値が設定
された場合、（３）の座標位置は（１）の度数カウント
領域内に含まれないため、新たに動領域を新たな更新対
象としての眼の再検出領域を設定する。このようにして
眼の再検出領域の代表座標値が設定される毎に、既に設
定されている度数カウント領域に含まれるか否かを判定
しながら、各更新対象としての眼の再検出領域を設定
し、その領域の度数をカウントアップする。この時
（６）のように２つ以上の度数カウント領域に含まれる
代表座標値があった場合は、両方の眼の再検出領域の度
数をカウントアップする。

【００７３】図９の例に示すように（１２）までの代表
座標値が設定された場合、（１）の該領域の度数が５
つ、（３）と（７）の該領域の度数が３つ、（８）と
（１２）の該領域の度数が１つとなる。

【００７４】よって、図３のフローチャートのステップ
Ｓ３１４での眼の再検出領域の優先順位の決定、更新方
法は、このカウントアップされる各領域の度数の多さに
よって決定する。また、その度数が同じ値になった場合
は、決定した順序が後の方を優先させるなどの条件付け
がなされている。

【００７５】このようにして、顔を撮像して顔画像デー
タを出力し、顔画像データを処理して眼の位置を検出
し、検出された眼の位置を基準に眼を含む追跡領域を設
定し追跡対象である両眼を検出しながら独立に追跡し、
眼の追跡を行いながら運転者が前を見ているという条件
の下に眼の再検出領域を複数学習し、学習した複数の眼
の再検出領域の切り替え優先順位を決定し、眼の再検出
手段では、前記決定された優先順位で眼の再検出領域を
切り替え、該切り替えた眼の再検出領域内で追跡対象と
して眼を再度検出することができる。

【００７６】従って、運転者が前方を見ているときに両
眼が存在する必要最小限の領域を学習することが可能と
なり、ノイズとなるデータが含まれる可能性が減少し、
目の検出精度を向上させることができる。

【００７７】また、目の再検出領域を切り替える優先順
位を決定することで効率的に目の再検出ができ、目の再
検出の時間を短縮することができる。従って、顔の大き
な動きを伴う脇見状態が発生しても、すぐに前方を向く
ような場合には直ちに目の再検出ができ、目の誤検出の
可能性を抑制することができる。

【００７８】運転者が前を見ている条件として両眼のパ
ターンマッチングが可能となったとき、すなわち、追跡
領域の画像上での座標位置が所定値以上移動し、且つ両
眼の間隔が保持できているときにパターンマッチングを
行うことができるとして両眼を含む矩形領域を再検出領
域として記憶することができる。このため、運転者が前
方を見ているという条件で確実に目の再検出領域を学習
することができ、目の検出精度向上と、目の誤検出抑制
とをより確実に行うことができる。

【００７９】さらに、学習した複数個の眼の再検出領域
の代表座標値の接近度合いでグループ化し、各グループ
毎に眼の再検出領域を更新設定し、更新設定した眼の再
検出領域内に含まれる代表座標値の度数が多い順に更新
設定した眼の再検出領域を切り替えて眼の再検出を行う
ため、運転者の両眼のある確率の高い順に目の再検出を
行うことができ、より確実に短時間で目の再検出を行う
ことができ、誤検出を抑制することができる。

【００８０】また、眼の追跡ができなくなったときから
眼の再検出領域において再度眼の検出ができるようにな
るまでの時間の長さで脇見運転を検出することができ、
目の追跡が困難な顔の大きな動きを伴う脇見状態も検出
することができる。

【００８１】図１０は、更新対象としての眼の再検出領
域の大きさを、度数カウントの多さに応じて可変させる
方法について説明したものである。図１０の（５），
（３），（１）は該領域の度数を示したものである。各
眼の再検出領域は、その度数が少ない時は大きめに設定
し、度数が増えてくるに従い該領域を更新して縮小して
いく。よって、図１０の例では、眼の再検出領域が、度
数１＞度数３＞度数５の関係になるようにしている。

【００８２】このように、更新設定した眼の再検出領域
内に含まれる代表座標値の度数が多い順から前記更新設
定する眼の検出領域の大きさを次第に大きくするように
可変とするため、運転者が前方を見ているときに両眼が
存在する必要最小限の領域を確実に学習することが可能
となり、ノイズとなるデータが含まれる可能性が減少
し、目の検出精度を確実に向上させることができる。

【００８３】図１１は、眼の再検出領域の優先順位決定
手段において、眼の再検出領域の学習手段によって学習
した眼の再検出領域を時系列的に新しいものから、古い
ものに順次切り替えて眼の再検出を行う方法について説
明したものである。図１１の（ａ）の（１）〜（５）の
数字は、眼の再検出領域の代表座標値が設定されていっ
た順序を示すものである。本例では、度数の代わりに時
系列の眼があった位置の情報を用いることを目的として
おり、眼の再検索を行う領域を新しく設定された（５）
から順に（４），（３），…と切り替えていく。また、
時系列的にどこまでの情報を参考にするかは、予め決め
ておき、例えば５領域とした場合は、図１１の（ｂ）に
示すように（１）の領域をカットとして（６）から
（２）を眼の検索対象とする。

【００８４】このように時系列的に切り替えた場合も、
運転者の両眼のある確率の高い順に目の再検出をより確
実に行うことができ、短時間で目の再検出を行うことが
でき、誤検出を抑制することができる。

【００８５】なお、眼の再検出領域の数は、脇見検出に
対する許容時間を可変させるのに関連して変更すること
も有効であると考える。例えば、車速が高い場合や、先
行車との車間距離が短い場合は、運転者の眼の位置が存
在する領域は、狭まってくることから対象とする眼の検
索領域の数も少なくすることが望ましい。すなわち、自
動車の車速状態等に応じて、運転者の両眼のある確率の
高い順に目の再検出を行うことができ、より確実に短時
間で目の再検出を行うことができ、誤検出を抑制するこ
とができる。

【００８６】最後に、眼の再検出領域の学習のトリガー
が、車速、蛇角、スロットル開度、ブレーキなど、運転
対象である自動車の運転状態が推定できる運転信号（車
両信号）とした場合の例を、図１２を用いて説明する。
図１２のフローチャートは、ステップＳ１２０８以外
は、図３のフローチャートと同じものである。ステップ
Ｓ１２０８は、運転者が前を見ていると推定できる状態
を、運転信号によって判断する処理を行っている。その
例としては、運転者がブレーキを踏んだ時は、車両前方
を見ている確率が高いといえることや、ハンドルが切ら
れていない状態で、加速している時は、運転者が前方を
見ている確率が高いということに基づいている。そし
て、車両信号の入力があったときには、ステップＳ１２
１２へ移行することになる。

【００８７】このようにして、運転対象の運転信号の入
力に基づいてパターンマッチングを行うことができ、運
転者が前方を見ているという条件で確実に目の再検出領
域を学習することができ、目の検出精度向上と、目の誤
検出抑制とをより確実に行うことができる。

【００８８】なお、本発明の内容にある眼の位置検出方
法は、「特開平１０−４０３６１号」、「特開平１０−
１４３６６９号」等にも記載されている方法を用いるこ
とが出来るのはもちろんである。

【図面の簡単な説明】

【図１】本発明の眼の状態検出装置の構成ブロック図で
ある。

【図２】本発明の一実施形態に係る眼の状態検出装置の
ブロック図である。

【図３】一実施形態に係り、脇見運転検出の全体動作を
示すフローチャートである。

【図４】一実施形態に係り、脇見運転検出の全体動作を
示すフローチャートである。

【図５】一実施形態の眼の追跡領域の設定方法、眼の追
跡方法に係り、（ａ）は眼の追跡領域及び基準点を示
し、（ｂ）は次のデータを取り込んだ状態を示す説明図
である。

【図６】一実施形態に係る眼の再検出領域の設定方法に
係り、（ａ）は１つの横長の矩形領域として設定した場
合、（ｂ）は２つの小さな矩形領域として設定した場合
の説明図である。

【図７】一実施形態に係り、眼の再検出領域の学習方法
の説明図である。

【図８】一実施形態に係る眼のパターンマッチングに係
り、（ａ）は光環境が安定している場合、（ｂ）（ｃ）
は光環境が悪化した場合の説明図である。

【図９】一実施形態に係り、眼の再検出領域の優先順位
の決定方法に関する説明図である。

【図１０】一実施形態に係り、度数情報による眼の再検
出領域の可変方法に関する説明図である。

【図１１】一実施形態に係り、眼の再検出領域の優先順
位の決定方法に関する説明図である。

【図１２】一実施形態に係り、眼の再検出領域を学習す
るトリガー情報として車両信号を用いた場合の動作を示
すフローチャートである。

【符号の説明】

ＣＬ１ 画像出力手段 ＣＬ２ 眼の位置検出手段 ＣＬ３ 眼の追跡手段 ＣＬ４ 眼の再検出領域の学習手段 ＣＬ５ 眼の再検出領域の優先順位決定手段 ＣＬ６ 眼の再検出手段 ＣＬ７ 脇見検出手段

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA01 CC16 DD06 FF04 QQ03 QQ24 QQ39 UU05 3D037 FA01 5B057 AA06 AA16 BA02 BA29 CE09 DA08 DA15 DC22 DC33 5L096 BA02 BA04 BA18 CA02 EA35 FA14 HA05 HA09

Claims (10)

【特許請求の範囲】
1. 【請求項１】 顔を撮像して顔画像データを出力する画
   像出力手段と、該画像出力手段から出力された顔画像デ
   ータを処理して眼の位置を検出する眼の位置検出手段
   と、 前記検出された眼の位置を基準に眼を含む追跡領域を設
   定し追跡対象である両眼を検出しながら独立に追跡する
   眼の追跡手段と、 前記眼の追跡手段により眼の追跡を行いながら運転者が
   前を見ているという条件の下に眼の再検出領域を学習す
   る眼の再検出領域の学習手段と、 前記眼の再検出領域の学習手段によって学習した眼の再
   検出領域の切り替え優先順位を決定する再検出領域の優
   先順位決定手段と、 前記決定された優先順位で眼の再検出領域を切り替え、
   該切り替えた眼の再検出領域内で追跡対象としての眼を
   再度検出する眼の再検出手段とを備えたことを特徴とす
   る眼の状態検出装置。
2. 【請求項２】 請求項１記載の眼の状態検出装置であっ
   て、 前記眼の再検出領域の学習手段は、前記運転者が前を見
   ている条件として両眼のパターンマッチングが可能とな
   ったときに両眼を含む矩形領域を前記再検出領域として
   記憶することを特徴とする眼の状態検出装置。
3. 【請求項３】 請求項２記載の眼の状態検出装置であっ
   て、 前記眼の再検出領域の学習手段は、前記追跡領域の画像
   上での座標位置が所定値以上移動し、且つ両眼の間隔が
   保持できているときに前記パターンマッチングを行うこ
   とを特徴とする眼の状態検出装置。
4. 【請求項４】 請求項２記載の眼の状態検出装置であっ
   て、 前記眼の再検出領域の学習手段は、運転対象の運転信号
   の入力に基づいて前記パターンマッチングを行うことを
   特徴とする眼の状態検出装置。
5. 【請求項５】 請求項１記載の眼の状態検出装置であっ
   て、 前記眼の再検出領域の優先順位決定手段は、前記眼の再
   検出領域の学習手段によって学習した複数個の眼の再検
   出領域の代表座標値の接近度合いでグループ化し、各グ
   ループ毎に眼の再検出領域を更新設定し、更新設定した
   眼の再検出領域内に含まれる代表座標値の度数が多い順
   に更新設定した眼の再検出領域を切り替えて眼の再検出
   を行うことを特徴とする眼の状態検出装置。
6. 【請求項６】 請求項５記載の眼の状態検出装置であっ
   て、 前記眼の再検出領域の優先順位決定手段は、前記更新設
   定した眼の再検出領域内に含まれる代表座標値の度数が
   多い順に前記更新設定する眼の検出領域の大きさを可変
   とすることを特徴とする眼の状態検出装置。
7. 【請求項７】 請求項１記載の眼の状態検出装置であっ
   て、 前記眼の再検出領域の優先順位決定手段は、前記眼の再
   検出領域の学習手段によって学習した複数個の眼の再検
   出領域を時系列的に新しいものから古いものへ順次切り
   替えて眼の再検出を行うことを特徴とする眼の状態検出
   装置。
8. 【請求項８】 請求項５〜７の何れかに記載の眼の状態
   検出装置であって、 前記眼の再検出領域の優先順位決定手段は、運転対象の
   状態に応じて眼の再検出領域の優先順位の決定方法を変
   更することを特徴とする眼の状態検出装置。
9. 【請求項９】 請求項１〜８の何れかに記載の眼の状態
   検出装置であって、 前記眼の追跡手段と前記眼の再検出手段との少なくとも
   一方の情報を用いることにより運転者の脇見運転を検出
   する脇見検出手段を備えたことを特徴とする眼の状態検
   出装置。
10. 【請求項１０】 請求項９記載の眼の状態検出装置であ
    って、 前記脇見検出手段は、眼の追跡ができなくなったときか
    ら眼の再検出領域において再度眼の検出ができるように
    なるまでの時間の長さで脇見運転を検出することを特徴
    とする眼の状態検出装置。