JP2001307076A - 眼の状態検出装置、居眠り検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 眼の開度値が小さくなったことを正確に判定
することを可能とする。 【解決手段】 顔画像データを出力する画像出力手段Ｃ
Ｌ１と、顔画像データを処理して顔の特徴量を検出する
特徴量検出手段ＣＬ２と、予め記憶された眼の特徴情報
に合致する特徴量を抽出して眼の位置を検出する眼の位
置検出手段ＣＬ３と、眼を含む追跡領域を設定すると共
に、追跡領域内で眼の詳細濃度を検出し、眼の詳細濃度
の変化から眼の開度値及び上瞼の位置を検出する眼の開
度検出手段ＣＬ４と、眼の位置又は眼の詳細濃度に基づ
いて眼の周りの固定的な顔の基準特徴量を検出する基準
特徴量検出手段ＣＬ５と、基準特徴量及び上瞼の特定位
置の上下位置間隔を計測する上下間隔計測手段ＣＬ６
と、眼の開度検出手段ＣＬ４で検出された眼の開度値と
上下間隔計測手段ＣＬ６で計測された上下位置間隔とか
ら眼の開閉状態を判定する開閉眼判定手段ＣＬ７とを備
えたことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両の運転者、船
舶の操船者、プラント等のオペレータ等の居眠り状態を
検出し警報することなどに供する眼の状態検出装置、居
眠り検出装置に関する。

【０００２】

【従来の技術】従来の画像処理によるこの種の装置に
は、例えば特開平１０−１４３６６９号に記載されたよ
うなものがある。これは運転者の顔画像の濃淡情報から
眼の位置を検出し、眼の開度値による開閉眼判定を行い
ながら覚醒度を検出する構成としている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の装置では、単に眼の開度値による眼の開閉眼判定を
行う構成であるため、正確な眼の状態、居眠りを検出す
ることに限界を招いていた。

【０００４】例えば、図１６に示すように眼鏡１を掛け
ている人を対象とした場合、顔画像において眼鏡１のレ
ンズ部３に対する写り込みが白っぽく発生することがあ
る。この写り込みが、例えば眼を下半分だけマスクする
ような状態になると、眼の開度値が小さくなったと誤認
識する恐れがある。同様な問題は、図１７に示すような
笑っているときや、図１８に示すように眼の近くに強い
光が当たり眩しそうに眼を細めたときにも起こりうる。

【０００５】逆に、運転者が眠くなって目を閉じている
にも係わらず、眼の開度値が小さくなったことを認識で
きない恐れもある。例えば、図１９のように画像のコン
トラストが弱いときには、眼の開度値を検出するための
２値化閾値の最適範囲が極端に小さくなるため、僅かな
２値化閾値のずれで眼と眼の下にある陰の部分とが一体
化してしまい、目を閉じていても開度値が大きいと認識
する恐れがある。

【０００６】これらの誤認識を避けるためには、装置の
解像度を高くしなければならず、高価な装置になると言
う問題がある。

【０００７】この発明は、安価な装置でありながら、正
確な認識を可能とする眼の状態検出装置、居眠り検出装
置の提供を課題とする。

【０００８】

【課題を解決するための手段】請求項１の発明は、顔を
撮像して顔画像データを出力する画像出力手段と、該画
像出力手段から出力された顔画像データを処理して顔の
特徴量を検出する特徴量検出手段と、前記検出された顔
の特徴量から予め記憶された眼の特徴情報に合致する特
徴量を抽出して眼の位置を検出する眼の位置検出手段
と、前記検出された眼の位置を基準に眼を含む追跡領域
を設定すると共に、該追跡領域内で顔の特徴量を検出し
て眼の詳細濃度を検出し、該眼の詳細濃度の変化から眼
の開度値及び上瞼の位置を検出する眼の開度検出手段
と、前記眼の位置又は眼の詳細濃度の少なくとも一方に
基づいて眼の周りの固定的な顔の基準特徴量を検出する
基準特徴量検出手段と、前記検出された基準特徴量及び
上瞼の特定位置の上下位置間隔を計測する上下間隔計測
手段と、前記眼の開度検出手段で検出された眼の開度値
と前記上下間隔計測手段で計測された上下位置間隔とか
ら眼の開閉状態を判定する開閉眼判定手段とを備えたこ
とを特徴とする。

【０００９】請求項２の発明は、請求項１記載の眼の状
態検出装置であって、前記特徴量検出手段は、前記画像
出力手段が出力した顔画像データから顔の縦方向の画素
列に沿って画素の濃度値を読み出し、該濃度値の局所的
な高まり毎に１個づつの画素を定めて抽出点とし、隣接
した抽出点を連続させて顔の横方向に延びる連続データ
を抽出して顔の特徴量とし、前記眼の開度検出手段は、
前記検出された眼の位置を基準に眼を含む追跡領域を設
定すると共に、該追跡領域内で縦方向の画素列に沿って
画素の濃度値を読み出し、該濃度値の局所的な高まり毎
に１個づつの画素を定めて抽出点とし、隣接した抽出点
を連続させて顔の横方向に延びる連続データを抽出して
眼の詳細濃度を検出し、且つ該眼の詳細濃度の変化から
眼の開度値及び上瞼の位置を検出することを特徴とす
る。

【００１０】請求項３の発明は、請求項１又は２記載の
眼の状態検出装置であって、前記基準特徴量検出手段
は、前記固定的な顔の基準特徴量として眉を検出するこ
とを特徴とする。

【００１１】請求項４の発明は、請求項１又は２記載の
眼の状態検出装置であって、前記基準特徴量検出手段
は、前記固定的な顔の基準特徴量として眼鏡フレームの
下部を検出することを特徴とする。

【００１２】請求項５の発明は、請求項１又は２記載の
眼の状態検出装置であって、前記基準特徴量検出手段
は、前記固定的な顔の基準特徴量として鼻孔を検出する
ことを特徴とする。

【００１３】請求項６の発明は、請求項２〜５の何れか
に記載の眼の状態検出装置であって、前記基準特徴量検
出手段は、前記固定的な顔の基準特徴量として前記顔の
特徴量である連続データを用いることを特徴とする。

【００１４】請求項７の発明は、請求項３記載の眼の状
態検出装置であって、前記上下間隔計測手段は、前記上
瞼の特定位置として前記眼の詳細濃度の２値化形状での
エッジ部を用い、前記眉の特定位置として前記顔の特徴
量である眉の連続データでの最上端位置を用いることを
特徴とする。

【００１５】請求項８の発明は、請求項４記載の眼の状
態検出装置であって、前記上下間隔計測手段は、前記上
瞼の特定位置として前記眼の詳細濃度の２値化形状での
エッジ部を用い、前記眼鏡フレームの下部の特定位置と
して前記顔の特徴量である眼鏡フレームの下部の連続デ
ータでの最下端位置を用いることを特徴とする。

【００１６】請求項９の発明は、請求項５記載の眼の状
態検出装置であって、前記上下間隔計測手段は、前記上
瞼の特定位置として前記眼の詳細濃度の２値化形状での
エッジ部を用い、前記鼻孔の特定位置として前記顔の特
徴量である鼻孔の連続データでの最暗位置を用いること
を特徴とする。

【００１７】請求項１０の発明は、請求項１〜９の何れ
かに記載の眼の状態検出装置であって、前記開閉眼判定
手段は、前記基準特徴量の出現状態の安定性を判定し、
該判定の安定、不安定により前記眼の開閉状態の判定で
前記基準特徴量及び上瞼の特定位置の上下位置間隔の使
用、未使用を切り替えることを特徴とする。

【００１８】請求項１１の発明は、請求項１〜９の何れ
かに記載の眼の状態検出装置であって、前記開閉眼判定
手段は、前記基準特徴量の出現状態の安定性を判定し、
該判定により安定しているとされたとき前記眼の開閉状
態の判定で前記基準特徴量及び上瞼の特定位置の上下位
置間隔を前記眼の開度値に優先させることを特徴とす
る。

【００１９】請求項１２の発明は、請求項１０又は１１
記載の眼の状態検出装置であって、前記開閉眼判定手段
は、前記安定、不安定の判定に前記顔の特徴量としての
連続データを用いることを特徴とする。

【００２０】請求項１３の発明は、請求項１又は２記載
の眼の状態検出装置であって、前記基準特徴量検出手段
は、前記眼の周りの固定的な顔の基準特徴量を複数種検
出し、前記上下間隔計測手段は、前記検出された各基準
特徴量及び上瞼の特定位置の上下位置間隔を計測し、前
記開閉眼判定手段は、前記複数種の基準特徴量の出現状
態の安定性を判定し、該判定の安定、不安定により前記
眼の開閉状態の判定で前記複数種の基準特徴量及び上瞼
の特定位置の上下位置間隔の何れかを選択することを特
徴とする。

【００２１】請求項１４の発明は、請求項１〜１３の何
れかに記載の眼の状態検出装置であって、前記開閉眼判
定手段は、前記眼の開閉状態の判定で前記基準特徴量及
び上瞼の特定位置の上下位置間隔が予め設定した範囲を
超えていると判定したとき前記眼の位置検出手段による
眼の位置検出へ処理を戻すことを特徴とする。

【００２２】請求項１５の発明は、請求項１３記載の眼
の状態検出装置であって、前記基準特徴量検出手段は、
前記眼の周りの固定的な顔の基準特徴量として眉、眼鏡
のフレーム、鼻孔を検出することを特徴とする。

【００２３】請求項１６の発明は、請求項１〜１４の何
れかに記載の眼の状態検出装置であって、前記開閉眼判
定手段から出力される眼の開閉状態の判定結果に基づき
覚醒度を判定する覚醒度判定手段を設けたことを特徴と
する。

【００２４】

【発明の効果】請求項１の発明では、画像出力手段が顔
を撮像して顔画像データを出力し、特徴量検出手段が出
力された顔画像データを処理して顔の特徴量を検出し、
眼の位置検出手段によって検出された顔の特徴量から予
め記憶された眼の特徴情報に合致する特徴量を抽出して
眼の位置を検出することができる。そして眼の開度検出
手段では、検出された眼の位置を基準に眼を含む追跡領
域を設定すると共に、追跡領域内で顔の特徴量を検出し
て眼の詳細濃度を検出し、該眼の詳細濃度の変化から眼
の開度値及び上瞼の位置を検出することができる。基準
特徴量検出手段では、前記眼の位置又は眼の詳細濃度の
少なくとも一方に基づいて眼の周りの固定的な顔の基準
特徴量を検出することができる。上下間隔計測手段で
は、検出された基準特徴量及び上瞼の特定位置の上下位
置間隔を計測することができる。開閉眼判定手段では、
眼の開度検出手段で検出された眼の開度値と上下間隔計
測手段で計測された上下位置間隔とから眼の開閉状態を
判定することができる。従って、眼の開閉状態を判定す
るに際して、基準特徴量及び上瞼の特定位置の上下位置
間隔を考慮することにより、眼の開度値が小さくなって
いる原因を推定することができ、検出対象とする人が眠
くて眼を閉じているときに限定して開閉状態を判定する
ことができる。しかも、装置の解像度を特に上げる必要
もなく、安価に製造することができる。

【００２５】請求項２の発明では、請求項１の発明の効
果に加え、特徴量検出手段は、画像出力手段が出力した
顔画像データから顔の特徴方向の画素列に沿って画素の
濃度値を読み出し、該濃度値の局所的な高まり毎に１個
づつの画素を定めて抽出点とし、隣接した抽出点を連続
させて顔の横方向に延びる連続データを抽出して顔の特
徴量とすることができる。又、眼の開度検出手段は検出
された眼の位置を基準に眼を含む追跡領域を設定すると
共に、該追跡領域内で縦方向の画素列に沿って画素の濃
度値を読み出し、該濃度値の局所的な高まり毎に１個づ
つの画素を定めて抽出点とし、隣接した抽出点を連続さ
せて顔の横方向に延びる連続データを抽出して眼の詳細
濃度を検出し、且つ該眼の詳細濃度の変化から眼の開度
値及び上瞼の位置を検出することができる。従って、正
確な顔の特徴量の抽出と、正確な眼の詳細濃度の検出と
により、眼の開閉状態をより正確に判定することができ
る。

【００２６】請求項３の発明では、請求項１又は２の発
明の効果に加え、基準特徴量検出手段は、固定的な顔の
基準特徴量として眉を検出することができる。従って、
眉を基準に眼の開度値が小さくなっている原因を推定す
ることができ、より正確な判定を行うことができる。

【００２７】請求項４の発明では、請求項１又は２の発
明の効果に加え、基準特徴量検出手段は、固定的な顔の
基準特徴量として眼鏡フレームの下部を検出することが
できる。従って、検出対象とする人が眼鏡を掛けている
ときにはこれを利用して眼の開度値が小さくなっている
原因を推定することができ、より正確な判定を行うこと
ができる。

【００２８】請求項５の発明では、請求項１又は２の発
明の効果に加え、基準特徴量検出手段は、固定的な顔の
基準特徴量として鼻孔を検出することができる。従っ
て、眉あるいは眼鏡フレームの特定位置を検出すること
ができない場合であっても、鼻孔を基準として眼の開度
値が小さくなっている原因を推定することができ、より
正確な判定を行うことができる。

【００２９】請求項６の発明では、請求項２〜５の何れ
かの発明の効果に加え、基準特徴量検出手段は、固定的
な顔の基準特徴量として顔の特徴量である連続データを
用いることができる。従って、画像データの演算処理時
間を短縮することが可能で、眼の追跡性能など高速での
処理が不可欠である判定への影響を抑えることができ
る。

【００３０】請求項７の発明では、請求項３の発明の効
果に加え、上下間隔計測手段は、上瞼の特定位置として
眼の詳細濃度の２値化形状でのエッジ部を用い、眉の特
定位置として顔の特徴量である眉の連続データでの最上
端位置を用いることができる。従って、双方ともデータ
的に安定した部分であり、相互の上下間隔を計測するこ
とで計測する値のバラツキを小さくすることが可能とな
り、眼の開閉状態をより正確に判定することができる。

【００３１】請求項８の発明では、請求項４の発明の効
果に加え、上下間隔計測手段は、上瞼の特定位置として
眼の詳細濃度の２値化形状でのエッジ部を用い、眼鏡フ
レームの下部の特定位置として顔の特徴量である眼鏡フ
レームの連続データでの最下端位置を用いることができ
る。従って、眼鏡を掛けている人の場合に安定したデー
タとして眼鏡フレームの連続データでの最下端位置を用
いることができ、眼の開閉状態をより正確に判定するこ
とができる。

【００３２】請求項９の発明では、請求項５の発明の効
果に加え、上下間隔計測手段は、上瞼の特定位置として
眼の詳細濃度の２値化形状でのエッジ部を用い、鼻孔の
特定位置として顔の特徴量である鼻孔の連続データでの
最暗位置を用いることができる。従って、眼鏡を掛けて
いない人などの場合に、安定したデータとして鼻孔の連
続データでの最暗位置を用いることができ、計測する値
のバラツキを小さくすることが可能となり、眼の開閉状
態をより正確に判定することができる。

【００３３】請求項１０の発明では、請求項１〜９の何
れかの発明の効果に加え、開閉眼判定手段は、基準特徴
量の出現状態の安定性を判定し、判定の安定、不安定に
より眼の開閉状態の判定で基準特徴量及び上瞼の特定位
置の上下位置間隔の使用、未使用を切り替えることがで
きる。従って、基準特徴量が出現しにくい人の場合に
は、基準特徴量と上瞼との間の上下位置間隔を用いない
ようにし、判定の信頼性向上を図ることができる。

【００３４】請求項１１の発明では、請求項１〜９の何
れかの発明の効果に加え、開閉眼判定手段は、基準特徴
量の出現状態の安定性を判定し、該判定により安定して
いるとされたとき、眼の開閉状態の判定で基準特徴量及
び上瞼の特定位置の上下位置間隔を眼の開度値に優先さ
せることができる。従って、基準特徴量の出現状態の安
定しているときに限って上下位置間隔を用いることによ
り眼の開閉状態の判定をより正確に行うことができる。

【００３５】請求項１２の発明では、請求項１０又は１
１の発明の効果に加え、開閉眼判定手段は、安定、不安
定の判定に顔の特徴量としての連続データを用いること
ができる。従って、光環境変化による影響を最小限にす
ることが可能で、データの安定性判定の精度を向上する
ことができる。

【００３６】請求項１３の発明では、請求項１又は２の
発明の効果に加え、基準特徴量検出手段は、眼の周りの
固定的な顔の基準特徴量を複数種検出し、上下間隔計測
手段は検出された各基準特徴量及び上瞼の特定位置の上
下位置間隔を計測し、開閉眼判定手段は複数種の基準特
徴量の出現状態の安定性を判断し、判定の安定、不安定
により眼の開閉状態の判定で複数種の基準特徴量及び上
瞼の特定位置の上下位置間隔のいずれかを選択すること
ができる。従って、上下位置間隔の計測値の信頼度を評
価することが可能となり、眼の開閉状態の判定で該値の
判定優先度をコントロールすることができ、より正確な
判定を行うことができる。

【００３７】請求項１４の発明では、請求項１〜１３の
何れかの発明の効果に加え、開閉眼判定手段は、眼の開
閉状態の判定で基準特徴量及び上瞼の特定位置の上下位
置間隔が予め設定した範囲を超えていると判定したと
き、眼の位置検出手段による眼の位置検出へ処理を戻す
ことができる。従って、現在の追跡対象が眼であるか否
かを判定することが可能であり、検出ロジックの動作状
態の自己診断とバックアップを行うことができる。

【００３８】請求項１５の発明では、請求項１３の発明
の効果に加え、基準特徴量検出手段は、眼の周りの固定
的な顔の基準特徴量として眉、眼鏡のフレーム、鼻孔を
検出することができる。従って、上瞼と眉、眼鏡のフレ
ーム、鼻孔との上下間隔の計測値の信頼度を評価するこ
とが可能となり、眼の開閉状態の判定で該値の判定優先
度をコントロールすることができ、より正確な判定を行
うことができる。

【００３９】請求項１６の発明では、請求項１〜１４の
何れかの発明の効果に加え、覚醒度判定手段により開閉
眼判定手段から出力される眼の開閉状態の判定結果に基
づき覚醒度を判定することができる。従って、眼の開閉
状態の正確な判定結果を用いることにより、覚醒度の判
定を正確に行うことができる。

【００４０】

【発明の実施の形態】本装置は、自動車の他に鉄道車
両、船舶、プラントのオペレータ等の居眠り運転警報と
して用いることができるが、本実施例では自動車に適用
した場合で説明する。

【００４１】図１は、本発明を適用した眼の状態検出装
置の第１の構成ブロック図にかかり、該装置は、画像出
力手段ＣＬ１と、特徴量検出手段ＣＬ２と、眼の位置検
出手段ＣＬ３と、眼の開度検出手段ＣＬ４と、基準特徴
量検出手段ＣＬ５と、上下間隔計測手段ＣＬ６と、開閉
眼判定手段ＣＬ７と、覚醒度判定手段ＣＬ８とを備えて
いる。

【００４２】前記画像出力手段ＣＬ１は、乗員の顔を撮
像して顔画像データを出力する。前記特徴量検出手段Ｃ
Ｌ２は、前記画像出力手段ＣＬ１から出力された顔画像
データを処理して顔の特徴量を検出する。

【００４３】前記特徴量検出手段ＣＬ２は、前記画像出
力手段ＣＬ１が出力した顔画像データから顔の縦方向の
画素列に沿って画素の濃度値を読み出し、該濃度値の局
所的な高まり毎に１個づつの画素を定めて抽出点とし、
隣接した抽出点を連続させて顔の横方向に延びる連続デ
ータを抽出して顔の特徴量とする。また、前記特徴量検
出手段ＣＬ２は、前記画像出力手段ＣＬ１が出力した顔
画像データから顔の縦方向の画素列に沿って画素の濃度
値を読み出し、該濃度値の局所的な高まり毎に１個づつ
の画素を定めて抽出点とし、隣接した抽出点を連続させ
て顔の横方向に延びる連続データを抽出して顔の特徴量
とする。

【００４４】前記眼の位置検出手段ＣＬ３は、前記検出
された顔の特徴量から予め記憶された眼の特徴情報に合
致する特徴量を抽出して眼の位置を検出する。例えば、
眼の位置検出手段ＣＬ３は、前記検出された顔の特徴量
の代表座標値から該特徴量を含んで特定された存在領域
内で、予め記憶された眼のテンプレートに合致する特徴
量を抽出して眼の位置を検出する。

【００４５】前記眼の開度検出手段ＣＬ４は、前記検出
された眼の位置を基準に眼を含む追跡領域を設定すると
共に、該追跡領域内で顔の特徴量を検出して眼の詳細濃
度を検出し、該眼の詳細濃度の変化から眼の開度値及び
上瞼の位置を検出する。また、前記眼の開度検出手段Ｃ
Ｌ４は、前記検出された眼の位置を基準に眼を含む追跡
領域を設定すると共に、該追跡領域内で縦方向の画素列
に沿って画素の濃度値を読み出し、該濃度値の局所的な
高まり毎に１個づつの画素を定めて抽出点とし、隣接し
た抽出点を連続させて顔の横方向に延びる連続データを
抽出して眼の詳細を検出し、且つ該眼の詳細の濃度変化
から眼の開度を検出する前記基準特徴量検出手段ＣＬ５
は、前記眼の位置又は眼の詳細濃度の少なくとも一方に
基づいて眼の周りの固定的な顔の基準特徴量を検出す
る。また、前記基準特徴量検出手段ＣＬ５は、前記眼の
周りの固定的な顔の基準特徴量を複数種、即ち、眉また
は眼鏡フレームの下部または鼻孔を検出する。さらに、
前記基準特徴量検出手段ＣＬ５は、前記固定的な顔の基
準特徴量として前記顔の特徴量である連続データを用い
る。

【００４６】前記上下間隔計測手段ＣＬ６は、前記検出
された基準特徴量及び上瞼の特定位置の上下位置間隔を
計測する。また、前記上下間隔計測手段ＣＬ６は、前記
上瞼の特定位置として前記眼の詳細濃度の２値化形状で
のエッジ部を用い、前記眉の特定位置として前記顔の特
徴量である眉の連続データでの最上端位置を用い、前記
眼鏡フレームの下部の特定位置として前記顔の特徴量で
ある眼鏡フレームの下部の連続データでの最下端位置を
用い、前記鼻孔の特定位置として前記顔の特徴量である
鼻孔の連続データでの最暗位置を用いる。

【００４７】前記開閉眼判定手段ＣＬ７は、前記眼の開
度検出手段ＣＬ４で検出された眼の開度値と前記上下間
隔計測手段ＣＬ６で計測された上下位置間隔とから眼の
開閉状態を判定する。また、前記開閉眼判定手段ＣＬ７
は、前記基準特徴量の出現状態の安定性を判定し、該判
定の安定、不安定により前記眼の開閉状態の判定で前記
基準特徴量及び上瞼の特定位置の上下位置間隔の使用、
未使用を切り替える。さらに、前記開閉眼判定手段ＣＬ
７は、前記基準特徴量の出現状態の安定性を判定し、該
判定により安定しているとされたとき前記眼の開閉状態
の判定で前記基準特徴量及び上瞼の特定位置の上下位置
間隔を前記眼の開度値に優先させる。また、前記開閉眼
判定手段ＣＬ７は、前記安定、不安定の判定に前記顔の
特徴量としての連続データを用いる。さらに、前記開閉
眼判定手段ＣＬ７は、前記複数種の基準特徴量の出現状
態の安定性を判定し、該判定の安定、不安定により前記
眼の開閉状態の判定で前記複数種の基準特徴量及び上瞼
の特定位置の上下位置間隔の何れかを選択する。また、
前記開閉眼判定手段ＣＬ７は、前記眼の開閉状態の判定
で前記基準特徴量及び上瞼の特定位置の上下位置間隔が
予め設定した範囲を超えていると判定したとき前記眼の
位置検出手段による眼の位置検出へ処理を戻す。

【００４８】前記覚醒度判定手段ＣＬ８は、前記開閉眼
判定手段ＣＬ７から出力される眼の開閉状態の判定結果
に基づき覚醒度を判定する。

【００４９】図２は、本発明の一実施形態にかかる構成
ブロック図である。

【００５０】同図のように、ＴＶカメラ２０１が自動車
のインストルメントに設置され、運転者の顔部分を正面
から撮影する。ＴＶカメラ２０１の入力画像は、本実施
形態では、例えば横方向（Ｘ）５１２画素、縦方向
（Ｙ）４８０画素からなる。前記ＴＶカメラ１で撮像さ
れた入力画像は、Ａ−Ｄ変換器２０２を介して画素毎の
アナログ電圧が２５６階調のデジタル値に変換され、入
力画像データとして画像メモリ２０３に格納される。画
像メモリ２０３の出力は、画像データ演算回路２０４に
入力される。

【００５１】従って、ＴＶカメラ２０１、Ａ−Ｄ変換器
２０２、画像メモリ２０３は、本実施形態において前記
画像出力手段ＣＬ１を構成している。

【００５２】前記画像データ演算回路２０４は、前記特
徴量検出手段ＣＬ２を構成し、前記入力された顔画像デ
ータから顔の縦方向の画素列に沿って画素の濃度値を読
み出し、該濃度値の局所的な高まり毎に１個づつの画素
を定めて抽出点とし、隣接した抽出点を連続させて顔の
横方向に延びる連続データを抽出して顔の特徴量とし、
その出力は眼の位置検出回路２０５に入力される。

【００５３】前記眼の位置検出回路２０５は、前記眼の
位置検出手段ＣＬ３を構成し、前記検出された顔の特徴
量の画像上の位置、長さ、形状情報を用いて眼の位置を
検出し、その出力は眼の開度検出回路２０６に入力され
る。

【００５４】前記眼の開度検出回路２０６は、前記眼の
位置検出回路２０５において検出された眼の位置を基準
に眼を含む追跡領域を設定すると共に、該追跡領域内で
顔の特徴量を検出して眼の詳細濃度を検出し、該特徴量
の詳細濃度の変化から眼の開度を検出する。同時に、眼
の位置検出回路２０５は、前記基準特徴量検出手段ＣＬ
５を構成し、眼の周りの固定的な顔の基準特徴量として
眉、眼鏡のフレーム、鼻孔を検出する。この眼の開度検
出回路２０６出力は、上瞼と各部位の間隔計測回路２０
７に入力される。

【００５５】前記上瞼と各部位の間隔計測回路２０７
は、前記上下間隔検出手段ＣＬ６を構成するもので、前
記検出された基準特徴量及び上瞼の特定位置の上下位置
間隔を計測する。すなわち、上瞼と眉、眼鏡のフレー
ム、鼻孔との上下間隔を検出し、その出力は、開閉眼判
定回路２０８に入力される。

【００５６】前記開閉眼判定回路２０８は、前記開閉眼
判定手段ＣＬ７を構成するもので、前記眼の開度検出回
路２０６で検出された眼の開度値と前記上下間隔計測手
段ＣＬ６を構成する上瞼と各部位の間隔計測回２０７で
計測された上下位置間隔とから眼の開閉状態を判定し、
その出力は、覚醒度判定回路２０９に入力される。

【００５７】前記覚醒度判定回路２０９は、前記覚醒度
判定手段ＣＬ８を構成するもので、前記開閉眼判定回路
２０８から出力される眼の開閉状態の判定結果に基づき
覚醒度を判定する。従って、眼の開閉状態の正確な判定
結果を用いることにより、覚醒度の判定を正確に行うこ
とができる。

【００５８】そして図示はしないが、前記覚醒度判定の
結果、居眠り運転状態であれば、ブザーによる警報など
を発する。

【００５９】次に、上記構成における動作の流れを、図
３のフローチャートを用いて説明する。まず、図３のス
テップＳ３０１、ステップＳ３０２は前記画像出力手段
ＣＬ１として機能し、ステップＳ３０１では、前記ＴＶ
カメラ２０１によって顔部分が撮影され、ステップＳ３
０２では、１フレーム分の入力画像がＡ−Ｄ変換器２０
２でデジタル信号に変換されたうえ画像メモリ２０３に
格納される。

【００６０】ステップＳ３０３では、眼の追跡領域の有
無の確認が行われる。ここで、眼の追跡領域とは、眼を
含む所定領域を示し、この領域内に出現する連続データ
の位置を検出することによって眼の詳細位置、眼の詳細
濃度を認識し、特定された眼の詳細濃度を読み出し、そ
の変化により眼の開度、上瞼の位置を検出している。
又、この所定領域内に出現する連続データの詳細濃度を
基に次の取り込み画像での処理領域を設定することによ
って眼の位置変化に対応できるようになっている。

【００６１】ステップＳ３０３において、眼の追跡領域
が設定されていないと判断されたときは、ステップＳ３
０４において眼の位置検出を行なう。

【００６２】前記ステップＳ３０４は、まず前記特徴量
検出手段ＣＬ２として機能する。このステップＳ３０４
では、縦方向に１ライン処理してポイント抽出終了後
に、一つ隣のラインの処理に移して行き、縦方向の全ラ
インでのポイント抽出が終了するまで行う。

【００６３】前記ステップＳ３０４で全ラインのポイン
ト抽出が終了したら、隣合う各ラインの抽出ポイントの
Ｙ座標値を比較し、Ｙ座標値が所定値以内の場合、連続
データとして、連続データのグループ番号、連続開
始ライン番号、連続データ数、連続データを構成す
る各抽出ポイントの縦方向位置の平均値（その連続デー
タの代表上下位置）、連続開始ラインと終了ラインの
横方向位置の平均値（その連続データの代表左右位置）
をメモリする。ここでの検出対象は眼としているため、
その特徴量は横に比較的長く続くデータであるといえる
ので、横方向に所定値以上続くことを条件に連続データ
を選択することができる。

【００６４】又、前記ステップＳ３０４は、前記眼の位
置検出手段ＣＬ３として機能し、前記連続データから眼
の特徴情報、すなわち連続データの画像上の位置、長
さ、形状情報に合致する特徴量を抽出して眼の位置を検
出する。ステップＳ３０５においては、眼の追跡領域と
なる横方向（Ｘ方向）の幅と縦方向（Ｙ方向）の幅を設
定する。

【００６５】一方、前記ステップＳ３０３において、眼
の追跡領域が設定されていると判断されたときは、ステ
ップＳ３０６で眼の開度と詳細濃度との検出が行われ
る。このステップＳ３０６は、眼の開度検出手段ＣＬ４
を構成するもので、前記設定された追跡領域内で顔の特
徴量を検出して眼の詳細濃度を検出し、該眼の詳細濃度
の変化から眼の開度値及び上瞼の位置を検出する。又、
ステップＳ３０６は基準特徴量検出手段ＣＬ５を構成
し、前記検出した眼の詳細濃度を基準に眼の周りの固定
的な顔の基準特徴量として、例えば、眉、眼鏡のフレー
ム、鼻孔の各部位を検出する。

【００６６】次に、ステップＳ３０７は、前記上下間隔
計測手段ＣＬ６として機能するもので、ステップＳ３０
７においてステップＳ３０６で検出した眼の詳細濃度を
基準に検出した眉、眼鏡のフレーム下部、鼻孔の各部位
を読み込み、該データと眼の開度検出の際に求められる
上瞼との上下間隔を計測する。ステップＳ３０８では、
ステップＳ３０６で検出された眼の開度値や、ステップ
Ｓ３０７で検出される上瞼と各部位（眉、眼鏡のフレー
ム下部、鼻孔）との上下間隔より、眼が正しく追跡され
ているか否かを判断する。

【００６７】眼の追跡状態の判断は、撮影対象とする人
を限定すると、眼の開度値や上瞼と各部位との上下間隔
が変化する範囲は限られるため、その範囲外の値が出力
されると眼の追跡異常であると判断する。また、眼の開
度や上瞼と各部位との上下間隔の出力値が前記範囲内で
あっても、眼は瞬きなどで所定時間内には変化すると考
えられるため、所定時間以上開度値が変化しない場合も
眼の追跡異常であると判断する。

【００６８】前記ステップＳ３０８で眼の追跡異常と判
断された場合は、ステップＳ３１２に移行し眼の追跡領
域をクリアしてステップＳ３０１に戻る。この時は、眼
の追跡領域がクリアされているため、ステップＳ３０３
より、ステップＳ３０４に移行し、再度眼の位置検出を
行う。従って、ステップＳ３０８は、本実施形態におい
て開閉眼判定手段ＣＬ７として機能し、現在の追跡対象
が眼であるか否かを判定することが可能であり、検出ロ
ジックの動作状態の自己診断とバックアップを行うこと
ができる。

【００６９】前記ステップＳ３０８で眼の追跡異常がな
いと判断された場合は、ステップＳ３０９に移行し、開
閉眼判定手段ＣＬ７として眼の開度値と上瞼及び各部位
の上下間隔とを用いて開閉眼の判定を行う。この開閉眼
の判定は、事前に学習した眼の開度変化範囲や、上瞼と
各部位の上下間隔との変化範囲から決定した開閉眼判定
基準値に対し、各画像データでの出力値が大きいか、小
さいかで行う。また、眼の開度値と、上瞼と各部位との
間隔による判定方法は、基本的に全ての“ＡＮＤ”をと
るという考え方であるが、条件づけを行った上で、上瞼
と各部位との間隔変化による判定結果を優先させたり、
眉、眼鏡のフレーム下部、鼻孔のデータの出現安定性を
評価した上で、どのデータか１つに絞って判定すること
もできる。この具体例は図１３，図１５のフローチャー
トを用いて後述する。

【００７０】ステップＳ３１０は、前記覚醒度判定手段
ＣＬ８として機能し、開閉眼の出力結果の変化状態から
覚醒度を判定する。その後、ステップＳ３１１に移行
し、眼の追跡領域内で検出した眼の詳細濃度、位置座標
を基準に追跡領域の位置を更新してステップＳ３０１に
戻り同様の処理を続ける。

【００７１】なお、眼の位置検出、眼の開度検出、眼の
追跡方法、開閉眼の判定方法、覚醒度の判定の原理につ
いては、「特開平１０−４０３６１号」「特開平１０−
１４３６６９号」公報にも記載されている。

【００７２】次に本発明の基本部分である前記図３のス
テップＳ３０７の処理内容である上瞼と眉との上下間
隔、上瞼と眼鏡とのフレーム下部の上下間隔、上瞼と鼻
孔との上下間隔の計測方法について説明する。

【００７３】図３のステップＳ３０６で検出する眼の詳
細位置を基準に眉、眼鏡のフレーム下部、鼻孔が存在す
ると考えられる領域を限定し、該領域内の画像の濃淡情
報を用いてその特徴量を認識する。この特徴量の認識方
法は、モノクロ画像である原画像をそのままの状態で用
いたり、所定の２値化閾値で２値化した２値化画像を用
いることもできるが、原画像では、多階調での処理が煩
雑となり演算時間がかかるという問題点があり、また、
２値化画像においても適切な２値化閾値を決定するのに
処理時間がかかるだけでなく、検出対象の部位の光の当
たり方が一様でない場合に、検出精度が悪くなるという
問題点がある。

【００７４】本発明実施形態では、眼の位置検出や、開
閉眼検出と同様に眉、眼鏡のフレーム下部、鼻孔を連続
データとして捉えることにより、この問題点を解消す
る。

【００７５】図４に、上瞼５と眉７との上下間隔の計測
例を示す。なお、図４等では、図示上理解を容易にする
ため、顔画像データの一部を敢えて薄く示している。上
瞼５との上下間隔を計測する眉７を連続データＧ１とし
て認識することのメリットは、連続データＧ１の場合、
縦方向に所定間隔の画素へのアクセスしかないので、演
算処理時間が節約でき、また、各列を分離した状態で濃
度判定を行っているので眉の一部に光があたっていても
抽出点の検出ができるため光環境変化への対応力の高さ
があることである。

【００７６】この図４の例では、上瞼５と眉７との連続
データＧ１の上下間隔の計測に際し、眼を２値化形状と
して捉えた時の上端のエッジ部を上瞼５の特定位置と
し、連続データＧ１を構成する各抽出点の上下方向位置
の平均値を眉７の代表座標位置Ｃ１とし、眉７の特定位
置としている。そして、この上瞼５のエッジ部と眉７の
代表座標位置Ｃ１との上下間隔を計測している。前記眼
を２値化形状として捉えた時の上端のエッジ部は、デー
タ的に安定した部分であり、このエッジ部である上瞼５
を用いて上下間隔を計測することで計測する値のバラツ
キを小さくすることが可能となり、眼の開閉状態を正確
に判定することができる図４（ａ）は、開眼時の計測例
であり、上瞼５のエッジ部と眉７の代表座標位置Ｃ１と
の間隔は小さくなっている。同図（ｂ）は、閉眼時の計
測例であり、上瞼５のエッジ部と眉７の代表座標位置Ｃ
１との間隔は大きくなっている。

【００７７】このようにして、顔の固定的な基準特徴量
として眉７を用いることにより、眉７を基準に眼８の開
度値が小さくなっている原因を推定することができ、正
確な判定を行うことができる。

【００７８】図５に、上瞼５と眼鏡１のフレーム下部と
の上下間隔の計測例を示す。捕捉説明であるが、眼鏡１
のフレーム上部は、眉７のデータとほぼオーバーラップ
するので、敢えて眉７であるか、眼鏡１のフレーム上部
であるかを区別する必要がなく、本実施形態の説明では
省いている。この図５では、連続データＧ２を構成する
各抽出点の上下方向位置の平均値を眼鏡１のフレーム下
部の代表座標位置Ｃ２とし、眼鏡１のフレーム下部の特
定位置としている。そして、この眼鏡１のフレーム下部
の代表座標位置Ｃ２と上瞼５のエッジ部との上下間隔を
計測している。図５（ａ）は、開眼時の計測例であり、
上瞼５のエッジ部と眼鏡１のフレーム下部の代表座標値
Ｃ２との間隔は大きくなっている。同図（ｂ）は、閉眼
時の計測例であり、上瞼５のエッジ部と眼鏡１のフレー
ム下部の代表座標値Ｃ２との間隔は小さくなっている。

【００７９】このようにして、顔の固定的な基準特徴量
として眼鏡１のフレーム下部を用いることにより、検出
対象とする人が眼鏡を掛けているときにはこれを利用し
て眼の開度値が小さくなっている原因を推定することが
でき、正確な判定を行うことができる。

【００８０】図６に、上瞼５と鼻孔９，１１との上下間
隔の計測例を示す。この図６では、連続データＧ３を構
成する各抽出点の上下方向位置の平均値を鼻孔９，１１
の代表座標位置Ｃ３とし、鼻孔９，１１の特定位置とし
ている。そして、この鼻孔９，１１の代表座標位置Ｃ３
と上瞼５のエッジ部との上下間隔を計測している。図６
（ａ）は、開眼時の計測例であり、上瞼５のエッジ部と
鼻孔９，１１の代表座標値Ｃ３との間隔は大きくなって
いる。同図（ｂ）は、閉眼時の計測例であり、上瞼５の
エッジ部と鼻孔９，１１の代表座標値Ｃ３との間隔は小
さくなっている。

【００８１】このようにして、顔の固定的な基準特徴量
として鼻孔９，１１を用いることにより眉７あるいは眼
鏡１のフレーム下部を検出することができない場合であ
っても、鼻孔９，１１を基準として眼の開度値が小さく
なっている原因を推定することができ、正確な判定を行
うことができる。

【００８２】すなわち、眼８の開度値による開閉眼判定
に加え、上瞼５と各部位１，７，９，１１との上下間隔
の計測値を用いることで、眼鏡１のレンズ部に写り込み
が発生しても、検出対象とする人が笑っても、眩しそう
に眼を細めても、その開度値の変化が居眠り状態になっ
て発生したものではないことを認識することができる。

【００８３】図７〜図９に上瞼５と眉７との上下間隔の
計測例を、各場面に当てはめたものを示す。但し、前記
眼鏡１のフレーム下部、前記鼻孔９，１１に関しても眉
７と同様に扱うことができる。従って、ここでは眉７を
代表して説明する。

【００８４】図７は、眼鏡１のレンズ部に写り込みが発
生し、眼８の開度値が小さくなっている例を示す。この
ような状態になっても、実際は眼を閉じているわけでは
ないので、上瞼５と眉７との上下間隔Ｄが大きくなるこ
とはない。この上下間隔Ｄが大きくなることがないこと
を条件に、眼８の開度値が小さくなっている原因（眼鏡
１のレンズ部に写り込みが発生）を推定することができ
る。

【００８５】図８は、検出対象とする人が笑っている例
を示す。眼８の開度値は図８の（ａ）と（ｂ）とを見比
べると、笑っている（ｂ）の例の方が、明らかに小さく
なっていることが分かる。しかし、笑って眼８を細めて
いる時は、頬の筋肉が上がって眼８が細くなっているの
で、上瞼５と眉７との上下間隔は殆ど変化していない。
この上瞼５と眉７との上下間隔が殆ど変化していないこ
とを条件に、眼８の開度値が小さくなっている原因（検
出対象とする人が笑っている）を推定することができ
る。

【００８６】図９は、検出対象とする人が眩しそうに眼
８を細めている例を示す。この例も、笑って眼８を細め
ている例と同様に、頬の筋肉が上がって眼８が細くなっ
ているので（ａ）、上瞼５と眉７の上下間隔Ｄが大きく
なることはない（ｂ）。この上瞼５と眉７との上下間隔
Ｄが大きくなることがないことを条件に、眼８の開度値
が小さくなっている原因（検出対象とする人が眩しそう
に眼８を細めている）を推定することができる。

【００８７】前述の実施形態では、眉７、眼鏡１のフレ
ーム下部、鼻孔９，１１を連続データＧ１，Ｇ２，Ｇ３
として捉え、各連続データＧ１，Ｇ２，Ｇ３を構成する
抽出点全ての上下方向の位置を平均した値を該データの
代表座標値Ｃ１，Ｃ２，Ｃ３として用い、上瞼５との間
隔を計測したが、代表座標値Ｃ１，Ｃ２，Ｃ３に誤差を
招くことがある。

【００８８】例えば眉７で示す図１０のように、連続デ
ータＧ１を構成する横方向の長さが、連続データＧ１の
構成条件の範囲内で変化した場合、図１０の（ａ）に示
すように眉７の末端まで長く連続データＧ１と認識され
た時と、図１０の（ｂ）に示すように眉７の途中で連続
データＧ１が途切れて認識された時に代表座標値Ｃ１
に、間隔ＤＥで表される誤差が発生する。このような場
合に対応するためには、眉７の連続データＧ１では、連
続データＧ１を構成する各抽出点の最上端点位置を、眉
７のデータの特定位置（代表座標値）として用いること
が考えられる。

【００８９】この連続データＧ１を構成する各抽出点の
最上端点位置は、データ的に安定した部分であり、この
部分を用いて上下間隔を計測することで計測する値のバ
ラツキを小さくすることが可能となり、眼の開閉状態を
正確に判定することができる。

【００９０】また、図１１の例に示すように、眼鏡１の
フレーム下部の連続データＧ２としても同じような状況
が発生することがあり、眉７の場合と同様の対応が考え
られる。ただし眉７の場合と違って、眼鏡１のフレーム
下部は、眼の下に位置するため、連続データＧ２を構成
する各抽出点の最下端点位置を、眼鏡１のフレーム下部
の特定位置（代表座標値）として用いる必要がある。

【００９１】この連続データＧ２を構成する各抽出点の
最下端点位置は、データ的に安定した部分であり、この
部分を用いて上下間隔を計測することで計測する値のバ
ラツキを小さくすることが可能となり、眼の開閉状態を
正確に判定することができる。

【００９２】つぎに、図１２を用いて鼻孔９，１１の連
続データＧ３の代表座標値Ｃ３の精度向上方法について
説明する。

【００９３】鼻孔９，１１の連続データＧ３の代表座標
値Ｃ３がズレる例としては、図１２の（ａ）に示すよう
に鼻孔９、１１の近くに存在する皺１３の影が繋がる場
合がある。このような場合に対応するためには、鼻孔
９，１１の連続データＧ３では、連続データＧ３を構成
する各抽出点の最暗点位置を、鼻孔９，１１の特定位置
（代表座標値）として用いることが考えられる。

【００９４】この連続データＧ３を構成する各抽出点の
最暗点位置は、データ的に安定した部分であり、この部
分を用いて上下間隔を計測することで計測する値のバラ
ツキを小さくすることが可能となり、眼の開閉状態を正
確に判定することができる。

【００９５】前記図３のステップＳ３０９での開閉眼判
定は、通常、眼の開度値と、上瞼５及び眉７、または上
瞼５及び眼鏡１のフレーム下部、さらには上瞼５及び鼻
孔９，１１の上下間隔との両方の上記条件を満たしてい
る時に閉眼としているが、図１３の（ａ）に示すように
コントラストが弱く、眼８の近くの影１５と眼８のデー
タとが一体化してしまう時は、眼８を閉じていても閉眼
と認識できないことがある。このような場合の対応策と
しては、眉７、眼鏡１のフレーム下部、鼻孔９，１１の
データの何れかが安定して出現していることを条件に、
上瞼５と各部位の間隔による判定を、眼８の開度値に優
先させることが考えられる。

【００９６】この処理内容を図１４のフローチャートを
用いて説明する。図１４は、眉のデータの出現状態の安
定を条件としている例であるが、眼鏡のフレーム下部、
鼻孔でも同様の処理を行うことができる。

【００９７】図１４のステップＳ１３０１では、眉の連
続データの出現状態が安定しているかどうかを判定す
る。データの出現安定性の判定は、過去の処理において
眉のデータが認識できた回数が何回以上あったか、また
は、何回以上連続して行えたかなどにより行える。ステ
ップＳ１３０１で眉の連続データの出現状態が安定して
いないと判定された場合は、ステップＳ１３０２に移行
し眼の開度値のみによる判定を行う。ステップＳ１３０
２では、その画像データで検出された眼の開度値が眼の
開度値の開閉眼判定基準値Ａより小さいか否かで行い、
小さい時はステップＳ１３０６に移行し閉眼と判定し、
また、大きい時はステップＳ１３０７に移行し開眼と判
定する。

【００９８】前記ステップＳ１３０１で眉の連続データ
の出現状態が安定していると判定された場合は、ステッ
プＳ１３０３に移行し、眼の開度値の開閉眼判定基準値
Ａを、補正しＡ’＝Ａ＋αとする。この値αは、眼８の
近くの影１５を考慮したものである。その後、ステップ
Ｓ１３０４に移行し、上瞼５と眉７との間隔Ｄ（図１３
（ｂ））が、上瞼５と眉７との間隔の開閉眼判定基準値
Ｂより大きいか否かを判定し、小さいと判定された場合
は、ステップＳ１３０７に移行し開眼と判定する。ま
た、大きいと判定された場合は、ステップＳ１３０５に
移行し、眼の開度値が、条件を緩和させた眼の開度値の
開閉眼判定基準値Ａ’より小さいか否かを判定し、小さ
い時はステップＳ１３０６に移行し閉眼と判定し、ま
た、大きい時はステップＳ１３０７に移行し開眼と判定
する。

【００９９】このようにして上瞼５と眉７、眼鏡１のフ
レーム下部、鼻孔９，１１との上下間隔の信頼性を、眉
７、眼鏡１のフレーム下部、鼻孔９，１１の連続データ
の出現の安定性で評価し、眉７、眼鏡１のフレーム下
部、鼻孔９，１１の出現状態の安定しているときに限っ
て上下位置間隔を用いることにより、図１３（ａ）に示
すような場合でも正しく開閉眼判定を行うことができ
る。尚、下瞼に比べ上瞼は形状的に一般的に大きく濃度
変化が大きくなるため、エッジ部としての認識には有利
である。従って、上瞼５と眉７との間隔Ｄは、図１３
（ａ）に示すようなコントラストが弱い状態であって
も、上瞼と下瞼の間隔で求めている眼８の開度値より、
精度的にも良いことが確認できている。

【０１００】また、上記のように優先度を付けること
で、基準特徴量である眉７、眼鏡１のフレーム下部、鼻
孔９，１１が出現しにくい人の場合には、眉７、眼鏡１
のフレーム下部、鼻孔９，１１と上瞼５との間の上下位
置間隔を用いないようにし、判定の信頼性向上を図るこ
とができる。さらに、安定、不安定の判定に顔の特徴量
としての連続データを用いることで、光環境変化による
影響を最小限にすることが可能で、データの安定性判定
の精度を向上することができる。

【０１０１】最後に、眼８の開度値に併せて、開閉眼判
定を行う上瞼５と各部位（眉７、眼鏡１のフレーム下
部、鼻孔９，１１）の上下間隔の使用方法について説明
する。本実施形態は、眼８の開度値に併せて、上瞼５と
各部位の間隔の全てを判定対象として用いた場合、判定
処理が煩雑なることを防止するためのものである。眼８
の開度値に併せて、開閉眼判定を行う対象としては、そ
の信頼性が高ければ１つでも良いといえ、上瞼５との上
下間隔の計測値として開閉眼判定に用いるのに適してい
る順位づけを行い、該データの出現安定性によって切り
替えていくことも考えられる。

【０１０２】図１５のステップＳ１５０１で、まず、眉
のデータの出現状態の安定性を評価し、出現状態が安定
していると判定できる場合は、ステップＳ１５０２に移
行し、眼の開度値と、上瞼と眉との上下間隔による開閉
眼判定を行う。ステップＳ１５０１で眉のデータの出現
状態が安定していると判定できない場合は、ステップＳ
１５０３に移行し、鼻孔の出現状態の安定性を評価し、
出現状態が安定していると判定できる場合は、ステップ
Ｓ１５０４に移行し、眼の開度値と、上瞼と鼻孔のと上
下間隔による開閉眼判定を行う。

【０１０３】前記ステップＳ１５０３で、鼻孔のデータ
の出現状態が安定していると判定できない場合は、ステ
ップＳ１５０５に移行し、眼鏡のフレーム下部の出現状
態の安定性を評価し、出現状態が安定していると判定で
きる場合は、ステップＳ１５０６に移行し、眼の開度値
と、上瞼と眼鏡のフレーム下部との上下間隔による開閉
眼判定を行う。

【０１０４】前記ステップＳ１５０５で、眼鏡のフレー
ム下部のデータの出現状態が安定していると判定できな
い場合は、ステップＳ１５０７に移行し、眼の開度値の
みによる開閉眼判定を行う。

【０１０５】本例で上瞼との上下間隔を計測する部位の
優先順位を眉、鼻孔、眼鏡のフレーム下部とした理由
は、次の通りである。眉は、眼に最も近く、左右方向へ
のオフセットがないことから上下間隔を計測する上で精
度的に高く出現安定性の評価を１番目とし、眼鏡のフレ
ーム下部は、全ての人が眼鏡を掛けているわけではな
く、眼鏡のフレーム下部のデータの出現安定性の評価を
３番目とした。

【０１０６】このようにして、上瞼と眉、上瞼と眼鏡の
フレーム下部、上瞼と鼻孔の上下間隔の計測値の信頼度
を評価することが可能となり、眼の開閉状態の判定で該
値の判定優先度をコントロールすることができ、より正
確な判定を行うことができる。

【０１０７】上記のように、眼の開閉状態を判定するに
際して、上瞼５及び基準特徴量として眉７、眼鏡１のフ
レーム下部、鼻孔９，１１の特定位置の上下位置間隔を
考慮することにより、眼の開度値が小さくなっている原
因を推定することができ、検出対象とする人が眠くて眼
を閉じているときに限定して開閉状態を判定することが
できる。

【図面の簡単な説明】

【図１】本発明の眼の状態検出装置、居眠り検出装置の
構成を示すブロック図である。

【図２】本発明の一実施形態に係るブロック図である。

【図３】一実施形態に係り、眼の位置検出の全体動作を
示すフローチャートである。

【図４】一実施形態に係り、上瞼と眉との上下間隔の計
測方法を説明するもので、（ａ）は開眼時、（ｂ）は閉
眼時の説明図である。

【図５】一実施形態に係り、上瞼と眼鏡のフレーム下部
との上下間隔の計測方法を示し、（ａ）は開眼時、
（ｂ）は閉眼時の説明図である。

【図６】一実施形態に係り、上瞼と鼻孔との上下間隔の
計測方法を示し、（ａ）は開眼時、（ｂ）は閉眼時の説
明図である。

【図７】一実施形態に係り、眼鏡レンズ部への写り込み
を示す説明図である。

【図８】一実施形態に係り、笑いによる上下間隔の変化
を示し、（ａ）は笑っていない時、（ｂ）は笑っている
時の説明図である。

【図９】一実施形態に係り、眩しそうに眼を細めている
場合を示し、（ａ）は顔の説明図、（ｂ）は眉及び眼の
連続データの説明図である。

【図１０】一実施形態に係り、眉の連続データの代表座
標値の検出方法を示し、（ａ）は眉の末端まで長く連続
データが認識された場合、（ｂ）は眉の途中で連続デー
タが途切れた場合を示す説明図である。

【図１１】一実施形態に係り、眼鏡のフレーム下部の連
続データの代表座標値の検出方法を示し、（ａ）は連続
データが長く認識された場合、（ｂ）は連続データが途
切れた場合の説明図である。

【図１２】一実施形態に係り、鼻孔の連続データの代表
座標値の検出方法を示し、（ａ）は鼻孔と鼻孔の近くに
存在する皺の影とが繋がる場合、（ｂ）は繋がらない場
合の説明図である。

【図１３】一実施形態に係り、顔と影とのデータの一体
化を示し、（ａ）は顔の説明図、（ｂ）は眉と眼の説明
図である。

【図１４】一実施形態に係り、開閉眼判定において上瞼
と眉の上下間隔の計測値を優先する処理のフローチャー
トである。

【図１５】一実施形態に係り、眼の開度値と併せて開閉
眼判定を行う上瞼と各部位の上下間隔計測値の使用方法
を説明するフローチャートである。

【図１６】従来の問題点を示し、眼鏡への写り込みの説
明図である。

【図１７】従来の問題点を示し、笑った状態の顔の説明
図である。

【図１８】従来の問題点を示し、眩しさによって眼を細
めた状態の顔の説明図である。

【図１９】従来の問題点を示し、眼と影とのデータの一
体化を示す顔の説明図である。

【符号の説明】

２０１ ＴＶカメラ（画像出力手段ＣＬ１） ２０２ Ａ−Ｄ変換器（画像出力手段ＣＬ１） ２０３ 画像メモリ（画像出力手段ＣＬ１） ２０４ 画像データ演算回路（画像出力手段ＣＬ１） ２０５ 眼の位置検出回路（特徴量検出手段ＣＬ２、位
置検出手段ＣＬ３） ２０６ 眼の開度検出回路（眼の開度検出手段ＣＬ４、
基準特徴量検出手段ＣＬ５） ２０７ 上瞼と各部位の間隔計測回路（上下間隔計測手
段ＣＬ６） ２０８ 開閉眼判定回路（開閉眼判定手段ＣＬ７） ２０９ 覚醒度判定回路（覚醒度判定手段ＣＬ８）

フロントページの続き (72)発明者 阿部 毅 東京都大田区大森西５丁目28番６号 ナイ ルス部品株式会社内 (72)発明者 金田 雅之 神奈川県横浜市神奈川区宝町２番地 日産 自動車株式会社内 (72)発明者 大和田 正次 神奈川県横浜市神奈川区宝町２番地 日産 自動車株式会社内 Ｆターム(参考） 3D037 FA05 FB10 5B057 AA19 AA20 BA02 BA30 CA02 CA08 CA12 CA16 CB02 CB08 CB12 CB16 CC03 CE09 CH18 DA07 DA08 DA15 DB02 DB05 DB09 DC03 DC05 DC14 DC16 DC22 DC32 5L096 AA03 AA06 BA02 BA04 BA18 CA02 DA03 EA35 FA06 FA13 FA14 FA32 FA46 FA54 FA64 FA69 FA71 GA13 GA22 GA28 JA09

Claims (16)

【特許請求の範囲】
1. 【請求項１】 顔を撮像して顔画像データを出力する画
   像出力手段と、 該画像出力手段から出力された顔画像データを処理して
   顔の特徴量を検出する特徴量検出手段と、 前記検出された顔の特徴量から予め記憶された眼の特徴
   情報に合致する特徴量を抽出して眼の位置を検出する眼
   の位置検出手段と、 前記検出された眼の位置を基準に眼を含む追跡領域を設
   定すると共に、該追跡領域内で顔の特徴量を検出して眼
   の詳細濃度を検出し、該眼の詳細濃度の変化から眼の開
   度値及び上瞼の位置を検出する眼の開度検出手段と、 前記眼の位置又は眼の詳細濃度の少なくとも一方に基づ
   いて眼の周りの固定的な顔の基準特徴量を検出する基準
   特徴量検出手段と、 前記検出された基準特徴量及び上瞼の特定位置の上下位
   置間隔を計測する上下間隔計測手段と、 前記眼の開度検出手段で検出された眼の開度値と前記上
   下間隔計測手段で計測された上下位置間隔とから眼の開
   閉状態を判定する開閉眼判定手段とを備えたことを特徴
   とする眼の状態検出装置。
2. 【請求項２】 請求項１記載の眼の状態検出装置であっ
   て、 前記特徴量検出手段は、前記画像出力手段が出力した顔
   画像データから顔の縦方向の画素列に沿って画素の濃度
   値を読み出し、該濃度値の局所的な高まり毎に１個づつ
   の画素を定めて抽出点とし、隣接した抽出点を連続させ
   て顔の横方向に延びる連続データを抽出して顔の特徴量
   とし、 前記眼の開度検出手段は、前記検出された眼の位置を基
   準に眼を含む追跡領域を設定すると共に、該追跡領域内
   で縦方向の画素列に沿って画素の濃度値を読み出し、該
   濃度値の局所的な高まり毎に１個づつの画素を定めて抽
   出点とし、隣接した抽出点を連続させて顔の横方向に延
   びる連続データを抽出して眼の詳細濃度を検出し、該眼
   の詳細濃度の変化から眼の開度値及び上瞼の位置を検出
   することを特徴とする眼の状態検出装置。
3. 【請求項３】 請求項１又は２記載の眼の状態検出装置
   であって、 前記基準特徴量検出手段は、前記固定的な顔の基準特徴
   量として眉を検出することを特徴とする眼の状態検出装
   置。
4. 【請求項４】 請求項１又は２記載の眼の状態検出装置
   であって、 前記基準特徴量検出手段は、前記固定的な顔の基準特徴
   量として眼鏡フレームの下部を検出することを特徴とす
   る眼の状態検出装置。
5. 【請求項５】 請求項１又は２記載の眼の状態検出装置
   であって、 前記基準特徴量検出手段は、前記固定的な顔の基準特徴
   量として鼻孔を検出することを特徴とする眼の状態検出
   装置。
6. 【請求項６】 請求項２〜５の何れかに記載の眼の状態
   検出装置であって、 前記基準特徴量検出手段は、前記固定的な顔の基準特徴
   量として前記顔の特徴量である連続データを用いること
   を特徴とする眼の状態検出装置。
7. 【請求項７】 請求項３記載の眼の状態検出装置であっ
   て、 前記上下間隔計測手段は、前記上瞼の特定位置として前
   記眼の詳細濃度の２値化形状でのエッジ部を用い、前記
   眉の特定位置として前記顔の特徴量である眉の連続デー
   タでの最上端位置を用いることを特徴とする眼の状態検
   出装置。
8. 【請求項８】 請求項４記載の眼の状態検出装置であっ
   て、 前記上下間隔計測手段は、前記上瞼の特定位置として前
   記眼の詳細濃度の２値化形状でのエッジ部を用い、前記
   眼鏡フレームの下部の特定位置として前記顔の特徴量で
   ある眼鏡フレームの下部の連続データでの最下端位置を
   用いることを特徴とする眼の状態検出装置。
9. 【請求項９】 請求項５記載の眼の状態検出装置であっ
   て、 前記上下間隔計測手段は、前記上瞼の特定位置として前
   記眼の詳細濃度の２値化形状でのエッジ部を用い、前記
   鼻孔の特定位置として前記顔の特徴量である鼻孔の連続
   データでの最暗位置を用いることを特徴とする眼の状態
   検出装置。
10. 【請求項１０】 請求項１〜９の何れかに記載の眼の状
    態検出装置であって、 前記開閉眼判定手段は、前記基準特徴量の出現状態の安
    定性を判定し、該判定の安定、不安定により前記眼の開
    閉状態の判定で前記基準特徴量及び上瞼の特定位置の上
    下位置間隔の使用、未使用を切り替えることを特徴とす
    る眼の位置検出装置。
11. 【請求項１１】 請求項１〜９の何れかに記載の眼の状
    態検出装置であって、 前記開閉眼判定手段は、前記基準特徴量の出現状態の安
    定性を判定し、該判定により安定しているとされたとき
    前記眼の開閉状態の判定で前記基準特徴量及び上瞼の特
    定位置の上下位置間隔を前記眼の開度値に優先させるこ
    とを特徴とする眼の状態検出装置。
12. 【請求項１２】 請求項１０又は１１記載の眼の状態検
    出装置であって、 前記開閉眼判定手段は、前記安定、不安定の判定に前記
    顔の特徴量としての連続データを用いることを特徴とす
    る眼の状態検出装置。
13. 【請求項１３】 請求項１又は２記載の眼の状態検出装
    置であって、 前記基準特徴量検出手段は、前記眼の周りの固定的な顔
    の基準特徴量を複数種検出し、 前記上下間隔計測手段は、前記検出された各基準特徴量
    及び上瞼の特定位置の上下位置間隔を計測し、 前記開閉眼判定手段は、前記複数種の基準特徴量の出現
    状態の安定性を判定し、該判定の安定、不安定により前
    記眼の開閉状態の判定で前記複数種の基準特徴量及び上
    瞼の特定位置の上下位置間隔の何れかを選択することを
    特徴とする眼の位置検出装置。
14. 【請求項１４】 請求項１〜１３の何れかに記載の眼の
    状態検出装置であって、 前記開閉眼判定手段は、前記眼の開閉状態の判定で前記
    基準特徴量及び上瞼の特定位置の上下位置間隔が予め設
    定した範囲を超えていると判定したとき前記眼の位置検
    出手段による眼の位置検出へ処理を戻すことを特徴とす
    る眼の位置検出装置。
15. 【請求項１５】 請求項１３記載の眼の状態検出装置で
    あって、 前記基準特徴量検出手段は、前記眼の周りの固定的な顔
    の基準特徴量として眉、眼鏡のフレーム、鼻孔を検出す
    ることを特徴とする眼の位置検出装置。
16. 【請求項１６】 請求項１〜１４の何れかに記載の眼の
    状態検出装置であって、 前記開閉眼判定手段から出力される眼の開閉状態の判定
    結果に基づき覚醒度を判定する覚醒度判定手段を設けた
    ことを特徴とする居眠り検出装置。