JP2000199703A

JP2000199703A - 眼の状態検出装置、居眠り運転警報装置

Info

Publication number: JP2000199703A
Application number: JP11000881A
Authority: JP
Inventors: Hiroyuki Kawamura; 弘之河村; Takeshi Fukuda; 岳福田; Masayuki Kaneda; 雅之金田; Masaji Owada; 正次大和田
Original assignee: Niles Parts Co Ltd; Nissan Motor Co Ltd
Current assignee: Niles Parts Co Ltd; Nissan Motor Co Ltd
Priority date: 1999-01-06
Filing date: 1999-01-06
Publication date: 2000-07-18

Abstract

(57)【要約】（修正有）【課題】居眠り運転警報装置において、眼の開閉判断
の基準値を精度良く設定できるようにする。【解決手段】画像入力手段ＣＬ１から入力された顔画
像の縦方向の画素列の濃度を、検出手段ＣＬ２により検
出すると共にポイント抽出手段ＣＬ３によりその画素列
における濃度の高まりとその変化状態によりポイントを
抽出する。連続データ抽出手段ＣＬ４は隣接する画素列
方向に近接したポイントを連結して顔の横方向への連続
データを抽出し、眼の位置検出手段ＣＬ５により連続デ
ータの中から眼を選択し、ポイント抽出手段ＣＬ６がそ
の眼を含む縦方向への濃度の高まりとその変化状態より
ポイントを抽出する。眼の開度検出手段ＣＬ７は上記抽
出ポイントでの濃度変化状態から眼の開度を検出する。
眼の開閉眼判定手段ＣＬ９は開閉眼判定基準値設定手段
ＣＬ８の基準値を用いて眼の開閉状態を判定し、覚醒度
判定手段ＣＬ１０警報手段ＣＬ１１が警報を発する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両の運転者、船
舶の操船者、プラント等のオペレータ等の居眠り状態を
検出し警報する居眠り運転警報装置に係り、特に眼の開
閉判定基準値を適切に設定可能とするための改良に関す
る。

【０００２】

【従来の技術】従来の画像処理による眼の状態検出装
置、居眠り運転警報装置には、例えば特開平１０−４０
３６１号や特開平１０−１４３６６９号に記載されたよ
うなものがある。これは濃淡画像を対象として眼の位置
を検出し、眼を追跡しながら眼の開度値により開閉眼判
定を行う構成としている。また、従来技術は、運転者の
個人差による眼の大きさの違いに対応するため、所定時
間内に出力される眼の開度値の最小値と最大値を学習
し、その値に基づき開閉眼判定を行う基準値を設定する
ことで開閉眼判定を行っている。

【０００３】

【発明が解決しようとする課題】しかしながら、実際の
画像認識による眼の開度値の出力状態は、図２７に示す
ように、例えばルームミラーを見た場合などに開度値が
本来の眼の大きさ以上になることがあり、従来技術の所
定時間内に出力される眼の開度の最大値と最小値に基づ
く開閉眼判定基準値設定手段では精度良く開閉眼判定基
準値が設定できないという問題点があった。

【０００４】この発明は上記の問題点に鑑み、眼の開度
検出手段から時系列的に出力される開度値を選択しなが
ら学習することで、開閉眼判定基準値設定精度を向上さ
せた居眠り運転警報装置を提供することを目的としてい
る。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、顔の画像データを処理して居眠り状態を
検出して警報を出力する居眠り運転警報装置において、
上記画像データから画素の濃度値を読み出し、顔の縦方
向の画素列における濃度の局所的な高まりごとに画素を
定めて抽出点とし、該抽出点と隣接する画素列の抽出点
が連続して顔の横方向に伸びる連続データを抽出するこ
とにより、眼の位置を検出する眼の位置検出手段と、こ
の検出された眼の位置を含む所定領域を設定する所定領
域設定手段と、該所定領域設定手段で設定された所定領
域で前記連続データに基づき眼の位置を特定し、該連続
データの濃度変化状態から眼の開度を検出する眼の開度
検出手段と、該眼の開度検出手段より出力される眼の開
度値の時系列の変化に基づいて、開閉眼判定に用いる基
準値を設定する開閉眼判定基準値設定手段と、から成る
眼の状態検出装置を用いたことを要旨とする。

【０００６】また本発明の眼の状態検出装置において、
前記開閉眼判定基準値判定手段は下記（１）〜（５）の
ように構成してもよい。

【０００７】（１）前記開閉眼判定基準値設定手段は、
前記眼の開度検出手段より所定時間内に出力される眼の
開度値の最小値を基準に各開度値の出力回数を積算する
眼の開度値の範囲を設定し、該範囲内で最初に所定数に
達した眼の開度値を閉眼の基準値とし、所定開度加えた
値を開眼の基準値とする。

【０００８】（２）前記開閉眼判定基準値設定手段は、
前記眼の開度検出手段より出力される所定開度値以下の
開度値の各出力回数を積算し、最初に所定数に達した眼
の開度値を閉眼の基準値とし、所定開度加えた値を開眼
の基準値とすることを特徴とする。

【０００９】（３）前記開閉眼判定基準値設定手段は、
上述した何れかの構成において、閉眼の基準値に所定開
度加えて開眼の基準値を仮置きし、該仮置きした開眼の
基準値以上の開度値において各開度値の出力回数を積算
し、該積算数が最初に所定数に達した眼の開度値を開眼
の基準値として、基準値により更新する。

【００１０】（４）前記開閉眼判定基準値設定手段は、
上記（３）の構成において、前記更新された閉眼の基準
値と開眼の基準値の間隔が所定値以下の場合に、前記仮
置きした開眼の基準値以上の開度値の積算所定数を増や
し開眼の基準値を再学習し、再学習した開眼の基準値を
更新する。

【００１１】（５）前記開閉眼判定基準値設定手段は、
本発明の居眠り運転警報装置において、前記眼の位置検
出手段により検出された眼の位置に対し、眼を含む所定
領域が所定範囲を越えて移動した場合に、該領域内に出
現する連続データを対象とした基準値の学習を中断す
る。

【００１２】（６）上記（１）〜（５）のいずれかに記
載の眼の状態検出装置であって、前記開閉眼判定基準値
設定手段で設定された基準値を用いて眼の開閉状態を判
定し、その開閉状態の変化から覚醒度を判定する覚醒度
判定手段と、前記覚醒度判定手段により覚醒度が低下し
ていると判定された時に警報を発する警報手段から成る
居眠り運転警報装置を構成する。

【００１３】

【発明の実施の形態】図１は本発明の居眠り運転警報装
置の一実施形態の基本的構成の概念図である。同図から
明らかなように、本発明の装置の一実施形態としては、
顔画像を入力する画像入力手段ＣＬ１と、該画像入力手
段から入力された顔画像の縦方向の画素列の濃度を検出
する画素列の濃度検出手段ＣＬ２と、前記画素列におけ
る濃度の高まりとその変化状態によりポイントを抽出す
るポイント抽出手段ＣＬ３と、隣接する画素列の画素列
方向に近接したポイントを連結して顔の横方向への連続
データを抽出する連続データの抽出手段ＣＬ４と、連続
データの中から眼を選択する眼の位置検出手段ＣＬ５
と、眼を含む所定領域（眼の追跡領域）内で縦方向への
濃度の高まりとその変化状態よりポイントを抽出するポ
イント抽出手段ＣＬ６と、前記抽出ポイントの隣接する
画素列の画素列方向に近接したものを連続して顔の横方
向に伸びる連続データを抽出することにより眼の詳細な
位置を検出して濃度値を読み出す範囲を特定し、その範
囲内での濃度変化状態から眼の開度を検出する眼の開度
検出手段ＣＬ７と、前記眼の開度検出処理を繰り返し、
開度値を時系列変化で比較学習することにより開閉眼判
定基準値を設定する開閉眼判定基準値設定手段ＣＬ８
と、前記開閉眼判定基準値を用いて、眼の開閉状態を判
定する眼の開閉眼判定手段ＣＬ９と、前記開閉眼判定よ
り眼の開閉状態を判定し、その開閉状態の変化から覚醒
度を判定する覚醒度判定手段ＣＬ１０と、前記覚醒度判
定手段により覚醒度が低下していると判定された時に警
報を発する警報手段ＣＬ１１とを備えるものとして構成
される。

【００１４】上述した本発明の一実施形態の構成によれ
は、眼の開度検出出力における眼の開度値の時系列変化
の比較によってルームミラーを見た場合などのノイズに
影響されることなく、精度の高い開眼基準値、開眼基準
値の学習が可能である。よって、開閉眼判定基準値を精
度良く設定でき、居眠り検出精度を向上させることがで
きる。

【００１５】

【実施例】本発明の装置は、自動車の他に鉄道車両、船
舶、プラントのオペレータ等の居眠り運転警報として用
いることができるが、以下では自動車に適用した場合の
一実施例について説明する。

【００１６】図２は本発明の一実施例を示す図である。
運転者の顔部分を正面から撮影する画像入力手段ＣＬ１
としてのＴＶカメラ２１がインストルメントパネルに設
置され、ＴＶカメラ２１の入力画像は本実施例では、横
（Ｘ）方向５１２画素、縦（Ｙ）方向４８０画素からな
る。ＴＶカメラ２１で撮影された入力画像は、Ａ−Ｄ変
換器２２を介して、デジタル量の入力画像データとして
画像メモリ２３に格納される。画像メモリ２３には、こ
れに格納された入力画像データに基づいて顔の縦方向の
画素列の濃度を検出する画素列の濃度検出手段ＣＬ２
と、前記画素列における濃度の高まりとその変化状態に
よりポイントを抽出するポイント抽出手段ＣＬ３と、隣
接する画素列の画素列方向に近接したポイントを連続し
て顔の横方向へ連続データを抽出する連続データを抽出
する連続データの抽出手段ＣＬ４からなる画像データ演
算回路２４と、連続データから眼の選択を行うことで眼
の位置を検出する眼の位置検出手段ＣＬ５の眼の位置検
出回路２５と、眼を含む所定領域（眼の追跡領域）内で
縦方向への濃度の高まりとその変化状態からポイントを
抽出するポイント抽出手段ＣＬ６と、前記ポイントによ
り特定された範囲の濃度変化状態から眼の開度を検出す
る眼の開度検出手段ＣＬ７と、前記眼の開度検出処理を
繰り返し、開度値を時系列変化で比較学習することによ
り開閉眼判定基準値を設定する開閉眼判定基準値設定手
段ＣＬ８と、前記開閉眼判定基準値を用いて眼の開閉状
態を判定する眼の開閉眼判定手段ＣＬ９からなる開閉眼
検出回路２６と、前記開閉眼検出回路より送出される開
閉眼の検出結果から覚醒度を判定する覚醒度判定手段Ｃ
Ｌ１０の覚醒度判定回路２７があり、覚醒度が低下した
と判定された場合に運転者に注意を促す警報を発する警
報手段ＣＬ１１の警報装置２８がある。

【００１７】次に、上記構成における動作の流れを、図
３のフローチャートに基づいて説明する。まず、ステッ
プ３０１において、ＴＶカメラ２１によって顔部分が撮
影され、ステップ３０２で１フレーム分の入力画像がＡ
−Ｄ変換器２２でデジタル信号に変換されたうえ画像メ
モリ２３に格納される。

【００１８】次に、ステップ３０３において、眼の追跡
領域が設定されているかどうかをチェックする。眼の追
跡領域とは、眼を含む所定領域を示し、この領域内に出
現する連続データの位置を検出することによって眼の詳
細位置を認識し、その特定された位置の濃度データを読
み出すことにより眼の開度検出を行っている。また、こ
の所定領域内に出現する連続データの詳細位置を基に次
に取り込み画像での処理領域を設定することによって眼
の位置変化に対応できるようにしている。

【００１９】眼の追跡領域が設定されていない場合は、
ステップ３０４および３０５において、眼の追跡領域と
なる横方向（Ｘ方向）の幅と縦方向の（Ｙ方向）の幅を
設定する。眼の位置検出の詳細は図４のフローチャート
と、図５〜図１０に示す説明図により後述する。ステッ
プ３０３で眼の追跡領域が設定されていると判断された
場合、ステップ３０６で眼の開度と詳細な位置検出が行
われる。この処理の詳細は図１１のフローチャートと、
図１２〜図１４に示す説明図により後述する。

【００２０】この度、ステップ３０７において眼の追跡
状況を確認し、追跡できている場合にはステップ３０８
で眼の開度値に基づく開閉眼判定基準値の設定を行い、
この基準値を用いてステップ３０９で開閉眼の判定を行
い、ステップ３１０で眼の追跡領域の更新を行い、更に
ステップ３１１で閉眼出力の出現パターンによる覚醒度
の判定を行う。ステップ３１１で閉眼と判定される結果
が連続して認識され長い閉眼が発生していると判断され
る場合は、運転者に注意を促す警報を発する。ステップ
３１１で覚醒度の判定後は、ステップ３０１に戻り次の
画像入力を行い同様の処理を続ける。ステップ３０７に
おいて追跡できない場合は、ステップ３１２で眼の追跡
領域をクリアする。この後、ステップ３０１〜ステップ
３０３へと同様の処理を繰り返すが、ステップ３０３の
判定では、眼の追跡領域がクリアされているため、この
フローを流れる場合においては、画像全体からの眼の位
置検出を再度行うことになる。

【００２１】具体的な眼の追跡方法の詳細については図
１５の説明図により後述する。また、開閉眼判定基準値
の設定の詳細については図１６のフローチャートと図１
７の説明図により後述する。

【００２２】次に眼の位置検出の詳細を説明する。眼の
位置検出処理の流れを、図４のフローチャートに基づい
て説明する。まず、ステップ４０１では図５に示すよう
にＹ軸方向にライン上のデータに対してポイント抽出の
処理を行い１ライン終了後に、一つ隣のラインの処理に
移して行き、所定方向の全ラインでのポイント抽出が終
了したか否かを判断する。ステップ４０１で全ラインに
おいてポイント抽出が行われていないと判断された場合
は、ステップ４０２に移行する。このステップ４０２で
は、所定方向の１ラインの濃度値の相加平均演算を行
う。この処理は、画像データ撮影時の濃度値の変化の小
さなばらつきを無くすことを目的としており、濃度値の
大局的な変化を捉えるためである。図６（ａ）に、図５
のＸａのラインデータの相加平均演算の処理結果を示
す。図４のステップ４０３では、ステップ４０２の演算
結果である相加平均値における微分演算を行う。この処
理結果を図６の（ｂ）に示す。図４のステップ４０４で
は、ステップ４０３の演算結果である微分値によるポイ
ント抽出を行う。そのポイントの抽出方法は、微分値が
負から正に変化するポイント（ｐ１〜ｐ５）、図６の
（ａ）でいうと、グラフが下向きに凸になるポイントを
抽出する。次にポイントに達するまでの濃度値の変化
（ｑ１〜ｑ５）が所定値以下であるか否か、図６の
（ｂ）のグレーの部分に入るか否かを判定し、所定値以
下の濃度値の変化を持つポイントを対象としてＹ座標値
（Ａ１〜Ａ３）を抽出する。この処理が１ライン終了
後、ステップ４０５で、次のラインの処理に切り換えて
行く。この処理を繰り返す中で、例えば図５に示すＸｂ
のようなラインの場合、図７（ａ），（ｂ）からも分か
るように抽出ポイントがない場合もある。

【００２３】ステップ４０１で全ラインのポイント抽出
が終了したと判断されると、図８に示すようなポイント
が抽出される。つまり図８のＸｃライン上では、Ａ１，
Ａ２の二つのポイントが抽出されており、Ｘｄライン上
では、Ａ１，Ａ２，Ａ３，Ａ４の４つのポイントが抽出
されていることになる。

【００２４】その後、ステップ４０６へ移行し、隣り合
う各ラインの抽出ポイント（Ａ１，Ａ２，Ａ３…）のＹ
座標値を比較し、Ｙ座標値が所定値以内の場合、連続デ
ータとして、連続データのグループ番号、連続開始
ライン番号、連続データ数をメモリする。この具体的
な処理内容を図９を用いて説明する。ライン１には、Ｙ
座標値が１９２と２２９の２つの抽出ポイントがある。
ライン１のＹ座標値が１９２のポイントは左隣りのライ
ンが存在しないので、この段階での連続データはないた
め、連続データのグループ番号は“１”となる。ま
た、Ｙ座標値が２２９のポイントも同様の理由でこの段
階での連続データは存在しないため、連続データのグ
ループ番号は、その次の“２”とする。次に、右隣りの
ライン２には、Ｙ座標値が１９１と２２４の２つの抽出
ポイントがある。ライン２のＹ座標値１９１のポイント
は、左隣りのライン１のＹ座標値１９２と１０内のポイ
ントであるため、連続データのグループ番号を“１”と
する。この時、連続データ数は２となる。ライン２の
Ｙ座標値２２４のポイントにおいても同様の判定を行う
と連続データのグループ番号は“２”、連続データ
数は２となる。

【００２５】次のライン３のＹ座標値３６０のポイント
では、左隣りのライン２に３６０と１０以内になるポイ
ントが存在しないので、連続データのグループ番号は
“３”となり、連続データ数は１となる。

【００２６】また、ステップ４０６での連続開始ライ
ン番号は、連続データ数が１と判断されるポイントを
有するライン番号のことをいう。ステップ４０６では、
このようにして各ラインのポイントの連続性の判断を全
ラインにおいて終了するまで行い、ステップ４０７へ移
行する。

【００２７】ステップ４０７では、同じ連続データグル
ープ番号を持つポイントのＹ座標値の平均値を連続ポ
イントの平均値としてメモリする。この値は、そのグル
ープの代表Ｙ座標値として用いることができる。また、
連続開始ラインとその連続データ数から連続終了ライン
を求め、連続開始ラインと連続終了ラインの平均値をメ
モリする。この値は、そのグループの代表Ｘ座標値とし
て用いることができる。

【００２８】このようにして得られた、各連続グループ
データを、ステップ４０８で、各連続グループの長さ、
（Ｘ，Ｙ）座標値により判定することにより、眼の位置
が特定できる。

【００２９】ここで図１０を用いて具体的な眼の位置検
出方法について説明する。まず始めに眼の特徴量を考え
ると、横に長く、上に凸型の弓形形状であると定義付け
ることができ、この定義付けに基づいて連続データの絞
り込みを行うと、眼は横に長いという条件から、ポイン
ト連続数が５ポイント以上続き、また、弓形形状である
という条件から、連続開始ポイントと連続終了ポイント
のＹ座標値の差は、小さい連続データに絞り込むことが
できる。この判定に基づき連続データの絞り込みを行う
と、図１０の（ａ）に示すようなグループＧ１〜Ｇ６が
抽出される。次に前述した各グループのＸ，Ｙの代表座
標値の位置を考えると、図１０の（ｂ）に示すように、
Ｘ座標方向での接近度合いより、ＺＯＮＥ：Ｌ，ＺＯＮ
Ｅ：Ｃ，ＺＯＮＥ：Ｒに分類できる。これは、左眼と左
眉でＸ座標方向に大きく離れることはなく、また右目と
右眉でＸ座標方向に大きく離れることはないからであ
る。また鼻下の影により連続データとなったものや、口
の連続データは中央部付近に位置する。

【００３０】このようにＸ座標方向の接近度合いで、更
にデータを分類し、データを絞り込んで行くことで眼の
位置検出を容易に行うことができる。ＺＯＮＥ：Ｌに含
まれる連続データとしては、左眼と左眉であり、ＺＯＮ
Ｅ：Ｒに含まれる連続データは右眼と右眉であると判定
すると、眼の位置はＧ３，Ｇ４であり、その座標値も特
定できる。このように眼の位置検出は両眼を対象として
行うことができるが、居眠り検出を目的とした場合、片
方の眼だけを閉じて眠る運転者はいないと思われること
から、これ以降説明する開閉眼検出については、片方の
眼（左眼）に限定している。この運転者の片方の眼（左
眼）に限定した理由には、単に演算処理時間を節約する
ためだけでなく、右ハンドル車の場合、直射光が当たる
ことがある右眼は、光の強さにより眼の形状が捉えにく
くなることがあるからである。

【００３１】次に図３のステップ３０６の眼の開度検出
の詳細を説明する。眼の開度値を検出する方法として
は、図１３に示すように肌の白い部分から眼の黒い部分
への濃度変化が最大となる所のＱ点と、眼の黒い部分か
ら肌の白い部分への濃度変化が最大となる所のＲ点の間
隔を求めるものと、これから図１１のフローチャートを
用いて説明する二値化閾値を設定して眼の黒い部分の縦
幅を求めるものがある。

【００３２】それでは、これより二値化閾値を設定して
の眼の開度検出処理の詳細について説明する。まず始め
に開度検出を行う二値化画像へ変換するための二値化閾
値設定方法の流れを、図１１のフローチャートに基づい
て説明する。まず、ステップ１１０１では図１２の
（ａ）に示すようにＹ軸方向にライン上のデータに対し
てポイント抽出の処理を行い１ライン終了後に、１つ隣
りのラインの処理に移行し、所定方向の全ラインでのポ
イント抽出が終了したか否かを判断する。ステップ１１
０１で全ラインにおいてポイント抽出が行われていない
と判断された場合は、ステップ１１０２に移行する。こ
のステップ１１０２では、所定方向の１ラインの濃度値
の相加平均演算を行う。この処理は、画像データ撮影時
の濃度値の変化のばらつきを無くすことを目的としてお
り、濃度値の大局的な変化を捉えるためである。図１２
の（ｂ）に、図１２の（ａ）のＸａのラインデータの相
加平均演算の処理結果を示す。図１１のステップ１１０
３では、ステップ１１０２の演算結果である相加平均値
における微分演算を行う。この処理結果を図１２の
（ｃ）に示す。図１１のステップ１１０４では、ステッ
プ１１０３の演算結果である微分値によるポイント抽出
を行う。そのポイントの抽出方法は、微分値が負から正
に変化するポイントＰ、図１２の（ｂ）でいうと、グラ
フが左向きに凸になるポイントを抽出する。次にそのポ
イントの前後の濃度値の変化が所定値以下、以上である
か否か、図１２の（ｃ）のグレーの部分に入るか否かを
判定し、上記条件を満足する濃度値の変化を持つポイン
トＰを抽出する。

【００３３】ステップ１１０５で図１２の（ａ）に示す
ようにＸａ列に抽出ポイントＰが存在すると判定された
場合は、ステップ１１０６へ移行し、Ｐ点の前後の微分
値の最大、最小値であるＱ点とＲ点のＹ座標の濃度値を
Ｎａｌ（微分値が最小となるＹ座標の濃度値）とＮａｈ
（微分値が最大となるＹ座標の濃度値）をメモリしてス
テップ１１０７へ移行する。

【００３４】ステップ１１０７では、次のラインへの処
理に切り換えステップ１１０１で全ラインの処理の終了
が確認されるまで同一の処理を繰り返す。つまり図１３
（ａ）に示すようにＸａ列後のＸｂ列では、Ｘｂ列の抽
出ポイントＰ点の前後の微分値の最大、最小値であるＱ
点とＲ点のＹ座標の濃度値をＮｂｌとＮｂｈとしてメモ
リして行く。各ラインでメモリされる抽出ポイントの前
の濃度変化の最小微分値、Ｎ−ｌは濃度値が明るい部分
から暗い部分へ最も大きく変化する箇所であり、この濃
度値より暗くなる部分、つまり抽出ポイントＰ点に向か
っては眼にあたる部分の濃度値であるといえる。また、
各ラインでメモリされる抽出ポイントの後の濃度変化の
最大微分値、Ｎ−ｈは濃度値が暗い部分から明るい部分
へ最も大きく変化する箇所であり、抽出ポイントＰ点か
らこの濃度値まで明るくなる部分が眼にあたる濃度値で
あるといえる。よって、Ｎ−ｌ，Ｎ−ｈの値は、二値化
処理で眼の部分を黒画素（０）に、眼の回りの肌の部分
を白画素（１）に確実に変換する閾値の設定情報として
用いることができる。

【００３５】ステップ１１０１で全ラインの処理の終了
が確認された場合、ステップ１１０８へ移行し、各ライ
ンの抽出ポイントの濃度値（Ｎ−ｌ，Ｎ−ｈ）の情報か
ら二値化閾値を設定する。二値化閾値の設定は、下記に
示すような方法が考えられる。各ラインの最小微分値の濃度Ｎ−ｌの最小値を更新し
てその値を基準に設定する。各ラインの最大微分値の濃度Ｎ−ｈの最大値を更新し
てその値を基準に設定する。各ラインの最小微分値の濃度Ｎ−ｌの平均値を基準に
設定する。各ラインの最大微分値の濃度Ｎ−ｈの平均値を基準に
設定する。各ラインの全Ｎ−ｌ，Ｎ−ｈの平均値を基準に設定す
る。眼の連続データと抽出される各ラインのＰ点の最も明
るい濃度値を基準にして微分値のレベルを用いて階調ア
ップ量を補正して設定する（微分値のレベルが大きい場
合はＰ点の最も明るい濃度値にプラスする階調を大きく
設定し、微分値のレベルが小さい場合はＰ点の最も明る
い濃度値にプラスする階調を小さくする設定する。）。

【００３６】次に図１４を用いて眼の開度の検出方法を
説明する。前述した方法で求めた二値化閾値を用いて連
続データが出現した範囲で更に領域を限定させて二値化
処理を行う。その処理により得られた二値化画像は、検
出対象者が正常時と居眠り状態時で、それぞれ図１４に
示すようになる。この時、黒画素に変換される眼の部分
の縦方向への最大連続数をカウントすると、正常時（開
眼）ではその値が大きくなり、居眠り時（閉眼）ではそ
の値が小さくなる。このようにして眼の開度検出を行
う。

【００３７】次に図３のステップ３０９における開閉眼
を判定する方法の詳細を示す。運転者が特定された場
合、眼の開度の出力値は開眼状態から閉眼状態の間で変
化する。よって、開眼・閉眼の判定を行う基準値、つま
り開閉眼を判定するスレッシュホールドは、その範囲内
にあることになる。ここでそのスレッシュホールドをど
う設定するのが妥当なのかを、検討した結果、居眠り状
態の人は、熟睡状態ではないため完全に眼の閉じない運
転者も見られることより、開眼・閉眼の中央値をスレッ
シュホールドとすることが望ましいと思われる。このた
めステップ３０９の前のステップ３０８において、この
開閉眼判定基準値を設定しなければならない。

【００３８】次に、ステップ３０８の開閉眼判定基準値
の設定方法について図１６のフローチャートで説明す
る。眼の開度値の時系列変化を比較して下側ピークとな
る開度値を検出すると同時に、眼の開度値の最大値と最
小値を検出する。この値を用いて開閉眼判定基準値を設
定し、開閉眼の判定を行う。

【００３９】ステップ１６０１において、開閉眼判定基
準値の設定が終了していない場合、ステップ１６０２に
移行する。ステップ１６０２で前回処理時に眼の開度値
が増加方法であった場合は上側ピークとなるか否かを判
断する。ステップ１６０９で今回開度値と前回開度値を
比較し、今回開度値が更に大きくなっている場合は、ス
テップ１６１１で最大値の更新を行う。また、小さくな
った場合は、ステップ１６１０で前回処理時に眼の開度
値が減少方向であると認識しておく。その後、図３のス
テップ３０９の眼の開閉眼判定に移行する。

【００４０】ステップ１６０２で前回処理時に眼の開度
値が減少方向であった場合は下側ピークとなるか否かを
判断する。ステップ１６０３で今回開度値と前回開度値
を比較し、今回開度値が更に小さくなっている場合は、
ステップ１６０８で最小値の更新処理を行う。また、大
きくなった場合は、ステップ１６０４で下側ピーク開度
値（図１７）を検出したとし、ステップ１６０５で前回
処理時に開度値が増加方向であると認識しておく。ステ
ップ１６０６で下側ピークを検出した際に、図１７に示
すように学習終了条件（例：所定時間経過、所定処理回
数終了等）が成立した場合に、ステップ１６０７で眼の
開度値の最大値、最小値を用いて開閉眼判定基準値を設
定する。設定後はステップ１６０１の判断より、ステッ
プ１６０２以降の処理は省略される。また、開閉眼判定
基準値は、最大値または最小値のいずれか一方から所定
開度値をずらした開度値に設定することも可能である。

【００４１】次に図３のフローチャートのステップ３１
０における眼の追跡方法の詳細を図１５を用いて説明す
る。この処理の初期状態、つまり第１フレームでは、当
然、眼の追跡領域は設定されていないため、図３のステ
ップ３０４，３０５で眼の追跡領域が設定される。この
時、眼の中心座標と眼の追跡領域の中心座標は図１５の
（ａ）に示すように一致している。一連の処理の終了
後、第２フレームの処理に移り、ステップ３０３へ進む
と、ここでは既に眼の追跡領域が設定されているため、
ステップ３０６に移り、眼の開度と位置検出を行う。こ
の時、検出される眼の位置は、図１５の（b）に示すよ
うになる。図１５の（b）の眼の追跡領域は第１フレー
ムで設定された位置にあるのに対し、現在の眼の位置は
２フレーム目に取り込まれた画像データであるため、顔
の動き等により眼の中心点は眼の追跡領域に対しズレて
くる。しかし、眼が眼の追跡領域内にある限り眼の開度
と眼の詳細な位置検出は行うことができる。この後、眼
が正しく検出できている場合においては、図３のステッ
プ３０７からステップ３０８〜ステップ３１０へと移行
して行く。ステップ３１０では、図１５の（ｂ）の眼の
中心座標を基準に眼の追跡領域を更新することにより次
フレームでの画像の取り込み領域とする。よって、極端
に速い眼の移動でない限り、その動きに応じて眼の追跡
領域を追従させることができる。図１５の（ｃ），
（ｄ）は第３フレーム、第４フレームで取り込まれる顔
画像データでの眼の位置と眼の追跡領域の位置関係を示
したものである。

【００４２】次に、他の実施例について図１８，図２
０，図２２，図２４，図２６のフローチャートと、図１
９，図２１，図２３，図２５の説明図を用いて説明す
る。前述の実施例では、開閉眼判定基準値を設定する
際、検出された眼の開度値の最大値、最小値を採用する
ため、ノイズを拾う可能性が十分にある。このため、学
習により検出頻度の高い開度値を採用する方法を用い、
ノイズの影響をカットするのが望ましい。後述の２例
は、開閉眼基準値を学習してから開閉眼判定基準値を設
定する方式を採る。

【００４３】まず、図１６のステップ１６０７の開閉眼
判定基準値設定処理を図１８に置き換えて説明する。図
１８のステップ１８０１で、開閉眼判定基準値が未設定
の場合、ステップ１８０２，１８０３において、所定時
間内のみ眼の開度値の最小値を検出する。図１９（ａ）
に示すようにステップ１８０４で出力された眼の開度値
がステップ１８０３で検出した最小値と、最小値に所定
開度値をプラスした範囲内にある場合、ステップ１８０
５でその開度値の出力回数を積算する。図１９（ｂ）に
示すように、ステップ１８０６で積算回数が一番最初に
所定回数に達した開度値を検出した場合に、ステップ１
８０７においてその開度値を閉眼基準値として設定す
る。最後にステップ１８０８で閉眼基準値に所定開度を
プラスした値を開閉眼判定基準値として設定する。開閉
眼判定基準値設定後は、ステップ１８０２以降の処理は
省略される。以降この開閉眼判定基準値をもとに図３の
ステップ３０９の開閉眼判定を行う。この方法によれ
ば、開眼時の開度値が不安定な場合でも、閉眼時の開度
値のみで学習するため短時間で開閉眼判定基準値が設定
可能である。

【００４４】次の実施例として、図１６のステップ１６
０７の開閉眼判定基準値設定処理を図２０に置き換えて
説明する。図２０のステップ２００１で、開閉眼判定基
準値が未設定の場合、ステップ２００２において出力さ
れた眼の開度値が図２１（ａ）に示す所定開度値以下の
場合、ステップ２００３でその開度値の出力回数を積算
する。図２１（ｂ）に示すように、ステップ２００４で
積算回数が一番最初に所定回数に達した開度値を検出し
た場合に、ステップ２００５においてその開度値を閉眼
基準値として設定する。最後にステップ２００６で閉眼
基準値に所定開度をプラスした値を開閉眼判定基準値と
して設定する。開閉眼判定基準値設定後はステップ２０
０２以降の処理は省略される。以降この開閉眼判定基準
値をもとに図３のステップ３０９の開閉眼判定を行う。
この方法によれば、図１８，１９同様、短時間で開閉眼
判定基準値が設定可能である。

【００４５】ここで、開閉眼判定基準値を閉眼基準値に
所定開度をプラスする方法の場合、人により眼の大きさ
が異なり、開眼時でも開閉眼判定基準値以下の状態が続
く場合も考えられる。前記２例に対し、図２２，２３で
は閉眼基準値だけでなく、開眼基準値も学習し、開閉眼
判定基準値を設定する方式を採る。

【００４６】ステップ２２０１で閉眼基準値による開閉
眼判定基準値が設定されていない場合は、ステップ２２
０２において図１８，２０のような方式で開閉眼判定基
準値を仮置きで設定する。仮置き設定された場合にはス
テップ２２０３に移行し、図２３（ａ）の領域での開
閉眼判定基準値仮置き値以上の開度値のみが出力された
場合、ステップ２２０４で開度値の出力回数を積算す
る。図２３（ｂ）に示すように、ステップ２００５で積
算回数が一番最初に所定回数に達した開度値を検出した
場合に、ステップ２００６においてその開度値を開眼基
準値として設定する。最後にステップ２００７で開眼基
準値と閉眼基準値により開閉眼判定基準値を設定する。
開閉眼判定基準値設定後はステップ２２０３以降の処理
は省略される。以降この開閉眼判定基準値をもとに図３
のステップ３０９の開閉眼判定を行う。この方式によれ
ば、前記２例に対し、より正確な開閉眼判定基準値が設
定可能である。

【００４７】しかし、前記、図２２において、運転者が
眩しさ等により眼を細めた状態が連続し、開眼基準値と
閉眼基準値との間隔が狭く、正常に学習されない場合が
生じる可能性がある。そこで、このような場合、開眼基
準値が正常に学習されていないとし、再学習する例を図
２４のフローチャートを用いて説明する。

【００４８】図１８のステップ１８０８、または図２０
のステップ２００６、または図２２のステップ２２０７
において、開閉眼判定基準値が設定、または更新された
後、ステップ２４０１において開眼基準値が再学習され
ていない場合はステップ２４０２に移行し、開閉眼判定
基準値が更新されていて、更にステップ２４０３でその
時の開眼基準値と閉眼基準値の間隔が所定値以下で、ス
テップ２４０４で再学習回数が所定回数を超えない場合
に、ステップ２４０５において開閉眼判定基準値以上の
開度値の積算所定数を増やす。その後ステップ２４０６
にて開眼基準値と開閉眼判定基準値を再設定する。ステ
ップ２４０６は図２２のステップ２２０１以降の処理と
同等である。これより、開閉眼のストロークが極端に狭
い場合は、開眼・閉眼基準値の学習が正常に行われなか
ったと判断し、正常と判断されるまで再学習を繰り返す
ことにより正しい開閉眼判定基準値を設定することがで
きる。ここで、何度再学習しても開眼・閉眼基準値の間
隔が所定値以上にならない場合は、眼が細い人である場
合が考えられるので、強制的に閉眼基準値以上で出力回
数の多い開度値を開眼基準値に設定し、開閉眼判定基準
値を設定することも必要となる。

【００４９】これまでの方法により開閉眼判定基準値が
正確に設定される条件として、眼の追跡領域が離れない
ことが前提となっている。しかし、運転者が顔の向きを
変えたり、車両の振動などにより、眼の追跡領域が移動
してしまう可能性がある。この場合、追跡領域が眼から
外れたのを検出し、前記学習を中断する必要がある。こ
の実施例について図２６のフローチャートを用いて説明
する。

【００５０】ステップ２６０１から２６０７までの処理
は図３のステップ３０１から３０７と同等である。ステ
ップ２６０７において眼の追跡状況の確認がＯＫだった
場合、ステップ２６０８にて、ステップ２６０４の眼の
位置検出によってステップ２６０５の眼の追跡領域が設
定された時点の眼の初期検出位置に対する現在の眼の追
跡位置との移動量を求め、移動量が小さい場合のみステ
ップ２６０９の開閉眼判定基準値の設定を行う。これに
より、眼の追跡領域が眉や鼻といった眼以外の部分に誤
って移動した場合にも本来の眼でない物の開度値で学習
しないよう中断することができる。

【００５１】

【発明の効果】以上の説明から明らかなように、本発明
によれば、眼の開度検出出力における眼の開度値の時系
列変化の比較によってルームミラーを見た場合などのノ
イズに影響されることなく、精度の高い開眼基準値、閉
眼基準値の学習が可能である。よって、開閉眼判定基準
値を精度良く設定でき、居眠り検出精度を向上させるこ
とができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の構成を示すクレーム対
応図である。

【図２】本発明の構成を示す図である。

【図３】本発明の第１の実施例の全体動作を示すフロー
チャートである。

【図４】眼の位置検出の動作を示すフローチャートであ
る。

【図５】眼の位置検出に関する説明図である。

【図６】眼の位置検出に関する説明図である。

【図７】眼の位置検出に関する説明図である。

【図８】眼の位置検出に関する説明図である。

【図９】眼の位置検出に関する説明図である。

【図１０】眼の位置検出に関する説明図である。

【図１１】眼の開度値を求める二値化閾値の算出方法を
示すフローチャートである。

【図１２】二値化閾値を求める方法に関する説明図であ
る。

【図１３】二値化閾値を求める方法に関する説明図であ
る。

【図１４】眼の開度値の出力方法に関する説明図であ
る。

【図１５】眼の追跡方法に関する説明図である。

【図１６】開閉眼判定基準値の学習方法を示すフローチ
ャートである。

【図１７】開閉眼判定基準値の学習方法に関する説明図
である。

【図１８】本発明の第２の実施例の動作を示すフローチ
ャートである。

【図１９】本発明の第２の実施例の動作に関する説明図
である。

【図２０】本発明の第３の実施例の動作を示すフローチ
ャートである。

【図２１】本発明の第３の実施例の動作に関する説明図
である。

【図２２】本発明の第４の実施例の動作を示すフローチ
ャートである。

【図２３】本発明の第４の実施例の動作に関する説明図
である。

【図２４】本発明の第５の実施例の動作を示すフローチ
ャートである。

【図２５】本発明の第５の実施例の動作に関する説明図
である。

【図２６】本発明の第６の実施例の動作を示すフローチ
ャートである。

【図２７】本発明の実施例の問題点に関する説明図であ
る。

【符号の説明】

ＣＬ１画像入力手段ＣＬ２顔の縦方向の画素列の濃度検出手段ＣＬ３ポイント抽出手段ＣＬ４連続データの抽出手段ＣＬ５眼の位置検出手段ＣＬ６眼の追跡領域内でのポイント抽出手段ＣＬ７眼の開度検出手段ＣＬ８開閉眼基準値設定手段ＣＬ９開閉眼判定手段ＣＬ１０覚醒度判定手段ＣＬ１１警報手段２１ＴＶカメラ２２Ａ−Ｄ変換器２３画像メモリ２４画像データ演算回路２５眼の位置検出回路２６開閉眼検出回路２７覚醒度判定回路２８警報装置

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 7/60 Ｇ０８Ｇ 1/16 ＦＧ０８Ｂ 21/06 Ｇ０６Ｆ 15/62 ３８０Ｇ０８Ｇ 1/16 15/70 ３５０Ｆ (72)発明者福田岳茨城県北相馬郡利根町大平31 ナイルス部品株式会社内 (72)発明者金田雅之神奈川県横浜市神奈川区宝町２番地日産自動車株式会社内 (72)発明者大和田正次神奈川県横浜市神奈川区宝町２番地日産自動車株式会社内

Claims

【特許請求の範囲】

【請求項１】顔の画像データを処理して居眠り状態を
検出して警報を出力する居眠り運転警報装置において、
上記画像データから画素の濃度値を読み出し、顔の縦方
向の画素列における濃度の局所的な高まりごとに画素を
定めて抽出点とし、該抽出点と隣接する画素列の抽出点
が連続して顔の横方向に伸びる連続データを抽出するこ
とにより、眼の位置を検出する眼の位置検出手段と、この検出された眼の位置を含む所定領域を設定する所定
領域設定手段と、該所定領域設定手段で設定された所定
領域で前記連続データに基づき眼の位置を特定し、該連
続データの濃度変化状態から眼の開度を検出する眼の開
度検出手段と、該眼の開度検出手段より出力される眼の開度値の時系列
の変化に基づいて、開閉眼判定に用いる基準値を設定す
る開閉眼判定基準値設定手段と、から成ることを特徴と
する眼の状態検出装置。
【請求項２】前記開閉眼判定基準値設定手段は、前記
眼の開度検出手段より所定時間内に出力される眼の開度
値の最小値を基準に各開度値の出力回数を積算する眼の
開度値の範囲を設定し、該範囲内で最初に所定数に達し
た眼の開度値を閉眼の基準値とし、所定開度加えた値を
開眼の基準値とすることを特徴とする請求項１の眼の状
態検出装置。
【請求項３】前記開閉眼判定基準値設定手段は、前記
眼の開度検出手段より出力される所定開度値以下の各開
度値の出力回数を積算し、最初に所定数に達した眼の開
度値を閉眼の基準値とし、所定開度加えた値を開眼の基
準値とすることを特徴とする請求項１の眼の状態検出装
置。
【請求項４】前記開閉眼判定基準値設定手段は、閉眼
の基準値に所定開度加えて開眼の基準値を仮置きし、該
仮置きした開眼の基準値以上の開度値において各開度値
の出力回数を積算し、該積算数が最初に所定数に達した
眼の開度値を新たに開眼の基準値として、更新すること
を特徴とする請求項１、請求項２または請求項３の眼の
状態検出装置。
【請求項５】前記開閉眼判定基準値設定手段は、前記
更新された開眼の基準値と閉眼の基準値との間隔が所定
値以下の場合に、前記仮置きした開眼の基準値以上の開
度値の積算所定数を増やし開眼の基準値を再学習し、再
学習した開眼の基準値に更新することを特徴とする請求
項４の眼の状態検出装置。
【請求項６】前記開閉眼判定基準値設定手段は、前記
眼の位置検出手段により検出された眼の位置に対し、眼
を含む所定領域が所定範囲を越えて移動した場合に、該
領域内に出現する連続データを対象とした基準値の学習
を中断することを特徴とする請求項１乃至５のいずれか
に記載の眼の状態検出装置。
【請求項７】請求項１乃至６のいずれかに記載の眼の
状態検出装置であって、前記開閉眼判定基準値設定手段
で設定された基準値を用いて眼の開閉状態を判定し、そ
の開閉状態の変化から覚醒度を判定する覚醒度判定手段
と、前記覚醒度判定手段により覚醒度が低下していると
判定された時に警報を発する警報手段から成ることを特
徴とする居眠り運転警報装置。