JP2001005952A - 瞬目状態検出方法 - Google Patents
瞬目状態検出方法Info
- Publication number
- JP2001005952A JP2001005952A JP11178617A JP17861799A JP2001005952A JP 2001005952 A JP2001005952 A JP 2001005952A JP 11178617 A JP11178617 A JP 11178617A JP 17861799 A JP17861799 A JP 17861799A JP 2001005952 A JP2001005952 A JP 2001005952A
- Authority
- JP
- Japan
- Prior art keywords
- blinking
- nostril
- upper eyelid
- eye
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】 目の中の特徴部位である瞳等の移動と瞬きと
が混同することなく、居眠り運転等の覚醒度低下状態を
含む瞬目状態を精度良く検出することが出来る瞬目状態
検出方法を提供する。 【解決手段】 鼻孔を基準位置として、該鼻孔位置より
前記目の特徴部位までの距離を算出して、該距離の変位
に基づいて運転者の瞬目状態を検出する瞬目状態検出方
法において、前記目の特徴部位が上まぶたであり、該上
まぶたと鼻孔間の顔縦方向(Ｙ軸方向)の距離の変位量に
基づいて運転者の瞬目状態を検出することを特徴とす
る。
が混同することなく、居眠り運転等の覚醒度低下状態を
含む瞬目状態を精度良く検出することが出来る瞬目状態
検出方法を提供する。 【解決手段】 鼻孔を基準位置として、該鼻孔位置より
前記目の特徴部位までの距離を算出して、該距離の変位
に基づいて運転者の瞬目状態を検出する瞬目状態検出方
法において、前記目の特徴部位が上まぶたであり、該上
まぶたと鼻孔間の顔縦方向(Ｙ軸方向)の距離の変位量に
基づいて運転者の瞬目状態を検出することを特徴とす
る。
Description
【０００１】
【発明の属する技術分野】本発明は、運転者等の瞼の開
閉動作である瞬目状態を測定して居眠り運転や脇見運転
等を検出する瞬目検出方法とその装置に関する。
閉動作である瞬目状態を測定して居眠り運転や脇見運転
等を検出する瞬目検出方法とその装置に関する。
【０００２】
【従来の技術】従来より、瞼の瞬き状態(以下瞬目とい
う)を測定(回数、時間等)して、居眠り運転等の覚醒度
低下状態や脇見運転等を検出する瞬目検出方法が種々知
られており、かかる瞬目検出方法は、例えば、基準閉目
時間と比較して、測定された閉目時間が基準閉目時間よ
り長いものを複数積算して、その合計値が所定時間内に
規定値以上となった場合、居眠り状態と判断するように
設定され、これにより、初回に測定した閉目時間が規定
値以上の場合は、即座に居眠り状態と判断することが可
能である。
う)を測定(回数、時間等)して、居眠り運転等の覚醒度
低下状態や脇見運転等を検出する瞬目検出方法が種々知
られており、かかる瞬目検出方法は、例えば、基準閉目
時間と比較して、測定された閉目時間が基準閉目時間よ
り長いものを複数積算して、その合計値が所定時間内に
規定値以上となった場合、居眠り状態と判断するように
設定され、これにより、初回に測定した閉目時間が規定
値以上の場合は、即座に居眠り状態と判断することが可
能である。
【０００３】そしてこのような装置は、例えば運転者の
顔を車両室内に設けたＣＣＤカメラ等で撮像し、得られ
た顔画像を２値化処理する等の画像処理を行った後前記
目を特定しているが、そして前記目の位置は個人差があ
り、又画像情報はＣＣＤカメラで撮像するために、太陽
光等の外乱、若しくは車室内に設けたサンバイザ等の影
響で精度良く目の位置や動きをとらえることが出来なか
った。
顔を車両室内に設けたＣＣＤカメラ等で撮像し、得られ
た顔画像を２値化処理する等の画像処理を行った後前記
目を特定しているが、そして前記目の位置は個人差があ
り、又画像情報はＣＣＤカメラで撮像するために、太陽
光等の外乱、若しくは車室内に設けたサンバイザ等の影
響で精度良く目の位置や動きをとらえることが出来なか
った。
【０００４】このため従来は顔画像中の他の特徴部位と
の組み合わせにおいて、前記目の位置を特定する発明が
いくつか開示されている。例えば前記顔画像の特徴部位
として鼻孔の形状は、顔画像中、２つの並列する略円形
の黒領域として表され、これは個人差が比較的少ない顔
の特徴部位として好適であり、この鼻孔を基準位置とし
て、該基準位置より前記目までの距離を算出して、該距
離の変位に基づいて運転者の瞬目状態を検出する瞬目状
態検出方法が存在する。(特開平8-300978号、特開平10-
86696号)
の組み合わせにおいて、前記目の位置を特定する発明が
いくつか開示されている。例えば前記顔画像の特徴部位
として鼻孔の形状は、顔画像中、２つの並列する略円形
の黒領域として表され、これは個人差が比較的少ない顔
の特徴部位として好適であり、この鼻孔を基準位置とし
て、該基準位置より前記目までの距離を算出して、該距
離の変位に基づいて運転者の瞬目状態を検出する瞬目状
態検出方法が存在する。(特開平8-300978号、特開平10-
86696号)
【０００５】
【発明が解決しようとする課題】しかしながら前記発明
は、基準位置としての鼻孔は一定でも、目そのものは人
によって若しくは人種によって大小個人差があり、特に
特開平8-300978号に示すように、ヒストグラム算出手段
等を利用して黒画像領域認識手段にて目の位置や目の瞬
きを求める方法では、結果として目の中の瞳の有無を認
識することになり、必ずしも精度良い測定が出来ない。
は、基準位置としての鼻孔は一定でも、目そのものは人
によって若しくは人種によって大小個人差があり、特に
特開平8-300978号に示すように、ヒストグラム算出手段
等を利用して黒画像領域認識手段にて目の位置や目の瞬
きを求める方法では、結果として目の中の瞳の有無を認
識することになり、必ずしも精度良い測定が出来ない。
【０００６】即ち、瞳は斜視、上目使いや下目使いによ
って移動し、又夜間や昼間の照度の違いによっても瞳が
大小変化する。このため、前記瞳の移動と瞬きとが混同
しやすく、必ずしも精度良い居眠り運転等の覚醒度低下
状態を検出することが出来ない。
って移動し、又夜間や昼間の照度の違いによっても瞳が
大小変化する。このため、前記瞳の移動と瞬きとが混同
しやすく、必ずしも精度良い居眠り運転等の覚醒度低下
状態を検出することが出来ない。
【０００７】本発明はかかる技術的課題に鑑み、前記目
の中の特徴部位である瞳等の移動と瞬きとが混同するこ
となく、居眠り運転等の覚醒度低下状態を含む瞬目状態
を精度良く検出することが出来る瞬目状態検出方法を提
供することを目的とする。
の中の特徴部位である瞳等の移動と瞬きとが混同するこ
となく、居眠り運転等の覚醒度低下状態を含む瞬目状態
を精度良く検出することが出来る瞬目状態検出方法を提
供することを目的とする。
【０００８】
【課題を解決するための手段】本発明はかかる課題を解
決するために、顔を撮像して顔画像を得る撮像手段を備
え、前記顔画像から鼻孔及び上まぶたを抽出し、前記鼻
孔を基準位置として前記上まぶたまでの距離を算出し、
前記鼻孔と前記上まぶた間の顔縦方向（Ｙ軸方向）の距
離の変位量に基いて運転者の瞬き状態を検出することを
特徴とする。
決するために、顔を撮像して顔画像を得る撮像手段を備
え、前記顔画像から鼻孔及び上まぶたを抽出し、前記鼻
孔を基準位置として前記上まぶたまでの距離を算出し、
前記鼻孔と前記上まぶた間の顔縦方向（Ｙ軸方向）の距
離の変位量に基いて運転者の瞬き状態を検出することを
特徴とする。
【０００９】また、請求項２記載の発明は、請求項１に
おいて、前記上まぶた位置の検出が、該上まぶたが瞳
(黒目部分)と眉毛の間にあるか若しくは白目部分の上端
にあるという判定手段により行われる事を特徴とするさ
らにまた、請求項３記載の発明は、上まぶたと鼻孔間の
Ｙ軸方向の距離の変位量の左目と右目両者のいずれもが
所定の閾値を超えた場合に、覚醒度低下状態の判断を行
うようにしたことを特徴とする
おいて、前記上まぶた位置の検出が、該上まぶたが瞳
(黒目部分)と眉毛の間にあるか若しくは白目部分の上端
にあるという判定手段により行われる事を特徴とするさ
らにまた、請求項３記載の発明は、上まぶたと鼻孔間の
Ｙ軸方向の距離の変位量の左目と右目両者のいずれもが
所定の閾値を超えた場合に、覚醒度低下状態の判断を行
うようにしたことを特徴とする
【００１０】即ち、本発明を具体的に説明するに、瞬き
を行った場合に上下動するのは瞳（黒目部分）でも又眉
毛でもなくなく上まぶたそのものである。言い換えれば
瞬きをしても眉毛は変動することなく、固定であり、又
瞳も瞬きによって上まぶたにより閉じられ、顔画像の視
界から消えるが、瞬きにより変動することはなく、却っ
て斜視や上目使いや下目使いにより変動し、瞬きか否か
の判定誤差が生じやすい。
を行った場合に上下動するのは瞳（黒目部分）でも又眉
毛でもなくなく上まぶたそのものである。言い換えれば
瞬きをしても眉毛は変動することなく、固定であり、又
瞳も瞬きによって上まぶたにより閉じられ、顔画像の視
界から消えるが、瞬きにより変動することはなく、却っ
て斜視や上目使いや下目使いにより変動し、瞬きか否か
の判定誤差が生じやすい。
【００１１】一方、上まぶたは、瞬きを行った場合に必
ず上下動し且つ基本的には横(水平)方向の変動は微小で
ある。従って前記上まぶたの変動に対し、縦（Ｙ軸）方
向についてのみ、例えば鼻孔を基準位置とした変位量を
検出し、その変位量が所定の閾値を超えた時間若しくは
回数、更には両者の組み合わせにより瞬き状態を精度良
く且つ確実に検出できる。然も前記上まぶたにはまつげ
やアイラインが存在し、ＣＣＤカメラ等の撮像データを
黒白２値化変換した細幅の黒画素ラインとして表れるた
めに、これを縦方向にスキャンした場合、鮮明な細幅ピ
ーク値として表れ、検出精度の向上につながる。（瞳や
眉毛等の場合は、まつげやアイラインに比較して大幅に
太幅であり、その分誤差が生じやすい。
ず上下動し且つ基本的には横(水平)方向の変動は微小で
ある。従って前記上まぶたの変動に対し、縦（Ｙ軸）方
向についてのみ、例えば鼻孔を基準位置とした変位量を
検出し、その変位量が所定の閾値を超えた時間若しくは
回数、更には両者の組み合わせにより瞬き状態を精度良
く且つ確実に検出できる。然も前記上まぶたにはまつげ
やアイラインが存在し、ＣＣＤカメラ等の撮像データを
黒白２値化変換した細幅の黒画素ラインとして表れるた
めに、これを縦方向にスキャンした場合、鮮明な細幅ピ
ーク値として表れ、検出精度の向上につながる。（瞳や
眉毛等の場合は、まつげやアイラインに比較して大幅に
太幅であり、その分誤差が生じやすい。
【００１２】又、前記上まぶたは白目部分の上端にあ
り、濃淡(ピーク値)がはっきり出るのみならず、細幅の
上まぶたの上下には、一般的に上下方向に太幅の画素と
して表れる瞳(黒目部分)部分と眉毛部分の間にあるため
に、瞳(黒目部分)部分と眉毛部分との組み合わせにより
上まぶたを検出することにより一層確実に上まぶたの検
出が容易である。
り、濃淡(ピーク値)がはっきり出るのみならず、細幅の
上まぶたの上下には、一般的に上下方向に太幅の画素と
して表れる瞳(黒目部分)部分と眉毛部分の間にあるため
に、瞳(黒目部分)部分と眉毛部分との組み合わせにより
上まぶたを検出することにより一層確実に上まぶたの検
出が容易である。
【００１３】
【発明の実施の形態】以下、本発明を図に示した実施例
を用いて詳細に説明する。但し、この実施例に記載され
る構成部品の寸法、形状、その相対配置などは特に特定
的な記載がない限り、この発明の範囲をそれのみに限定
する趣旨ではなく単なる説明例に過ぎない。図１は本発
明の実施形態にかかる瞬き検出装置を示すブロックダイ
ヤグラムで、図に沿って本発明の実施形態を説明する。
１は、例えば768×493の画素数を有する小型のＣＣＤカ
メラ(電荷結合素子カメラ)で自動車のダッシュボード若
しくはインスツルメントパネル部等に配置されて、前方
より車両運転者の顔画像を撮像する。尚、夜間等のよう
にＣＣＤカメラ１よりの画像出力が低い場合は、不図示
の近赤外線照明手段等を利用して光量を補う。かかる点
は前記先行技術に記述されている照明及び照明制御手段
を用いればよい。
を用いて詳細に説明する。但し、この実施例に記載され
る構成部品の寸法、形状、その相対配置などは特に特定
的な記載がない限り、この発明の範囲をそれのみに限定
する趣旨ではなく単なる説明例に過ぎない。図１は本発
明の実施形態にかかる瞬き検出装置を示すブロックダイ
ヤグラムで、図に沿って本発明の実施形態を説明する。
１は、例えば768×493の画素数を有する小型のＣＣＤカ
メラ(電荷結合素子カメラ)で自動車のダッシュボード若
しくはインスツルメントパネル部等に配置されて、前方
より車両運転者の顔画像を撮像する。尚、夜間等のよう
にＣＣＤカメラ１よりの画像出力が低い場合は、不図示
の近赤外線照明手段等を利用して光量を補う。かかる点
は前記先行技術に記述されている照明及び照明制御手段
を用いればよい。
【００１４】前記ＣＣＤカメラ１で撮像された顔画像デ
ータはアナログデータであるために、増幅器２を介して
ＡＤ変換器３によりデジタル階調画像に変換した後、顔
画像処理部に入力される。顔画像処理部４では、前記デ
ジタル階調画像を濃淡レベル変換手段１３により所定長
以下の黒レベルを抽出した後、浮動２値化手段１９によ
り浮動２値化されて２値化画像データに変換される。次
に、目抽出部１４として規定される第１の候補領域設定
手段により左右の目の領域を矩形状に領域設定し、更に
鼻孔抽出部１５として規定される第２の候補領域設定手
段により鼻孔周囲領域を矩形状に領域設定する。そして
前記鼻孔抽出部１５より抽出された鼻孔周囲領域を鼻孔
位置検出部１６により、縦軸（Ｙ軸）方向と横軸(Ｘ軸)
方向とにより夫々スキャンして黒画素数を読み取ってＹ
軸方向とＸ軸方向の画素数に対応するヒストグラムを作
成し、該２軸方向のヒストグラムより鼻孔２４位置を検
出する。かかる構成は特開平8-300978に開示されてお
り、公知であるのでその詳細な説明を省略する。
ータはアナログデータであるために、増幅器２を介して
ＡＤ変換器３によりデジタル階調画像に変換した後、顔
画像処理部に入力される。顔画像処理部４では、前記デ
ジタル階調画像を濃淡レベル変換手段１３により所定長
以下の黒レベルを抽出した後、浮動２値化手段１９によ
り浮動２値化されて２値化画像データに変換される。次
に、目抽出部１４として規定される第１の候補領域設定
手段により左右の目の領域を矩形状に領域設定し、更に
鼻孔抽出部１５として規定される第２の候補領域設定手
段により鼻孔周囲領域を矩形状に領域設定する。そして
前記鼻孔抽出部１５より抽出された鼻孔周囲領域を鼻孔
位置検出部１６により、縦軸（Ｙ軸）方向と横軸(Ｘ軸)
方向とにより夫々スキャンして黒画素数を読み取ってＹ
軸方向とＸ軸方向の画素数に対応するヒストグラムを作
成し、該２軸方向のヒストグラムより鼻孔２４位置を検
出する。かかる構成は特開平8-300978に開示されてお
り、公知であるのでその詳細な説明を省略する。
【００１５】そして本実施形態は、前記目抽出部１４よ
り抽出された拡大目領域より上まぶた２３位置を検出す
る上まぶた位置検出部１７を具えた事を要旨とする。図
２は前記拡大目領域において、前記目抽出部１４より目
部分(黒目＋白目)の中心をＸ軸方向とＹ軸方向に夫々ス
キャンし、夫々の黒画素数をカウントしたヒストグラム
を示す。本図より理解されるように、Ｙ軸方向において
は、瞳２１（黒目部分）や眉毛２２部分も黒画素領域と
して表れるが、瞬きを行った場合にこれらの部分は上下
動する事なく、上まぶた２３に対応するまつげやアイラ
インのみが上下動する。
り抽出された拡大目領域より上まぶた２３位置を検出す
る上まぶた位置検出部１７を具えた事を要旨とする。図
２は前記拡大目領域において、前記目抽出部１４より目
部分(黒目＋白目)の中心をＸ軸方向とＹ軸方向に夫々ス
キャンし、夫々の黒画素数をカウントしたヒストグラム
を示す。本図より理解されるように、Ｙ軸方向において
は、瞳２１（黒目部分）や眉毛２２部分も黒画素領域と
して表れるが、瞬きを行った場合にこれらの部分は上下
動する事なく、上まぶた２３に対応するまつげやアイラ
インのみが上下動する。
【００１６】又、Ｘ軸のヒストグラムから明らかなよう
に、上まぶた２３は瞬きを行った場合にＹ軸方向には上
下動するがＸ軸方向の変動は微小である。従って前記上
まぶた２３の変動に対し、Ｙ軸方向についてのみ、鼻孔
２４を基準位置とした変位量を検出し、その変位量が後
記する閾値決定部８で定めた所定の閾値を超えた場合に
瞬き状態として判断すればよい。然も前記上まぶた２３
は白目２５部分の上端にあり、濃淡(ピーク値)がはっき
り出るのみならず、細幅の上まぶた２３の上下には、上
下方向に太幅の画素として表れる瞳２１部分と眉毛２２
部分の間にあるために、ヒストグラムの太幅の黒画素領
域の間にある細幅ピーク値のみを検出することにより、
一層確実に上まぶた２３の検出が可能である。
に、上まぶた２３は瞬きを行った場合にＹ軸方向には上
下動するがＸ軸方向の変動は微小である。従って前記上
まぶた２３の変動に対し、Ｙ軸方向についてのみ、鼻孔
２４を基準位置とした変位量を検出し、その変位量が後
記する閾値決定部８で定めた所定の閾値を超えた場合に
瞬き状態として判断すればよい。然も前記上まぶた２３
は白目２５部分の上端にあり、濃淡(ピーク値)がはっき
り出るのみならず、細幅の上まぶた２３の上下には、上
下方向に太幅の画素として表れる瞳２１部分と眉毛２２
部分の間にあるために、ヒストグラムの太幅の黒画素領
域の間にある細幅ピーク値のみを検出することにより、
一層確実に上まぶた２３の検出が可能である。
【００１７】そして前記のように検出した上まぶた２３
位置と鼻孔２４位置は、上まぶた／鼻孔間距離算出部５
で、その間のＹ軸方向の距離を算出する。距離の算出は
画素数のカウントにより行う。尚、ＣＣＤカメラ１によ
り、車両の運転中における顔を撮像すると、運転者の生
理的振動、車両の高周波振動等による振動が合成され、
又道路の凹凸とショックアブゾーバ作用等により長い周
期で前記波形が揺動する。このため、前記距離信号波形
からこれらのノイズとしての高周波成分と低周波成分を
除去して平滑化する必要がある。これは前記画像処理部
４内にノイズ処理部を設けてもよく、又ＡＤ変換器３に
よりデジタル変換する前のアナログデータ時にローパス
フィルタ等を用いて平滑化処理を行っても良い。
位置と鼻孔２４位置は、上まぶた／鼻孔間距離算出部５
で、その間のＹ軸方向の距離を算出する。距離の算出は
画素数のカウントにより行う。尚、ＣＣＤカメラ１によ
り、車両の運転中における顔を撮像すると、運転者の生
理的振動、車両の高周波振動等による振動が合成され、
又道路の凹凸とショックアブゾーバ作用等により長い周
期で前記波形が揺動する。このため、前記距離信号波形
からこれらのノイズとしての高周波成分と低周波成分を
除去して平滑化する必要がある。これは前記画像処理部
４内にノイズ処理部を設けてもよく、又ＡＤ変換器３に
よりデジタル変換する前のアナログデータ時にローパス
フィルタ等を用いて平滑化処理を行っても良い。
【００１８】６は、かかる上まぶた２３と鼻孔２４間距
離の基準距離を算出する上まぶた／鼻孔間基準距離算出
部で、図３の画素数／時間のグラフ線図で示すように、
鼻孔２４の基準位置より上まぶた２３の変位位置に対応
した、言い換えれば上まぶた２３の開位置に対応した基
準距離波形Ｄｓとなる。この場合基準距離波形Ｄｓは上
まぶた２３の全開位置でも又全閉位置のいずれでもよ
い。
離の基準距離を算出する上まぶた／鼻孔間基準距離算出
部で、図３の画素数／時間のグラフ線図で示すように、
鼻孔２４の基準位置より上まぶた２３の変位位置に対応
した、言い換えれば上まぶた２３の開位置に対応した基
準距離波形Ｄｓとなる。この場合基準距離波形Ｄｓは上
まぶた２３の全開位置でも又全閉位置のいずれでもよ
い。
【００１９】次に前記基準距離波形Ｄｓに基づいて実測
の上まぶた位置Ｄとの差を取り、上まぶた変位算出部７
にて、前記上まぶた２３の変位量(Ｄ−Ｄｓ)を算出す
る。変位量(Ｄ−Ｄｓ)の算出は、図４に示すように、基
準距離Ｄｓより前記波形成分Ｄを引けばよい。前記した
ように人間は通常の瞬きの場合でも２００ｍｓの間隔が
あり、このため前記瞬目から、居眠り運転等の覚醒度低
下状態か通常の瞬目かを判断するためには瞬目の時間を
測定する必要があり、このため本実施例は覚醒状態判定
部９において、閾値決定部８にて閾値を設定し、該閾０
値を超えた変位量Ｋ(Ｄ−Ｄｓ)について覚醒度低下状態
を判断するための瞬目と判断し、該閾値を超えた前記変
位量Ｋ(Ｄ−Ｄｓ)から、注意すべき瞼の閉目時間ΔＴｎ
として検出してその回数と時間に基づいて覚醒度低下状
態の判定を行う。尚、ここでＫは定数を示し、演算精度
を高めるためのものである。
の上まぶた位置Ｄとの差を取り、上まぶた変位算出部７
にて、前記上まぶた２３の変位量(Ｄ−Ｄｓ)を算出す
る。変位量(Ｄ−Ｄｓ)の算出は、図４に示すように、基
準距離Ｄｓより前記波形成分Ｄを引けばよい。前記した
ように人間は通常の瞬きの場合でも２００ｍｓの間隔が
あり、このため前記瞬目から、居眠り運転等の覚醒度低
下状態か通常の瞬目かを判断するためには瞬目の時間を
測定する必要があり、このため本実施例は覚醒状態判定
部９において、閾値決定部８にて閾値を設定し、該閾０
値を超えた変位量Ｋ(Ｄ−Ｄｓ)について覚醒度低下状態
を判断するための瞬目と判断し、該閾値を超えた前記変
位量Ｋ(Ｄ−Ｄｓ)から、注意すべき瞼の閉目時間ΔＴｎ
として検出してその回数と時間に基づいて覚醒度低下状
態の判定を行う。尚、ここでＫは定数を示し、演算精度
を高めるためのものである。
【００２０】この場合、前記閾値は、ＣＣＤカメラ１の
観察パターンの輝度変化によって任意に可変出来るよう
にしている。又、前記処理は２値化した画素数に基づい
てヒストグラムを取る手法で説明したが、電圧レベル波
形のアナログ的処理に基づいて行うことも容易である。
観察パターンの輝度変化によって任意に可変出来るよう
にしている。又、前記処理は２値化した画素数に基づい
てヒストグラムを取る手法で説明したが、電圧レベル波
形のアナログ的処理に基づいて行うことも容易である。
【００２１】以上詳述したように、本実施形態の場合
は、上まぶた２３の開閉動作を検出して閉目時間や閉目
回数を検出するようにしたために、従来技術に比較し
て、瞳２１の大小等による個人差や斜視や上目使いや下
目使い等の瞳２１の移動に起因する誤判断をなくするこ
とが出来、覚醒度低下状態に起因する瞬目判断を精度良
く行う事が出来る。
は、上まぶた２３の開閉動作を検出して閉目時間や閉目
回数を検出するようにしたために、従来技術に比較し
て、瞳２１の大小等による個人差や斜視や上目使いや下
目使い等の瞳２１の移動に起因する誤判断をなくするこ
とが出来、覚醒度低下状態に起因する瞬目判断を精度良
く行う事が出来る。
【００２２】尚、目にゴミが入った場合のように、意識
的に片目をつぶったような場合は、片目のみが閉目時間
や閉目回数を満足して覚醒度低下状態と誤判断する場合
がある。そこで本実施形態においては、図５に示すフロ
ーチャート図より明らかなように、上まぶた位置検出か
ら上まぶた変位算出までを左右それぞれの目で行い(Ｓ
１)、該左目と右目の上まぶた変位量の、両者のいずれ
もが閾値を超えた場合(Ｓ２)に、覚醒状態判定部９に信
号入力を行い(Ｓ３)、該判定部９内で例えばその平均値
で閉目時間を算出するようにすればよい。
的に片目をつぶったような場合は、片目のみが閉目時間
や閉目回数を満足して覚醒度低下状態と誤判断する場合
がある。そこで本実施形態においては、図５に示すフロ
ーチャート図より明らかなように、上まぶた位置検出か
ら上まぶた変位算出までを左右それぞれの目で行い(Ｓ
１)、該左目と右目の上まぶた変位量の、両者のいずれ
もが閾値を超えた場合(Ｓ２)に、覚醒状態判定部９に信
号入力を行い(Ｓ３)、該判定部９内で例えばその平均値
で閉目時間を算出するようにすればよい。
【００２３】
【発明の効果】以上記載のごとく本発明によれば、前記
瞳等の移動と瞬きとが混同することなく、居眠り運転等
の覚醒度低下状態を含む瞬目状態を精度良く検出するこ
とが出来る。
瞳等の移動と瞬きとが混同することなく、居眠り運転等
の覚醒度低下状態を含む瞬目状態を精度良く検出するこ
とが出来る。
【図１】 本発明の実施形態に係る覚醒状態判定装置の
全体ブロック図である。
全体ブロック図である。
【図２】 左右の目領域と鼻孔領域を示すとともに、目
抽出部より目部分(黒目＋白目)の中心をＸ軸方向とＹ軸
方向に夫々スキャンし、夫々の黒画素数をカウントした
ヒストグラムを示す。
抽出部より目部分(黒目＋白目)の中心をＸ軸方向とＹ軸
方向に夫々スキャンし、夫々の黒画素数をカウントした
ヒストグラムを示す。
【図３】 上まぶたと鼻孔間距離のノイズ成分を除去し
て定常成分のみを算出し、上まぶたの開閉位置に対応し
たレベル波形を示す画素数／時間のグラフ線図である。
て定常成分のみを算出し、上まぶたの開閉位置に対応し
たレベル波形を示す画素数／時間のグラフ線図である。
【図４】 上まぶたの変位量 (Ｄ−Ｄｓ)と閾値との関
係を示すグラフ図である。
係を示すグラフ図である。
【図５】 左目と右目の上まぶた変位量が異なる場合
の、覚醒度低下状態の判定方法を示すフローチャート図
である。
の、覚醒度低下状態の判定方法を示すフローチャート図
である。
１ ＣＣＤカメラ ４ 顔画像処理部 ５ 上まぶた／鼻孔間距離算出部５ ６ 上まぶた／鼻孔間距離定常成分算出部 ７ 上まぶた変位算出部 ８ 閾値決定部 ９ 覚醒状態判定部 １４ 目抽出部 １５ 鼻孔抽出部 １６ 鼻孔位置検出部 ２１ 瞳 ２２ 眉毛 ２３ 上まぶた ２４ 鼻孔 ２５ 白目
───────────────────────────────────────────────────── フロントページの続き (72)発明者 石倉 寿 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 3D037 FA05 5B057 AA16 AA19 BA29 DA07 DB02 DB08 DC02 DC19 5C086 AA23 BA22 CA25 CA28 CB36 DA08 5L096 AA07 BA02 BA04 BA18 EA43 FA36 FA66 FA76 GA51 HA02 9A001 HH23
Claims (3)
- 【請求項１】 顔を撮像して顔画像を得る撮像手段を備
え、前記顔画像から鼻孔及び上まぶたを抽出し、前記鼻
孔を基準位置として前記上まぶたまでの距離を算出し、
前記鼻孔と前記上まぶた間の顔縦方向（Ｙ軸方向）の距
離の変位量に基いて運転者の瞬き状態を検出することを
特徴とする瞬目状態検出方法。 - 【請求項２】 前記上まぶた位置の検出が、該上まぶた
が瞳(黒目部分)と眉毛の間にあるか若しくは白目部分の
上端にあるという判定手段により行われる事を特徴とす
る請求項１記載の瞬目状態検出方法。 - 【請求項３】 上まぶたと鼻孔間のＹ軸方向の距離の変
位量の左目と右目両者のいずれもが所定の閾値を超えた
場合に、覚醒度低下状態の判断を行うようにしたことを
特徴とする請求項１記載の瞬目状態検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17861799A JP3746916B2 (ja) | 1999-06-24 | 1999-06-24 | 瞬目状態検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17861799A JP3746916B2 (ja) | 1999-06-24 | 1999-06-24 | 瞬目状態検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001005952A true JP2001005952A (ja) | 2001-01-12 |
| JP3746916B2 JP3746916B2 (ja) | 2006-02-22 |
Family
ID=16051589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17861799A Expired - Fee Related JP3746916B2 (ja) | 1999-06-24 | 1999-06-24 | 瞬目状態検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3746916B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001307076A (ja) * | 2000-04-24 | 2001-11-02 | Niles Parts Co Ltd | 眼の状態検出装置、居眠り検出装置 |
| WO2006092022A1 (en) * | 2005-03-04 | 2006-09-08 | Sleep Diagnostics Pty. Ltd | Measuring alertness |
| JP2007316762A (ja) * | 2006-05-23 | 2007-12-06 | Advanced Telecommunication Research Institute International | 瞬き検出装置及びコンピュータプログラム |
| JP2008194309A (ja) * | 2007-02-14 | 2008-08-28 | Toyota Motor Corp | 目検知装置、居眠り検知装置及び目検知装置の方法 |
| DE102008007150A1 (de) * | 2007-03-30 | 2008-10-02 | Volkswagen Ag | Verfahren zum Erstellen einer Müdigkeitsprognose eines Kraftfahrzeugfahrers |
| JP2010026804A (ja) * | 2008-07-18 | 2010-02-04 | Olympus Corp | 画像処理装置、画像処理プログラム、および画像処理方法 |
| CN102686469A (zh) * | 2009-12-28 | 2012-09-19 | 法国欧陆汽车公司 | 用于确定代表车辆驾驶员的警觉状态的参数的方法 |
| JP2016224597A (ja) * | 2015-05-28 | 2016-12-28 | 浜松ホトニクス株式会社 | 瞬目計測方法、瞬目計測装置、及び瞬目計測プログラム |
-
1999
- 1999-06-24 JP JP17861799A patent/JP3746916B2/ja not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001307076A (ja) * | 2000-04-24 | 2001-11-02 | Niles Parts Co Ltd | 眼の状態検出装置、居眠り検出装置 |
| WO2006092022A1 (en) * | 2005-03-04 | 2006-09-08 | Sleep Diagnostics Pty. Ltd | Measuring alertness |
| US7791491B2 (en) | 2005-03-04 | 2010-09-07 | Sleep Diagnostics Pty., Ltd | Measuring alertness |
| JP2007316762A (ja) * | 2006-05-23 | 2007-12-06 | Advanced Telecommunication Research Institute International | 瞬き検出装置及びコンピュータプログラム |
| JP2008194309A (ja) * | 2007-02-14 | 2008-08-28 | Toyota Motor Corp | 目検知装置、居眠り検知装置及び目検知装置の方法 |
| DE102008007150A1 (de) * | 2007-03-30 | 2008-10-02 | Volkswagen Ag | Verfahren zum Erstellen einer Müdigkeitsprognose eines Kraftfahrzeugfahrers |
| DE102008007150B4 (de) | 2007-03-30 | 2019-05-02 | Volkswagen Ag | Verfahren zum Erstellen einer Müdigkeitsprognose eines Kraftfahrzeugfahrers |
| JP2010026804A (ja) * | 2008-07-18 | 2010-02-04 | Olympus Corp | 画像処理装置、画像処理プログラム、および画像処理方法 |
| CN102686469A (zh) * | 2009-12-28 | 2012-09-19 | 法国欧陆汽车公司 | 用于确定代表车辆驾驶员的警觉状态的参数的方法 |
| JP2016224597A (ja) * | 2015-05-28 | 2016-12-28 | 浜松ホトニクス株式会社 | 瞬目計測方法、瞬目計測装置、及び瞬目計測プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3746916B2 (ja) | 2006-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2519964C2 (ru) | Способ и устройство для обнаружения вождения в состоянии усталости и автомобиль, использующий эти способ и устройство | |
| JP4845698B2 (ja) | 眼部検出装置、眼部検出方法及びプログラム | |
| CN104809445B (zh) | 基于眼部和嘴部状态的疲劳驾驶检测方法 | |
| JP4331197B2 (ja) | 眼開度検出装置及び方法 | |
| JP4162503B2 (ja) | 眼の状態判定装置、眼の状態判定方法及びコンピュータプログラム | |
| EP1933256B1 (en) | Eye closure recognition system and method | |
| JPH0944685A (ja) | 顔画像処理装置 | |
| JP4677963B2 (ja) | 居眠り検知装置、居眠り検知方法 | |
| CN106846734A (zh) | 一种疲劳驾驶检测装置及方法 | |
| JP2000102510A (ja) | 眼の開度測定方法および装置 | |
| Ebrahim et al. | Eye movement detection for assessing driver drowsiness by electrooculography | |
| JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
| Kahlon et al. | Driver drowsiness detection system based on binary eyes image data | |
| JP3746916B2 (ja) | 瞬目状態検出方法 | |
| JP4776581B2 (ja) | 入眠状態検知方法、入眠状態検知装置、入眠状態検知システム及びコンピュータプログラム | |
| Yazdi et al. | Driver drowsiness detection by Yawn identification based on depth information and active contour model | |
| JP3116638B2 (ja) | 覚醒状態検知装置 | |
| KR100234590B1 (ko) | 얼굴화상 처리장치 및 얼굴화상 처리방법 | |
| EP3056375B1 (en) | Sleepiness detecting device | |
| JPH08225028A (ja) | 運転者の覚醒度検出装置 | |
| JP3312562B2 (ja) | 居眠り状態検出装置 | |
| JP5825588B2 (ja) | 瞬目計測装置及び瞬目計測方法 | |
| JPH07257220A (ja) | 車両用覚醒度評価装置 | |
| JP3036319B2 (ja) | 運転者状態監視装置 | |
| JPH1044824A (ja) | 車両運転者の開閉眼判定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050628 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050701 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050829 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051118 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051125 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101202 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121202 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121202 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121202 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131202 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |