JP2009118989A - 眠気検知装置、眠気検知方法 - Google Patents

Abstract

【課題】眠気を適切に検知すると共に、誤検知を低減することができる眠気検知装置及び眠気検知方法を提供すること。
【解決手段】眼の開閉を検出する開閉検出手段１１，１２、１３と、眼の開閉に基づき閉眼計測時間を計測する閉眼時間計測手段３３と、を有し、閉眼計測時間ｄが閾値を超えると眠気を検知する眠気検知装置２０において、閉眼時間計測手段３３は、所定時間Ａ未満まで継続した閉眼時間は閉眼計測時間に計上せず、所定時間Ａ以上継続して検出されてから閉眼時間を閉眼計測時間に計上し、かつ、開眼が検出された場合、閉眼計測時間を削減する、ことを特徴とする。
【選択図】図１５

Description

本発明は、眠気検知装置及び眠気検知方法に関し、被験者の眼の開閉状態から被験者の眠気を検知する眠気検知装置及び眠気検知方法に関する。

運転者の眠気を検出して覚醒を促すなどの制御を実行する眠気検知装置が知られている（例えば、特許文献１参照。）。特許文献１記載の眠気検知装置は、運転者の瞬きを検出して、瞬きによる閉眼時間を一定時間毎に積算し、得られた積算値が閾値を超えた場合に眠気があると判定する。

しかしながら、眠気は比較的長い時間蓄積された結果、意識の低下をもたらすものであるため、一定時間における頻度だけで判断すると誤判定するおそれが大きい。一方、一定時間を長くすると判定に時間がかかり、眠気の検知が遅れ適切なタイミングで眠気を検知できない。

また、運転者の顔を撮影して得られた顔画像を画像解析し、閉眼が検出された場合に閉眼時間を計上し、閉眼時間が閾値を超えたら眠気を検知する眠気検知装置が提案されている（例えば、特許文献２参照。）。
特開平６−２１９１８１号公報 特開２００７−０６９６７９号公報

しかしながら、脇見のように瞬間的に変化する状態と異なり、眠気はゆっくりと強くなっていく現象であるため、特許文献２記載の眠気検知装置のように、閉眼が検出されてすぐに閉眼時間を計上していくと眠気が弱いのに眠気があると検知する誤検知が増大するおそれがある。その一方、閉眼時間を適切に計上しないと眠気の検知が遅れてしまう。

本発明は、上記課題に鑑み、眠気を適切に検知すると共に、誤検知を低減することができる眠気検知装置及び眠気検知方法を提供することを目的とする。

上記課題に鑑み、本発明は、眼の開閉を検出する開閉検出手段と、眼の開閉に基づき閉眼計測時間を計測する閉眼時間計測手段と、を有し、閉眼計測時間が閾値を超えると眠気を検知する眠気検知装置において、閉眼時間計測手段は、所定時間Ａ未満まで継続した閉眼時間は閉眼計測時間に計上せず、所定時間Ａ以上継続して検出されてから閉眼時間を前記閉眼計測時間に計上し、かつ、開眼が検出された場合、閉眼計測時間を削減する、ことを特徴とする。

本発明によれば、閉眼が所定時間以上、継続した場合に閉眼時間を増加させることで、ゆっくりと進行する眠気に適切な態様で閉眼時間を計測できる。

また、本発明の一形態において、閉眼時間計測手段は、継続して検出された開眼の時間が所定時間Ａより短い所定時間Ｂ未満の場合、開眼を閉眼と見なし、該開眼の前後に渡り閉眼が継続していると判定する、ことを特徴とする。

本発明によれば、実際に人間にはあり得ない開眼を閉眼と見なして機械的なエラーを排除することで、閉眼時間を長めに見積もることを防止でき、運転者が居眠りしていないのに居眠りを検知する誤検知を低減することができる。

また、本発明の一形態において、所定時間Ａは、０．３秒以上０．６秒以下の時間である、ことを特徴とする。

本発明によれば、検知率を所定率以上かつ誤検知率を所定率以下とすることができる。

眠気を適切に検知すると共に、誤検知を低減することができる眠気検知装置及び眠気検知方法を提供することができる。

始めに、本実施形態の眠気検知装置２０が目的とする眠気検知について説明する。眠気の検知方法として、運転者の顔を撮影して得られた顔画像を画像解析して、閉眼が検出される度に閉眼時間を閉眼計測時間に計上し、閉眼計測時間が閾値Ｋを超えたら眠気を検知する眠気検知方法が知られている（以下、眠気検知方法Ａという）。

図１は、プリクラッシュ・セーフティ・システム（以下、PCSという）において、眠気検知による警報タイミングを示す図である。PCSは障害物と接触のおそれがある場合に警告する装置であるが、図１のPCSでは強い眠気が検知された場合にその警告を早出しする。眠気が検知されていない場合は、ノーマルというタイミングで警告するが、強い眠気が検知されている場合はアドバンスというタイミングで早期に警告する。

図１に示すように閉眼時間をそのままカウントしてしまうと眠気を検知しやすくでき、眠気の検知タイミングを脇見検知と同レベルにすることができる。しかしながら、実際の眠気は緩やかに立ち上がり、強い眠気に至るまでに脇見検知よりも時間がかかっているものと考えられる。

すなわち眠気は緩やかに立ち上がるため、閉眼時間をそのまま計上する眠気検知方法Ａでは閉眼時間を長めに見積もることになってしまうので、閉眼時間を計上する開始時を緩やかにしたロジックとすることが好ましい。これによりゆっくりと進行する眠気の進行に適切な眠気検知方法とすることができる。

ところで、また、眼の開閉を検出して閉眼が検出される毎に閉眼時間を閉眼計測時間に計上する眠気検知方法において、瞬きなどによる一瞬の開眼を無視することで開閉検出の瞬断を回避し開眼時も継続して閉眼計測時間に閉眼時間を計上する計測方法がある（以下、眠気検知方法Ｂという）。眠気検知方法Ｂでは、運転者の顔に日射等の光が差し込むことで生じる陰影のため眼の開閉の検出が困難になり閉眼状態において一時的に開眼を検知してしまう場合と、実際に生じた一瞬の開眼とを区別せず、閉眼時間を継続して計上する。そして、このような計測方法により、閉眼状態における瞬間的な開眼（光の影響、眠気の強い状態で目を覚まそうとする意識的な開眼等）を無視して、閉眼時間を継続して計上することができるので、眠気検知が遅れることを防止できるとしている。

しかしながら、眠気検知方法Ｂのように日射の影響や瞬間的な開眼を全て継続した閉眼時間としてしまうと、運転者が覚醒状態にある開眼まで閉眼と見なしてしまうため覚醒状態を眠気があると判定してしまうおそれがある（眠気の誤検知）。眠気の誤検知は、警報音の吹鳴やＰＣＳにおける早期制御をもたらすため運転者に煩わしさを感じさせる。このため、開眼を閉眼と見なすためには、開眼があり得ない場合のみ閉眼と見なすことが好ましい。

図２は、開眼時間毎にその比率を示す図である。図２の開眼時間は眠気検知装置により検知した開眼時間であるが、極めて短い時間（例えば０．１秒未満）の開眼が検知されていることがわかる。しかしながら、実際に人間の種々の開眼時間を計測してみてもこのような極短時間の開眼が観測されることはない。したがって、この極短時間の開眼は機械的なエラーと考えられ、このような極短時間の開眼のみを閉眼と見なすことが好ましい。

図３（ａ）は画像解析の結果得られた眼の開閉を、図３（ｂ）は極短時間の開眼を無視した場合の眼の開閉をそれぞれ示す図である。図３（ａ）では、瞬きI、IIによる開眼時間が極短いので、図３（ｂ）に示すように閉眼状態が継続しているとみなし、閉眼時間を継続して計上する。

このように極短時間の開眼のみを閉眼と見なすことで、閉眼時間を長めに見積もることを防止でき、眠気が強くないのに眠気が強いと検知する誤検知を低減することができる。

したがって、極短時間の開眼のみ（例えば、０．１秒未満）を閉眼と見なした後、閉眼時間の計上を緩やかに開始することで、検知率を高い状態に維持し誤検知を低減することができる。

閉眼時間の計上の開始時について説明する。図４は、閉眼時間と警報吹鳴の関係を説明する図である。閉眼時間は、例えば１つの顔画像から閉眼が検知されると所定時間（後述の開閉検知時間）を閉眼計測時間に計上するようにして計測される。また、１つの顔画像から開眼が検知されると同程度の所定時間、閉眼計測時間が削減される。図４（ａ）の眼の開閉は、図３（ｂ）と同様に極短時間の開眼を継続した閉眼状態とみなしたものである。

継続した閉眼に対しすぐに閉眼時間のカウントを開始することで、図４（ｂ）の閉眼時間を閉眼計測時間に計上しやすくなり、この結果、閉眼計測時間が閾値Ｋを超える時間が長くなっている。このため、上記のように閉眼計測時間を長めに見積もり、図４（ｃ）に示すように警報音の吹鳴時間が長期間に渡ってしまっている（誤検知率が高くなる）。

そこで、本実施形態では、極短時間の開眼を継続した閉眼状態とみなしてもなお継続した閉眼状態が所定時間未満の場合は、閉眼時間を閉眼計測時間に計上しないこととする。これにより、閉眼時間を計上する開始時を緩やかにしたロジックとすることができるので、極短時間の閉眼による瞬断を回避しながら閉眼計測時間を長めに見積もることを防止できる。

図５は、閉眼状態が継続して所定時間Ｔ以上の場合に閉眼時間を閉眼計測時間に計上する場合の閉眼時間と警報吹鳴の関係を説明する図である。図５（ａ）の開閉は図４（ａ）と同じものである。なお、説明のため、閉眼状態に番号１〜５を付した。図５（ｂ）は所定時間Ｔ以上の閉眼状態のみを閉眼として抽出した場合の眼の開閉である。

閉眼状態１、３、５が所定時間Ｔ未満とすると、閉眼状態１，３、５は開眼状態と見なされるので、閉眼状態３では図５（ｃ）の閉眼計測時間が削減される。このため、図５（ｃ）の閉眼計測時間は閉眼状態２と４でのみ閾値Ｋを超えることになり、警報音の吹鳴時間が増大することを防止できる。

なお、所定時間Ｔ未満の閉眼は開眼状態とみなしたが、所定時間Ｔを大きくしすぎると、眠気の検知率が低下する（検知が遅れる）ことになるため、所定時間Ｔを最適に設計することが必要になる。

図６は、眠気の検知率と誤検知率の関係を示す。検知率は、眠気が強いことが確認された状態の運転者の強い眠気を検知することができる正解率であり、誤検知率は眠気がないか弱いことが確認された状態の運転者に強い眠気があると検知してしまう誤答率である。検知率（高いほど好ましい）をＮＧとＯＫに、誤検知率（低いほど好ましい）をＮＧとＯＫに区分すると４つの領域が得られる。

例えば、眠気検知方法Ａでは、検知率は高いが誤検知率も高くなってしまう（領域Ｌ）。また、所定時間Ｔ未満の閉眼状態は開眼とみなす眠気検知方法において所定時間Ｔが大きすぎると、誤検知率は低いが検知率も低くなってしまう（領域Ｍ）。

このように、高い検知率と低い誤検知率を両立することは困難とされていたが、本実施形態の眠気検知装置２０は、所定時間Ｔを最適化することで高い検知率と（ＯＫ）低い誤検知率（ＮＧ）を両立することを可能とした。

〔眠気検知装置２０〕
眠気検知装置２０について説明する。図７は、眠気警告装置２０のブロック図の一例を示す。眠気検知装置２０は、カメラ１１、画像処理ＥＣＵ１２及びドライビングサポートＥＣＵ（ＤＳＳ
ＥＣＵ（Electronic Control Unit）。以下、単にＤＳＳという。）１３を有する。

カメラ１１は、例えばステアリングコラムに運転者の顔を臨むように配置される。カメラ１１はＣＣＤ（Charge Coupled Device）等の光電変換素子を有し、入射した光をその強度に応じて光を光電変換し、所定の輝度階調（例えば、２５６階調）のデジタル画像（顔画像）を出力する。

画像処理ＥＣＵ１２及びＤＳＳ１３は、プログラムを実行するＣＰＵ、プログラム実行の作業領域となりまた一時的にデータを記憶するＲＡＭ、イグニションオフしてもデータを保持するＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）、データのインターフェイスとなる入出力インターフェイス、他のＥＣＵと通信する通信コントローラ、及び、プログラムを記憶するＲＯＭ等がバスにより接続されたマイコンにより構成される。ＣＰＵがプログラム実行することで、顔向き検出手段３１、開度検出手段３２、閉眼時間計測手段３３、及び、警告制御手段３４が実現される。これらの機能の一部又は全てをＬＳＩなどハードウェアで構成してもよい。

画像処理ＥＣＵ１２による顔画像の処理による眠気検知について簡単に説明する。図８、図９は顔画像の画像処理を説明する図である。顔向き検出手段３１は、図８（ａ）のように順次入力される顔画像から、顔の輪郭と中央線を検出する。

顔向き検出手段３１は、顔画像から顔のおよその位置を決定するため顔の輪郭を検出する。図８（ｂ）は検出された横方向の顔の輪郭位置の一例を示す。例えば、顔向き検出手段３１は、顔画像に対し背景が静止していることを利用して、順次入力される顔画像の画素毎に、画素値（輝度）が所定以上に変化する画素の画素値を記憶しておく。そして、所定数の顔画像について同じ位置の画素値の差をカウントして、カウントした値の縦方向のヒストグラムを作りその積分値のピークを横方向の顔の輪郭位置とする。

また、顔向き検出手段３１は、エッジ情報から顔の上下方向の輪郭を検出する。図８（ｃ）はエッジ情報から検出された上下方向の輪郭位置の一例を示す。エッジ情報により、顔のパーツである、眉、まぶた、鼻孔、口角、上下の唇の境、など、肌に比べ輝度の変化の大きい画素が検出される。人の顔のパーツは左右対称に配置されているので、顔向き検出手段３１は左右のエッジ情報の数がほぼ均等になるように顔の中央線を検出する。得られた中央線を追跡し、左右の輪郭線に対する中央線の比率により運転者が顔を向いている方向を示す顔向き度が検出される。

そして、得られた顔の中央線から眉と推定される継続黒領域（エッジ情報で囲まれた領域）を、中央線の左右対象に検出し、これを上側の輪郭と決定する。また、眉よりも下側であって顔の中央線を跨ぎ所定以上に継続したエッジ情報を上下の唇の境とみなし、顔の下側の輪郭として決定する。このようにして、顔の左右・上下の輪郭位置が得られる。

顔の輪郭が検出されたら開度検出手段３２は、鼻孔位置に基づき眼球追跡領域を設定する。図９は眼球追跡領域の一例を示す。鼻孔位置は、顔の中心線をとおるやや縦長の鼻孔検出領域を２値化して、鼻孔の特徴（形状、大きさ、水平に２つ存在）を備える継続した黒画素の領域を鼻孔位置として決定する。そして、開度検出手段３２は、鼻孔と眼の位置の関係の統計データを利用して、鼻孔位置を基準に所定の領域を眼球追跡領域として設定する。いったん、眼球追跡領域が設定された後は、その中から眼の開閉を検出することとし、眼の開閉が検出されない状態が継続すると改めて顔の輪郭から検出をやり直す。

そして、開度検出手段３２は、眼球追跡領域の上瞼と下瞼を監視することで眼の開閉を検出する。開度検出手段１２ｂは、眼球追跡領域のエッジ情報を検出し、眼球追跡領域の左の画素列から順に、上から下向きに向かってエッジ情報を検索し、エッジ情報が検索できたら１つ右の画素列について同様の検索を行っていく。したがって、この検索が右端まで終われば、上瞼の画素位置が得られる。同様に、眼球追跡領域を下から上向きに向かって検索することで、下瞼の画素位置が得られる。

なお、このようにして検出された上瞼の位置が、所定数の顔画像が得られる間に大きく変わるか否かにより上瞼の位置を決定してもよい。これは、覚醒状態の運転者は所定時間毎にまばたきするが、上瞼の位置は他の眼の部分(例えば下瞼や、眉毛やメガネのフレーム)に比べてより大きく動くものであるため、上瞼の位置が大きく動く場合は上瞼の位置を正確に検出していると考えられるからである。

開度検出手段３２は、上瞼と下瞼の画素位置の差（上瞼と下瞼の上下の距離）を左から順に算出し、最大となる画素数を眼の開度とする。なお、運転者が目を閉じている場合も上下の瞼の位置から同様な処理過程により眼の開度が検出される。開度検出手段３２は、このようにして得られる眼の開度を顔画像毎にＤＳＳ１３に送出する。

ＤＳＳ１３の閉眼時間計測手段３３は、眼の開度を取得すると眼の開閉を判定するための閾値と比較して、閾値以上であれば開状態、閾値より小さければ閉状態と判定する。なお、この閾値は、眠気検知装置２０が起動した直後の数分に当該運転者の一般的な眼の開度を眠気がない状態の眼の開度として決定し、例えばその半分の眼の開度として決定されている。

閉眼時間計測手段３３はカウンタＮに応じて閉眼計測時間ｄを増減する。カウンタＮが１つカウントアップされる毎に閉眼計測時間ｄを所定時間計上し、カウンタＮが１つカウントダウンされる毎に閉眼計測時間ｄを所定時間削減する。この所定時間（以下、開閉検知時間という）は１つの顔画像から閉眼時間計測手段３３が眼の開度を取得するまでの時間であるが、ほぼ一定としてよいのでカウンタＮに開閉検知時間を乗じても閉眼計測時間ｄを求めることができる。

そして、眠気検知装置２０は閉眼計測時間ｄが閾値Ｋを超えると強い眠気があると検知する。したがって、警告制御手段３４は、開閉時間計測時間３３が計測した閉眼計測時間ｄが閾値Ｋより大きくなると警告装置３０に警告を要求する。なお、閉眼時間計測手段３３による閉眼計測時間ｄの計測方法について詳細は後述する。

図７に戻り、警告装置３０はナビゲーションシステムを制御するナビＥＣＵ１４、ナビＥＣＵ１４が制御するディスプレイ１５、警報音を吹鳴するブザー出力器１７や警告ランプ１８を制御するメータＥＣＵ１６を有する。すなわち、警告制御手段３４の要求により、ナビＥＣＵ１４はディスプレイ１５に警告メッセージを表示し、メータＥＣＵ１６はブザー出力器１７から警報音を吹鳴し警告ランプ１８を点灯・点滅させる。これにより、警告装置３０は運転者が覚醒状態になるよう促す。

また、ＰＣＳが作動されている場合に強い眠気が検知されると、例えば、ナビＥＣＵ１４による警告メッセージ、メータＥＣＵ１６による警報音が、眠気を検知していない場合よりも早期に出力され、早期に車両に制動が加えられる。

〔閉眼計測時間ｄの計測〕
閉眼時間計測手段３３による閉眼計測時間ｄの計測について詳細に説明する。本実施形態の眠気検知装置２０は、継続した一連の閉眼状態が所定時間Ｔ以上になると閉眼が検出される度にカウンタＮをカウントアップし、継続した一連の閉眼状態が所定時間Ｔ未満の場合は開閉検知時間毎にカウンタＮをカウントダウンする。

図１０は、カウンタＮと閉眼計測時間ｄの一例を示す図である。閉眼計測時間ｄは、カウンタＮが増大した場合はそれまでの閉眼計測時間ｄにその時の開閉検知時間を加え、カウンタＮが減少した場合はそれまでの閉眼計測時間ｄからその時の開閉検知時間を減じる。

すなわち、カウンタＮのカウント規則、閉眼計測時間ｄの増減規則は次のようになる。
・継続した一連の閉眼状態が所定時間Ｔ以上の場合、閉眼時間計測手段３３は閉眼を検知する毎（例えば、顔画像が撮影される毎）にカウンタＮを所定値（以下では１とする）ずつインクリメントする。
Ｎ ＝ Ｎ ＋ １
また、カウンタＮがインクリメントされると、閉眼計測時間ｄも開閉検知時間だけ計上される。
閉眼計測時間ｄ ＝ 閉眼計測時間ｄ ＋ 開閉検知時間
・また、継続した一連の閉眼状態が所定時間Ｔ未満の場合は、開閉検知時間毎にカウンタＮを１カウントダウンする。
Ｎ ＝ Ｎ − １
また、カウンタＮがカウントダウンされると、閉眼計測時間ｄも開閉検知時間だけ削減される。
閉眼計測時間ｄ ＝ 閉眼計測時間ｄ − 開閉検知時間
図１０（ａ）は、カウンタＮが一様にカウントアップされる場合のカウンタＮと閉眼計測時間ｄを示し、図１０（ｂ）は継続した一連の閉眼状態が所定時間Ｔ未満のため、減少するカウンタＮと削減される閉眼計測時間ｄを示す。なお、図１０では黒丸が閉眼又は開眼が検知されたことを示す。

したがって、閉眼状態が所定時間Ｔ以上継続すると、閉眼が検出される毎に閉眼計測時間ｄは時間と共に増大する。これに対し、継続した一連の閉眼状態が所定時間Ｔ未満の場合、カウンタＮは１ずつ減少されるので、これに伴い閉眼計測時間ｄも削減される。閉眼計測時間ｄの計上速度と削減速度は同程度となるが、いずれかに重み付けしてもよい。

図１１は、閉眼時間の計測の手順を示すフローチャート図を示す。図１１のフローチャート図は、例えばイグニッションがオンになるとスタートするか、又は、眠気検知装置２０を起動するとスタートする。

まず、閉眼時間計測手段３３はカウンタＮ及び閉眼計測時間ｄを初期化する（Ｓ１０）。初期化によりカウンタＮと閉眼計測時間ｄはゼロになる。

カメラ１１は顔画像の撮影を繰り返し（Ｓ２０）、開度検出手段３２は顔の輪郭、中央線を検出する（Ｓ３０）。そして、開度検出手段３２は眼球追跡領域を設定し（Ｓ４０）。眼球追跡領域から上瞼と下瞼の位置を検知する（Ｓ５０）。検知された上瞼と下瞼の大きさの差分から眼の開度を算出し、開閉時間計測手段３３に送出する（Ｓ６０）。

開閉時間計測手段３３は、眼の開度から開閉を判定する。閉眼が検出されても、継続した閉眼状態が所定時間Ｔ未満の場合はカウンタＮをカウントアップしない（Ｓ７０）。このことは、閉眼計測時間ｄに所定時間Ｔを含まないことと等価である。

そして、閉眼時間計測手段３３は、継続した閉眼状態が所定時間Ｔ以上の場合は、閉眼の検出の度にカウンタＮをカウントアップし、継続した閉眼状態が所定時間Ｔ未満の場合は開閉検知時間毎にカウンタＮをカウントダウンする（Ｓ８０）。また、閉眼時間計測手段３３はカウンタＮに応じて閉眼計測時間ｄに開閉検知時間を計上し又は削減する（Ｓ９０）。

以上の処理により、継続した閉眼状態が所定時間Ｔ以上の場合にのみ、閉眼計測時間ｄに開閉検知時間を計上させることができる。

次に、警告制御手段３４が眠気を検知する手順を図１２のフローチャート図に基づき説明する。

まず、閉眼時間計測手段３３は図１１のような手順で眼の開閉を検知する（Ｓ１１０）。そして、閉眼時間計測手段３３は眼の開度から閉眼か開眼かを判定する（Ｓ１２０）。開眼が検出された場合（Ｓ１２０のＮｏ）、閉眼時間計測手段３３はカウンタＮをカウントダウンし、また、閉眼計測時間ｄを開閉検知時間だけ削減する（Ｓ１７０）。

閉眼が検出された場合（Ｓ１２０のＹｅｓ）、閉眼時間計測手段３３は閉眼状態が継続して所定時間Ｔ以上となるまで、カウンタＮをカウントアップしない（Ｓ１３０）。

そして、継続した閉眼状態が所定時間Ｔ以上となると、カウンタＮをカウントアップし、また、閉眼計測時間ｄに開閉検知時間を計上する（Ｓ１４０）。

そして、警告制御手段３４は、閉眼計測時間ｄが閾値Ｋより大きいか否かを判定する（Ｓ１５０）。閉眼計測時間ｄが閾値Ｋより大きい場合（Ｓ１５０のＹｅｓ）、警告制御手段３４は警告装置３０を制御し運転者を覚醒させたり注意喚起する（Ｓ１６０）。

以上のように、継続した閉眼状態が所定時間Ｔ以上の場合に閉眼計測時間ｄに計上することで、高い検知率と低い誤検知率を両立することができる。

〔所定時間Ｔの設定〕
高い検知率と低い誤検知率を両立するための所定時間Ｔの設定について説明する。所定時間Ｔをいくつかに変えて被験者（運転者）の眠気度を所定時間にわたって判定した。眠気度の定義には種々あるが、ここでは監視者が運転者の顔を監視して眠気度を判定する方法（例えば、ＮＥＤＯ−Ｒａｔｉｎｇ。以下、単にＲａｔｉｎｇという）を基準にして、所定時間Ｔの好ましい範囲を定める。なお、比較のため、眠気検知方法Ａ及び眠気検知方法Ｂにより同様の実験を行い、本実施形態の眠気検知装置２０の検知率及び誤検知率と比較した。

Ｒａｔｉｎｇでは、監視者が例えば１分ごとに運転者の眠気度を５段階に決定する。
Ｄ４…すごく眠い
Ｄ３…眠い
Ｄ２…眠気がある
Ｄ１…わずかに眠気がある
Ｄ０…覚醒している
本実験では、ＲａｔｉｎｇがＤ３以上の状態を眠気が強いと定義する。したがって、ＲａｔｉｎｇがＤ３以上の状態で、眠気検知できれば正しく眠気を検知したことになる。逆に、ＲａｔｉｎｇがＤ０又はＤ１以上の状態で、眠気検知した場合、運転者は眠気が強くないのに眠気を検知したことになるので誤検知となる。なお、ＲａｔｉｎｇのＤ２は、眠気があるともないとも言える状態なので、検知又は誤検知の判定の対象に含めていない。

図１３はＲａｔｉｎｇによる眠気検知に対し、各眠気検知方法の検知結果を比較した図である。図１３（ａ）はＲａｔｉｎｇを、図１３（ｂ）は眠気検知方法Ａによる眠気検知結果を、図１３（ｃ）は眠気検知方法Ｂによる眠気検知結果を、図１３（ｄ）は所定時間Ｔを０．４秒とした本実施形態の眠気検知方法による眠気検知を、図１３（ｅ）は所定時間Ｔを０．５５秒とした本実施形態の眠気検知方法による眠気検知を、図１３（ｆ）は所定時間Ｔを１．５秒とした本実施形態の眠気検知方法による眠気検知を、それぞれ示す。

図１３（ｂ）〜（ｆ）の「Ｄｒｏｗｓｉｎｅｓｓ」はそれぞれの眠気検知方法で強い眠気が検知された場合に１、強い眠気が検知されない場合に０の値を取る。したがって、ＲａｔｉｎｇとＤｒｏｗｓｉｎｅｓｓを比較すれば、検知率及び誤検知率が求められる。すなわち、ＲａｔｉｎｇがＤ３以上の時間に対しＤｒｏｗｓｉｎｅｓｓが１の時間が占める割合が検知率となる。また、ＲａｔｉｎｇがＤ１以下の時間に対しＤｒｏｗｓｉｎｅｓｓが１の時間が占める割合が誤検知率となる。

図１４は各検知方法の検知率と誤検知率を比較した表を示す図であり、図１５は図１４の検知率と誤検知率をプロットしたグラフを示す図である。それぞれの実験結果に＜１＞〜＜５＞の番号を付した。なお、図１４ではＲａｔｉｎｇのＤ０とＤ１のそれぞれに対し誤検知率を求め、図１４のＤ０とＤ１の誤検知率の合計値を図１５にプロットした。

図６において述べたように、眠気検知の実験結果は、検知率は高くかつ誤検知率は低い領域にプロットされることが好ましい。また、図１５では、＜１＞〜＜５＞のプロットを近似曲線で結んでいる。近似曲線から検知率と誤検知率はほぼ比例関係にあるものの、検知率に対し誤検知率が急激に上昇することがわかる。すなわち、検知率を上げすぎることは誤検知率の増大をもたらすため急激に上昇するよりも手前の領域で検知率と誤検知率と最適化することが好ましい。図１５ではこの領域を検知率７０％以上かつ誤検知率０．５％以下として定めた。誤検知率が０．５％とは２時間運転しても誤検知は１回あるか否かであることを示す。

図１５に示すように、＜１＞眠気検知方法Ａのように閉眼をそのままカウントした場合及び＜２＞眠気検知方法Ｂのように瞬きなどによる一瞬の開眼を無視して開眼を継続した閉眼時間と見なす場合、では閉眼時間を長めに見積もるため誤検知率が高くなってしまう。

一方、＜５＞所定時間Ｔを１．５秒とした本実施形態の眠気検知方法では、閉眼時間の計測開始が遅すぎてしまい、誤検知率は０％になるものの検知率も低くなってしまう。

これに対し、本実施形態の眠気検知方法において所定時間Ｔ＝０．４及び０．５５とした実験結果は最適ゾーンに収まることがわかる。

また、＜１＞〜＜５＞の実験結果から、検知率と誤検知率の関係は、所定時間Ｔを短くすると近似曲線の右上方向に移動することが推測され、所定時間Ｔを長くすると近似曲線の左下方向に移動することが推測される。

したがって、好ましい所定時間Ｔは近似曲線と最適ゾーンの重複する領域から求めることができ、好ましくは０．３〜０．６秒程度、さらに好ましくは０．４〜０．５５秒程度とすることで、高い検知率と低い誤検知率を両立することができる。

本実施形態の眠気検知装置２０によれば、所定時間Ｔを最適化することで高い検知率と低い誤検知率を両立することができる。

プリクラッシュ・セーフティ・システムにおいて、眠気検知と脇見検知の警報タイミングを比較した図である。 開眼時間毎にその比率を示す図である。 画像解析の結果得られた眼の開閉遷移と、瞬き又は光の影響による瞬間的な開眼を無視した場合の眼の開閉遷移とをそれぞれ示す図である。 閉眼時間のカウント値と警報吹鳴の関係を説明する図である。 閉眼時間が継続して所定時間Ｔ以上の場合に閉眼時間をカウントアップする場合の閉眼時間のカウント値と警報吹鳴の関係を説明する図である。 眠気の検知率と誤検知率の関係を示す。 眠気警告装置のブロック図の一例である。 顔画像の画像処理の一例を説明する図である。 顔画像の画像処理の一例を説明する図である。 カウンタＮと閉眼計測時間ｄの一例を示す図である。 閉眼時間の計測の手順を示すフローチャート図である。 警告制御手段が眠気を検知する手順のフローチャート図である。 Ｒａｔｉｎｇによる眠気検知に対し、各眠気検知方法の検知結果を比較した図である。 各検知方法の検知率と誤検知率を比較した表を示す図である。 検知率と誤検知率をプロットしたグラフを示す図である。

符号の説明

１１ カメラ
１２ 画像処理ＥＣＵ
１３ ドライビングサポートＥＣＵ（ＤＳＳ）
１４ ナビＥＣＵ
１５ ディスプレイ
１６ メータＥＣＵ
１７ ブザー出力器
１８ 警告ランプ
２０ 眠気検知装置
３０ 警告装置
３１ 顔向き検出手段
３２ 開度検出手段
３３ 閉眼時間計測手段
３４ 警告制御手段

Claims (7)

1. 眼の開閉を検出する開閉検出手段と、眼の開閉に基づき閉眼計測時間を計測する閉眼時間計測手段と、を有し、前記閉眼計測時間が閾値を超えると眠気を検知する眠気検知装置において、
   前記閉眼時間計測手段は、所定時間Ａ未満まで継続した閉眼時間は前記閉眼計測時間に計上せず、所定時間Ａ以上継続して検出されてから閉眼時間を前記閉眼計測時間に計上し、かつ、開眼が検出された場合、前記閉眼計測時間を削減する、
   ことを特徴とする眠気検知装置。
2. 前記閉眼時間計測手段は、継続して検出された開眼の時間が前記所定時間Ａより短い所定時間Ｂ未満の場合、開眼を閉眼と見なし、該開眼の前後に渡り閉眼が継続していると判定する、
   ことを特徴とする請求項１記載の眠気検知装置。
3. 前記所定時間Ａは、０．３秒以上０．６秒以下の時間である、
   ことを特徴とする請求項１又は２記載の眠気検知装置。
4. 前記閉眼計測時間が閾値を超えた場合、警報音を吹鳴させ、又は、警告ランプを点滅若しくは点灯させる警告装置を有する、
   ことを特徴とする請求項１〜３いずれか１項記載の眠気検知装置。
5. 眼の開閉に基づき計測された閉眼計測時間が閾値を超えると眠気を検知する眠気検知装置の眠気検知方法において、
   前記閉眼時間計測手段は、
   閉眼が所定時間Ａ以上継続して検出されてから閉眼の時間を前記閉眼計測時間へ計上するステップと、
   開眼が検出された場合、前記閉眼計測時間を削減するステップと、を有し、
   所定時間Ａ未満まで継続した閉眼時間は前記閉眼計測時間に計上しない、
   ことを特徴とする眠気検知方法。
6. 前記閉眼時間計測手段は、継続して検出された開眼の時間が前記所定時間Ａより短い所定時間Ｂ未満の場合、開眼を閉眼と見なし、該開眼の前後に渡り閉眼が継続していると判別する、
   ことを特徴とする請求項５記載の眠気検知方法。
7. 前記所定時間Ａは、０．３秒以上０．６秒以下の時間である、
   ことを特徴とする請求項５又は６項記載の眠気検知方法。