JP2009219555A - 眠気検知装置、運転支援装置、眠気検知方法 - Google Patents

Abstract

【課題】顔向きが正面向きでなくても計算負荷を抑制して眼の開閉を検出できる眠気検知装置、運転支援装置及び眠気検知方法を提供すること。眉の位置の誤検出を低減する眠気検知装置、運転支援装置及び眠気検知方法を提供すること。
【解決手段】撮影手段１１により撮影した被験者の顔画像から眼の開閉を検出し、眼の開閉に基づき閉眼時間を計測する眠気検知装置１００において、顔画像から眉、上瞼及び下瞼を検出する特徴点検出手段２２と、眉と下瞼の間隔に対する上下の瞼の間隔の間隔比Aに基づき、眼の開度を検出する開度検出手段２４と、眼の開度に基づき、眼の開閉を判定する開閉判定手段２５と、を有することを特徴とする。
【選択図】図２

Description

本発明は、被験者の眠気を検知する眠気検知装置等に関し、特に、撮影された被験者の顔画像を画像処理して眼の開閉を検出し、眼の開閉に基づき計測された閉眼時間に基づき眠気を検知する眠気検知装置、運転支援装置及び眠気検知方法に関する。

被験者の顔を撮影した顔画像から眼の開閉を判定し、閉眼が検出される度に閉眼時間を計上するなどして被験者の眠気を検知する眠気検出装置が知られている。眼の開閉を判定するため眼の開度を検出する方法として、例えば上下の瞼の間隔、眉と上瞼の間隔、上瞼の形状、に基づく方法が提案されている（例えば、特許文献１、２参照。）。
特開２００４−３４１９５４号公報 特開２００１−３０７０７６号公報

しかしながら、例えば、上下の瞼の間隔を検出する場合、被験者が横を向いた場合や顔を後方に動かした場合に、顔画像における上下の瞼の間隔が小さくなるので、所定の閾値と比較した場合に開眼を閉眼と検出するおそれがある。逆に、被験者が顔を前方に動かした場合には、顔画像における上下の瞼の間隔が大きくなるので、所定の閾値と比較した場合に閉眼を開眼と検出するおそれがある。このため、従来は、顔画像から顔向き度を検出し、顔向き度に応じて上下の瞼の間隔を補正していたが、補正のための計算は負荷が大きく、必ずしも満足できる補正が得られるとは限らないという問題がある。

この問題は、上瞼の形状により開閉を検出する方法にも当てはまり、上瞼の形状は被験者が横を向い場合の変化が大きく、上瞼の形状により開閉を精度よく検出することは困難な場合が多い。

また、眉と上瞼の間隔を検出する場合も同様に、被験者が横を向いた場合や顔を後方に動かした場合に、眉と上瞼の間隔が小さくなり、所定の閾値と比較した場合に開眼を閉眼と検出するという問題がある。

ところで、眉と上瞼の間隔を基準に開閉を判定する場合、眉位置を検出する必要が生じる。特許文献１記載の覚醒度レベル判定装置では、眉の出現位置の平均値及び標準偏差を求め、これを所定値と比較して眉位置が開閉の判定に利用か否か（すなわち、眉が正しく検出されたか否か）を判定する。しかしながら、この方法では、例えば被験者が眼鏡を掛けている場合、眼鏡のフレームも大きくは動かないので眼鏡のフレームと眉の切り分けが困難である。フレームと眉を取り違えると眼の開度が変わってしまうため、眼の開閉を検出することができない。

本発明は、上記課題に鑑み、顔向きが正面向きでなくても計算負荷を抑制して眼の開閉を検出できる眠気検知装置、運転支援装置及び眠気検知方法を提供することを目的とする。

また、上記課題に鑑み、本発明は、眉の位置の誤検出を低減する眠気検知装置、運転支援装置及び眠気検知方法を提供することを目的とする。

上記課題に鑑み、本発明は、撮影手段により撮影した被験者の顔画像から眼の開閉を検出し、眼の開閉に基づき閉眼時間を計測する眠気検知装置において、顔画像から眉、上瞼及び下瞼を検出する特徴点検出手段と、眉と下瞼の間隔に対する上下の瞼の間隔の間隔比Aに基づき、眼の開度を検出する開度検出手段と、眼の開度に基づき、眼の開閉を判定する開閉判定手段と、を有することを特徴とする。

本発明によれば、顔向きや顔位置の影響を受けにくい間隔比Ａに基づき眼の開度を検出することで、開閉の誤検出を低減することができる。

また、本発明の一形態において、特徴点検出手段は、眉と上瞼の間隔に対する上下の瞼の間隔の間隔比Bに基づき、上瞼又は下瞼の誤検出を低減する、ことを特徴とする。

本発明によれば、間隔比Bを閾値と比較することで、眉の下に眼鏡のフレームがあるような場合に、上瞼の位置の誤検出を低減することができる。

また、本発明の一形態において、特徴点検出手段は、間隔比Ｂと所定の閾値と比較して、間隔比Ｂが閾値以下であれば、上瞼及び下瞼の位置を確定し、間隔比Ｂが閾値より大きい場合、前記開閉判定手段は眼の開度を判定しない、ことを特徴とする。

本発明によれば、間隔比Bに基づき上瞼及び下瞼の位置を確定し、また、間隔比Bが閾値より大きい場合には眼の開度を判定しないので、眼の開度の誤検出を防止できる。

顔向きが正面向きでなくても計算負荷を抑制して眼の開閉を検出できる眠気検知装置、運転支援装置及び眠気検知方法を提供することができる。眉の位置の誤検出を低減する眠気検知装置、運転支援装置及び眠気検知方法を提供することができる。

以下、本発明を実施するための最良の形態について図面を参照しながら説明する。
図１は、本実施形態の眠気検知装置１００が閉眼時間Ｔを計測する手順を示すフローチャート図である。すなわち、顔画像の撮影（Ｓ１０）、顔位置の検出（Ｓ２０）、特徴点検出（Ｓ３０）、眉毛と下瞼の間隔Ｋ２と上下の瞼の間隔Ｋ１との比を算出（Ｓ４０）、眼の開閉を判定（Ｓ５０）、判定結果に応じて閉眼時間Ｔを計測（Ｓ６０）、の各ステップを経る。

図２は、本実施形態の眠気検知装置１００の概略を説明する図である。本実施形態の眠気検知装置１００は、ステップＳ４０に示すように、眉毛と下瞼の間隔Ｋ２と上下の瞼の間隔Ｋ１との比（以下、間隔比Ａという）により開閉を検出する点に特徴を有する。下瞼は眼の開閉時に動かないので上瞼と比べ検出が比較的容易である。また、顔向きが横方向になった場合や顔が前後に移動した場合、眉毛と下瞼の間隔Ｋ２と上下の瞼の間隔Ｋ１はいずれも同じ比率で変化するので、間隔比Ａは顔向きや顔位置の影響を受けない。このため、顔向きや顔位置に対しロバストに開閉を検出できる。

また、本実施形態の眠気検知装置１００は、ステップＳ３０の特徴点の検出において、眉と上瞼の間隔Ｋ３と、上下の瞼の間隔Ｋ１との比（以下、間隔比Ｂという）により、上瞼及び下瞼の位置の誤検出を防止することを特徴とする。間隔比Ｂは、間隔Ｋ３又は間隔Ｋ１それぞれの変化量よりも大きく変化するので、上瞼の位置の誤検出を防止しやすい。これにより、眼鏡のフレームを眉毛として誤検出してしまい、上下の瞼の間隔Ｋ１が誤って検出されることを防止できる。以下、詳細に説明する。

〔眠気検知装置１００のブロック図〕
図３は、眠気検知装置１００のブロック図の一例を示す。眠気検知装置１００は、カメラ１１と画像処理ＥＣＵ（Electronic Control Unit）１２と有し、画像処理ＥＣＵ１２とメータＥＣＵ１３など他の車載装置がＣＡＮ（Controller Area Network）など車内ＬＡＮを介して接続されている。

カメラ１１はアッパコラム又はメータパネルに配置され、ステアリングホイールの円周部とスポークとに囲まれた扇状の開口部を通して、運転者の顔が存在する方向（車両後方かつ斜め上方）に光軸を向けて配置される。

カメラ１１は、カメラ１１を収容したケース内に赤外線投光器をそなえ、カメラ１１と同じ方向に向けて配置されている。赤外線投光器は、運転者の顔部へ向けて近赤外光を投光するＬＥＤランプであり、夜間における運転者の顔の撮影を可能としている。カメラ１１はＣＣＤ（Charge Coupled Device)やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の光電変換素子で構成され、赤外線投光器が照射する赤外光に感度を有しており、入射した光を電気に増幅しＡ／Ｄ変換して所定階調のデジタルデータを生成する。このデジタルデータが顔画像となる。

カメラ１１及び赤外線投光器は画像処理ＥＣＵ１２により制御され、例えば、赤外線投光器を毎秒６０回発光させて、運転者の顔に向けて近赤外光を照射しながら、カメラ１１は近赤外光で照射された運転者の顔画像を毎秒３０フレーム（＝６０フィールド）で取得し画像処理ＥＣＵ１２に送出する。

画像処理ＥＣＵ１２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、入出力インターフェイス、及び、不揮発メモリが内部バスで接続されたコンピュータであり、ＣＰＵがプログラムを実効するか所定の演算回路により実現される顔位置検出部２１，特徴点検出部２２、顔向き検出部２３、開度検出部２４、開閉判定部２５、閉眼時間計測部２６、を有する。

また、画像処理ＥＣＵ１２は、車内ＬＡＮを介して例えばメータＥＣＵ１３と接続されている。メータＥＣＵ１３はブザー出力機１４及び警告ランプ１５とを有し、乗員に眠気があると判定された場合、ブザー出力機１４から警報音を吹鳴し、また、警告ランプ１５を点灯するなどして、乗員の覚醒を促す。

〔閉眼検出の手順〕
図１の手順に従い、開閉の検出手順を順に説明する。

＜Ｓ１０＞
カメラ１１が撮影した顔画像は順次、画像処理ＥＣＵ１２に送出されＲＡＭ等のメモリに記憶される。

＜Ｓ２０＞
顔位置検出部２１は、顔画像から顔位置を検出する。図４（ａ）は顔画像の一例を示す。顔位置検出部２１は、顔画像から顔のおよその位置（顔の輪郭）を検出する。例えば、顔位置検出部２１は、順次入力される顔画像の間で、同じ画素位置の画素値（輝度）を比較し、所定以上に画素値が異なる画素の画素値の差をその画素位置と共に記憶していく。そして、所定数の顔画像について同じ画素位置の画素値の差をカウントしていくと、輪郭部の画素位置のカウント数が増大する。顔画像には背景なども写っているが、背景は静止しているため、顔の左右の端部は最もカウント数が大きくなるので、カウント数の縦方向のヒストグラムを作りその積分値のピークが横方向の顔の輪郭位置となる。このようにして、顔位置の左右の端部は決定される。

＜Ｓ３０＞
特徴点検出部２２は、顔画像のエッジ情報から顔の特徴点を検出する。エッジ情報により、顔の特徴点（眉、上下の瞼、鼻孔、口角、上下の唇の境など）は、肌に比べ輝度の変化の大きい画素として検出される。図４（ｂ）はエッジ情報の検出の一例を、図４（ｃ）は検出されたエッジ情報の一例をそれぞれ示す。エッジ情報の抽出には例えばＳｏｂｅｌ等、公知のエッジ検出アルゴリズムを用いる。Ｓｏｂｅｌのオペレータを顔画像の画素値に上下方向及び左右方向から施すことで、輝度小から大、輝度大から小の２種類のエッジ情報に囲まれる顔の各パーツの輪郭が得られる。

特徴点検出部２２は、エッジ情報から顔の上下の輪郭位置及び中央線を検出する。人の顔の眼や鼻などの特徴点は左右対称に配置されているので、特徴点検出部２２は左右のエッジ情報の数がほぼ均等になるように顔の中央線を検出する。例えば、顔画像を左右に２分割する仮想の縦線を設定し、縦線を基準に左右のエッジ情報の数をそれぞれカウントする。左右のエッジ情報の数の差を閾値と比較し、閾値以下となる縦線又はエッジ情報の数の差が最小となる縦線を顔の中央線と決定する。

なお、顔向き検出部２３は、ここで得られた中央線に基づき運転者の顔向きを検出する。すなわち、中央線から左又は右の輪郭位置までの距離に基づき、正面方向とゼロ度とした顔向き度を例えば５〜１０度刻み程度に検出する。

ついで、特徴点検出部２２は、得られた顔の中央線の上（眉側）から中央線を起点に、左方向及び右方向に画素を走査して、黒画素の連続した領域（エッジ情報で囲まれた領域）を検出する。黒画素が検出された画素位置を識別しておき、黒画素が途切れたら中央線に戻り走査を繰り返す。左右に走査が終了したら、黒画素が検出された画素値であって所定数以上連続する黒画素を１つのグループとして扱う。

そして、まず、特徴点検出部２２は眉を検出する。眉は左右対称にあると考えてよいので、中央線を挟んで同様の黒画素の連続領域を上方向から検出していく。また、特徴点検出部２２は眉位置よりも下側であって顔の中央線を跨ぎ所定以上に連続した黒画素の連続領域を抽出する。この連続領域が上下の唇の境となる。眉と唇の境が顔の上下の輪郭位置となる。

ついで、特徴点検出部２２は鼻孔位置を検出する。鼻孔はメガネや髪の毛などに覆われることが少なく、また、眉毛とも離れているので眼と比べ比較的検出が容易である。特徴点検出部２２は、顔の中心線をとおるやや縦長の鼻孔検出領域を唇よりも上方に設定し、例えば２値化処理などにより顔画像の明暗をはっきりさせ、水平に２つ存在するという鼻孔の特徴から、中央線を挟む一対の黒画素の連続領域を検出する。検出方法は眉と同様である。鼻孔検出領域を縦長とすることでほくろや光の影響を排除し易くなり、また、パターンマッチングにより鼻孔を検出する上でも画像処理の負担を軽減できる。

ついで、特徴点検出部２２は、鼻孔と眼の位置の関係の統計データを利用して、鼻孔位置に対し眼球追跡領域を決定する。図５（ａ）は眼球追跡領域を説明するための図を示す。顔が水平状態であれば鼻孔が水平に２つ並ぶので、その中点に対し眼球の位置は、距離ｒ・方向θにより指定される。所定以上の割合（例えば、９９％）で眼球位置が入る距離ｒの範囲・方向θの範囲は統計データから明らかなので、統計的に定められる眼球位置（円弧状の帯領域）を中心に所定範囲の矩形領域を眼球追跡領域に設定する。

特徴点検出部２２は、眼球追跡領域から上瞼と下瞼の位置をそれぞれ検出する。まず、眼球追跡領域において所定の閾値よりも輝度の小さい画素を黒（画素値０）に、閾値以上の画素を白（画素値２５５）に置き換える２値化処理を行う。図５（ｂ）は眼球追跡領域の２値化画像の一例を示す。図５（ｂ）では上瞼、下瞼及び眼球が黒に置き換えられている。なお、眼球追跡領域を２値化するのでなくエッジ情報を取得してもよい。

特徴点検出部２２は、二値化画像における左側の画素列から、上から下向きに向かって画素値０の黒画素を検索し、黒画素が検索できたら１つ右の画素列について同様の検索を行っていく。したがって、この検索が右端まで終われば、上瞼の画素位置が得られる。同様に、二値化画像における左の画素列から、下から上向きに向かって画素値０の黒画素を検索し、黒画素が検索できたら１つ右の画素列について同様の検索を行っていく。したがって、この検索が右端まで終われば、下瞼の画素位置が得られる。

なお、眼球追跡領域の上端から連続して黒画素が検出される場合は、次に白画素が検出されるまで黒画素を無視する。これは、眼球追跡領域の上端に眉毛や眼鏡フレームを表す横エッジが存在していると考えられるからである。この場合、特徴点検出部２２は、次に検出された黒画素を上瞼の画素位置とする。

・上下の瞼の位置の誤検出防止
ここで、上述した上瞼の位置の誤検出の低減について説明する。眉や眼鏡フレームが眼球追跡領域よりも上にあれば上瞼の位置を検出でき、眉や眼鏡フレームと眼球追跡領域の上辺が重なっていれば上辺から連続した黒画素を無視することで上瞼の位置を検出できる。また、眉が眼球追跡領域の上辺より内にあっても眉の位置は検出されているので、眉の位置には上瞼がないとして眉を無視して上瞼の位置を検出できる。

しかしながら、眼鏡フレームが眼球追跡領域の上辺より内にある場合、眉より下の連続した黒画素となるため眼鏡フレームを上瞼の位置として検出してしまうおそれがある。そこで、特徴点検出部２２は、以下のように上下の瞼の位置の誤検出を防止する。

図６は上下の瞼の位置の誤検出を防止する手順を示すフローチャート図を示す。上下の瞼の位置の誤検出を防止するため、特徴点検出部２２は、眉の位置、上下の瞼位置、を用いる（Ｓ１１０）。

図７（ａ）は眉の位置、上下の瞼位置の一例を示す。眉の位置は例えば、眉に相当する連続した黒画素の外接矩形の中心、上の瞼位置は例えば、上瞼に相当する連続した黒画素の外接矩形の中心、下の瞼位置は例えば、下瞼に相当する連続した黒画素の外接矩形の中心、とする。これにより、特徴点検出部２２は、眉と上瞼の間隔Ｋ３、上下の瞼の間隔Ｋ１を求め、間隔比Ｂを算出する（Ｓ１２０）。
間隔比Ｂ＝Ｋ１／Ｋ３
図７（ｂ）は、眉の下の眼鏡フレームを上の瞼と誤検出した場合の間隔比Ｂを説明する図である。上瞼よりも上方の眼鏡フレームを上瞼の位置として誤検出したため、眉と上瞼の間隔Ｋ３は、誤検出なく上瞼を検出した場合の間隔Ｋ３よりも小さくなる。また、同様の理由で、上瞼の位置を誤検出した場合の上下の瞼の間隔Ｋ１は、誤検出なく上瞼を検出した場合の間隔Ｋ１よりも大きくなる。

したがって、上瞼の位置を誤検出した場合の間隔比Ｂは、上瞼の位置を誤検出しない場合の間隔比Ｂよりも大きくなる。このため、間隔比Ｂを所定の閾値と比較することで、上瞼の位置を誤検出しているか否かを判定することができる。間隔比Ｂを求めるだけで、上瞼の位置の誤検出を防止できるので、計算負荷を増大させることなく、眼の開閉の検出精度を向上できることになる。

単に間隔Ｋ３と閾値を比較することや間隔Ｋ１と閾値を比較することも考えられるが、Ｋ１／Ｋ３は上瞼の位置の変化に敏感な値となるので、瞬きや眠気により変化する上瞼の位置の異常を精度よく検出することを可能にする。例えば、上瞼の位置に誤検出がない状態でＫ１＝Ｋ３＝１０ｍｍ、誤検出があった場合にＫ１＝１３、Ｋ３＝７、とすると、Ｋ１とＫ３は３０％程度しか変化しないので、誤検出ある場合とない場合の差が小さく閾値の設定が困難になる。これに対し、間隔比Ｂでは、上瞼の位置の誤検出がない状態では間隔比Ｂ＝１．０、誤検出がある状態では間隔比Ｂ＝１．８５となるので、誤検出ある場合とない場合の差が大きく閾値を設定しやすい。すなわち、間隔Ｋ３が大きくなっただけ間隔Ｋ１は小さくなるので（Ｋ１とＫ３の合計は一定）、その比率の変化は間隔Ｋ１、間隔Ｋ３の変化よりも大きくなる。

また、間隔比Ｂにより、上瞼だけでなく下瞼の位置の誤検出を防止することができる。図７（ｃ）は、下の眼鏡フレームを下の瞼位置と誤検出した場合の間隔比Ｂを説明する図である。下瞼の位置を眼鏡フレームの下辺としたため、誤検出しない場合より上下の瞼の間隔Ｋ１が増大している。したがって、下瞼を誤検出した場合の間隔比Ｂは、誤検出しない場合よりも大きくなるので、間隔比Ｂを所定の閾値と比較することで、下瞼の位置を誤検出しているか否かを判定することができる。

なお、図７（ｄ）に示すように、下瞼を上瞼として誤検出し、眼鏡フレームの下辺を下瞼として誤検出した場合、眉と上瞼（実際は下瞼）の間隔Ｋ３が大きくなるので、間隔比Ｂによる誤検出の判定は困難となる。しかし、この場合、瞬きしても下瞼の位置が変化しないので間隔Ｋ１が一定となることから、下瞼を誤検出していると判定できる。

特徴点検出部２２は、間隔比Ｂが閾値Ｔｈと比較して、上下の瞼の位置が誤検出されているか否かを判定する（Ｓ１３０）。なお、この閾値Ｔｈは、特徴点が正確に特定されている顔画像から予め定めておく。例えば、眠気検知装置１００の立ち上げ時に撮影された数分間の顔画像から安定して検出された眉の位置、上瞼の位置、下瞼の位置から間隔Ｋ１、Ｋ３を求め、間隔Ｋ３又は間隔Ｋ１いずれかの平均値及び標準偏差を求める。いずれかとしたのは間隔Ｋ３又はＫ１の一方が定まれば他方は一意に定まるためである。標準偏差の例えば３倍程度の値は、統計的に変動幅の最大としてよいので、例えば、間隔Ｋ１の平均値に標準偏差の３倍の値を加えて間隔Ｋ１を定め、その時のＫ１／Ｋ３が閾値Ｔｈとなる。

判定の結果、間隔比Ｂが閾値Ｔｈ未満の場合（Ｓ１３０のＮｏ）、特徴点検出部２２は、上下の瞼の位置が誤検出されているので、ステップＳ１１０に戻り、次の顔画像から特徴点を検出する。この場合、開度検出部２４は眼の開度を検出せず、眼の開閉も判定せず不明とする。これにより、眼の開閉の誤検出を防止する。

間隔比Ｂが閾値Ｔｈ以下の場合（Ｓ１３０のＹｅｓ）、上下の瞼の位置が誤検出されていないので、上瞼の位置を確定する（Ｓ１４０）。以上で、図６のフローチャート図は終了する。

なお、間隔比Ｂだけでなく上瞼の特徴を利用して上瞼の位置が誤検出されていないことを検証してもよい。顔画像は連続的に撮影されるので、検出された上瞼の位置が、所定数の顔画像が得られる間に大きく変わるか否かにより上瞼の位置を決定してもよい。これは、運転者は所定時間毎に瞬きするため上瞼の位置は他の眼の部分(例えば、眉毛やメガネのフレーム)に比べてより大きく動くことが分かっており、上瞼の位置が大きく動く場合は上瞼の位置を正確に検出していると考えられるからである。

＜Ｓ４０＞
次に、開度検出部２４は、眉と下瞼の間隔Ｋ２と上下の瞼の間隔Ｋ１との間隔比Ａを検出する。図８は、開度検出部２４が間隔比Ａを検出する手順を示すフローチャート図である。

ステップＳ３０により眉の位置、上瞼の位置及び下瞼の位置は検出されている（Ｓ２１０）。開度検出部２４はこれらを用いて、図１（ａ）に示したように、眉毛と下瞼の間隔Ｋ２、上下の瞼の間隔Ｋ１をそれぞれ検出し、
間隔比Ａ＝Ｋ１／Ｋ２
を算出する（Ｓ２２０）。

間隔比Ａ又は間隔比Ａを１００倍した値（パーセント表示）が眼の開度となる。閉眼状態（上瞼の位置と下瞼の位置が一致）では間隔Ｋ１＝０であることから、眼の開度はゼロとなる。間隔Ｋ２は、眼の開度に依存せず一定である。開度検出部２４は眼の開度を開閉判定部２５に送出する（Ｓ２３０）。

顔向きが横方向になった場合や顔が前後に移動した場合、間隔Ｋ２と間隔Ｋ１がいずれも同じ比率で変化するので、間隔比Ａを眼の開度とすることで、間隔比Ａは顔向きや顔位置の影響を受けにくいロバストな指標となる。

なお、眉の位置は、例えば眉に相当する連続した黒画素の外接矩形の中心、上瞼の位置は例えば上瞼に相当する連続した黒画素の外接矩形の中心、下瞼の位置は例えば下瞼に相当する連続した黒画素の外接矩形の中心、である。

＜Ｓ５０＞
ついで、開閉判定部２５は眼の開度に基づき眼の開閉を判定する。この判定は、被験者が覚醒状態（眠気なし状態）の眼の開度と比較して行う。開閉判定部２５は、例えば眠気検知装置１００が起動してから所定時間（例えば数分間）の間、サイクル時間毎に撮影される顔画像から眼の開度を検出し、これから開閉を判定するための閾値を設定する。例えば、閾値は、「所定時間における最大の眼の開度×１／２」、「所定時間における眼の開度の平均値」等から設定される。

開閉判定部２５は、サイクル時間毎に撮影される顔画像からステップＳ２０〜４０により検出される眼の開度を、閾値と比較して顔画像毎に眼の開閉を判定する。

＜Ｓ６０＞
閉眼時間計測部２６は、眼の開閉の判定結果に基づき閉眼時間Ｔを計測する。閉眼時間計測部２６は、順次更新される閉眼時間Ｔをメモリに記憶しており、例えば次のようなルールに基づき、閉眼時間Ｔを計測する。
ａ）開眼を検出した場合
・極短時間の開眼（機械的なエラーのような）を閉眼と見なす
・閉眼時間Ｔ ← 閉眼時間Ｔ−所定増減量
ｂ）閉眼を検出した場合
・継続して所定時間Ｐ以上、閉眼が検出されるまで閉眼時間Ｔを更新しない。
・継続して所定時間Ｐ以上、閉眼が検出されたら次のように閉眼時間Ｔを更新する。

閉眼時間Ｔ ← 閉眼時間Ｔ＋所定増減量
すなわち、眠気検知装置１００は、閉眼状態が所定時間Ｐ以上になると閉眼が検出される度に所定増減量を閉眼時間Ｔに計上する。また、開眼については検出される度に、閉眼時間Ｔを所定増減量する。これらにより、眠気の検知率（眠気がある場合に眠気があると検知する率）を向上させ、かつ、眠気の誤検知率（眠気がないのに眠気があるあと検知する率）を低下させることができる。なお所定増減量は、顔画像から眼の開閉を検出するまでにかかる時間である。

図９は、開閉時間Ｔの計測手順を示すフローチャート図である。閉眼時間計測部２６は、上記の手順で眼の開閉を検出する（Ｓ３１０）。そして、閉眼時間計測部２６は開閉判定部２５の判定結果が、閉眼か開眼かを判定する（Ｓ３２０）。開眼が検出された場合（Ｓ３２０のＮｏ）、閉眼時間計測部２６は閉眼時間Ｔから所定増減量を削減する（Ｓ３５０）。

閉眼が検出された場合（Ｓ３２０のＹｅｓ）、閉眼時間計測部２６は閉眼が継続して所定時間Ｐ以上検出されたか否かを判定する（Ｓ３３０）。所定時間Ｐが経過するまでステップＳ３２０とＳ３３０の判定を繰り返す。

そして、閉眼が継続して所定時間Ｐ以上になると（Ｓ３３０のＹｅｓ）、閉眼時間計測部２６は閉眼時間Ｔに所定増減量を計上する（Ｓ３４０）。以降は、閉眼が検出される度に閉眼時間Ｔに所定増減量を計上する。

閉眼時間Ｔが大きくなるほど乗員の眠気が強いと考えてよいので、例えば、眠気検知装置１００は、閉眼時間Ｔと閾値を比較し、閾値以上となった場合に眠気が強い（居眠りしている）と判定する。閉眼時間Ｔと多段階の閾値を比較して眠気の程度を判定してもよい。

図９のような計測手順により、図１０に示すように閉眼時間Ｔが計測される。すなわち、閉眼が計測されても所定時間Ｐが経過するまで閉眼時間Ｔは計上されず、所定時間Ｐが経過すると所定増減量ずつ閉眼時間Ｔが増大する。また、開眼が検出されると、閉眼時間Ｔは所定増減量だけ削減される。開眼に次いで閉眼が検出されても、所定時間Ｐが経過しないと、次に開眼が検出される度に、閉眼時間Ｔは所定増減量だけ削減される。

なお、所定時間Ｐは被験者の実際の眠気の強さを現せるように実験的に定めることができる。例えば、所定時間Ｐは０．３〜０．６秒である。継続した閉眼が所定時間Ｐ以上の場合に閉眼時間Ｔに所定増減量ずつ計上し、開眼が検出されると閉眼時間Ｔを所定増減量ずつ削減することで、高い検知率と低い誤検知率を両立することができる。

〔眠気検知装置１００の適用例について〕
眠気検知装置１００の適用例について簡単に説明する。眠気検知装置１００を車載した場合、眠気の強さや顔向きに応じて、車載装置の制御を可変にすることができる。例えば、車両には、ミリ波レーダ装置により前方の障害物との相対距離及び相対速度を検出し、異常接近のおそれがある場合（ＴＴＳ（Time To Collision）が所定以下になる）に警報音を吹鳴したり自動制動するプリクラッシュシステムが搭載されている場合がある。

眠気検知装置１００が乗員に眠気があると判定した場合、プリクラッシュシステムは、眠気があると判定されない場合よりもＴＴＣに対し早めに警告するなど車両制御を早期に実行する。これにより、警報音や自動制動により覚醒した運転者が対応する時間を確保しやすくすることができる。

同様の早期制御は、ＬＫＡ（Lane Keeping Assist）システム等についても可能である。ＬＫＡシステムでは走行レーンを区切る車線区分線をカメラで撮影し車線区分線を認識することで、走行レーン内を逸脱せずに走行するよう乗員を支援する。例えば、車両の進行方向及び車速と車線区分線との位置により、所定時間経過後に車線区分線の逸脱が予想される場合、ＬＫＡシステムは警報音を吹鳴する。

眠気検知装置１００が乗員に眠気があると判定した場合、ＬＫＡシステムは、眠気があると判定されない場合よりも早めに警告するなど車両制御を早期に実行する。これにより、警報音により覚醒した運転者が対応する時間を確保しやすくすることができる。

以上説明したように、本実施形態の眠気検知装置１００は、間隔比Ａを眼の開度とすることで、顔が横方向を向いている場合でも、計算負荷を抑制し眼の開度の検出精度を向上させることができる。

また、間隔比Ｂにより上下の瞼の誤検出を防止するので、眼の開度を精度よく検出することができる。眼の開度が精度よく検出できるので、開閉時間Ｔを正確に計測でき眠気の検知精度を向上できる。

眠気検知装置が閉眼時間Ｔを計測する手順を示すフローチャート図である。 眠気検知装置の概略を説明する図である。 眠気検知装置のブロック図の一例である。 顔画像の一例等を示す図である。 眼球追跡領域等を示す図である。 上下の瞼の位置の誤検出を防止する手順を示すフローチャート図である。 眉の位置、上下の瞼位置の一例を示す図である。 開度検出部が間隔比Ａを検出する手順を示すフローチャート図である。 開閉時間Ｔの計測手順を示すフローチャート図である。 閉眼時間Ｔの時間遷移の一例を示す図である。

符号の説明

１１ カメラ
１２ 画像処理ＥＣＵ
１３ メータＥＣＵ
１４ ブザー出力機
１５ 警告ランプ
２１ 顔位置検出部
２２ 特徴点検出部
２３ 顔向き検出部
２４ 開度検出部
２５ 開閉判定部
２６ 閉眼時間計測部
１００ 眠気検知装置

Claims (7)

1. 撮影手段により撮影した被験者の顔画像から眼の開閉を検出し、眼の開閉に基づき閉眼時間を計測する眠気検知装置において、
   顔画像から眉、上瞼及び下瞼を検出する特徴点検出手段と、
   眉と下瞼の間隔に対する上下の瞼の間隔の間隔比Ａに基づき、眼の開度を検出する開度検出手段と、
   眼の開度に基づき、眼の開閉を判定する開閉判定手段と、
   を有することを特徴とする眠気検知装置。
2. 前記特徴点検出手段は、
   眉と上瞼の間隔に対する上下の瞼の間隔の間隔比Ｂに基づき、上瞼又は下瞼の誤検出を低減する、
   ことを特徴とする請求項１記載の眠気検知装置。
3. 前記特徴点検出手段は、
   間隔比Ｂと所定の閾値と比較して、間隔比Ｂが閾値以下であれば、上瞼及び下瞼の位置を確定し、間隔比Ｂが閾値より大きい場合、前記開閉判定手段は眼の開度を判定しない、
   ことを特徴とする請求項２記載の眠気検知装置。
4. 所定時間未満まで継続した閉眼は閉眼時間に計上せず、所定時間以上継続して検出された閉眼の時間を閉眼時間に計上し、開眼が検出された場合、閉眼時間を削減する閉眼時間計測手段を有する、
   ことを特徴とする請求項１〜３いずれか１項記載の眠気検知装置。
5. 前記閉眼時間が所定時間以上となった場合、警報音を吹鳴する警告手段を有する、ことを特徴とする請求項４記載の眠気検知装置。
6. 車両の乗員の運転を支援する運転支援装置であって、
   請求項１〜５いずれか１項記載の眠気検知装置から眠気の検知結果を取得して、車両の運転者に眠気がある場合、眠気がない場合よりも早期に車載装置を制御する、
   ことを特徴とする運転支援装置。
7. 眼の開閉に基づき閉眼時間を計測する眠気検知方法であって、
   撮影手段により被験者の顔を撮影するステップと、
   特徴点検出手段が、顔画像から眉、上瞼及び下瞼を検出するステップと、
   開度検出手段が、眉と下瞼の間隔に対する上下の瞼の間隔の間隔比Ａに基づき眼の開度を検出するステップと、
   開閉判定手段が、眼の開度に基づき眼の開閉を判定するステップと、
   を有することを特徴とする眠気検知方法。
   

Images