JP2013257691A - 居眠り状態判定装置及び居眠り状態判定方法 - Google Patents

Abstract

【課題】運転者のマイクロスリープを精度良く検知すること。
【解決手段】瞼データ取得部１０１は、所定の周期で、人物の少なくとも一方の目の瞼の状態を取得し、速度算出部１０２は、人物の少なくとも一方の目の瞼の状態を表す瞼状態情報を用いて、当該瞼の開閉時における瞼閉眼速度、及び、瞼開眼速度を算出し、比較部１０３は、瞼閉眼速度と前記瞼開眼速度とを比較し、判定部１０４は、比較部１０３における比較結果に基づいて、人物が居眠り状態であると判定する。
【選択図】図２

Description

本発明は、対象人物の顔の動きを表現する情報に基づいて、対象人物の居眠り状態を判定する居眠り状態判定装置及び居眠り状態判定方法に関する。

従来、車両運転者の居眠り運転防止のため、運転者が居眠り状態であることを検知し、注意喚起を行う装置が提案されている。例えば、特許文献１には、運転者の目周辺を撮影した映像を用いて、運転者が閉眼していることを所定時間以上連続して検知した場合に運転者が居眠り状態であると判定する方式が開示されている（以下、従来技術）。

特開２００８−７７１８９号公報

運転者が車両運転中に強い眠気を催した場合、完全な居眠り状態に至る前段階において、瞬間的な睡眠（以下、「マイクロスリープ」という）に陥る場合があることが知られている。マイクロスリープ中に運転者は意識を失っていることから、危険回避及び事故防止のためには、マイクロスリープを検知可能な方式の実現が望まれる。

ところで、マイクロスリープは瞬間的な居眠り状態であるため、従来技術は、マイクロスリープを所定時間以上連続した閉眼として検出しない。したがって、従来技術では、マイクロスリープを検知することは困難である。

本発明の目的は、運転者のマイクロスリープを精度良く検知することができる居眠り状態判定装置及び居眠り状態判定方法を提供することである。

本発明の一態様の居眠り状態判定装置は、人物の少なくとも一方の目の瞼の状態を表す瞼状態情報を用いて、当該瞼の開閉時における瞼閉眼速度、及び、瞼開眼速度を算出する速度算出手段と、前記瞼閉眼速度と前記瞼開眼速度とを比較する比較手段と、前記比較手段における比較結果に基づいて、人物が居眠り状態であると判定する判定手段と、を具備する構成を採る。

本発明の一態様の居眠り状態判定方法は、人物の少なくとも一方の目の瞼の状態を表す瞼状態情報を用いて、当該瞼の開閉時における瞼閉眼速度、及び、瞼開眼速度を算出し、前記瞼閉眼速度と前記瞼開眼速度とを比較し、比較結果に基づいて、人物が居眠り状態であると判定する。

本発明によれば、運転者のマイクロスリープを精度良く検知することができる。

本発明の実施の形態１に係る居眠り状態判定装置の主要構成を示すブロック図 本発明の実施の形態１に係る居眠り状態判定装置の構成を示すブロック図 本発明の実施の形態１に係る安全運転支援装置の構成を示すブロック図 本発明の実施の形態１に係る実験で取得した、覚醒時における瞼状態特徴量の変化を示す図 本発明の実施の形態１に係る実験で取得した、マイクロスリープ時における瞼状態特徴量の変化を示す図 本発明の実施の形態１に係る居眠り状態判定装置の動作を示すフロー図 本発明の実施の形態１に係る瞼開閉判定方法の説明に供する図 本発明の実施の形態１に係る瞼閉眼速度及び瞼開眼速度の算出方法の説明に供する図 本発明の実施の形態２に係る実験で取得した、覚醒時における瞼状態特徴量及び表情筋特徴量の変化を示す図 本発明の実施の形態２に係る実験で取得した、マイクロスリープ時における瞼状態特徴量及び表情筋特徴量の変化を示す図 本発明の実施の形態２に係る居眠り状態判定装置の構成を示すブロック図 本発明の実施の形態２に係る安全運転支援装置の構成を示すブロック図 本発明の実施の形態２に係る居眠り状態判定装置の動作を示すフロー図

以下、本発明の各実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。

［実施の形態１］
［居眠り状態判定装置の主要構成］
図１は、本発明の実施の形態１に係る居眠り状態判定装置１００の主要構成を示す。

居眠り状態判定装置１００において、速度算出部１０２は、人物の少なくとも一方の目の瞼の状態を表す瞼状態情報を用いて、当該瞼の開閉時における瞼閉眼速度、及び、瞼開眼速度を算出し、比較部１０３は、瞼閉眼速度と瞼開眼速度とを比較し、判定部１０４は、比較部１０３における比較結果に基づいて、人物が居眠り状態（マイクロスリープ状態）であると判定する。

［居眠り状態判定装置の構成］
図２は、本発明の実施の形態１に係る居眠り状態判定装置１００の構成を示す。本実施の形態では、居眠り状態判定装置１００は車両内に設置され、車両を運転する人物（運転者）の居眠り状態を判定する場合について説明する。

図２において、居眠り状態判定装置１００は、瞼データ取得部１０１と、速度算出部１０２と、比較部１０３と、判定部１０４とを有する。

瞼データ取得部１０１は、所定の周期で、運転者の少なくとも一方の目の瞼の状態（瞼データ）を取得し、瞼の状態を表す瞼状態情報を生成する。例えば、瞼データ取得部１０１は、瞼の状態として、運転者の少なくとも一方の目が含まれる画像データを取得する。そして、瞼データ取得部１０１は、画像データにおける運転者の目の位置を特定し、瞼の状態を表す画像特徴量（以下、「瞼状態特徴量」という）を算出する。瞼データ取得部１０１は、算出した瞼状態特徴量を瞼状態情報として速度算出部１０２に出力する。

なお、瞼状態特徴量は、上下の瞼間の距離又は眼球部分の面積等、瞼の開度（開き度合）を表す特徴量などが挙げられる。例えば、瞼状態特徴量が大きいほど、瞼の開度がより大きい。

速度算出部１０２は、瞼データ取得部１０１から入力される瞼状態情報に基づいて、瞼の開閉が発生したか否かを判定する。例えば、速度算出部１０２は、瞼データ取得部１０１から取得した瞼状態情報に示される瞼状態特徴量の経時的変化に基づいて、瞼の開閉が発生したか否かを判定する。そして、速度算出部１０２は、瞼の開閉が発生したと判定した場合、瞼状態特徴量を用いて、当該瞼の開閉における、瞼が閉じる速度(以下、「瞼閉眼速度」という)、及び、瞼が開く速度(以下、「瞼開眼速度」という)を算出する。速度算出部１０２は、瞼開眼速度及び瞼閉眼速度を比較部１０３に出力する。

比較部１０３は、速度算出部１０２から入力される、瞼開眼速度と瞼閉眼速度とを比較して、瞼開眼速度と瞼閉眼速度との大小関係を判定する。比較部１０３は、判定結果（瞼開眼速度と瞼閉眼速度との大小関係）を表す値を判定部１０４に出力する。

判定部１０４は、比較部１０３から入力される判定結果（瞼開眼速度と瞼閉眼速度との比較結果）に基づいて、運転者が居眠り状態（マイクロスリープ状態）であるか否かを判定する。具体的には、判定部１０４は、瞼閉眼速度が瞼開眼速度よりも遅い場合、運転者がマイクロスリープ状態であると判定する。なお、判定部１０４は、瞼閉眼速度が瞼開眼速度よりも遅い場合に、運転者の覚醒度が低下している状態であると判定してもよい。

［安全運転支援装置の構成］
図３は、本実施の形態に係る安全運転支援装置２００の構成を示す。図３において、安全運転支援装置２００は、居眠り状態判定装置１００（図２）と、瞼状態検知部２０１と、出力部２０２とを有する。

瞼状態検知部２０１は、運転者の目の瞼の状態を検知し、検知した瞼の状態を瞼データ取得部１０１に出力する。例えば、瞼状態検知部２０１として、撮像装置（例えば、車両のコラムカバーに設置されたカメラ）を用いてもよく、運転者の顔に貼り付けた電極を用いてもよい。例えば、瞼状態検知部２０１としてカメラを用いる場合、瞼状態検知部２０１は、所定の周期で運転者の少なくとも一方の目が含まれる画像を撮影し、撮影した画像データを、居眠り状態判定装置１００の瞼データ取得部１０１に出力する。

出力部２０２には、居眠り状態判定装置１００の判定部１０４から、運転者がマイクロスリープ状態であるか否かを示す情報が入力される。出力部２０２は、判定部１０４において運転者がマイクロスリープ状態に陥っていると判定された場合、例えば、運転者に対する事故防止のための報知情報を出力する。

［居眠り状態判定装置１００の動作］
次に、居眠り状態判定装置１００の動作について説明する。

図４及び図５は、本発明者らの実験結果であって、被験者が覚醒状態から居眠り状態に至るまでの当該被験者の顔を撮影して得られた瞼状態特徴量を示す。図４及び図５において横軸は時刻を表し、縦軸は瞼状態特徴量を表す。また、図４は覚醒時における瞼状態特徴量の時間変化を示し、図５はマイクロスリープ時における瞼状態特徴量の時間変化を示す。図４及び図５では、瞼状態特徴量が大きいほど、瞼の開度がより大きい状態を表す。

図４に示すように、覚醒時には、瞼閉眼速度（瞼閉眼開始時刻t1と瞼閉眼終了時刻t2との間の瞼状態特徴量の傾きの絶対値）は、瞼開眼速度（瞼開眼開始時刻t3と瞼開眼終了時刻t4との間の瞼状態特徴量の傾きの絶対値）よりも速くなる。一方、図５に示すように、マイクロスリープ時には、瞼閉眼速度は、瞼開眼速度よりも遅くなる。すなわち、覚醒時における通常の瞼の開閉では、瞼閉眼速度が瞼開眼速度よりも速いのに対して、マイクロスリープ発生時には、瞼閉眼速度と瞼開眼速度との大小関係が逆転し、瞼開眼速度が瞼閉眼速度よりも速くなる。

このように、本発明者らによる実験により、マイクロスリープ時には、覚醒時には現れなかった特有の瞼開閉パターンが発生することが明らかになった。

そこで、本実施の形態では、居眠り状態判定装置１００は、瞼開眼速度と瞼閉眼速度との比較の結果、瞼閉眼速度が瞼開眼速度よりも遅い場合には、運転者がマイクロスリープ状態であると判定する。

次に、居眠り状態判定装置１００における居眠り状態判定処理の流れについて説明する。図６は、居眠り状態判定装置１００における居眠り状態判定処理の一例を示すフローチャートである。

ステップ（以下、単に「Ｓ」と表す）１０１において、瞼データ取得部１０１は、例えば瞼状態検知部２０１（図３）から入力される画像データ（瞼の状態）を取得して、運転者の少なくとも一方の目の瞼の状態を表す瞼状態特徴量を算出する。

Ｓ１０２において、速度算出部１０２は、Ｓ１０１で算出された現時点の瞼状態特徴量を含む直前の所定期間における瞼状態特徴量の経時的変化に基づいて、瞼の開閉が発生したか否かを判定する。瞼の開閉が発生した場合（Ｓ１０２：ＹＥＳ）、Ｓ１０３の処理に進み、瞼の開閉が発生していない場合（Ｓ１０２：ＮＯ）、Ｓ１０７の処理に進む。

ここで、瞼の開閉発生の具体的な判定方法の一例について説明する。図７に示す波形は、瞼状態特徴量の経時的変化の一例を表す。図７において、横軸は時刻ｔを表し、縦軸は瞼状態特徴量Ｉを表す。

例えば、図７に示すように、速度算出部１０２は、瞼状態特徴量Ｉと、開眼を判定する閾値（開眼判定閾値Th_o）及び閉眼を判定する閾値（閉眼判定閾値Th_c）とを比較することにより、瞼の開閉を判定する。具体的には、速度算出部１０２は、図７において、瞼状態特徴量Ｉが閉眼判定閾値Th_cを下回った場合、閉眼が発生したと判定する。また、速度算出部１０２は、閉眼が発生したと判定された後（図７では時刻t1の後）に、瞼状態特徴量Ｉが開眼判定閾値Th_oを上回った場合、瞼の開閉が発生したと判定する。図７では、瞼状態特徴量Ｉが閉眼判定閾値Th_cを下回った時刻をt1とし、瞼状態特徴量Ｉが開眼判定閾値Th_oを上回った時刻をt2とする。

なお、運転者によっては居眠り状態に陥った際に、必ずしも閉眼に至るわけではなく、半閉眼(瞼開閉の際に瞼が閉じ切らない状態)となる場合がある。そのような半閉眼の状態も検知可能とするために、閾値Th_cは、閉眼した状態を検出する瞼状態特徴量Ｉよりも大きい値（例えば、半閉眼に対応する特徴量）に設定されてもよい。また、閾値Th_c及び閾値Th_oは、予め所定の値に設定されてもよく、運転者に応じて動的に設定されてもよい。各閾値が運転者に応じて動的に設定される場合、所定期間における運転者の瞼状態特徴量Ｉの平均から算出される値を閾値として用いてもよく、閉眼した状態（または完全に開眼した状態）における瞼状態特徴量Ｉから相対的に算出される値を閾値として用いてもよい。

図６に示すＳ１０３において、速度算出部１０２は、Ｓ１０１で算出された瞼状態特徴量を用いて、Ｓ１０２で検知した瞼開閉における瞼閉眼速度Vc及び瞼開眼速度Voを算出する。

ここで、瞼閉眼速度Vc及び瞼開眼速度Voの具体的な算出方法の一例について図８を用いて説明する。

図８に示すように、瞼状態特徴量Ｉが閉眼判定閾値Th_cを下回った時刻t1より前の時刻において、瞼状態特徴量Ｉが開眼判定閾値Th_oを下回った時刻を閉眼開始時刻t_csとする。速度算出部１０２は、閾値Th_oと閾値Th_c、及び、時刻t1と時刻t_csを用いて、次式（１）に従って瞼閉眼速度Vcを算出する。
Vc=|Th_o-Th_c|/(t1-t_cs) …（１）

同様に、図８に示すように、瞼状態特徴量Ｉが開眼判定閾値Th_oを上回った時刻ｔ2より前の時刻において、瞼状態特徴量Ｉが閉眼判定閾値Th_cを上回った時刻を開眼開始時刻t_osとする。速度算出部１０２は、閾値Th_oと閾値Th_c、及び、時刻t1と時刻t_osを用いて、次式（２）に従って瞼開眼速度Voを算出する。
Vo=|Th_o-Th_c|/(t2-t_os) …（２）

Ｓ１０４において、比較部１０３は、Ｓ１０３で算出された瞼閉眼速度Vcと瞼開眼速度Voとを比較することにより、瞼閉眼速度Vcと瞼開眼速度Voとの大小関係を表す値を算出する。瞼閉眼速度Vcと瞼開眼速度Voとの大小関係を表す値は、例えば、瞼開眼速度Vcと瞼閉眼速度Voとの差(Vc-Vo)でもよく、瞼開眼速度Vcと瞼閉眼速度Voとの比率(Vc/Vo)でもよく、または、瞼開眼速度Vcが瞼閉眼速度Voより大きい場合を「１」とし、瞼開眼速度Vcが瞼閉眼速度Voより小さい場合を「０」とするような２値で表される値でもよい。

Ｓ１０５において、判定部１０４は、Ｓ１０４で得られた、瞼閉眼速度Vcと瞼開眼速度Voとの大小関係を表す値に基づいて、運転者の居眠り状態を判定する。具体的には、判定部１０４は、瞼閉眼速度Vcが瞼開眼速度Voよりも遅い場合（Ｓ１０５：ＹＥＳ）、Ｓ１０６において運転者がマイクロスリープ状態であると判定する。一方、瞼閉眼速度Vcが瞼開眼速度Voより速い場合（Ｓ１０５：ＮＯ）、Ｓ１０７の処理に進む。判定の具体例として、例えば、判定部１０４は、Ｓ１０４で得られる瞼開眼速度Voと瞼閉眼速度Vcとの比率(Vc/Vo)を取得し、（Vc/Vo）＜１である場合、Ｓ１０６において運転者がマイクロスリープ状態であると判定する。

Ｓ１０７において、居眠り状態判定装置１００は、居眠り状態判定装置１００および安全運転支援装置２００の処理を終了する指示が行われた場合（Ｓ１０７：ＹＥＳ）、居眠り状態判定処理を終了する。一方、居眠り状態判定装置１００は、居眠り状態判定装置１００および安全運転支援装置２００の処理を終了する指示が行われていない場合（Ｓ１０７：ＮＯ）、Ｓ１０１の処理に戻る。

このようにして、本実施の形態では、居眠り状態判定装置１００は、運転者の瞼の開閉時における瞼開眼速度と瞼閉眼速度とを比較して、運転者がマイクロスリープ状態であるか否かを判定する。こうすることで、居眠り状態判定装置１００は、運転者が開眼したまま居眠り状態に陥る場合、または、運転者が居眠りによって閉眼し直後に開眼する場合などのマイクロスリープ特有の瞼開閉パターンに対応することができる。よって、本実施の形態によれば、運転者のマイクロスリープを精度良く検知することができる。

［実施の形態２］
本実施の形態では、運転者の瞼開閉眼速度に加え、瞼周辺の表情筋の状態に基づいて、運転者のマイクロスリープを検知する場合について説明する。

図９及び図１０は、本発明者らの実験結果であって、被験者が覚醒状態から居眠り状態に至るまでの当該被験者の顔を撮影して得られた瞼状態特徴量、及び、被験者の表情筋の状態を表す特徴量（以下、「表情筋特徴量」という）を示す。尚、図９及び図１０に示した表情筋特徴量は、被験者の下瞼を含む領域の表情筋から取得した表情筋特徴量である。図９及び図１０において横軸は時刻を表し、縦軸は瞼状態特徴量（左縦軸）及び表情筋特徴量（右縦軸）を表す。また、図９は覚醒時における瞼状態特徴量及び表情筋特徴量の時間変化を示し、図１０はマイクロスリープ時における瞼状態特徴量及び表情筋特徴量の時間変化を示す。

また、図９及び図１０では、瞼状態特徴量が大きいほど、瞼の開度がより大きい状態を表し、表情筋特徴量が大きいほど、下瞼を含む領域の表情筋に変化が発生していることを表す。

図９に示すように、覚醒時の瞼の開閉には、瞼状態（開度）の変化のみでなく、運転者の表情筋にも変化が見られることが分かる。この表情筋の変化は、覚醒時における瞼開閉（例えば、通常の瞬目又はメータを見る行為）が運転者の表情筋（例えば眼輪筋）の収縮によって引き起こされるためであると考えられる。また、実施の形態１で述べたように、図９に示す覚醒時には、瞼閉眼速度が瞼開眼速度よりも速くなる。

一方、図１０に示すように、マイクロスリープ時の瞼の開閉には、瞼状態が変化する際に、運転者の表情筋の変化がほぼ見られないことが分かる。このように表情筋に変化が見られないのは、マイクロスリープ時における瞼開閉が運転者の表情筋の弛緩によって引き起こされるためであると考えられる。また、実施の形態１で述べたように、図１０に示すマイクロスリープ時には、瞼閉眼速度が瞼開眼速度よりも遅くなる。

このように、本発明者らによる実験により、マイクロスリープ時には、覚醒時とは異なる特有の瞼開閉パターンが発生し、かつ、運転者の表情筋が弛緩状態となること（表情筋の変化がほとんど発生しないこと）が明らかになった。

そこで、本実施の形態では、居眠り状態判定装置は、実施の形態１と同様にして瞼状態（瞼開閉眼速度）に加え、運転者の表情筋の状態に基づいて、運転者のマイクロスリープ状態を判定する。

図１１は、本実施の形態に係る居眠り状態判定装置３００の構成を示す。なお、図１１において、実施の形態１（図２）と同一部分には同一符号を付し、その説明を省略する。具体的には、図１１に示す居眠り状態判定装置３００では、居眠り状態判定装置１００（図２）の構成に加えて、表情筋データ取得部３０１および表情筋弛緩判定部３０２を有し、かつ、判定部３０３の動作が判定部１０４の動作と異なる。

表情筋データ取得部３０１は、所定の周期で、運転者の表情筋の状態（表情筋データ）を取得し、取得した表情筋の状態を表す特徴量（以下、「表情筋特徴量」という）を算出する。例えば、表情筋特徴量は、運転者の瞼を動かす筋肉又は運転者の眼球を動かす筋肉のうち少なくとも１つを含む表情筋の状態を表す特徴量である。

例えば、表情筋データ取得部３０１は、表情筋周辺を含む画像データを取得した場合、当該画像データを用いて運転者の表情筋特徴量を算出する。例えば、表情データ取得部３０１は、取得した画像データの輝度の総和、Local Binary Patternなどの画像特徴量を、表情筋特徴量として算出してもよい。または、表情データ取得部３０１は、所定期間において算出された画像特徴量の経時的変化に基づいて得られる画像特徴量のばらつき又は変化量を、表情筋特徴量として算出してもよい。表情筋データ取得部３０１は、表情筋特徴量を表情筋弛緩判定部３０２に出力する。

表情筋弛緩判定部３０２は、表情筋データ取得部３０１から入力される表情筋特徴量に基づいて、運転者の表情筋が弛緩状態であるか否かを判定し、判定結果を判定部３０３に出力する。

例えば、単一の画像を用いて表情筋の弛緩を判定する方法がある。この方法では、表情筋弛緩判定部３０２は、予め準備された人物の表情筋の緊張度合い（弛緩度合い）に対応する画像データを用いて学習を行った識別器を利用してもよい。そして、表情筋弛緩判定部３０２は、学習済みの画像データと、表情筋データ取得部３０１で取得された画像データ（表情筋特徴量）とのマッチングに基づいて、弛緩状態の判定を行ってもよい。

または、例えば、所定の時間内における表情筋特徴量の変化に基づいて表情筋の弛緩を判定する方法がある。この方法において、例えば、表情筋特徴量として画像特徴量のばらつき又は変化量が用いられ、表情筋特徴量が小さいほど、画像特徴量のばらつき又は変化量がより小さいとする。表情筋弛緩判定部３０２は、取得した表情筋特徴量と所定の閾値とを比較して、表情筋特徴量が閾値未満となる場合に、運転者の表情筋が弛緩状態であると判定する。つまり、閾値は、表情筋弛緩判定部３０２が表情筋特徴量を用いて、運転者の表情筋が弛緩状態にあるか緊張状態にあるかを判定することを目的として設定される。閾値は、予め設定された所定の値を用いてもよく、所定の期間に連続して記憶された表情筋特徴量に基づいて設定されてもよい。例えば、所定の期間における表情筋特徴量の平均および分散に基づいて動的に閾値を設定することで、表情筋弛緩判定部３０２は、表情筋変化の個人差又は撮影環境の変化に適応して弛緩状態であるか否かを判定することができる。

判定部３０３は、比較部１０３から入力される比較結果（瞼開眼速度と瞼閉眼速度の大小関係）、及び、表情筋弛緩判定部３０２から入力される判定結果に基づいて、運転者がマイクロスリープ状態であるか否かを判定する。具体的には、判定部３０３は、瞼閉眼速度が瞼開眼速度よりも遅い場合、かつ、運転者の表情筋が弛緩状態である場合、運転者がマイクロスリープ状態であると判定する。なお、判定部３０３は、運転者の覚醒度が低い状態にあると判定してもよい。

一方、判定部３０３は、運転者の表情筋が弛緩状態ではない場合（例えば緊張状態である場合）には、比較部１０３からの比較結果に依らず、運転者がマイクロスリープ状態ではないと判定する。つまり、判定部３０３は、運転者の表情筋が弛緩状態ではない場合には、瞼閉眼速度が瞼開眼速度よりも遅い場合であっても、運転者がマイクロスリープ状態ではないと判定する。なお、判定部３０３は、運転者の覚醒度が高い状態であると判定してもよい。

［安全運転支援装置の構成］
図１２は、本実施の形態に係る安全運転支援装置４００の構成を示す。なお、図１２において、実施の形態１（図３）と同一部分には同一符号を付し、その説明を省略する。

表情筋状態検知部４０１は、運転者の表情筋の状態を検知し、検知した運転者の表情筋の状態を表情筋データ取得部３０１へ出力する。例えば、表情筋状態検知部４０１として、撮像装置（例えば、車両のコラムカバーに設置されたカメラ）を用いてもよく、運転者の顔に貼りつけた電極を用いてもよい。例えば、表情筋状態検知部４０１が検知する表情筋の状態は、表情筋によって形成される顔面の形状を示す。

なお、図１２では、安全運転支援装置４００が、瞼状態検知部２０１と表情筋状態検知部４０１とを別々に具備する場合について説明したが、例えば１つの撮像装置が瞼状態検知部２０１及び表情筋状態検知部４０１の双方の機能を備えてもよい。

［居眠り状態判定装置３００の動作］
次に、居眠り状態判定装置３００における居眠り状態判定処理の流れについて説明する。図１３は、居眠り状態判定装置３００における居眠り状態判定処理の一例を示すフローチャートである。なお、図１３において、実施の形態１（図６）と同一動作には同一符号を付し、その説明を省略する。

Ｓ２０１において、表情筋データ取得部３０１は、運転者の表情筋周辺を含む画像データ（表情筋の状態）を取得して、取得した画像データを用いて表情筋特徴量を算出する。

Ｓ２０２において、表情筋弛緩判定部３０２は、Ｓ２０１で算出された表情筋特徴量に基づいて、運転者の表情筋が弛緩状態であるか否かを判定する。

表情筋が弛緩状態である場合（Ｓ２０２：ＹＥＳ）、判定部３０３は、Ｓ１０６において運転者がマイクロスリープ状態であると判定する。一方、表情筋が弛緩状態ではない場合（Ｓ２０２：ＮＯ）、Ｓ１０７の処理に進む。

このように、居眠り状態判定装置３００は、瞼閉眼速度が瞼開眼速度よりも遅いと判定し（Ｓ１０５：ＹＥＳ）、かつ、運転者の表情筋が弛緩状態であると判定した場合（Ｓ２０２：ＹＥＳ）、運転者がマイクロスリープ状態であると判定する。

このようにして、本実施の形態では、居眠り状態判定装置３００は、運転者の瞼の開閉時における瞼開眼速度と瞼閉眼速度との比較結果、および、運転者の瞼周辺の表情筋の状態に基づいて、運転者のマイクロスリープ状態を判定する。こうすることで、居眠り状態判定装置３００は、運転者が覚醒時における通常の瞼開閉（瞬目又は運転者がメータを見る行為）と、マイクロスリープ時における瞼開閉とを区別することができ、運転者の居眠り状態の誤検知を防ぐことができる。よって、本実施の形態によれば、実施の形態１と比較して、運転者のマイクロスリープを更に精度良く検知することができる。

［他の実施の形態］
なお、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連携においてソフトウェアでも実現することも可能である。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

以上、上記実施の形態に係る居眠り状態判定装置は、人物の少なくとも一方の目の瞼の状態を表す瞼状態情報を用いて、当該瞼の開閉時における瞼閉眼速度、及び、瞼開眼速度を算出する速度算出手段と、前記瞼閉眼速度と前記瞼開眼速度とを比較する比較手段と、前記比較手段における比較結果に基づいて、人物が居眠り状態であると判定する判定手段と、を具備する構成を採る。

また、上記実施の形態に係る居眠り状態判定装置では、前記判定手段は、前記比較結果において、前記瞼閉眼速度が前記瞼開眼速度よりも遅い場合、人物が居眠り状態であると判定する。

また、上記実施の形態に係る居眠り状態判定装置では、人物の表情筋の状態を表す表情筋特徴量に基づいて、人物の表情筋が弛緩状態であるか否かを判定する表情筋弛緩判定手段、を更に具備し、前記判定手段は、前記比較結果において前記瞼閉眼速度が前記瞼開眼速度よりも遅い場合、かつ、人物の表情筋が弛緩状態である場合、人物が居眠り状態であると判定する。

また、上記実施の形態に係る居眠り状態判定装置では、前記表情筋特徴量は表情筋の変化量を表し、前記表情筋特徴量が小さいほど、前記変化量がより小さく、前記表情筋弛緩判定手段は、前記表情筋特徴量が所定の閾値未満の場合、人物の表情筋が弛緩状態であると判定する。

また、上記実施の形態に係る居眠り状態判定装置では、前記閾値は、所定期間に連続して記憶された前記表情筋特徴量に基づいて設定される。

また、上記実施の形態に係る居眠り状態判定装置では、前記閾値は、前記記憶された表情筋特徴量の平均及び分散に基づいて設定される。

また、上記実施の形態に係る居眠り状態判定装置では、前記表情筋特徴量は、人物の瞼を動かす筋肉、又は、人物の眼球を動かす筋肉のうち少なくとも１つを含む前記表情筋の状態を表す。

また、上記実施の形態に係る居眠り状態判定装置では、前記瞼状態情報は、人物の少なくとも一方の目の瞼の開度を表す特徴量を示し、前記特徴量が大きいほど、前記開度がより大きく、前記速度算出手段は、前記特徴量と、閉眼を判定する第１の閾値および開眼を判定する第２の閾値と、を比較することにより、瞼の開閉を特定する。

また、上記実施の形態に係る居眠り状態判定装置では、前記第１の閾値は、瞼が完全に閉眼した状態直前の薄目又は半目状態に対応する前記特徴量に設定される。

また、上記実施の形態に係る居眠り状態判定装置では、前記第１の閾値および前記第２の閾値は動的に更新される。

また、上記実施の形態に係る居眠り状態判定装置では、前記居眠り状態はマイクロスリープ状態である。

また、上記実施の形態に係る居眠り状態判定方法は、人物の少なくとも一方の目の瞼の状態を表す瞼状態情報を用いて、当該瞼の開閉時における瞼閉眼速度、及び、瞼開眼速度を算出し、前記瞼閉眼速度と前記瞼開眼速度とを比較し、比較結果に基づいて、人物が居眠り状態であると判定する。

本発明の居眠り状態判定装置及び居眠り状態判定方法は、運転者のマイクロスリープを精度良く検知できるものとして有用である。

１００，３００ 居眠り状態判定装置
１０１ 瞼データ取得部
１０２ 速度算出部
１０３ 比較部
１０４，３０３ 判定部
２００，４００ 安全運転支援装置
２０１ 瞼状態検知部
２０２ 出力部
３０１ 表情筋データ取得部
３０２ 表情筋弛緩判定部
４０１ 表情筋状態検知部

Claims (12)

1. 人物の少なくとも一方の目の瞼の状態を表す瞼状態情報を用いて、当該瞼の開閉時における瞼閉眼速度、及び、瞼開眼速度を算出する速度算出手段と、
   前記瞼閉眼速度と前記瞼開眼速度とを比較する比較手段と、
   前記比較手段における比較結果に基づいて、人物が居眠り状態であると判定する判定手段と、
   を具備する居眠り状態判定装置。
2. 前記判定手段は、前記比較結果において、前記瞼閉眼速度が前記瞼開眼速度よりも遅い場合、人物が居眠り状態であると判定する、
   請求項１記載の居眠り状態判定装置。
3. 人物の表情筋の状態を表す表情筋特徴量に基づいて、人物の表情筋が弛緩状態であるか否かを判定する表情筋弛緩判定手段、を更に具備し、
   前記判定手段は、前記比較結果において前記瞼閉眼速度が前記瞼開眼速度よりも遅い場合、かつ、人物の表情筋が弛緩状態である場合、人物が居眠り状態であると判定する、
   請求項１記載の居眠り状態判定装置。
4. 前記表情筋特徴量は表情筋の変化量を表し、前記表情筋特徴量が小さいほど、前記変化量がより小さく、
   前記表情筋弛緩判定手段は、前記表情筋特徴量が所定の閾値未満の場合、人物の表情筋が弛緩状態であると判定する、
   請求項３記載の居眠り状態判定装置。
5. 前記閾値は、所定期間に連続して記憶された前記表情筋特徴量に基づいて設定される、
   請求項４記載の居眠り状態判定装置。
6. 前記閾値は、前記記憶された表情筋特徴量の平均及び分散に基づいて設定される、
   請求項５記載の居眠り状態判定装置。
7. 前記表情筋特徴量は、人物の瞼を動かす筋肉、又は、人物の眼球を動かす筋肉のうち少なくとも１つを含む前記表情筋の状態を表す、
   請求項３記載の居眠り状態判定装置。
8. 前記瞼状態情報は、人物の少なくとも一方の目の瞼の開度を表す特徴量を示し、前記特徴量が大きいほど、前記開度がより大きく、
   前記速度算出手段は、前記特徴量と、閉眼を判定する第１の閾値および開眼を判定する第２の閾値と、を比較することにより、瞼の開閉を特定する、
   請求項１記載の居眠り状態判定装置。
9. 前記第１の閾値は、瞼が完全に閉眼した状態直前の薄目又は半目状態に対応する前記特徴量に設定される、
   請求項８記載の居眠り状態判定装置。
10. 前記第１の閾値および前記第２の閾値は動的に更新される、
    請求項８記載の居眠り状態判定装置。
11. 前記居眠り状態はマイクロスリープ状態である、
    請求項１記載の居眠り状態判定装置。
12. 人物の少なくとも一方の目の瞼の状態を表す瞼状態情報を用いて、当該瞼の開閉時における瞼閉眼速度、及び、瞼開眼速度を算出し、
    前記瞼閉眼速度と前記瞼開眼速度とを比較し、
    比較結果に基づいて、人物が居眠り状態であると判定する、
    居眠り状態判定方法。

Images