JP2009279099A - 瞬目種別識別装置、瞬目種別識別方法、及び瞬目種別識別プログラム - Google Patents

Abstract

【課題】瞬目波形特性が標準的なドライバとは異なるドライバに対しても瞬目種別識別性能を向上させ、不特定ドライバの瞬目種別識別を可能にする瞬目種別識別装置、瞬目種別識別方法、及び瞬目種別識別プログラムを提供する。
【解決手段】瞬目種別識別装置１０は、瞬目波形入力部１０１でドライバが高覚醒状態である時の瞬目波形データを入力し、標準瞬目波形特徴量算出部１０３で当該ドライバの標準の瞬目波形特著量を算出する。瞬目波形入力部１０１で当該ドライバの瞬目種別の識別対象となる瞬目波形データを入力し、当該識別対象となる瞬目波形データに基づいて、識別対象となる瞬目波形特徴量を識別対象瞬目波形特徴量算出部１０４で算出する。瞬目識別特徴量算出部１０５は、標準の瞬目波形特徴量を用いて識別対象となる瞬目波形特徴量を補正することにより、瞬目波形種別を識別するＨＭＭに入力するための瞬目識別特徴量を算出する。
【選択図】 図３

Description

本発明は、不特定人の覚醒状態の評価に用いられる瞬目種別を識別する瞬目種別識別装置、および覚醒状態判定装置に関する。

ドライバの覚醒状態評価は古くからの課題とされており、これまでに脳波、皮膚電気活動、心拍、瞬目などの生理計測を利用した研究が数多く行なわれてきている。しかしながら、生理計測の手法、取得データの評価方法、支援やナビゲーションの方法、誤検出や過検出に対する対応など、依然として解決すべき課題も多く、未だ本格的な実用には至っていない。

ドライバの覚醒状態評価に関する研究の一つとして、瞬目を利用したドライバの覚醒状態検出がある。眼部分の映像データ又はＥＯＧ（Electro-Oculogram：眼電位）から得られる瞬目の発生パターンや眼球運動の特徴を示す瞬目波形特徴量は、覚醒状態によって変化することが知られている。瞬目波形特徴量を利用した覚醒状態判定技術として、特許文献１に記載の動作内容判定装置がある。この動作内容判定装置は、ドライバの眼部分の複数フレームの映像データに対する特徴量の入力に対して、瞬目波形の種別に対する尤度を出力する瞬目種別識別用ＨＭＭ（Hidden Markov Model）を有しており、前記特徴量の入力に対して瞬目種別識別用ＨＭＭから出力された尤度に基づいて対象者の覚醒状態を判定するものである。

この特許文献１に記載の動作内容判定装置は、瞬目種別識別用ＨＭＭの生成時において、ドライバの眼部分を撮影した映像データからドライバの１回１回の瞬目に対応する瞬目波形を算出し、当該瞬目波形における、振幅、瞬目の持続時間及び速度などの特徴量に基づいて、瞬目波形瞬目種別を判断する。そして、前記瞬目波形に対応する眼部分の複数フレームの映像データから抽出した特徴量に対して、前記瞬目波形の種別を識別するための識別情報を付与し、この識別情報の付与された特徴量を学習データとして瞬目種別識別用ＨＭＭを学習させている。そして、多種類の瞬目波形のうち覚醒状態を十分に判定できるとされる特定種類の瞬目に対する瞬目種別識別用ＨＭＭを生成している。

そして、覚醒状態判定時には、所定時間内における前記特定種別の瞬目波形の生起頻度の変化に基づいて覚醒状態の判定を行っている。具体的には、図１１に示すように、動作内容判定装置は、被験者の１回１回の瞬目から得られる瞬目波形データを入力し（Ｓｔｅｐ１）、入力された瞬目波形データの瞬目種別を識別し（Ｓｔｅｐ２）、瞬目種別の識別結果を所定の時間区間でヒストグラム処理することにより各瞬目種別の生起頻度を捉え、覚醒時における標準的な瞬目波形でないと識別された瞬目波形の生起頻度が高くなった場合に、覚醒状態が低くなったと判断している（Ｓｔｅｐ３）。

図１２には、瞬目種別の１例を示す。この例では、ＥＯＧから得られた瞬目波形を、上下瞼間距離のピーク変動、閉瞼時間、開瞼時間の３つのパラメータを用いて、Ａ〜Ｅの５種類に分類している。本発明者は、瞬目種別Ａの波形は高覚醒時に主に発生し、初期低覚醒時には瞬目種別Ｃの波形の発生が見られ、その後ドライバが眠気に対抗し覚醒努力を行っている時には瞬目種別Ｂの波形の発生があり、更に覚醒低下が進んだ後期低覚醒時には瞬目種別Ｄの波形の発生が見られることを確認している。瞬目種別Ｅの波形は、覚醒状態評価指標として用いる上記瞬目種別Ａ〜Ｄ以外の瞬目波形として位置づける。一回一回の瞬目をこのようにドライバの覚醒状態と関連の強い瞬目波形パターンに種別することにより、運転中のドライバから得られた瞬目波形に対応する瞬目種別の生起頻度から、ドライバの覚醒状態を推定していた。

ところで、従来、瞬目の閉瞼時間や開瞼時間の時間特性の個人差については研究報告が少なく、一般的に、瞬目の閉瞼時間や開瞼時間の時間特性は、人間本来のもつ生理特性として個人間の差は非常に少ないものと考えられてきた。
しかしながらドライビングシミュレーターを使用した運転中の様々な覚醒状態における瞬目ＥＯＧ波形の閉瞼時間と開瞼時間のドライバ間の差を調べると、およそ１０％〜２０％のドライバは、他の標準的なドライバの瞬目の閉瞼時間と開瞼時間と異なる特性をもつことが明らかになった。図１３にドライバ毎の各瞬目種別Ａ〜Ｅの閉瞼時間のばらつきを、図１４に開瞼時間のばらつきを示す。グラフの横軸の例えば「ｆ２７」は２７歳の女性ドライバ、「ｍ３４」は３４歳の男性ドライバを示す。これらの図から分かるように、およそ１０％から２０％のドライバは他の標準的な瞬目時間特性に対して異なる特性を有していることがわかった。ちなみに、ドライバの瞬目時間特性分布の概念図を図１７に示す。標準的瞬目時間特性ドライバの分布Ａに対して、ＢあるいはＣの分布に属する特異な瞬目時間特性を有するドライバを特異瞬目時間特性ドライバという。
ＷＯ２００５／１１４５７６号公報

そのため、図１６（ａ）に示す標準的な瞬目時間特性を有する瞬目波形を学習した瞬目種別モデルを使用して、図１６（ｂ）に示す瞬目時間特性が標準的な場合よりも遅い瞬目時間特性を有するドライバの瞬目種別識別を行った場合に、例えば瞬目種別Ａの生起瞬目を瞬目種別Ｄと誤識別する可能性が生じるという課題があった。
したがって、瞬目時間特性が標準的なドライバと異なる特異瞬目時間特性ドライバに対しても瞬目種別識別の性能を向上させ、不特定ドライバに適応できる瞬目種別識別が求められていた。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、瞬目波形特性が標準的なドライバとは異なるドライバに対しても瞬目種別識別性能を向上させ、不特定ドライバの瞬目種別識別を可能にする瞬目種別識別装置、瞬目種別識別方法、及び瞬目種別識別プログラムを提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、不特定の対象者の瞬目の特性を示す瞬目識別特徴量を共通のパターンモデルに入力することにより、被験者の覚醒状態の判定のために用いられる瞬目種別を識別する瞬目種別識別装置であって、対象者の瞬目に基づく瞬目波形データを入力する瞬目波形入力手段と、前記対象者が高覚醒状態である時の瞬目波形データを前記瞬目波形入力手段により入力し、該瞬目波形データに基づいて前記対象者の標準の瞬目波形特徴量を算出する標準瞬目波形特徴量算出手段と、前記対象者の瞬目種別の識別対象となる瞬目波形データを前記瞬目波形入力手段により入力し、該識別対象となる瞬目波形データに基づいて識別対象の瞬目波形特徴量を算出する識別対象瞬目波形特徴量算出手段と、前記標準の瞬目波形特徴量を用いて前記識別対象の瞬目波形特徴量を補正することにより、前記共通のパターンモデルに入力するための瞬目識別特徴量を算出する瞬目識別特徴量算出手段とを備えたことを特徴とする瞬目種別識別装置を提供する。
本発明によれば、瞬目種別識別装置は、対象者の標準の瞬目波形特徴量を用いて識別対象の瞬目波形特徴量を補正することにより、共通のパターンモデルに入力する瞬目識別特徴量を算出するため、対象者毎のパターンモデルを用意しなくても、共通のパターンモデルを用いて不特定対象者の瞬目種別を高性能に行うことができる。

請求項２に記載の発明は、請求項１に記載の瞬目種別識別装置において、前記瞬目識別特徴量算出手段は、前記標準の瞬目波形特徴量と前記識別対象の瞬目波形特徴量との差を前記瞬目識別特徴量として算出することを特徴とする。
請求項３に記載の発明は、請求項１に記載の瞬目種別識別装置において、前記瞬目識別特徴量算出手段は、前記対象者の前記標準の瞬目波形特徴量に基づいて決定された正規化係数を用いて、前記識別対象の瞬目波形特徴量を正規化することにより、前記瞬目識別特徴量を算出することを特徴とする。

請求項４に記載の発明は、不特定の対象者の覚醒状態を判定するために用いられる瞬目種別を識別する瞬目種別識別装置であって、前記瞬目種別を識別するために、異なる瞬目特性を有する瞬目波形特徴量に基づいて学習された複数のパターンモデルを記憶するパターンモデル記憶手段と、前記対象者の瞬目に基づく瞬目波形データを入力する瞬目波形入力手段と、前記対象者が高覚醒状態である時の瞬目に基づく瞬目波形データを前記瞬目波形入力手段により入力し、該瞬目波形データに基づいて前記対象者の標準の瞬目波形特徴量を算出する標準瞬目波形特徴量算出手段と、前記標準瞬目波形特徴量算出手段により算出された標準の瞬目波形特徴量に応じて、使用すべきパターンモデルを決定するパターンモデル定手段と、前記対象者の瞬目種別の識別対象となる瞬目波形データを前記瞬目波形入力手段により入力し、該識別対象となる瞬目波形データに基づいて識別対象の瞬目波形特徴量を算出する識別対象瞬目波形特徴量算出手段と、前記識別対象瞬目波形特徴量算出手段により算出された瞬目波形特徴量を前記パターンモデル決定手段により決定されたパターンモデルに入力することにより瞬目種別を識別する瞬目種別識別手段とを備えることを特徴とする瞬目種別識別装置を提供する。
本発明によれば、複数のパターンモデルを用意しておき、算出された対象者の標準の瞬目波形特徴量に応じて使用すべきパターンモデルを決定することで、識別対象の瞬目波形特徴量を補正しなくても、不特定対象者の瞬目種別を高性能に行うことができる。

請求項５に記載の発明は、瞬目種別識別装置が、不特定の対象者の瞬目の特性を示す瞬目識別特徴量を共通のパターンモデルに入力することにより、対象者の覚醒状態の判定のために用いられる瞬目種別を識別する瞬目種別識別方法であって、対象者が高覚醒状態である時の瞬目に基づく瞬目波形データを入力する高覚醒瞬目波形入力ステップと、前記高覚醒瞬目波形入力ステップにおいて入力された該瞬目波形データに基づいて前記対象者の標準の瞬目波形特徴量を算出する標準瞬目波形特徴量算出ステップと、前記対象者の瞬目種別の識別対象となる瞬目波形データを入力する識別対象瞬目波形特徴量入力ステップと、前記識別対象瞬目波形特徴量入力ステップにおいて入力された識別対象となる瞬目波形データに基づいて、識別対象の瞬目波形特徴量を算出する識別対象瞬目波形特徴量算出ステップと、前記標準の瞬目波形特徴量を用いて前記識別対象の瞬目波形特徴量を補正することにより、前記共通のパターンモデルに入力するための瞬目識別特徴量を算出する瞬目識別特徴量算出ステップとを備えたことを特徴とする瞬目種別識別方法を提供する。

請求項６に記載の発明は、不特定の対象者の瞬目の特性を示す瞬目識別特徴量を共通のパターンモデルに入力することにより、対象者の覚醒状態の判定のために用いられる瞬目種別を識別するための瞬目種別識別プログラムであって、コンピュータに、対象者が高覚醒状態である時の瞬目に基づく瞬目波形データを入力する高覚醒瞬目波形入力ステップと、前記高覚醒瞬目波形入力ステップにおいて入力された該瞬目波形データに基づいて前記対象者の標準の瞬目波形特徴量を算出する標準瞬目波形特徴量算出ステップと、前記対象者の瞬目種別の識別対象となる瞬目波形データを入力する識別対象瞬目波形特徴量入力ステップと、前記識別対象瞬目波形特徴量入力ステップにおいて入力された識別対象となる瞬目波形データに基づいて、識別対象の瞬目波形特徴量を算出する識別対象瞬目波形特徴量算出ステップと、前記標準の瞬目波形特徴量を用いて前記識別対象の瞬目波形特徴量を補正することにより、前記共通のパターンモデルに入力するための瞬目識別特徴量を算出する瞬目識別特徴量算出ステップと、前記瞬目識別特徴量算出ステップにおいて算出された瞬目識別特徴量を前記共通のパターンモデルに入力することにより、瞬目種別を識別する瞬目種別識別ステップとを実行させるための瞬目種別識別プログラムを提供する。

請求項７に記載の発明は、瞬目種別識別装置が、不特定の対象者の覚醒状態を判定するために用いられる瞬目種別を識別する瞬目種別識別方法であって、前記対象者が高覚醒状態である時の瞬目に基づく瞬目波形データを入力する高覚醒瞬目波形入力ステップと、前記高覚醒瞬目波形入力ステップにおいて入力された該瞬目波形データに基づいて前記対象者の標準の瞬目波形特徴量を算出する標準瞬目波形特徴量算出ステップと、前記標準瞬目波形特徴量算出ステップにおいて算出された標準の瞬目波形特徴量に応じて、使用すべきパターンモデルを決定するパターンモデル決定ステップと、前記対象者の瞬目種別の識別対象となる瞬目波形データを入力する識別対象瞬目波形データ入力ステップと、前記識別対象瞬目波形データ入力ステップにおいて入力された瞬目波形データに基づいて、識別対象の瞬目波形特徴量を算出する識別対象瞬目波形特徴量算出ステップと、前記識別対象瞬目波形特徴量算出ステップにおいて算出された識別対象の瞬目波形特徴量を前記パターンモデル決定手段により決定されたパターンモデルに入力することにより、瞬目種別を識別する瞬目種別識別ステップとを備えたことを特徴とする瞬目種別識別方法を提供する。

請求項８に記載の発明は、不特定の対象者の覚醒状態を判定するために用いられる瞬目種別を識別するためのプログラムであって、コンピュータに、前記対象者が高覚醒状態である時の瞬目に基づく瞬目波形データを入力する高覚醒瞬目波形入力ステップと、前記高覚醒瞬目波形入力ステップにおいて入力された該瞬目波形データに基づいて前記対象者の標準の瞬目波形特徴量を算出する標準瞬目波形特徴量算出ステップと、前記標準瞬目波形特著量算出ステップにおいて算出された標準の瞬目波形特徴量に応じて、使用すべきパターンモデルを決定するパターンモデル決定ステップと、前記対象者の瞬目種別の識別対象となる瞬目波形データを入力する識別対象瞬目波形データ入力ステップと、前記識別対象瞬目波形データ入力ステップにおいて入力された瞬目波形データに基づいて、識別対象の瞬目波形特徴量を算出する識別対象瞬目波形特徴量算出ステップと、前記識別対象瞬目波形特徴量算出ステップにおいて算出された瞬目波形特徴量を前記パターンモデル決定手段により決定されたパターンモデルに入力することにより、瞬目種別を判定する瞬目種別判定ステップとを実行させるための瞬目種別識別プログラムを提供する。
請求項９に記載の発明は、請求項１〜４の何れか１項に記載の対象者をドライバとした瞬目種別識別装置である。
請求項１０に記載の発明は、請求項１〜４の何れか１項に記載の瞬目種別識別装置を用いた覚醒状態判定装置である。

本発明によれば、瞬目種別識別装置は、対象者の標準の瞬目波形特徴量を用いて識別対象の瞬目波形特徴量を補正することにより、共通のパターンモデルに入力する瞬目識別特徴量を算出するため、対象者毎のパターンモデルを用意しなくても、共通のパターンモデルを用いて不特定対象者の瞬目種別を高性能に行うことができる。
また、本発明によれば、複数のパターンモデルを用意しておき、算出された対象者の標準の瞬目波形特徴量に応じて使用すべきパターンモデルを決定することで、識別対象の瞬目波形特徴量を補正しなくても、不特定対象者の瞬目種別を高性能に行うことができる。

以下、図面を参照して、本発明の実施形態について説明する。
（第１実施形態）
図１は、本発明の第１実施形態に係る瞬目種別識別装置１０の機能構成を示すブロック図である。なお、これらの機能は、瞬目種別識別装置１０が備える図示せぬＣＰＵ（Central Processing Unit）がＲＯＭやハードディスク装置等の記憶装置に記憶されているプログラムを読み出して実行することにより実現される機能である。

瞬目波形入力部１０１は、ドライバ等の対象者の瞬目波形データを入力する。ここで、瞬目波形データは、ＥＯＧから得られたものでもよいし、眼瞼映像から得られたものでもよい。さらには、ＥＯＧ以外の生体・生理データから得られたものでもよい。
高覚醒状態瞬目抽出部１０２は、瞬目波形入力部１０１で入力された瞬目波形データから、図１２に示す瞬目種別Ａが主成分を占める、高覚醒状態における瞬目波形データを収集する。なお、ドライバの運転開始時の数分間を高覚醒状態であるとして瞬目から得られた瞬目波形データを入力する場合には、入力された全ての瞬目波形データを高覚醒状態における瞬目波形データとして扱ってもよい。

標準瞬目波形特徴量算出部１０３は、高覚醒状態瞬目抽出部１０２で抽出された各対象者が高覚醒状態である時の瞬目波形データに基づいて、各対象者の標準の瞬目波形特徴量を算出する。
ここで、瞬目波形特徴量としては、ＥＯＧ値、あるいは眼瞼映像からの眼瞼開口度の実時間変化値に対して正規化を行い生成した波形値を用いても良い。この波形値は、例えば、図１６に示すように、波形のピーク高、開瞼時間、閉瞼時間の少なくとも１つの値を含むことができる。

また、図１６に示すような波形を実時間空間からＦＦＴ（Fast Fourier Transform）等を用いて周波数空間に変換し、基底周波数ごとの重みを瞬目波形特徴量として用いても良い。
さらに、実時間空間の瞬目波形特徴量を用いる場合には、例えば図１５に示すような眼瞼開口度の瞬目波形の波形値をそのまま瞬目波形特徴量として用いる方法もあるが、この波形に対してローパスフィルターや回帰曲線などを用いて生成したスムージング処理波形を用いることもできる。周波数空間の瞬目波形パラメータの場合にも、スムージングの目的で低周波部分のみの基底周波数重みを用いることもできる。図２には、図１５に示す眼瞼開口度の瞬目波形に対して、スムージング処理を施した波形の一例を示す。このようなスムージング処理を施すことで、瞬目種別識別の性能を向上させる瞬目波形特徴量を得ることができる。

図１に戻り、識別対象瞬目波形特徴量算出部１０４は、瞬目波形入力部１０１で入力された瞬目種別の識別対象となる瞬目波形データに基づいて、識別対象の瞬目波形特徴量を算出する。
瞬目識別特徴量算出部１０５は、標準の瞬目波形特徴量を用いて、識別対象の瞬目波形特徴量をドライバに非依存となるように補正することにより、予め用意されて記憶装置に記憶されている共通のＨＭＭに入力するための瞬目識別特徴量を算出する。本実施形態では、識別対象の瞬目波形特徴量と標準の瞬目波形特徴量との差分をとることにより、補正を行う。このように、標準の瞬目波形特徴量を用いて識別対象の瞬目波形特徴量をドライバに非依存となるように補正することを、以下では「ドライバ非依存化処理」ともいう。

瞬目種別識別部１０６は、瞬目識別特徴量算出部１０５で算出した瞬目識別特徴量を、共通のＨＭＭに入力して、当該ＨＭＭから出力された尤度から瞬目種別を識別する。なお、瞬目識別特徴量から瞬目種別を識別するためのパターンモデルはＨＭＭに限定されるものではない。
瞬目種別識別部１０６で所定時間内に識別された各瞬目種別Ａ，Ｂ，Ｃ，Ｄ，Ｅの生起頻度、割合等は、覚醒状態の判定に用いられる。この覚醒状態を識別する機能は、瞬目種別識別装置１０が備えていてもよし、別の装置が備えていてもよい。覚醒状態の判定の機能は、瞬目種別の識別と同様に、ＨＨＭを用いて実現することができる。

次に、図３に示すフローチャートを用いて、瞬目種別識別装置１０が行う瞬目種別識別の手順について説明する。
まず、Ｓｔｅｐ１０において、瞬目種別識別装置１０の瞬目波形入力部１０１は、ＥＯＧ又は映像データから得られた瞬目波形データを入力する。Ｓｔｅｐ２０において、高覚醒状態瞬目抽出部１０２は、Ｓｔｅｐ１０において入力された瞬目波形データから、主に瞬目種別Ａが主成分を占める、高覚醒状態における瞬目波形データを収集する。Ｓｔｅｐ３０において、標準瞬目波形特徴量算出部１０３は、その収集した瞬目波形データで示される波形群の中心値や平均値などを用いて、対象者毎の標準瞬目波形特徴量を決定する。高覚醒状態における瞬目波形データ収集は、実際の自動車ドライバへの適応では、例えば運転開始時の数分間の瞬目などを用いることができる。

そして、Ｓｔｅｐ４０において、識別対象瞬目波形特徴量算出部１０４は、Ｓｔｅｐ１０から入力された特定のドライバの瞬目種別識別対象となる瞬目波形データに基づいて、瞬目種別の識別対象の瞬目波形特徴量を算出する。Ｓｔｅｐ５０において、瞬目識別特徴量算出部１０５は、識別対象の瞬目波形特徴量と、あらかじめＳｔｅｐ３０で定めた標準瞬目波形特徴量との差分を取り、この差分値をＳｔｅｐ６０において瞬目識別特徴量として算出する。Ｓｔｅｐ７０において、瞬目種別識別部１０６は、瞬目識別特徴量をあらかじめ用意した共通のＨＨＭに入力し、当該ＨＭＭから出力される尤度に基づいて瞬目種別を識別する。
このように、識別対象の瞬目波形特徴量と標準瞬目波形特徴量との差分をとってドライバ非依存化処理を行うことにより、共通のＨＭＭに入力するための瞬目識別特徴量を算出することができるため、瞬目時間特性が標準と異なる対象者に対しても、瞬目種別を正しく行うことができる。

図４には、実時間空間における眼瞼開口度波形データを入力として用いて生成された瞬目識別特徴量の一例を示す。ここでは、ドライビングシミュレーターを使用した模擬運転中のドライバごとの、高覚醒時から入眠に至るまでの覚醒状態の生起瞬目の眼瞼開口度波形データを、図１２に示した瞬目種別Ａ〜Ｅに分類し、それぞれの瞬目種別Ａ〜Ｅの平均瞬目波形を算出した。そして、標準瞬目波形として瞬目種別Ａの瞬目波形を用いて、瞬目種別Ｂ〜Ｅの平均瞬目波形と瞬目種別Ａの瞬目波形との差分をとった。図４には、それぞれの差分波形（Ｂ−Ａ、Ｃ−Ａ、Ｄ−Ａ、Ｅ−Ａ）が示されている。この図から分かるように、瞬目時間特性の異なるドライバ間においても、識別対象の瞬目波形と標準瞬目波形との差分波形を瞬目識別特徴量とすることで、瞬目波形形状そのものに瞬目種別に応じた特徴的な形状を持たせることができる。従って、このように差分をとることにより、ドライバ間の瞬目時間特性差に左右されない、瞬目種別識別のための瞬目識別特徴量を抽出することができる。

図４に示したように、識別対象の瞬目波形と実時間空間における標準瞬目波形との差分波形を瞬目識別特徴量として用いた場合の、瞬目種別識別性能の向上例を示す。
図５は、図１３及び図１４に示した閉瞼時間特性及び開瞼時間特性が標準とは異なるドライバｆ２５について、ＥＯＧから得られた瞬目波形の個人特定モデルによる瞬目種別識別結果を、瞬目種別毎の生起頻度経時変化を示すヒストグラムで表したものである。図５（ａ）が瞬目種別Ａ、図５（ｂ）が瞬目種別Ｂ、図５（ｃ）が瞬目種別Ｃ、図５（ｄ）が瞬目種別Ｄ、図５（ｅ）が瞬目種別Ｅのヒストグラムにそれぞれ対応している。この図の横軸はドライバの運転経過時間（単位は分）を示し、縦軸はそれぞれの瞬目種別の１分間における生起回数を示す。そして、この瞬目種別の生起頻度経時変化を正解データとする。

このドライバｆ２５の眼瞼映像から得られた瞬目波形に対して、ドライバ非依存化処理を行わない場合の、ＨＭＭによるドライバ共通モデルを用いた瞬目種別識別結果を図６に示す。図５の正解データと比較して、特に瞬目種別Ｂ、Ｃ、Ｄ、Ｅの生起頻度経時変化が大きく異なる。
それに対して、ドライバ非依存化処理を行った場合の、ＨＭＭによるドライバ共通モデルを用いた瞬目種別識別結果を図７に示す。図７に示されるように、図６で正解データに対して大きく異なっていた瞬目種別Ｂ、Ｃ、Ｄ、Ｅの生起頻度経時変化が正解データに近くなり、瞬目種別の識別性能が大きく向上していることが分かる。このドライバ非依存化処理により、この瞬目種別の識別結果からドライバの覚醒状態を正しく判定することが可能となった。

なお、上述した実施形態では、瞬目識別特徴量算出部１０５は、標準の瞬目波形特徴量と識別対象となる瞬目波形特徴量との差分をとることによりドライバ非依存化処理を行ったが、ドライバ非依存化処理はこれに限定されることはなく、例えば、ドライバごとの瞬目種別Ａの標準瞬目波形パラメータに含まれる閉瞼時間や開瞼時間を正規化し、その正規化係数を他の瞬目種別Ｂ〜Ｅそれぞれの瞬目波形特徴量に掛け合わせる又は除算して正規化するようにしてもよい。図８には、このドライバ非依存化処理を行った場合の瞬目閉瞼時間の分布を示す。この手法を用いることで、図８に示すように、異なる瞬目時間特性を有するドライバ間の瞬目時間特性のばらつきが、図１３と比較して小さくなっていることが分かる。
以上のようなドライバ非依存化処理を行うことにより、瞬目時間特性が標準的なドライバと異なるおよそ１０％から２０％のドライバに対しても、瞬目種別を正しく行うことが可能となる。

（第２実施形態）
次に、本発明に係る第２実施形態について説明する。図９は、本実施形態に係る瞬目種別識別装置２０の機能構成を示すブロック図である。
ＨＭＭ決定部２０５は、標準瞬目波形特徴量算出部１０３により算出された標準の瞬目波形特徴量に応じて、予め用意しておいた複数のＨＭＭの中から、瞬目種別識別に使用するのに適したＨＭＭを決定する。
瞬目波形識別部２０６は、識別対象瞬目波形パラメータ算出部１０４により算出された瞬目波形特徴量を、ＨＭＭ決定部２０５により決定されたＨＭＭに入力することにより、瞬目種別を識別する。
ＨＭＭ記憶部２０７は、標準の瞬目波形からの乖離度に応じて、すなわち、異なる瞬目特性を有する瞬目波形特徴量に基づいて学習された複数のＨＨＭを予め生成して記憶装置に記憶する。
上記以外の構成は第１実施形態と同様である。

次に、図１０に示すフローチャートを用いて、本実施形態に係る瞬目種別識別装置２０が行う瞬目種別識別の手順について説明する。
Ｓｔｅｐ１０〜４０の処理は、図３に示すＳｔｅｐ１０〜４０の処理と同様であるため、説明を省略する。
Ｓｔｅｐ８０において、ＨＭＭ決定部２０５は、標準瞬目波形特徴量算出部１０３により算出された標準の瞬目波形特徴量に応じて、予め用意しておいた複数のＨＭＭの中から、瞬目種別識別に使用するのに適したＨＭＭを決定する。

Ｓｔｅｐ９０において、瞬目波形識別部２０６は、識別対象瞬目波形特徴量算出部１０４により算出された瞬目波形特徴量を、ＨＭＭ決定部２０５により決定されたＨＭＭに入力することにより、瞬目種別を識別する。
このように、あらかじめ複数のＨＭＭを用意しておき、算出された標準の瞬目波形特徴量に応じて使用すべきＨＭＭを決定することで、識別対象の瞬目波形特徴量を補正することなく、不特定対象者の瞬目種別を高性能に行うことができる。
なお、第１実施形態で説明した方式による瞬目種別識別の性能が低い場合に、本実施形態の方式に切り替えるようにしてもよい。

本発明の第１実施形態に係る瞬目種別識別装置の機能構成を示すブロック図である。 図１５に示す波形にスムージング処理を施した場合の波形の一例を示す図である。 同実施形態に係る瞬目種別識別装置が行う瞬目種別識別の手順を示すフローチャートである。 同実施の形態に係る実時間空間における眼瞼開口度波形を入力として用いて生成した瞬目識別特徴量の例を示す図である。 同実施の形態に係る標準的でない瞬目特性を持ったドライバについての、瞬目波形の個人特定モデルによる瞬目種別識別結果を示す図である。 同実施の形態に係る標準的でない瞬目特性を持ったドライバの眼瞼映像から得られた瞬目波形に対してドライバ非依存化処理を行わない場合の、ＨＭＭによるドライバ共通モデルを用いた瞬目種別識別結果を示す図である。 同実施の形態に係る標準的でない瞬目特性を持ったドライバの眼瞼映像から得られた瞬目波形に対してドライバ非依存化処理を行った場合の、ＨＭＭによるドライバ共通モデルを用いた瞬目種別識別結果を示す図である。 同実施の形態に係る正規化によるドライバ非依存化処理を行った場合の瞬目閉瞼時間の分布動を示す図である。 本発明の第２実施形態に係る瞬目種別識別装置の機能構成を示すブロック図である。 同実施形態に係る瞬目種別識別装置が行う瞬目種別識別の手順を示すフローチャートである。 従来の覚醒状態判定処理の手順を示すフローチャートである。 瞬目種別の１例を示す図である。 ドライバ毎の各瞬目種別Ａ〜Ｅの閉瞼時間のばらつきを示すグラフである。 ドライバ毎の各瞬目種別Ａ〜Ｅの開瞼時間のばらつきを示すグラフである。 眼瞼垂直距離を目頭目尻間距離で正規化した正規化眼瞼開口度を示す図である。 （ａ）は標準的な瞬目時間特性を有する瞬目波形を示す図であり、（ｂ）は瞬目時間特性が標準的な場合よりも遅い瞬目時間特性を有する瞬目波形を示す図である。 ドライバの瞬目時間特性分布の概念図である。

符号の説明

１０、２０ 瞬目種別識別装置
１０１ 瞬目波形入力部
１０２ 高覚醒状態瞬目抽出部
１０３ 標準瞬目波形特徴量算出部
１０４ 識別対象瞬目波形特徴量算出部
１０５ 瞬目識別特徴量算出部
１０６ 瞬目種別識別部
２０５ ＨＭＭ決定部
２０６ 瞬目波形識別部
２０７ ＨＭＭ記憶部

Claims (10)

1. 不特定の対象者の瞬目の特性を示す瞬目識別特徴量を共通のパターンモデルに入力することにより、被験者の覚醒状態の判定のために用いられる瞬目種別を識別する瞬目種別識別装置であって、
   対象者の瞬目に基づく瞬目波形データを入力する瞬目波形入力手段と、
   前記対象者が高覚醒状態である時の瞬目波形データを前記瞬目波形入力手段により入力し、該瞬目波形データに基づいて前記被験者の標準の瞬目波形特徴量を算出する標準瞬目波形特徴量算出手段と、
   前記対象者の瞬目種別の識別対象となる瞬目波形データを前記瞬目波形入力手段により入力し、該識別対象となる瞬目波形データに基づいて識別対象の瞬目波形特徴量を算出する識別対象瞬目波形特徴量算出手段と、
   前記標準の瞬目波形特徴量を用いて前記識別対象の瞬目波形特徴量を補正することにより、前記共通のパターンモデルに入力するための瞬目識別特徴量を算出する瞬目識別特徴量算出手段と
   を備えたことを特徴とする瞬目種別識別装置。
2. 前記瞬目識別特徴量算出手段は、
   前記標準の瞬目波形特徴量と前記識別対象の瞬目波形特徴量との差を前記瞬目識別特徴量として算出することを特徴とする請求項１に記載の瞬目種別識別装置。
3. 前記瞬目識別特徴量算出手段は、
   前記対象者の前記標準の瞬目波形特徴量に基づいて決定された正規化係数を用いて、前記識別対象の瞬目波形特徴量を正規化することにより、前記瞬目識別特徴量を算出することを特徴とする請求項１に記載の瞬目種別識別装置。
4. 不特定の対象者の覚醒状態を判定するために用いられる瞬目種別を識別する瞬目種別識別装置であって、
   前記瞬目種別を識別するために、異なる瞬目特性を有する瞬目波形特徴量に基づいて学習された複数のパターンモデルを記憶するパターンモデル記憶手段と、
   前記対象者の瞬目に基づく瞬目波形データを入力する瞬目波形入力手段と、
   前記対象者が高覚醒状態である時の瞬目に基づく瞬目波形データを前記瞬目波形入力手段により入力し、該瞬目波形データに基づいて前記対象者の標準の瞬目波形特徴量を算出する標準瞬目波形特徴量算出手段と、
   前記標準瞬目波形特徴量算出手段により算出された標準の瞬目波形特徴量に応じて、使用すべきパターンモデルを決定するパターンモデル定手段と、
   前記対象者の瞬目種別の識別対象となる瞬目波形データを前記瞬目波形入力手段により入力し、該識別対象となる瞬目波形データに基づいて識別対象の瞬目波形特徴量を算出する識別対象瞬目波形特徴量算出手段と、
   前記識別対象瞬目波形特徴量算出手段により算出された瞬目波形特徴量を前記パターンモデル決定手段により決定されたパターンモデルに入力することにより瞬目種別を識別する瞬目種別識別手段とを備えることを特徴とする瞬目種別識別装置。
5. 瞬目種別識別装置が、不特定の対象者の瞬目の特性を示す瞬目識別特徴量を共通のパターンモデルに入力することにより、対象者の覚醒状態の判定のために用いられる瞬目種別を識別する瞬目種別識別方法であって、
   対象者が高覚醒状態である時の瞬目に基づく瞬目波形データを入力する高覚醒瞬目波形入力ステップと、
   前記高覚醒瞬目波形入力ステップにおいて入力された該瞬目波形データに基づいて前記対象者の標準の瞬目波形特徴量を算出する標準瞬目波形特徴量算出ステップと、
   前記対象者の瞬目種別の識別対象となる瞬目波形データを入力する識別対象瞬目波形特徴量入力ステップと、
   前記識別対象瞬目波形特徴量入力ステップにおいて入力された識別対象となる瞬目波形データに基づいて、識別対象の瞬目波形特徴量を算出する識別対象瞬目波形特徴量算出ステップと、
   前記標準の瞬目波形特徴量を用いて前記識別対象の瞬目波形特徴量を補正することにより、前記共通のパターンモデルに入力するための瞬目識別特徴量を算出する瞬目波形特徴量算出ステップと
   を備えたことを特徴とする瞬目種別識別方法。
6. 不特定の対象者の瞬目の特性を示す瞬目識別特徴量を共通のパターンモデルに入力することにより、対象者の覚醒状態の判定のために用いられる瞬目種別を識別するための瞬目種別識別プログラムであって、
   コンピュータに、
   対象者が高覚醒状態である時の瞬目に基づく瞬目波形データを入力する高覚醒瞬目波形入力ステップと、
   前記高覚醒瞬目波形入力ステップにおいて入力された該瞬目波形データに基づいて前記対象者の標準の瞬目波形特徴量を算出する標準瞬目波形特徴量算出ステップと、
   前記対象者の瞬目種別の識別対象となる瞬目波形データを入力する識別対象瞬目波形特徴量入力ステップと、
   前記識別対象瞬目波形特徴量入力ステップにおいて入力された識別対象となる瞬目波形データに基づいて、識別対象の瞬目波形特徴量を算出する識別対象瞬目波形特徴量算出ステップと、
   前記標準の瞬目波形特徴量を用いて前記識別対象の瞬目波形特徴量を補正することにより、前記共通のパターンモデルに入力するための瞬目識別特徴量を算出する瞬目識別特徴量算出ステップと、
   前記瞬目識別特徴量算出ステップにおいて算出された瞬目識別特徴量を前記共通のパターンモデルに入力することにより、瞬目種別を識別する瞬目種別識別ステップと
   を実行させるための瞬目種別識別プログラム。
7. 瞬目種別識別装置が、不特定の対象者の覚醒状態を判定するために用いられる瞬目種別を識別する瞬目種別識別方法であって、
   前記対象者が高覚醒状態である時の瞬目に基づく瞬目波形データを入力する高覚醒瞬目波形入力ステップと、
   前記高覚醒瞬目波形入力ステップにおいて入力された該瞬目波形データに基づいて前記対象者の標準の瞬目波形特徴量を算出する標準瞬目波形特徴量算出ステップと、
   前記標準瞬目波形特徴量算出ステップにおいて算出された標準の瞬目波形特徴量に応じて、使用すべきパターンモデルを決定するパターンモデル決定ステップと、
   前記対象者の瞬目種別の識別対象となる瞬目波形データを入力する識別対象瞬目波形データ入力ステップと、
   前記識別対象瞬目波形データ入力ステップにおいて入力された瞬目波形データに基づいて、識別対象の瞬目波形特徴量を算出する識別対象瞬目波形特徴量算出ステップと、
   前記識別対象瞬目波形特徴量算出ステップにおいて算出された識別対象の瞬目波形特徴量を前記パターンモデル決定手段により決定されたパターンモデルに入力することにより、瞬目種別を識別する瞬目種別識別ステップと
   を備えたことを特徴とする瞬目種別識別方法。
8. 不特定の対象者の覚醒状態を判定するために用いられる瞬目種別を識別するためのプログラムであって、
   コンピュータに、
   前記対象者が高覚醒状態である時の瞬目に基づく瞬目波形データを入力する高覚醒瞬目波形入力ステップと、
   前記高覚醒瞬目波形入力ステップにおいて入力された該瞬目波形データに基づいて前記対象者の標準の瞬目波形特徴量を算出する標準瞬目波形特徴量算出ステップと、
   前記標準瞬目波形特徴量算出ステップにおいて算出された標準の瞬目波形特徴量に応じて、使用すべきパターンモデルを決定するパターンモデル決定ステップと、
   前記対象者の瞬目種別の識別対象となる瞬目波形データを入力する識別対象瞬目波形データ入力ステップと、
   前記識別対象瞬目波形データ入力ステップにおいて入力された瞬目波形データに基づいて、識別対象の瞬目波形特徴量を算出する識別対象瞬目波形特徴量算出ステップと、
   前記識別対象瞬目波形特徴量算出ステップにおいて算出された瞬目波形パラメータを前記パターンモデル決定手段により決定されたパターンモデルに入力することにより、瞬目種別を判定する瞬目種別判定ステップと
   を実行させるための瞬目種別識別プログラム。
9. 請求項１〜４の何れか１項に記載の対象者をドライバとした瞬目種別識別装置。
10. 請求項１〜４の何れか１項に記載の瞬目種別識別装置を用いた覚醒状態判定装置。