JP2009201676A - 覚醒度推定装置 - Google Patents

Abstract

【課題】覚醒度を高精度に推定する覚醒度推定装置を提供することを課題とする。
【解決手段】覚醒度推定装置１であって、記憶手段２１に記憶されている覚醒度に関する各パラメータのデータからなる基準集団に基づいて覚醒度を推定する際のパラメータの組み合わせを設定するパラメータ設定手段２２と、設定された組み合わせのパラメータだけを用いて、記憶手段２１に記憶されている覚醒度に関する各パラメータのデータから参照モデルを複数作成するモデル作成手段２３と、作成された複数の参照モデルの中から覚醒度を推定するための参照モデルを選択するモデル選択手段３５ａ，３５ｂと、設定された組み合わせのパラメータだけを用いて、選択された参照モデルを参照し、観測値取得手段３０，３１，３２で取得した覚醒度に関する各パラメータの観測値に応じた覚醒度を推定する推定手段３５ｃとを備えることを特徴とする。
【選択図】図１

Description

本発明は、覚醒度推定装置に関する。

車両のドライバに安全な走行を行わせるために、ドライバの覚醒度（眠気度合い）を推定する装置が開発されている。例えば、特許文献１に記載の装置では、アクセル開度、操舵角、ヨーレートなどの車両挙動の情報を各センサで検出し、これらの車両挙動の情報から覚醒度を判定する。特に、この装置では、マハラノビス・タグチ・システムを利用し、覚醒度が高い状態のときの車両挙動のデータを単位空間として、この単位空間と現在の車両挙動の情報とのマハラノビス距離から覚醒度を判定する。
特開２００６−２９８２３４号公報 特開２００６−２８０５１１号公報

覚醒度が高い状態でも、ドライバ個々で、車両挙動に個人差が生じる場合がある。さらに、同じドライバであっても、その日のコンディションなどによって車両挙動に個人内差が生じる場合もある。しかし、上記装置では、１つの単位空間だけを基準にして覚醒度を推定しているので、個人差や個人内差によって覚醒度の推定精度が低下する虞がある。また、車両挙動の情報だけを利用して覚醒度を推定する場合、眠りの浅い段階では、そのような情報には変化が現れ難いので、覚醒度の推定精度が低下する虞がある。

そこで、本発明は、覚醒度を高精度に推定する覚醒度推定装置を提供することを課題とする。

本発明に係る覚醒度推定装置は、覚醒度に関する複数のパラメータのデータを記憶する記憶手段と、覚醒度に関するパラメータの観測値を取得する観測値取得手段と、記憶手段に記憶されている覚醒度に関する各パラメータのデータからなる基準集団に基づいて覚醒度を推定する際のパラメータの組み合わせを設定するパラメータ設定手段と、パラメータ設定手段で設定した組み合わせのパラメータだけを用いて、記憶手段に記憶されている覚醒度に関する各パラメータのデータから参照モデルを複数作成するモデル作成手段と、モデル作成手段で作成した複数の参照モデルの中から覚醒度を推定するための参照モデルを選択するモデル選択手段と、パラメータ設定手段で設定した組み合わせのパラメータだけを用いて、モデル選択手段で選択した参照モデルを参照し、観測値取得手段で取得した覚醒度に関する各パラメータの観測値に応じた覚醒度を推定する推定手段とを備えることを特徴とする。

この覚醒度推定装置では、パラメータ設定手段により、記憶手段に記憶されている予め取得された覚醒度に関する各パラメータのデータからなる基準集団に基づいて、覚醒度を推定する際に用いるパラメータの組み合わせを設定する。ここで、覚醒度を推定するために有効なパラメータの組み合わせが選択される。そして、覚醒度推定装置では、モデル作成手段により、設定された組み合わせのパラメータを用いて、記憶手段に記憶されている覚醒度に関する各パラメータのデータから参照モデルを複数作成する。参照モデルは、設定された組み合わせのパラメータのデータだけを用いて作成された覚醒度を推定するための基準となるモデルであり、様々な条件に応じて複数作成される。複数の参照モデルを予め作成すると、覚醒度推定装置では、モデル選択手段により、複数の参照モデルの中から推定対象の人に適した参照モデルを選択する。そして、覚醒度推定装置では、推定手段により、設定された組み合わせのパラメータを用いて、選択された参照モデルを参照し、観測値取得手段で取得した推定対象の人の覚醒度に関する各パラメータの観測値に応じた覚醒度を推定する。このように、この覚醒度推定装置では、覚醒度を推定するための基準となる参照モデルを予め複数用意しておき、推定対象の人に合った参照モデルを選択し、その都度選択された参照モデルに基づいて覚醒度を推定する。その結果、この覚醒度推定装置では、推定対象の人がどのような状況のときでも、覚醒度を高精度に推定することができる。

なお、パラメータは、覚醒度を推定するために利用される様々なパラメータであり、例えば、人の生体から得られるパラメータとして皮膚電位、心電、呼吸、体温などがあり、人の行動から得られるパラメータとして眼球の動き、瞬き、欠伸などがあり、車両のドライバの場合には車両挙動から得られるパラメータとして操舵角、車速、アクセル開度、ヨーレートなどがある。

本発明の上記覚醒度推定装置では、パラメータ設定手段は、パラメータの組み合わせの中からパラメータ間に多重共線性が生じない組み合わせを選択すると好適である。

この覚醒度推定装置では、多重共線性が起こらない組み合わせのパラメータだけを用いることにより、複数のパラメータから覚醒度の推定する際に多重共線性の問題を回避することができる。

本発明の上記覚醒度推定装置では、パラメータ設定手段は、多重共線性が生じない組み合わせの中から覚醒度の推定に有効な値と雑音との比が最大となる組み合わせを選択すると好適である。

この覚醒度推定装置では、覚醒度の推定に有効な値と雑音との比（ＳＮ比）が最大となる組み合わせのパラメータだけを用いることにより、覚醒度の推定においてノイズの影響を低減できる。

本発明の上記覚醒度推定装置では、モデル作成手段は、パラメータ設定手段で設定した組み合わせのパラメータだけを用いて、記憶手段に記憶されている覚醒度に関する各パラメータのデータに被験者の覚醒度の官能評価値をラベル付けし、当該各パラメータのラベル付けしたデータと基準集団との距離を覚醒度毎に算出し、覚醒度毎の距離の分布状態から参照モデルを作成する構成としてもよい。

この覚醒度推定装置では、記憶手段に記憶されている覚醒度に関する各パラメータのデータには被験者の覚醒度の官能評価値がラベル付けされる。そして、覚醒度推定装置では、モデル作成手段により、設定された組み合わせのパラメータだけを用いて、覚醒度毎にそのラベル付けされた各パラメータのデータと基準集団との距離（マハラノビス距離など）を算出し、覚醒度毎の距離の分布状態から参照モデルを作成する。覚醒度毎の距離の分布状態によって覚醒度をそれぞれ分離できる場合、参照モデルとして有効であり、覚醒度を容易に判別可能な参照モデルである。

本発明の上記覚醒度推定装置では、モデル作成手段は、カテゴリ毎に参照モデルを作成する構成としてもよい。

この覚醒度推定装置では、様々なカテゴリ毎に参照モデルを作成することにより、多種多様の参照モデルを作成することができ、任意の人に適した参照モデルを予め用意することができる。カテゴリは、例えば、性別、年齢、観測時間、季節、天候、体調などの１つ又は複数の組み合わせである。

本発明の上記覚醒度推定装置では、モデル選択手段は、パラメータ設定手段で設定した組み合わせのパラメータだけを用いて、推定対象の人の覚醒度が高いときの観測値取得手段で取得した覚醒度に関する各パラメータの観測値と基準集団との距離を算出し、当該算出した距離の分布状態に基づいてモデル作成手段で作成した複数の参照モデルの中から覚醒度を推定するための参照モデルを選択する構成としてもよい。

この覚醒度推定装置では、観測値取得手段により、推定対象の人の覚醒度が高いときの覚醒度に関する各パラメータの観測値を取得する。そして、覚醒度推定装置では、モデル選択手段により、設定された組み合わせのパラメータだけを用いて、覚醒度が高いときの各パラメータの観測値と基準集団との距離を算出し、当該算出した距離の分布状態に基づいて複数の参照モデルの中から推定対象の人に適した参照モデルを選択する。参照モデルは覚醒度毎の距離の分布状態からなるので、推定対象の人の覚醒度が高いときの距離の分布状態から推定対象の人に最も合った参照モデルを容易に選択できる。

本発明は、覚醒度を推定する基準となる参照モデルを予め複数作成し、その複数の参照モデルの中から推定対象の人に適した参照モデルを選択することにより、覚醒度を高精度に推定することができる。

以下、図面を参照して、本発明に係る覚醒度推定装置の実施の形態を説明する。

本実施の形態では、本発明に係る覚醒度推定装置を、車両のドライバの覚醒度を推定するための覚醒度推定システムに適用する。本実施の形態に係る覚醒度推定システムでは、前処理で覚醒度を推定する際に用いる参照モデルを複数作成し、リアルタイム処理でドライバに合った参照モデルを用いて車両運転中のドライバの覚醒度を推定する。本実施の形態では、マハラノビス・タグチ・システムを利用する。本実施の形態では、覚醒度を、Ｄ０〜Ｄ５の６段階で表し、Ｄ０が覚醒状態が最も高く（眠気が最も弱く）、Ｄ５が覚醒状態が最も低い（眠気が最も強い）。

図１〜図７を参照して、本実施の形態に係る覚醒度推定システム１について説明する。図１は、本実施の形態に係る覚醒度推定システムの構成図である。図２は、図１の参照モデル作成装置で取り扱うデータの一例である。図３は、変数が１５の場合の直交表の一例である。図４は、マハラノビス距離の距離分布のヒストグラムの一例であり、（ａ）がカテゴリＡの場合であり、（ｂ）がカテゴリＢの場合である。図５は、図４の距離分布のヒストグラムをパラメトリック密度関数モデルで近似した一例であり、（ａ）がカテゴリＡの場合であり、（ｂ）がカテゴリＢの場合である。図６は、運転開始からの特定時間内のデータによるマハラノビス距離の距離分布のヒストグラムの一例である。図７は、図１の覚醒度推定装置の記憶部に記憶される参照モデルの一例である。

覚醒度推定システム１は、パソコンなどのコンピュータ上に構成される参照モデル作成装置２と各車両に搭載される覚醒度推定装置３からなる。参照モデル作成装置２では、覚醒度を推定する際の基準となる参照モデルを予め複数作成する。覚醒度推定装置３では、ドライバが運転を開始する毎に複数の参照モデルからドライバに適した参照モデルを１つ選択し、その選択した参照モデルに基づいてドライバの覚醒度を推定する。

まず、参照モデル作成装置２について説明する。参照モデル作成装置２は、コンピュータ２０上に構成される。参照モデル作成装置２では、覚醒度を推定するために用意された複数の変数（特許請求の範囲に記載のパラメータに相当）の中から実際に覚醒度の推定に用いる変数の組み合わせを決定する。そして、参照モデル作成装置２では、その決定した変数だけを用いて、覚醒度を推定する際の判定基準となる複数の参照モデルを作成する。そのために、参照モデル作成装置２は、データベース２１を有するとともに、ハードディスクなどに格納されているアプリケーションプログラムをＲＡＭ上にロードしてＣＰＵで実行することによって状態変数設定部２２（共分散計算部２２ａ、多重共線性判定部２２ｂ、信号ノイズ比計算部２２ｃ）及び参照モデル作成部２３（距離分布計算部２３ａ、分離判定部２３ｂ、参照モデル作成部２３ｃ）が構成される。

本実施の形態では、データベース２１が特許請求の範囲に記載する記憶手段に相当し、状態変数設定部２２が特許請求の範囲に記載するパラメータ設定手段に相当し、参照モデル作成部２３が特許請求の範囲に記載するモデル作成手段に相当する。

データベース２１は、コンピュータ２０のハードディスク上の所定の領域に構成される。データベース２１には、実際に運転を行っている複数のドライバについての覚醒度を推定するための複数の変数の時系列データ（連続、離散）が格納されている。変数としては、車両挙動の各変数、生体の各変数、行動の各変数がある。車両挙動の変数としては、操舵角、車速、アクセル開度、ヨーレートなどがある。生体の変数としては、皮膚電位、心電、呼吸、体温などがある。行動の変数としては、眼球の動き、瞬き、欠伸などがある。

各時系列データには、計測月日（季節）、計測時刻、天候、道路環境（一般道路、高速道路、渋滞など）、ドライバの年齢、性別、体調などの情報及び覚醒度の官能評価値の情報が対応付けられている。計測時刻、天候、道路環境、体調などの情報及び覚醒度の官能評価値のように時間経過とともに変化する変数については、単位時間ΔＴ毎に更新した情報が対応付けられる。各時系列データのうち、覚醒度の官能評価値がＤ０（ドライバの覚醒度が最も高い状態）のデータが基準集団のデータである。なお、データベース２１に格納するデータとしては、計測したままの連続データでもよいが、所定時間Δｔ（＝ΔＴ／Ｎ、Ｎは変更可能な定数）毎の平均値のほうがよい。

図２には、複数の変数についての時系列データ（計測値）の一例を示している。この時系列データは、ある一人のドライバについて１回の運転中に計測された結果である。車両挙動としてはｎ個の変数についての時系列データＡ１，・・・，Ａｎがあり、生体としてはｍ個の変数についての時系列データＢ１，・・・，Ｂｍがあり、行動としてはｋ個の変数についての時系列データＣ１，・・・，Ｃｋがある。したがって、変数Ｘは、ｎ＋ｍ＋ｋ個あり、（Ｘ１，Ｘ２，・・・・，Ｘ_{ｎ＋ｍ＋ｋ}）と表す。実際にデータベース２１に格納される時系列データは、計測データから計算された所定時間Δｔ（＝ΔＴ／Ｎ）毎の平均値である。ちなみに、行動の変数については、顔の中の目や口などの動きから認識するものがあるので、計測データとして顔などを撮像した画像の時系列データを含んでおり、この画像から所定時間Δｔ毎に認識した眼球の動き、瞬き、欠伸などがデータベース２１に格納される時系列データとなる。そして、この各時系列データには、単位時間ΔＴ毎に、覚醒度の官能評価値が対応付けられる。図２に示すように、覚醒度の官能評価値としてＤ０が複数の単位時間ΔＴの区間に付与されており、一人のドライバの１回の運転中の時系列データの中にも、複数の基準集団のデータが含まれている。

状態変数設定部２２は、データベース２１に格納されている複数の変数についての基準集団のデータに基づいて、覚醒度の推定に最適な変数の組み合わせを設定する。覚醒度の推定に最適な変数の組み合わせとしては、多重共線性を生じない組み合わせの中でノイズの影響を最も受け難い組み合わせとする。多重共線性を生じない組み合わせとするのは、複数の変数を用いて覚醒度を推定した場合、多次元のベクトル空間の次元が大きくなり、その複数の変数のデータの共分散行列が正則でなくなる（すなわち、多重共線性が生じる）可能性があるからである。

共分散計算部２２ａでは、実験計画表で用いられる直交表を用いて、データベース２１に格納されている全ての変数から変数の組み合わせを生成する。そして、共分散計算部２２ａでは、生成した組み合わせ毎に、その組み合わせの各変数についての基準集団のデータを用いて共分散行列及び共分散行列の固有値を計算する。

図３には、直交表の一例を示している。ここでは、１５個の変数Ｘ＝（Ｘ１，・・・Ｘ１５）の場合を示しており、１６通りの変数の組み合わせがある。図３において、１はその変数を使用し、０はその変数を使用しないことを示す。したがって、組み合わせ毎に、１が付与されている変数だけを用いて、共分散行列とその固有値が計算される。

多重共線性判定部２２ｂでは、共分散計算部２２ａで生成された組み合わせ毎に、共分散行列の固有値が閾値以下か否かを判定する。閾値は、多重共線性が生じるか否かを判定するための閾値であり、予め設定される。多重共線性判定部２２ｂでは、固有値が閾値以下と判定した場合、多重共線性が生じる可能性があるので、その変数の組み合わせを破棄する。多重共線性判定部２２ｂでは、固有値が閾値より大きいと判定した場合、多重共線性が生じる可能性がないので、その変数の組み合わせを保持する。

信号ノイズ比計算部２２ｃでは、多重共線性判定部２２ｂで保持した変数の組み合わせ毎に、その組み合わせの各変数についての基準集団のデータを用いて、複数の基準集団のデータに対してＳ（信号：覚醒度の推定に有効な値）とＮ（ノイズ：覚醒度の推定に不要な値）との比をそれぞれ計算し、基準集団が変更することによって変化するＳＮ比の分散及びＳＮ比の平均を計算する。そして、信号ノイズ比計算部２２ｃでは、多重共線性判定部２２ｂで保持した全ての組み合わせについてのＳＮ比の分散値及び平均値を比較し、ＳＮ比の分散値が最小かつ平均値が最大となる変数の組み合わせを選択する。この選択された変数の組み合わせが、覚醒度の推定に最も適した変数の組み合わせであり、（Ｘ１’，・・・，Ｘｑ’）と表す。

参照モデル作成部２３は、状態変数設定部２２で設定した組み合わせの変数だけを用いて、覚醒度を推定する際の判定基準となる参照モデルを複数個作成する。参照モデルは、覚醒度毎のマハラノビス距離の分布状態（パラメトリック密度関数モデルを適用）で表され、マハラノビス距離を求めるとそのマハラノビス距離に応じて覚醒度を判別できるモデルである。参照モデルは、多種多様の参照モデルを用意するために、複数のカテゴリ毎に作成される。カテゴリは、計測月日（季節）、計測時刻、天候、道路環境、ドライバの年齢、性別、体調などの情報のうちの１つ以上の情報を組み合わせたものである。例えば、年齢が３０歳代、性別が男性、天候が雨、道路環境が一般道路、計測時刻が昼というカテゴリである。

距離分布計算部２３ａでは、状態変数設定部２２で設定した組み合わせの変数だけを用いて、データベース２１に格納されている特定の基準集団とデータベース２１に格納されている複数のデータとのマハラノビス距離をそれぞれ計算する。マハラノビス距離は、カテゴリ毎に、各覚醒度Ｄ０，Ｄ１，・・・について複数個計算される。マハラノビス距離の計算では、基準集団の共分散行列が用いられる。さらに、距離分布計算部２３ａでは、カテゴリ毎に、各覚醒度の複数のマハラノビス距離を用いて、各覚醒度についての距離分布のヒストグラムをそれぞれ作成する。なお、このマハラノビス距離を計算する際の特定の基準集団（単位空間）のデータは、データベース２１に格納されている複数の基準集団のデータの中のデータであり、例えば、複数の基準集団のデータから任意に抽出したデータでもよいし、複数の基準集団のデータの全部又は一部のデータを平均化したデータでもよい。

図４には、マハラノビス距離の距離分布のヒストグラムの一例を示しており、（ａ）がカテゴリＡ（男性３０歳代（１０人）、雨、一般道路、昼）のヒストグラムであり、（ｂ）がカテゴリＡ（男性３０歳代（１０人）、晴れ、一般道路、昼）のヒストグラムである。このヒストグラムは、横軸が度数であり、縦軸がマハラノビス距離であり、覚醒度Ｄ０，Ｄ１，・・・毎の度数分布である。図４から判るように、覚醒度毎に距離分布のヒストグラムが異なっており、覚醒度間でヒストグラムを分離できれば覚醒度を判別可能となる。ちなみに、覚醒度がＤ０の場合、マハラノビス距離が１周辺の値に集中し、覚醒度Ｄ０の距離分布のヒストグラムの平均値が１前後の値となる。

分離判定部２３ｂでは、カテゴリ毎に、距離分布計算部２３ａで作成した各覚醒度の距離分布のヒストグラムを用いて、覚醒度毎に距離分布のヒストグラムを分離可能か否かを判定する。この判定方法としては、各覚醒度の距離分布のヒストグラムの平均値が覚醒度の度合いに従って単調増加か否か（つまり、Ｄ０，Ｄ１，・・・の順に平均値が大きくなっているか否か）、各覚醒度の距離分布のヒストグラムが単峰性のパラメトリック密度関数モデルで近似可能か否か、各覚醒度の距離分布のヒストグラムからそれぞれ近似されたパラメトリック密度関数モデルが相互情報量（カルバック・ライブラー情報量など）によってある一定の差を有しているか否かの３つの条件を全て満たすか否かで判定する。分離判定部２３ｂでは、上記の３つの条件を全て満たし、分離可能と判定した場合、そのカテゴリについての覚醒度毎の距離分布のヒストグラムを保持する。分離判定部２３ｂでは、上記の３つの条件のいずれかの条件を満たさず、分離不能と判定した場合、そのカテゴリについての覚醒度毎の距離分布のヒストグラムを破棄する。分離可能なカテゴリが所定数以上得られない場合、分離可能となるまでカテゴリの種別を変える。ここでは、覚醒度毎の距離分布のヒストグラムを分離可能なカテゴリが複数できるようにする。

参照モデル作成部２３ｃでは、分離判定部２３ｂで保持された各カテゴリについての覚醒度毎の距離分布のヒストグラム毎に、既存の統計的なパラメトリック密度関数モデルを適用し、各ヒストグラムについてパラメトリック密度関数モデルで近似するパラメータを最尤推定などの手法で決定する。そして、参照モデル作成部２３ｃでは、覚醒度Ｄ０，Ｄ１，・・・毎の各パラメータからなるパラメトリック密度関数モデルを参照モデルとする。

図５には、図４に示す距離分布のヒストグラムを近似したパラメトリック密度関数モデル（すなわち、参照モデル）を示す。（ａ）に示すパラメトリック密度関数モデルＭＡ０，ＭＡ１，ＭＡ２は形状や単峰の頂点の位置などがそれぞれ異なっており、（ｂ）に示すパラメトリック密度関数モデルＭＢ０，ＭＢ１，ＭＢ２も形状や単峰の頂点の位置などが異なっており、分離可能であり、覚醒度Ｄ０，Ｄ１，Ｄ２を判別できる。また、（ａ）に示すパラメトリック密度関数モデルＭＡ０，ＭＡ１，ＭＡ２と（ｂ）に示すパラメトリック密度関数モデルＭＢ０，ＭＢ１，ＭＢ２とは、形状や単峰の頂点の位置などが異なっており、覚醒度の判別基準が違う。このような参照モデルを複数のカテゴリについて作成することにより、ドライバにとってそのときの状況により適合した参照モデルを提供することができる。

次に、覚醒度推定装置３について説明する。覚醒度推定装置３は、各車両に搭載される。覚醒度推定装置３では、運転開始時に参照モデル作成装置２で作成された複数の参照モデルからドライバのそのときの状況に応じた参照モデルを選択する。そして、覚醒度推定装置３では、選択した参照モデルに基づいて、参照モデル作成装置２で設定された組み合わせの変数についての各検知値に応じた覚醒度を推定し、推定した覚醒度を出力する。そのために、覚醒度推定装置３は、車両挙動検知手段３０、生体情報検知手段３１、行動情報検知手段３２、ＥＣＵ[Electronic Control Unit]３３（記憶部３４、覚醒度推定部３５（距離計算部３５ａ、参照モデル選択部３５ｂ、覚醒度判定部３５ｃ））、表示手段３６を備えている。

本実施の形態では、車両挙動検知手段３０、生体情報検知手段３１、行動情報検知手段３２が特許請求の範囲に記載する観測値取得手段に相当し、距離計算部３５ａ及び参照モデル選択部３５ｂが特許請求の範囲に記載するモデル選択手段に相当し、覚醒度判定部３５ｃが特許請求の範囲に記載する推定手段に相当する。

車両挙動検知手段３０は、覚醒度を推定するために用いられる車両挙動を検知する手段であり、例えば、操舵角センサ、車速センサである。各車両挙動検知手段３０では、一定時間毎に、各車両挙動を検知し、その検知信号をＥＣＵ３３に送信する。車両挙動の情報としては、参照モデル作成装置２で設定された変数の組み合わせに含まれる車両挙動の情報である。

生体情報検知手段３１は、覚醒度を推定するために用いられる生体情報を検知する手段であり、例えば、皮膚電位センサ、心電センサである。各生体情報検知手段３１では、一定時間毎に、各生体情報を検知し、その検知信号をＥＣＵ３３に送信する。生体の情報としては、参照モデル作成装置２で設定された変数の組み合わせに含まれる生体の情報である。

行動情報検知手段３２は、覚醒度を推定するために用いられる行動情報を検知する手段であり、例えば、ドライバの顔周辺を撮像するカメラである。各行動情報検知手段３２では、一定時間毎に、各行動情報を検知し、その検知信号をＥＣＵ３３に送信する。行動の情報としては、参照モデル作成装置２で設定された変数の組み合わせに含まれる行動の情報である。

ＥＣＵ３３は、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなり、覚醒度推定装置３を統括制御する。ＥＣＵ３３は、記憶部３４を有するとともに、ＲＯＭに格納されているアプリケーションプログラムをＲＡＭ上にロードし、ＣＰＵで実行することによって覚醒度推定部３５（距離計算部３５ａ、参照モデル選択部３５ｂ、覚醒度判定部３５ｃ）が構成される。ＥＣＵ３３では、一定時間毎に、各検知手段３０，３１，３２から検知信号をそれぞれ受信する。そして、ＥＣＵ３３では、この各検知信号と記憶部３４に記憶されている情報に基づいて覚醒度推定部３５での処理を行い、表示手段３６に表示信号を出力する。

記憶部３４は、ＲＯＭの所定の領域に構成される。記憶部３４には、参照モデル作成装置２で作成された複数の参照モデルが記憶されるとともに、基準集団が記憶される。参照モデルは、覚醒度毎のパラメトリック密度関数モデルのパラメータで表される。基準集団は、参照モデル作成装置２で設定された組み合わせの変数についての覚醒度Ｄ０のデータからなり、例えば、参照モデル作成装置２の距離分布計算部２３ａで用いた基準集団と同じデータとする。基準集団は、各変数のデータ自体でもよいが、共分散行列と平均値でよい。

覚醒度推定部３５は、運転開始時に記憶部３４に記憶されている複数の参照モデルの中から各検知手段３０，３１，３２の検知値に基づいて参照モデルを１つ選択し、一定時間毎に選択した参照モデルに基づいて各検知手段３０，３１，３２の検知値に応じた覚醒度を推定し、推定した覚醒度を出力する。運転開始時はドライバの覚醒度が高いと推測されるので、覚醒度Ｄ０の各パラメトリック密度関数モデルと運転開始時の特定時間内の各変数についての検知データからドライバのそのときの状況に合った参照モデルを選択する。特定時間は、運転開始してからドライバの覚醒度が高い状態が保たれ、参照モデルを選択するための十分なデータを取得できる時間であり、予め設定される。

距離計算部３５ａでは、参照モデル作成装置２で設定した組み合わせの変数だけを用いて、運転開始時の特定時間内の一定時間（例えば、上記した所定時間Δｔ）毎に、記憶部３４に記憶されている基準集団と各検知手段３０，３１，３２の検知値に基づくデータ群とのマハラノビス距離を計算する。さらに、距離計算部３５ａでは、計算された一定時間毎の複数のマハラノビス距離を用いて、距離分布のヒストグラムを作成する。また、距離計算部３５ａでは、計算された一定時間毎の複数のマハラノビス距離を用いて、そのマハラノビス距離の平均と分散を計算する。

図６に、あるドライバについての運転開始から特定時間内の参照モデル作成装置２で設定した組み合わせの変数の検知データによるマハラノビス距離の距離分布のヒストグラムの一例を示す。このヒストグラムはドライバの覚醒状態が高い場合のマハラノビス距離の距離分布の特徴を示しており、このヒストグラムと最も相関が高い覚醒度Ｄ０のパラメトリック密度関数モデルがドライバのそのときの状況に合った参照モデルとなる。

参照モデル選択部３５ｂでは、距離計算部３５ａで作成した距離分布のヒストグラムと記憶部３４に記憶されている複数の参照モデルの覚醒度Ｄ０のパラメトリック密度関数モデルとをそれぞれ比較し、距離計算部３５ａで作成した距離分布のヒストグラムと最も近い覚醒度Ｄ０のパラメトリック密度関数モデル（参照モデル）を選択する。この選択方法としては、まず、距離計算部３５ａで作成した距離分布のヒストグラムにおけるマハラノビス距離が大きい側の２５％（この２５％は変更可能であり、他の値でもあり）内に（図６参照）、覚醒度Ｄ０の各パラメトリック密度関数モデルにおけるマハラノビス距離が大きい側の２５％内のマハラノビス距離の平均値が入るか否かを判定し、２５％内に入る覚醒度Ｄ０のパラメトリック密度関数モデル（参照モデル）を全て選択する。覚醒度Ｄ０の場合、上記したように、どのカテゴリでもマハラノビス距離が１周辺に集中するので、１周辺から離れた分布状態の方がそれぞれのパラメトリック密度関数モデルの特徴を示しおり、モデルを判別し易い。

図７には、記憶部３４に記憶されている参照モデルの一例を示している。矢印Ｙ１，Ｙｓによって、覚醒度Ｄ０のパラメトリック密度関数モデルＭ１０，Ｍｓ０におけるマハラノビス距離が大きい側の２５％内のマハラノビス距離の平均値を示している。参照モデルＭ１の場合には矢印Ｙ１が距離計算部３５ａで作成した距離分布のヒストグラムのマハラノビス距離が大きい側の２５％内に含まれ、参照モデルＭｓの場合には矢印Ｙｓがマハラノビス距離が大きい側の２５％内に含まれない。

選択方法としては、次に、距離計算部３５ａで計算したマハラノビス距離の平均値及び分散値と選択された覚醒度Ｄ０の各パラメトリック密度関数モデルにおけるマハラノビス距離の平均値及び分散値とをそれぞれ比較し、選択された全ての覚醒度Ｄ０のパラメトリック密度関数モデルの中から平均値及び分散値が最も近いパラメトリック密度関数モデルを選択する。この最終的に選択された覚醒度Ｄ０のパラメトリック密度関数モデルを含む参照モデルが、ドライバに最も合った覚醒度の判別基準である。

覚醒度判定部３５ｃでは、一定時間（例えば、上記した所定時間Δｔ）毎に、参照モデル作成装置２で設定した組み合わせに対応する各検知手段３０，３１，３２の検知値をそれぞれ取り入れ、記憶部３４に記憶されている基準集団と各検知手段３０，３１，３２の検知値に基づくデータ群とのマハラノビス距離を計算する。そして、覚醒度判定部３５ｃでは、その計算したマハラノビス距離が参照モデル選択部３５ｂで選択された参照モデルの各覚醒度についてのパラメトリック密度関数モデルの中で最も適合するパラメトリック密度関数モデルを判別し、その判別したパラメトリック密度関数の覚醒度を推定値とする。そして、覚醒度判定部３５ｃでは、その判定した覚醒度の推定値を示す表示信号を表示手段３６に送信する。

表示手段３６は、推定した覚醒度を表示する手段であり、例えば、ナビゲーションなどで利用されるディスプレイ、メータ類を含むマルチインフォメーションディスプレイ、ヘッドアップディスプレイがある。表示手段３６では、ＥＣＵ３３から表示信号を受信すると、その表示信号に応じて覚醒度を表示する。覚醒度だけを表示するのではなく、覚醒度に応じたメッセージなどを表示してもよい。なお、出力手段としては、表示だけでなく、音声などの出力手段でもよい。

図１〜図７を参照して、覚醒度推定システム１の動作について説明する。ここでは、まず、前処理としての参照モデル作成装置２での動作について説明し、次に、リアルタイム処理を行う覚醒度推定装置３での動作について説明する。

年齢、性別、体調などが多種多様の複数のドライバが、運転月日、運転時刻、天候、道路環境などの条件が様々な状況で運転したときに、運転開始から終了までの間、車両挙動の各情報、生体の各情報、行動の各情報がそれぞれ検知される。そして、この各情報の時系列データが、所定時間Δｔ毎に、平均化される。特に、行動についての画像の時系列データの場合、画像から、所定時間Δｔ毎に、眼球の動き、瞬き、欠伸などが認識される。さらに、これらの加工した各時系列データに、単位時間ΔＴ毎に、覚醒度の官能評価値が対応付けられる。そして、これらの処理が施された全ての変数（Ｘ１，Ｘ２，・・・，Ｘ_{ｎ＋ｍ＋ｋ}）についての時系列データが、参照モデル作成装置２のデータベース２１に格納される。この各時系列データのうち覚醒度の官能評価値としてＤ０が対応付けられているデータが、基準集団のデータである。

参照モデル作成装置２では、直交表を用いて、データベース２１に格納されている変数（Ｘ１，Ｘ２，・・・，Ｘ_{ｎ＋ｍ＋ｋ}）についての組み合わせを順次生成する。そして、参照モデル作成装置２では、生成した組み合わせ毎に、データベース２１に格納されているその組み合わせの各変数の基準集団のデータの共分散行列及びその固有値を計算する。

次に、参照モデル作成装置２では、生成した組み合わせ毎に、共分散行列の固有値が閾値以下か否かを判定し、固有値が閾値以下と判定した場合にはその変数の組み合わせを破棄し、固有値が閾値より大きいと判定した場合にはその変数の組み合わせを保持する。ここで、多重共線性が生じる可能性のない変数の組み合わせだけが残る。

さらに、参照モデル作成装置２では、多重共線性を生じる可能性のない変数の組み合わせ毎に、データベース２１に格納されているその組み合わせの各変数についての基準集団のデータを用いて、複数の基準集団のデータに対してＳＮ比をそれぞれ計算し、複数の基準集団についてのＳＮ比の分散及び平均を計算する。そして、参照モデル作成装置２では、多重共線性を生じる可能性のない全ての変数の組み合わせについてのＳＮ比の分散値及び平均値を比較し、ＳＮ比の分散値が最小かつ平均値が最大となる変数の組み合わせを選択する。ここで、多重共線性が生じる可能性のない変数の組み合わせの中で最もノイズの影響を受けない変数の組み合わせが１つだけ残り、この変数の組み合わせ（Ｘ１’，・・・，Ｘｑ’）を用いて参照モデル作成装置２での以下の処理及び覚醒度推定装置３における処理が行われる。

参照モデル作成装置２では、決定した組み合わせの変数（Ｘ１’，・・・，Ｘｑ’）だけを用いて、カテゴリ毎に、データベース２１に格納されている特定の基準集団（単位空間）とデータベース２１に格納されている複数のデータとのマハラノビス距離をそれぞれ計算する。さらに、参照モデル作成装置２では、カテゴリ毎に、その複数のマハラノビス距離を用いて、各覚醒度についての距離分布のヒストグラムをそれぞれ作成する。

そして、参照モデル作成装置２では、カテゴリ毎に、作成した各覚醒度の距離分布のヒストグラムにおいて覚醒度毎に距離分布のヒストグラムを分離可能か否かを判定する。参照モデル作成装置２では、分離可能と判定した場合にはそのカテゴリについての覚醒度毎の距離分布のヒストグラムを保持し、分離不能と判定した場合にはそのカテゴリについての覚醒度毎の距離分布のヒストグラムを破棄する。ここで、複数のカテゴリについての分離可能な覚醒度毎の距離分布のヒストグラムが残る。

そして、参照モデル作成装置２では、保持したカテゴリ毎に、各覚醒度の距離分布のヒストグラムについてパラメトリック密度関数モデルで近似するためのパラメータを求め、覚醒度Ｄ０，Ｄ１，・・・毎の各パラメータからなるパラメトリック密度関数モデルを参照モデルとする。ここで、複数のカテゴリについての参照モデルが作成される。

覚醒度推定装置３の記憶部３４には、予め、参照モデル作成装置２で作成された複数の参照モデルが格納される。また、記憶部３４には、予め、参照モデル作成装置２で設定された組み合わせの変数のデータだけで構成される特定の基準集団が格納される。

覚醒度推定装置３を搭載する車両が始動し、覚醒度推定装置３も起動されると、各検知手段３０，３１，３２では、一定時間毎に、各情報を検知し、その検知信号をＥＣＵ３３に送信する。ＥＣＵ３３では、この検知信号を受信する。特に、行動情報用の画像を受信した場合、ＥＣＵ３３では、画像から眼球の動き、瞬き、欠伸などを認識する。

運転開始後の特定時間の間、ＥＣＵ３３では、一定時間毎に、記憶部３４に記憶されている基準集団と各検知手段３０，３１，３２の検知値に基づくデータ群とのマハラノビス距離を計算する。特定時間分の複数のマハラノビス距離を収集すると、ＥＣＵ３３では、その複数のマハラノビス距離を用いて、距離分布のヒストグラムを作成するとともに、そのマハラノビス距離の平均と分散を計算する。ここで、覚醒状態が高いときのドライバの状態を示す距離分布のヒストグラムが得られる。

そして、ＥＣＵ３３では、記憶部３４に記憶されている参照モデル毎に、その参照モデルの覚醒度Ｄ０のパラメトリック密度関数モデルにおけるマハラノビス距離が大きい側の２５％内のマハラノビス距離の平均値が、作成した距離分布のヒストグラムにおけるマハラノビス距離が大きい側の２５％内に入るか否かを判定し、２５％内に入る覚醒度Ｄ０のパラメトリック密度関数モデル（参照モデル）を選択する。さらに、ＥＣＵ３３では、選択した参照モデル毎に、その参照モデルの覚醒度Ｄ０のパラメトリック密度関数モデルにおけるマハラノビス距離の平均値及び分散値と作成した距離分布のヒストグラムにおけるマハラノビス距離の平均値及び分散値とを比較する。そして、ＥＣＵ３３では、選択された全ての覚醒度Ｄ０のパラメトリック密度関数モデルの中から平均値及び分散値が最も近いパラメトリック密度関数モデルを抽出し、その抽出した覚醒度Ｄ０のパラメトリック密度関数モデルを含む参照モデルを選択する。ここで、ドライバのそのときの状態に適した参照モデルが唯一選択される。

参照モデルを１つ選択した後、ＥＣＵ３３では、一定時間毎に、記憶部３４に記憶されている基準集団と各検知手段３０，３１，３２の検知値に基づくデータ群とのマハラノビス距離を計算する。そして、ＥＣＵ３３では、選択した参照モデルを参照し、その計算したマハラノビス距離が参照モデルのパラメトリック密度関数モデル（つまり、マハラノビス距離の距離分布）の中で最も適合するパラメトリック密度関数モデルを判定し、その判定したパラメトリック密度関数モデルの覚醒度を推定値とする。さらに、ＥＣＵ３３では、その判定した覚醒度の推定値を示す表示信号を表示手段３６に送信する。

この表示信号を受信すると、表示手段３６では、その表示信号に応じて覚醒度の推定値などを表示する。ドライバが、この表示を見ると、客観的に推定された覚醒状態を認識できる。

この覚醒度推定システム１によれば、複数の参照モデルを作成することにより、任意のドライバの様々な状況に対応する覚醒度の判定基準を提供することができる。さらに、覚醒度推定システム１によれば、複数の参照モデルからドライバに適した参照モデルを選択して覚醒度を推定することにより、ドライバの個人差や個人内差に関係なく、覚醒度を高精度に推定することができる。また、覚醒度推定システム１では、車両挙動の他にも生体情報や行動情報を用いて覚醒度を推定することにより、覚醒状態（眠気）の全ての段階での覚醒度を高精度に推定することができる。

特に、参照モデル作成装置２では、多重共線性が生じない変数の組み合わせを選択することにより、複数の変数による覚醒度の推定において多重共線性が生じない。また、参照モデル作成装置２では、ＳＮ比の分散が最小かつ平均が最大となる変数の組み合わせを選択することにより、複数の変数による覚醒度の推定においてノイズの影響を極力低減できる。また、参照モデル作成装置２では、覚醒度毎のマハラノビス距離の距離分布のヒストグラムによって覚醒度を分離可能なものを参照モデルとすることにより、覚醒度を容易に判定可能な参照モデルを作成することができる。また、参照モデル作成装置２では、様々なカテゴリ毎に参照モデルを作成することにより、多種多様の参照モデルを作成することができ、任意のドライバの様々な状況に対応できる参照モデルを提供できる。

特に、覚醒度推定装置３では、運転開始時の検知データから求めたマハラノビス距離の距離分布のヒストグラムと参照モデルの覚醒度Ｄ０のパラメトリック密度関数モデルとを比較して参照モデルを選択することにより、ドライバに最も適した参照モデルを高精度に選択することができる。また、覚醒度推定装置３では、選択した参照モデルと検知データから求めたマハラノビス距離とに基づいて覚醒度を推定することにより、覚醒度を容易に判別することができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では車両のドライバの覚醒度を推定する装置に適用したが、他の乗り物のドライバ、各種プラントの監視者、夜間の従業者などの様々な人の覚醒度を推定するために利用してもよい。

また、本実施の形態では覚醒度を推定するための変数（パラメータ）として複数個の車両挙動情報、複数個の生体情報、複数個の行動情報としたが、車両挙動情報、生体情報、行動情報のうちの１つ又は２つだけとしてもよいし、あるいは、覚醒度に応じて変化する他の情報も変数としてもよい。特に、推定対象の人が車両のドライバでない場合、車両挙動情報を用いず、その推定対象の人に応じた情報を用いる。

また、本実施の形態では参照モデルをマハラノビス距離の距離分布のヒストグラムからパラメトリック密度関数モデルで近似したものとしたが、参照モデルとしては他の形態のモデルでもよい。マハラノビス距離を用いないものでもよい。

また、本実施の形態では参照モデルの作成方法の一例を説明したが、他の作成方法を適用してもよい。

また、本実施の形態では参照モデルの選択方法の一例を説明したが、他の選択方法を適用してもよい。例えば、カテゴリ毎に参照モデルを複数個用意し、運転開始時にカテゴリを特定し、その特定したカテゴリと同じカテゴリの参照モデルを１つ選択するようにしてもよい。この選択方法は、性別、年齢などの運転中の時間経過によって変化しない情報からなるカテゴリの場合に好適である。

また、本実施の形態では推定した覚醒度自体を表示する構成としたが、推定した覚醒度を他の出力形態で利用してもよい。例えば、覚醒度の程度を判断し、覚醒度が運転に支障をきたすレベルになった場合には画像表示、音声出力、冷風、警報ブザー、においなどの手段で注意喚起する構成としてもよいし、覚醒度が運転に支障をきたすレベルになった場合には運転支援システム（例えば、プリクラッシュセーフティシステム、アダプティブクルーズコントロールシステム、レーンキープシステム）の制御タイミングや制御閾値を変えるなどして、より安全性を高めるように車両側で制御するようにしてもよいし、あるいは、推定した覚醒度自体を運転支援システムに出力するようにしてもよい。

本実施の形態に係る覚醒度推定システムの構成図である。 図１の参照モデル作成装置で取り扱うデータの一例である。 変数が１５の場合の直交表の一例である。 マハラノビス距離の距離分布のヒストグラムの一例であり、（ａ）がカテゴリＡの場合であり、（ｂ）がカテゴリＢの場合である。 図４の距離分布のヒストグラムをパラメトリック密度関数モデルで近似した一例であり、（ａ）がカテゴリＡの場合であり、（ｂ）がカテゴリＢの場合である。 運転開始からの特定時間内のデータによるマハラノビス距離の距離分布のヒストグラムの一例である。 図１の覚醒度推定装置の記憶部に記憶される参照モデルの一例である。

符号の説明

１…覚醒度推定システム、２…参照モデル作成装置、３…覚醒度推定装置、２０…コンピュータ、２１…データベース、２２…状態変数設定部、２２ａ…共分散計算部、２２ｂ…多重共線性判定部、２２ｃ…信号ノイズ比計算部、２３…参照モデル作成部、２３ａ…距離分布計算部、２３ｂ…分離判定部、２３ｃ…参照モデル作成部、３０…車両挙動検知手段、３１…生体情報検知手段、３２…行動情報検知手段、３３…ＥＣＵ、３４…記憶部、３５…覚醒度推定部、３５ａ…距離計算部、３５ｂ…参照モデル選択部、３５ｃ…覚醒度判定部、３６…表示手段

Claims (6)

1. 覚醒度に関する複数のパラメータのデータを記憶する記憶手段と、
   覚醒度に関するパラメータの観測値を取得する観測値取得手段と、
   前記記憶手段に記憶されている覚醒度に関する各パラメータのデータからなる基準集団に基づいて覚醒度を推定する際のパラメータの組み合わせを設定するパラメータ設定手段と、
   前記パラメータ設定手段で設定した組み合わせのパラメータだけを用いて、前記記憶手段に記憶されている覚醒度に関する各パラメータのデータから参照モデルを複数作成するモデル作成手段と、
   前記モデル作成手段で作成した複数の参照モデルの中から覚醒度を推定するための参照モデルを選択するモデル選択手段と、
   前記パラメータ設定手段で設定した組み合わせのパラメータだけを用いて、前記モデル選択手段で選択した参照モデルを参照し、前記観測値取得手段で取得した覚醒度に関する各パラメータの観測値に応じた覚醒度を推定する推定手段と
   を備えることを特徴とする覚醒度推定装置。
2. 前記パラメータ設定手段は、パラメータの組み合わせの中からパラメータ間に多重共線性が生じない組み合わせを選択することを特徴とする請求項１に記載する覚醒度推定装置。
3. 前記パラメータ設定手段は、多重共線性が生じない組み合わせの中から覚醒度の推定に有効な値と雑音との比が最大となる組み合わせを選択することを特徴とする請求項２に記載する覚醒度推定装置。
4. 前記モデル作成手段は、前記パラメータ設定手段で設定した組み合わせのパラメータだけを用いて、前記記憶手段に記憶されている覚醒度に関する各パラメータのデータに被験者の覚醒度の官能評価値をラベル付けし、当該各パラメータのラベル付けしたデータと基準集団との距離を覚醒度毎に算出し、覚醒度毎の距離の分布状態から参照モデルを作成することを特徴とする請求項１〜請求項３のいずれか１項に記載する覚醒度推定装置。
5. 前記モデル作成手段は、カテゴリ毎に参照モデルを作成することを特徴とする請求項４に記載する覚醒度推定装置。
6. 前記モデル選択手段は、前記パラメータ設定手段で設定した組み合わせのパラメータだけを用いて、推定対象の人の覚醒度が高いときの前記観測値取得手段で取得した覚醒度に関する各パラメータの観測値と基準集団との距離を算出し、当該算出した距離の分布状態に基づいて前記モデル作成手段で作成した複数の参照モデルの中から覚醒度を推定するための参照モデルを選択することを特徴とする請求項４又は請求項５に記載する覚醒度推定装置。

Images