JP2010184067A - 生体状態推定装置 - Google Patents

Abstract

【課題】対象者の生体状態の推定においてより精度が高い推定を可能とする生体状態推定装置を提供する。
【解決手段】
生体状態推定装置１は、車両の運転者の眼の状態に基づいて得られる開眼時間データを取得する眼データ取得部３及び開眼時間取得部７と、得られた開眼時間データに基づいて運転者の眠気を予知する眠気予知部９と、を備え、眼データ取得部３で得られた開眼時間データから、当該開眼時間データに混入されたノイズを抽出するノイズ有無判定部１３と、を備えたことを特徴とする。
【選択図】図１

Description

本発明は、特に、車両の運転者の眠気予知に好適に利用される生体状態推定装置に関するものである。

従来、このような分野の技術として、下記特許文献１に記載の直射光検出装置が知られている。この直射光検出装置は、運転者の眼の開閉状態に基づく当該運転者の覚醒度の推定に用いられるものである。この直射光検出装置が、運転者の眼の付近の光量を検出して直射日光による眩しさを感じていると判断した場合には、覚醒度の推定における運転者の開眼状態のデータを補正するようにしている。

特開２００６−２５１９２６号公報

しかしながら、運転者の眼の開閉状態は、直射日光が運転者の眼に当たっているか否かといった要因だけではなく、その他の様々な要因にも影響を受ける。例えば、推定しようとする生体状態とは無関係の要因により、運転者の瞬きが誘発されるとすれば、運転者の開眼状態のデータ上にノイズとなって現れることになる。従って、直射日光の影響のみを考慮した特許文献１の手法では、必ずしも正確な推定ができるとは言えず、より正確な生体状態の推定を可能とする装置が望まれる。そこで、本発明は、対象者の生体状態の推定においてより精度が高い推定を可能とする生体状態推定装置を提供することを目的とする。

本発明の生体状態推定装置は、対象者の眼の状態に基づいて得られる生体情報を取得する生体情報取得手段と、生体情報取得手段で得られた生体情報に基づいて対象者の生体状態を判定する生体状態判定手段と、生体情報取得手段で得られた生体情報から、当該生体情報に混入されたノイズを抽出するノイズ抽出手段と、を備えたことを特徴とする。

この生体状態推定装置によれば、ノイズ抽出手段により、生体情報からノイズが抽出されるので、ノイズを除いた生体情報を得ることができ、その生体情報を用いることで正確な生体状態の判定が可能になり、精度が高い生体状態の推定が可能になる。

また、本発明の生体状態推定装置は、ノイズ抽出手段で抽出されたノイズを、生体状態判定手段による判定の前に、生体情報から除去するノイズ除去手段を更に備えたこととしてもよい。

この生体状態推定装置によれば、ノイズが除去された純粋な生体情報に基づいて生体状態が推定されるので、正確な生体情報が得られ、その生体情報を用いた生体状態の判定が可能になる。

また、本発明の生体状態推定装置は、対象者に加わりノイズの要因となりうるノイズ要因を取得するノイズ要因取得手段を更に備え、ノイズ除去手段は、生体情報の変動周期と、ノイズ要因取得手段で得られたノイズ要因の変動周期との比較に基づいて、生体情報へのノイズの混入の有無を判定するノイズ有無判定手段を有することとしてもよい。

この生体状態推定装置によれば、生体情報の変動周期とノイズの要因の変動周期とを比較して、ノイズの混入の有無が判定されるので、生体情報の変動周期を乱すノイズの混入の有無を判定することができ、このようなノイズを除去することができる。

また、本発明の生体状態推定装置は、対象者の眼の状態から取得される生体情報から対象者が受ける外的要因または内的要因からなるノイズを除去して対象者の生体状態を推定する。

本発明の生体状態推定装置によれば、対象者の生体状態の推定においてより精度が高い推定が可能になる。

本発明の生体状態推定装置を備える車両制御装置のブロック構成を示した図である。 本発明の生体状態推定装置における情報処理を示すフローチャートである。 開眼時間取得部の開眼時間取得方法を説明するための図であり、眼データ取得部で取得した運転者の眼の画像と、当該画像と開眼時間及び閉眼時間との関係を示した図である。 格納バッファのバッファ構成の一例を示す図である。 眠気予知部での処理内容を示す線図である。 眠気予知部での処理内容を示す線図である。 被験者たる運転者の生体状態を推定する場合における生体状態推定装置による処理内容を示す各線図と、被験者の眠気の強さとの関係を示す図である。 横軸を時刻、縦軸を開眼時間として、運転者の開眼時間のデータをグラフ化した図である。 図８のグラフに対して、補間処理を施して得られたグラフである。 図９のグラフに対して、周波数解析処理を施して得られた振幅スペクトル分布のグラフである。 横軸を時刻、縦軸を皮膚電位として、運転者の皮膚電位を示すグラフである。 図１１のグラフに対して、周波数解析処理を施して得られた振幅スペクトル分布のグラフである。 運転席前方の映像データの各フレームの画面を示す図である。 横軸を時刻、縦軸を最大輝度として、図１３の映像データの各フレームにおける、注目領域の最大輝度をグラフ化した図である。 図１４のグラフに対して、補間処理を施して得られたグラフである。 図１５のグラフに対して、周波数解析処理を施して得られた振幅スペクトル分布のグラフである。

以下、図面を参照して、本発明に係る生体状態推定装置の好適な実施形態について詳細に説明する。

まず、本発明の実施形態に係る生体状態推定装置１０及びそれを備える車両制御装置１の構成を説明する。図１は、本実施形態に係る生体状態推定装置１０を備える車両制御装置１のブロック構成を示した図である。図１に示すように、本実施形態に係る生体状態推定装置１０は、ＥＣＵ（Electronic Control Unit）２と、眼データ取得部３とを備えて構成されている。また、本実施形態に係る車両制御装置１は、生体状態推定装置１０と、結果出力部４と、運転支援部６を備えて構成されている。

生体状態推定装置１０の眼データ取得部（生体情報取得手段）３は、車両の運転者（対象者）の開眼時間を取得するための基礎となる眼データ（生体情報）を取得する機能を有しており、具体的には、走行中における運転者の眼の画像を撮像するためのカメラや、眼電位計測装置などによって構成されている。運転者は、走行中に瞬き等で開眼状態と閉眼状態とを交互に繰り返すが、この場合、運転者の開眼状態が連続した時間が開眼時間として取得される。眼データ取得部３は、取得した眼の画像データや測定データをＥＣＵ２へ出力する機能を有している。なお、車内が暗くなる夜間等にも運転者の眼の画像を鮮明に撮像すべく、生体状態推定装置１０のカメラとして赤外線カメラを採用してもよい。

また、眼データ取得部３は、運転者の開眼状態と閉眼状態とを区別できればよいので、カメラに代えて、電波測距装置を採用してもよい。この場合、電波測距装置は、運転者前方に固定され、電波の反射状態を利用して運転者の眼付近までの距離を測定する。この電波測距装置では、運転者が開眼状態の時には、運転者の眼球の表面までの距離が取得され、運転者が閉眼状態の時には、運転者の瞼の表面までの距離が取得される。すなわち、電波測距装置から見て運転者の眼球表面までの距離と瞼表面までの距離との間には、およそ瞼の厚さ分に相当する距離の差が生じるので、これを電波測距装置で区別することにより、眼データ取得部３は、運転者の運転者の開眼状態と閉眼状態とを区別することができる。従って、このような眼データ取得部３によっても、開眼時間の基礎となる眼データを取得することができる。

生体状態推定装置１０のＥＣＵ２は、生体状態推定装置１０全体の制御を行う電子制御ユニットであり、例えばＣＰＵを主体として構成され、ＲＯＭ、ＲＡＭ、入力信号回路、出力信号回路、電源回路などを備えている。このＥＣＵ２は、開眼時間取得部（開眼時間取得手段）７と、ばらつき演算部（ばらつき取得手段）８と、眠気予知部（生体状態判定手段）９と、格納バッファ１１とを備えて構成されている。

開眼時間取得部７（生体情報取得手段）は、眼データ取得部３で取得した画像データや測定データに基づいて運転者の開眼時間を取得する機能を有している。具体的には、開眼時間取得部７は、眼データ取得部３から出力された画像データを解析することによって、眼が開いた時刻と眼が閉じた時刻を測定することによって開眼時間を取得する。また、開眼時間取得部７は、取得した開眼時間データ（生体情報）を格納バッファ１１へ格納する機能を有している。

この開眼時間取得部７で得られた運転者の開眼時間データは、運転者の眼の動作に基づいて得られるデータであるので、本来検出されるべき運転者の生体状態（眠気、疲労度等）とは無関係の刺激が、運転者の眼の動きや瞬きに影響を及ぼし、開眼時間データにノイズとして混入される場合がある。このような開眼時間データのノイズになりうる要因を、以下の説明では「ノイズ要因」と称する。ノイズ要因には、運転者の体内で発生する要因（以下「体内要因」という）と、車内車外を含め運転者の体の外部から加わる要因（以下「外部要因」という）とがある。体内要因としては、歯痛、心臓系の圧迫感、血流に伴う局部的な痛み、内臓に伴う痛み等の周期的な痛みが考えられる。また、外部要因としては、太陽光、街灯の光、木漏れ日、車両が歩道橋下や建物下やトンネルを通過したとき等の入光、車両外部の点滅光源、道路形状による対向車のヘッドライト光量変化、他車両のパッシング等が考えられる。或いは、このような光源による影響以外にも、例えば、運転者に当たる風の影響（例えば、エアコンの送風変化、車両の窓から入る強風等）も体内要因になりうる。

そこで、生体状態推定装置１０は、体内要因を計測する体内要因計測部（ノイズ要因取得手段）１５と、外部要因を計測する外部要因計測部（ノイズ要因取得手段）１７と、を備えている。例えば、痛み等の運転者体内からの体内要因は、運転者の皮膚電位、心臓の動き、呼吸等に影響を与えると考えられるので、この皮膚電位、心臓の動き、呼吸等を観察することにより体内要因を計測できると考えられる。従って、例えば、体内要因計測部１５は、皮膚電位計と、心電計と、呼吸センサと、のうち少なくとも何れか１つを備えて構成される。なお、以下では、体内要因計測部１５は、皮膚電位計を備え、走行中における運転者の皮膚電位を連続的に取得する場合を一例として説明する。ここで取得された連続的な皮膚電位データは、ＥＣＵ２において、後述の格納バッファ１１に格納される。

また、外部要因計測部１７は、例えば、走行中に車両外部から運転者の眼に入る光を検出すべく、運転席前方の景色の映像を撮像するカメラと、運転者の眼に影響を与える風（例えば、エアコンの送風変化、車両の窓から入る強風等）の風量を計測する風量計と、ＧＰＳを用いたナビゲーションの地図情報に基づき運転者の眼に影響を与える要因を認識するシステムと、のうち少なくとも何れか１つを備えて構成される。なお、以下では、外部要因計測部１７は、運転席から車両前方に向けて設置したカメラを備え、走行中の運転席前方の景色映像を連続的に撮像する場合を一例として説明する。この景色映像は、走行中に運転者の眼に入る光景とほぼ同じであると考えることができる。ここで取得された連続的な映像データは、ＥＣＵ２において、後述の格納バッファ１１に格納される。

ばらつき演算部８は、開眼時間取得部７で取得した開眼時間のばらつきを取得する機能を有している。具体的には、ばらつき演算部８は、格納バッファ１１に格納された開眼時間データを取り出して、標準偏差、分散、あるいはヒストグラムから統計処理することによって開眼時間のばらつきを演算することができる。なお、統計処理に用いるために格納バッファ１１から取り出す開眼時間データは、予め設定した単位時間幅内に存在する個数の開眼時間データを取り出してもよく、あるいは、最新の開眼時間データの中から予め設定した個数だけ取り出してもよい。

眠気予知部（生体状態判定手段）９は、ばらつき演算部８の演算した開眼時間のばらつきに基づいて運転者の生体状態を判定する機能を有している。なお、本実施形態では、判定することのできる生体状態として眠気の判定を行なうが、その他にも、例えば、注意力低下（ぼんやりしている状態）、居眠りの有無、疲労度、あるいは覚醒状態の判定が挙げられる。本実施形態のように、運転者の眠気、すなわち覚醒度の低下の判定をする場合、眠気予知部９は、開眼時間のばらつきが大きいと判定したときは運転者の覚醒度が高い状態であり、開眼時間のばらつきが小さいと判定したときは運転者の覚醒度が低い状態であると判定する機能を有している。なお、ここでの「覚醒度が低い状態」とは、車両運転の誤操作が発生する程度まで覚醒度が低下（つまり、眠気が強い状態）する前段階の、覚醒度低下の程度が浅い段階であり、本実施形態では、この状態の判定をすることによって、現に運転に支障が出る程度まで覚醒度が低下してしまう事態を未然に防止することができる。

なお、ここでは、開眼時間のばらつきの大小を生体状態の判定基準としているが、他の判定基準としては、閉眼時間のばらつき、開眼時間、閉眼時間、瞬き回数、開眼時間と閉眼時間との割合、瞬きの周期、を利用することもできる。

格納バッファ１１は、開眼時間取得部７で取得した開眼時間データを格納しておく機能を有しており、具体的には、図４に示すように瞬きの回数に応じて開眼開始時間と開眼終了時間と開眼時間を格納することができる。また、格納バッファ１１は、前述のとおり、体内要因計測部１５で取得された皮膚電位データや、外部要因計測部１７で取得された運転席前方の景色映像データを格納することができる。また、格納バッファ１１は、ばらつき演算部８からの要求に応じて開眼時間データを出力する機能を有している。

ノイズ有無判定部（ノイズ有無判定手段）１３は、開眼時間取得部７で得られた運転者の開眼時間データを分析しその変動周期を得る眼データ分析部２１と、体内要因計測部１５で計測された体内要因を分析しその変動周期を得る体内要因分析部２３と、外部要因計測部１７で計測された外部要因を分析しその変動周期を得る外部要因分析部２７と、を備えている。更にノイズ有無判定部１３は、得られた各変動周期を比較する周期比較部２９を備え、上記変動周期の比較に基づいて、上記の体内要因又は外部要因に起因するノイズ成分が、眼データに混入しているか否かを判定する。

車両制御装置１の結果出力部４は、生体状態推定装置１０の推定結果を運転者に出力する機能を有しており、具体的には、推定結果を音声出力することのできるスピーカや推定結果を表示することのできるディスプレイから構成されている。結果出力部４は、例えば、生体状態推定装置１０が運転者の覚醒度が低くなる状態であると推定した場合は、運転者に対して将来運転に支障が出る程度の眠気が発生しうる旨の通知をしたり、休憩を促す旨の通知をすることができる。あるいは、注意力が低下しているときは注意喚起を促す通知を行い、目が覚めて覚醒状態になったときは、その旨を通知することができる。

車両制御装置１の運転支援部６は、眠気予知部９の推定結果に基づいて運転支援を行う機能を有しており、具体的には、ブレーキペダルを踏むことですぐに停車できるように感度を上げたり、強制的に停車させることのできるブレーキや、乗員保護装置や、ふらつき運転を防止するために操舵力を上げることのできるハンドルや、エンジン回転数を下げることができる駆動部などから構成されている。

次に、図２〜図６を参照して、本実施形態に係る生体状態推定装置１０及び車両制御装置１の動作について説明する。図２は、本実施形態に係る生体状態推定装置１０における情報処理を示すフローチャートである。図２に示す情報処理は、車両が走行している間、生体状態推定装置１０のＥＣＵ２において繰り返し実行される処理である。

図２に示すように、まず、ＥＣＵ２の開眼時間取得部７は、眼データ取得部３で取得した眼データに基づいて運転者の開眼時間を取得すると共に、取得したデータを格納バッファ１１へ格納する（ステップＳ１００）。ここで、図３を参照して、開眼時間取得部７の開眼時間取得方法について詳細に説明する。図３は、開眼時間取得部７の開眼時間取得方法を説明するための図であり、眼データ取得部３で取得した運転者の眼の画像と、当該画像と開眼時間及び閉眼時間との関係を示した図である。図３に示すように、開眼時間取得部７は、眼データ取得部３で取得した眼の画像を解析することによって開眼状態と閉眼状態とを判断すると共に、開眼状態の開始時刻と開眼状態の終了時刻から開眼時間を測定する。具体的には、開眼時間取得処理開始から１回目に眼が開いた時刻を１回目の開眼の開始時刻ｔｓ_１とし、次に眼が閉じた時刻を１回目の開眼の終了時刻ｔｅ_１とし、開始時刻ｔｓ_１と終了時刻ｔｅ_１との間に経過した時間を開眼時間ｔｏ_１とする。次に眼が開いた時刻を２回目の開眼の開始時刻ｔｓ_２とし、次に眼が閉じた時刻を２回目の開眼の終了時刻ｔｅ_２とし、開始時刻ｔｓ_２と終了時刻ｔｅ_２との間に経過した時間を開眼時間ｔｏ_２とする。更に、次に眼が開いた時刻を３回目の開眼の開始時刻ｔｓ_３とし、次に眼が閉じた時刻を３回目の開眼の終了時刻ｔｅ_３とし、開始時刻ｔｓ_３と終了時刻ｔｅ_３との間に経過した時間を開眼時間ｔｏ_３とする。このように、ｎ回目に眼が開いた時刻をｎ回目の開眼の開始時刻ｔｓ_ｎとし、次に眼が閉じた時刻をｎ回目の開眼の終了時刻ｔｅ_ｎとし、開始時刻ｔｓ_ｎと終了時刻ｔｅ_ｎとの間に経過した時間を開眼時間ｔｏ_ｎとする。このようにして取得された各データは、格納バッファ１１に図４に示すようなバッファ構成で格納される。なお、ばらつきを計算する際における単位時間幅（時間幅）をｔｗとすると、バッファのサイズは単位時間幅ｔｗよりも大きい必要があるため、バッファサイズ要件は、ｔｅ_ｎ−ｔｓ_１＞ｔｗと表される。

開眼時間取得処理が終了すると、ばらつき演算部８は、格納バッファ１１に格納された開眼時間に基づいて開眼時間のばらつきを取得する（ステップＳ１１０）。具体的には、ばらつき演算部８は、開眼時間を標準偏差から統計処理することによって開眼時間のばらつきを演算する。ばらつき演算部８は、開眼時間のばらつきを演算するための複数の開眼時間データを格納バッファ１１から取得するが、この際、予め設定された単位時間幅ｔｗ内に存在する開眼時間データを取得してばらつきの演算をすることができる。すなわち、単位時間幅ｔｗ内にｎ個の開眼時間データが存在する場合、格納バッファ１１内の{ｔｏ_１，ｔｏ_２，ｔｏ_３，…ｔｏ_ｎ}の開眼時間データを用いて、次の式（１）によって開眼時間標準偏差（以下、開眼時間ＳＤと称する）が算出される。なお、式（１）において、ｎは取得された開眼時間データの総数、ｉは開眼時間データの番号を示しており、Σ内には、ｉ番目の開眼データと開眼時間データｎ個の平均値との差の二乗の値が示されている。

なお、上述の説明では、ばらつき演算部８は単位時間幅ｔｗ内に存在する開眼時間データを格納バッファ１１から取得してばらつきの演算を行ったが、これに代えて、開眼時間データを任意の個数取得して演算する方法を採用してもよい。例えば、任意個数を３個と設定した場合は、格納バッファから最新の開眼時間データを３個取得し、{ｔｏ_ｎ−２，ｔｏ_ｎ−１，ｔｏ_ｎ}の開眼データを用いて式（１）によって開眼時間ＳＤを算出する。

次に、ノイズ有無判定部１３が、開眼時間取得部７で得られた運転者の開眼時間データに、体内要因又は外部要因に起因するノイズ成分が混入しているか否かを判定する（ステップＳ１１５）。ここで、ノイズ成分が混入していると判定された場合（後述のノイズ有無フラグＦＶ＝１の場合）には、当該ノイズ成分を含むデータ要素を判断基準から除去すべく、以下の処理Ｓ１２０，Ｓ１３０は行わず、処理はＳ１００に戻る。一方、処理Ｓ１１５において、ノイズが混入していないと判定された場合（後述のノイズ有無フラグＦＶ＝０の場合）には、処理を以下のＳ１２０に進める。このようなＳ１１５の処理により、生体状態推定装置１０では、運転者の眠気判定において、上記ノイズ成分の影響を除去した正確な眠気判定が可能になる。なお、ノイズ有無判定部１３による処理Ｓ１１５についての詳細は後述する。

開眼時間のばらつきを演算した後、眠気予知部９は、Ｓ１１０で取得した開眼時間のばらつきに基づいて運転者の生体状態を判定することによって眠気を予知する（ステップＳ１２０）。眠気予知部９はＳ１２０の処理において、開眼時間のばらつきが大きいと判定したときは運転者の覚醒度が高い状態であり、開眼時間のばらつきが小さいと判定したときは運転者の覚醒度が低い状態であると判定する。

ここで、眠気予知部９の生体状態判定処理の具体的な方法について図５及び図６を参照して説明する。図５及び図６は眠気予知部９での処理内容を示す線図である。まず、眠気予知部９は、Ｓ１１０で演算した開眼時間ＳＤをリアルタイムでプロットすることによって、図５（ａ）に示すような線図を取得する。次に、眠気予知部９は、現在時刻から過去ｘ（秒）の開眼時間ＳＤの平均値を演算することによって図５（ａ）の平滑化を行い、図５（ｂ）に示す線図を取得する。

開眼時間ＳＤの平滑化を行った後、当該開眼時間ＳＤ平均値が予め設定した振幅閾値Ｔｈ＿ａ（所定の閾値）を下回る箇所を抽出すると共に、下回った箇所の継続時間を取得する。継続時間とは、開眼時間ＳＤ平均値が振幅閾値Ｔｈ＿ａを下回った時刻から、開眼時間ＳＤ平均値が振幅閾値Ｔｈ＿ａを再び上回る時刻にまでに要する時間である。具体的には、図６（ａ）の上段に示すような開眼時間ＳＤ平均値の線図が得られた場合、図６（ａ）の下段に示すように、振幅閾値Ｔｈ＿ａを下回る箇所は二箇所抽出され、それぞれの継続時間ｔ１及びｔ２が取得される。閾値下回りの箇所が抽出されると、その抽出箇所のうち継続時間が予め設定した時間閾値Ｔｈ＿ｔを上回る箇所を抽出する。具体的には、図６（ａ）の下段に示すような抽出結果が得られた場合、継続時間ｔ１が時間閾値Ｔｈ＿ｔを下回っており継続時間ｔ２が時間閾値Ｔｈ＿ｔを上回っているときは、図６（ｂ）に示すように継続時間ｔ２の箇所のみが抽出される。

以上の処理によって、眠気予知部９は、開眼時間ＳＤ平均値の振幅閾値Ｔｈ＿ａを下回っている継続時間が時間閾値Ｔｈ＿ｔ以下である状態が保たれているときは、開眼時間のばらつきが大きいと判定して運転者の覚醒度が高い状態であると判定し、開眼時間ＳＤ平均値の振幅閾値Ｔｈ＿ａを下回っている継続時間が時間閾値Ｔｈ＿ｔを上回る箇所を抽出したときは、開眼時間のばらつきが小さいと判定して運転者の覚醒度が低い状態であると判定する。これによって、眠気予知部９は、運転者の眠気の予知をすることが可能となる。なお、Ｓ１００からＳ１２０までの処理は、運転者の覚醒度が低い状態であると判定されるまでの間繰り返し実行され、覚醒度が低い状態であると判定された段階で次のステップＳ１３０に移行する。

眠気予知部９によって運転者の覚醒度が低い状態であると判定された場合（すなわち、眠気の予知がなされた場合）、ＥＣＵ２は、結果出力部４あるいは運転支援部６に制御信号を出力して運転支援処理を行う（ステップＳ１３０）。具体的には、結果出力部４から音声出力や画像表示によって、運転者に対して将来眠気が発生する旨を伝達し、更に、休憩を取ることを促すことができる。更に、運転支援部６を制御することによって、ブレーキペダルを踏むことですぐに停車できるようにブレーキの感度を上げたり、休憩をとるように安全な場所へ退避させて強制的にブレーキを作動させたり、乗員保護装置が作動しやすくしたり、ふらつき運転がなされないように操舵制限をしてレーンキープをしたり、車間距離を一定以上の距離に保ったり、エンジン回転数を下げることができる。運転支援処理が終了すると図２に示す制御処理が終了し、再びＳ１００から処理を開始する。

従来の生体状態の検出方法では、車両運転の操作に影響が出る程にまで覚醒度が低下したことは検出することはできるものの、その前段階となる浅い覚醒度の低下までは検出することができず、車両運転の誤操作を未然に防ぐことが困難であった。しかし、本実施形態に係る生体状態推定装置１０によれば、運転者の眼の開眼時間を取得し、その開眼時間のばらつきに基づいて生体状態を判定することによって、浅い覚醒度の低下まで検出することが可能となり、将来車両運転の誤操作が発生する程度にまで覚醒度が大幅に低下することを事前に推定することができる。特に、本実施形態に係る車両制御装置１によれば、運転者の開眼時間のばらつきに基づいて車両を制御することにより、車両運転の誤操作が発生する前段階で運転支援を行うことが可能となる。以上によって、車両などの機器の運転の安全性を高めることができる。

図７を参照して、本実施形態に係る生体状態推定装置１０の実施例について説明する。図７は、被験者たる運転者の生体状態を推定する場合における生体状態推定装置１０による処理内容を示す各線図と、被験者の眠気の強さとの関係を示す図である。図７（ａ）は開眼時間標準偏差をプロットした線図であり、図７（ｂ）は開眼時間標準偏差の平均値をとることにより平滑化した線図であり、図７（ｃ）は図７（ｂ）のうち振幅閾値Ｔｈ＿ａを下回った継続時間をプロットした図であり、図７（ｄ）は図７（ｃ）のうち閾値下回りの継続時間が時間閾値Ｔｈ＿ｔを超えた箇所を抽出した図であり、図７（ｅ）は被験者の自己申告によって眠気の強さをプロットした図である。なお、上述の説明における図６（ａ）では、振幅閾値Ｔｈ＿ａを下回った箇所ごとの下回り継続時間（ｔ１、ｔ２）を単純に計測したが、図７（ｃ）では測定のノイズの影響を排除するために、閾値下回りの継続時間を積算して測定した線図を利用して生体状態の判定を行っている。この実施例では、図７（ａ）に示すような開眼時間標準偏差の線図が得られると、図７（ｃ）に示すように、測定開始から７００秒付近の箇所のみで時間閾値Ｔｈ＿ｔを超える箇所が現れる。この場合、図７（ｄ）に示すように当該箇所が検出され、これによって、７００秒付近で覚醒度が低くなると判定することが可能となる。この結果と被験者の眠気の強さとの関係を検証すると、図７（ｅ）に示すように、覚醒度が低くなると判定した箇所Ｐ１から数分後の箇所Ｐ２では、急激に覚醒度が低下し、最終的には意識がなくなった状態になっている。箇所Ｐ２は車両運転に支障が出る程度にまで覚醒度が低下した状態と言え、生体状態推定装置１０は、将来そのような状態になることを数分前から予知することができる。

続いて、前述したような開眼時間データにノイズ成分が混入しているか否かの判定（前述の処理Ｓ１１５）において、ノイズ有無判定部１３が行う具体的な処理について更に詳細に説明する。

〔開眼時間変動周期Ｔ_ｅｙｅの導出〕
まず、ノイズ有無判定部１３の眼データ分析部２１は、格納バッファ１１に格納された開眼時間のデータ（図４参照）のうち、最新データｔｏ_ｎから、所定の分析対象時間ｔｎだけ遡った範囲の過去のデータを読み出す。例えば、
ｔｎ＜ｔｏ_ｎ−ｔｏ_ｎ−４かつｔｎ＞ｔｏ_ｎ−ｔｏ_ｎ−５
とした場合、読み出されるデータは、ｔｏ_ｎ〜ｔｏ_ｎ−４である。そして、読み出した当該開眼時間のデータを、図８に示すように、横軸を時刻ｔｅ_ｎ−４〜ｔｅ_ｎ、縦軸を開眼時間ｔｏ_ｎ−４〜ｔｏ_ｎとしてグラフ化する。

次に、眼データ分析部２１は、グラフ化された図８の開眼時間のデータに対して、図９に示すように、補間（内挿）処理を行い、時刻ｔｅ_ｎ−４〜ｔｅ_ｎにおける開眼時間の連続的なデータを得る。この補間処理としては、例えば、スプライン補間、線形補間等の手法が用いられる。次に、眼データ分析部２１は、図９の補間処理結果に対して周波数解析処理を行い、図１０に示すように、振幅スペクトル分布を得る。この周波数解析処理としては、例えば、ＦＦＴ（高速フーリエ変換）等の手法が用いられる。次に、得られた振幅スペクトル分布において、ある周波数帯領域Ｆ（ｆ_ｍｉｎ〜ｆ_ｍａｘ）を設定し、当該領域Ｆの範囲内における最大振幅Ａに対応する周波数ｆ_ｐｅａｋを取得する。そして、周波数ｆ_ｐｅａｋの逆数を、開眼時間変動周期Ｔ_ｅｙｅとして得る（Ｔ_ｅｙｅ＝１／ｆ_ｐｅａｋ）。

〔体内要因変動周期Ｔ_ｉｎの導出〕
ノイズ有無判定部１３の体内要因分析部２３は、図１１に示すように、格納バッファ１１に格納された皮膚電位データのうち、現在時刻を基準として、前述の分析対象時間ｔｎだけ過去の分までのデータを切り出す。次に、体内要因分析部２３は、図１１の皮膚電位データに対して、周波数解析処理を行い、図１２に示すように、振幅スペクトル分布を得る。この周波数解析処理としては、例えば、ＦＦＴ（高速フーリエ変換）等の手法が用いられる。次に、得られた振幅スペクトル分布において、ある周波数帯領域Ｆ１（ｆ_ｍｉｎ１〜ｆ_ｍａｘ１）を設定し、当該領域Ｆ１の範囲内における最大振幅Ａ１に対応する周波数ｆ_{ｐｅａｋ１}を取得する。そして、周波数ｆ_{ｐｅａｋ１}の逆数を、体内要因変動周期Ｔ_ｉｎとして得る（Ｔ_ｉｎ＝１／ｆ_{ｐｅａｋ１}）。

〔外部要因変動周期Ｔ_ｏｕｔの導出〕
ノイズ有無判定部１３の外部要因分析部２７は、図１３に示すように、格納バッファ１１に格納された運転席前方の映像データのうち、現在時刻ｔ０を基準として、前述の分析対象時間ｔｎだけ過去の分までのフレームＤ（ｔ０−ｔｎ）〜Ｄ（ｔ０）を読み出す。次に、外部要因分析部２７は、映像データの画面中央付近に矩形の注目領域Ｐを設定する。そして、読み出した上記各フレームごとに、注目領域Ｐ内における画面の最大輝度Ｌ（ｔ０−ｔｎ）〜Ｌ（ｔ０）を取得する。

次に、外部要因分析部２７は、取得した最大輝度Ｌ（ｔ０−ｔｎ）〜Ｌ（ｔ０）のデータを、図１４に示すように、横軸を時刻ｔ０−ｔｎ〜ｔ０、縦軸をＬ（ｔ０−ｔｎ）〜Ｌ（ｔ０）としてグラフ化する。例えば、図１３に示す映像データの例によれば、時刻ｔ０−ｔｎにおいては、太陽Ｃの一部が建物Ｂに隠れているので最大輝度Ｌ（ｔ０−ｔｎ）は中程度であり、車両が前方に進んだ時刻ｔ０−１においては、太陽Ｃのほとんどが建物Ｂに隠れているので最大輝度Ｌ（ｔ０−１）は低くなり、車両が更に前方に進んだ時刻ｔ０においては、建物Ｂが後方に過ぎ去って太陽Ｃが全部見えているので最大輝度Ｌ（ｔ０−ｔｎ）は高くなる。

次に、外部要因分析部２７は、グラフ化された図１４の最大輝度のデータに対して、図１５に示すように、補間（内挿）処理を行い、時刻ｔ０−ｔｎ〜ｔ０における最大輝度の連続的なデータを得る。この補間処理としては、例えば、スプライン補間、線形補間等の手法が用いられる。次に、外部要因分析部２７、図１５の補間処理結果に対して周波数解析処理を行い、図１６に示すように、振幅スペクトル分布を得る。この周波数解析処理としては、例えば、ＦＦＴ（高速フーリエ変換）等の手法が用いられる。次に、得られた振幅スペクトル分布において、ある周波数帯領域Ｆ２（ｆ_ｍｉｎ２〜ｆ_ｍａｘ２）を設定し、当該領域Ｆ２の範囲内における最大振幅Ａ２に対応する周波数ｆ_{ｐｅａｋ２}を取得する。そして、周波数ｆ_{ｐｅａｋ２}の逆数を、外部要因変動周期Ｔ_ｏｕｔとして得る（Ｔ_ｏｕｔ＝１／ｆ_{ｐｅａｋ２}）。

〔各変動周期Ｔ_ｅｙｅ，Ｔ_ｉｎ，Ｔ_ｏｕｔの比較〕
次に、周期比較部２９は、上記処理で得られた開眼時間変動周期Ｔ_ｅｙｅ、体内要因変動周期Ｔ_ｉｎ、及び外部要因変動周期Ｔ_ｏｕｔを比較し、周期の近似が見られるか否かが判断される。すなわち、開眼時間変動周期Ｔ_ｅｙｅが、体内要因変動周期Ｔ_ｉｎに近似していれば、開眼時間が体内要因の影響を受けていると考えることができるので、眼データ取得部３で得られた前述の眼データから、当該体内要因変動周期Ｔ_ｉｎをもつノイズが抽出されたことになる。同様に、開眼時間変動周期Ｔ_ｅｙｅが、外部要因変動周期Ｔ_ｏｕｔに近似していれば、開眼時間が外部要因の影響を受けていると考えることができるので、前述の開眼時間データから、当該外部要因変動周期Ｔ_ｏｕｔをもつノイズが抽出されたことになる。

すなわち、開眼時間変動周期Ｔ_ｅｙｅが、体内要因変動周期Ｔ_ｉｎ、又は外部要因変動周期Ｔ_ｏｕｔのうち少なくとも何れか一方と近似する場合には、開眼時間取得部７で得られた運転者の開眼時間データには、運転者の生体状態（眠気、疲労度等）とは無関係のノイズが含まれていると考えることができる。

このような理論に基づき、周期比較部２９は、
(T_eye−α<T_in<T_eye＋α)∪(T_eye−α<T_out<T_eye＋α)＝１
の場合は、開眼時間データにノイズが混入していると判定し、
ノイズ有無フラグＦＶ＝１とする。
一方、
(T_eye−α<T_in<T_eye＋α)∪(T_eye−α<T_out<T_eye＋α)＝０
の場合は、開眼時間データにノイズが混入していないと判定し、
ノイズ有無フラグＦＶ＝０とする。
ここで、上式中のαは、各変動周期Ｔ_ｅｙｅ，Ｔ_ｉｎ，Ｔ_ｏｕｔが互いに近似していると判断される範囲を表している。すなわち、ここに言う各変動周期Ｔ_ｅｙｅ，Ｔ_ｉｎ，Ｔ_ｏｕｔの相互間の近似とは、互いの値の相違がα以内であることを意味する。

図２に示すように、以上のようなノイズ判定部１３の処理Ｓ１１５により、ノイズが混入されていると判断された場合（ＦＶ＝１の場合）には、処理Ｓ１２０以降を行わず、ノイズが混入されていない場合（ＦＶ＝０の場合）にのみ、処理Ｓ１２０の眠気予知を行う。このようにして、抽出されたノイズを含む開眼時間データは、眠気予知の判断材料から除去されることになる。以上のように、ノイズ有無判定部１３は、ノイズ有無判定手段、ノイズ抽出手段、及びノイズ除去手段の機能を有している。なお、前述のｆ_ｍｉｎ，ｆ_ｍａｘ，ｆ_ｍｉｎ１，ｆ_ｍａｘ１，ｆ_ｍｉｎ２，ｆ_ｍａｘ２，αの値や、注目領域Ｐの座標等については、生体状態推定装置１の設計者により所望の設計思想に基づいて予め決定され、ＥＣＵ２中に予め記憶されている。

続いて、この生体状態推定装置１による作用効果について説明する。

すなわち、この生体状態推定装置１は、運転者の眼の開眼時間を取得する眼データ取得部３及び開眼時間取得部７を備え、取得した開眼時間のばらつきを取得するばらつき演算部８を備えている。更に、生体状態推定装置１は、取得した開眼時間のばらつきに基づいて、当該開眼時間のばらつきが大きいほど運転者の覚醒度が高い状態であり、開眼時間のばらつきが小さいほど運転者の覚醒度が低い状態であると判定する眠気予知部９を備えている。

更に、この覚醒度の高低の判定を正確に行うために、生体状態推定装置１は、更に、ノイズとなりうる所定の体内要因（ここでは、皮膚電位）を計測する体内要因計測部１５と、ノイズとなりうる所定の外部要因（ここでは、運転席前方の輝度）を計測する外部要因計測部１７と、を備えている。そして、ノイズ有無判定部１３は、眼データ取得部３及び開眼時間取得部７で得られた開眼時間データを分析し、開眼時間の変動周期を得る眼データ分析部２１と、計測された上記体内要因を分析し、体内要因の変動周期を得る体内要因分析部２３と、計測された上記外部要因を分析し、外部要因の変動周期を得る外部要因分析部２７と、を備えている。

そして、ノイズ有無判定部１３は、開眼時間データの中に含まれるノイズ成分を抽出すべく、開眼時間の変動周期を、体内要因の変動周期又は外部要因の変動周期と比較する。ここで、ノイズ有無判定部１３は、開眼時間の変動周期が、体内要因の変動周期又は外部要因の変動周期の何れかと近似する場合には「ノイズ混入有り」と判定し、何れとも近似しない場合には「ノイズ混入無し」と判定する。そして、このノイズ有無判定部１３による判定が、「ノイズ混入無し」の場合にのみ、上記眠気予知部９による覚醒度の高低の判断が行われる。

従って、この生体状態推定装置１０によれば、運転者の眼データから得られる開眼時間データから、ノイズ有無判定部１３によって運転者の眠気に無関係なノイズが抽出・排除されることになり、その結果、眠気予知部９においては、精度が高い眠気予知を行うことができる。

なお、本発明は、上記実施形態に限定されるものではない。実施形態では、運転者の開眼時間と、体内要因又は外部要因との変動周期を比較してノイズを抽出しているが、このような変動周期の比較に限られず、例えば、標準偏差、平均、分散、ヒストグラム等に基づいて、ノイズの抽出を行ってもよい。

本発明は、生体状態推定装置に関するものであり、例えば、車両の運転者の眠気を予知する生体状態推定措置に利用され、精度が高い眠気予知を可能にするものである。

１…生体状態推定装置、３…眼データ取得部（生体情報取得手段）、７…開眼時間取得部（生体情報取得手段）、９…眠気予知部（生体状態判定手段）、１３…ノイズ有無判定部（ノイズ抽出手段、ノイズ除去手段、ノイズ有無判定手段）、１５…体内要因計測部（ノイズ要因取得手段）、１７…外部要因計測部（ノイズ要因取得手段）。

Claims (4)

1. 対象者の眼の状態に基づいて得られる生体情報を取得する生体情報取得手段と、
   前記生体情報取得手段で得られた前記生体情報に基づいて前記対象者の生体状態を判定する生体状態判定手段と、
   前記生体情報取得手段で得られた前記生体情報から、当該生体情報に混入されたノイズを抽出するノイズ抽出手段と、を備えたことを特徴とする生体状態推定装置。
2. 前記ノイズ抽出手段で抽出された前記ノイズを、前記生体状態判定手段による前記判定の前に、前記生体情報から除去するノイズ除去手段を更に備えたことを特徴とする請求項１に記載の生体状態推定装置。
3. 前記対象者に加わり前記ノイズの要因となりうるノイズ要因を取得するノイズ要因取得手段を更に備え、
   前記ノイズ除去手段は、
   前記生体情報の変動周期と、前記ノイズ要因取得手段で得られた前記ノイズ要因の変動周期との比較に基づいて、前記生体情報への前記ノイズの混入の有無を判定するノイズ有無判定手段を有することを特徴とする請求項１又は２に記載の生体状態推定装置。
4. 対象者の眼の状態から取得される生体情報から前記対象者が受ける外的要因または内的要因からなるノイズを除去して前記対象者の生体状態を推定する生体状態推定装置。

Images