JP2012164040A - 覚醒低下検出装置 - Google Patents

Abstract

【課題】覚醒低下レベルの推定精度を高めることができる覚醒低下検出装置を提供する。
【解決手段】車両情報又は運転手の運転状態を示す情報の少なくともいずれか一方の情報に基づいて、運転手の第１の覚醒度を演算する第１の覚醒度演算手段と、第１の覚醒度検出手段と異なり、覚醒度低下の初期状態における運転手の副次的動作に基づいて、第２の覚醒度を演算する第２の覚醒度演算手段と、第１の覚醒度と前記第２の覚醒度とを用いて、運転手の覚醒低下レベルを推定する覚醒低下レベル推定手段とを備える。
【選択図】 図２

Description

本発明は、覚醒低下検出装置に関するものである。

操舵角を検出する舵角検出手段と、操舵角検出値に基づいて操舵が滑らかに行われたと仮定した場合の現在の操舵角を推定する舵角推定手段と、操舵角推定値と前記操舵角検出値との誤差を検出する操舵誤差検出手段と、操舵誤差の分布の峻険度に基づいて運転操作の不安定な状態を検出する不安定状態検出手段とを備える車両用運転操作監視装置が知られている（特許文献１）。

特開平１１−２２７４９１号公報

しかしながら、操舵角推定値と操舵角検出値の誤差が、運転手の覚醒度の低下によるものか他の要因によるものか、判定が難しく、覚醒の低下レベルの推定精度が低い、という問題があった。

本発明が解決しようとする課題は、覚醒低下レベルの推定精度を高めることができる覚醒低下検出装置を提供することである。

本発明は、運転手の第１の覚醒度を演算する第１の覚醒度演算手段と、覚醒度低下の初期状態における運転手の副次的動作に基づいて第２の覚醒度を演算する第２の覚醒度演算手段と、第１の覚醒度と第２の覚醒度とを用いて運転手の覚醒低下レベルを推定する覚醒低下レベル推定手段とを備えることによって上記課題を解決する。

本発明によれば、第１の覚醒度と第２の覚醒度という異なる指標を組み合わせて、覚醒低下レベルを推定するので、覚醒低下レベルの推定精度を高めることができる。

本発明の一実施の形態を適用した覚醒低下検出装置の概略構成を示すブロック図である。 図１の制御装置、車両情報検出部及び撮像装置を示すブロック図である。 時間あたりの操舵角の角度の特性であって、（ａ）は図２の操舵角信号処理部の入力信号の特性を（ｂ）は図２の操舵角信号処理部の出力信号の特性を示すグラフである。 図２の画像信号処理部１４により処理された後の画像を説明する図である。 図４の特徴点と実際の顔との対応を説明する図である。 図２の一次覚醒度演算部の制御ブロック図である。 図６の一次覚醒度演算部で用いられる指標の特性を説明する図あって、時間あたりの検出操舵角の特性（グラフａ）と予測操舵角の特性（グラフｂ）を示す図である。 図６の操舵振幅・操舵間隔演算機能により演算される操舵振幅と操舵間隔とを説明するための図である。 図６の分布演算機能により演算される度数分布表である。 図２の二次覚醒度演算部の制御ブロック図である。 図１０の開閉眼判定機能により判定される眼の画像を説明するための図であり、（ａ）は開眼の画像を、（ｂ）は閉眼の画像を示す。 図１０の開閉率演算機能により、演算される開閉率を説明するための図である。 図２の第２覚醒度演算部の制御ブロック図である。 図１３のあくび検出機能を説明するための図であって、顔の口元の画像の拡大図である。 図１３の首の動作検出機能を説明するための図であって、（ａ）は首を傾けた状態の顔画像を示し、（ｂ）は時刻（ｔ−１）における（ａ）の口元の拡大画像を示し、（ｃ）は時刻（ｔ）における首を左に傾けた状態の顔画像のうち、口元の拡大画像を示す。 図１３の手の動作検出機能を説明するための図である。 図１３の覚醒度演算機能を説明するための図である。 図２の覚醒低下レベルの制御ブロック図である。 図１８の覚醒度−低下レベルマップに格納されるマップを説明する図である。 （ａ）は居眠りの観察評価における、時間あたりの覚醒低下レベルの特性を示すグラフであり、（ｂ）は演算された覚醒度の時間あたりの特性を示すグラフである。 図１９のマップ上において、覚醒低下レベルと刺激度との対応を説明するためのマップである。 図２の刺激制御部に格納されるマップである。

以下、本発明の実施形態を図面に基づいて説明する。

《第１実施形態》
図１は、本発明の一実施の形態を適用した覚醒低下検出装置の概略構成を示すブロック図である。本実施形態に係る覚醒低下検出装置１は、車両に設けられ、制御装置１０と、車両情報検出部２０と、撮像装置３１と、モニタ４０と、スピーカ４１と、エアコン４２とを備える。制御装置１０は、車両情報又は運転手の情報に基づいて、運転手の覚醒度を演算し、演算された覚醒度に応じて覚醒の低下を推定するための制御部である。車両情報検出部２０は、運転手による運転状態や車両に関する情報を検出するための検出部である。撮像装置３１は、運転手の顔画像を撮像するカメラであって、運転手の顔を含めた周囲の撮像に適した位置に設けられている。モニタ４０は制御装置１０からの出力信号に基づいて、画像を表示することで運転手に視覚的な刺激を与えるディスプレイである。スピーカ４１は制御装置１０からの出力信号に基づいて、音を出力することで運転手に聴覚的な刺激を与えるスピーカである。エアコン４２は制御装置１０からの出力信号に基づいて、車室内の温度を調整することで運転手に刺激を与える。

次に、図２を用いて、本例の覚醒低下検出装置１の制御装置１０、車両情報検出部２０及び撮像装置３１を説明する。図２は、図１の制御装置１０、車両情報検出部２０及び撮像装置３１をさらに詳細に示すブロック図である。

車両情報検出部２０は、車両の走行速度を検出する車速検出部２１と、ステアリングの操舵角を検出する操舵角検出部２２とを備える。車速検出部２１は車両の走行状態を示す車両情報をする検出ために設けられ、操舵角検出部２２は運転手の運転状態を検出するために設けられ、それぞれ所定のサンプリング周期で、車速及び操舵角を検出している。操舵角検出部２２のより検出された操舵角の情報を含む信号、車速検出部２１により検出された車速の情報を含む信号、及び、撮像装置の撮像画像を含む信号は、制御装置１０に出力される。

撮像装置３１は、後述する画像解析により、運転手の顔の様子を検出することで、運転手の運転状態を検出するために設けられ、所定のサンプリング周期で顔及びその周辺を撮像している。撮像装置３１により撮像された画像データは制御装置１０に出力される。

制御装置１０は、第１覚醒度演算部１１と、第２覚醒度演算部１２と、操舵角信号処理部１３と、画像信号処理部１４と、覚醒低下レベル推定部１５と、刺激制御部１６とを備える。以下、制御装置１０の各構成について、説明する。

操舵角信号処理部１３は、操舵角検出部２２の検出データを入力として、図３に示すように、当該データに平滑化処理を行い、第１覚醒度演算部１１に出力する。図３は、時間あたりの操舵角の角度の特性を示し、（ａ）は操舵角信号処理部１３により処理される前の操舵角のデータ信号を示し、（ｂ）は操舵角信号処理部１３により処理された後の操舵角のデータ信号を示す。操舵角信号処理部１３は、例えば、時間軸において所定の時間の窓を設け、当該所定の時間の出力の移動平均を求める方法により、平滑化処理を行う。また操舵角信号処理部１３は、入力信号に、低域通過パスフィルタやパスフィルタを通すことで、高周波成分を除去することで、平滑化処理を行ってもよい。図３（ａ）に示すように、処理前の信号では、後述する覚醒度の演算工程において、処理負荷が大きくなってしまうが、図３（ｂ）に示すように平滑化処理をすることで、角度変化の頻度が抑制されるため、覚醒度の演算工程における処理負荷を抑えることができる。そして、操舵角信号処理部１３は、処理された操舵角のデータを、処理済みの操舵角信号として、第１覚醒度演算部１２に出力する。

画像信号処理部１４は、撮像装置３１により撮像された顔画像から顔の特徴を検出するために、画像処理を行う。図４は、画信号処理１４により処理された後の画像を示す図である。画像信号処理部１４は、図４に示すように、画像の縦方向又の各画像列から濃度が局所的に高くなっている画素を抽出点として抽出し、隣接する画素列の抽出点をつなげて、横方向に伸びる曲線群を抽出する。そして、当該曲線群から、顔の特徴となる眼、鼻、口などを抽出する。図５においては、曲線群Ｇ１が左眉に、曲線群Ｇ２が右眉に、Ｇ３が左目に、Ｇ４が右目に、Ｇ５が鼻に、Ｇ６が口に相当する。これにより、顔の特徴点である顔の各部位の位置及び形状が特定される。

また画像信号処理部１４は、各曲線群Ｇ１〜Ｇ６の上下左右の端点を特徴点と抽出することで、図５に示すような、顔の特徴を抽出することができる。例えば、眼の位置に相当する特徴点のうち、縦方向に配列する特徴点Ｇ３１、３２、４１、４２の動きを時系列で検出することで、眼の開閉を検出することができる。同様に、他の顔の部位についても、特徴点の変動を検出することで、動きを検出することができる。そして、画像信号処理部１４は、処理後の画像信号を、第１覚醒度演算部１１及び第２覚醒度演算部１２に送信する。

第１覚醒度演算部１１は、一次覚醒度演算部１１１と二次覚醒度演算部１１２とを備える。まず、図６〜図９を用いて、一次覚醒度演算部１１１を説明する。図６は一次覚醒度演算部１１１の制御ブロック図を示し、図７は時間あたりの検出操舵角の特性（グラフａ）と予測操舵角の特性（グラフｂ）を示し、図８は時間あたりの検出操舵角の特性を示し、図９は操舵角の誤差に対する頻度の度数分布を示す。

一次覚醒度演算部１１１は、操舵誤差演算機能（Ｆ１）と、操舵振幅・操舵間隔演算機能（Ｆ２）と、操舵分布演算機能（Ｆ３）と、覚醒度演算機能（Ｆ４）とを有し、操舵角検出部３２により検出される操舵角と、車速検出部２１により検出される車速とに基づいて、一次段階の覚醒度を演算する。覚醒低下は単調な運転環境において発生しやすいため、本例では車速と操舵角に基づいて覚醒度を演算する。

一次覚醒度演算部１１１は、操舵角信号処理部１３から処理済みの操舵角信号を受信し、操舵誤差演算機能（Ｆ１）により、予想操舵角を演算し、現在の操舵角と当該予想操舵角との誤差を演算する。予想操舵角は、直近の操舵角のデータから所定の期間の間の過去のデータから、操舵が滑らかに行われていると仮定して、操舵角の推移を演算する。すなわち、滑らかに操舵が行われている状態において、操舵角の推移は運転手の技量や癖等に応じて異なることがあるため、一次覚醒度演算部１１１は、過去の操舵角のデータから滑らかな操舵角を予想操舵角として演算する。そして、一次覚醒度演算部１１１は、演算された予想操舵角と、操舵角検出部３２により検出された現在の操舵角との差分を取ることで、予想誤差を演算する。図７に示すように、操舵角検出部３２により検出された操舵角がグラフａのように推移し、演算された予想操舵角がグラフｂにように推移した場合に、時間ｔ_ｄにおいて、予想誤差はｄとなる。当該予想誤差が小さいほど、滑らかな運転状態となる。

一次覚醒度演算部１１１は、操舵振幅・操舵間隔演算機能（Ｆ２）により、操舵振幅及び操舵間隔を演算する。一次覚醒度演算部１１１は、操舵角信号処理部１３から出力される操舵角信号のピーク値（極大値、極小値）の中から、直近２つの極大値と極小値との差分をとることで、操舵振幅Ａを演算する。また一次覚醒度演算部１１１は、当該２つの極大値の時間と極小値の時間との差分をとり、操舵間隔Ｔを演算する。図８に示す例では、処理後の操舵角信号特性は、時間ｔ_１で極大値Ａ_１をとり、時間ｔ_２で極小値Ａ_２をとり、操舵振幅ＡはＡ_１−Ａ_２により演算され、操舵間隔ＴはＴ_１−Ｔ_２により演算される。

そして、一次覚醒度演算部１１１は、操舵分布演算機能（Ｆ３）により、図９に示すような、予想操舵角、操舵振幅及び操舵間隔のそれぞれの度数分布を演算する。図９は操舵分布演算機能（Ｆ３）により演算される予想誤差の度数分布を示すグラフである。度数分布は、予想誤差を所定の値で区切り、区切られた予想誤差のデータの数（頻度）をとることで演算される。図９において、Ｑ_Ｍが最大頻度のグラフになる。すなわち、通常の運転状態（運転手の覚醒度が高い状態）において、上記の通り予想誤差を演算すると、予想誤差は、高い確率でグラフＡに属する。また同様に、操舵振幅及び操舵間隔の度数分布も作成される。これらの度数分布は図示しないメモリ等の記憶部に記憶され、随時、更新される。一次覚醒度演算部１１１は、運転開始から車速が所定の閾値の速度以上になった時、または、運転開始から操舵角が所定の閾値の操舵角以上になった時から、一定の期間内に演算された、予想操舵角、操舵振幅及び操舵間隔を用いて、度数分布の更新を行う。

次に、一次覚醒度演算部１１１は、操舵分布演算機能（Ｆ３）により演算された度数分布を用いて、覚醒度演算機能（Ｆ４）により、初期段階の覚醒度を演算する。まず一次覚醒度演算部１１は、現在の操舵角と予想操舵角との差分から予想誤差を演算し、当該予想誤差が図９の度数分布上で、どのグラフに属するかを特定する。例えば、現在値（Ｘ_１）の時に演算された予想誤差がｘ_１である場合には、図９の度数分布上で、予想誤差がｘ_１はグラフＱ_１に属し、現在値（Ｘ_２）の時に演算された予想誤差がｘ_２である場合には予想誤差がｘ_２はグラフＱ_２に属す。そして、最大頻度のグラフＱ_Ｍに相当する予想誤差と、予想誤差ｘ_１及び予想誤差ｘ_２との、それぞれの差分値（Δｘ_１及びΔｘ_２）を演算すると、差分値（Δｘ_１）が差分値（Δｘ_２）より大きい。当該差分値は、最大頻度の予想誤差に対して、現在の予想誤差がどのぐらいずれているかを示しており、差分値（Δｘ）が小さいほど、通常時の滑らかな運転に近い運転をしていることなる。そして、一次覚醒度演算部１１１は、差分値（Δｘ）が閾値となる所定の値より小さくなった状態の時間が、長く続くほど、覚醒度を低く演算する。すなわち、差分値（Δｘ）が閾値となる所定の値より小さくなった状態とは、滑らかに運転している状態であり、当該状態が長時間続くと、運転手はステアリングの操作を怠り、居眠りしている可能性がある。そのため、本例は、かかる状態の時には、覚醒度を低く演算する。なお、低速時には、時間あたりの操舵角の変化は小さいため、一次覚醒度演算部１１１は、車速が所定の車速より高い場合に、上記演算を行う。

また、一次覚醒度演算部１１１は、上記のように、現在の検出時を含む所定期間内において、操舵振幅及び操舵間隔を演算する。次に、現在の操舵振幅及び操舵間隔が度数分布上でどの位置にいるかを把握し、最大頻度のグラフに対する差分を演算する。そして、一次覚醒度演算部１１１は、各度数分布上における、予想誤差に基づく差分値と、操舵振幅に基づく差分値と、操舵間隔に基づく差分値とを用いて、初期段階の覚醒度を演算する。

次に、図１０〜図１２を用いて、二次覚醒度演算部１１２を説明する。図１０は二次覚醒度演算部１１１の制御ブロック図を示し、図１１は図５の片目部分の拡大図であって、開眼の状態（ａ）と閉眼の状態（ｂ）とを示し、図１２は時間あたりの開閉眼の推移を説明するための図である。

二次覚醒度演算部１１２は、開閉眼判定機能（Ｆ１１）と、開閉率演算機能（Ｆ１２）と、覚醒度演算機能（Ｆ１３）とを有し、画像信号処理部１４から出力される処理後の画像信号に基づいて、二次段階の覚醒度を演算する。

二次覚醒度演算部１１２は、画像信号処理部１４から処理済みの画像信号を受信し、開閉眼判定機能（Ｆ１１）により、開閉眼を判定する。眼の開閉は、目頭の特徴点と目尻の特徴点の動きから判定される。すなわち、図１１（ａ）及び（ｂ）に示すように、閉眼の時には、目頭の特徴点と目尻の特徴点の間隔（ｄ_ｂ）が、開眼時の上下方向の特徴点の間隔（ｄ_ａ）より短くなる。そのため、二次覚醒度演算部１１２は、眼の特徴点に相当する画素の位置から、当該間隔を演算し、演算された間隔が、閉眼時の特徴点の間隔に相当する、予め設定された閾値より小さくなった場合に、閉眼したと判定する。二次覚醒度演算部１１２は、所定のサンプリング周期で、開閉眼の判定を行う。

二次覚醒度演算部１１２は、開閉率判定機能（Ｆ１２）により、開閉眼を判定する。二次覚醒度演算部１１２には、予め開眼率計算区間（ｄ_ｃ）が設定されており、１回の閉眼が一定時間（ｔ_ｃ）以上である間の時間を、閉眼時間として特定する。そして、二次覚醒度演算部１１２は、開眼率計算区間あたりの閉眼時間の割合を、閉眼率として演算する。例えば、図１２に示すように、開眼率計算区間（ｄ_ｃ）で、３回の閉眼があった場合に、１回目に閉眼した時間（ｔ_ｃ１）及び２回目に閉眼した時間（ｔ_ｃ２）は、予め設定された閉眼時間（ｔ_ｃ）より短いため、閉眼時間として扱わない。一方、３回目に閉眼した時間（ｔ_ｃ３）は、閉眼時間（ｔ_ｃ）より長いため、閉眼時間として扱う。そして、開眼率計算区間（ｄ_ｃ）に対する閉眼時間（ｔ_ｃ３）の割合により、閉眼率が演算される。

そして、二次覚醒度演算部１１２は、覚醒度演算機能（Ｆ１３）により、閉眼率に基づいて、二次段階の覚醒度を演算する。開閉率が高いほど、眼を閉じている時間が長くなる。そのため、二次段階の覚醒度は開閉率と相関性があり、二次覚醒度演算部１１２は、開閉率から覚醒度を演算する。

ここで、本例では、運転手が通常の運転状態から居眠り状態に移行する場合には、
一次段階として、操舵が滑らかな走行状態が長時間継続し、二次段階として、閉眼の時間が長くなる、ことを想定して、操舵角に基づく覚醒度を一次段階の覚醒度、眼の開閉に基づく覚醒度を二次段階の覚醒度としている。

第１覚醒度演算部１１は、演算された一次段階の覚醒度及び二次段階の覚醒度を含む信号を、覚醒低下レベル推定部１５に送信する。

次に、図１３〜図１７を用いて、第２覚醒度演算部１２を説明する。図１３は第２覚醒度演算部１２の制御ブロック図を示し、図１４はあくび検出を説明するための図であり、図１５は首の動きを説明するための図であり、図１６は手の動きを説明するための図であり、図１７は覚醒度低下時の初期段階における運転手の副次的動作の頻度を説明するための図である。

図１３に示すように、第２覚醒度演算部１２は、あくび検出機能（Ｆ２１）と、首の動作検出機能（Ｆ２２）と、手の動作検出機能（Ｆ２３）と、覚醒度演算機能（Ｆ２４）とを有し、画像信号処理部１４から出力される処理後の画像信号と、車速検出部２１により検出される車速とに基づいて、覚醒度を演算する。運転手は、運転中に眠気が襲ってくると、居眠りをしないようにいくつかの行動をとることが少なくない。例えば、あくびをしたり、首を曲げたり回したり、乾いた眼を手でここすったり等をする。こういった動作は、覚醒度が低下している時の初期状態における、副次的動作とも言う。そこで、第２覚醒度演算部１２は、副次的動作を検出することで、第１覚醒演算部１１とは異なる覚醒度を演算する。

第２覚醒度演算部１２は、あくび検出機能（Ｆ１２）により、運転手のあくびを検出する。運転手があくびをすると、口が縦方向に大きく開く。そして、口の縦方向の変化は、口の特徴点から演算される鉛直方向のベクトルに相当するため、当該鉛直方向のベクトルの変化から、あくびを検出する。当該鉛直方向のベクトルを演算するために、まず第２覚醒度演算部１２は、画像信号処理部１４の出力信号から、顔の特徴点を抽出し、抽出した特徴点の正規化処理を行う。そして、正規が後の特徴点の間の距離を組み合わせることで、鉛直方向の特徴ベクトルが演算される。この演算処理は、図１４に示すように、鉛直動作の方向に強く反映すると考えられるベクトルｆ０、ｆ１、…ｍ０、ｍ１、…を抽出し、これらを一つのベクトルＰ＝｛ｆ０，ｆ１，…ｍ０，ｍ１，…｝とする。また、過去ｎ個のベクトルＰの平均値を平均ベクトルＰaveとして、差ベクトルＸ＝Ｐ−Ｐaveを算出する。なお、平均ベクトルＰaveは僅かな差を無視するために用いられている。こうして算出された差ベクトルＸが、鉛直方向の特徴ベクトルとなる。あくびは長い時間、口の開いた状態を維持する。そのため、第２覚醒度演算部１２は、鉛直方向の特徴ベクトルのスカラーが所定の値より大きく、その状態が所定の期間以上続いた場合に、あくびをした、と判定する。一方、第２覚醒度演算部１２は、鉛直方向の特徴ベクトルのスカラーが所定の値より小さい、または、鉛直方向の特徴ベクトルのスカラーが所定の値より大きい状態が所定の期間以下である場合には、あくびをした、と判定しない。なお、当該所定の値は運転手の顔画像から演算すればよく、当該所定の期間は予め設定すればよい。

第２覚醒度演算部１２は、首の動作検出機能（Ｆ１２）により、首の動きを判定する。運転手が、首や頭を左右に曲げたり廻したりすると（図１５（ａ）を参照）、図１５（ｂ）及び（ｃ）に示すように顔特徴のうち口の両端を結ぶ直線のｘ軸に対する傾きθが時間とともに変化する。図１５（ａ）は、首を右に傾けた状態の顔画像を示し、（ｂ）は時刻（ｔ−１）における、（ａ）の口元の拡大画像を示し、（ｃ）は時刻（ｔ）における首を左に傾けた状態の顔画像のうち、口元の拡大画像を示す。第２覚醒度演算部１２は、口の左右方向における両端の特徴点から、傾斜角θを所定の周期で演算し、１周期あたりの傾斜角の差（Δθt）と、所定の閾値の角度差とを比較する。

図１５（ｂ）及び（ｃ）において、傾斜角の差（Δθt）は、時間（ｔ−１）の傾斜角θ_ｔ−１と、時間（ｔ）の傾斜角θ_ｔとの差分から演算される。そして、第２覚醒度演算部１２は、傾斜角の差（Δθt）が所定の閾値以上である場合には、運転手が眠気を覚ますために首を左右に曲げているか廻していると判定し、傾斜角の差（Δθt）が所定の閾値より小さい場合には、眠気を覚ますための首の動きではないと判定する。

第２覚醒度演算部１２は、手の動作検出機能（Ｆ１３）により、運転手の手が眼や顔を触ったか否かを判定する。運転手が眼や顔を触れていない状態から、運転手が眼や顔を触れると、撮像画像のうち、顔の周囲の領域の濃淡が手の動きに応じて変化する。そこで、第２覚醒度演算部１２は、オプティカルフロー法により、手の動きを検出する。まず、図１６に示すように、顔画像の周囲の四辺に、検出領域Ｄ１〜Ｄ４を設定する。なお、同図において画面外に示したドット及び矢印の記号は、これらの検出領域Ｄ１〜Ｄ４の検出結果を判りやすく示すために欄外に記載したものである。

オプティカルフロー法により、この検出領域Ｄ１〜Ｄ４を物体が交差するとその方向を検出する。たとえば、図１６の検出領域Ｄ３の手は画面の外側から顔に向かって移動してきたオプティカルフローを示している。第２覚醒度演算部１２は、各検出領域において、顔に近づく方向のオプティカルフローが検出されたらフラグ１、顔から遠ざかる方向のオプティカルフローが検出されたらフラグ０、いずれも検出されないときはフラグｎを設定する。運転手の手が顔に触れていない状態から始まり、手が顔に触れた後に、手が顔から離れた場合には、運転手の手が検出領域Ｄ１〜Ｄ４を外側から内側へ向かって一旦通過した後に、手が内側から外側へ向かって通過する。この時のフラグは、フラグ１からフラグ０に変わる。そのため、第２覚醒度演算部１２は、フラグが１から０になった場合に、手が顔に触れたと判定する。

第２覚醒度演算部１２は、覚醒度演算機能（Ｆ２４）により、各検出機能で検出された副次的動作の頻度を演算し、覚醒度を演算する。第２覚醒度演算部１２には、予め副次的行動頻度計算区間（ｄ_ｆ）が設定されており、当該区間あたりの、あくびの回数、首の動きの回数、及び、手の動きの回数を演算する。図１７に示す例では、あくびの回数は区間（ｄ_ｆ）の間に１回となり、首の動きの回数は区間（ｄ_ｆ）の間に１回となり、手の動きの回数は区間（ｄ_ｆ）の間に２回となる。そして、第２覚醒度演算部１２は、各動作の頻度に重みをつけた上で合算し、区間（ｄ_ｆ）で除することで、副次的行動の頻度を演算する。当該重みについて、覚醒度が低下している時の初期状態において、副次的行動の種類に応じて、頻出する行動と、頻出しない行動とがある。そのため、本例では、副次的行動は、その種類に応じて重みをつけることで、覚醒度の演算精度を高めている。なお、当該重みは、運転手毎に設定してもよい。

そして、第２覚醒度演算部１２は、副次的行動の頻度に基づいて、覚醒度を演算する。覚醒度と副次的行動の頻度とは相関性を有しており、第２覚醒度演算部１２は、副次的行動の頻度が高いほど、覚醒度が低くなるよう演算する。

次に、図１８〜図２０を用いて、覚醒低下レベル推定部１５を説明する。図１８は覚醒低下レベル推定部１５の制御ブロック図を示し、図１９は覚醒度と覚醒低下レベルとの相関関係（マップ）を説明するための図を示し、図２０は、演算された覚醒度の推移と居眠りの観察評価の指標との関係を説明する図である。図２１は、図１９のマップ上における、覚醒度低下レベルの分類を説明する図である。

図１８に示すように、覚醒低下レベル推定部１５は、覚醒度−低下レベルマップ１５１と、覚醒度低下レベル推定機能（Ｆ３１）とを備える。ここで、以下、一次覚醒度演算部１１１により演算された覚醒度を一次段階覚醒度とし、二次覚醒度演算部１１２により演算された覚醒度を二次段階覚醒度とし、第１覚醒度演算部１１により演算される覚醒度を第１覚醒度とし、第２覚醒度演算部１２により演算される覚醒度を第２覚醒度とする。

覚醒度−低下レベルマップには、図１９に示すように、一次段階覚醒度と二次段階覚醒度と第２覚醒度と、覚醒度低下レベルとの相関性がマップとして予め格納されており、覚醒低下レベル推定部１５は、入力された、一次段階覚醒度、二次段階覚醒度及び第２覚醒度と、当該マップを参照して、覚醒低下レベルを推定する。ここで、覚醒低下レベル推定部１５により推定される覚醒低下レベルは、上記の覚醒度と同様に、運転手に覚醒の度合いを示しているが、少なくとも２つ以上の指標から推定される覚醒度の低下の度合いを示している。

まず、当該マップについて、図１９を用いて説明する。縦軸に、運転手の覚醒の程度、横軸に快・不快をとっており、原点から下向きに覚醒低下の度合いに応じた覚醒低下レベルを示しており、当該覚醒低下レベルは、平常を０、ぼんやりを１, 眠い状態を２, 居眠りしている状態を３とする。また丸印で囲う部分の座標は、（横軸の値、縦軸の値）相当する。

縦軸について、一次段階覚醒度は居眠りの（一次段階）初期段階を数値で表し、二次段階覚醒度は居眠りの次の段階の覚醒度を数値で表しているため、概念的には、一次段階覚醒度が覚醒低下レベル１〜２に対応し、二次段階覚醒度が覚醒低下レベル２〜３に対応するように、覚醒低下レベル推定部１５には、以下のような条件が設定されている。なお、一次段階覚醒度、二次段階覚醒度及び第２覚醒度は、各演算部の出力である覚醒度を正規化した値とする。

なお、上記条件において、縦軸の覚醒低下レベルを推定する際に、横軸の覚醒レベルを推定するための指標である第２覚醒度を条件に加えている。運転手が眠くなった場合に、第１覚醒度と第２覚醒度はそれぞれ完全に独立した指標ではないため、縦軸の覚醒低下レベルを推定する際に、第２覚醒度を指標に加えることで推定精度を高めている。

次に横軸について、第２覚醒度は、運転手が睡魔と苦闘又は葛藤することでできる限り覚醒しようと努力していることよって、運転手が受ける不快度を表しており、第２の覚醒度が高いほど不快度が高くなる。そして、覚醒低下レベル推定部１５には、以下のような条件が設定されている。

なお、平常(覚醒低下レベル０)時と居眠り(覚醒低下レベル３)の時には、通常、眠気との葛藤は見られないが、計算を簡略化するために設定する（図１９の点線で囲った丸部分に相当）。

また、覚醒度−低下レベルマップ１５１には、図１９の各座標で示すように、上記条件で演算された縦軸と横軸の覚醒低下レベルに応じた座標点毎に、推定される覚醒低下レベルが割当てられている。なお、図１９は、説明を容易にするために、離散的な１２の領域で示しているが、１２の領域には限らず、各軸の覚醒低下レベルに対応した、連続した値により覚醒低下レベルが設定されている。そして、図１９の各座標に相当する覚醒低下レベルが、覚醒低下レベル推定機能（Ｆ３１）により推定される覚醒低下レベルとなる。各座標で示される領域の中で、覚醒低下レベルは、座標（３、０）を最も高い値に設定し、（２、２）、（２、１）、（２、０）、（１、１）、（１、０）の順で低くなるよう設定し、（０、０）を最も低い値に設定する。例えば、座標（３、０）に相当する覚醒低下レベルは居眠り状態の覚醒低下を示し、（２、２）に相当するレベルは眠くてかなりつらい状態の覚醒低下を示し、（２、１）に相当するレベルは眠くて少しつらい状態の覚醒低下を示し、（２、０）に相当するレベルは辛くはないが眠い状態を示し、（１、０）に相当するレベルは眠くなくぼんやりした状態を示し、（０、０）に相当するレベルは平常な状態を示す。また、座標（１、２）、（１、１）、（２、２）及び（２、１）の覚醒低下レベルは眠気と葛藤している状態を示している。なお、図１９の領域のうち、座標（３、２）、（０，２）及び（０、１）で示される領域は、上記のように、計算を簡略化のために設けられているため、覚醒低下レベルは割当てられていない。

これにより、覚醒低下レベル推定部１５は、覚醒度−低下レベルマップを用いて、覚醒度退化レベル推定機能（Ｆ３１）により、一次段階覚醒度、二次段階覚醒度及び第２覚醒度に応じた縦軸及び横軸の覚醒低下レベルを演算し、演算された縦軸及び横軸の覚醒低下レベルから、推定の覚醒低下レベルに相当する座標を特定することで、最終的な覚醒低下レベルを推定する。

ここで、図２０を用いて、実際に運転手が平常状態から居眠り状態になった場合において、運転手の主観に基づく覚醒低下レベルの推移（グラフｂ）と、観察者の評価による覚醒低下レベルの推移（グラフａ）と、副次的行動の推移（ｃ）と、操舵振幅の推移（ｄ）と、閉眼率の推移（グラフｅ）とを比較する。図２０は、これらの各指標の時系列を示すグラフである。なお、観察者の評価による覚醒低下レベルは、運転手の顔画像を観て評定する。観察者は、顔画像から平常を０、ぼんやりを１, 眠い状態を２, 居眠りしている状態を３として評価し、また運転手の眠りに対する苦痛の度合に応じて０〜２の値で評価し、それぞれ観察評価指標（覚醒低下の度合、眠りに対する苦痛度合）として評価した。

図２０（ａ）のグラフａ及びｂに示すように、運転手の主観と、観察者の評定はおよそ一致し、平常から居眠りまでの覚醒低下レベルの過程を表現できているといえる。なお、観察評価においてところどころ主観に比べて波形に乱れが生じるのは、運転手の自己覚醒によるものと考えられる。自己覚醒は運転手が眠気と同時に起こる事象であるため、運転手の主観には表れ難いと考えられる。

そして、図２０（ｂ）に示すように、グラフｃ〜ｅで示す各指標を重ね合わせた波形が、図２０（ａ）のグラフａ及びｂで示す、観察評価による覚醒低下レベルの波形とおおよそ合致していることが分かる。これにより、本例が、異なる指標を組み合わせて、覚醒低下レベルを推定することで、覚醒の低下レベルの推定精度を高めていることが確認できる。

図２に戻り、刺激制御部１６の制御内容を、図２１及び図２２を用いて、説明する。図２１は推定された覚醒低下レベルに対する刺激度を説明するための図であり、図１９に相当する。図２０は刺激制御部１６に格納されるマップを示す。

刺激制御部１６は、覚醒低下レベル１５により推定された覚醒低下レベルに応じて、対応する刺激度を設定し、刺激度に応じて、モニタ４０、スピーカ４１及びエアコン４２を制御する。刺激度は、Ａ〜Ｅの５段階で示され、覚醒低下レベルはＡから順位に大きく、Ｅが最も覚醒低下レベルが大きくなる。

図２１に示すように、覚醒度−低下レベルマップ１５１に格納されるマップに対応して、覚醒低下レベルに応じてＡ〜Ｅの領域が区切られている。領域Ａは、平常運転の領域である。領域Ｂは、運転手がぼんやりしており起きようとする努力がみられる領域である。領域Ｃは、運転手が眠気を自覚しておりがんばって起きていようと努力している領域である。領域Ｄは覚醒低下が生じているのに起きようとする努力が認められない領域である。領域Ｅはほぼ居眠り運転に近い領域である。

刺激制御部１６には、図２１に示すマップが格納されており、刺激制御部１６は、推定された覚醒低下レベルから対応する刺激度を設定する。例えば、推定された覚醒低下レベルが、座標（２、２）で表されるレベルである場合には、刺激制御部１６は刺激度をＣに設定する。

また刺激制御部１６には、図２２に示すような、刺激度（Ａ〜Ｅ）に応じた制御のマップが格納されており、刺激制御部１６は当該マップを参照して、運転手に刺激を与えるための制御を行う。刺激度Ａでは、運転手は平常状態であるため、刺激制御部１６は何も制御を行わない。または、推定された覚醒低下レベルをモニタ４０に表示してもよい。刺激度Ｂでは、運転手はぼんやりとしているが起きようと努力をしているため、刺激制御部１６は、休憩の提案をモニタ４０に表示させたり、エアコンを制御して車室内の温度を下げたりする。または、音楽をかけるよう制御してもよい。

刺激度Ｃでは、刺激制御部１６は、休憩の勧告をモニタ４０に表示させたり、スピーカ４１から話しかけたりするよう制御する。または、覚醒効果の香りを出す機器（図示しない）を制御してもよい。刺激度Ｄでは、運転手がぼんやりもしくは眠気を感じているが起きようとする努力が見られないため、刺激制御部１６は、休憩を指示する旨をモニタ４０に表示させたり、図示しない通信機器を用いて車外へ報知したりする。または、覚醒効果の香りを出す機器（図示しない）を制御してもよい。刺激度Ｅでは、刺激制御部１６は、モニタ４０やスピーカ４１により居眠りを警報させたり、図示しない通信機器を用いて車外へ報知したりする。または、図示しない、バイブレータ機器により運転手に直接的な刺激を与えてもよい。

このように、刺激制御部１６には、刺激度が低い場合には、運転手へ与える刺激の強さが弱くなるような制御が設定され、刺激度が高い場合には、運転手へ与える刺激の強さが強くなるような制御が設定されている。そして、刺激制御部１６は、設定した刺激度に応じて、モニタ４０等を制御し、運転手を覚醒させるように制御を行う。

制御装置１０は、第１覚醒度演算部１１及び第２覚醒度演算部１２による各覚醒度の演算と、覚醒低下レベル推定部１５による覚醒低下レベルの推定、及び、刺激制御部１６による刺激制御を、所定の周期で行っている。そして、制御装置１０は、運転手に刺激を与えても、覚醒低下レベルの改善がされない場合、言い換えると、刺激の与えた後の覚醒低下レベルが刺激を与える前の覚醒低下レベルより高くになった場合には、刺激度が上がるため、前回の刺激と異なる刺激を与える。これにより、運転手の覚醒低下レベルが進行することを防ぐことができる。

上記のように、本例は、第１覚醒度演算部と、当該第１の覚醒度演算部とは異なる第２覚醒度演算部と、第１覚醒度と第２覚醒度とを用いて、運転手の覚醒低下レベルを推定する覚醒低下レベル推定部とを備える。本例と異なり、例えば、第１覚醒度と第２覚醒度とのいずれか一方のみで覚醒低下レベルを推定した場合には、覚醒低下が、居眠りによるものか、それとも他の要因によるものか、判別できない可能性がある。本例では、第１覚醒度と第２覚醒度という異なる指標を組み合わせて、覚醒の低下レベルを推定するので、覚醒の低下レベルの推定精度を高めることができ、その結果として、運転手の状態を正確に把握することができる。また異なる指標を用いることで、覚醒低下の初期段階のみでなく、居眠り状態の検出範囲を広げつつ、覚醒低下の過程の全体を把握した上で、覚醒低下レベルを演算するため、演算精度を高めることができる。

また本例は、検出された操舵角と予想操舵角との誤差、一次覚醒度演算部１１１により演算される操舵振幅、又は、操舵間隔の少なくともいずれか一つの指標に基づいて、覚醒度を演算し、運転手の顔画像に基づく閉眼率から覚醒度を演算する。これにより、運転手の運転情報を的確に検出し、覚醒度の演算精度を高めることができる。また、車両情報のみではなく、操舵角や閉眼率を用いて覚醒度を演算するため、演算精度を高めることができる。

また本例は、車両情報である操舵率に基づいて、運転手の一次段階の覚醒度（一次段階覚醒度）を演算し、閉眼率等の運転状態の情報に基づき、運転手の二次段階の覚醒度を演算する。これにより、一次段階では、運転手の行動による車両の動きを評価することで運転パフォーマンスの低下を演算することができ、二次段階では、居眠りの可能性を評価することで、平常状態から居眠り状態までを数値を用いて推定することができる。

また本例は、運転手の口の動作、首の動作、または、手の動作の少なくとも一つの動作を検出し、当該少なくとも一つの動作に基づいて第２の覚醒度を演算する。これにより、覚醒低下に伴い生じる、運転手の苦痛、葛藤、あるいは、眠気から開放するための努力を検出することができる。

また本例は、運転手に刺激を与えた後の覚醒低下レベルが、運転手に刺激を与える覚醒低下レベル以上である場合には、運転手に与えた刺激と異なる刺激を運転手に与える。これにより、別の刺激を与える制御を選択することができ、運転手の覚醒の低下の進行を抑制することができる。

なお本例は、一次段階覚醒度、二次段階覚醒度、及び、第２覚醒度をそれぞれ演算して、覚醒低下レベルを推定するが、最初は一次段階覚醒度のみを演算し、当該一段階覚醒度が所定の覚醒度閾値より低い場合に、二次段階覚醒度及び第２覚醒度を演算して、覚醒低下レベルを推定してもよい。これにより、居眠り状態の初期段階で生じた覚醒の低下が、居眠りによるものか否かを判定することができるため、覚醒低下の演算レベルを高めることができる。

なお、覚醒低下レベルが刺激を与える前の覚醒低下レベルと比べて上昇した場合には、刺激を与えるための所定の周期より長い周期で、運転手に刺激を与える、または、前記運転手への刺激を停止してもよい。これにより、運転手が覚醒しているにもかかわらず、運転手に不必要に刺激が与えられ、運転手が不快に思うことを防ぐことができる
なお、一次覚醒度演算部１１１の操舵振幅・操舵間隔演算機能（Ｆ２）において、操舵間隔及び操舵振幅は、右または左に操舵している最中にはピークが存在せず離散値となるため、線形補完などの手法により内挿または外挿を行うことで連続値に変換し、演算してもよい。また、一次覚醒度演算部１１１は、操舵分布演算機能（Ｆ３）において、例えば、予想操舵角、操舵振幅及び操舵間隔のデータ量が所定のデータ量に達した時点で、それぞれの度数分布を更新してもよく、また運転終了時に、蓄積された予想操舵角、操舵振幅及び操舵間隔のデータを用いて更新してもよい。また、一次覚醒度演算部１１１が、運転手の個人を特定する個人認証機能を有している場合には、運転手毎に度数分布を演算してもよい。

なお、二次覚醒度演算部１１２は、例えば目頭の特徴点と目尻の特徴点とを時系列に見た場合に、当該特徴点が同様の位置にない場合には、顔が正面を向いていないと判定し、開閉眼を判定しないようにしてもよい。また、二次覚醒度演算部１１
車速信号又は操舵角信号により、車速が閾値速度より低い、低速である場合、又は、操舵角が閾値の操舵角より大きい場合には、顔の位置や向きが安定しないと判定し、開閉眼を判定しないようにしてもよい。

なお、本例において、演算する覚醒度は必ずしも二段階に分ける必要はなく、例えば、操舵角のデータと眼の開閉のデータに基づいて、１つの覚醒度を演算してもよい。また、本例では、図１９に示すように、一次段階覚醒度及び二次段階覚醒度と、第２覚醒度との間で相関をとるようなマップにより、覚醒低下レベルを推定するが、第１覚醒度と第２覚醒度との間で相関をとるようなマップにして、覚醒低下レベルを推定してもよい。一次段階覚醒度及び二次段階覚醒度は、図１９の縦軸で示す覚醒低下レベルを示しているため、第１覚醒度演算部１１は、一次段階覚醒度と二次段階覚醒度とを用いて、当該縦軸の覚醒低下レベルに相当する覚醒度を、第１覚醒度として演算してもよい。

また、本例において、覚醒低下レベル推定部１５は、上記の条件に基づいて、一次段階覚醒度、二次段階覚醒度及び第２覚醒度より、図１９のマップの縦軸の覚醒低下レベル及び横軸の覚醒低下レベルを推定するが、必ずしも上記条件に限らず、例えば、以下の条件により、縦軸の覚醒低下レベル及び横軸の覚醒低下レベルを推定してもよい。

第１覚醒低下レベルは図１９のマップの縦軸の覚醒低下レベルに相当し、第２覚醒低下レベルは図１９のマップ横軸の覚醒低下レベルに相当する。ａ１〜ａ５及びｂ１〜ｂ５は、重みを示す係数であり、予め運転手の顔画像を観て、観測者が評定した第１覚醒低下レベルと第２覚醒低下レベルとを正解データとしてできるだけ一致するように、予め演算された値である。なお、当該係数は、統計的な学習方法により演算されてもよい。

上記第１覚醒度演算部１１は本発明に係る「第１の覚醒度演算手段」に相当し、第２覚醒度演算部１２は「第２の覚醒度演算手段」に、覚醒低下レベル推定部１５は「覚醒低下レベル推定手段」に、操舵角検出部２２が「操舵角検出手段」に、撮像装置３１が「撮像手段」に、刺激制御部１６が「運転手覚醒手段」に相当する。また、一次段階覚醒度と、二次段階覚醒度と、第１覚醒度が、本発明に係る「第１の覚醒度」に相当し、第２覚醒度が本発明に係る「第２の覚醒度」に相当する。

１…覚醒低下検出装置
１０…制御装置
１１…第１覚醒度演算部
１１１…一次覚醒度演算部
１１２…二次覚醒度演算部
１２…第２覚醒度演算部
１３…操舵角信号処理部
１４…画像信号処理部
１５…覚醒低下レベル推定部
１５１…覚醒度−低下レベルマップ
１６…刺激制御部
２０…車両情報検出部
２１…操舵角検出部
２２…車速検出部
３１…撮像装置
４０…モニタ
４１…スピーカ
４２…エアコン

Claims (8)

1. 車両情報又は運転手の運転状態を示す情報の少なくともいずれか一方の情報に基づいて、運転手の第１の覚醒度を演算する第１の覚醒度演算手段と、
   前記第１の覚醒度検出手段と異なり、覚醒度低下の初期状態における前記運転手の副次的動作に基づいて、第２の覚醒度を演算する第２の覚醒度演算手段と、
   前記第１の覚醒度と前記第２の覚醒度とを用いて、前記運転手の覚醒低下レベルを推定する覚醒低下レベル推定手段とを備える
   ことを特徴とする覚醒低下検出装置。
2. 前記車両情報に含まれる操舵角を検出する操舵角検出手段をさらに有し、
   前記第１の覚醒度演算手段は、
   前記操舵角検出手段により検出される操舵角と前記操舵角検出手段により検出された過去の操舵角から予測される予測操舵角との誤差、前記操舵角検出手段により検出される操舵角から演算される操舵振幅、又は、前記操舵角検出手段により検出される操舵角から演算される操舵間隔の少なくともいずれか一つの指標に基づいて、前記第１の覚醒度を演算する
   ことを特徴とする請求項１記載の覚醒低下検出装置。
3. 前記運転手の少なくとも目の画像を撮像する撮像手段をさらに有し、
   前記第１の覚醒度演算手段は、
   前記撮像手段により撮像された画像から、前記運転状態の情報として、運転手の目の閉眼率を検出し、
   前記閉眼率に基づいて、前記第１の覚醒度を演算する
   ことを特徴とする請求項１又は２記載の覚醒低下検出装置。
4. 前記第１の覚醒度演算手段は、
   前記車両情報に基づき、前記運転手の初期の居眠り状態における前記第１の覚醒度を演算し、
   前記運転状態の情報に基づき、前記初期の次段階の居眠り状態における前記第１の覚醒度を演算する
   ことを特徴とする請求項１〜３のいずれか一項に記載の覚醒低下検出装置。
5. 前記運転手の顔の画像を撮像する撮像手段をさらに有し、
   前記第２の覚醒度演算手段は、
   前記撮像手段により撮像された画像から、前記運転状態として、前記運転手の口の動作、前記運転手の首の動作、または、前記運転手の手の動作の少なくとも一つの動作を検出し、
   前記少なくとも一つの動作に基づいて、前記第２の覚醒度を演算する
   ことを特徴とする請求項１〜４のいずれか一項に記載の覚醒低下検出装置。
6. 前記覚醒低下レベル推定手段は、
   前記初期の居眠り状態における第１の覚醒度が、所定の覚醒度閾値より低い場合に、前記次段階の居眠り状態における第１の覚醒度と前記第２の覚醒度とを用いて、前記覚醒低下レベルを推定する
   ことを特徴とする請求項４記載の覚醒低下検出装置。
7. 前記覚醒低下レベル推定手段による推定される覚醒低下レベルに応じて、運転手に刺激を与えて前記運転手を覚醒させるように車両を制御する運転手覚醒手段をさらに備え、
   前記運転手覚醒手段は、
   前記運転手に刺激を与えた後の前記覚醒低下レベルが、前記運転手に刺激を与える前記覚醒低下レベル以上である場合には、前記運転手に与えた刺激と異なる刺激を前記運転手に与える
   ことを特徴とする請求項１〜６のいずれか一項に記載の覚醒低下検出装置。
8. 前記覚醒低下レベル推定手段による推定される覚醒低下レベルに応じて、所定の周期で、運転手に刺激を与えて前記運転手を覚醒させるように車両を制御する運転手覚醒手段をさらに備え、
   前記運転手覚醒手段は、
   前記覚醒低下レベルが前記刺激を与える前の前記覚醒低下レベルと比べて上昇した場合には、前記所定の周期より長い周期で前記運転手に刺激を与える、または、前記運転手への刺激を停止する
   ことを特徴とする請求項１〜７のいずれか一項に記載の覚醒低下検出装置。

Images