JP2011125620A - 生体状態検出装置 - Google Patents

Abstract

【課題】生体状態の検出精度低下を防止することができる生体状態検出装置を提供する。
【解決手段】画像を用いて運転者の生体状態を検出する生体状態検出装置１であって、画像に基づいて運転者の顔特徴点を取得する顔特徴点検出部２１と、顔特徴点に基づいて運転者の顔姿勢を取得する顔姿勢検出部２２と、顔特徴点の特徴量のうち運転者の顔姿勢が所定範囲にある顔特徴点の特徴量に基づいて、運転者の生体状態を検出する眠気推定部２７とを備えることにより、例えば運転者の顔向きが顔特徴点の特徴量を誤検出する可能性のある範囲に向いている場合には、当該特徴量を運転者の生体状態を検出するための情報として利用することを回避して生体状態の検出精度低下を防止する。
【選択図】図１

Description

本発明は、生体状態を検出する装置に関するものである。

従来、生体状態を検出する装置として、画像を用いて運転者の眠気を検出するものが知られている（例えば、特許文献１参照）。特許文献１記載の装置は、運転者の顔画像を撮像し、撮像した画像領域を探索して眼を表す眼領域を抽出し、抽出された眼領域の画像に基づいて眼が開いている度合いを示す開眼度を算出する。そして、開眼度に基づいて眠気状態の判定を行う。

特開２００８−２１２２９８号公報

しかしながら、従来の装置にあっては、運転者の生体状態を正確に検出できないおそれがある。例えば、運転者の顔の向きがカメラの正面に向いていない場合には、開眼度を誤検知することがあるため、結果として生体状態を正確に検出することが困難となる場合がある。

そこで、本発明はこのような技術課題を解決するためになされたものであって、生体状態の検出精度低下を防止することができる生体状態検出装置を提供することを目的とする。

すなわち本発明に係る生体状態検出装置は、画像を用いて運転者の生体状態を検出する生体状態検出装置であって、前記画像に基づいて前記運転者の顔特徴点を取得する顔特徴点取得手段と、前記顔特徴点に基づいて前記運転者の顔姿勢を取得する顔姿勢取得手段と、前記顔特徴点の特徴量のうち前記運転者の顔姿勢が所定範囲にあるときの前記顔特徴点の特徴量に基づいて、前記運転者の生体状態を検出する生体状態検出手段と、を備えて構成される。

本発明に係る生体状態検出装置では、顔特徴点取得手段により、画像に基づいて運転者の顔特徴点が取得され、顔姿勢取得手段により、顔特徴点に基づいて運転者の顔姿勢が取得され、生体状態検出手段により、画像から取得された顔特徴点の特徴量のうち運転者の顔姿勢が所定範囲にあるときの顔特徴点の特徴量に基づいて運転者の生体状態が検出される。このため、例えば運転者の顔向きが顔特徴点の特徴量を誤検出する可能性のある範囲に向いている場合には、当該特徴量を運転者の生体状態を検出するための情報として利用することを回避することができる。よって、生体状態の検出精度低下を防止することが可能となる。

ここで、顔姿勢取得手段は、前記運転者の顔姿勢として、ヨー方向、ピッチ方向又はロール方向における顔向きを取得し、前記生体状態検出手段は、前記顔特徴点の特徴量のうち前記運転者の顔向きがヨー方向、ピッチ方向又はロール方向の所定範囲にあるときの前記顔特徴点の特徴量に基づいて、前記運転者の生体状態を検出することが好適である。

このように構成することで、例えばヨー方向、ピッチ方向又はロール方向において顔向きが特徴量を誤検出する可能性のある範囲に向いている場合には、当該特徴量を運転者の生体状態を検出するための情報として利用することを回避することができる。よって、生体状態の検出精度低下を防止することが可能となる。

また、前記生体状態検出手段は、前記顔特徴点の特徴量に基づいて運転者の眼が開いている度合いを示す開眼度を算出し、算出した開眼度に基づいて前記運転者の生体状態を検出することが好適である。このように構成することで、例えば生体状態として運転者が感じる眠気を検出することができる。

また、前記生体状態検出手段は、前記運転者のヨー方向の顔向きが所定範囲にない場合には、左右何れかの眼の開眼度を前記運転者の生体状態を検出するための情報として利用せずに、前記運転者の生体状態を検出することが好適である。

このように構成することで、ヨー方向の顔向きが顔特徴量を誤検出する可能性のある範囲に向いている場合には、左右何れかの眼の開眼度を誤検出するおそれがあるため、左右何れかの眼の開眼度を運転者の生体状態を検出するための情報として利用しないことによって、不確かな情報を利用して運転者の生体状態を検出することを回避することができる。よって、生体状態の検出精度低下を防止することが可能となる。

さらに、前記生体状態検出手段は、前記運転者の生体状態と相関のある瞬き特徴量に基づいて、前記運転者の生体状態を検出することが好適である。このように構成することで、目の瞼の開閉運動に関する情報を用いて運転者の生体状態を精度良く判定することができる。

本発明によれば、生体状態の検出精度低下を防止することができる。

実施形態に係る生体状態検出装置を備える車両の構成概要を示すブロック図である。 実施形態に係る生体状態検出装置の動作を示すフローチャートである。 実施形態に係る生体状態検出装置の入力画像の一例である。 実施形態に係る生体状態検出装置の顔特徴量検出処理を説明する概要図である。 顔姿勢を説明する概要図である。 実施形態に係る生体状態検出装置の開眼度算出処理を説明する概要図である。 実施形態に係る生体状態検出装置の未検出判定処理を説明する概要図である。 実施形態に係る生体状態検出装置の開眼・閉眼判定処理を説明する概要図である。 実施形態に係る生体状態検出装置の瞬き特徴量算出処理を説明する概要図である。 実施形態に係る生体状態検出装置の眠気推定処理を説明する概要図である。 実施形態に係る生体状態検出装置の作用効果を説明する概要図である。

以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。

本実施形態に係る生体状態検出装置は、例えば走行支援機能や運転支援機能を有する車両に好適に採用されるものである。

最初に、本実施形態に係る生体状態検出装置を備える車両の概要から説明する。図１は、本実施形態に係る生体状態検出装置１を備える車両の概要図である。図１に示す車両３は、画像センサ３１及びＥＣＵ（Electronic Control Unit）２を備えている。ＥＣＵは、電子制御する自動車デバイスのコンピュータであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）やＲＡＭ（Random AccessMemory）等のメモリ、及び入出力インターフェイスなどを備えて構成されている。

画像センサ３１は、運転者の画像を撮像するセンサである。画像センサ３１として、例えばＣＣＤカメラ等が用いられる。また、画像センサ３１は、撮像した画像情報をＥＣＵ２へ出力する機能を有している。

ＥＣＵ２は、画像センサ３１に接続されており、顔位置検出部２０、顔特徴点検出部（顔特徴点取得手段）２１、顔姿勢検出部（顔姿勢取得手段）２２、開眼度算出部２３、未検出判定部２４、開眼・閉眼判定部２５、瞬き特徴量算出部２６及び眠気推定部２７を備えている。なお、開眼度算出部２３、未検出判定部２４、開眼・閉眼判定部２５、瞬き特徴量算出部２６及び眠気推定部２７が生体状態検出手段に相当する。

顔位置検出部２０は、画像センサ３１が出力した画像に写された顔の位置を検出する機能を有している。例えば、顔位置検出部２０は、ニューラルネットワーク等の統計手法を用いて運転者の顔位置を画像の中から発見する。また、顔位置検出部２０は、発見された顔位置を顔特徴点検出部２１へ出力する機能を有している。

顔特徴点検出部２１は、顔位置検出部により発見された顔位置の画像領域の中から、顔の特徴点を検出する機能を有している。例えば、顔特徴点検出部２１は、ニューラルネットワーク等の統計手法を用いて運転者の顔の特徴点を発見する。顔特徴点としては、例えば、目尻、目頭、鼻腔中心、口端等が用いられる。顔特徴点検出部２１は、検出された顔特徴点を顔姿勢検出部２２及び開眼度算出部２３へ出力する機能を有している。

開眼度算出部２３は、顔特徴点検出部２１が出力した顔特徴点の特徴量（画像情報）に基づいて、運転者の眼が開いている度合いを示す開眼度を算出する機能を有している。例えば、開眼度算出部２３は、顔特徴点が含まれる所定の画像領域に対してフィルタをかけてエッジを強調した画像を生成する。そして、開眼度算出部２３は、生成されたエッジ画像上に目尻及び目頭を結ぶ複数の曲線を投影し、その曲線上のエッジ強度から上瞼及び下瞼の位置を検出する。そして、開眼度算出部２３は、上瞼の位置と下瞼の位置との差分を用いて開眼度を算出する。特徴量としては、例えば輝度値や画像上の位置情報等が用いられる。また、開眼度算出部２３は、算出された開眼度を開眼・閉眼判定部２５へ出力するとともに、ＥＣＵ２の記録部等に蓄積する機能を有している。

開眼・閉眼判定部２５は、開眼度算出部２３が出力した開眼度に基づいて、運転者の眼が開眼状態であるのか、閉眼状態であるのかを判定する機能を有している。例えば、開眼・閉眼判定部２５は、予めシミュレーション等により得られた開眼を判定するための閾値及び閉眼を判定するための閾値と、開眼度算出部２３が出力した開眼度とを比較して、開眼状態及び閉眼状態を判定する。また、開眼・閉眼判定部２５は、判定した結果を瞬き特徴量算出部２６へ出力する機能を有している。

顔姿勢検出部２２は、顔特徴点検出部２１が出力した顔特徴点に基づいて、画像に映された顔の姿勢を検出する機能を有している。例えば、顔姿勢検出部２２は、検出された顔特徴点の座標位置に顔の３Ｄモデルをフィッティングさせて運転者の位置、向きを算出する。また、顔姿勢検出部２２は、検出された顔姿勢を未検出判定部２４へ出力する機能を有している。

未検出判定部２４は、顔姿勢検出部２２が出力した顔姿勢に基づいて、開眼度算出部２３が出力した開眼度を無効（未検出）とする機能を有している。例えば、未検出判定部２４は、運転者の顔向きが正面を向いていない場合には、開眼度を誤検出するおそれがあるので、運転者の生体情報の検出のために利用する情報として採用しないように、その時点における開眼度を未検出とする。また、未検出判定部２４は、判定した結果を瞬き特徴量算出部２６へ出力するとともに、ＥＣＵ２の記録部等に蓄積する機能を有している。

瞬き特徴量算出部２６は、眠気と相関のある瞬き特徴量を算出する機能を有している。瞬き特徴量は、目の瞼の開閉運動に関する情報である。瞬き特徴量として、例えば、目を閉じている時間等が用いられる。瞬き特徴量算出部２６は、例えば、ＥＣＵ２の記録部等に蓄積された時系列の開眼度及び未検出とした開眼度の情報を参照し、所定時間において、開眼・閉眼判定部２５により判定された閉眼状態の時間が占める割合を算出する。ここで、瞬き特徴量算出部２６は、未検出判定部２４により未検出とされた開眼度を検出した期間を除いて、所定時間に対する閉眼状態時間の割合を算出する。すなわち、瞬き特徴量算出部２６は、誤検出する可能性のある開眼度以外のデータを用いて瞬き特徴量を算出する機能を有している。また、瞬き特徴量算出部２６は、算出された瞬き特徴量を眠気推定部２７へ出力する機能を有している。

眠気推定部２７は、瞬き特徴量算出部２６が出力した瞬き特徴量に基づいて、運転者の眠気の度合いを推定する機能を有している。眠気推定部２７は、例えば、事前に学習した眠気の度合いと瞬き特徴量との関係を用いて、運転者の眠気の度合いを推定する機能を有している。

生体状態検出装置１は、上述した顔位置検出部２０、顔特徴点検出部２１、顔姿勢検出部２２、開眼度算出部２３、未検出判定部２４、開眼・閉眼判定部２５、瞬き特徴量算出部２６及び眠気推定部２７を備えて構成されている。

次に、本実施形態に係る生体状態検出装置１の動作について説明する。図２は、本実施形態に係る生体状態検出装置１の眠気推定動作を示すフローチャートである。図２に示す制御処理は、例えばイグニッションオンされたタイミングから所定の間隔で繰り返し実行される。

図２に示すように、生体状態検出装置１は、最初に顔位置検出処理から開始する（Ｓ１０）。Ｓ１０の処理では、顔位置検出部２０が画像センサ３１から画像を入力して、運転者の顔位置を検出する。例えば、顔位置検出部２０は、図３に示す運転者の顔が写された画像Ｆ１を入力する。そして、顔位置検出部２０は、ニューラルネットワークを用いて入力した画像Ｆ１全体の範囲を探索して顔位置を発見する。なお、顔位置を発見するアルゴリズムは、ニューラルネットワークに限られる事は無く、Ｂｏｏｓｔｉｎｇ等の他の手法であってもよい。Ｓ１０の処理が終了すると、顔特徴点検出処理へ移行する（Ｓ１２）。

Ｓ１２の処理では、顔特徴点検出部２１が、Ｓ１０の処理で入力された画像Ｆ１のうち、顔を含む所定領域の画像（顔の存在範囲の画像領域）に対して、ニューラルネットワーク等を用いて顔の特徴点の位置を検出する。この処理について、図４を用いて説明する。図４は、顔を含む所定領域の画像Ｇ１に対する特徴点検出処理を説明するための概要図である。図４に示す画像Ｇ１は、Ｓ１０の処理で入力された画像Ｆ１の一部である。顔特徴点検出部２１は、例えば図４に示すように、右目尻、右目頭、左目尻、左目頭、鼻腔中心、左右口端等を特徴点Ｈとして検出する。なお、特徴点を検出するアルゴリズムは、ニューラルネットワークに限られる事は無く、Ｂｏｏｓｔｉｎｇ等の他の手法であってもよい。Ｓ１２の処理が終了すると、顔姿勢推定処理へ移行する（Ｓ１４）。

Ｓ１４の処理では、顔姿勢検出部２２が、Ｓ１２の処理で得られた顔特徴点に基づいて、顔姿勢を推定する。この処理について、図５を用いて説明する。図５は、３Ｄ顔モデルの一例を示す概要図である。図５に示すように、顔の上下方向に沿ったＹｍ方向、顔の左右方向に沿ったＸｍ方向、顔の前後方向に沿ったＺｍ方向において頭部回転中心からの距離を特徴点ごとに保持したものを３Ｄ顔モデルとしている。Ｙｍ軸周りの回転をヨー、Ｘｍ軸周りの回転をピッチ、Ｚｍ軸周りの回転をロールとしている。顔姿勢検出部２２は、図５に示すように、３Ｄ顔モデルを図４の画像Ｇ１に示す顔特徴点にフィッティングさせて最も一致するときの位置及び回転（ヨー、ピッチ、ロール）をその時点での顔姿勢とする。なお、顔姿勢の推定方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。Ｓ１４の処理が終了すると、開眼度算出処理へ移行する（Ｓ１６）。

Ｓ１６の処理では、開眼度算出部２３が、Ｓ１２の処理で得られた顔特徴点における特徴量を取得し、取得された特徴量に基づいて左右の眼の開眼度を算出する。この処理について、図６を用いて説明する。図６は、眼の開眼度算出処理を説明するための概要図である。図６に示すように、開眼度算出部２３は、Ｓ１２の処理で得られた顔特徴点である目尻Ｈ１，目頭Ｈ２を含む所定領域の画像に対して、例えばソーベルフィルタを適用して、エッジを強調した画像であるエッジ画像Ｇ２を生成する。そして、開眼度算出部２３は、目尻Ｈ１，目頭Ｈ２に基づいて作成した複数の曲線ＱＮ（Ｎ：整数）をエッジ画像に投影し、その曲線上のエッジの強度（エッジ画像の画素値）を算出する。曲線ＱＮとして、例えば、ベジェ曲線が用いられる。そして、開眼度算出部２３は、算出されたエッジ強度の中からエッジ強度が強い曲線ＱＮを選択し、上瞼曲線，下瞼曲線とする。そして、開眼度算出部２３は、上瞼曲線の中点のＹ座標及び下瞼曲線の中点のＹ座標を算出し、上下瞼のＹ座標の差分に基づいて開眼度［ｐｉｘ］を算出する。なお、開眼度の算出方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。Ｓ１６の処理が終了すると、未検出処理へ移行する（Ｓ１８）。

Ｓ１８の処理では、未検出判定部２４が、Ｓ１４の処理で得られた顔姿勢に基づいて運転者の顔向きが正面を向いているか否かを判定し、運転者の顔向きが正面を向いていない場合には、その時点での開眼度を未検出とする。未検出判定部２４は、顔のヨー方向（左右方向）、ピッチ方向（上下方向）及びロール方向（傾き）の値の何れか一つが所定の範囲内に無い場合、例えば−１５°〜＋１５°の範囲内に無い場合には、運転者の顔向きが正面を向いていないと判定する。そして、未検出判定部２４は、運転者の顔向きが正面を向いていない場合には、開眼度の誤検出が生じやすいため、その時点での開眼度を未検出とする。上記手法の他に、顔のヨー方向の値に応じて左右何れかの眼の開眼度を未検出とする手法を採用してもよい。この手法について、図７を用いて説明する。図７は、ヨー方向の顔向きに応じて右目又は左目の開眼度を未検出とする処理を説明するための概要図である。図７（Ａ）は、運転者の顔が左向きとなる場合の画像Ｆ２、図７（Ｂ）は、運転者の顔が正面を向いている場合の画像Ｆ３、図７（Ｃ）は、運転者の顔が右向きとなる場合の画像Ｆ４である。なお、以下では、画像センサ３１側からみた左右方向を用いて説明する。例えば、運転者の顔が左向きとは、画像センサ３１側からみて左側であり、左目とは、画像センサ３１側からみて左側の目である。未検出判定部２４は、運転者の顔向きが所定の範囲内に無い場合、例えば−１５°〜＋１５°の範囲内に無い場合であって、図７（Ａ）に示すように左向きである場合には、左目の開眼度を未検出とする。一方、未検出判定部２４は、運転者の顔向きが所定の範囲内に無い場合、例えば−１５°〜＋１５°の範囲内に無い場合であって、図７（Ｃ）に示すように右向きである場合には、右目の開眼度を未検出とする。このように、カメラからの距離が遠くなる眼については、誤検出が生じやすいため、その時点での開眼度を未検出とする。Ｓ１８の処理が終了すると、開眼・閉眼判定処理へ移行する（Ｓ２０）。

Ｓ２０の処理では、開眼・閉眼判定部２５が、Ｓ１８の処理で未検出とされた開眼度以外の開眼度に基づいて、眼を開けた状態である開眼状態及び眼を閉じた状態である閉眼状態を、閾値を用いて検出する。開眼・閉眼判定部２５は、例えば、時間に依存した開眼度の波形を用いて開眼状態及び閉眼状態を検出する。この処理について、図８を用いて説明する。図８は、時間に依存した開眼度の波形Ｋ１を示している。図８に示すように、開眼・閉眼判定部２５は、波形Ｋ１が開眼閾値Ａ１以上である場合には、開眼状態であると判定する。一方、開眼・閉眼判定部２５は、波形Ｋ１が閉眼閾値Ａ２以下である場合には、閉眼状態であると判定する。また、開眼・閉眼判定部２５は、波形Ｋ１が開眼閾値Ａ１より小さく閉眼閾値Ａ２より大きい場合には、中間状態であると判定する。このように、開眼・閉眼判定部２５は、閾値Ａ１，Ａ２を用いて眼の状態を判定する。なお、閾値Ａ１，Ａ２は、予め学習等で定めてもよいが、事前に設定した値以外のものを用いてもよい。また、開眼・閉眼判定部２５は、左右の眼について眼の状態を判定できる場合、すなわち、左右の眼の開眼度が検出されている場合には、両目の開眼度の平均値を用いて閾値判定を行い、運転者の眼の状態を判定する。一方、開眼・閉眼判定部２５は、左右の眼について何れか一方の眼の状態のみを判定できる場合、すなわち、左右の眼の開眼度の一方のみが検出されている場合には、検出された開眼度のみを利用して閾値判定を行い、運転者の眼の状態を判定する。Ｓ２０の処理が終了すると、瞬き特徴量算出処理へ移行する（Ｓ２２）。

Ｓ２２の処理では、瞬き特徴量算出部２６が、Ｓ２０の処理で判定した眼の状態（開眼状態、閉眼状態、中間状態）に基づいて、眠気と相関のある瞬き特徴量を算出する。例えば、瞬き特徴量算出部２６は、所定の期間（例えば１０秒）における眼の状態のうち、閉眼状態となっていた閉眼期間を取得し、所定の期間に対する閉眼期間の割合を算出して瞬き特徴量とする。この処理について、図９を用いて説明する。図９は、時間に依存した開眼度の波形Ｋ２を示している。期間Ｔ１〜Ｔ３は、開眼度が閉眼閾値Ａ２以下となった期間、すなわち閉眼期間である。ここで、Ｓ１８の処理において期間Ｔ３は開眼度が未検出とされた区間であるとする。この場合、瞬き特徴量算出部２６は、期間Ｔ３を除く所定期間を設定し、設定された所定期間に対して閉眼期間が占める割合を瞬き特徴量として算出する。すなわち、瞬き特徴量算出部２６は、Ｓ１８の処理で未検出とされた期間の情報を除外して瞬き特徴量を算出する。なお、Ｓ２２の処理において、眠気と相関のある物理量であれば瞬き特徴量以外の特徴量を用いてもよい。Ｓ２２の処理が終了すると、眠気推定処理へ移行する（Ｓ２４）。

Ｓ２４の処理では、眠気推定部２７が、Ｓ２４の処理で算出した瞬き特徴量、及び眠気の度合いと瞬き特徴量との関係を用いて、運転者の眠気の度合いを推定する。この処理について図１０を用いて説明する。図１０は、眠気推定処理を説明するための概要図である。図１０では、眠気の度合いが低い場合の統計分布（瞬き特徴量に依存した確率密度）をＳＡ、眠気の度合いが高い場合の統計分布（瞬き特徴量に依存した確率密度）をＳＢとして示している。統計分布ＳＡ，ＳＢは、例えば、オフライン処理で行われる事前学習で取得される。ここで、Ｓ２４の処理で算出した瞬き特徴量をＲ１とすると、眠気推定部２７は、統計分布ＳＡ，ＳＢ及び瞬き特徴量Ｒ１に基づいて確率密度Ｓ１を算出し、大小関係によって眠気の度合いを推定する。なお、眠気の度合いの算出方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。Ｓ２４の処理が終了すると、図２に示す制御処理を終了する。

以上で図２に示す制御処理を終了する。図２に示す制御処理を実行することにより、運転者の顔向きによって誤検出される可能性の高いと判定された開眼度については未検出とされ、それ以外の開眼度に基づいて運転者の眠気の度合いが推定される。このため、眠気の度合いの推定精度が低下することを回避することができる。この作用効果について、従来技術と対比しながら詳細に説明する。例えば、図１１に示すように、時間に依存した開眼度の波形Ｋｂには、高周波のノイズ成分Ｎ１、及び低周波のノイズ成分Ｎ２が存在しているものとする。低周波のノイズ成分Ｎ２は、例えば、運転者の顔の動きによって生じる誤検出等により発生する。この場合、従来の装置であれば、過去の一定期間の開眼度の波形を平滑化してノイズ成分を除去した波形Ｋａを生成し、生成された波形Ｋａを用いて眠気の推定を行う。しかしながら、図１１に示すように、平滑化処理のみでは低周波のノイズ成分Ｎ２を除去することは困難である。このため、従来の装置にあっては、低周波のノイズ成分Ｎ２が存在する場合には、誤った情報に基づいて運転者の眠気の度合いを推定するおそれがある。

これに対して、本実施形態に係る生体状態検出装置１によれば、顔特徴点検出部２１により、画像に基づいて運転者の顔特徴点が取得され、顔姿勢検出部２２により、顔特徴点に基づいて運転者の顔姿勢が取得され、眠気推定部２７により、画像から取得された顔特徴点の特徴量のうち運転者の顔姿勢が所定範囲にある顔特徴点の特徴量に基づいて運転者の生体状態が検出される。このため、例えば運転者の顔向きが顔特徴点の特徴量を誤検出する可能性のある範囲に向いている場合には、当該特徴量を運転者の生体状態を検出するための情報として利用することを回避することができる。すなわち、低周波のノイズ成分Ｎ２が存在する場合であっても、ノイズ成分を用いて運転者の生体状態を検出することを回避することが可能となる。よって、生体状態の検出精度低下を防止することができる。

また、本実施形態に係る生体状態検出装置１によれば、開眼度算出部２３により、顔特徴点の特徴量に基づいて運転者の眼が開いている度合いを示す開眼度が算出され、眠気推定部２７により、算出された開眼度に基づいて運転者の生体状態が検出される。このため、例えば生体状態として運転者が感じる眠気を検出することができる。

また、本実施形態に係る生体状態検出装置１によれば、ヨー方向の顔向きが顔特徴量を誤検出する可能性のある範囲に向いている場合には、左右何れかの眼の開眼度を誤検出するおそれがあるため、左右何れかの眼の開眼度を運転者の生体状態を検出するための情報として利用しないことによって、不確かな情報を利用して運転者の生体状態を検出することを回避することができる。よって、生体状態の検出精度低下を防止することが可能となる。

さらに、本実施形態に係る生体状態検出装置１によれば、運転者の生体状態と相関のある瞬き特徴量に基づいて、運転者の生体状態を検出するため、目の瞼の開閉運動に関する情報を用いて運転者の生体状態を精度良く判定することができる。

なお、上述した実施形態は本発明に係る生体状態検出装置の一例を示すものである。本発明に係る生体状態検出装置は、実施形態に係る生体状態検出装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る生体状態検出装置を変形し、又は他のものに適用したものであってもよい。

例えば、上述した実施形態では、開眼度算出処理後に未検出判定処理を実行していたが、未検出判定処理後に開眼度算出処理を行ってもよい。この場合、未検出判定処理で未検出とした場合には、開眼度の算出は行わなくてもよい。

例えば、上述した実施形態では、生体状態検出装置１が、顔位置検出部２０、顔特徴点検出部２１、顔姿勢検出部２２、開眼度算出部２３、未検出判定部２４、開眼・閉眼判定部２５、瞬き特徴量算出部２６及び眠気推定部２７を備える例を説明したが、顔位置検出部２０、開眼度算出部２３、開眼・閉眼判定部２５及び瞬き特徴量算出部２６は、必要に応じて備えればよい。

１…生体状態検出装置、２…ＥＣＵ、３…車両、２０…顔位置検出部、２１…顔特徴点検出部（顔特徴点取得手段）、２２…顔姿勢検出部（顔姿勢取得手段）、２３…開眼度検出部（生体状態検出手段）、２４…未検出判定部（生体状態検出手段）、２５…開眼・閉眼判定部（生体状態検出手段）、２６…瞬き特徴量算出部（生体状態検出手段）、２７…眠気推定部（生体状態検出手段）、３１…画像センサ。

Claims (5)

1. 画像を用いて運転者の生体状態を検出する生体状態検出装置であって、
   前記画像に基づいて前記運転者の顔特徴点を取得する顔特徴点取得手段と、
   前記顔特徴点に基づいて前記運転者の顔姿勢を取得する顔姿勢取得手段と、
   前記顔特徴点の特徴量のうち前記運転者の顔姿勢が所定範囲にあるときの前記顔特徴点の特徴量に基づいて、前記運転者の生体状態を検出する生体状態検出手段と、
   を備えることを特徴とする生体状態検出装置。
2. 顔姿勢取得手段は、前記運転者の顔姿勢として、ヨー方向、ピッチ方向又はロール方向における顔向きを取得し、
   前記生体状態検出手段は、前記顔特徴点の特徴量のうち前記運転者の顔向きがヨー方向、ピッチ方向又はロール方向の所定範囲にあるときの前記顔特徴点の特徴量に基づいて、前記運転者の生体状態を検出する請求項１に記載の生体状態検出装置。
3. 前記生体状態検出手段は、前記顔特徴点の特徴量に基づいて運転者の眼が開いている度合いを示す開眼度を算出し、算出した開眼度に基づいて前記運転者の生体状態を検出する請求項１又は２に記載の生体状態検出装置。
4. 前記生体状態検出手段は、前記運転者のヨー方向の顔向きが所定範囲にない場合には、左右何れかの眼の開眼度を前記運転者の生体状態を検出するための情報として利用せずに、前記運転者の生体状態を検出する請求項３に記載の生体状態検出装置。
5. 前記生体状態検出手段は、前記運転者の生体状態と相関のある瞬き特徴量に基づいて、前記運転者の生体状態を検出する請求項１〜４の何れか一項に記載の生体状態検出装置。

Images