JP2007257043A - 乗員状態推定装置および乗員状態推定方法 - Google Patents

Abstract

【課題】乗員状態推定装置において、取り扱うデータ量を低減するとともに、眠気の状態をはじめとする状態の初期段階から、的確に状態を解析することができるものとする。
【解決手段】運転者２００の顔に向けて照明光Ｌを照射する照明１１と、照明された運転者２００の顔を含む映像Ｐを撮影するカメラ１０と、撮影された映像Ｐが入力され、その映像Ｐのうちから運転者２００の顔画像２１０を抽出して出力する顔画像出力手段２０と、出力された顔画像２１０を入力し、画像処理によって顔画像２１０における顔特徴点２２０を出力する特徴点出力手段３０と、顔特徴点２２０を、学習済みの乗員状態を表すデータＤと照らして、乗員状態Ｃを推定する状態推定手段４０と、推定された乗員状態Ｃを乗員状態信号Ｃｓとして出力する状態信号出力手段５０と、を備える。
【選択図】図１

Description

本発明は、乗員状態推定装置および乗員状態推定方法に関し、詳細には、車両の運転者等乗員の顔の画像に基づいてその乗員の眠気状態などの状態を推定するものである。

従来より、表情認識技術は、一般に、人間の基本６感情（喜び、悲しみ、怒り、恐れ、嫌悪、驚き）を対象とし、また突発的で急激な表情変化を捕らえることを目的としている。

これに対して、車両の運転者等の乗員の表情変化を分析する技術では、その表情から、運転中の疲れを読み取るものや、居眠りへの移行期を捉える技術として提案されている（特許文献１，２，３）。

例えば、表情の遷移過程にある中間画像もデータベース化することにより、徐々に変化する表情の途中段階を捕らえるものであり、所定の感情または人間の状態に応じて変化する表情を対象として、この表情が段階的に変化する複数の顔画像からなる、予め生成された表情遷移マップと、実写顔画像とを比較照合して、表情遷移マップの中で最も近似している顔画像を選択するもの（特許文献１）や、運転者の開閉眼を検出し、この検出された開閉眼のパターンに基づいて、運転者の状態、特に眠気の状態などを判定するもの（特許文献２，３）が提案されている。
特開２００１−４３３４５号公報 特開平６−３２１５４号公報 特開平９−３９６０３号公報

しかし、表情の遷移過程をデータベース化する特許文献１による技術は、顔全体の画像を比較データとして用いるため、処理されるデータ量が非常に多く、しかも、表情変化の過程を遷移マップとして持つため遷移マップそのもののデータ量も膨大になるという課題があった。

また、開閉眼のパターンに基づいて居眠りを検出する特許文献２，３による技術は、一定時間以上継続する閉眼時間や、一定期間内に発生した閉眼の割合（閉眼時間比率）に応じて居眠りを判定するため、眠気の増した状態、つまり閉眼の長さまたは頻度がある程度増加した状態、を捉えることはできるが、居眠りの初期段階を検出することはできなかった。

本発明は上記事情に鑑みなされたものであって、取り扱うデータ量を低減するとともに、眠気の状態をはじめとする状態の初期段階から、的確に状態を解析することができる乗員状態推定装置および乗員状態推定方法を提供することを目的とするものである。

本発明に係る乗員状態推定装置および乗員状態推定方法は、目、鼻、口、眉等の顔の特徴点の情報を複数検出し、これら複数の顔特徴点の位置等の情報の組合せにより特定される顔の表情に基づいて、そのときの眠気の状態等乗員状態を的確に推し量るものである。

すなわち、本発明に係る乗員状態推定装置は、カメラによって撮影された乗員の顔画像を出力する顔画像出力手段と、前記顔画像を入力し、顔の特徴点を抽出して顔特徴点として出力する特徴点出力手段と、前記顔特徴点を入力し、予め学習済みの乗員状態を表す学習済みモデル（データ）と比較して、前記顔の特徴点による乗員状態を推定する状態推定手段と、前記推定された乗員状態を乗員状態信号として外部に出力する状態信号出力手段と、を備えたことを特徴とする。

ここで、顔の特徴点とは、顔の表情を特徴付ける、例えば目、鼻、口、眉等である。

また、乗員状態とは、これら複数の特徴点の位置等の組合せに応じた表情が表す身体的状態を意味するものであり、例えば、眠そうな状態や覚醒している状態などである。

また、顔画像取得手段は、例えばＣＣＤやＣＭＯＳを用いたカメラ（スチルカメラ、ビデオカメラ）からの映像信号を入力として映像信号をデジタル画像としてキャプチャしメモリ内に顔画像情報を出力するものである。

本発明に係る乗員状態推定装置および乗員状態推定方法によれば、抽出した顔の特徴点を比較対象とすることにより、データ量を予め学習済みの乗員状態を表す学習済みモデル（データ）と顔の特徴点とを比較する際に取り扱うデータ量を低減することができるとともに、顔特徴点を学習済みモデルと比較することにより、眠気の状態を始めとする状態の初期段階から、この状態を的確に解析することができる。

以下、本発明の乗員状態推定装置および乗員状態推定方法に係る最良の実施形態について、図面を用いて説明する。

図１は、本発明に係る乗員状態推定装置の実施形態である運転者状態推定装置１００を示すブロック図である。図示の運転者状態推定装置１００は、自動車に取り付けられ、この自動車の運転者２００（乗員）の顔に向けて照明光Ｌを照射する照明具１１と、照明光Ｌによって照明された運転者２００の顔を含む映像Ｐを撮影するカメラ１０と、このカメラ１０によって撮影された映像Ｐが入力され、その映像Ｐのうちから運転者２００の顔画像２１０を抽出して出力する顔画像出力手段２０と、顔画像出力手段２０から出力された顔画像２１０を入力し、画像処理によって顔画像２１０における顔の特徴点を抽出して顔特徴点２２０として出力する特徴点出力手段３０と、顔特徴点２２０を入力し、予め学習済みの乗員状態を表すデータ（学習済みモデル）Mと比較して、顔特徴点２２０に応じた乗員状態Ｃを推定する状態推定手段４０と、推定された乗員状態Ｃを信号に変えて乗員状態信号Ｃｓとして外部に出力する状態信号出力手段５０と、を備えた構成である。

ここで、カメラ１０は、例えばＣＣＤやＣＭＯＳなどの撮像素子を用いた小型のものであり、時系列に順次撮影された映像Ｐを出力する。また、照明具１１は、運転者２００の顔に、できるだけ影ができないように照明光Ｌを投射する。

照明光Ｌとしては、運転者２００に対する眩しさを軽減するために、可視光よりも近赤外光を用いるのが好ましい。

なお、カメラ１０や照明具１１は、運転者状態推定装置１００の専用に備えられたものである必要はなく、他の用途のために予め車室内に設けられているものが存在するときは、それらの予め備えられているカメラや照明具によって、上記カメラ１０や照明具１１を代用することもできる。

これとは反対に、運転者状態推定装置１００の構成の一つとして備えられたカメラ１０は、撮影した映像Ｐを運転者状態推定装置１００以外の用途（例えば、車両の制御や、運転者へのフィードバック、車外への通信出力など）に用いてもよい。

また、顔特徴点２２０とは、顔の表情を特徴付ける、例えば目、鼻、口、眉等であり、乗員状態Ｃとは、これら複数の顔特徴点２２０の位置等の組合せに応じた表情が表す身体的状態を意味するものであり、例えば、眠そうな状態や覚醒している状態などである。

顔画像取得手段２０は、カメラ１０からの映像Ｐの信号を入力としてデジタル画像としてキャプチャしメモリ内に顔画像信号を出力するものである。

特徴点出力手段３０は、図２に示すように、顔画像信号を入力し、顔画像信号の表す顔画像の濃度分布に基づいて、顔特徴点２２０を検出する顔特徴検出手段３１と、顔特徴点２２０の検出対象となる顔画像に対して、時系列的に以前に検出済みで、例えばメモリに記憶されている以前の顔特徴点２２１の近傍範囲を設定し、顔特徴検出手段３１に対して、検出対象となる顔画像のうち設定された近傍範囲において新たな顔特徴点２２０を検出させるとともに、メモリに記憶されている検出済みの顔特徴点２２１を、検出された新たな顔特徴点２２０に書き換える（更新する）顔特徴点追跡手段３２と、を備えた構成である。

ここで、特徴点検出手段３１の作用について、図３に示すフローチャートにしたがって、説明する。

まず、顔画像信号の表す顔画像の濃度分布に基づいて、顔特徴点２２０が有する特質としての横エッジを検出する（＃１）。この横エッジ検出は、画像の縦の各列について濃度値の極小値（眉、瞳等の黒い部分）を検出することにより行う。図４（ａ）に横エッジの検出結果を示す。

ステップ１（＃１）において検出された横エッジに対してノイズ除去を行う（＃２）。このノイズ除去は、横エッジ検出（＃１）によって得られたエッジ画像に対して、極小点のうち濃度変化が設定値未満のものと、極小点の８近傍（上・下、左・右、各斜め方向の各上下）において他の極小点がないことを以て、すなわち孤立点を削除することによって行う（＃２）。図４（ｂ）にノイズ除去結果を示す。

顔特徴候補の選択処理（＃３）は、各極小点情報ごとの各８近傍での連接状態を分析して、エッジの傾きが大きいものを削除し、また、横方向への繋がり長さが設定値以上のものについては、濃度変化の最も小さい極小点を削除することによって、横方向への繋がり長さが設定値以下のものに分割し、顔特徴点２２０の候補とする。図４（ｃ）に顔特徴候補選択結果を示す。顔特徴点２２０の候補の数が設定値未満の場合（＃４）は、現顔画像においては顔の検出ができないと判定（＃１０）して、処理を抜ける（顔特徴点検出おわり）。

ラベリング処理（＃５）では、図５（ａ）に示すように、各顔特徴点候補にそれぞれラベルを付す。ラベルを付す処理（ラベル付け処理）は、正規化された後の顔特徴点２３０に対して運転者状態Ｃのクラスを表す値（番号や名称）をラベルとしてつけ、ラベル付特徴点データとして出力する処理である。

グラフマッチング処理（＃６）では、予め用意した顔特徴点（ノード）と顔特徴点２２０間の位置関係（ブランチ）を、図５（ｂ）に示すように、ラベル付きの顔特徴点候補との組合わせを照合する。照合数が０（ゼロ）の場合（＃７）、現顔画像に基づいては、顔の検出ができないと判定（＃１０）して処理を抜ける（顔特徴点検出おわり）。

顔特徴点２２０の検出処理（＃８）では、複数の顔特徴点２２０の組合わせ結果のうち、予め用意した各顔特徴点２２０間の位置関係に最も近似している、または一致している組合せを、図５（ｃ）に示すように選択する。一致の度合いを表す評価値が最小評価値未満の場合（＃９）は、現顔画像に基づいては、顔の検出ができないと判定（＃１０）して処理を抜ける（顔特徴点検出おわり）。

上述した処理によって得られる顔特徴点２２０としては、例えば図６に示すように、右眼（ＥｙｅＲ）、左眼（ＥｙｅＬ）、右眉（ＢｒｏｗＲ）、左眉（ＢｒｏｗＬ）、右鼻孔（ＮｏｓｅＲ）、左鼻孔（ＮｏｓｅＬ）、口または唇（Ｌｉｐ）、顎（Ｃｈｉｎ）、右上眼鏡フレーム（ＧｌａｓＵＲ）、左上眼鏡フレーム（ＧｌａｓＵＬ）、右下眼鏡フレーム（ＧｌａｓＢＲ）、左下眼鏡フレーム（ＧｌａｓＢＬ）、眼鏡フレーム中心（ＧｌａｓＣ）という１３個の点を規定することができる。

なお、鼻については、右鼻孔（の位置）と左鼻孔（の位置）との中点位置を以て、単一の鼻（の位置）としてもよく、以下においては、鼻（の位置）を単一として、特徴点の数が合計１２点の態様で説明する。

上述した１２個の顔特徴点２２０の各位置は、右目の位置を基準（原点座標（０，０））とした相対位置で示すと、図７（ａ）に示すものとなり、左目の位置を基準（原点座標（０，０））とした相対位置で示すと、図７（ｂ）に示すものとなる。

なお、図７（ａ），（ｂ）はそれぞれ、顔画像サイズ（横３２０画素、縦２４０画素）の１／１０のサイズで、相対的位置関係を表現している。

各顔特徴点２２０は、マッチングのために一定の距離範囲を有しており、グラフマッチング（図３に示したフローチャートにおいて、ステップ６（＃６）の処理）の際に、右目または左目を基準として、その距離範囲内に入る顔特徴点２２０が何個存在するか、という照合を行う。

また、各顔特徴点２２０間には、重み付けの係数が予め設定されており、グラフマッチング処理の結果に対して、マッチングした顔特徴点２２０ごとの重みを総和した値を評価値とする。

ここで、重み付けの係数は、距離関係が重要な顔特徴点２２０間ほど、その重み付け係数が大きい値に設定されている。反対に、距離関係の重要性が低い顔特徴点２２０間については、その重み付け係数が小さい値に設定されている。

例えば、右目と左目との間の重み付け係数をＷ１、鼻と顎との間の重み付け係数をＷ２とすると、距離関係の重要度が相対的に高い前者の重み付け係数Ｗ１の方が、距離関係の重要度が相対的に低い後者の重み付け係数Ｗ２よりも、大きな値に設定されている（Ｗ１＞Ｗ２）。

顔特徴点追跡手段３２による顔特徴点追跡処理は、図８のフローチャートおよび図９（ａ）の模式図に示すように、まず顔特徴点追跡手段３２による前回の顔特徴検出処理もしくは顔特徴点追跡処理によって検出された前回の顔特徴点２２１の近辺の領域から、基準となる顔特徴点を検出し、または今回新たに検出された顔特徴点２２０の近辺の領域から、基準となる顔特徴点を検出する（＃２１→＃２４→＃２５）。

ここで、基準となる顔特徴点（例えば右目）が検出できない場合には、他の基準となる顔特徴点（例えば左目）の検出を行う（＃２４→＃２１→＃２２→＃２３）。他の基準となる顔特徴点（ここでは、右目または左目）も検出できなかった場合、現顔画像での追跡に失敗したとみなし（＃２２→＃２７）、処理を終了する。

基準となる顔特徴点が検出できた場合は（＃２４→＃２５、＃２２→＃２３）、次の顔特徴点を検出する（＃２６）。

この検出処理は、図９（ｂ）に示すように、前回の顔特徴点追跡処理において基準顔特徴点として検出された前回基準顔特徴点（例えば右目）とこの前回基準顔特徴点に隣接して前回検出された他の前回顔特徴点（例えば左目）との間の距離（重心位置間の距離）など相対的な位置関係を算出し、その算出された相対的な位置関係がそのまま、今回既に検出されている基準顔特徴点（座標既知）と検出対象となっている隣接した他の顔基準点（座標未知）との位置関係に相当すると仮定すれば、当該隣接した他の顔基準点が存在するであろうと「推定される位置」の近傍範囲を探索範囲として設定し、この設定された探索範囲で当該隣接した他の顔基準点を探索することによって、当該座標未知の隣接した他の顔基準点を検出する探索範囲を狭い範囲に絞り、これにより、検出処理時間の短縮と、検出対象でないノイズ等を他の顔基準点として誤って検出することの抑制とを図っている。

そして、限定された探索範囲内で他の顔基準点を検出することができたときは、その検出された座標をそのまま当該他の顔特徴点の位置として記憶する。

一方、上述した検出処理によって、他の顔基準点を検出することができなかったときは、上述した「推定される位置」を、「検出された位置」として確定する（＃２８）。すなわち、基準となる顔特徴点（右目）について前回の座標と今回の座標との差分を算出し、この算出された差分だけ、前回の他の顔特徴点（左目）の座標を移動させて、得られた座標を今回の他の顔特徴点（左目）の座標として設定する。

他の残りの顔特徴点についても、基準顔特徴点との相対的位置関係に基づいて以上の処理を順次繰り返すことにより、全ての顔特徴点の座標位置を更新することができる。

また、本実施形態における基準顔特徴点である右目（ＥｙｅＲ）の座標については、図１０に示すように、右目付近の濃淡画像信号に対して、各画素列（図示縦方向）ごとの画素列に沿った濃淡信号値（画素値）の分布を調べ、淡（白）→濃（黒）と変化する点（濃度の立ち上がりエッジ部；図１０において、○記号で表記）と、濃（黒）→淡（白）と変化する点（濃度の立ち下がりエッジ部；同図中において、×記号で表記）とを検出し、立ち上がりエッジ部の図示横方向に沿った連続状態（繋がり状態）を調べることにより、右目の左端と右端を検出し、これら立ち上がりエッジ部のうち、図示縦方向の最も上方にあるエッジ部の画素点を、目の上端とし、この上端が属する画素列中における立ち下がりエッジ部の画素点を、目の下端とし、これら目の上端と下端との中点を、顔特徴点としての右目の座標（代表位置）とする。

状態推定手段４０は、図１１に示すように、特徴点出力手段３０から出力された顔特徴点２２０の座標を入力し、この入力された顔特徴点２２０の座標を正規化して出力する顔特徴点正規化手段４１と、正規化された後の顔特徴点２３０の座標を入力して、少なくとも２つ以上の乗員状態Ｃにそれぞれ対応するものとして予め設定された学習済みモデルＭ１，Ｍ２，…，Ｍｉ，…とそれぞれ照らして、入力された顔特徴点２３０を、各学習モデルＭ１，Ｍ２，…，Ｍｉ，…への帰属割合Ｍ１（ｋ１），Ｍ２（ｋ２），…，Ｍｉ（ｋｉ），…によってクラス分けするクラス分け手段４２と、所定時間ごとにクラス分けの結果２４０の入力を受け、このクラス分けの結果２４０に基づいて乗員状態Ｃを算出して出力する乗員状態計算手段４３と、を備えた構成である。

ここで、顔特徴点２２０の座標として、少なくとも左右両目ＥｙｅＲ，ＥｙｅＬの代表点を含み、特徴点正規化手段４１は、顔特徴点２２０の重心を回転中心に両目ＥｙｅＲ，ＥｙｅＬが水平になるように回転し、両目ＥｙｅＲ，ＥｙｅＬ間の距離が一定になるように変換する。

すなわち、図１２のフローチャートに示すように、
・各顔特徴点２２０（左右の目）の座標の中心を、各目の重心としてそれぞれ求める（＃４１）。
・両目の重心同士を結ぶ直線を水平とするための回転角度θを求める（＃４２）。
・特徴点２２０を、上記重心を回転中心として、回転角度θだけ回転させる（＃４３；回転方向の正規化）。
・両目のうちいずれか一方の目の目尻と重心の水平方向距離が、単位長さ１となるように、画像サイズを調整する（＃４４；長さの正規化）。

図１３は、以上のフローチャートに沿った正規化処理により正規化された後の顔特徴点２３０を座標に表示したものである。

クラス分け手段４２は、正規化された後の顔特徴点２３０を特徴ベクトルとする。学習済みモデルＭｉ（ｉ＝１，２，…）は、クラス（乗員の状態Ｃ）ごとにラベリングされた特徴ベクトル群の領域を特徴点空間内に形成したものである。この特徴点空間に対して未知の特徴ベクトルをマッピングし、各クラス領域との位置関係を求めることにより、未知の特徴ベクトルがいずれのクラスに属するかを求める。

例えば、特徴ベクトルの終点位置がクラスＡに属すれば、この特徴ベクトルのクラスはＡであり、特徴ベクトルの終点位置がクラスＢに属すれば、この特徴ベクトルのクラスはＢである。

特徴ベクトルの終点位置がクラスＡにもクラスＢにも属さない場合は、この特徴ベクトルのクラスは該当なしとなるが、この場合には、終点位置と各クラス（Ａ，Ｂ）の中心位置Ａｃ，Ｂｃとの各距離に比に応じた、各クラスへの帰属割合によって、特徴ベクトルのクラスを規定する。

乗員状態計算手段４３は、クラス分け結果を時系列に一定時間ごとに得て、各クラスに属する割合を一定時間ごとに得るか、または、各クラスに属する割合に閾値を設けて、いくつかのレベルで表す。

例えば、乗員の状態Ｃとして、眠い状態と起きている状態とにそれぞれ対応して予め学習された学習済みモデルＭ１，Ｍ２との比較対照によって、クラス分けを行い、その結果の過去３０秒間の移動平均によって得られた各クラスの割合を、図１５に示す。これにより、乗員が起きている状態と眠気を感じている状態とを、確率として定量的に得ることができる。

さらに、これを基にして、起きている状態を−１００％、眠い状態を＋１００％とする眠い顔率を定義すると、この眠い顔率は図１６のように表される。

そして、図１６に示したグラフに対して、縦軸方向を３分割する、例えば、−４０％と＋４０％を閾値として設定すると、−４０％未満の範囲は、起きている可能性が高い領域、−４０％以上＋４０％未満の範囲は、眠気を感じるまでには至ってないが眠気の兆候が認められる領域、＋４０％以上の範囲は、眠くなっている可能性の高い領域、と区分することができる。

状態信号出力手段５０は、乗員状態計算手段４３によって得られた値、各クラスに属する割合を示す値、レベライズされた値、乗員状態Ｃを表す記号等を、デジタル信号である乗員状態信号Ｃｓに変換し外部に出力する。

以上、詳細に説明したように、本実施形態に係る運転者状態推定装置１００およびその処理方法であるところの運転者状態推定方法（乗員状態推定方法）によれば、顔の要素である眉、目、鼻、口などの相互の位置関係に応じて規定されるため、これら複数の特徴点の位置関係によれば、従来の乗員状態推定装置に用いられている目の開度のみによる状態の解析よりも、格段に多様な表情に対応した状態を推定解析することができる。

また、本実施形態の運転者状態推定装置１００は、顔特徴点２２０の位置関係についての比較となるため、顔全体の画像同士の比較となる従来の場合よりも、処理対象となるデータ量を格段に低減することができる。

さらに、特徴点出力手段３０は、顔画像の濃度分布に基づいて顔特徴点２２０を抽出するため、顔特徴点２２０を比較的簡単に抽出することができ、しかも、時系列的に繰り返し顔特徴点２２０を抽出する場合、顔特徴点２２０は、以前に検出された顔特徴点２２１の位置から大きくずれることは少ないことが、経験的に分かっているため、それらの顔特徴点２２０を抽出するための探索範囲を、以前に検出された顔特徴点２２１の位置の近傍範囲に限定しても特段の問題はなく、むしろ探索範囲を狭めることは、探索処理負荷の低減と探索処理時間の大幅な短縮を図るとともに、顔特徴点２２０の誤抽出の機会を低減することもできる。

また、顔特徴点正規化手段４１が顔特徴点２２０の位置や回転角度等幾何学的関係を正規化処理することによって、複数の顔画像間で、向きや傾きあるいは長さなど空間的な位置関係を揃えられるため、複数の顔画像間で個体差（顔立ち自体の差異や姿勢の差に基づく差異など）が生じても、顔特徴点２２０の位置関係の比較を容易化することができる。

また、クラス分け結果を一定時間ごとの割合として求めることにより、状態を算出する際におけるクラス分け時の誤認識を低減することができ、さらに、状態の経時的な変化を捕捉しやすくすることができる。

しかも、顔特徴点２２０の座標として両目の代表点を含み、顔特徴点正規化手段４１が、顔特徴点２２０の重心を回転中心に両目が水平になるように回転し、両目間の距離が一定になるように変換するため、撮像される乗員の顔の大きさを揃えるとともに、顔の横方向への傾きによる顔の形状変化、個人差による誤検出を抑えることができる。

また、クラス分け手段４２が、特徴空間(学習済みモデル)に対して未知の特徴ベクトルをマッピングし、各クラス領域との位置関係を求めることにより認識クラスを決定するので、複数のクラスをひとつの特徴空間にマッピングするため、未知の特徴ベクトルとのマッチングを１回の特徴空間へのマッピングで済ます処理の効率化を図ることができる。

さらに、乗員状態計算手段４３が、クラス分けの結果を時系列的に得て一定時間ごとに各クラスに属する割合を得るか、または、各クラスに属する割合に閾値を設けて少なくとも２以上のレベルとして表現するため、乗員の突発的な変化ではなく、徐々に変化する状態を得ることができる。
（変形例）
上述した実施形態の運転者状態推定装置１００の変形例として、図１７に示すように、正規化された後の顔特徴点２３０（または２２０）を入力して開閉眼情報Ｅを出力する開閉眼判定手段６０と、乗員状態Ｃ（乗員状態信号Ｃｓ）と開閉眼情報Ｅとを入力して覚醒度Ｗを推定する覚醒度推定手段７０と、をさらに備えた構成として、乗員状態信号Ｃｓと開閉眼情報Ｅとの併用により、乗員の居眠り状態をより精度よく検出することができる。

ここで、開閉眼判定手段６０は、顔特徴点出力手段３０により得られる目の上端と下端の座標から、眼の縦幅を求め、この縦幅に対して閾値処理によって開眼または閉眼を判定し、この判定結果を開閉眼情報Ｅとする。

あるいは、目の上端と左端および右端との位置情報に基づいて、左端と右端とを結んだ直線よりも、目の上端が上方に位置している場合には開眼、下方に位置しているときは閉眼、と判定することもできる。

覚醒度推定手段７０は、乗員状態Ｃ（乗員状態信号Ｃｓ）の各クラスが一定時間（以下の例では、３０秒）内において占める割合に対して閾値を設けることによって判定されるものと、開閉眼の判定結果が一定時間内において占める閉眼の時間比率（閉眼時間比率という。）に対して閾値を設けることによって判定されるものとの論理和もしくは論理積によって覚醒状態を推定するものであり、この閉眼時間比率と、乗員状態Ｃ（乗員状態信号Ｃｓ）の推定によって眠い状態と判断される率との関係は、例えば図１８のグラフに示すものとなる。

眠気の初期段階では、閉眼時間比率のみでは、閉眼時間比率のわずかな上昇が見られるだけであり、閉眼時間比率に閾値を設けて覚醒度に変換しただけでは検出が困難である（図１８中の（Ｂ）；１７分の近辺）。

しかし、乗員状態Ｃ（乗員状態信号Ｃｓ）の推定によれば、初期段階において眠い状態を示していることを高い確率で検出することができ、このことにより、乗員状態Ｃ（乗員状態信号Ｃｓ）と開閉眼情報Ｅとの併用により、眠気の初期段階を適切に検出することができる。

例えば、覚醒度推定手段７０においては、眠気の初期段階を捉えるため、顔の全体表情からは眠気を推定できない図１８中の（Ａ）部分に相当する状態のときも、閉眼時間比率の閾値（５％）だけで判定する従来の装置では、単純に閉眼時間比率が閾値以上となって、眠気を推定できない状態であるにも拘わらず、眠い顔として誤検出される可能性がある。

しかし、本実施形態の運転者状態推定装置１００においては、眠い状態の割合（眠い顔率）の閾値（４０％）を併用するため、図１８において、閉眼時間比率が略同一値（５％）である２つの部分（Ａ）と（Ｂ）とを、明確に峻別することができることができ、（Ａ）部分の誤検出を防止することができ、全体として誤検出を抑制することができる。

なお、上記実施形態において、予め学習済みモデルを生成しておく処理は、状態推定手段４０によって行ってもよく、または学習済みモデルを予め生成する処理を行う専用の状態学習手段を別途設けてもよい。

学習済みモデルの生成処理は、状態推定手段４０の処理とは並行しないが、顔特徴点正規化手段４１によって出力される正規化特徴点情報を使用する処理までは共通であるため、図１９における破線で囲まれた学習済みモデルの生成処理と実際のクラス分け処理とを選択的に切り替えればよい。

そして、学習済みモデルＭを生成する処理は、パターンマッチングによる手法や、統計的手法、もしくは、ニューラルネットワークやサポートベクターマシンなどに代表される非線形的手法によって、運転者状態Ｃのモデルのトレーニングを行い学習済みモデルを出力すればよい。

本発明に係る乗員状態推定装置の実施形態である運転者状態推定装置を示すブロック図である。 図１に示した特徴点出力手段を示すブロック図である。 特徴点検出手段の作用を説明するフローチャートである。 （ａ）は横エッジの検出結果を示す図、（ｂ）はノイズ除去結果を示す図、（ｃ）は顔特徴候補選択結果を示す図である。 （ａ）はラベリング処理に示す図、（ｂ）は顔特徴点間の位置関係をラベル付きの顔特徴点候補との組合わせを照合することを示す図、（ｃ）は予め用意した各顔特徴点間の位置関係に最も近似しているまたは一致している組合せの選択を示す図である。 顔特徴点検出処理によって得られる顔特徴点の例示を示す図である。 （ａ）右目基準で他の顔特徴点の位置関係を示す図である、（ｂ）左目基準で他の顔特徴点の位置関係を示す図である。 顔特徴追跡手段による顔特徴追跡処理を示すフローチャートである。 特徴追跡処理を示す模式図である。 基準顔特徴点である目の座標の検出処理を説明する模式図である。 状態推定手段を示すブロック図である。 特徴点正規化手段による正規化処理を示すフローチャートである。 正規化された後の顔特徴点座標を例示する模式図である。 クラス分け手段による特徴空間へのマッピングのイメージを説明する図である。 起きている顔と眠い顔との割合の算出結果を例示する図である。 起きている状態と眠い状態との割合（眠い顔率）を例示する図である。 運転者状態推定装置の変形例であり、運転者状態推定と開閉眼判定とを併用した構成のブロック図である。 眠い顔率（眠い状態の割合）と閉眼時間比率との関係を説明する図である。 学習済みモデルの生成処理を説明するデータフローの模式図である。

符号の説明

１０ カメラ
１１ 照明具
２０ 顔画像出力手段
３０ 特徴点出力手段
４０ 状態推定手段
５０ 状態信号出力手段
１００ 運転者状態推定装置（乗員状態推定装置）
２００ 運転者（乗員）
２１０ 顔画像
２２０ 顔特徴点
Ｐ 映像
Ｃ 乗員状態
Ｃｓ 乗員状態信号

Claims (20)

1. カメラによって撮影された乗員の顔画像を出力する顔画像出力手段と、
   前記顔画像を入力し、顔の特徴点を抽出して顔特徴点として出力する特徴点出力手段と、
   前記顔特徴点を入力し、予め学習済みの乗員状態を表す学習済みモデルと比較して、前記顔の特徴点による乗員状態を推定する状態推定手段と、
   前記推定された乗員状態を乗員状態信号として外部に出力する状態信号出力手段と、を備えたことを特徴とする乗員状態推定装置。
2. 前記特徴点出力手段は、
   前記顔画像を入力し、該顔画像の濃度分布に基づいて、前記顔特徴点を検出する顔特徴検出手段と、
   前記顔特徴点の検出対象となる顔画像に対して、以前に検出済みの顔特徴点の近傍範囲を設定し、前記顔特徴検出手段に対して、前記検出対象となる顔画像のうち前記設定された近傍範囲において前記顔特徴点を検出させるとともに、前記検出済みの顔特徴点を更新する顔特徴点追跡手段と、を備えたことを特徴とする請求項１に記載の乗員状態推定装置。
3. 前記状態推定手段は、
   前記顔特徴点の座標を入力し、該顔特徴点の座標を正規化して出力する顔特徴点正規化手段と、
   前記正規化された顔特徴点の座標を入力して、少なくとも２つ以上の乗員状態にそれぞれ対応するものとして予め設定された学習済みモデルとそれぞれ照らして、入力された前記顔特徴点を、前記各学習モデルへの帰属割合によってクラス分けするクラス分け手段と、
   所定時間ごとに前記クラス分けの結果の入力を受け、このクラス分けの結果に基づいて前記乗員状態を算出して出力する乗員状態計算手段と、を備えたことを特徴とする請求項１に記載の乗員状態推定装置。
4. 前記顔特徴点の座標は、少なくとも両目の代表点を含み、
   前記特徴点正規化手段は、顔特徴点の重心を回転中心に両目が水平になるように回転し、両目間の距離が一定になるように変換することを特徴とする請求項３に記載の乗員状態推定装置。
5. 前記学習済みモデルは、乗員状態ごとにラベリングされた特徴ベクトル群の領域を特徴空間内に形成したものであり、
   前記クラス分け手段は、前記学習済みモデルについての特徴空間に対して、未知の特徴ベクトルをマッピングし、前記各特徴ベクトル群として対応する乗員状態ごとの領域との位置関係を求めることによりクラスを決定することを特徴とする請求項３に記載の乗員状態推定装置。
6. 前記乗員状態計算手段は、前記クラス分けの結果を時系列的に得て一定時間ごとに各クラスに属する割合を得るか、または、各クラスに属する割合に閾値を設けて少なくとも２以上のレベルとして表現することを特徴とする請求項３に記載の乗員状態推定装置。
7. 前記乗員状態として、起きている状態と眠い状態とを含むことを特徴とする請求項１から６のうちいずれか1項に記載の乗員状態推定装置。
8. 前記推定する乗員状態として、少なくとも起きている状態と眠い状態とを含み、
   前記顔特徴点を入力して開閉眼情報を出力する開閉眼判定手段と、
   前記乗員状態と前記開閉眼情報とを入力して覚醒度を推定する覚醒度推定手段と、をさらに備えたことを特徴とする請求項１に記載の乗員状態推定装置。
9. 前記顔特徴点の座標は、少なくとも一方の目の上端と下端とを含み、
   前記開閉眼判定手段は、前記目の上端と下端との座標の変化に基づいて、前記目の開閉を判定することを特徴とする請求項８に記載の乗員状態推定装置。
10. 前記覚醒度推定手段は、前記乗員状態の各クラスが一定時間内において占める割合に対して閾値を設けることによって判定されるものと、前記開閉眼判定結果が一定時間内において占める閉眼の時間比率に対して閾値を設けることによって判定されるものとの論理和もしくは論理積によって覚醒状態を推定することを特徴とする請求項８に記載の乗員状態推定装置。
11. 乗員の顔画像から顔の特徴点を顔特徴点として抽出し、
    前記顔特徴点を、予め学習済みの乗員状態を表す学習済みモデルと比較して、前記顔特徴点に基づいた乗員状態を推定し、
    前記推定された乗員状態を乗員状態信号として外部に出力することを特徴とする乗員状態推定方法。
12. 前記顔特徴点の抽出は、
    前記顔画像の濃度分布に基づいて、前記顔特徴点を検出し、
    前記顔特徴点の検出対象となる顔画像に対して、以前に検出済みの顔特徴点の近傍範囲を設定し、前記検出対象となる顔画像のうち前記設定された近傍範囲において、前記顔特徴点を検出するとともに、前記検出済みの顔特徴点を新たに検出した顔特徴点に更新することを特徴とする請求項１１に記載の乗員状態推定方法。
13. 前記乗員状態の推定は、
    前記顔特徴点の座標を正規化し、
    前記正規化された顔特徴点の座標を、少なくとも２つ以上の乗員状態にそれぞれ対応するものとして予め設定された学習済みモデルとそれぞれ照らして、入力された前記顔特徴点を、前記各学習モデルへの帰属割合によってクラス分けし、前記クラス分けの結果を所定時間ごとに更新して、前記乗員状態を算出することを特徴とする請求項１１に記載の乗員状態推定方法。
14. 前記顔特徴点の座標は、少なくとも両目の代表点を含み、
    前記特徴点の座標の正規化は、顔特徴点の重心を回転中心に両目が水平になるように回転し、両目間の距離が一定になるように変換することを特徴とする請求項１３に記載の乗員状態推定方法。
15. 前記学習済みモデルは、乗員状態ごとにラベリングされた特徴ベクトル群の領域を特徴空間内に形成したものであり、
    前記クラス分けは、前記学習済みモデルについての特徴空間に対して、未知の特徴ベクトルをマッピングし、前記各特徴ベクトル群として対応する乗員状態ごとの領域との位置関係を求めることによりクラスを決定することを特徴とする請求項１３に記載の乗員状態推定方法。
16. 前記乗員状態の算出は、前記クラス分けの結果を時系列的に得て一定時間ごとに各クラスに属する割合を得るか、または、各クラスに属する割合に閾値を設けて少なくとも２以上のレベルとして表現することを特徴とする請求項１３に記載の乗員状態推定方法。
17. 前記乗員状態として、起きている状態と眠い状態とを含むことを特徴とする請求項１１から１６のうちいずれか１項に記載の乗員状態推定方法。
18. 前記推定する乗員状態として、少なくとも起きている状態と眠い状態とを含み、
    前記顔特徴点に基づいて開閉眼情報を求め、
    前記乗員状態と前記開閉眼情報とに基づいて覚醒度を推定することを特徴とする請求項１１に記載の乗員状態推定方法。
19. 前記顔特徴点の座標は、少なくとも一方の目の上端と下端とを含み、
    前記開閉眼情報は、前記目の上端と下端との座標の変化に基づいて、前記目の開閉を判定することを特徴とする請求項１８に記載の乗員状態推定方法。
20. 前記覚醒度の推定は、前記乗員状態の各クラスが一定時間内において占める割合に対して閾値を設けることによって判定されるものと、前記開閉眼判定結果が一定時間内において占める閉眼の時間比率に対して閾値を設けることによって判定されるものとの論理和もしくは論理積によって覚醒状態を推定することを特徴とする請求項１８に記載の乗員状態推定方法。