JP2021152769A - 顔の誤フィッティング検出装置 - Google Patents

Abstract

【課題】顔が表された画像と顔モデルとをフィッティングする際に、フィッティングに誤りが生じても、ドライバの状態検出機能を回復させることが可能な顔の誤フィッティング検出装置を提供する。【解決手段】顔の誤フィッティング検出装置は、ドライバの顔が表された画像と顔モデルとをフィッティングするフィッティング部１１と、フィッティングにより得られる顔の特徴量を検出する特徴量検出部１２と、特徴量に基づいてドライバの状態を検出するドライバ状態検出部１３と、特徴量に基づいてフィッティングの誤りである誤フィッティングを検出する誤フィッティング検出部１４と、を有し、フィッティング部１１は、誤フィッティングの検出結果のフィードバックを受けて、フィッティングに関する処理を変更する。【選択図】図２

Description

本発明は、顔の誤フィッティング検出装置に関する。

従来、顔向き推定装置によりドライバの顔向きを推定し、推定結果の信頼度が低い場合にはドライバに指示方向を見るように促し、顔向き推定装置の異常診断を行う技術がある（例えば、特許文献１を参照）。

特開２００７−２１９５７８号公報

ドライバの顔向きなど顔の特徴量を使用してドライバの状態を検出する際に、顔が表された画像と顔モデルとをフィッティングする処理が行われる。この際、フィッティングの誤りである誤フィッティングが生じると、特徴量が異常な値となり、ドライバの状態が誤って検出されてしまう。上記特許文献１に記載された技術は、顔向き推定装置に異常が発生していることは判別できるものの、異常発生時において、ドライバの状態の検出機能を回復させることができない問題がある。

そこで、本発明は、顔が表された画像と顔モデルとをフィッティングする際に、フィッティングに誤りが生じても、ドライバの状態検出機能を回復させることが可能な顔の誤フィッティング検出装置を提供することを目的とする。

一つの実施形態によれば、顔の誤フィッティング検出装置が提供される。この顔の誤フィッティング検出装置は、乗員の顔が表された画像と顔モデルとをフィッティングするフィッティング部と、フィッティングにより得られる顔の特徴量を検出する特徴量検出部と、特徴量に基づいて乗員の状態を検出する乗員状態検出部と、特徴量に基づいてフィッティングの誤りである誤フィッティングを検出する誤フィッティング検出部と、を有し、フィッティング部は、誤フィッティングの検出結果のフィードバックを受けて、フィッティングに関する処理を変更する。

本発明に係る顔の誤フィッティング検出装置は、顔が表された画像と顔モデルとをフィッティングする際に、フィッティングの誤りが生じても、ドライバの状態検出機能を回復させることが可能になるという効果を奏する。

一つの実施形態による、顔の誤フィッティング検出装置が実装された車両制御システムの概略構成図である。 制御装置のプロセッサの機能ブロックを示す模式図である。 誤フィッティングが生じている状態の一例を示す模式図である。 誤フィッティングが生じている時の開口度の変化を示す図である。 誤フィッティングが生じていない時の開口度の変化を示す図である。 ドライバの正面の視野を示す図である。 制御装置のプロセッサが所定の制御周期毎に行う処理を示すフローチャートである。 制御装置のプロセッサの機能ブロックの他の例を示す模式図である。 制御装置のプロセッサの機能ブロックの更に他の例を示す模式図である。 車両の振幅と、車両振動による信頼度との関係を規定したマップを示す図である。

以下、図を参照しつつ、顔の誤フィッティング検出装置について説明する。この誤フィッティング検出装置は、乗員の顔が表された画像と顔モデルとをフィッティングし、フィッティングにより得られる顔の特徴量を検出し、この特徴量に基づいて乗員の状態を検出する。この際、誤フィッティング検出装置は、特徴量に基づいてフィッティングの誤りである誤フィッティングを検出する。そして、誤フィッティング検出装置は、誤フィッティングの検出結果をフィードバックし、フィッティングに関する処理を変更する。これにより、誤フィッティングが生じた場合であっても、乗員の状態が誤って検出されることが抑制される。

図１は、一つの実施形態による、顔の誤フィッティング検出装置が実装された車両制御システム２００の概略構成図である。車両制御システム２００は、例えば車両に搭載され、乗員の顔が表された画像と顔モデルとをフィッティングする際に、フィッティングの誤りである誤フィッティングを検出する。なお、以下の説明では、乗員がドライバである場合を例に挙げて説明する。車両制御システム２００は、ドライバの顔を撮影して顔画像を生成するドライバモニタカメラ１と、ドライバに対する警告等を表示する表示装置２と、ナビゲーション装置３と、１以上のセンサ４と、制御装置（Electronic Control Unit (ECU)）１００と、を有する。ドライバモニタカメラ１、表示装置２、ナビゲーション装置３、センサ４、制御装置１００のそれぞれは、コントローラエリアネットワーク（Controller Area Network (CAN)）といった規格に準拠した車内ネットワークを介して通信可能に接続される。

ドライバモニタカメラ１は、ドライバの眼に近赤外線を照射する近赤外線光源と、ＣＣＤあるいはＣ−ＭＯＳなど、可視光および近赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。ドライバモニタカメラ１は、車両内部のダッシュボード、またはフロントガラスの近辺等にドライバの想定位置に向けて設けられ、ドライバの顔を撮影する。ドライバモニタカメラ１は、所定の撮影周期（例えば１／３０秒〜１／１０秒）ごとにドライバの顔を撮影し、ドライバの顔が写った画像を生成する。なお、ドライバモニタカメラ１により得られた画像は、カラー画像であることが好ましい。ドライバモニタカメラ１は、画像を生成する度に、その生成した画像を、車内ネットワークを介して制御装置１００へ出力する。

表示装置２は、例えば液晶表示装置（ＬＣＤ）等から構成され、メーターパネル、またはダッシュボードの近辺等に設けられ、必要に応じてドライバに対して警告を表示する。

ナビゲーション装置３は、車両の現在地から移動目的地までの走行ルートを、ダイクストラ法といった所定の経路探索手法に従って求める。このため、ナビゲーション装置３は、ＧＰＳ(Global Positioning System)を含んでいる。また、ナビゲーション装置３は、地図情報を記憶するメモリを備えている。なお、地図情報は、制御装置１００のメモリ２０に記憶されていてもよい。

センサ４は、ステアリングの操舵角を検出する操舵角センサ、車両の振動（振幅）を検出する振動センサなどを含む。

制御装置１００は、車両制御システム２００の全体を制御する構成要素であり、誤フィッティング検出装置の一態様である。制御装置１００は、プロセッサ１０と、メモリ２０と、通信インターフェース３０とを有する。プロセッサ１０は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ１０は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。メモリ２０は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有し、顔モデルなどの本実施形態に係る処理に関連するデータを必要に応じて記憶する。通信インターフェース３０は、制御装置１００を車内ネットワークに接続するためのインターフェース回路を有する。

図２は、制御装置１００のプロセッサ１０の機能ブロックを示す模式図である。制御装置１００のプロセッサ１０は、フィッティング部１１と、特徴量検出部１２と、ドライバ状態検出部１３と、誤フィッティング検出部１４と、を有している。プロセッサ１０が有するこれらの各部は、例えば、プロセッサ１０上で動作するコンピュータプログラムにより実現される機能モジュールである。つまり、プロセッサ１０の機能ブロックは、プロセッサ１０とこれを機能させるためのプログラム（ソフトウェア）から構成される。また、そのプログラムは、制御装置１００が備えるメモリ２０または外部から接続される記録媒体に記録されていてもよい。あるいは、プロセッサ１０が有するこれらの各部は、プロセッサ１０に設けられる専用の演算回路であってもよい。

以上のように構成された車両制御システム２００では、プロセッサ１０のフィッティング部１１が、ドライバモニタカメラ１が生成したドライバの顔が表された画像と、顔モデルとをフィッティングする。フィッティング部１１は、ドライバの顔が表された画像から特徴点を抽出し、例えば文献（高野博幸、出口光一郎、「輪郭によるフェイスアライメントにおける姿勢変化への対応のための顔輪郭の利用について」 情報処理学会報告、２０１２年９月２日）に記載された手法により、３次元座標データによりモデル化された顔モデル（ＰＤＭ）の特徴点と、抽出した特徴点との距離が最小になるようにモデルパラメータをフィッティングする。なお、この手法によれば、最適化されたモデルパラメータに基づいて、眼、口、鼻などの顔の各部位の３次元位置が求まる。フィッティング部１１は、フィッティングにより生成されるモデルをメモリ２０に適宜格納する。

なお、フィッティング部１１によるフィッティングの手法は、上記の方法に限定されるものではない。フィッティング部１１は、ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ ）法、ＡＳＭ （Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）法などの任意のモデルフィッティング法を用いて、画像に顔モデルを適合させるようにフィッティングを行ってもよい。

プロセッサ１０の特徴量検出部１２は、フィッティングにより得られる顔の特徴量を検出する。顔の特徴量は、例えば、開眼度、開口度、顔向き角度、視線角度などのドライバの挙動を表す特徴量であり、特徴量検出部１２は、フィッティングにより得られるこれらの特徴量を検出する。

例えば、特徴量検出部１２は、フィッティングにより眼の輪郭の３次元位置が求まると、上瞼と下瞼の距離から開眼度を検出する。特徴量検出部１２は、予めメモリ２０に格納された、上瞼と下瞼の距離と開眼度との関係を規定したテーブルまたは関数を用い、上瞼と下瞼の距離をこれらのテーブルまたは関数に適用することで、開眼度を検出する。または、特徴量検出部１２は、眼の縦横比と開眼度との関係を規定したテーブルまたは関数を用い、眼の縦横比から開眼度を求めてもよい。なお、特徴量検出部１２は、上瞼と下瞼の距離、または眼の縦横比そのものを開眼度として算出してもよい。

同様に、特徴量検出部１２は、フィッティングにより口の輪郭の３次元位置が求まると、上唇と下唇の距離から開口度を検出する。特徴量検出部１２は、予めメモリ２０に格納された、上唇と下唇の距離と開口度との関係を規定したテーブルまたは関数を用い、上唇と下唇の距離をこれらのテーブルまたは関数に適用することで、開口度を検出する。または、特徴量検出部１２は、口の縦横比と開口度との関係を規定したテーブルまたは関数を用い、口の縦横比から開口度を求めてもよい。なお、特徴量検出部１２は、上唇と下唇の距離、または口の縦横比そのものを開口度として算出してもよい。

また、特徴量検出部１２は、所定の基準方向に対するドライバの顔向き角度を算出する。例えば、特徴量検出部１２は、特開２０１５−７５９１５号公報に記載されている手法等を用いて、左右の眼の位置と鼻の位置とに基づいて、顔向き角度を算出する。なお、所定の基準方向は、車両前方の正面の方向とする。

また、特徴量検出部１２は、公知の視線検知方法により、ドライバモニタカメラ１が生成したドライバの眼が表された画像に基づいて、所定の基準方向に対する視線角度を算出する。視線角度を算出する手法として、例えば文献（大野健彦、武川直樹、吉川厚、「眼球形状モデルに基づく視線測定法」 第８回画像センシングシンポジウム、ｐｐ３０７−３１２，２００２）に記載された、角膜表面における近赤外光源の反射像（プルキニエ像）を利用し、瞳孔中心とプルキニエ像との距離から視線角度を算出する手法、プルキニエ像から得られる角膜曲率中心を用い、角膜曲率中心および瞳孔中心を結ぶ直線を視線角度として算出する手法等が挙げられる。

プロセッサ１０のドライバ状態検出部１３は、乗員状態検出部の一態様であり、特徴量検出部１２が検出した顔の特徴量に基づいて、ドライバ状態を検出する。ドライバ状態は、例えば、脇見、居眠りなどの状態であり、ドライバ状態検出部１３は、顔の特徴量に基づいて、これらの状態を検出する。

例えば、ドライバ状態検出部１３は、開眼度と所定の判定閾値（閉眼判定閾値）とを比較し、開眼度が閉眼判定閾値以下となった場合に、ドライバの覚醒度が低下している居眠り状態を検出する。

また、例えば、ドライバ状態検出部１３は、開口度と所定の判定閾値（開口判定閾値）とを比較し、開口度が開口判定閾値以上となった場合に、ドライバの覚醒度が低下している居眠り状態を検出する。

また、例えば、ドライバ状態検出部１３は、顔向き角度と所定の判定閾値（脇見判定閾値）とを比較し、顔向き角度が脇見判定閾値以上となった場合に、ドライバが脇見をしている状態を検出する。なお、ドライバ状態検出部１３は、開眼度、開口度、または顔向き角度に基づいて、これらの値が判定閾値を超える状態が所定時間以上継続する場合は、ドライバが意識を失っている状態を検出してもよい。

ドライバ状態検出部１３により、ドライバ状態として居眠り、脇見などが検出されると、制御装置１００からの指令により、表示装置２がドライバに対する警告を表示する。また、表示装置２における警告表示とともに、音声による警告が行われてもよい。これにより、ドライバの居眠り、脇見などが抑制される。

また、ドライバ状態検出部１３により、ドライバ状態として居眠り、脇見などが検出されると、制御装置１００からの指令により車両が緊急停止されてもよい。これにより、ドライバの居眠り、脇見などに起因して生じ得る不適切な運転が事前に回避される。

プロセッサ１０の誤フィッティング検出部１４は、特徴量に基づいて、フィッティング部１１によるフィッティングの誤りである誤フィッティングを検出する。より具体的には、誤フィッティング検出部は、開眼度、開口度、顔向き角度、視線角度等の時系列の特徴量の変化に基づいて、誤フィッティングを検出する。

図３は、誤フィッティングが生じている状態の一例を示す模式図である。フィッティング部１１によるフィッティングでは、特徴点によって表された顔モデルが、顔が表された画像から抽出された特徴点にフィッティングされる。図３では、顔モデルに表された眼の特徴点Ｐ１および鼻の特徴点Ｐ２は、画像に表された眼５０および鼻６０の位置に正しくフィッティングされている。一方、図３では、顔モデルに表された口の特徴点Ｐ３は、画像に表された口７０の位置にフィッティングされておらず、画像に表された顎周辺の皺や髭の部分に誤フィッティングされている。

図３に示すような誤フィッティングが生じると、口の位置が誤って認識される。また、図３に示すような誤フィッティングが生じると、開口度が０であるにも関わらず、開口度が大きい（口が開いている）ことが検出されてしまう場合がある。このため、開口度に基づいてドライバ状態を検出すると、本来はドライバの覚醒度が低下していないにも関わらず、覚醒度が低下していると誤検出されてしまう可能性がある。

誤フィッティングが生じている場合、フィッティングが正しく行われている場合に比べて、時系列の特徴量の変化量が大きくなる。例えば、図３に示す例の場合、顔モデルに表された口の特徴点Ｐ３は、画像に表された顎周辺の皺や髭など、輪郭が不明確な部位に誤フィッティングされている。このため、図３に示す例では、輪郭が明確な部位に特徴点Ｐ３が正しくフィッティングされている場合に比べて、特徴点Ｐ３がフィッティングされる位置にバラツキが生じ易い。したがって、フィッティングにより得られる口の位置に基づいて開口度を検出すると、開口度の時系列の変化量が大きくなる。開眼度についても同様に、誤フィッティングが生じると、開眼度の時系列の変化量が大きくなる。

このように、開眼度または開口度は、誤フィッティングによって時系列の変化量が大きくなるので、誤フィッティング検出部１４は、開眼度または開口度に基づいて誤フィッティングを検出する場合、開眼度または開口度の変化量の大きさを判定し、判定結果に基づいて誤フィッティングを検出する。

図４及び図５は、誤フィッティング検出部１４が開口度に基づいて誤フィッティングを検出する手法を説明するための図である。図４及び図５は、特徴量検出部１２が特徴量として開口度を検出した場合に、開口度の時系列的な変化を示している。図４及び図５において、横軸は時間を、縦軸は開口度を示している。図４は誤フィッティングが生じている時に開口度が変化する特性８０を示しており、図５は誤フィッティングが生じていない時（正フィッティング時）に開口度が変化する特性９０を示している。

図３に示したように、誤フィッティングが生じている場合、画像に表された本来検出すべき口７０の位置とは異なる位置が、顔モデルに表された特徴点Ｐ３とフィッティングされ、誤って口として認識される。認識される口の位置は刻々と変わり、図４に示すように、開口度の時系列的な変化量が大きくなる。

これに対し、誤フィッティングが生じていない場合、画像に表された本来検出すべき口７０の位置が、顔モデルに表された特徴点Ｐ３とフィッティングされるため、認識される口の位置に大きな変化は生じず、図５に示すように、開口度の変化量は小さくなる。

ここで、図４のように開口度の時系列的な変化が大きいほど、開口度の時間変化の微分値の絶対値は大きくなる。このため、誤フィッティング検出部１４は、所定の周期で開口度の微分値の絶対値を算出し、所定時間内に算出された微分値の絶対値の総和に基づいて、開口度の変化量の大きさを判定し、判定結果に基づいて誤フィッティングを検出する。例えば、誤フィッティング検出部１４は、開口度の微分値の絶対値の総和が判定閾値を超えると、誤フィッティングを検出する。

また、誤フィッティング検出部１４は、図４に示したような誤フィッティングによる特徴量の変化を事前に学習しておき、学習した結果に基づき、特徴量の変化から誤フィッティングを検出してもよい。

誤フィッティング検出部１４は、顔向き角度に基づいて誤フィッティングを検出する場合は、ドライバの顔向き角度が定常的に正常とは異なる方向を向いている場合に、誤フィッティングを検出する。ドライバの実際の顔向き角度が正常である場合に、フィッティングにより得られる顔向き角度が定常的に正常とは異なる方向を向いている場合は、誤フィッティングが生じている蓋然性が高いためである。

顔向き角度として、ロール角、ヨー角、またはピッチ角の少なくともいずれかが用いられる。ロール角から誤フィッティングを検出する場合、誤フィッティング検出部１４は、顔がロール方向に一定時間以上傾いている状態であれば、誤フィッティングを検出する。より具体的には、誤フィッティング検出部１４は、鉛直方向を基準方向とし、基準方向に対するロール角の絶対値が閾値Ｔ１以上の状態が一定時間Ｔ２以上継続した場合に、誤フィッティングを検出する。

図６は、ドライバの正面の視野を示す図であって、ヨー角およびピッチ角から誤フィッティングを検出する場合を示す図である。この場合、誤フィッティング検出部１４は、ヨー角とピッチ角で決まる顔向き角度が、図６に示すドライバの正面の所定範囲Ｒの外側を一定時間以上向いていた場合に、誤フィッティングを検出する。具体的に、誤フィッティング検出部１４は、ヨー角の絶対値が閾値Ｔ３以上であり、且つピッチ角の絶対値が閾値Ｔ４以上の状態が一定時間Ｔ５以上継続した場合に、誤フィッティングを検出する。なお、図６において、原点０の方向が車両前方の正面の方向である。また、所定範囲Ｒは、例えば、顔向き角度の回転中心を中心とする球面で表される。

また、誤フィッティング検出部１４は、視線角度に基づいて誤フィッティングを検出する場合は、視線角度が定常的に正常とは異なる方向を向いている場合に、誤フィッティングを検出する。実際の視線角度が正常である場合に、フィッティングにより得られる視線角度が定常的に正常とは異なる方向を向いている場合は、誤フィッティングが生じている蓋然性が高いためである。視線角度に基づいて誤フィッティングを検出する場合、誤フィッティング検出部１４は、顔向き角度に基づいて誤フィッティングを検出する場合と同様に、顔向き角度のヨー角に相当する視線水平角度と、顔向き角度のピッチ角に相当する視線垂直角度に基づき、誤フィッティングを検出する。誤フィッティング検出部１４は、視線水平角度が閾値Ｔ３以上であり且つ視線垂直角度が閾値Ｔ４以上の状態が一定時間Ｔ５以上継続した場合に、誤フィッティングを検出する。なお、視線角度には、ロール角に相当する概念はない。

更に、誤フィッティング検出部１４は、車両が交差点やカーブなどを走行している場合は、顔向き角度または視線角度に基づく誤フィッティングの検出に例外的な処理を設け、誤判定を抑制する。車両が交差点やカーブなどを走行している場合、ドライバは交差点またはカーブの先を見るため、顔向き角度、または視線角度が車両前方の正面の方向から外れる場合がある。この場合、上述した手法では、誤フィッティングが起きていると誤判定されてしまう可能性がある。このため、誤フィッティング検出部１４は、ナビゲーション装置３から得られる車両の現在位置情報および地図情報に基づいて、またはステアリングの操舵角情報に基づいて、交差点またはカーブなどを走行していると判定される場合は、顔向き角度または視線角度に基づく誤フィッティングの検出機能をオフにする。

プロセッサ１０のフィッティング部１１は、誤フィッティング検出部１４から誤フィッティングの検出結果のフィードバックを受けて、フィッティングに関する処理を変更する。

誤フィッティング発生の要因として、図３に示したように、画像に表された眼、鼻、口などの特徴部位の位置検出に失敗し、フィッティングによる探索の初期状態において、画像に表された特定部位と、顔モデルに表された対応する特徴点との位置関係が大きくずれてしまうことが挙げられる。このような特徴部位の位置検出の失敗は、顔モデルによる探索領域に対応する特徴部位が存在しないことで発生するため、探索領域を広げる、もしくは探索領域を変更することで、誤フィッティングの発生を解消できる。

このため、フィッティング部１１は、誤フィッティングが検出された場合は、顔モデルによる探索領域を広げ、もしくは探索領域を変更してフィッティングを再度行う。例えば、フィッティング部１１は、眼が表された画像と顔モデルに表された眼の特徴点とが誤フィッティングする場合、眼の探索領域を広げ、もしくは探索領域を変更するように顔モデルの初期状態を変更した上で、フィッティングを再度実施する。顔モデルにおける眼の探索領域を広げ、もしくは探索領域を変更することで、顔モデルに表された眼の特徴点がより適した位置に設定されるため、眼が表された画像と顔モデルに表された眼の特徴点とがフィッティングし易くなり、誤フィッティングの発生が抑制される。

また、フィッティング部１１は、誤フィッティングの検出結果に応じて、再度顔フィッティングを行うか否かを判断してもよい。例えば、フィッティング部１１は、上述した開口度の微分絶対値の総和が閾値を超えて過度に大きい場合など、誤フィッティングの度合いが大きい場合、再度のフィッティングは行わないようにしてもよい。

図７は、制御装置１００のプロセッサ１０が所定の制御周期毎に行う処理を示すフローチャートである。先ず、フィッティング部１１が、乗員の顔が表された撮影画像と顔モデルとをフィッティングする（ステップＳ１０１）。

次に、特徴量検出部１２が、フィッティングにより得られる顔の特徴量を検出する（ステップＳ１０２）。次に、ドライバ状態検出部１３が、特徴量検出部１２が検出した顔の特徴量に基づいて、ドライバ状態を検出する（ステップＳ１０３）。

次に、誤フィッティング検出部１４が、特徴量に基づいて、フィッティング部１１によるフィッティングの誤りである誤フィッティングを検出したか否かを判定する（ステップＳ１０４）。そして、誤フィッティングが検出された場合、フィッティング部１１は、誤フィッティング検出部１４から誤フィッティングの検出結果のフィードバックを受けて、フィッティングに関する処理を変更する（ステップＳ１０５）。プロセッサ１０は、ステップＳ１０５の後は処理を終了する。一方、プロセッサ１０は、ステップＳ１０４で誤フィッティングが検出されない場合、ステップＳ１０１に戻り、以降の処理を繰り返す。

（変形例）
次に、本実施形態のいくつかの変形例について説明する。図８は、制御装置１００のプロセッサ１０の機能ブロックの他の例を示す模式図であって、誤フィッティングの検出結果に応じてドライバ状態検出機能のオン／オフが切り換えられる例を示している。プロセッサ１０は、フィッティング部１１と、特徴量検出部１２と、ドライバ状態検出部１３と、誤フィッティング検出部１４と、切換部１５と、を有する。

図８に示す構成例において、切換部１５には、ドライバ状態検出部１３が検出したドライバ状態と、誤フィッティングの検出結果が入力される。切換部１５は、誤フィッティングの検出結果に応じて、ドライバ状態の検出結果の出力のオン／オフを切り換える。切換部１５は、誤フィッティングが検出された場合は、ドライバ状態の検出結果の出力をオフとし、ドライバ状態の検出結果を出力しない。また、切換部１５は、誤フィッティングが検出されない場合は、ドライバ状態の検出結果の出力をオンとし、ドライバ状態検出部１３が検出したドライバ状態を出力する。

これにより、誤フィッティングが検出されていない場合のみ、切換部１５からドライバ状態が出力され、ドライバ状態に基づく各種処理が行われる。一方、誤フィッティングが検出された場合は、切換部１５からドライバ状態は出力されず、ドライバ状態に基づく各種処理は行われない。これにより、誤フィッティングに起因して、誤って検出されたドライバ状態に基づいて各種処理が行われることが抑制される。

図９は、制御装置１００のプロセッサ１０の機能ブロックの更に他の例を示す模式図であって、誤フィッティングに応じてドライバ状態の信頼度が変更され、信頼度に応じてドライバ状態が変更される例を示している。プロセッサ１０は、フィッティング部１１と、特徴量検出部１２と、ドライバ状態検出部１３と、誤フィッティング検出部１４と、信頼度算出部１６と、を有する。

図９に示す構成例において、信頼度算出部１６には誤フィッティングの検出結果が入力される。信頼度算出部１６は、誤フィッティングの検出結果に基づいて、ドライバ状態検出部１３が検出したドライバ状態の信頼度を算出し、算出した信頼度をドライバ状態検出部１３に送る。ドライバ状態検出部１３は、検出したドライバ状態を信頼度に基づいて変更し、最終的なドライバ状態を出力する。これにより、ドライバ状態に基づく各種処理がドライバ状態の信頼度を加味して実現される。

例えば、信頼度算出部１６は、開眼度、開口度、顔向き角度、および視線角度に基づく４つの誤フィッティング検出結果に応じて、誤フィッティング検出の総数から信頼度を算出する。この場合、信頼度は以下の式（１）から算出される。誤フィッティング検出の総数が多いほど、誤フィッティングが生じている蓋然性が高いため、ドライバ状態検出部１３が検出したドライバ状態の信頼度は低くなる。
信頼度＝１−（誤フィッティング検出総数／４） ・・・（１）

例えば、開眼度と顔向き角度から誤フィッティングが検出され、開口度と視線角度からは誤フィッティングが検出されない場合、式（１）の右辺の誤フィッティング検出総数は“２”である。したがって、式（１）より、信頼度＝１−２／４＝１／２となる。

また、開眼度、開口度、顔向き角度、および視線角度のいずれからも誤フィッティングが検出されない場合、式（１）の右辺の誤フィッティング検出総数は“０”である。したがって、式（１）より、信頼度＝１−０／４＝１となる。

以上のように、信頼度算出部１６は、ドライバ状態検出部１３が検出したドライバ状態の信頼度が高いほど、１に近い値の信頼度を算出し、ドライバ状態の信頼度が低いほど、０に近い値の信頼度を算出する。ドライバ状態検出部１３は、検出したドライバ状態に信頼度を乗算することで、信頼度に応じてドライバ状態を変更し、出力する。

また、ドライバ状態検出部１３は、制御周期毎に検出された複数回のドライバ状態に基づいて、最終的なドライバ状態を出力してもよい。この場合、ドライバ状態検出部１３は、制御周期毎に検出されたドライバ状態と、制御周期毎に算出された信頼度とを乗算して、仮のドライバ状態を算出する。そして、ドライバ状態検出部１３は、連続する制御周期毎に算出された仮のドライバ状態を加算し、得られた値が閾値を超えたときに、最終的なドライバ状態として出力する。

例えば、ドライバ状態検出部１３が検出するドライバ状態が居眠りである場合、ドライバ状態検出部１３は、制御周期毎に、居眠りが検出された場合に“１”を出力し、居眠りが検出されない場合に“０”を出力する。ある制御周期で検出されたドライバ状態が“１”であり、ドライバ状態の信頼度が１／４の場合、仮のドライバ状態は、１＊１／４＝１／４となる。

連続する４つの制御周期において、仮のドライバ状態が１／４，１／４，１／４，３／４である場合、加算値は３／２である。仮のドライバ状態の加算値を判定する閾値を１とすると、加算値（＝３／２）は閾値を超えるため、最終的なドライバ状態として、“１”が出力される。つまり、この場合、ドライバ状態として、居眠りが発生していることが出力される。

なお、加算値を算出するための連続する制御周期の数の最大値は、信頼度を算出するための誤フィッティング検出器の数とする。上述した例では、誤フィッティング検出部１４には、開眼度、開口度、顔向き角度、および視線角度のそれぞれに基づいて誤フィッティングを検出する４つの検出器が含まれるため、ドライバ状態検出部１３は、最大で連続４回の仮のドライバ状態を加算し、得られた加算値と閾値と比較する。

以上説明したような仮のドライバ状態の加算値に基づく最終的なドライバ状態の出力は、信頼度が所定の閾値未満の場合に行われてもよい。これにより、信頼度が高い場合は、複数回の仮のドライバ状態を算出することなく、ドライバ状態の出力が早期に行われ、出力されたドライバ状態が各種処理に提供されることになる。

また、信頼度算出部１６は、ドライバモニタカメラ１が生成した画像を劣化させる要因がある場合は、誤フィッティングが生じ易くなるため、信頼度を低くする。例えば、路面状態の悪化などで車両が大きく揺れると、ドライバモニタカメラ１が生成した画像がブレにより劣化し、画像に表された眼、口、鼻などの部位が不鮮明になるため、誤フィッティングが生じる場合がある。

このため、信頼度算出部１６は、振動センサから得られる車両の振動情報に基づき、振動の振幅が閾値Ｔ６以上の場合は、振幅に大きさに応じて信頼度を低下させ、最終信頼度を算出する。最終信頼度は以下の式（２）から算出される。図１０は、車両の振動の振幅と、車両振動による信頼度との関係を規定したマップを示す図である。式（２）における車両振動による信頼度は、振幅に応じて、図１０に示すマップから得られる。また、式（２）における誤フィッティング検出結果から算出した信頼度は、式（１）から算出された信頼度とすることができる。
最終信頼度＝（誤フィッティング検出結果から算出した信頼度）＊（車両振動による信頼度） ・・・（２）

ドライバ状態検出部１３は、式（２）から算出された最終信頼度に基づき、上述した手法によりドライバ状態を出力する。最終信頼度に基づいてドライバ状態が出力されることで、ドライバモニタカメラ１が生成した画像の劣化要因を考慮した上で、ドライバ状態がより高精度に検出される。

なお、プロセッサ１０は、図２に示す構成例に加えて、図８に示す構成例または図９に示す構成例を有していてもよい。

以上説明したように本実施形態によれば、誤フィッティングが検出されるとフィッティングに関する処理が変更され、ドライバ状態の検出機能が回復されるため、誤フィッティングがドライバ状態の検出に及ぼす影響が抑制される。

以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことが可能である。

１ ドライバモニタカメラ
２ 表示装置
３ ナビゲーション装置
４ センサ
１０ プロセッサ
１１ フィッティング部
１２ 特徴量検出部
１３ ドライバ状態検出部
１４ 誤フィッティング検出部
１５ 切換部
１６ 信頼度算出部
２０ メモリ
３０ 通信インターフェース
５０ 眼
６０ 鼻
７０ 口
８０，９０ 開口度の特性
１００ 制御装置（ＥＣＵ）
２００ 車両制御システム

Claims (1)

1. 乗員の顔が表された画像と顔モデルとをフィッティングするフィッティング部と、
   前記フィッティングにより得られる顔の特徴量を検出する特徴量検出部と、
   前記特徴量に基づいて前記乗員の状態を検出する乗員状態検出部と、
   前記特徴量に基づいて前記フィッティングの誤りである誤フィッティングを検出する誤フィッティング検出部と、
   を有し、
   前記フィッティング部は、前記誤フィッティングの検出結果のフィードバックを受けて、前記フィッティングに関する処理を変更する、顔の誤フィッティング検出装置。

Images