JP2021039420A - 顔向き推定装置及び方法 - Google Patents

Abstract

【課題】画像データ中の顔に関し、時間的に安定し且つ誤った推定位置で安定してしまうことなく、顔器官点の位置及び顔向きの角度を推定する顔向き推定装置を提供する。【解決手段】顔画像データを検出する顔検出部と、及び、顔画像データに関して顔器官点の位置及び顔向きの角度を推定する顔向き推定部とを備える顔向き推定装置である。顔向き推定部は、顔検出部が検出する顔画像が複数のフレームにおいて連続する場合、フレーム毎に、（１）大局探索フィッティング処理から推定基準値を求める推定基準値算出処理と、（２）前フレームのフィッティング結果である３次元顔モデルに基づいて、局所探索フィッティング処理を行うトラッキング処理とを実行する。（２）トラッキング処理は、推定基準値を利用する補正処理を含む。顔向き推定部は、局所探索フィッティング処理の結果からフレーム毎に顔器官点の位置及び顔向きの角度を出力する。【選択図】図１

Description

本開示は、画像データ中の人の顔に関して、安定して精度よく顔器官点の位置及び顔向きの角度を推定する顔向き推定装置及び方法に関する。

画像データの中から人の顔を検出し、更に検出した顔について顔器官点の位置及び顔向きの角度を推定する様々な技術が知られている。例えば、特許文献１は、人の顔における、顔器官点を含む複数の特徴点に対応する、複数の３次元位置を定める３次元顔モデルを、画像中の顔にフィッティングすることにより、顔器官点の位置及び画像中の顔向きの角度を推定する、３次元顔モデルフィッティングアルゴリズム、及び、同アルゴリズムを利用する検出装置を、開示している。

しかしながら、従来技術に係る３次元顔モデルフィッティングアルゴリズムに拠ると、顔器官点の位置推定が時間的に安定しないことがある。そうすると、顔器官点の位置推定に基づく処理の一つである目開閉検出における精度に、影響を及ぼす可能性が生じる。

更に、従来技術に拠ると、顔を手で掻くなどの動作によって顔全体の器官点推定位置が耳等の顔の横側に引き込まれた場合や、眼鏡等のフレームによって目の器官点推定位置が引っ張られた場合に、推定位置が誤った位置で安定する事象も生じ得る。そうすると、３次元顔モデルが顔画像としっかりとフィットしないままで安定化してしまい、顔向き推定結果がずれ続けてしまうことになる。

特許文献２に開示される開眼度特定装置は、前のフレームにおける各顔器官点位置を中心とした所定の範囲について、テンプレートマッチング等の方法で各顔器官点のトラッキング探索をしている。また、特許文献３に開示される顔部品探索装置は、前のフレームにおける各顔器官点の位置を大まかな位置とみなし、その位置からの各顔器官点のトラッキングにより詳細位置を探索している。しかしながら、特許文献２に開示される開眼度特定装置や特許文献３に開示される顔部品探索装置であっても、顔を手で掻くなどの動作によって顔全体の器官点推定位置が耳等の顔の横側に引っ張られた場合や、眼鏡等のフレームによって目の器官点推定位置が引き込まれた場合に、推定位置が誤った位置で安定してしまうおそれがある。

特開２００７−２４９２８０号公報 特開２０１０−１９８３１３号公報 特開２００３−２８１５３９号公報

本開示は、画像データ中の人の顔に関して、時間的に安定し、且つ、誤った推定位置で安定してしまうことなく、精度良く顔器官点の位置及び顔向きの角度を推定するアルゴリズム、及び同アルゴリズムを利用する顔向き推定装置及び方法を提供する。

本開示の顔向き推定装置は、
画像データから人の顔画像データを検出する顔検出部と、及び、
検出された人の顔画像データに関して顔器官点の位置及び顔向きの角度を推定する顔向き推定部と
を備える顔向き推定装置である。
前記顔向き推定部は、前記顔検出部が検出する顔画像が複数のフレームにおいて連続する場合、フレーム毎に、
（１）大局探索フィッティング処理から推定基準値を求める推定基準値を求める推定基準値算出処理と、
（２）前フレームのフィッティング結果である３次元顔モデルに基づいて、局所探索フィッティング処理を行うトラッキング処理と
を実行するものであり、
前記（２）トラッキング処理は、補正処理を含み、
前記補正処理は、
前フレームのフィッティング結果である３次元顔モデルにおける顔向きの角度と、前記（１）推定基準値算出処理により算出される推定基準値の３次元顔モデルにおける顔向きの角度との差分を算出し、該差分が所定の閾値以上である場合には、前フレームのフィッティング結果である３次元顔モデルに代えて、最新の推定基準値の３次元顔モデルを、局所探索フィッティング処理の基になる３次元顔モデルとし、
前記顔向き推定部は、局所探索フィッティング処理の結果から、フレーム毎に顔器官点の位置及び顔向きの角度を出力する。

本開示に係る顔向き推定装置及び方法は、画像データ中の人の顔に関して、時間的に安定し、且つ、誤った推定位置で安定してしまうことなく、精度良く顔器官点の位置及び顔向きの角度を推定することができる。

実施の形態１に係る顔向き推定装置の機能構成を示すブロック図である。 本開示に係る顔向き推定装置の適用例を説明するための図である。 実施の形態１に係る顔向き推定装置の全体動作を示すフローチャートである。 実施の形態１に係る顔向き推定装置における顔向き推定部による、顔器官点の位置及び顔向きの角度を推定する処理を示すフローチャートである。 図５（ａ−１）（ａ−２）（ａ−３）（ａ−４）は、顔画像データにおける顔器官点の位置推定が時間的に安定しないために、目のための位置推定の実際の対象が、目（ａ−１）→眉（ａ−２）→目（ａ−３）→眉（ａ−４）と変動してしまう様子を模式的に示す図である。図５（ｂ−１）（ｂ−２）（ｂ−３）（ｂ−４）は、図５（ａ−１）〜（ａ−４）のように目のための位置推定の実際の対象が変動してしまうために、目開閉検出処理が、実際には目が開かれ続けているにもかかわらず、開→閉→開→閉という誤出力をしてしまう様子を模式的に示す図である。 本開示に係る、顔器官点の位置及び顔向きの角度を推定するアルゴリズムの概要を説明する図である。

以下、適宜図面を参照しながら、本発明に係る実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

［本開示に至る経緯］
画像データの中から人の顔を検出し、更に検出した顔について顔器官点の位置及び顔向きの角度を推定する様々な技術が知られている。特許文献１は、人の顔における、顔器官点を含む複数の特徴点に対応する、複数の３次元位置を定める３次元顔モデルを、画像中の顔にフィッティングすることにより、顔器官点の位置及び画像中の顔向きの角度を推定する、３次元顔モデルフィッティングアルゴリズム、及び、同アルゴリズムを利用する検出装置を、開示している。

しかしながら、顔器官点の位置推定が時間的に安定しない場合、例えば、顔器官点位置に基づく処理の一つである目開閉検出の精度に、影響を及ぼす可能性が生じる。図５（ａ−１）（ａ−２）（ａ−３）（ａ−４）は、顔画像データにおける顔器官点の位置推定が時間的に安定しないために、目のための位置推定の実際の対象が、目（ａ−１）→眉（ａ−２）→目（ａ−３）→眉（ａ−４）と変動してしまう様子を模式的に示す図である。これに対して、図５（ｂ−１）（ｂ−２）（ｂ−３）（ｂ−４）は、図５（ａ−１）〜（ａ−４）のように目のための位置推定の実際の対象が変動してしまうために、目開閉検出処理が、実際には目が開かれ続けているにもかかわらず、開→閉→開→閉という誤出力をしてしまう様子を模式的に示す図である。このように、時間的に安定しない顔器官点の位置推定は、目開閉検出の精度に影響し得る。

そこで、フレームレートが１５フレーム／秒、又は３０フレーム／秒である動画においては顔器官点位置の１フレーム毎の動きが一般に微小であることを利用して、顔器官点の位置をトラッキング処理により推定していくことが、考えられる。つまり、前のフレームでの顔器官点位置推定結果（即ち、３次元顔モデルフィッティング結果）を起点として、その周囲で顔器官点を探索（即ち、フィッティング処理）するということが考えられる。

しかしながら、トラッキング処理を組み合わせることで顔器官点位置推定結果やその後段処理の目開閉検出が時間的に安定する一方で、顔を手で掻くなどの動作によって顔全体の器官点推定位置が耳等の顔の横側に引き込まれた場合や、眼鏡等のフレームによって目の器官点推定位置が引っ張られた場合に、推定位置が誤った位置で安定する事象も生じ得る。そうすると、３次元顔モデルが顔画像としっかりとフィットしないままで安定化してしまい、顔向き推定結果がずれ続けてしまうことになる。

本開示は、このような問題点を解決するために、発明者により考案された技術である。図６は、本開示に係る顔器官の位置及び顔向きの角度を推定するアルゴリズムの概要を説明する図である。図６に示すように、３次元顔モデルフィッティングのトラッキング処理（局所探索フィッティング処理）（（Ａ１）−（Ａ２）、（Ｂ１）−（Ｂ２））と、大局探索フィッティング処理（（Ｃ１）−（Ｃ２））とが、並行して行われる。

フレーム毎に、大局探索フィッティング処理（（Ｃ１）−（Ｃ２））から推定基準値が算出される。

トラッキング処理では、前フレームのフィッティング結果である３次元顔モデルが顔画像上に配置され、続いて、前フレームのフィッティング結果である３次元顔モデルにおける顔向き角度と、顔向き推定基準値（推定基準値における顔向き角度）とが比較されて差分が計算される（（Ａ１）、（Ｂ１））。差分Ｄｉｆｆの算出には、例えば、ヨー角を用いる。ここで差分が所定の閾値より小さい場合（Ａ１）には、配置された、前フレームのフィッティング結果である３次元顔モデルに基づいて、局所探索フィッティング処理が行われる（Ａ２）。差分が所定の閾値以上である場合（Ｂ１）には、前フレームのフィッティング結果である３次元顔モデルではなく、推定基準値の３次元顔モデルが顔画像上に配置され直され（Ｂ１’）、配置され直された推定基準値の３次元顔モデルに基づいて、局所探索フィッティング処理が行われる（Ｂ２）。

このようにすることで、時間的に安定し、且つ、誤った推定位置で安定してしまうこと無く、精度良く顔器官点の位置および顔向きを推定するアルゴリズムが実現される。

本開示に係る技術では、３次元顔モデルフィッティングのトラッキング処理をベースとするため、顔器官点位置推定結果や、その後段処理の目開閉検出が、時間的に安定する。更に、本開示に係る技術では、トラッキング処理結果を、大局探索フィッティング処理結果から算出される推定基準値と常時比較して、所定の閾値以上のずれがある場合には、トラッキング処理結果を補正する（即ち、推定基準値の３次元顔モデルと置き換える）。そのため、例えば、顔を手で掻くなどの動作によって顔全体の器官点推定位置が耳等の顔の横側に引き込まれた場合や、眼鏡等のフレームによって目の器官点推定位置が引っ張られた場合に、推定位置が誤った位置で安定する事象が生じ、結果として３次元顔モデルが顔画像としっかりとフィットしないまま安定化し、顔向き推定結果がずれ続ける、ということを抑制することができる。

従って、本開示に係る技術により、顔画像において、時間的に安定し、且つ、誤った推定位置で安定してしまうこと無く、精度良く顔器官点の位置および顔向きを推定することができる。更に、大局探索フィッティング処理は、推定位置が誤った位置で安定する事象が生じることを抑制するためのものであるから、凡そのフィッティングを行うもので十分であり、またこれにより、リアルタイム性も維持することができる。

［本開示で利用する３次元顔モデルフィッティング］
本開示で利用する３次元顔モデルフィッティングのアルゴリズムについて説明する。３次元顔モデルフィッティングのアルゴリズムは、様々存在する。特許文献１に開示される３次元顔モデルフィッティングのアルゴリズムは、リアルタイム性及び高精度が求められる車載モニタリングセンサの技術分野で用いられる、一つの例である。本開示で利用する３次元顔モデルフィッティングのアルゴリズムは、特許文献１に開示される３次元顔モデルフィッティングのアルゴリズムであってもよいし、別の３次元顔モデルフィッティングのアルゴリズムであってもよい。

本開示で利用する３次元顔モデルフィッティングのアルゴリズムは、概略以下のようなものである。学習画像を用いて、モデルの各ノードが顔特徴点の正しい位置に配置された正解モデルと、いずれかのノードが誤った位置に配置された誤差モデルとの差、及び誤差モデルに基づいて取得されたノード特徴量、についての相関関係の情報を、予め取得しておく。入力画像から顔特徴点を検出する際には、複数のノードの３次元位置を定めた３次元モデルを作成し、各ノードを入力画像上に投影し、投影点からノード特徴量を取得し、このノード特徴量と学習した相関関係の情報に基づいて、現在の各ノードの位置と対応する特徴点の位置とのずれを示す誤差推定量を取得する。更に、この誤差推定量と現在の各ノードの位置に基づいて、入力画像における各顔特徴点の３次元位置を推定し、それに合わせて各ノードを動かす。

なお、本開示で利用する「ラフフィッティング」では、相関関係を取得するための学習段階で用いる学習画像において、正解モデルと誤差モデルの差が比較的大きいものが用いられ、これにより相関関係が形成される。

一方、本開示で利用する「詳細フィッティング」では、相関関係を取得するための学習段階で用いる学習画像において、正解モデルと誤差モデルの差が比較的小さいものが用いられ、これにより相関関係が形成される。

本開示で利用する３次元顔モデルフィッティングのアルゴリズムは、上記以外のものであってもよい。

［適用例］
本開示に係る顔向き推定装置が適用可能な一例について、図２を用いて説明する。図２は、本開示に係る顔向き推定装置１４の適用例を説明するための図である。

図２は、いずれも自動車に搭載される、車両制御部４と、及びドライバモニタリングセンサ１２との、内部構成を示すブロック図である。車両制御部４は、ＥＣＵ（electronic control unit：電子制御ユニット）６と、アクチュエータ８を含む。ＥＣＵ６は、複数のものであってもよいし、アクチュエータ８も複数のものであってもよい。

ドライバモニタリングセンサ１２は、運転者の表情を中心にリアルタイムでモニタリングを行う装置であり、撮像装置であるカメラ１６と、及び、顔向き推定装置である画像処理部１４とを、含む。顔向き推定装置である画像処理部１４は、ハードウェアプロセッサに相当するＣＰＵ１８と、メモリに相当するＲＯＭ（Read Only Memory）２０と、メモリに相当するＲＡＭ（Random Access Memory）２２とを有する。これら各構成は、適宜のバスを介して相互にデータ送受信可能に接続される。
更に、ドライバモニタリングセンサ１２のＣＰＵ１８と、車両制御部４のＥＣＵ６とは、ＣＡＮ（Control Area Network）１０を介して接続する。

ＣＰＵ１８は、ＲＯＭ２０又はＲＡＭ２２に記憶されたプログラムの実行に関する制御やデータの演算、加工を行う。ＣＰＵ１８は、様々なプログラム（例えば、３次元顔モデルフィッティングアルゴリズムのためのプログラム）を実行する演算装置である。ＣＰＵ１８は、カメラ１６や、車両制御部４のＥＣＵ６から種々の入力データを受け取り、入力データの演算結果を、ＣＡＮ１０を介して車両制御部４のＥＣＵ６に出力したり、ＲＡＭ２２に格納したりする。

ＲＯＭ２０は、データの読み出しのみが可能な記憶部であり、例えば半導体記憶素子で構成される。ＲＯＭ２０は、例えばＣＰＵ１８が実行するアプリケーション等のプログラムやデータ等を記憶する。

ＲＡＭ２２は、データの書き換えが可能な記憶部であり、例えば半導体記憶素子で構成される。ＲＡＭ２２は、例えばカメラ１６からの入力画像等を記憶する。

以上のような、車両制御部４及びドライバモニタリングセンサ１２において、顔向き推定装置は、画像処理部１４により実現される。

［構成例］
以下、顔向き推定装置１４の構成例としての実施の形態を説明する。

１.実施の形態１
１．１．構成
実施の形態１に係る顔向き推定装置１４の構成について、図１を用いて説明する。図１は、本実施の形態に係る顔向き推定装置１４の機能構成を示すブロック図である。

顔向き推定装置１４は、顔検出部２３、顔向き推定部２４、目開閉検出部４０、及び、視線推定部４２により、構成される。顔検出部２３は、カメラ１６等により撮像される画像データから人の顔画像データを検出する。顔向き推定部２４は、検出された人の顔画像データに関して顔器官点の位置及び顔向きの角度を推定する。目開閉検出部４０は、検出された人の顔画像データ、並びに、推定された顔器官点の位置及び顔向きの角度のデータに基づいて、目の開閉を検出する。視線推定部４２は、検出された人の顔画像データ、推定された顔器官点の位置及び顔向きの角度のデータ、並びに、検出された目の開閉のデータに基づいて、視線の方向を推定する。なお、顔向き推定装置１４は、視線推定部４２を備えなくてもよい。更に、顔向き推定装置１４は、目開閉検出部４０を備えなくてもよい。

顔向き推定部２４は、第１の３次元顔モデル配置部２６、大局探索３次元顔モデルフィッティング部２８、推定基準値算出部３０、局所探索３次元顔モデルフィッティング部３２、第２の３次元顔モデル配置部３４、比較判定部３６、及び、３次元顔モデルフィッティング結果補正部３８を、含む。

第１の３次元顔モデル配置部２６は、顔画像データに対して、３次元顔モデルを初期配置する。
大局探索３次元顔モデルフィッティング部２８は、初期配置された３次元顔モデルに基づいて、顔画像データに対して、凡その位置に３次元顔モデルをフィッティングする。つまり、大局探索３次元顔モデルフィッティング部２８は、大局探索フィッティング処理（図４・ステップＳ３４参照）を行う。大局探索フィッティング処理は、顔全体を探索して凡そフィッティングする処理である。なお、大局探索３次元顔モデルフィッティング部２８によって大局探索フィッティング処理にて行われるフィッティングは、上述の「ラフフィッティング」である。

推定基準値算出部３０は、直近数フレーム分の、例えば直近５フレーム分の、大局探索フィッティング処理（図４・ステップＳ３４参照）で得られた結果から、推定基準値の３次元顔モデルを、即ち、例えば、推定基準値としての顔器官点の位置及び顔向きの角度を、算出する。

局所探索３次元顔モデルフィッティング部３２は、大局探索フィッティング処理（図４・ステップＳ３４参照）を経由した３次元顔モデル、前フレームのフィッティング結果である３次元顔モデル、又は、最新の推定基準値の３次元顔モデルに、基づいて、顔画像データに対して、局所探索フィッティング処理（図４・ステップＳ４０、ステップＳ５２参照）を行う。局所探索フィッティング処理は、顔における局所を探索して詳細にフィッティングする処理である。局所探索３次元顔モデルフィッティング部３２が行う局所探索フィッティング処理については後で説明する。

第２の３次元顔モデル配置部３４は、顔画像データに対して、前フレームのフィッティング結果である３次元顔モデルを配置する。
比較判定部３６は、第２の３次元顔モデル配置部３４により配置される３次元顔モデル（即ち、前フレームのフィッティング結果である３次元顔モデル）における顔向きの角度と、推定基準値算出部３０により算出される推定基準値の３次元顔モデルにおける顔向きの角度との差分Ｄｉｆｆを算出し、差分Ｄｉｆｆが所定の閾値より小さいか否かを判別する。ここで、差分Ｄｉｆｆの算出には、例えば、ヨー角を用いる。

３次元顔モデルフィッティング結果補正部３８は、比較判定部３６が、差分Ｄｉｆｆが所定の閾値以上である、と判別した場合に、前フレームのフィッティング結果である３次元顔モデルではなく、最新の推定基準値の３次元顔モデルを、顔画像データ上に、配置し直す。

顔向き推定部２４は、局所探索３次元顔モデルフィッティング部３２による局所探索フィッティング処理（図４・ステップＳ４０、ステップＳ５２参照）に基づいて、当該フレームにおける顔器官点の位置及び顔向きの角度を出力する。

１．２．動作
以上のように構成される顔向き推定装置１４の動作について、以下説明する。

１．２．１．全体動作
図３は、実施の形態１に係る顔向き推定装置１４の全体動作を示すフローチャートである。顔向き推定装置１４の動作開始（ステップＳ０２）後、トラッキングフラグ「ＴｒａｃｋｉｎｇＦｌａｇ」を「ＦＡＬＳＥ」にセットし（ステップＳ０４）、「ｔ」の初期化処理を行う（ステップＳ０６）。なお、トラッキングフラグ「ＴｒａｃｋｉｎｇＦｌａｇ」は、連続するフレームにおいて、顔検出ができれば１つ目のフレームに関する処理の終わりにて「ＴＲＵＥ」にセットされ、顔検出ができないフレームに到れば「ＦＡＬＳＥ」にセットされる。

次に、ｔフレーム目の画像データに関して、顔検出部２３が顔画像データ検出処理を行う（ステップＳ０８）。顔検出ができれば（ステップＳ１０・ＹＥＳ）、顔向き推定部２４が顔器官点の位置及び顔向きの角度を推定して（ステップＳ１４）、「ｔ」をインクリメントする（ステップＳ１６）。顔検出ができなければ（ステップＳ１０・ＮＯ）、トラッキングフラグ「ＴｒａｃｋｉｎｇＦｌａｇ」を「ＦＡＬＳＥ」にセットし（ステップＳ１２）、「ｔ」をインクリメントする（ステップＳ１６）。

「ｔ」が終了値でなければ（ステップＳ１８・ＮＯ）、次のフレームに関して顔検出処理から顔向き推定処理が行われる（ステップＳ０８〜）。

「ｔ」が終了値となれば（ステップＳ１８・ＹＥＳ）、顔向き推定装置１４の動作を終了する（ステップＳ２０）。

１．２．２．顔向き推定処理
図４は、実施の形態１に係る顔向き推定装置１４における、顔向き推定部２４の顔向き推定処理（図３・ステップＳ１４）の内容を示すフローチャートである。

顔向き推定処理開始（ステップＳ３０）後、先ず、推定基準値算出処理（ステップＳ３２〜ステップＳ３６）が実行される。初めに、第１の３次元顔モデル配置部２６が、顔画像データに対して３次元顔モデルを初期配置する（ステップＳ３２）。次に、大局探索３次元顔モデルフィッティング部２８が、初期配置された３次元顔モデルに基づいて、顔画像データに対して、凡その位置に３次元顔モデルをフィッティングする（ステップＳ３４）。大局探索３次元顔モデルフィッティング部２８によって大局探索フィッティング処理にて行われるフィッティングは、上述の「ラフフィッティング」である。

次に、推定基準値算出部３０が、直近の所定の数フレーム分の、例えば直近５フレーム分の、大局探索フィッティング処理（ステップＳ３４）で得られた結果から、推定基準値の３次元顔モデルを、即ち、例えば、推定基準値としての顔器官点の位置及び顔向きの角度を、算出（更新）する（ステップＳ３６）。直近５フレーム分のデータは、例えば以下のように用いられる。所定の値、例えば、顔向きの角度を基準にして、５フレームのうち、所定の値が最大であるフレームのデータと、所定の値が最小であるフレームのデータを除いて、３フレームのデータの平均値を算出して、推定基準値の３次元顔モデルとする。

なお、直近フレームが１フレームのみである場合には、それを推定基準値とする。直近フレームが２フレームのみである場合には、それら２フレームの平均値を推定基準値とする。直近フレームが３又は４フレームのみである場合には、所定の値が最大であるフレームのデータと所定の値が最小であるフレームのデータを除いて、残りのフレームの平均値を推定基準値とする。

推定基準値を求めるのは以下のような理由による。まず、フィッティング失敗などによる大きな誤差による、影響の発生を抑制するためである。また、１５フレーム/秒若しくは３０フレーム/秒などの動画においては、５フレーム間の動きは非常に小さいと見做せることを利用するためである。

推定基準値算出処理（ステップＳ３２〜ステップＳ３６）の後、トラッキングフラグ「ＴｒａｃｋｉｎｇＦｌａｇ」が「ＴＲＵＥ」であるか否か、即ち、前フレームでも顔検出されていたか否か、判断される（ステップＳ３８）。トラッキングフラグ「ＴｒａｃｋｉｎｇＦｌａｇ」が「ＴＲＵＥ」で無ければ（ステップＳ３８・ＮＯ）、静止画処理（顔検出１フレーム目の処理）（ステップＳ４０〜Ｓ４２）が実行される。トラッキングフラグ「ＴｒａｃｋｉｎｇＦｌａｇ」が「ＴＲＵＥ」であれば（ステップＳ３８・ＹＥＳ）、トラッキング処理（ステップＳ４４〜Ｓ５２）が実行される。

静止画処理（顔検出１フレーム目の処理）（ステップＳ４０〜Ｓ４２）では、初めに、局所探索３次元顔モデルフィッティング部３２が、大局探索フィッティング処理（ステップＳ３４）を経由した３次元顔モデルに基づいて、顔画像データに対して、（後で説明する）局所探索フィッティング処理を行う（ステップＳ４０）。次に、トラッキングフラグ「ＴｒａｃｋｉｎｇＦｌａｇ」が「ＴＲＵＥ」にセットされる（ステップＳ４２）。静止画処理（顔検出１フレーム目の処理）後、顔向き推定部２４が、局所探索フィッティング処理（ステップＳ４０）の結果から、当該フレームにおける顔器官点の位置及び顔向きの角度を出力する（ステップＳ５４）。

トラッキング処理（ステップＳ４４〜Ｓ５２）では、初めに、第２の３次元顔モデル配置部３４が、顔画像データに対して、前フレームのフィッティング結果である３次元顔モデルを配置する（ステップＳ４４）。次に、比較判定部３６が、第２の３次元顔モデル配置部３４により配置される３次元顔モデル（即ち、前フレームのフィッティング結果である３次元顔モデル）における顔向きの角度と、推定基準値算出部３０により算出される推定基準値の３次元顔モデルにおける顔向きの角度との差分Ｄｉｆｆを算出する（ステップＳ４６）。ここで、差分Ｄｉｆｆの算出には、例えば、ヨー角を用いる。

差分Ｄｉｆｆが所定の閾値以上である（ステップＳ４８・ＮＯ）場合は、３次元顔モデルフィッティング結果補正部３８が、前フレームのフィッティング結果である３次元顔モデルではなく、最新の推定基準値の３次元顔モデルを、顔画像データ上に配置し直す（ステップＳ５０）。これを受けて、局所探索３次元顔モデルフィッティング部３２が、最新の推定基準値の３次元顔モデルに基づいて、顔画像データに対して、（後で説明する）局所探索フィッティング処理を行う（ステップＳ５２）。差分Ｄｉｆｆが所定の閾値未満（ステップＳ４８・ＹＥＳ）である場合は、３次元顔モデルフィッティング結果補正部３８は何らの処理も行わず、続いて、局所探索３次元顔モデルフィッティング部３２が、前フレームのフィッティング結果である３次元顔モデルに基づいて、顔画像データに対して、（後で説明する）局所探索フィッティング処理を行う（ステップＳ５２）。

このように、ステップＳ４６、ステップＳ４８、及びステップＳ５０は、補正処理を構成する。

トラッキング処理（ステップＳ４４〜Ｓ５２）後、顔向き推定部２４が、局所探索フィッティング処理（ステップＳ５２）の結果から、当該フレームにおける顔器官点の位置及び顔向きの角度を出力する（ステップＳ５４）。

顔器官点の位置及び顔向きの角度の出力処理（ステップＳ５４）の後、顔向き推定処理は終了する（ステップＳ５６）。

１．２．３．局所探索フィッティング処理
図４に示す顔向き推定処理における局所探索フィッティング処理（ステップＳ４０、ステップＳ５２）について説明する。局所探索フィッティング処理としては、様々なものが想定され得る。以下はその一例である。

基になる３次元顔モデルを設定する。本例では、前述のように、基になる３次元モデルは以下の三つである。
（１）大局探索フィッティング処理（即ち、上述の「ラフフィッティング処理」）（図４・ステップＳ３４）を経由した３次元顔モデル
（２）前フレームのフィッティング結果である３次元顔モデル
（３）最新の推定基準値の３次元顔モデル

次に、基になる３次元顔モデルの位置を左右又は上下等にずらしつつ、基になる３次元顔モデルの位置を含む複数方向から、上述の「詳細フィッティング」を行う。ここでのずらし量は、例えば、口幅の約半分である。更に、基になる３次元顔モデルの位置を含む複数方向からのフィッティングの結果を統合する。この統合の際には、「詳細フィッティング」直後に算出されるフィッティングスコアが所定の閾値（即ち、所定の第１閾値）以上となる結果について、フィッティングスコアで重み付けして統合する。

（基になる、又は）統合処理を経た３次元顔モデルの位置を左右又は上下等にずらしつつ、（基になる、又は）統合処理を経た３次元顔モデルの位置を含む複数方向から、詳細フィッティングを行うことと、（基になる、又は）統合処理を経た３次元顔モデルの位置を含む複数方向からのフィッティングの結果を統合することは、例えば、以下の条件をいずれも満たすまでイタレーションする（繰り返す）。
（条件１）統合されたフィッティングスコアが所定の第２閾値より大きい。
（条件２）顔向き角度の変動量が所定の第３閾値より小さい。ここで「顔向き角度の変動量」とは、前のイタレーションでの処理フローの際に算出された顔向き角度からの変動値である。
なお、処理を終了する（打ち切る）ためのイタレーション回数の上限を設ける。

以上を経て、局所探索フィッティングの結果を得る。このようして得られる結果は、安定して精度良く顔向きを推定するものである。

また、局所探索フィッティング処理（ステップＳ４０、ステップＳ５２）として、上述の「詳細フィッティング」がそのまま用いられてもよい。

１．３．まとめ
以上のように、本実施の形態に係る顔向き推定装置１４は、画像データから人の顔画像データを検出する顔検出部２３と、及び、検出された人の顔画像データに関して顔器官点の位置及び顔向きの角度を推定する顔向き推定部２４とを備える。顔向き推定部２４は、顔検出部２３が検出する顔画像が複数のフレームにおいて連続する場合、フレーム毎に、
（１）大局探索フィッティング処理から推定基準値を求める推定基準値算出処理と、（２）前フレームのフィッティング結果である３次元顔モデルに基づいて、局所探索フィッティング処理を行うトラッキング処理とを実行するものであり、（２）トラッキング処理は、補正処理を含み、補正処理は、 前フレームのフィッティング結果である３次元顔モデルにおける顔向きの角度と、（１）推定基準値算出処理により算出される推定基準値の３次元顔モデルにおける顔向きの角度との差分を算出し、該差分が所定の閾値以上である場合には、前フレームのフィッティング結果である３次元顔モデルに代えて、最新の推定基準値の３次元顔モデルを、局所探索フィッティング処理の基になる３次元顔モデルとし、顔向き推定部２４は、局所探索フィッティング処理の結果から、フレーム毎に顔器官点の位置及び顔向きの角度を出力する。

以上の、本実施の形態に係る顔向き推定装置は、画像データ中の人の顔に関して、時間的に安定し、且つ、誤った推定位置で安定してしまうことなく、精度良く顔器官点の位置及び顔向きの角度を推定することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。

実施の形態１に係る顔向き推定装置は、自動車に搭載されるドライバモニタリングセンサに適用されることが想定されるが、適用例はドライバモニタリングセンサに限定されない。例えば、工場における作業者の表情をモニタするモニタリングシステムや、カメラを駅や広場等に設置した上で特定の人物を検出してその人物の表情を検出する検出システム等に適用され得る。

また、実施の形態を説明するために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

４・・・車両制御部、６・・・ＥＣＵ、８・・・アクチュエータ、１０・・・ＣＡＮ、１２・・・ドライバモニタリングセンサ、１４・・・顔向き推定装置（画像処理部）、１６・・・カメラ、１８・・・ＣＰＵ、２０・・・ＲＯＭ、２２・・・ＲＡＭ、２３・・・顔検出部、２４・・・顔向き推定部、２６・・・第１の３次元顔モデル配置部、２８・・・大局探索３次元顔モデルフィッティング部、３０・・・推定基準値算出部、３２・・・局所探索３次元顔モデルフィッティング部、３４・・・第２の３次元顔モデル配置部、３６・・・比較判定部、３８・・・３次元顔モデルフィッティング結果補正部、４０・・・目開閉検出部、４２・・・視線推定部。

Claims (4)

1. 画像データから人の顔画像データを検出する顔検出部と、及び、
   検出された人の顔画像データに関して顔器官点の位置及び顔向きの角度を推定する顔向き推定部と
   を備える顔向き推定装置において、
   前記顔向き推定部は、前記顔検出部が検出する顔画像が複数のフレームにおいて連続する場合、フレーム毎に、
   （１）大局探索フィッティング処理から推定基準値を求める推定基準値算出処理と、
   （２）前フレームのフィッティング結果である３次元顔モデルに基づいて、局所探索フィッティング処理を行うトラッキング処理と
   を実行するものであり、
   前記（２）トラッキング処理は、補正処理を含み、
   前記補正処理は、
   前フレームのフィッティング結果である３次元顔モデルにおける顔向きの角度と、前記（１）推定基準値算出処理により算出される推定基準値の３次元顔モデルにおける顔向きの角度との差分を算出し、該差分が所定の閾値以上である場合には、前フレームのフィッティング結果である３次元顔モデルに代えて、最新の推定基準値の３次元顔モデルを、局所探索フィッティング処理の基になる３次元顔モデルとし、
   前記顔向き推定部は、局所探索フィッティング処理の結果から、フレーム毎に顔器官点の位置及び顔向きの角度を出力する、
   顔向き推定装置。
2. 前記推定基準値は、直近の所定の数フレームにおける大局探索フィッティング処理で得られた結果から算出される、
   請求項１に記載の顔向き推定装置。
3. コンピュータが実行する顔向き推定方法であって、
   画像データから人の顔画像データを検出するステップと、
   検出された人の顔画像データに関して顔器官点の位置及び顔向きの角度を推定するステップと、並びに、
   顔画像データにおける顔器官点の位置及び顔向きの角度を出力するステップと
   を含み、
   前記推定するステップは、前記検出するステップにて検出される顔画像が複数のフレームにおいて連続する場合、フレーム毎に、
   （１）大局探索フィッティング処理から推定基準値を求める推定基準値算出処理と、
   （２）前フレームのフィッティング結果である３次元顔モデルに基づいて、局所探索フィッティング処理を行うトラッキング処理と
   を含むものであり、
   前記（２）トラッキング処理は、補正処理を含み、
   前記補正処理は、
   前フレームのフィッティング結果である３次元顔モデルにおける顔向きの角度と、前記（１）推定基準値算出処理により算出される推定基準値の３次元顔モデルにおける顔向きの角度との差分を算出し、該差分が所定の閾値以上である場合には、前フレームのフィッティング結果である３次元顔モデルに代えて、最新の推定基準値の３次元顔モデルを、局所探索フィッティング処理の基になる３次元顔モデルとし、
   前記出力するステップでは、局所探索フィッティング処理の結果から、フレーム毎に顔器官点の位置及び顔向きの角度が出力される、
   顔向き推定方法。
4. 前記推定基準値は、直近の所定の数フレームにおける大局探索フィッティング処理で得られた結果から算出される、
   請求項３に記載の顔向き推定方法。

Images