JP2009199417A - 顔追跡装置及び顔追跡方法 - Google Patents

Abstract

【課題】顔向きが正面以外であっても顔モデルが顔領域の追跡に失敗したことを簡易な方法で判定し、顔モデルの誤った更新を防止する。
【解決手段】運転者の正面を向いた顔の撮像画像を取得し（Ｓ１０１，Ｓ１０２）、その撮像画像から顔領域を抽出して（Ｓ１０３）、その顔領域の位置から顔の追跡を開始する（Ｓ１０４，Ｓ１０５）。そして、追跡の開始後に取得された撮像画像におけるテンプレート更新型顔モデル１４２が存在する領域を正面顔に変形した変形画像を生成し（Ｓ１０６）、生成した変形画像が顔であるか否かを判定することで追跡の成否を判定する（Ｓ１０７）。このように、変形画像が顔であるか否かを判定するだけで、追跡が成功しているか否かを容易に判定することができる。
【選択図】図１０

Description

本発明は、人間の顔向きの変化をテンプレート更新型顔モデルを用いて追跡する顔追跡装置及び顔追跡方法に関するものである。

近年、人間の顔を撮像した撮像画像に基づいて顔の特徴点を追跡し、顔向き変化や特徴点位置の変化を検出する顔追跡方法が提案されている。そして、このような顔追跡方法に基づく処理を行う顔追跡装置を自動車に搭載することで、運転者の脇見判定や顔特徴点の位置変化から生理・心理状態を推定し、自動車の安全・利便・快適性を向上させるような運転支援システムが提案されている（例えば特許文献１参照）。

また、顔追跡方法としては、カメラで撮像した撮像画像から現在の追跡結果を計算の初期パラメータとして最適化問題を解くことで顔モデル（人間の顔部品テンプレート（目や口など）の集合をモデル化したもの）を動的に更新し、顔領域に顔モデルを収束させることで顔部品を追跡する技術がある（非特許文献１，２参照）。これらの技術（テンプレート更新型顔モデルを用いた技術）は、照明変化や顔部品の形状変化等に関してロバスト性が高く、従来のテンプレートマッチング法に比べて検出精度及び追跡精度が高いことが特徴である。

なお、様々な顔向きにおいても追跡の成否を判定するために、複数の顔部品テンプレートを辞書として格納しておき比較する技術も提案されている（特許文献２参照）。
特開２００６−２３１９６３号公報 特開２００３−３４６１５８号公報 I. Matthews and S. Baker, "Active Appearance Models Revisited", International Journal of Computer Vision, Vol. 60, No. 2, November 2004, pp. 135 - 164. J. Xiao, T. Moriyama, T. Kanade, and J. Cohn, "Robust Full-Motion Recovery of Head by Dynamic Templates and Re-registration Techniques", International Journal of Imaging Systems and Technology, Vol.13, September 2003, pp. 85 - 94.

しかしながら、テンプレート更新型顔モデルを用いた顔領域の追跡手法（非特許文献１，２）では、顔部品テンプレートを適切な状況で更新しなければ、誤った追跡をしてしまうという本質的な問題がある。また、これらの手法では、顔モデルと顔モデルの存在する撮像画像の領域との画素値誤差が最小及び類似度が最大になることを目的として最適化問題を反復計算で解くため、現在の追跡が成功しているか否かをアルゴリズム自体では判定することができない。すなわち、現在の顔モデルが顔以外の領域にある場合であっても更新が継続されてしまう。また、更新手法として最適化問題を反復計算で解くことから、追跡が失敗した場合には局所解に収束して追跡が終了してしまい、自動復帰できないという性質がある。

なお、特許文献２に記載のように、様々な顔向きにおいても追跡の成否を判定するために、複数の顔部品テンプレートを辞書として格納しておき比較する技術があるが、メモリ量が増大するとともに判定が複雑になるため効率的ではない。

本発明は、こうした問題にかんがみてなされたものであり、顔向きが正面以外であっても顔モデルが顔領域の追跡に失敗したことを簡易な方法で判定することができ、顔モデルの誤った更新を防止することのできる顔追跡装置及び顔追跡方法を提供することを目的としている。

上記目的を達成するためになされた本発明の請求項１に記載の顔追跡装置は、人間の顔向きの変化をテンプレート更新型顔モデルを用いて追跡するものである。
具体的には、この顔追跡装置において、撮像画像取得手段が、人間の顔を撮像した撮像画像を取得し、顔領域抽出手段が、撮像画像取得手段により取得された撮像画像から顔領域を抽出する。そして、顔追跡手段が、顔領域抽出手段により抽出された顔領域の位置から顔の追跡を開始する。さらに、判定手段が、顔追跡手段による追跡の開始後に取得された撮像画像におけるテンプレート更新型顔モデルが存在する領域を正面顔に変形した変形画像を生成し、生成した変形画像が顔であるか否かを判定することで顔追跡手段による追跡の成否を判定する。

このような顔追跡装置によれば、実際の顔向きが正面以外になっている場合であっても、顔であるか否かを常に正面顔を基準として判定することができる。
すなわち、テンプレート更新型顔モデルが正確に顔領域に追従している場合は、顔向きがどのように変化していても、変形画像は正面顔となる。一方、追跡に失敗した場合には、変形画像には顔が存在しないか、又は歪んだ顔が存在することになる。このため、変形画像が顔であるか否かを判定するだけで、追跡の確からしさを容易に調べることができる。例えば、変形画像における水平方向及び垂直方向のそれぞれについて輝度を累積加算し、水平方向及び垂直方向の各累積加算値の谷位置を観察する。この谷位置から目やまゆなどの顔部品があらかじめ定義した所定の位置に存在するか否かを容易に判定することができるため、顔部品が所定の位置にあるときは正面顔であると判定することができる。したがって、顔向きが正面以外であっても、テンプレート更新型顔モデルが顔領域の追跡に失敗したことを、複数の顔向きの異なる判定用テンプレートやアルゴリズムを用意することなく、簡易な方法で判定することができる。

ところで、変形画像が顔であるか否かの判定は、例えば請求項２に記載のように、登録されている正面顔テンプレートとの比較に基づき行うようにしてもよい。具体的には、例えば、複数の人間が正面を向いたときの画像を取得しておき、それら複数の正面顔画像の平均画像を正面顔テンプレートとしてあらかじめ生成しておく。このようにすれば、正面顔テンプレートをあらかじめ１つ用意しておくだけで、顔向きが変化した場合においてもテンプレートマッチングのような単純なアルゴリズムで顔追跡の確からしさを判定することができる。特に、正面顔テンプレートをあらかじめ用意しておく構成のため、変形画像が顔であるか否かを精度良く判定することができる。

ここで、正面顔テンプレートは、例えば請求項３に記載のように、テンプレート更新型顔モデルが有する正面顔テンプレートとしてもよい。このようにすれば、テンプレート更新型顔モデルの正面顔を判定用の正面顔テンプレートとして利用することができるため、判定用の正面顔テンプレートをあらかじめ用意しておく必要がないという利点がある。なお、一般に、テンプレート更新型顔モデルは、非特許文献１，２に記載されているように、追跡時の基準となる顔テンプレートとして、正面顔のテンプレートをモデルの内部に所持している場合が多い。例えば、非特許文献１に記載の手法では、顔モデルの平均顔として正面顔が存在し、これに主成分分析で獲得された特徴点変位、テンプレートアピアランスの変動成分が線形結合としてテンプレート更新型顔モデルが定義されている。

一方、例えば請求項４に記載のように、撮像画像から抽出した顔領域を正面顔テンプレートとして取得するようにしてもよい。具体的には、例えば、音声によるガイダンスなどで人間に正面を向くことを促し、正面を向いたときの撮像画像から顔領域をテンプレートとして取得するようにすればよい。このようにすれば、判定用の正面顔テンプレートをあらかじめ用意しておく必要がないという利点がある。しかも、判定用の正面顔テンプレートが追跡対象者自身の正面顔であることから、判定精度を高くすることができる。

また、請求項５に記載の顔追跡装置は、判定手段により判定された顔追跡手段による追跡の成否の判定結果を報知する報知手段を備える。このような顔追跡装置によれば、追跡の成否を判定した場合に、その判定結果を人間に知らせることができる。例えば、テンプレート更新型顔モデルが顔領域への追従に失敗した場合に、失敗したことを聴覚や視覚的効果によって伝達する。ここで、具体的な報知方法としては、例えば、音声やパイロットランプの点滅などが挙げられる。このようにすれば、追跡の成否を人間が確認できる。

次に、請求項６に記載の顔追跡方法は、人間の顔向きの変化をテンプレート更新型顔モデルを用いて追跡するためのものである。
そして、この顔追跡方法は、人間の顔を撮像した撮像画像を取得する撮像画像取得ステップと、撮像画像取得ステップで取得した撮像画像から顔領域を抽出する顔領域抽出ステップと、顔領域抽出ステップで抽出した顔領域の位置から顔の追跡を開始する顔追跡ステップと、顔追跡ステップによる追跡の開始後に取得した撮像画像におけるテンプレート更新型顔モデルが存在する領域を正面顔に変形した変形画像を生成し、生成した変形画像が顔であるか否かを判定することで顔の追跡の成否を判定する判定ステップとを備える。

このような顔追跡方法によれば、請求項１に記載の顔追跡装置と同様の効果を得ることができる。

以下、本発明が適用された実施形態について、図面を用いて説明する。
［第１実施形態］
図１は、第１実施形態の顔追跡装置の概略構成を示すブロック図である。

本実施形態の顔追跡装置は、車両に搭載されて用いられるものであり、制御部１００と、カメラ２００と、画像キャプチャボード３００と、照明部４００と、音声出力部（スピーカ）５００とを備えている。

カメラ２００は、運転者の顔を撮像するためのものであり、イメージセンサとして例えばＣＣＤ又はＣＭＯＳを備えるとともに、運転者の顔が明瞭に撮像できるような焦点距離のレンズが装着されている。

画像キャプチャボード３００は、カメラ２００で撮像した顔画像をキャプチャし、制御部１００に提供する機能を持つ。
照明部４００は、カメラ２００からシャッター信号を受信し、ストロボ発光する。また、画像キャプチャボード３００から取得した顔画像の輝度情報を制御部１００から受け取り、照明の光量を調整する。なお、本実施形態の顔追跡装置は、顔画像を暗室下でも明瞭に撮像可能とするために照明部４００を備えているが、照明部４００を備えない構成とすることも可能である。

一方、制御部１００は、コンピュータのようなプロセッサユニットを実装した処理装置であり、顔抽出部１１０と、顔追跡部１２０と、顔判定部１３０と、メモリ１４０と、状態認識部１５０とを備えている。

顔抽出部１１０は、画像キャプチャボード３００から取得した顔画像において、顔領域を抽出する機能を有している。例えば、「Paul Viola and Michael Jones “Robust Real-time Object Detection”, SECOND INTERNATIONAL WORKSHOP ON STATISTICAL AND COMPUTATIONAL THEORIES OF VISION ？MODELING, LEARNING, COMPUTING, AND SAMPLING VANCOUVER, CANADA, JULY 13, 2001.」（以下「参考文献」という。）に記載のAdaBoosting手法により事前に学習された顔識別器１４１をメモリ１４０に登録しておき、この顔識別器１４１を呼び出すことで図２に示すように顔領域の画像空間上の位置と顔の大きさを取得することができる。また、このとき、メモリ１４０には事前学習によって生成されたテンプレート更新型顔モデル１４２もあらかじめ登録されている。

顔追跡部１２０は、このテンプレート更新型顔モデル１４２をメモリ１４０から呼び出し、顔の追跡を行う。
状態認識部１５０は、顔追跡部１２０で追跡された顔から、顔向きや目や口などの顔部品の特徴点位置を抽出し、これらの情報から、現在の運転者の状態を認識する。例えば、顔追跡部１２０で得られた顔向き変化情報を用い、あらかじめ設定した所定の範囲外に顔向きが変化したときに、脇見をしたと運転者の状態を判定する。また、このとき、制御部１００からスピーカである音声出力部５００に、脇見をしたことによる警報を出力するように指示する。また、追跡対象者に顔を正面に向けるように促す音声を音声出力部５００に出力するように指示することもできる。

以下、顔追跡部１２０、テンプレート更新型顔モデル１４２及び顔判定部１３０について詳細に説明する。
前述したように、顔追跡部１２０は、テンプレート更新型顔モデル１４２をメモリ１４０から呼び出し、顔領域の追跡を行う。

ここで、テンプレート更新型顔モデル１４２は、正面顔を三角形状の複数のメッシュで表現した基本形状（ｂａｓｅ ｓｈａｐｅ）ｓ₀（図３（ａ）参照）と、基本形状ｓ₀からの顔向きを示すｎ個（ｎは自然数）の形状ベクトル（ｓｈａｐｅ ｖｅｃｔｏｒ）ｓ_i（ｉ＝１，２，３，…，ｎ）（図３（ｂ），（ｃ）参照）からなる形状モデルを持つ。これら基本形状ｓ₀及びｎ個の形状ベクトルｓ_iを用いて式（１）により計算することで、人間の顔の形状ｓを表現する。なお、式（１）のｐ_i（ｉ＝１，２，３，…）は、重ね合わせ係数である。

また、形状ベクトルｓ_i（ｉ＝１，２，３，…）は、基本形状ｓ₀を構成するメッシュの頂点（以下「メッシュ頂点」ともいう。）を始点とするベクトルであり、基本形状ｓ₀の全頂点について形状ベクトルｓ_iが設定されている。なお、図３（ｂ），（ｃ）では、ｎ個の形状ベクトルｓ₁〜ｓ_nのうちの一部のみ（形状ベクトルｓ₁，ｓ₂）を示している。

このような基本形状ｓ₀や形状ベクトルｓ_iを生成するためには、顔向きの異なる複数の顔画像を学習セットとし、各画像における顔特徴点位置（メッシュ頂点の位置）を入力として、主成分分析を用いて導出する。基本形状ｓ₀は学習セットにおける顔特徴点位置の平均値となる。このとき、この基本形状ｓ₀が正面顔形状になるように学習セットを選択しておく。

また、テンプレート更新型顔モデル１４２は、前述の基本形状ｓ₀や形状ベクトルｓ_iとともに、基本アピアランスＡ₀（図３（ｄ）参照）と、ｍ個（ｍは自然数）のアピアランス変動Ａ_j（ｊ＝１，２，３，…，ｍ）（図３（ｅ），（ｆ）参照）から構成されるアピアランスモデルを持つ。アピアランスモデルは、これら基本アピアランスＡ₀及びｍ個のアピアランス変動Ａ_jを用いて式（２）により計算することで、人間の顔のアピアランスＡを表現する。なお、式（２）のλ_j（ｊ＝１，２，３，…）は重ね合わせ係数である。

このアピアランスモデルを前述の形状モデルにテクスチャマッピングすることで人間の顔テンプレートを表現することができる。このとき、重ね合わせ係数ｐ_i及びλ_iを顔追跡部１２０で導出する。また、これら重ね合わせ係数に加え、平行移動量とスケール変化からなる相似変換パラメータも併せて顔追跡部１２０で導出される。重ね合わせ係数ｐ_i及びλ_iと相似変換パラメータは、前フレームで導出した重ね合わせ係数ｐ_i及びλ_iと相似変換パラメータからなる現在のテンプレート更新型顔モデル１４２のテンプレートと、そのテンプレート更新型顔モデル１４２が存在する画像キャプチャボード３００から取得した撮像画像上のテンプレートの輝度誤差が最小になるように最急降下法による反復計算によって求められる。

このようにすることで、テンプレート更新型顔モデル１４２は顔領域に収束し、顔を追跡することができる（図４（ａ），（ｂ）参照）。すなわち、現在の撮像画像における顔領域の追跡は、前フレームでの追跡結果の影響を受けるため、一度追跡が失敗すると追跡に復帰することはできない。また、追跡は２つのテンプレート間の輝度誤差が最小になるように求められるため、追跡失敗時にもテンプレート更新型顔モデル１４２の更新は行われる。

また、状態認識部１５０に受け渡す顔向き情報も顔追跡部１２０で導出される。テンプレート更新型顔モデル１４２には、図５で示すような３次元形状モデルが含まれる。これらは、前述の形状モデルを３次元に拡張したものである。顔追跡部１２０における顔追跡時に、顔特徴点の２次元座標上の位置が求まるため、これら顔特徴点の２次元座標上の位置と３次元モデルを２次元座標上に投影し、対応している各顔特徴点の位置誤差が小さくなるように３次元モデルを３次元空間の３軸で回転させる。この回転量が顔向きになる。

顔判定部１３０は、顔追跡部１２０から追跡結果である顔特徴点の２次元座標を受け取り、各特徴点で囲まれた画像を抽出し（図６（ａ），（ｂ）参照）、抽出後の顔画像（図６（ｂ））を正面顔に変形する（図６（ｃ）参照）。このとき、図６（ｂ）に示す顔画像の形状は式（１）の形状ｓに該当する。形状ｓの正面顔形状への変換は、基本形状ｓ₀になるように特徴点群で構成される三角形をアフィン変換することで作成することができる。なぜなら、基本形状ｓ₀は前述のとおり正面顔形状になるように学習されているからであり、アフィン変換後の形状ｓ（図６（ｃ））は正面顔形状となる。

また、顔判定部１３０は、この変形された変形画像（図６（ｃ））が顔であるか否かを判定する。例えば、図７に示すように、画像の上半分における水平方向及び垂直方向のそれぞれについて輝度を累積加算し、水平方向及び垂直方向の各累積加算値の谷位置を観察する。この谷位置は目やまゆの位置に相当する。このため、画像が正面顔であれば、垂直方向累積輝度値及び水平方向累積輝度値のそれぞれにおいて、２つの大きな谷が存在する。これらの位置と累積輝度値を観察し、あらかじめ設定しておいた範囲と比較すれば、変形画像（図６（ｃ））が正面顔であるか否かを容易に判定することができる。

ここで、追跡が成功した場合（図６）と対比するため、追跡が失敗した場合の例を図８及び図９に示す。このような場合、変形画像（図８（ｃ）及び図９（ｃ））はいずれも正面顔画像にならない。また、顔抽出部１１０で正面顔を抽出したときに用いた顔識別器（例えば、前述した参考文献に記載のAdaBoosting手法）を変形画像（図６（ｃ）、図８（ｃ）及び図９（ｃ））に適用し、顔が発見できるか否かを調べてもよい。発見できない場合は、変形画像が正面顔ではないと判定する。

次に、顔追跡装置の制御部１００が実行する具体的処理手順について、図１０のフローチャートを用いて説明する。
制御部１００は、まずＳ１０１で、ボイスガイダンスの処理を行う。具体的には、追跡対象者である運転者に対し、正面方向に顔を向けるように促す音声を音声出力部５００から出力させる。

続いて、Ｓ１０２では、カメラ２００により撮像された１つの撮像画像（正面顔画像）を取得する。
続いて、Ｓ１０３では、Ｓ１０２で取得した撮像画像から顔領域を抽出する処理（顔抽出部１１０の処理）を行う。

続いて、Ｓ１０４では、Ｓ１０３で抽出した顔領域の位置及び大きさ情報をテンプレート更新型顔モデル１４２の追跡開始の初期パラメータとして設定する。
続いて、Ｓ１０５では、顔領域の追跡を行う追従処理（顔追跡部１２０の処理）を行う。

続いて、Ｓ１０６では、追従領域の顔画像を正面顔に変形する処理（顔判定部１３０の処理）を行う。
続いて、Ｓ１０７では、Ｓ１０６で得られた変形画像が正面顔であるか否かを判定する。

そして、Ｓ１０７で、変形画像が正面顔でないと判定した場合（追跡が失敗したと判定した場合）には、Ｓ１０２へ戻り、再度顔領域の抽出処理を行い、追従の初期パラメータ（位置及び大きさ）を再設定して再度追跡を行う。このとき、Ｓ１０２へ戻るのではなくＳ１０４へ戻り、追従の初期パラメータ（位置及び大きさ）を再設定してもよい。

一方、Ｓ１０７で、変形画像が正面顔であると判定した場合には、Ｓ１０８へ移行し、運転者の顔向き角が、あらかじめ設定されている脇見判定用のしきい値以内であるか否かを判定する処理（状態認識部１５０の処理）を行う。

そして、Ｓ１０８で、顔向き角がしきい値以内でないと判定した場合（脇見をしていると判定した場合）には、Ｓ１０９へ移行し、音声出力部５００から警報を出力させる。その後、Ｓ１１０へ移行する。

一方、Ｓ１０８で、顔向き角がしきい値以内であると判定した場合（脇見をしていないと判定した場合）には、そのままＳ１１０へ移行する。
Ｓ１１０では、図１０に示す一連の処理を終了するか否かを判定する。具体的には、例えば、運転者により処理終了操作が行われたか否かを判定する。

そして、Ｓ１１０で、処理を終了しないと判定した場合には、Ｓ１１１へ移行し、顔画像を取得した後、Ｓ１０５へ戻る。
一方、Ｓ１１０で、処理を終了すると判定した場合には、そのまま処理を終了する。

以上説明したように、第１実施形態の顔追跡装置は、運転者の顔向きの変化をテンプレート更新型顔モデル１４２を用いて追跡するものであり、運転者の正面を向いた顔の撮像画像を取得し（Ｓ１０１，Ｓ１０２）、その撮像画像から顔領域を抽出して（Ｓ１０３）、その顔領域の位置から顔の追跡を開始する（Ｓ１０４，Ｓ１０５）。そして、追跡の開始後に取得された撮像画像におけるテンプレート更新型顔モデル１４２が存在する領域を正面顔に変形した変形画像を生成し（Ｓ１０６）、生成した変形画像が顔であるか否かを判定することで追跡の成否を判定する（Ｓ１０７）。

このため、第１実施形態の顔追跡装置によれば、変形画像が顔であるか否かを判定するだけで、追跡が成功しているか否かを容易に判定することができる。
なお、本実施形態の顔追跡装置では、Ｓ１０２の処理を実行する制御部１００が、撮像画像取得手段に相当し、Ｓ１０３の処理を実行する制御部１００が、顔領域抽出手段に相当し、Ｓ１０４，Ｓ１０５の処理を実行する制御部１００が、顔追跡手段に相当し、Ｓ１０６，Ｓ１０７の処理を実行する制御部１００が、判定手段に相当する。

［第２実施形態］
次に、請求項２に対応する第２実施形態の顔追跡装置について説明する。
図１１に示すように、第２実施形態の顔追跡装置は、第１実施形態の顔追跡装置と対比すると、メモリ１４０に正面顔形状テンプレート１４３が付加されている点が異なる。その他、各部の機能及び動作内容は、正面顔形状テンプレート１４３及び顔判定部１３０を除いて第１実施形態と同様である。このため、正面顔形状テンプレート１４３及び顔判定部１３０について第１実施形態との相違点を中心に説明する。

正面顔形状テンプレート１４３は、図１２に示すように、あらかじめ作成しておいた人間の正面顔の画像である。この正面顔形状テンプレート１４３は、複数の人間の正面顔画像を平均して生成されたものであり、テンプレート更新型顔モデル１４２における基本形状ｓ₀と同じ大きさになるように調整されている。すなわち、図１２における水平方向の画素数Ｗと垂直方向の画素数Ｈは図７と同じである。なお、正面顔形状テンプレート１４３は追跡対象者自身の顔テンプレートでもよいし、第三者の正面顔テンプレートであってもよく、テンプレートが顔全体ではなくてもよい。

顔判定部１３０は、この正面顔形状テンプレート１４３をメモリ１４０から呼び出し、テンプレート更新型顔モデル１４２が抽出した顔領域を正面顔に変形した変形画像（図６（ｃ））とテンプレートマッチングを行う。このテンプレートマッチングでは、正面顔形状テンプレート１４３と変形画像（図６（ｃ））との正規化相関値を計算する（式（３）、式（４）参照）。なお、画素値間の平均二乗誤差（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）を計算してあらかじめ設定したしきい値から判定してもよい。

正規化相関値は−１〜１の値を取り、１に近いほどテンプレートと対象画像の相関が高いことを示す。この正規化相関値があらかじめ設定したしきい値（例えば０．８）以上になったときに変形画像（図６（ｃ））が正面顔であったと判定し、追跡が正確に行われたと判定する。

式（３）は正規化相関値を計算する一般的な式である。本実施形態では、テンプレート更新型顔モデル１４２が抽出した顔領域を正面顔に変形した画像と正面顔形状テンプレート１４３の大きさはともに基本形状ｓ₀であり、水平方向の画素数Ｗと垂直方向の画素数Ｈは同じになるため、本実施形態では式（４）で示す計算式を用いる。

ここで、式（３）及び式（４）について解説する。
図１３に一般的な正規化相関を用いたテンプレートマッチングの概要図を示す。ここでＩ（ｘ，ｙ）は探索画像である。（ｘ，ｙ）は水平方向及び垂直方向のそれぞれの画素位置を示す。また、Ｔ（ｉ，ｊ）はテンプレートを示す。探索画像のときと同様に（ｉ，ｊ）は水平方向及び垂直方向のそれぞれの画素位置を示す。

計算領域は大きさがテンプレートＴ（ｉ，ｊ）となる探索画像Ｉ（ｘ，ｙ）中の領域になる。走査領域は（ｘ，ｙ）の取り得る範囲を示す。すなわち、計算領域の左上の座標（ｘ，ｙ）を走査領域で走査し、Ｔ（ｉ，ｊ）との相関を計算することになる。式（３）の＜Ｉ＞は計算領域におけるＩ（ｘ，ｙ）の画素値の平均、＜Ｔ＞はテンプレートＴ（ｉ，ｊ）の画素値の平均である。

次に、本実施形態で用いる正規化相関値を用いたテンプレートマッチングの概要を図１４に示す。前述のとおり、本実施形態ではテンプレートＴ（ｉ，ｊ）が探索画像Ｉ（ｘ，ｙ）と同じ大きさとなるため、計算領域は探索画像Ｉ（ｘ，ｙ）全体になり、走査領域は（０，０）の一点になる。

以上説明したように、第２実施形態の顔追跡装置では、変形画像が顔であるか否かの判定を、あらかじめ登録されている正面顔形状テンプレート１４３との比較に基づき行う。このため、正面顔形状テンプレート１４３をあらかじめ１つ用意しておくだけで、顔向きが変化した場合においてもテンプレートマッチングのような単純なアルゴリズムで顔追跡の確からしさを判定することができる。特に、正面顔形状テンプレート１４３をあらかじめ用意しておく構成のため、変形画像が顔であるか否かを精度良く判定することができる。

［第３実施形態］
次に、請求項３に対応する第３実施形態の顔追跡装置について説明する。
第３実施形態の顔追跡装置は、第２実施形態の顔追跡装置と対比すると、テンプレート更新型顔モデル１４２の持つ正面顔を正面顔形状テンプレート１４３とする点が異なる。この正面顔とは、形状が形状モデルの基本形状ｓ₀で、テンプレートがアピアランスモデルの基本アピアランスＡ₀によって構成されるテンプレートである（図３（ａ），（ｄ）参照）。このテンプレートと追跡によって得られた領域を正面顔形状に変換した変形画像（図６（ｃ），図８（ｃ），図９（ｃ））とを前述の式（４）を使って正規化相関値から正面顔であるか否かを判定する。

このような第３実施形態の顔追跡装置によれば、テンプレート更新型顔モデル１４２が有する正面顔テンプレートを正面顔形状テンプレート１４３としているため、テンプレート更新型顔モデル１４２の正面顔を判定用の正面顔形状テンプレート１４３として利用することができる。このため、判定用の正面顔形状テンプレート１４３をあらかじめ用意しておく必要がないという利点がある。

［第４実施形態］
次に、請求項４に対応する第４実施形態の顔追跡装置について説明する。
第４実施形態の顔追跡装置は、第２実施形態の顔追跡装置と対比すると、撮像画像におけるテンプレート更新型顔モデル１４２が存在する領域を正面形状に変換した画像（図６（ｃ），図８（ｃ），図９（ｃ）参照）を正面顔形状テンプレート１４３とする点が異なる。つまり、顔抽出部１１０によって得られた正面顔画像を探索画像Ｉ（ｘ，ｙ）とする。このときの正規化相関値を計算し、あるしきい値（例えば、０．８）以上になったときに、顔判定部１３０が追跡が成功したと判定する。

このような第４実施形態の顔追跡装置によれば、撮像画像から抽出した顔領域を正面顔形状テンプレート１４３として取得するようにしているため、判定用の正面顔形状テンプレート１４３をあらかじめ用意しておく必要がないという利点がある。しかも、判定用の正面顔形状テンプレート１４３が運転者自身の正面顔であることから、判定精度を高くすることができる。

［第５実施形態］
次に、請求項５に対応する第５実施形態の顔追跡装置について説明する。
第５実施形態の顔追跡装置の構成は、第１〜第４実施形態のいずれを基礎としてもよく（図１、図１１参照）、顔判定部１３０の判定手法は第１〜第４実施形態に記載の手法をすべて取り得る。第５実施形態の顔追跡装置が第１〜第４実施形態の顔追跡装置と異なるのは、顔判定部１３０により追跡が失敗したと判定した場合に、顔判定部１３０から音声出力部５００に音声信号を出力する点である。ここで、音声信号は、メッセージ等の音声を表すものであってもよく、単純なビープ音などであってもよい。また、図１５に示すように、別途、パイロットランプ６００を用意し、点灯と消灯によって運転者に伝達するようにしてもよい。

ここで、このような処理を実現するために顔追跡装置の制御部１００が実行する具体的処理手順について、図１６のフローチャートを用いて説明する。
図１６の処理は、前述した図１０の処理に代えて実行されるものであり、Ｓ１１２の処理が追加されている点のみが異なる。すなわち、Ｓ１０７で変形画像が正面顔でないと判定した場合（追跡が失敗したと判定した場合）に、Ｓ１１２へ移行し、追跡が失敗したことを運転者に知らせるための音声を音声出力部５００から出力させた後、Ｓ１０２へ戻る。

このような第５実施形態の顔追跡装置によれば、追跡の成否を判定した場合に、その判定結果を運転者に知らせることができるため、追跡の成否を運転者が確認できる。また、運転者に追跡の失敗を音声又は視覚的効果により伝達できることから、追跡対象者以外の第三者が顔領域の位置や大きさなどの初期パラメータをマウス等の入力デバイスによって再設定することができるようになる。加えて、初期パラメータの再設定等の追跡復帰処理を運転者自身が適切なタイミングで行うといったことも可能となる。

なお、本実施形態の顔追跡装置では、Ｓ１１２の処理を実行する制御部１００が、報知手段に相当する。
［他の形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

例えば、上記実施形態では、車両に搭載されて用いられる顔追跡装置を例示したが、これに限定されるものではなく、本発明の顔追跡装置は車両以外でも利用することができる。

第１実施形態の顔追跡装置の概略構成を示すブロック図である。 顔抽出部によって抽出された顔の領域を示す図である。 形状モデル及びアピアランスモデルを示す図であり、（ａ）が基本形状を示す図、（ｂ），（ｃ）が形状ベクトルを示す図、（ｄ）が基本アピアランスを示す図、（ｅ），（ｆ）がアピアランス変動を示す図である。 テンプレート更新型顔モデルが顔領域に収束して追従している様子を示す図であり、（ａ）が顔向きが正面での追従の様子を示す図、（ｂ）が顔向きが正面以外での追従の様子を示す図である。 ３次元形状モデルを示す図であり、（ａ）が基本形状を示す図、（ｂ），（ｃ）が形状ベクトルを示す図である。 正面顔への変形を示す図であり、（ａ）がテンプレート更新型顔モデルによる追跡結果を示す図、（ｂ）がテンプレート更新型顔モデルが存在する領域の画像を示す図、（ｃ）が（ｂ）を正面顔形状に変形した変形画像を示す図である。 変形画像が正面顔であるか否かの判定手法を示す図である。 追跡が失敗したときの正面顔形状への変形事例１を示す図であり、（ａ）がテンプレート更新型顔モデルによる追跡結果を示す図、（ｂ）がテンプレート更新型顔モデルが存在する領域の画像を示す図、（ｃ）が（ｂ）を正面顔形状に変形した変形画像を示す図である。 追跡が失敗したときの正面顔形状への変形事例２を示す図であり、（ａ）がテンプレート更新型顔モデルによる追跡結果を示す図、（ｂ）がテンプレート更新型顔モデルが存在する領域の画像を示す図、（ｃ）が（ｂ）を正面顔形状に変形した変形画像を示す図である。 第１実施形態の顔追跡装置の制御部が実行する具体的処理手順を示すフローチャートである。 第２実施形態の顔追跡装置の概略構成を示すブロック図である。 複数人の正面顔の平均画像から生成した正面顔形状テンプレートを示す図である。 一般的な正規化相関値の計算を示す図である。 第２実施形態における正規化相関値の計算を示す図である。 第５実施形態の顔追跡装置の概略構成を示すブロック図である。 第５実施形態の顔追跡装置の制御部が実行する具体的処理手順を示すフローチャートである。

符号の説明

１００…制御部、１１０…顔抽出部、１２０…顔追跡部、１３０…顔判定部、１４０…メモリ、１４１…顔識別器、１４２…テンプレート更新型顔モデル、１４３…正面顔形状テンプレート、１５０…状態認識部、２００…カメラ、３００…画像キャプチャボード、４００…照明部、５００…音声出力部、６００…パイロットランプ

Claims (6)

1. 人間の顔向きの変化をテンプレート更新型顔モデルを用いて追跡する顔追跡装置であって、
   人間の顔を撮像した撮像画像を取得する撮像画像取得手段と、
   前記撮像画像取得手段により取得された撮像画像から顔領域を抽出する顔領域抽出手段と、
   前記顔領域抽出手段により抽出された顔領域の位置から顔の追跡を開始する顔追跡手段と、
   前記顔追跡手段による追跡の開始後に取得された撮像画像における前記テンプレート更新型顔モデルが存在する領域を正面顔に変形した変形画像を生成し、生成した変形画像が顔であるか否かを判定することで前記顔追跡手段による追跡の成否を判定する判定手段と、
   を備えることを特徴とする顔追跡装置。
2. 前記判定手段は、前記変形画像が顔であるか否かの判定を、登録されている正面顔テンプレートとの比較に基づき行うこと
   を特徴とする請求項１に記載の顔追跡装置。
3. 前記正面顔テンプレートは、前記テンプレート更新型顔モデルが有する正面顔テンプレートであること
   を特徴とする請求項２に記載の顔追跡装置。
4. 前記顔領域抽出手段は、前記撮像画像から抽出した顔領域を前記正面顔テンプレートとして取得すること
   を特徴とする請求項２に記載の顔追跡装置。
5. 前記判定手段により判定された前記顔追跡手段による追跡の成否の判定結果を報知する報知手段を備えること
   を特徴とする請求項１から請求項４までのいずれか１項に記載の顔追跡装置。
6. 人間の顔向きの変化をテンプレート更新型顔モデルを用いて追跡する顔追跡方法であって、
   人間の顔を撮像した撮像画像を取得する撮像画像取得ステップと、
   前記撮像画像取得ステップで取得した撮像画像から顔領域を抽出する顔領域抽出ステップと、
   前記顔領域抽出ステップで抽出した顔領域の位置から顔の追跡を開始する顔追跡ステップと、
   前記顔追跡ステップによる追跡の開始後に取得した撮像画像における前記テンプレート更新型顔モデルが存在する領域を正面顔に変形した変形画像を生成し、生成した変形画像が顔であるか否かを判定することで顔の追跡の成否を判定する判定ステップと、
   を備えることを特徴とする顔追跡方法。