JP2009211151A - 顔画像処理装置 - Google Patents

Abstract

【課題】特殊な表面計測装置を用いることなく、対象者の２次元の顔画像から、当該対象者の３次元顔画像を作成する顔画像処理装置を提供する。
【解決手段】顔画像処理装置は、人物の２次元顔画像を入力する画像入力手段２１０と、２次元顔画像から光源方向を推定する光源方向推定手段２５０と、顔の３次元形状モデルを予め複数記憶する記憶手段２０５と、２次元顔画像にあわせて３次元形状モデルの顔向きを調整する顔向き調整手段１４０と、顔向き調整された複数の３次元形状モデルのそれぞれに、推定された光源方向を適用して、その顔向きの２次元の陰影画像を作成する陰影画像作成手段２６０と、２次元顔画像に最も類似している陰影画像に対応する３次元形状モデルを選択する顔形状モデル選択手段２８０と、選択された３次元形状モデルと２次元顔画像を合成して、その人物の顔に対応した３次元顔画像を作成する個人モデル作成手段２９０とを有する。
【選択図】図１

Description

本発明は、顔画像処理装置に関し、特に、個人を撮影した２次元の顔画像と３次元の顔形状モデルからその個人の３次元の顔形状を推定して３次元顔画像を作成する顔画像処理装置に関する。

従来より、対象者の顔を撮影して取得した２次元の顔画像を登録された顔画像と照合することにより、その対象者を認証する顔認証装置が提案されている。このような顔認証装置は、事前に対象者本人の顔画像を登録しておき、利用時に取得した顔画像と比較した結果に基づいて、認証の可否を決定する。そのため、登録時の顔画像と利用時の顔画像との間に、顔の向き、照明条件、表情などにおいて差異が生じていると、照合の際の誤り率が高くなる。

そこで、顔画像の照合に使用するための、対象者の顔の複数の２次元画像を作成するサンプル画像収集方法が提案されている（特許文献１を参照）。係る画像収集方法は、表面計測装置を用いて取得した顔の３次元の表面形状データ及びカラー情報から、対象者の顔の３次元コンピュータグラフィックスモデルを作成する。そして、その画像収集方法は、そのモデルに基づいて顔の向き又は照明条件を変動させてレンダリングすることにより、複数の２次元顔画像を作成する。

また、標準的な顔の３次元形状を表す標準フレームモデルを用いて、照合の際に使用する複数の参照顔画像を作成する顔画像照合装置が提案されている（特許文献２を参照）。係る顔画像照合装置は、照合の際に取得した対象者の２次元顔画像と上記の標準フレームモデルを合成して対象者の顔に対応した３次元顔モデル（３次元顔画像）を作成する。そして顔画像照合装置は、３次元顔モデルに対して顔の向き、照明条件、または表情といった変動要因を考慮してレンダリングを行うことにより、参照顔画像を作成する。

特開平４−２５６１８５号公報 特開２００３−６６４５号公報

特許文献１に記載された画像収集方法では、対象者ごとに顔の３次元コンピュータグラフィックスモデルを作成する必要がある。しかし、そのモデルの作成には、特殊な表面計測装置を用いて対象者本人の顔を計測する必要があるため、各対象者の顔の３次元コンピュータグラフィックスモデルを作成することは容易でない。そのため、係る画像収集方法を、一般に利用される顔認証装置に適用することは困難であった。

一方、特許文献２に記載された顔画像照合装置では、３次元形状を表すモデルとして、標準的な顔に対応する標準フレームモデルが１ないし複数準備される。この標準フレームモデルは、一度作成すればよく、係る顔画像照合装置の何れについても使用することができるので、上記のような問題は生じない。しかし、標準フレームモデルは、標準的な顔の形状に対応するものであるため、頬骨の張り出し具合、顎の形状など、個々人が持つ顔形状の特徴を反映しない。そのため、標準フレームモデルを用いて作成した参照顔画像は、照合において不適切なものとなる場合があった。また、特許文献２には、複数の異なる標準フレームモデルを準備しておき、それらモデルの中から、対象者の性別または年齢などの属性情報に応じて適当なモデルを選択して使用することも開示されている。しかし、対象者の属性情報が同じでも、顔形状の特徴は大きく異なる場合があり、そのような場合には、やはり照合に適した参照顔画像を作成できない場合があった。

そこで、本発明の目的は、特殊な表面計測装置を用いることなく、対象者の２次元の顔画像から、当該対象者の３次元顔画像を作成する顔画像処理装置を提供することにある。
また本発明の他の目的は、対象者の２次元の顔画像から作成された３次元顔画像を用いて、照合の誤り率が低い顔認証装置を提供することにある。

かかる課題を解決するための本発明は、人物の顔を撮影した２次元顔画像から、当該人物の３次元顔画像を作成する顔画像処理装置を提供する。係る顔画像処理装置は、人物の２次元顔画像を入力する画像入力手段と、２次元顔画像から光源方向を推定する光源方向推定手段と、顔の３次元形状モデルを予め複数記憶する記憶手段と、２次元顔画像にあわせて３次元形状モデルの向きを調整し、顔向きを検出する顔向き調整手段と、顔向き調整された複数の３次元形状モデルのそれぞれに、推定された光源方向を適用して陰影をつけ、当該各３次元形状モデルから検出された顔向きの２次元の陰影画像を作成する陰影画像作成手段と、陰影画像のうち、２次元顔画像に最も類似している陰影画像を抽出して当該陰影画像に対応する３次元形状モデルを選択する顔形状モデル選択手段と、顔形状モデル選択手段により選択された３次元形状モデルと２次元顔画像を合成して、人物の顔に対応した３次元顔画像を作成する個人モデル作成手段とを有する。

顔における光の反射度合いは顔の立体形状によって異なる。そこで、本発明の顔画像処理装置は、２次元顔画像と３次元形状モデルとで顔向きと光源方向をあわせて、両者の陰影度合いを比較することで、２次元顔画像と類似する顔の形状を選択して対象者の３次元顔画像を作成できる。

また本発明において、光源方向推定手段は、２次元顔画像において眉毛などの肌でない領域を除いた肌部分から光源方向を推定することが好ましい。
さらに本発明は、２次元顔画像において眉毛などの肌でない領域を除いた肌部分に対応する各画素の輝度値と、陰影画像における対応画素の輝度値との差が小さいほど高くなる類似度を算出する類似度算出手段をさらに有し、顔形状モデル選択手段は、類似度が最も高い陰影画像に対応する３次元形状モデルを選択することが好ましい。

また本発明は、２次元顔画像を縦方向に複数の領域に分割し、分割された複数の領域のそれぞれについて、人物の２次元顔画像において肌部分に対応する各画素の輝度値と、陰影画像における対応画素の輝度値との差が小さいほど高くなる類似度を算出する類似度算出手段をさらに有し、顔形状モデル選択手段は、分割された複数の領域のそれぞれについて、類似度が最も高い陰影画像に対応する３次元形状モデルから当該領域に対応する部分を選択し、個人モデル作成手段は、顔形状モデル選択手段により選択された部分を組み合わせた組み合わせ３次元形状モデルを作成し、その組み合わせ３次元形状モデルと人物の２次元顔画像を合成して、３次元顔画像を作成することが好ましい。

さらに本発明において、個人モデル作成手段は、２次元顔画像を合成した３次元顔画像において顔の一部が欠落した欠落部分が含まれる場合、その欠落部分の周囲の画素の輝度情報または欠落部分に対して顔の正中線を中心とした線対称の位置の画素の輝度情報を用いて、欠落部分の画素の輝度情報を補間処理により求めることが好ましい。

さらに本発明において、所定方向を向いた、少なくとも一人の登録者の参照顔画像を記憶する参照顔画像記憶手段と、３次元顔画像の顔向きを３次元空間で回転させて、２次元顔画像を撮影された人物の顔が所定方向を向いた補正顔画像を作成する補正顔画像作成手段と、補正顔画像と参照顔画像を照合し、その人物を登録者として認証するか否かを決定する照合手段とを有することが好ましい。

本発明に係る顔画像処理装置は、特殊な表面計測装置を用いることなく、対象者の２次元の顔画像から、立体形状が類似する３次元形状モデルを選択して当該対象者の３次元顔画像を作成できるという効果を奏する。
また本発明に係る顔認証装置は、対象者の２次元の顔画像から作成された３次元顔画像を用いて照合を行うことにより、照合の誤り率を低く抑制できるという効果を奏する。

以下、本発明に係る顔画像処理装置の実施の形態について図を参照しつつ説明する。
本発明を適用した顔画像処理装置では、事前に様々な顔の３次元形状を表す３次元形状モデルを用意する。３次元形状モデルは、人物の顔の３次元形状を表すフレームモデルであって、ワイヤーフレームモデルあるいはサーフェイスモデル等が用いられる。そして係る顔画像処理装置は、対象者の顔画像を取得すると、その顔画像と各３次元形状モデルを位置合わせした上で合成し、対象者の３次元顔モデルを作成する。その際、顔画像処理装置は、対象者の顔を照明した照明光源の光源方向を推定して各３次元形状モデルに対応する顔の陰影画像を作成して対象者の２次元顔画像との類似度を評価することにより、対象者の顔形状と良好に一致する顔形状を持つ３次元形状モデルを選択して３次元顔モデルの作成を図る。この３次元顔モデルは、本発明の３次元顔画像であって、２次元画像として得られる対象者の顔画像を、対象者の顔形状に適合した３次元形状モデル上に合成することで、当該３次元顔モデルを任意の方向に回転させることで、対象者の顔の向きが変化した画像を出力可能とするものである。

図１は、本発明を適用した顔画像処理装置２００の概略構成を示す。図１に示すように、顔画像処理装置２００は、記憶手段２０５、画像入力手段２１０、顔特徴点抽出手段２２０、位置合わせ情報算出手段２３０、位置合わせ手段２４０、光源方向推定手段２５０、陰影画像作成手段２６０、類似度算出手段２７０、顔形状モデル選択手段２８０及び個人モデル作成手段２９０を有する。
このうち、顔特徴点抽出手段２２０、位置合わせ情報算出手段２３０、位置合わせ手段２４０、光源方向推定手段２５０、陰影画像作成手段２６０、類似度算出手段２７０、顔形状モデル選択手段２８０及び個人モデル作成手段２９０は、それぞれ、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、顔画像処理装置２００の各部について詳細に説明する。

記憶手段２０５は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶手段２０５は、顔画像処理装置２００を制御するためのコンピュータプログラム、各種パラメータ及びデータなどを記憶する。また記憶手段２０５は、複数の顔の３次元形状モデル及びそれら３次元形状モデルに対応する３Ｄ顔特徴点の３次元位置情報を保持するデータベースである。なお各３次元形状モデルは、例えば、実在の人物の顔の３次元形状に基づいて予め作成される。そのため、各３次元形状モデルは、頬骨の張り出し度合い、顎の形状など、個人差のある形状情報を維持することができる。なお、各３次元形状モデルとして、形状の類似度が高い顔が同じカテゴリになるように、多数の顔形状モデルをカテゴライズし、同一カテゴリ内の顔形状モデルを平均化するなどして作成したものを用いてもよい。

また、３Ｄ顔特徴点は、目、鼻、口など、形状若しくは色成分について他と異なる特徴的な部位の何れかの点、例えばそれらの部位の中心点若しくは端点を表す。例えば、３Ｄ顔特徴点には、眉頭、眉尻、黒目中心、目領域中心、目頭、目尻、鼻尖点、鼻孔中心、口点、口角点などが含まれる。なお、記憶する３Ｄ顔特徴点の種類及び数に制限はないが、少なくとも顔特徴点抽出手段２２０において抽出可能な顔特徴点と同じ部位の特徴点を全て含むことが好ましい。本実施形態では、３Ｄ顔特徴点として、左右それぞれの目領域中心、目頭及び目尻と、鼻尖点、口点、及び左右の口角点の１０箇所を記憶するものとした。

画像入力手段２１０は、例えば、監視カメラ等の画像取得手段と接続されるインターフェース回路であり、画像取得手段により２次元顔画像として取得された対象者の顔画像１００を顔画像処理装置２００に入力する。また、予め撮影された１ないし複数の顔画像を含む履歴情報を記録した記録媒体が存在する場合、画像入力手段２１０は、そのような記録媒体にアクセスするための読み取り装置と、キーボード、マウスなどの入力デバイスとディスプレイを含むユーザインターフェースとを有していてもよい。この場合、ユーザは、画像入力手段２１０のユーザインターフェースを介して、履歴情報から何れか一つの顔画像１００を選択する。なお、顔画像１００は、顔全体を含み、かつ顔の各特徴部分（目、鼻、口など）を他の特徴部分と区別できるものである。さらに顔画像１００は、グレースケールまたはカラーの多階調の画像とすることができるが、人の肌部分の特徴を抽出し易いカラーの多階調画像とすることが好ましい。本実施形態では、顔画像１００を、１２８×１２８画素を有し、ＲＧＢ各色について８ビットの輝度分解能を持つカラー画像とした。ただし、顔画像１００として、この実施形態以外の解像度及び階調を有するものを使用してもよい。

顔特徴点抽出手段２２０は、画像入力手段２１０により取得された顔画像１００から顔特徴点を抽出する。そして顔特徴点抽出手段２２０は、抽出した顔特徴点の種別と顔画像１００上の位置情報（例えば、顔画像１００の左上端部を原点とする２次元座標値）を、位置合わせ情報算出手段２３０へ出力する。本実施形態において、顔特徴点抽出手段２２０は、記憶手段２０５に記憶されている各３Ｄ顔特徴点（目領域中心、鼻尖点、口角点などの１０箇所）に対応する顔特徴点を抽出する。顔特徴点抽出手段２２０は、顔画像１００から顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、顔特徴点抽出手段２２０は、顔画像１００に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして顔特徴点抽出手段２２０は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また顔特徴点抽出手段２２０は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔特徴点抽出手段２２０は、顔の各部位に相当するテンプレートと顔画像１００とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。さらにまた、顔特徴点抽出手段２２０は、キーボード、マウス及びディスプレイなどで構成されるユーザインターフェース（図示せず）を介してユーザに各顔特徴点の位置を指定させることにより、各顔特徴点を取得してもよい。

位置合わせ情報算出手段２３０は、画像入力手段２１０で取得された顔画像１００について抽出された各顔特徴点と、各３次元形状モデルに関連する３Ｄ顔特徴点とを用いて、３次元形状モデルに回転、拡大／縮小などの処理を行い、顔画像１００と各３次元形状モデルの位置合わせを行う。そして位置合わせ情報算出手段２３０は、その位置合わせの結果として得られる位置合わせ情報を、対応する３次元形状モデルに関連付けて、位置合わせ手段２４０及び個人モデル作成手段２９０へ出力する。位置合わせ情報は、例えば、３次元形状モデルの３次元の正規直交座標系(X,Y,Z)の各軸に沿った回転角、並進量、及び拡大／縮小率を含む。この正規直交座標系(X,Y,Z)では、例えば、３次元形状モデル上の複数の３Ｄ顔特徴点の重心を原点とし、顔に対して水平かつ左から右へ向かう方向にX軸、顔に対して水平かつ後方から前方へ向かう方向にY軸、顔に対して垂直に下から上へ向かう方向にZ軸が設定される。

位置合わせ情報算出手段２３０は、例えば、以下のように位置合わせ情報を算出する。まず、３次元形状モデル上の３Ｄ顔特徴点を、２次元画像である顔画像１００上に投影する。そして位置合わせ情報算出手段２３０は、投影された各３Ｄ顔特徴点の位置と、顔特徴点抽出手段２２０により抽出された、対応する各顔特徴点の位置との差の二乗和を位置ずれ量として求める。位置合わせ情報算出手段２３０は、この位置ずれ量が最小となるように、３次元形状モデルを、３次元の正規直交座標系の各軸に沿って回転または並進させたり、拡大または縮小させる。位置合わせ情報算出手段２３０は、位置ずれ量が最小となったときの３次元形状モデルの回転角、並進量、及び拡大／縮小率を位置合わせ情報とする。
なお、位置合わせ情報算出手段２３０は、顔画像１００について抽出された各顔特徴点を３次元空間内へ投影した後、３次元形状モデル上の３Ｄ顔特徴点との位置ずれ量が最小となるように３次元形状モデルに回転、拡大／縮小などの処理を行い、位置合わせ情報を算出してもよい。

位置合わせ手段２４０は、本発明の顔向き調整手段として機能し、顔画像１００に写った顔の向きと同じ顔の向きとなるように、記憶手段２０５に記憶されている各３次元形状モデルの向きを調整する。そのために、位置合わせ手段２４０は、各３次元形状モデルを、対応する位置合わせ情報にしたがって、３次元の正規直交座標系の各軸に沿って回転または並進させたり、拡大または縮小させて向き調整済み形状モデルを作成する。そして位置合わせ手段２４０は、各向き調整済み形状モデルを光源方向推定手段２５０、陰影画像作成手段２６０及び顔形状モデル選択手段２８０へ出力する。

光源方向推定手段２５０は、顔画像１００と向き調整済み形状モデルから、顔画像１００に写った顔に照射された光の光源方向を推定する。光源方向を推定するための方法として、公知の様々な方法を用いることができる。例えば、光源方向推定手段２５０は、以下の方法により顔画像１００における輝度分布から光源方向を推定する。
まず、顔表面は、その表面により拡散される光の強度がその表面の法線とのなす角の余弦に比例する完全拡散面（ランバート面）であると仮定する。この場合、顔画像１００上の位置(x,y)における輝度E(x,y)は、次式により、顔の３次元形状、光源の方向及び顔表面の反射率で決定されると考えられる。

（１）式において、ρ(x,y)は、位置(x,y)における顔表面の反射率、l₀は光源係数、lは光源方向ベクトルを表す。またn(x,y)は、位置(x,y)における顔表面の法線方向ベクトルを表し、その位置(x,y)に対応する向き調整済み形状モデル上の位置及び顔の向きに基づいて求められる。

ここで、顔の皮膚は場所によらず同一の成分で構成されると仮定し、（１）式においてρ(x,y)は一定値αを有するものとする。この場合、（１）式は光源係数l₀及び光源方向lを未知数とした方程式となる。そこで、光源方向推定手段２５０は、顔画像１００における顔の皮膚に相当する領域内の各画素において、（１）式を立てて連立方程式とし、この連立方程式を解くことによって各向き調整済み形状モデルごとの光源係数l₀及び光源方向lを求めることができる。なお、一定値αは、顔画像１００における顔の皮膚に相当する領域の輝度値の平均値、最頻値または中央値若しくはその近傍値に設定することができる。

また、顔表面の反射率ρ(x,y)を一定と仮定する際、皮膚でない部位に相当する領域、例えば、目、口、鼻孔、眉毛、髪の毛などの領域を除外することが好ましい。そこで、光源方向推定手段２５０は、これらの皮膚でない部位に相当する領域を光源推定マスク領域とし、上記の連立方程式を立てる際に光源推定マスク領域内の画素を用いないことで、高精度に光源方向を推定することができる。
なお、光源推定マスク領域は、例えば、顔画像１００について抽出された顔特徴点に基づいて、目、口などの部位の一般的なサイズを考慮して、それらの部位が含まれるように、顔特徴点及びその近傍の画素に設定される。あるいは、光源推定マスク領域を以下のように設定してもよい。光源方向推定手段２５０は、顔画像１００について抽出された顔特徴点のうち、鼻尖点を除く顔特徴点を結ぶ線分で囲まれ、かつ、内部に鼻尖点を含む閉領域を求める。なお、この閉領域から、顔画像１００について抽出された顔特徴点及びその近傍画素を除いてもよい。次に、光源方向推定手段２５０は、その閉領域内の画素のＲＧＢ成分、ＨＳＶ成分または輝度値成分の統計的分布を求めて肌色分布を定義する。そして光源方向推定手段２５０は、顔領域中でその肌色分布から外れるＲＧＢ成分などを持つ画素からなる領域を光源推定マスク領域とする。

あるいは、光源方向推定手段２５０は、予め様々な光源方向でモデルとなる人物の顔を撮影した標準的な顔画像若しくはシミュレーションにより求めた同等の顔画像を用意しておき、それらと顔画像１００とのパターンマッチングをおこなって、最も一致する顔画像を決定することにより、光源方向を推定してもよい。さらにまた、光源方向推定手段２５０は、照明光源と顔画像１００を取得したカメラの位置関係、または照明光源から放射される照明光の方向及びカメラの撮影方向の関係が予め分かっている場合、それらの関係に基づいて光源方向を決定してもよい。

光源方向推定手段２５０は、光源方向を示す光源方向情報を、対応する向き調整済み形状モデルに関連付けて陰影画像作成手段２６０へ出力する。

陰影画像作成手段２６０は、向き調整済み形状モデルに表される３次元形状モデルに対して、対応する光源方向情報に示された光源方向にしたがってレンダリングし、当該方向から光を照射した場合の２次元投影画像である陰影画像を作成する。具体的には、陰影画像作成手段２６０は以下の手順で陰影画像を作成する。
顔の３次元形状モデルである向き調整済み形状モデルに、光源方向情報に示された光源方向から光を照射した場合、その顔形状モデルの任意の点(X,Y,Z)における光の反射強度、すなわち輝度E(X,Y,Z)は、次式によって表現できる。

（２）式において、l₀及びlは、それぞれ光源方向推定手段２５０により求められた光源係数及び光源方向ベクトルである。またαは、顔表面の皮膚に相当する部位の反射率であり、例えば、光源方向推定手段２５０において設定されたものと同一の値を有する。さらに、n(X,Y,Z)は、向き調整済み形状モデルの任意の点(X,Y,Z)における、顔表面に対する法線方向ベクトルを表す。
陰影画像作成手段２６０は、（２）式に基づいて、向き調整済み形状モデル上の各点(X,Y,Z)における輝度を求める。そして、陰影画像作成手段２６０は、向き調整済み形状モデルの各点(X,Y,Z)を、２次元平面上の対応する点(x,y)に投影する。その後、陰影画像作成手段２６０は、輝度値を適切に調整して、投影された各点(x,y)の輝度がオーバーフローまたはアンダーフローしないようにグレースケール化し、陰影画像を得る。陰影画像作成手段２６０は、各向き調整済み形状モデルに対してそれぞれ求めた陰影画像を類似度算出手段２７０へ出力する。

類似度算出手段２７０は、顔画像１００と陰影画像との輝度分布の類似度を、各陰影画像について算出する。そのために、類似度算出手段２７０は、顔画像１００の各点について、ＲＧＢで表される輝度値をグレースケールの輝度値に変換して、単色顔画像を作成する。そして類似度算出手段２７０は、単色顔画像と陰影画像の対応する画素の輝度値の平均二乗誤差の逆数を算出し、類似度とする。なお、類似度算出手段２７０は、類似度として、輝度値の平均二乗誤差の代わりに、単色顔画像と陰影画像の正規化相関値など、これら２枚の画像の輝度値系列の類似度を評価できる他の指標を用いてもよい。また、類似度算出手段２７０は、上記の光源推定マスク領域に対応する領域を、類似度の算出領域から除外してもよい。この場合、類似度算出手段２７０は、目、鼻、口などの輝度が顔の皮膚と大きく異なる部位に依存せず、顔の輪郭形状の類似性などをより正確に反映した類似度を求めることができる。類似度算出手段２７０は、各陰影画像について算出した類似度を顔形状モデル選択手段２８０へ出力する。

顔形状モデル選択手段２８０は、各陰影画像について算出された類似度を参照して、最も類似度の高い陰影画像に対応する向き調整済み形状モデルを選択し、最類似顔形状モデルとする。なお、顔形状モデル選択手段２８０は、対応する類似度が高い方から順にＮ個の向き調整済み形状モデルを選択し、それらを平均化して最類似顔形状モデルとしてもよい。なお所定数Ｎは、例えば、２、３などの固定値としてもよく、あるいは、記憶手段２０５に記憶された３次元形状モデルの総数に占める所定の割合（例えば、５％または１０％）に相当する値としてもよい。顔形状モデル選択手段２８０は、求めた最類似顔形状モデルを個人モデル作成手段２９０へ出力する。

個人モデル作成手段２９０は、最類似顔形状モデルに、顔画像１００をテクスチャ画像としてマッピングすることにより、対象者の３次元顔モデルを作成する。すなわち、顔画像１００について抽出されている各顔特徴点と、最類似顔形状モデルとなる３次元形状モデルについての３Ｄ顔特徴点との位置が合うように、位置合わせ情報を用いて顔画像１００をテクスチャ画像として最類似顔形状モデルにマッピングする。なお、鼻などの顔上に突起した部位に隠れて、あるいは遮蔽物などにより顔の一部が見えなくなるオクルージョンが発生し、顔画像１００において顔の一部分の情報が欠落していることもある。そこで、顔画像１００をマッピングした３次元顔モデルに顔の情報やテクスチャの欠落部分が生じる場合、個人モデル作成手段２９０は、マッピングを行う前あるいはマッピングを行なった後に、欠落部分の周囲の画素の輝度情報を用いて補間処理（例えば、スプライン補間、線形補間）を行って、欠落部分の画素の輝度値を算出する。あるいは、個人モデル作成手段２９０は、人の顔には対称性があることを利用して、欠落部分の対称位置に相当する画素の輝度値を、その欠落部分の画素の輝度値としてもよい。具体的には、欠落部分に対して、顔の正中線を中心とした線対称の位置の画素の輝度値を、その欠落部分の画素の輝度値とすることができる。このような補間処理を行うことにより、顔画像１００が取得された時に、対象者が顔の一部が隠れる方向を向いていたり、遮蔽物の陰に対象者の顔の一部が隠れている場合であっても、対象者の顔全体を表現した３次元顔モデルを作成することができる。
個人モデル作成手段２９０は、作成した３次元顔モデルを、記憶手段２０５に記憶するか、あるいは、顔画像処理装置２００を利用して、照合処理を行う顔認証装置などへ出力する。

以下、図２に示したフローチャートを参照しつつ、本発明を適用した顔画像処理装置２００による３次元顔モデル作成処理の動作を説明する。なお、以下に説明する動作のフローは、顔画像処理装置２００を構成するマイクロプロセッサ上で動作し、顔画像処理装置２００全体を制御する制御手段（図示せず）により制御される。
最初に、顔画像処理装置２００は、画像入力手段２１０を介して、２次元画像である対象者の顔画像１００を取得する（ステップＳ２１０）。次に、顔特徴点抽出手段２２０は、取得された顔画像１００から顔特徴点を抽出する（ステップＳ２２０）。

次に、３次元形状モデル及びその３次元形状モデルに関連付けられた３Ｄ顔特徴点が記憶手段２０５から読み込まれる（ステップＳ２２５）。そして、位置合わせ情報算出手段２３０は、顔画像１００から抽出された各顔特徴点と、３次元形状モデルに関連付けられた各３Ｄ顔特徴点の２次元投影点の位置ずれ量が最小となるように、３次元形状モデルを、正規直交座標系の各軸に沿って回転または併進させたり、拡大／縮小させる。位置合わせ情報算出手段２３０は、その位置ずれ量が最小となったときの３次元形状モデルに対する回転角、並進量、及び拡大／縮小率を位置合わせ情報として算出する（ステップＳ２３０）。また、顔向き調整手段としての位置合わせ手段２４０は、位置合わせ情報にしたがって、対応する３次元形状モデルを変形し、向き調整済み形状モデルを作成する（ステップＳ２４０）。

次に、光源方向推定手段２５０は、顔画像１００に基づいて、光源方向を推定し、推定した光源方向を表す光源方向情報を出力する（ステップＳ２５０）。そして、陰影画像作成手段２６０は、向き調整済み形状モデルを、光源方向情報にしたがってレンダリングして２次元平面に投影し、陰影画像を作成する（ステップＳ２６０）。その後、類似度算出手段２７０は、作成された陰影画像と、画像入力手段２１０により取得された顔画像１００との類似度を算出する（ステップＳ２７０）。
そして、記憶手段２０５に記憶された全ての３次元形状モデルに対して、顔画像１００との類似度が算出されたか否かが判定される（ステップＳ２７５）。そして、顔画像１００との類似度が未算出の３次元形状モデルが存在する場合、制御はステップＳ２２５に戻り、類似度が未算出の３次元形状モデルが記憶手段２０５から読み出される（ステップＳ２２５）。そしてステップＳ２３０〜Ｓ２７０の処理が繰り返される。

一方、ステップＳ２７５において、記憶手段２０５に記憶された全ての３次元形状モデルについて類似度が算出されたと判定されると、顔形状モデル選択手段２８０は、その類似度にしたがって、顔画像１００に最も近い向き調整済み形状モデルから、最類似顔形状モデルを決定する（ステップＳ２８０）。最後に、個人モデル作成手段２９０は、最類似顔形状モデルに、顔画像１００をテクスチャ画像としてマッピングすることにより、対象者の３次元顔モデルを作成する（ステップＳ２９０）。

以上説明してきたように、本発明を適用した顔画像処理装置２００は、予め準備された３次元形状モデルの中から、対象者の２次元顔画像と最もよく一致する３次元形状モデルを選択する。そして、係る顔画像処理装置２００は、そのモデルに２次元顔画像を合成して対象者の３次元顔モデルを作成するので、特殊な表面計測装置を用いることなく、対象者の２次元の顔画像から、当該対象者の３次元顔モデルを作成できる。特に、係る顔画像処理装置２００は、３次元形状モデルの選択の際、２次元顔画像から抽出した顔特徴点と、３次元形状モデルの３Ｄ顔特徴点に基づいて、２次元顔画像と３次元形状モデルの向きを合わせるだけでなく、その向きを合わせた３次元形状モデルを推定された光源方向にしたがって投影した陰影画像と２次元顔画像の類似度を調べて、類似度の高い３次元形状モデルを選択する。そのため、係る顔画像処理装置２００は、対象者がどちらを向いていても、照明光の当たり加減を加味して対象者の顔の向きも評価されるので、正確に当該対象者の３次元顔モデルを作成できる。また、本発明を適用した顔画像処理装置２００は、３次元形状モデルとして多数のモデルを使用できる。顔における光の反射度合いは、顔の立体形状によって異なるが、係る顔画像処理装置２００では、顔の向きと光源方向をあわせた２次元顔画像と陰影画像を比較することで、光の反射度合いの類似度を評価できる。そのため、係る顔画像処理装置２００は、頬骨の張り出し具合、顎の形状などが異なる多数の３次元形状モデルを予め準備しておくことにより、対象者の顔形状と精度良く一致した３次元顔モデルを作成することができる。

次に、上記の顔画像処理装置２００を使用した顔画像登録装置について説明する。係る顔画像登録装置は、対象者の顔画像に基づいて作成された３次元形状モデルから、顔の向き、照明条件または表情を変えた複数の参照顔画像を作成するものである。なお、顔画像処理装置２００自体に、下記の顔画像登録装置の各部機能を備えるようにしてもよい。
図３に、係る顔画像登録装置３００の概略構成図を示す。顔画像登録装置３００は、上記の顔画像処理装置２００に対応する３次元顔モデル作成手段３１０と、変動顔画像作成手段３２０と、顔画像登録手段３３０と、レンダリング条件記憶手段３４０とを有する。ここで、レンダリング条件記憶手段３４０は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。なお、レンダリング条件記憶手段３４０は、３次元顔モデル作成手段３１０（顔画像処理装置２００）の記憶手段２０５と同一のハードウェアにより構成することもできる。また、変動顔画像作成手段３２０及び顔画像登録手段３３０は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。さらに、変動顔画像作成手段３２０及び顔画像登録手段３３０は、３次元顔モデル作成手段３１０（顔画像処理装置２００）の各機能モジュールが実装されるマイクロプロセッサ上で動作するものであってもよい。
また、図４に、顔画像登録装置３００による、参照顔画像作成処理の動作フローチャートを示す。以下、図３及び図４を参照しつつ、顔画像登録装置３００の各部及び参照顔画像作成処理について説明する。

顔画像登録装置３００は、例えば、監視カメラ等で撮影された顔画像の履歴情報から、対象者の２次元顔画像１００を取得すると、３次元顔モデル作成手段３１０により、その対象者の３次元顔モデルを作成する（ステップＳ３１０）。なお、３次元顔モデル作成手段３１０は、上記の顔画像処理装置２００と同様の構成及び機能を有するため、ここでは、その詳細な説明を省略する。

次に、顔画像登録装置３００の変動顔画像作成手段３２０は、レンダリング条件記憶手段３４０から、複数のレンダリング条件を読み出す。そして変動顔画像作成手段３２０は、各レンダリング条件にしたがって、対象者の３次元顔モデルから、顔の向き、照明条件、表情などを変化させた複数の変動顔画像を作成する（ステップＳ３２０）。なお、レンダリング条件には、顔の向き、照明方向及び照明光の輝度などを規定した照明条件、及び表情を指定した表情情報が含まれる。また、レンダリング手法として公知の様々な手法を用いることができるため、レンダリング手法の詳細な説明は省略する。

そして、顔画像登録手段３３０は、作成された各変動顔画像を、例えば顔認証装置の参照顔画像として、その対象者の識別情報と関連付けて登録する（ステップＳ３３０）。顔画像登録装置３００は、登録された参照顔画像を、顔画像登録装置３００の外部に設けられた記憶装置に記憶してもよく、あるいは、３次元顔モデル作成手段３１０（顔画像処理装置２００）の記憶手段２０５に記憶してもよい。

以上のように、本発明を適用した顔画像登録装置は、特殊な表面計測装置を用いることなく作成された対象者の３次元顔モデルから任意のレンダリング条件にしたがって参照顔画像を作成するので、顔の向き、照明条件、表情などを任意に変化させた多数の参照顔画像を容易に作成することができる。

次に、本発明を適用した別の実施形態である顔認証装置について説明する。係る顔認証装置は、対象者の顔画像に基づいて作成された３次元形状モデルから作成された所定の向き、照明条件、表情の顔画像と、予め登録された登録者の参照顔画像とを照合して、対象者を認証するか否か決定するものである。なお、顔画像処理装置２００自体に、下記の顔認証装置の各部機能を備えるようにしてもよい。
図５に、係る顔認証装置５００の概略構成図を示す。顔認証装置５００は、画像取得手段５１０と、上記の顔画像処理装置２００に対応する３次元顔モデル作成手段５２０と、入力顔画像補正手段５３０と、顔画像照合手段５４０と、参照顔画像記憶手段５５０とを有する。ここで、参照顔画像記憶手段５５０は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。なお、参照顔画像記憶手段５５０は、３次元顔モデル作成手段５２０（顔画像処理装置２００）の記憶手段２０５と同一のハードウェアにより構成することもできる。また、入力顔画像補正手段５３０及び顔画像照合手段５４０は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。さらに、入力顔画像補正手段５３０及び顔画像照合手段５４０は、３次元顔モデル作成手段５２０（顔画像処理装置２００）の各機能モジュールが実装されるマイクロプロセッサ上で動作するものであってもよい。
また、図６に、顔認証装置５００による、認証処理の動作フローチャートを示す。以下、図５及び図６を参照しつつ、顔認証装置５００の各部及び認証処理について説明する。

まず、画像取得手段５１０により、対象者の２次元顔画像１００が取得される（ステップＳ５１０）。画像取得手段５１０は、例えば、CCD、C-MOSセンサなどの光電変換素子の２次元アレイを有する検出器と、その検出器上に結像する光学系と、プロセッサ及びその周辺回路を有する。画像取得手段５１０は、光学系によって所定領域の像を検出器上に結像させて、その所定領域を撮影した画像データを取得する。そして画像取得手段５１０のプロセッサは、得られた画像データから、所定領域内に入った対象者の顔に相当する領域を切り出すことにより、顔画像１００を取得する。ここで、対象者の顔に相当する領域の抽出は、公知の様々な方法を用いて行うことができる。例えば、顔に対応するテンプレートを予め準備しておき、画像取得手段５１０は、そのテンプレートを用いて、画像データ全体とのテンプレートマッチングを行って一致度を算出する。そして画像取得手段５１０は、画像データ中、所定以上の一致度が得られた領域を切り出し、顔画像１００とする。
なお、画像取得手段５１０は、１枚の画像データから、１枚の顔画像のみを切り出してもよく、あるいは、１枚の画像データから、複数枚の顔画像を切り出してもよい。

次に、顔認証装置５００の３次元顔モデル作成手段５２０は、対象者の２次元顔画像１００から、その対象者の３次元顔モデルを作成する（ステップＳ５２０）。なお、３次元顔モデル作成手段５２０は、上記の顔画像処理装置２００と同様の構成及び機能を有するため、ここでは、その詳細な説明を省略する。そして、顔認証装置５００の入力顔画像補正手段５３０は、対象者の３次元顔モデルを、対象者の顔が所定の方向（例えば、正面方向）を向くように仮想３次元空間で回転し、２次元画像としてレンダリングして、入力補正顔画像を作成する（ステップＳ５３０）。なお、レンダリングを行う際、入力顔画像補正手段５３０は、照合に使用する参照顔画像の何れかに含まれる顔の特定部位（例えば、顔の皮膚部分の全体若しくは一部、あるいは鼻、目、口など）の平均輝度と、入力補正顔画像に含まれる、対応する特定部位の平均輝度が略等しくなるように、照明条件を調整してもよい。さらに、対象者の表情も、所定の表情となるように調整してもよい。また、レンダリング手法として公知の様々な手法を用いることができるため、レンダリング手法の詳細な説明は省略する。

入力補正顔画像が作成されると、顔認証装置５００の顔画像照合手段５４０は、入力補正顔画像と参照顔画像記憶手段５５０から読み込んだ各参照顔画像とを照合する（ステップＳ５４０）。各参照顔画像は、顔認証装置５００において事前に登録された登録者の顔画像であり、例えば、登録者の顔が上記の所定の方向（例えば、正面方向）を向いた状態の画像である。また、参照顔画像記憶手段５５０は、入力補正顔画像に写っている対象者の顔の向きが上記の所定の方向とずれた場合、あるいは顔画像１００の取得時の照明条件または対象者の表情の違いに対応して、正確に照合できるように、一人の登録者につき、顔の向き、照明条件、表情を変えた複数の参照顔画像を有していてもよい。なお、各参照顔画像は、例えば、上記の顔画像登録装置３００を用いて登録者の顔画像を取得することにより、予め作成されたものとすることができる。あるいは、各参照顔画像は、登録者の顔を、異なる角度、異なる照明条件、若しくは異なる表情で撮影した画像としてもよい。また、照合処理として、公知の様々な照合方法を用いることができる。例えば、顔画像照合手段５４０は、入力補正顔画像と参照顔画像のパターンマッチングを行う。そして顔画像照合手段５４０は、入力補正顔画像に含まれる顔領域内の各画素と参照顔画像の対応画素の輝度値の差の二乗和を、入力補正顔画像の顔領域に含まれる画素数で割って正規化した値の逆数を一致度として求める。顔画像照合手段５４０は、各参照顔画像について求めた一致度のうち、最も高い一致度が所定の基準値を超える場合、対象者を、一致度が最も高い値を有する参照顔画像に対応する登録者として認証する。一方、顔画像照合手段５４０は、何れの一致度も所定の基準値を超えない場合、対象者を認証しない。
認証結果は、顔認証装置５００から出力され、例えば、認証に成功した場合にのみ出入口を開放するようなセキュリティシステムにおいて利用される。

以上のように、本発明を適用した顔認証装置は、照明光源の方向を推定し、その方向から照明された場合の状況を評価して対象者の３次元顔モデルを作成し、その３次元顔モデルに基づいて、参照顔画像の何れかとほぼ顔の向きに調節した入力補正顔画像を照合に使用するので、撮影時に対象者がどちらを向いていても、正確に認証することができる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、顔画像処理装置２００の類似度算出手段２７０は、顔領域を分割し、その分割した各領域ごとに類似度を求めるようにしてもよい。例えば、顔領域は、縦方向に複数の領域に分割される。また、類似度算出手段２７０は、この場合についても上記の光源推定マスク領域に対応する領域を、類似度の算出領域から除外してもよい。そして、顔画像処理装置２００の顔形状モデル選択手段２８０は、分割された各領域ごとに、最も類似度の高い陰影画像に対応する３次元形状モデルから、対応する部分を抽出する。そして顔形状モデル選択手段２８０は、３次元形状モデルから抽出された各部分を組み合わせて最類似顔形状モデルを作成する。あるいは、顔形状モデル選択手段２８０は、分割された各領域ごとに、類似度が高い方から順にＮ個の陰影画像に対応する向き調整済み形状モデルを選択する。そして顔形状モデル選択手段２８０は、分割された各領域ごとに、選択された向き調整済み形状モデルの対応部分を平均化して、各領域に対応する部分平均化モデルを作成する。顔形状モデル選択手段２８０は、それら部分平均化モデルを組み合わせて、最類似顔形状モデルとすることができる。なお所定数Ｎは、例えば、２、３などの固定値としてもよく、あるいは、記憶手段２０５に記憶された３次元形状モデルの総数に占める所定の割合（例えば、５％または１０％）に相当する値としてもよい。この変形例によれば、対象者の顔の部分領域ごとに、類似度の高い向き調整済み形状モデルを組み合わせて最類似顔形状モデルが作成されるので、予め準備された３次元形状モデルだけでは対象者の顔形状を適切にモデル化できない場合でも、対象者の顔の形状と良く一致する顔形状を有する３次元顔モデルを作成することができる。
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

本発明を適用した画像処理装置の概略構成図である。 本発明を適用した画像処理装置における３次元顔モデル作成処理の一例を示すフローチャートである。 本発明を適用した顔画像登録装置の概略構成図である。 本発明を適用した顔画像登録装置における参照顔画像登録処理の一例を示すフローチャートである。 本発明を適用した顔認証装置の概略構成図である。 本発明を適用した顔認証装置における認証処理の一例を示すフローチャートである。

符号の説明

１００ 顔画像
２００ 顔画像処理装置
２０５ 記憶手段
２１０ 画像入力手段
２２０ 顔特徴点抽出手段
２３０ 位置合わせ情報算出手段
２４０ 位置合わせ手段（顔向き調整手段）
２５０ 光源方向推定手段
２６０ 陰影画像作成手段
２７０ 類似度算出手段
２８０ 顔形状モデル選択手段
２９０ 個人モデル作成手段
３００ 顔画像登録装置
３１０ ３次元顔モデル作成手段（顔画像処理装置）
３２０ 変動顔画像作成手段
３３０ 顔画像登録手段
３４０ レンダリング条件記憶手段
５００ 顔認証装置
５１０ 画像取得手段
５２０ ３次元顔モデル作成手段（顔画像処理装置）
５３０ 入力顔画像補正手段
５４０ 顔画像照合手段
５５０ 参照顔画像記憶手段

Claims (6)

1. 人物の顔を撮影した２次元顔画像から、当該人物の３次元顔画像を作成する顔画像処理装置であって、
   人物の２次元顔画像を入力する画像入力手段と、
   前記２次元顔画像から光源方向を推定する光源方向推定手段と、
   顔の３次元形状モデルを予め複数記憶する記憶手段と、
   前記２次元顔画像にあわせて前記３次元形状モデルの向きを調整し、顔向きを検出する顔向き調整手段と、
   前記顔向き調整された前記複数の３次元形状モデルのそれぞれに、前記光源方向を適用して陰影をつけ、当該各３次元形状モデルから前記顔向きの２次元の陰影画像を作成する陰影画像作成手段と、
   前記陰影画像のうち、前記２次元顔画像に最も類似している陰影画像を抽出して当該陰影画像に対応する前記３次元形状モデルを選択する顔形状モデル選択手段と、
   前記顔形状モデル選択手段により選択された前記３次元形状モデルと前記２次元顔画像を合成して、前記人物の顔に対応した３次元顔画像を作成する個人モデル作成手段と、
   を有することを特徴とする顔画像処理装置。
2. 前記光源方向推定手段は、前記２次元顔画像において眉毛などの肌でない領域を除いた肌部分から前記光源方向を推定する、請求項１に記載の顔画像処理装置。
3. 前記２次元顔画像において眉毛などの肌でない領域を除いた肌部分に対応する各画素の輝度値と、前記陰影画像における対応画素の輝度値との差が小さいほど高くなる類似度を算出する類似度算出手段をさらに有し、
   前記顔形状モデル選択手段は、前記類似度が最も高い前記陰影画像に対応する前記３次元形状モデルを選択する、請求項１または２に記載の顔画像処理装置。
4. 前記２次元顔画像を縦方向に複数の領域に分割し、該分割された複数の領域のそれぞれについて、前記人物の２次元顔画像において肌部分に対応する各画素の輝度値と、前記陰影画像における対応画素の輝度値との差が小さいほど高くなる類似度を算出する類似度算出手段をさらに有し、
   前記顔形状モデル選択手段は、前記分割された複数の領域のそれぞれについて、前記類似度が最も高い前記陰影画像に対応する前記３次元形状モデルから当該領域に対応する部分を選択し、
   前記個人モデル作成手段は、前記顔形状モデル選択手段により選択された部分を組み合わせた組み合わせ３次元形状モデルを作成し、該組み合わせ３次元形状モデルと前記人物の２次元顔画像を合成して、前記３次元顔画像を作成する、請求項１または２に記載の顔画像処理装置。
5. 前記個人モデル作成手段は、前記２次元顔画像を合成した３次元顔画像において顔の一部が欠落した欠落部分が含まれる場合、該欠落部分の周囲の画素の輝度情報または該欠落部分に対して顔の正中線を中心とした線対称の位置の画素の輝度情報を用いて、該欠落部分の画素の輝度情報を補間処理により求める、請求項１〜４の何れか一項に記載の顔画像処理装置。
6. さらに、所定方向を向いた、少なくとも一人の登録者の参照顔画像を記憶する参照顔画像記憶手段と、
   前記３次元顔画像の顔向きを３次元空間で回転させて、前記人物の顔が前記所定方向を向いた補正顔画像を作成する補正顔画像作成手段と、
   前記補正顔画像と前記参照顔画像を照合し、前記人物を前記登録者として認証するか否かを決定する照合手段と、
   を有する請求項１〜５の何れか一項に記載の顔画像処理装置。

Images