JP2014032605A - 画像認識装置、画像認識方法および画像認識プログラム - Google Patents

Abstract

【課題】顔の画像検出において画像中に見えていない位置に特徴点が有る場合であっても精度良く安定して正規化顔画像を生成し、かつ利便性を向上させることができる画像認識装置を提供することを目的とする。
【解決手段】画像認識装置１００は、画像中の顔から検出された複数の特徴点のうち誤検出された特徴点を判定する誤検出判定部１０３と、誤検出と判定された特徴点を補完し、より確からしい特徴点に再設定する特徴点補完部１０４と、再設定された特徴点とあらかじめ保持されている３次元形状情報とに基づいて、位置、角度および大きさが正規化された正規化顔画像を生成する正規化画像生成部１０６とを備える。
【選択図】図６

Description

本発明は、顔を使った人物の画像認識装置、画像認識方法および画像認識プログラムに関し、特に、顔の特徴点情報を利用して顔画像の位置、大きさ、角度を正規化し照合する画像認識装置、画像認識方法および画像認識プログラムに関する。

姿勢の異なる顔画像の照合は、顔照合において大きな技術課題のひとつとなっている。この技術課題に対して、入力された顔画像に基づいて異なる変動を含む顔画像を生成して照合する手法が提案されている。

例えば、特許文献１には、平均的な顔の３次元形状情報を利用し、顔特徴点（以下、特徴点と記載する）間の幾何変形パラメータを推定することで複数の顔パターンを生成する技術が開示されている。このような技術では、特徴点の検出失敗などにより特徴点間の対応付けが正しく行われなかった場合には正しい幾何変形パラメータが推定されず、正しい顔パターンが生成されないため、結果として認証性能が低下してしまう。

特徴点が正しく検出できなかった場合の対応には２通りの方法が考えられる。１つは、正しく検出できていない特徴点の影響を小さくするように幾何変換パラメータを推定する方法である。このような場合に、ＲＡＮＳＡＣ法やＬＭｅｄＳ法に代表されるロバスト推定法が一般的に用いられる。

もう１つの方法は、なんらかの手法で特徴点を補完する方法である。例えば、特許文献２には、複数のカメラを利用し、一方のカメラで取得した画像で検出できなかった特徴点を別のカメラの画像で検出した特徴点で補完する方法が開示されている。

また、特許文献３には、正中線を求めることで顔向きを調べ、異なる顔向きの顔画像を追加取得して、照合精度を向上する技術が開示されている。

特許４６５３６０６号公報 特許３９５４４８４号公報 特開２００９−２４５３３８号公報

山田貢己、中島朗子、福井和広、"因子分解法と部分空間法による顔向き推定"、電子情報通信学会技術研究報告. PRMU，一般社団法人電子情報通信学会,2002-01-10，パターン認識・メディア理解 101(568), 1-8

特徴点の検出失敗の影響で認証性能が低下する問題に対して、特許文献１に記載された技術では、レンダリング結果と入力画像または標準的な顔パターンとのパターン画像の違いが検証され、ある閾値を超えた場合には特徴点検出が誤りであるとして再度特徴点検出が行われる。

しかし、再度特徴点検出を実行することで正しい特徴点が検出される保証がないという課題がある。また、画像認識装置から見えない位置に特徴点があった場合には、対応できないという課題がある。

また、上述したＲＡＮＳＡＣ法やＬＭｅｄＳ法のようなアルゴリズムを利用して誤検出特徴点の影響を低減させる方法も考えられる。しかし、顔画像の場合には精度よく自動検出できる特徴点が目や口など一部の位置に偏り、また数も少ない。そのため、全特徴点から幾何変換パラメータ推定に必要な最低限の特徴点をサンプリングしてロバストな幾何変換パラメータを推定するこれらの方法では良好な顔画像が生成されない可能性が高い。

また、特許文献２に記載された技術は、複数のカメラで撮影された複数枚の顔画像が必要になることや、事前に複数のカメラ間のキャリブレーション作業を実施しておかなくてはならないことなどから、利便性の面で問題がある。

本発明は、上記の問題を解決するために、顔の画像検出において画像中に見えていない位置に特徴点が有る場合であっても精度良く安定して正規化顔画像を生成し、かつ利便性を向上させることができる画像認識装置、画像認識方法および画像認識プログラムを提供することを目的とする。

本発明による画像認識装置は、画像中の顔から検出された複数の特徴点のうち誤検出された特徴点を判定する誤検出判定部と、誤検出と判定された前記特徴点を補完し、より確からしい特徴点に再設定する特徴点補完部と、再設定された前記特徴点とあらかじめ保持されている３次元形状情報とに基づいて、位置、角度および大きさが正規化された正規化顔画像を生成する正規化画像生成部とを備えたことを特徴とする。

本発明による画像認識方法は、画像中の顔から検出された複数の特徴点のうち誤検出された特徴点を判定し、誤検出と判定された前記特徴点を補完し、より確からしい特徴点に再設定し、再設定された前記特徴点とあらかじめ保持されている３次元形状情報とに基づいて、位置、角度および大きさが正規化された正規化顔画像を生成することを特徴とする画像認識方法。

本発明による画像認識プログラムは、コンピュータに、画像中の顔から検出された複数の特徴点のうち誤検出された特徴点を判定する誤検出判定処理と、誤検出と判定された前記特徴点を補完し、より確からしい特徴点に再設定する特徴点補完処理と、再設定された前記特徴点とあらかじめ保持されている３次元形状情報とに基づいて、位置、角度および大きさが正規化された正規化顔画像を生成する正規化画像生成処理とを実行させる。

本発明によれば、顔の画像検出において画像中に見えていない位置に特徴点が有る場合であっても精度良く安定して正規化顔画像を生成し、かつ利便性を向上させることができる。

本発明による第１の実施形態の画像認識装置の構成を示すブロック図である。 本発明による第１の実施形態の画像認識装置の動作を示すフローチャートである。 本発明による第２の実施形態の画像認識装置の構成を示すブロック図である。 本発明による第２の実施形態の画像認識装置の動作を示すフローチャートである。 実施例における画像認識装置の構成を示すブロック図である。 本発明による画像認識装置の主要部を示すブロック図である。

次に、本発明の実施形態を、図面を参照して詳細に説明する。

実施形態１．
図１は、本発明による第１の実施形態の画像認識装置の構成を示すブロック図である。図１に示すように、本実施形態の画像認識装置１００は、画像入力部１０１と、顔検出部１０２と、誤検出判定部１０３と、特徴点補完部１０４と、３次元形状情報保持部１０５と、正規化顔画像生成部１０６と、特徴量抽出部１０７と、記憶部１０８と、類似度計算部１０９とを備える。

なお、図１に示す３次元形状情報保持部１０５および記憶部１０８は、例えば、コンピュータの補助記憶部に格納される一般的なデータベースである。また、図１に示す３次元形状情報保持部１０５および記憶部１０８以外の構成は、プログラムをコンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に実行させることで実現される。

画像入力部１０１は、照合対象となる顔画像を取得する。画像入力部１０１は、画像入力方法として、照合対象となる顔画像を、一般的なデジタルカメラなどの撮影機器を用いて実環境から取得してもよいし、あらかじめ取得されている画像データを読み込んでもよい。また、画像入力部１０１は、これらの画像入力方法を併用してもよい。

顔検出部１０２は、画像入力部１０１が入力した画像中から顔領域および顔特徴点（以下、特徴点と記載する）を検出する。

誤検出判定部１０３は、顔検出部１０２により検出された複数の特徴点のうち、検出に失敗したとみなされる特徴点を判定する。

特徴点補完部１０４は、誤検出判定部１０３で誤検出と判定された特徴点を補完し、より確からしい特徴点に再設定する。

３次元形状情報保持部１０５は、顔画像の正規化処理に必要となる顔の３次元形状情報を保持する。３次元形状情報は、揃えたい角度の顔の３次元深度マップ（デプスマップ）と特徴点の３次元座標情報であり、基本的には正面顔のものであるが、他の角度の顔の３次元形状情報でもよい。顔の３次元形状情報は、平均的な顔の３次元形状情報を１つ含んでいてもよいし、性別や人種、年齢層ごとの平均的な３次元形状情報を複数含んでいてもよいし、後述する記憶部１０８に登録された人物ごとの３次元形状情報を含んでいてもよい。

正規化顔画像生成部１０６は、特徴点補完部１０４により補完された特徴点、および３次元形状情報保持部１０５に保持されている特徴点の３次元座標情報に基づいて、位置、角度、大きさが正規化された正規化顔画像を生成する。

特徴量抽出部１０７は、正規化顔画像生成部１０６が生成した正規化顔画像から個人識別に有用な特徴量データを抽出する。

記憶部１０８は、人物の照合用データを登録データとして記録する。記憶部１０８に記録される人物の照合用データは、顔検出部１０２から特徴量抽出部１０７までの各構成が行う上記処理と同様の処理を、登録したい人物が写った画像に対してあらかじめ行って抽出された特徴量データとする。また、記憶部１０８は、正規化顔画像生成部１０６が生成した正規化顔画像も合わせて記録するように構成してもよい。

類似度計算部１０９は、画像入力部１０１が取得した人物の顔から抽出した特徴量と記憶部１０８に記録されている人物の顔から抽出した特徴量とがどれだけ似通っているかを示す指標である類似度を計算する。類似度計算部１０９は、例えば、画像入力部１０１が入力した人物の特徴量と記憶部１０８に記録されている特定の一人物の特徴量との類似度を計算する。または、類似度計算部１０９は、前記画像入力部１０１で取得した人物の特徴量と前記記憶部１０８に記録されているすべての人物の特徴量との類似度を計算し、それら類似度の一部あるいはすべてを出力してもよい。

次に、本実施形態の画像認識装置の動作を説明する。図２は、本発明による第１の実施形態の画像認識装置の動作を示すフローチャートである。ステップＳ２０１では、画像入力部１０１が、照合の対象となる人物が撮影された画像を、撮影機器を用いて取得する。または、画像入力部１０１は、あらかじめ取得されている画像データを読み込むように構成されている場合には、画像データを読み込む。

ステップＳ２０２では、顔検出部１０２は、画像入力部１０１が取得した画像中から顔および顔特徴点（以下、特徴点）を検出する。ステップＳ２０２で利用する顔および顔特徴点の検出手法は任意のアルゴリズムを利用してよく、例えば、Ｖｉｏｌａらが提案した矩形特徴のブースティングによるカスケード識別器による検出手法などを用いればよい。

ステップＳ２０３では、誤検出判定部１０３は、ステップＳ２０２で顔検出部１０２が検出した顔特徴点が誤検出かどうか、未検出の特徴点が存在するかどうかを判定する。誤検出判定部１０３は、検出座標のわずかなずれを厳密に判定するのではなく、明らかな誤検出を判定できればよい。誤検出判定部１０３は、３次元形状情報保持部１０５に保持されている特徴点（基準特徴点）の３次元座標情報とステップＳ２０２で検出された特徴点（検出特徴点）とを用いて幾何変形パラメータを計算し、計算された幾何変形パラメータを用いて基準特徴点を変換した変換先特徴点座標とステップＳ２０２で検出された検出特徴点座標とのずれが大きい点を誤検出と判定する。検出特徴点座標をｑ、基準特徴点座標をｐ、計算された幾何変形パラメータをＡとしたとき、適当な閾値ｔｈに対して以下の式（１）を満たす特徴点が誤検出特徴点となる。

または、誤検出判定部１０３は、特徴点のペアが形成する直線の傾きが他と大きく異なる場合に誤検出と判定してもよい。ここで、特徴点のペアとは、正常に検出された場合に、正面視において顔の左右に対称的に存在する特徴点（例えば右目と左目、右口端と左口端など）の組み合わせである。

ステップＳ２０４では、特徴点補完部１０４は、ステップＳ２０３で誤検出と判定された特徴点をより確からしい位置に再設定する。例えば正面顔の場合、人間の顔はおおよそ左右対称であると考えられるため、特徴点補完部１０４は、誤検出と判定された特徴点に対応するペアの特徴点を顔の正中線に対して左右対称の位置に座標変換した点を新たな特徴点として再設定する。

この再設定について詳細に説明する。特徴点補完部１０４は、ステップＳ２０３で誤検出または未検出の特徴点に関して、それらと対になる正しく検出されたペアの特徴点座標から、両者が正しいと判定された特徴点ペアを結んだ線分の傾きをもつ直線を引き、その直線上で顔の正中線に対して特定の比率αとなるような位置座標を計算する。正中線は検出された特徴点の位置関係から推定してもよいし、例えば特許文献３に記載されているように両目尻の中点と口点を結ぶ直線を顔の正中線として求めてもよい。

比率αは、各々の特徴点ペアを結ぶ線分と正中線との交点から推定される。正面顔の場合には、特徴点は正中線に対して左右対称の位置となるためα＝０．５となり、顔が左右に向いている場合にはαが増減する。顔の右側の特徴点（ａ，ｂ）と正中線との距離の比率がαだったとすると、対となる左側の特徴点（ｘ，ｙ）と正中線との距離の比率は１−αとなり、特徴点間の線分と正中線との交点を（ｃ，ｄ）とすれば、対となる左側の特徴点座標（ｘ，ｙ）は、以下の式（２）のように算出される。

ステップＳ２０５では、正規化顔画像生成部１０６は、ステップＳ２０４で再設定された特徴点と３次元形状情報保持部１０５に保持されている３次元形状情報をもとに、顔の位置、角度、大きさが正規化された正規化顔画像を生成する。正規化顔画像生成部１０６は、正規化顔画像を生成するために、まずはステップＳ２０４で再設定された特徴点の座標情報と３次元形状情報保持部１０５に保持されている特徴点の３次元座標情報をもとに幾何変形パラメータＢを推定する。この推定方法として、例えば特許文献１に記載されている推定方法が利用される。また、この推定処理はステップＳ２０４にて、特徴点補完部１０４によりあらかじめ行われてもよい。そして、正規化顔画像生成部１０６は、得られた幾何変形パラメータＢを用いて各特徴点の誤差ｅｒｒを式（３）にもとづき算出する。式（３）において、ｑはステップＳ２０２で検出された検出特徴点座標であり、ｐは３次元形状情報保持部１０５に保持されている特徴点（基準特徴点）座標である。ｅｒｒはｘ方向の誤差とｙ方向の誤差を表すベクトルである。

正規化顔画像生成部１０６は、算出された各特徴点の誤差分布をもとに、幾何変形パラメータ推定時の重みを特徴点ごとに変化させて再度幾何変形パラメータＣを重み付き最小二乗法で推定する。具体的には、正規化顔画像生成部１０６は、ロバスト推定法のひとつであるＭ推定法に準じたパラメータ推定をする。正規化顔画像生成部１０６は、Ｍ推定法で設定する重みとして、Ｔｕｋｅｙにより提案されているｂｉｗｅｉｇｈｔ法を用いてもよいし、誤差が大きくなるほどガウス関数に従って減衰するような重み関数を用いてもよい。ｘ方向とｙ方向それぞれについて誤差が大きいほど重みが小さくなるように重み関数を設計する。そして、ｘ方向とｙ方向の重みにもとづいて、特徴点に付与する最終的な重みを決定する。重みは、ｘ方向の重みとｙ方向の重みの乗算により算出する。または、ｘ方向の誤差とｙ方向の誤差の共分散行列を利用し、マハラノビス距離にもとづいて重みを決定するようにしてもよい。これにより、特徴点が誤検出ほどではない誤差を含んでいたとしても安定した幾何変形パラメータを推定することができる。そして、推定した幾何変形パラメータＣを利用して画像を変形し、正規化顔画像を生成する。

ステップＳ２０６では、特徴量抽出部１０７は、ステップＳ２０５で得られた正規化顔画像から個人識別に有効な特徴量を抽出する。特徴量抽出部１０７は、任意の特徴量を利用することが可能であり、例えば顔認証で広く一般的に利用されているガボールウェーブレット特徴量などを用いればよい。

ステップＳ２０７では、類似度計算部１０９は、ステップＳ２０６で抽出された特徴量と記憶部１０８に記録されている特徴量とを比較し、その類似度を算出する。類似度の算出は任意の方法で実行可能であり、例えば特徴量間の正規化相関や距離を類似度とする。また、特徴量をそのまま利用するのではなく、あらかじめ学習データに対して主成分分析や線形判別分析を行い学習しておいた特徴量の変換行列を用いて特徴量を変換し、その変換した特徴量を用いて類似度を算出するようにしてもよい。

本実施形態の画像認識装置の第１の効果は、顔認証の認証性能が向上することである。その理由は、本実施形態の画像認識装置は、例えば顔の一部が隠れている場合などに、特徴点の未検出や誤検出があったとしても、特徴点補完部１０４により特徴点を補完し、正規化顔画像生成部１０６による正規化を行うことで、より確からしい正規化顔画像を生成することができるからである。

また、本実施形態の画像認識装置の第２の効果は、利便性が向上することである。その理由は、顔向きと顔の左右対称性を利用し、左右どちらか一方の特徴点位置からもう一方の特徴点位置を推定することで、複数台のカメラを用いなくても、１台のカメラから取得した画像のみを利用して特徴点の補完を実現することができるからである。

また、本実施形態の画像認識装置の第３の効果は、正規化顔画像の安定性が向上することである。その理由は、本実施形態の画像認識装置は、正規化顔画像生成部１０６による正規化において、ＲＡＮＳＡＣ法やＬＭｅｄＳ法のようにランダムにサンプリングした特徴点を利用して数パターンの幾何変形パラメータを推定し最もエラーの小さい幾何変形パラメータを採用するのではなく、モデルとのずれが大きい特徴点以外のすべての特徴点を利用する。そのため、本実施形態の画像認識装置は、誤検出の影響を排除するとともに、生成される正規化顔画像が試行のたびに変化するということがないという一意性を備えているからである。

実施形態２．
本発明による第２の実施形態（実施形態２）を、図面を参照して説明する。図３は、本発明による第２の実施形態の画像認識装置の構成を示すブロック図である。図３に示すように、本実施形態の画像認識装置３００は、図１に示した画像認識装置１００に含まれる構成に加えて、顔向き推定部３１０および比率テーブル保持部３１１を備えている。また、本実施形態の画像認識装置３００は、実施形態１における特徴点補完部１０４の機能を変更した特徴点補完部３０４を備えている。本実施形態の画像認識装置３００の他の構成および動作については画像認識装置１００と同様であるため、詳しい説明を省略する。

顔向き推定部３１０は、顔検出部１０２が検出した顔の向き（角度）を推定する。

比率テーブル保持部３１１は、事前に決定された顔向きと実施形態１のステップＳ２０４で説明した比率αとの関係をテーブルとして保持する。

特徴点補完部３０４は、誤検出判定部１０３が誤検出と判定した特徴点に対して、顔向き推定部３１０が推定した顔向きの情報および比率テーブル保持部３１１に保持されている顔向きと比率αの関係に基づいて特徴点を再設定する。

次に、本実施形態の画像認識装置の動作を説明する。図４は、第２の実施形態の画像認識装置の動作を示すフローチャートである。図４に示すフローチャートには、図２に示した実施形態１における画像認識装置１００の動作を示すフローチャートにステップＳ４０８が追加され、ステップＳ２０４の処理を変更したステップＳ４０４が追加されている。他のステップは、図２に示した実施形態１におけるフローチャートと同じであるため、説明を省略する。

ステップＳ４０８では、顔向き推定部３１０は、ステップＳ２０２で検出した顔がどのような向きであるかを推定する。顔向き推定部３１０は、顔向きの推定手法として任意の手法を利用可能であり、例えば、非特許文献１の手法などを用いればよい。または、顔向き推定部３１０は、特許文献３に示したように、正中線と鼻頂点との位置関係から顔向きを推定してもよい。

ステップＳ４０４では、特徴点補完部３０４は、比率テーブル保持部３１１に保持されているテーブルを用いてステップＳ２０３で誤検出と判定された特徴点をより確からしい位置に再設定する。具体的には、特徴点補完部３０４は、ステップＳ４０８で推定した顔向きに対応する比率αを前記比率テーブル保持部３１１に保持されているテーブルを参照して決定し、誤検出特徴点に対して式（２）と同様の演算により座標を算出し、確からしい位置に特徴点を再設定する。

次に、本発明による画像認識装置の実施例を、図面を参照して詳細に説明する。図５は、実施例における画像認識装置５００の構成を示すブロック図である。図５に示すように、画像認識装置５００は、画像入力部５０１と、顔検出部５０２と、誤検出判定部５０３と、特徴点補完部５０４と、記憶部５０８と、正規化顔画像生成部５０６と、特徴量抽出部５０７と、類似度計算部５０９とを備える。

画像入力部５０１は、ウェブカメラにより照合対象となる人物の映った画像を取得する。

顔検出部５０２は、画像入力部５０１が入力した画像中からオープンソースのコンピュータビジョン向けライブラリであるＯｐｅｎＣＶを利用して顔領域および顔特徴点を検出する。

記憶部５０８は、平均的な顔の３次元深度マップと特徴点の３次元座標情報および登録人物の特徴量が記録され、外部に設置された記録媒体である。

誤検出判定部５０３は、顔検出部５０２により検出された複数の特徴点のうち、検出に失敗したとみなされる特徴点を判定する。まず、誤検出判定部５０３は、顔検出部５０２により得られた特徴点と記憶部５０８に記録されている平均的な特徴点の３次元座標情報を用いて最小二乗法により幾何変形パラメータを推定する。次に、誤検出判定部５０３は、推定した幾何変形パラメータで変換した特徴点座標と顔検出部５０２で得られた特徴点との誤差を特徴点ごとに算出する。次に、誤検出判定部５０３は、算出したすべての特徴点の誤差分布の共分散行列を算出し、標準偏差の３倍の値を閾値として、マハラノビス距離が閾値以上となる特徴点を誤検出と判定する。

特徴点補完部５０４は、誤検出判定部５０３が誤検出と判定した特徴点を補完し、より確からしい特徴点に再設定する。特徴点補完部５０４は、まず、顔の左右の対となる特徴点ペアを結んだ各線分をβ：１−βに分割する点が直線上に分布する比率βを求める。また、特徴点補完部５０４は、特徴点ペア間の線分の平均的な傾きｓと、特徴点ペア間の線分をβ：１−βに分割する点が形成する直線Ｌを正中線として求める。そして、誤検出特徴点のペアとなっている特徴点から傾きｓの直線を引いたとき、直線Ｌに対してβ：１−βの比率となる点を新たな特徴点として再設定する。上記の処理は、顔検出部５０２が検出できなかった未検出の特徴点に対しても同様に行われる。

正規化顔画像生成部５０６は、特徴点補完部５０４で得られた特徴点と記憶部５０８に保持されている平均的な特徴点の３次元座標情報をもとに、位置、角度、大きさが正規化された正規化顔画像を生成する。まず、正規化顔画像生成部５０６は、特徴点補完部５０４により得られた特徴点と記憶部５０８に保持されている平均的な特徴点の３次元座標情報をもとに幾何変形パラメータを最小二乗法で推定する。そして、正規化顔画像生成部５０６は、得られた幾何変形パラメータを用いて誤検出判定部５０３と同様の処理で各特徴点の誤差を算出する。次に、正規化顔画像生成部５０６は、算出した各特徴点の誤差分布の共分散行列を算出し、標準偏差の３倍の値を閾値としたｂｉｗｅｉｇｈｔの重み関数を設計する。そして、マハラノビス距離にもとづいてＭ推定法を行うことで最終的な幾何変形パラメータを算出する。最終的に正規化顔画像生成部５０６は、得られた幾何変形パラメータを利用して画像を変形し、正規化顔画像を生成する。

特徴量抽出部５０７は、正規化顔画像生成部５０６で生成した正規化顔画像からガボールウェーブレット特徴量を抽出する。

類似度計算部５０９は、前記特徴量抽出部５０７で抽出した特徴量と前記記憶部５０８に記録されている登録人物の特徴量との正規化相関を計算することで照合スコアを算出する。

図６は、本発明による画像認識装置の主要部を示すブロック図である。本発明による画像認識装置は、主要な構成として、画像中の顔から検出された複数の特徴点のうち誤検出された特徴点を判定する誤検出判定部１０３と、誤検出と判定された特徴点を補完し、より確からしい特徴点に再設定する特徴点補完部１０４と、再設定された特徴点とあらかじめ保持されている３次元形状情報とに基づいて、位置、角度および大きさが正規化された正規化顔画像を生成する正規化画像生成部１０６とを備える。

また、上記の各実施形態には、以下の（１）〜（６）に示すような画像認識装置も開示されている。

（１）画像中の顔から検出された複数の特徴点のうち誤検出された特徴点を判定する誤検出判定部（例えば、誤検出判定部１０３または５０３）と、誤検出と判定された特徴点を補完し、より確からしい特徴点に再設定する特徴点補完部（例えば、特徴点補完部１０４，３０４または５０４）と、再設定された特徴点とあらかじめ保持されている３次元形状情報とに基づいて、位置、角度および大きさが正規化された正規化顔画像を生成する正規化画像生成部（例えば、正規化画像生成部１０６または５０６）とを備えた画像認識装置。

（２）画像認識装置は、誤検出判定部が、顔の左右に存在する特徴点ペアが形成する線分の傾きに基づいて、誤検出された特徴点を判定するように構成されていてもよい。

（３）画像認識装置は、特徴点補完部が、誤検出と判定された特徴点に対応する正しく検出されたペアの特徴点を顔の正中線に対して特定の比率の位置に座標変換することにより、誤検出と判定された特徴点を補完するように構成されていてもよい。

（４）画像認識装置は、特徴点補完部が、顔の左右に存在するペアの特徴点間を結んだ複数の線分を特定の比率に分割する分割点が直線状に分布したときに当該分割点が形成する直線を正中線とするように構成されていてもよい。

（５）画像認識装置は、正規化顔画像生成部が、あらかじめ保持されている３次元形状情報の特徴点を変換元として再設定された特徴点へ変換する幾何変形パラメータを推定し、推定された幾何変形パラメータにより変換された特徴点と再設定された特徴点との誤差を算出し、当該誤差の増加に対して指数的に減少する重み関数を用いて幾何変形パラメータを再推定し、再推定された当該幾何変形パラメータを用いて位置、角度および大きさが正規化された正規化顔画像を生成するように構成されていてもよい。

（６）画像認識装置は、画像中の顔の向きを推定する顔向き推定部（例えば、顔向き推定部３１０）と、顔の左右に存在するペアの特徴点間を結ぶ線分と正中線との交点が線分を分割する比率と顔の向きとの関係を記録したテーブルを保持する比率テーブル保持部（例えば、比率テーブル保持部３１１）と、を備え、特徴点補完部が、推定された顔向きと、比率テーブル保持部に保持されている比率と顔向きとの関係とに基づいて誤検出された特徴点を補完するように構成されていてもよい。このような画像認識装置によれば、誤検出の影響を排除するとともに、生成される正規化顔画像が試行のたびに変化するということがないという一意性を備えることができるので正規化顔画像の安定性が向上する。

本発明は、顔画像認識を用いたセキュリティシステムに適用できる。

１００，３００，５００ 画像認識装置
１０１，５０１ 画像入力部
１０２，５０２ 顔検出部
１０３，５０３ 誤検出判定部
１０４，３０４，５０４ 特徴点補完部
１０５ ３次元形状情報保持部
１０６，５０６ 正規化顔画像生成部
１０７，５０７ 特徴量抽出部
１０８，５０８ 記憶部
１０９，５０９ 類似度計算部
３１０ 顔向き推定部
３１１ 比率テーブル保持部

Claims (8)

1. 画像中の顔から検出された複数の特徴点のうち誤検出された特徴点を判定する誤検出判定部と、
   誤検出と判定された前記特徴点を補完し、より確からしい特徴点に再設定する特徴点補完部と、
   再設定された前記特徴点とあらかじめ保持されている３次元形状情報とに基づいて、位置、角度および大きさが正規化された正規化顔画像を生成する正規化画像生成部とを備えた
   ことを特徴とする画像認識装置。
2. 誤検出判定部は、
   顔の左右に存在する特徴点ペアが形成する線分の傾きに基づいて、誤検出された特徴点を判定する
   請求項１記載の画像認識装置。
3. 特徴点補完部は、
   誤検出と判定された特徴点に対応する正しく検出されたペアの特徴点を顔の正中線に対して特定の比率の位置に座標変換することにより、前記誤検出と判定された特徴点を補完する
   請求項１または請求項２記載の画像認識装置。
4. 特徴点補完部は、
   顔の左右に存在するペアの特徴点間を結んだ複数の線分を特定の比率に分割する分割点が直線状に分布したときに当該分割点が形成する直線を正中線とする
   請求項３に記載の画像認識装置。
5. 正規化顔画像生成部は、
   あらかじめ保持されている３次元形状情報の特徴点を変換元として再設定された特徴点へ変換する幾何変形パラメータを推定し、推定された前記幾何変形パラメータにより変換された特徴点と再設定された特徴点との誤差を算出し、当該誤差の増加に対して指数的に減少する重み関数を用いて前記幾何変形パラメータを再推定し、再推定された当該幾何変形パラメータを用いて位置、角度および大きさが正規化された正規化顔画像を生成する
   請求項１から請求項４のうちのいずれか１項に記載の画像認識装置。
6. 画像中の顔の向きを推定する顔向き推定部と、
   顔の左右に存在するペアの特徴点間を結ぶ線分と正中線との交点が線分を分割する比率と顔の向きとの関係を記録したテーブルを保持する比率テーブル保持部と、
   を備え、
   前記特徴点補完部は、
   前記推定された顔向きと、前記比率テーブル保持部に保持されている前記比率と顔向きとの関係とに基づいて誤検出された特徴点を補完する
   請求項１から請求項５のうちのいずれか１項に記載の画像認識装置。
7. 画像中の顔から検出された複数の特徴点のうち誤検出された特徴点を判定し、
   誤検出と判定された前記特徴点を補完し、より確からしい特徴点に再設定し、
   再設定された前記特徴点とあらかじめ保持されている３次元形状情報とに基づいて、位置、角度および大きさが正規化された正規化顔画像を生成する
   ことを特徴とする画像認識方法。
8. コンピュータに、
   画像中の顔から検出された複数の特徴点のうち誤検出された特徴点を判定する誤検出判定処理と、
   誤検出と判定された前記特徴点を補完し、より確からしい特徴点に再設定する特徴点補完処理と、
   再設定された前記特徴点とあらかじめ保持されている３次元形状情報とに基づいて、位置、角度および大きさが正規化された正規化顔画像を生成する正規化画像生成処理と
   を実行させるための画像認識プログラム。

Images