JP2010231350A - 人物識別装置、そのプログラム、及び、その方法 - Google Patents

Abstract

【課題】顔の識別率を向上させることができる人物識別装置を提供する。
【解決手段】人物識別装置１０は、動画像のフレーム毎に、前記フレーム内に写された同一の人物の顔の識別率を向上させるための基準である適合度を算出し、前記適合度を用いて前記動画像からフレームを選択する選択部１６と、前記選択されたフレームから特徴量を算出し、前記特徴量と、前記適合度を用いて予め選択された参照フレームの特徴量との類似度に基づいて、前記人物の顔識別を行なう識別部２０とを有する。
【選択図】 図１

Description

本発明は、人物の顔の識別を行う人物識別技術に関する。

従来、特許文献１に開示されているように、顔を撮影した動画像から人間が見てよいと思われる画像を選択するベストショットを選択する方法や選択したベストショットを保存するものがあった。

しかし、この特許文献１の技術では、顔の向きが正面であるかどうかや顔表面の明るさなど、人間が見て見やすいかどうかという観点で画像を選択していたため、選択された画像が顔識別に必ずしも適当であるとは限らなかった。

また、特許文献２に開示されているように、動画像を使っての顔を識別するものがあった。しかし、この特許文献２の技術では、識別する際に、顔の向きなどの状態が、登録した参照データと大きく異なる画像が含まれていると識別性能が悪化する場合があった。

特開２００５−２２７９５７号公報 特開２００５−１４１４３７号公報

上記したように、従来技術には顔の向きが正面であるかどうかや顔表面の明るさなど、人間が見て見やすいかどうかという観点で画像を選択していたため、選択された画像が顔識別に必ずしも適当であるとは限らないという問題点があった。

そこで本発明は、上記問題点を解決するためになされたものであって、顔の識別率を向上させることができる人物識別装置、そのプログラム、及び、その方法を提供することを目的とする。

本発明は、動画像のフレーム毎に、前記フレーム内に写された同一の人物の顔の識別率を向上させるための基準である適合度を算出し、前記適合度を用いて前記動画像からフレームを選択する選択部と、前記選択されたフレームから特徴量を算出し、前記特徴量と、前記適合度を用いて予め選択された参照フレームの特徴量との類似度に基づいて、前記人物の顔識別を行なう識別部と、を有することを特徴とする人物識別装置である。

本発明によれば、顔の識別に適したフレームを動画像から選択することにより、顔の識別率を向上させることが可能となる。

本発明の実施形態に係わる人物識別装置の構成を示すブロック図である。 人物識別装置の動作を示すフローチャートである。 顔特徴点の例である。 人物識別装置の使用状態を表わす第１の説明図である。 図４の使用状態でカメラが撮影した顔の動画像の図である。 人物識別装置の使用状態を表わす第２の説明図である。 図６の使用状態でカメラが撮影した顔の動画像の図である。

以下、本発明の一実施形態の人物識別装置１０について図１〜図７に基づいて説明する。

本実施形態の人物識別装置１０は、図４、図６に示すように通路１などにカメラ２を設置し、その通路１を通過する同一の識別対象人物（以下、単に「人物」という）３の顔の識別を行なうことを目的としている。

図１は、本実施形態に係わる人物識別装置１０を示すブロック図である。

図１に示すように、人物識別装置１０は、検出部１２、推定部１４、選択部１６、登録部１８、識別部２０、記憶部２２を備えている。

検出部１２は、カメラ２から入力した動画像の各フレームから人物３の顔特徴点を検出する。

推定部１４は、フレーム毎の顔特徴点の各座標から人物３の顔向きの方向を表す顔向き角度を推定する。

選択部１６は、顔の識別率を向上させるための基準である適合度を用いて、動画像からフレームを選択する。

登録部１８は、前記適合度を用いて予め選択された参照フレームの特徴量を記憶部２２に登録する。

識別部２０は、記憶部２２に登録された特徴量と、選択部１６により選択された各フレームから生成された特徴量とを比較することにより、人物３の顔の識別を行なう。

なお、この人物識別装置１０は、例えば、汎用のコンピュータを基本ハードウェアとして用いることでも実現することが可能である。すなわち、検出部１２、推定部１４、選択部１６、登録部１８、識別部２０は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、人物識別装置１０は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。

次に、人物識別装置１０の動作について図２に基づいて説明する。図２は、人物識別装置１０の動作を示すフローチャートである。

ステップＳ１では、人物識別装置１０が、通路１に設置されたカメラ２から動画像を入力する。例えば、図４の例では、カメラ２が通路１の一方の側壁で、かつ、人物３の顔の高さと同じ位置に設置されたものであり、図５はそのカメラ２で撮影された人物３の顔が写った動画像の各フレームを時系列ｔの順番で並べたものである。また、図６の例では、カメラ２が通路１の天井から下を見下ろすように設置されたものであり、図７はそのカメラ２で撮影された人物３の顔が写った動画像の各フレームを時系列ｔの順番で並べたものである。

ステップＳ２では、検出部１２が、入力された動画像のフレーム毎に、複数個の顔特徴点を検出する。例えば、特許第３２７９９１３号公報に開示されている方法を用いる。具体的には、次の通りである。

まず、一つのフレームに対して分離度フィルタにより特徴点候補を検出する。

次に、それらの特徴点候補を組み合わせたときの特徴点配置の評価により特徴点組を選択する。

次に、顔の部分領域のテンプレート照合を行なって顔特徴点を検出する。顔特徴点の種類としては、例えば、図３に示すように、右眉内端、左眉内端、右目頭、左目頭、右瞳、左瞳、右目尻、左目尻、鼻頂点、右鼻孔、左鼻孔、右口端、左口端、口中点の１４点を用いる。

ステップＳ３では、推定部１４が、検出部１２により得られたフレーム毎の複数個の顔特徴点の座標を用いて人物３の顔向き角度を計算する。例えば、特開２００３−１４１５５１号公報に開示されている特徴点の位置座標から顔向き角度を計算する方法を用いる。具体的には、次の通りである。

まず、フレーム中の顔特徴点の２次元座標からなる計測行列に、顔形状の３次元形状を表わす形状行列の擬似逆行列を乗ずることにより、カメラ運動行列を算出する。ここで、３次元形状は因子分解法を用いてフレームから求めてもよいし、予め準備した標準的な形状モデルである標準顔形状を用いてもよい。なお、因子分解法は、C. Tomasi and T. Kanade, 「Shape and motion from image streams under orthography: a factorization method,」 International Journal of Computer Vision, vol. 9, no. 2, pp. 137-154, 1992.に開示されている。本実施形態においては、標準顔形状を用いる。

次に、カメラ運動行列から顔向き角度を求める。カメラ運動行列はスケールを除けば回転行列に対応し、回転行列が判明すれば３方向の回転を求めることができる。しかし、カメラ運動行列は３×２の行列であり、３×３の回転行列を求めるには回転行列の補完が必要である。

回転行列は３×３の正方行列で表現され、９つの成分を持つが、自由度は３であり、一部の成分が与えられれば残りの成分も一意的に決められる場合があり、その場合は初等計算により全ての成分を求めることができる。回転行列の上２行の６つの成分が誤差を含んだ状態で与えられたときに、残りの最下行の３個の成分を補完して完全な回転行列を求めるには、次の処理を行う。

第１に、第１行と第２行の行ベクトルを、それぞれ方向を変えずにノルムが１になるように修正する。

第２に、１行の行ベクトルと第２行の行ベクトルの内積が０になるようにそれぞれのベクトルの長さを変えずに方向だけを修正する。このとき，２つのベクトルの平均ベクトルの方向が変わらいようにする。

第３に、上２行の６つの成分を用いて，回転行列と等価な４元数を計算する。回転行列と４元数との関係式は、例えば、「３次元ビジョン」（徐剛、辻三郎著、共立出版、１９９８年）の２２頁に説明されており、その関係式を用いて初等計算で４元数を求めることができる。

第４に、求めた４元数から、再度，回転行列と４元数との関係式を用いて、回転行列の最下行の成分を計算して求める。

このようにして３×３の回転行列が求まれば、それから３軸の回転角である上下（ヨー）、左右（ロー）、傾げ（ピッチ）の３方向からなる顔向き角度を求めることができる。

ステップＳ４では、選択部１６が、顔向き角度から適合度を算出する。顔向き角度は、上記したように上下、左右、傾げの３方向に分解して求められている。そのため、これらを上向き度θ_１、右向き度θ_２、傾げ度θ_３と定義する。なお、任意の３次元回転角が求められれば、適宜変換によりこれらの角度を求めることもできる。これらの角度から式（１）で表わされる適合度Ｓ_ｄを算出する。適合度とは、顔識別率を向上させる基準であって、すなわち、顔の識別率を向上させるために動画像からフレームを選択する場合の基準であり、この適合度が高いほど識別率が向上する。そして、この適合度Ｓ_ｄは、カメラ２に対して顔が正面向きとなるときに最大となるように設定されている。

このように、適合度は傾げ度以外の上向き度、右向き度を用いることで、フレーム内の回転以外の角度が正面に近いものを選択することが可能となる。通常、フレーム内の回転が識別率に与える影響は少ないが、フレームから離れる方向である上向き度、右向き度の角度が大きくなると識別性能が低下する。そのため、この適合度を用いることで、識別に適したフレームを選択することが可能となる。

次に、選択部１６が、動画像のフレーム毎に算出された適合度を用いて、顔の識別に用いるフレームを選択する。この選択は、動画像の各フレームのうち適合度の高いものから順番に任意の枚数を選択する。

ステップＳ５では、識別部２０が動画像同士を比較できる直交相互部分空間法を用いて、上記で選択した各フレームから生成される特徴量と、記憶部２２に記憶された参照フレームの特徴量との類似度を求めることで、人物３が登録された人物であるかどうかを判定する。

識別部２０は、上記のように適合度に基づいて選択された複数のフレームに対して、顔の識別のための特徴量を抽出する。その方法は次の通りである。

まず、各フレームに対して、検出部１２によって得られた特徴点座標と、３次元標準顔形状モデルの対応付けにより、顔の向きを正面に補正する。また、照明条件に影響されない拡散反射率の比を抽出する照明正規化を適用する。次に、選択された複数のフレームに対してＫＬ展開を行ない、上位の次元を残すことで、部分空間を生成する。この部分空間が特徴量となる。

識別部２０は、選択されたフレームの特徴量と、登録部１８により記憶部２２に登録された参照フレームの特徴量との類似度を算出し、人物３の顔が登録された人物の顔であるかどうかを識別する。

なお、記憶部２２に登録された参照フレームは、予め準備しておく。すなわち、カメラ２で撮影した登録すべき人物の顔が写った動画像に関して、検出部１２、推定部１４、選択部１６を用いて、上記と同様に、フレーム毎に適合度を算出する。次に、この適合度の高い複数のフレームに対して識別部２０が特徴量を算出する。そして、登録部１８が、これらフレーム毎の特徴量を記憶部２２に登録する。

本実施形態によれば、顔の識別に適したフレームを動画像から選択することにより、顔の識別率を向上させることが可能となる。

（変更例）
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

例えば、次のような変更例がある。

上記実施形態では、フレームの選択の際に適合度の高いものから任意の枚数を選択した。しかし、これに限るものではない。例えば、任意の割合を選択する、又は、任意の範囲のものを選択してもよい。また、適合度を算出する前の角度の条件で選択してもよい。例えば、上向き度、右向き度が＋１５度から−１５度の範囲内を選択するといった方法でもよい。

また、上記実施形態では、適合度はカメラに対する正面向きが最大となるように設定したが、任意の向きでもよい。例えば、参照フレーム登録時の顔向きの代表値に近いものが最大となるようにしてもよい。また、参照フレーム登録時に、複数の方法で顔画像選択を行なことで分類し、それぞれの選択基準に基づき、選択された入力画像が最大となるクラスのデータを用いて識別を行なってもよい。また、それぞれのクラスに対して識別を行ない、類似度を統合することで、判定結果を求めてもよい。

また、適合度は顔向き角度から算出したが、これに限らず、顔特徴点の画像から算出される任意の値でもよい。

また、上記実施形態では、適合度は、式（１）により算出される値としたが、これに限らず、正面向きからの角度から傾げ角を除いた角度が小さいほど大きくなるような評価値であればよい。また、それ以外の顔向き角度から算出される任意の値でもよい。

また、上記実施形態では、適合度は、顔向き角度のみを使用したが、これに限るものではない、例えば、顔の大きさ、解像度、時間、カメラからの距離、などを用いてもよいし、それらを組み合わせてもよい。例えば、通常、カメラに近づいてくる人物の場合、後の時間ほど、顔の大きさが大きくなると考えられるから、時間ｔを用いて、顔向き角度と時間を考慮した適合度Ｓ_ｄ＋ｔは、

としてもよい。ここで、ｃは所定の定数、ｔ_０は動画像の開始時間である。

また、上記実施形態では、顔向き角度は顔特徴点から算出したが、これに限らず、顔画像にテンプレートを当てて、パターン認識で顔向き角度を求めてもよい。

１０ 人物識別装置
１２ 検出部
１４ 推定部
１６ 選択部
１８ 登録部
２０ 識別部

Claims (8)

1. 動画像のフレーム毎に、前記フレーム内に写された同一の人物の顔の識別率を向上させるための基準である適合度を算出し、前記適合度を用いて前記動画像からフレームを選択する選択部と、
   前記選択されたフレームから特徴量を算出し、前記特徴量と、前記適合度を用いて予め選択された参照フレームの特徴量との類似度に基づいて、前記人物の顔識別を行なう識別部と、
   を有することを特徴とする人物識別装置。
2. 前記フレームから前記人物の顔向き角度を推定する推定部をさらに有し、
   前記選択部は、前記顔向き角度から前記適合度を算出する、
   ことを特徴とする請求項１に記載の人物識別装置。
3. 前記推定部が推定する前記顔向き角度は、前記顔の上向き度、右向き度、傾げ度を有し、
   前記選択部は、前記上向き度と前記右向き度とを用いて前記適合度を算出する、
   ことを特徴とする請求項２に記載の人物識別装置。
4. 前記フレーム毎に前記人物の顔の顔特徴点を検出する検出部をさらに有し、
   前記推定部は、前記顔特徴点から前記顔向き角度を推定する、
   ことを特徴とする請求項２に記載の人物識別装置。
5. 前記推定部は、前記顔特徴点の座標からなる計測行列に、顔形状を表わす形状行列の擬似逆行列を乗じてカメラ運動行列を求め、前記カメラ運動行列を用いて前記顔向き角度を算出する、
   ことを特徴とする請求項４に記載の人物識別装置。
6. 前記フレーム毎に前記人物の顔の顔特徴点を検出する検出部をさらに有し、
   前記選択部は、前記顔特徴点の座標から前記適合度を算出する、
   ことを特徴とする請求項１に記載の人物識別装置。
7. コンピュータに、
   動画像のフレーム毎に、前記フレーム内に写された同一の人物の顔の識別率を向上させるための基準である適合度を算出し、前記適合度を用いて前記動画像からフレームを選択する選択機能と、
   前記選択されたフレームから特徴量を算出し、前記特徴量と、前記適合度を用いて予め選択された参照フレームの特徴量との類似度に基づいて、前記人物の顔識別を行なう識別機能と、
   を実現させるための人物識別プログラム。
8. 動画像のフレーム毎に、前記フレーム内に写された同一の人物の顔の識別率を向上させるための基準である適合度を算出し、前記適合度を用いて前記動画像からフレームを選択する選択ステップと、
   前記選択されたフレームから特徴量を算出し、前記特徴量と、前記適合度を用いて予め選択された参照フレームの特徴量との類似度に基づいて、前記人物の顔識別を行なう識別ステップと、
   を有することを特徴とする人物識別方法。

Images