JP2006338103A - パラメータ学習装置、パラメータ学習方法、およびプログラム - Google Patents

Abstract

【課題】頭部姿勢の上下方向の変化が小さい場合や、正面姿勢と非正面姿勢の境界付近の姿勢である場合も、正面姿勢であるか否かを識別することができ、しかも性能の偏りが少なくなるようなパタン識別パラメータを学習する。
【解決手段】頭部姿勢正規化部２１１は、学習対象の頭部の３Ｄ形状データを頭部特徴位置データを用いて一定の基準姿勢に揃え、正面姿勢合わせ部２１２は、学習対象の頭部の３Ｄ形状データを基準姿勢から正面姿勢に姿勢合わせする。学習画像生成部２２０は、学習対象の頭部の３Ｄ形状データの向きを、正面姿勢から上下方向および／または左右方向に回転させ、テクスチャデータを貼り合わせることで、互いに頭部姿勢が異なる複数の学習画像を生成する。その際、頭部姿勢の上下方向への回転角度を左右方向よりも小さく設定する。パタン識別パラメータ学習部４０１は、複数の学習画像のそれぞれについてパタン識別パラメータを学習する。
【選択図】図１

Description

本発明は、頭部画像から頭部姿勢が正面を向いた正面姿勢であるか否かを識別するためのパタン識別パラメータを学習するパラメータ学習装置、パラメータ学習方法、およびプログラムに関し、特に、頭部姿勢の上下方向の姿勢変化に対しても正面姿勢であるか否かを容易に識別できるようなパタン識別パラメータを学習するパラメータ学習装置、パラメータ学習方法、およびプログラムに関する。

頭部画像（顔面のみを示す顔画像を含む。以下、同じ）から頭部姿勢（顔面姿勢を含む。以下、同じ）が正面姿勢であるか否かを識別するには、頭部の姿勢角度を推定する方法や、頭部の姿勢を幾つかに分類する方法を用いることができる。頭部姿勢が正面姿勢であるか否かを識別するためのパタン識別パラメータを学習する方法は、非特許文献１，２に開示されている。

非特許文献１に開示された方法は、あらかじめ頭部の姿勢が分かっている頭部画像とその頭部姿勢情報との対を学習データとして大量に用意し、かかる学習データに基づいて顔面の姿勢を幾つかに分類するためのパタン識別パラメータを学習しておく方法である。

非特許文献２に開示された方法は、あらかじめ頭部の姿勢が分かっている頭部画像とその頭部姿勢情報との対を学習データとして大量に用意し、かかる学習データに基づいて顔面姿勢角度を推定するためのパタン識別パラメータを学習しておく方法である。

これら非特許文献１，２に開示された方法に限らず、１枚の頭部画像から頭部姿勢が正面姿勢であるか否かを識別するために、あらかじめ頭部姿勢が分かっている頭部画像とその頭部姿勢情報との対を学習データとして大量に用意し、かかる学習データに基づいてパタン識別パラメータを学習しておく方法がよく用いられている。

学習データに基づいてパタン識別パラメータを学習する代表的な方法には、学習ベクトル量子化、ニューラルネットワーク、サポートベクトルマシン、部分空間法、識別関数の最適化、Ｋ最近傍識別法、決定木、隠れマルコフモデル、ブースティングといった方法がある。このうち、学習ベクトル量子化については、非特許文献３に詳細な記述がある。

以降、学習データとして用いる画像のことを学習画像と記述し、かかる学習画像と対になる頭部姿勢情報を教師データと記述する。
Ｊｅｆｆｒｅｙ Ｈｕａｎｇ’，Ｘｕｈｕｉ Ｓｈａｏ’，Ｈａｒｒｙ Ｗｅｃｈｓｌｅｒ，"Ｆａｃｅ Ｐｏｓｅ Ｄｉｓｃｒｉｍｉｎａｔｉｏｎ Ｕｓｉｎｇ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ（ＳＶＭ）"， Ｉｎ Ｐｏｒｃ． ｏｆ １４ｔｈ Ｉｎｔ‘ｌ Ｃｏｎｆ． ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＩＣＰＲ’９８），ｐａｇｅｓ １５４−１５６，１９９８年 Ｍａｒｇａｒｉｔａ Ｏｓａｄｃｈｙ， Ｍａｔｔｈｅｗ Ｌ． Ｍｉｌｌｅｒ， Ｙａｎｎ Ｌｅ Ｃｕｎ，"Ｓｙｎｅｒｇｉｓｔｉｃ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｅｎｅｒｇｙ−Ｂａｓｅｄ Ｍｏｄｅｌｓ"，Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ Ｃｏｎｆｅｒｅｎｃｅ （ＮＩＰＳ２００４），２００５年 佐藤敦、一般学習ベクトル量子化による文字認識、電子情報通信学会技術報告、ＰＲＭＵ９５−２１９、１９９６年

しかしながら、上述した従来技術には次のような課題がある。

第１の課題は、従来技術では、頭部姿勢の左右方向への姿勢変化は僅かな角度でも見た目が大きく変化するために正面姿勢であるか否かの識別が容易であるが、上下方向への姿勢変化は２０°以下の僅かな角度では見た目が大きく変化しないため、識別精度が悪く、性能が低くなるということである。

第２の課題は、従来技術では、学習画像とその学習画像の頭部姿勢の角度や分類情報である教師データとを学習データとして使用するが、この学習データの姿勢精度が低いために、特に、頭部姿勢が正面姿勢と非正面姿勢との境界付近にあるような場合、識別精度が悪いということである。この要因としては、撮影済みの頭部の学習画像に教師データを付加する場合、自動でも手動でも頭部姿勢の角度が不正確になってしまうこと、頭部と撮影装置との位置関係を設定して撮影する場合でも正確な位置合わせが困難であることが考えられる。さらに、複数の人物間で上下方向の姿勢を正確に合わせることは困難であること、頭部の正面姿勢そのものの定義は用途に応じて異なることも要因であると考えられる。

第３の課題は、従来技術では、学習画像としてあらかじめ姿勢がわかっている頭部画像を用意するものの、特定の頭部姿勢の学習画像が少ない場合や特定の照明条件下での学習画像が少ない場合には識別精度が悪くなるため、性能に偏りが生じるということである。

そこで、本発明の目的は、頭部姿勢が正面姿勢であるか否かのパタン識別において、頭部姿勢の上下方向の変化が小さい場合や、頭部姿勢が正面姿勢と非正面姿勢との境界付近の姿勢である場合においても、正面姿勢であるか否かを識別することができ、しかも性能の偏りが少なくなるようなパタン識別パラメータを学習するパラメータ学習装置、パラメータ学習方法、およびプログラムを提供することにある。

上記目的を達成するために本発明は、
頭部姿勢が正面姿勢であるか否かを識別するためのパタン識別パラメータを学習するパラメータ学習装置であって、
学習対象の頭部姿勢の上下方向への回転角度を左右方向よりも小さな角度に設定した上で、学習対象の頭部姿勢を上下方向および／または左右方向にそれぞれ設定された回転角度に従って回転させて互いに頭部姿勢が異なる複数の学習画像を生成する学習画像生成手段と、
前記学習画像生成手段により生成された前記複数の学習画像のそれぞれについて、前記パタン識別パラメータを学習するパラメータ学習手段とを有する。

この構成によれば、学習対象の頭部の頭部姿勢を上下方向および／または左右方向に回転させて学習画像を複数生成するに際して、上下方向への回転角度を小さくしているため、上下方向の姿勢変化が小さい場合でも、正面姿勢の識別を行うことが可能になる。

また、学習対象の頭部の３Ｄ形状データを保持する３Ｄ形状データ記憶手段と、
学習対象の頭部のテクスチャデータを保持するテクスチャデータ記憶手段と、
学習対象の頭部の頭部特徴位置データを保持する頭部特徴位置データ記憶手段と、
前記３Ｄ形状データ記憶手段に保持された頭部の３Ｄ形状データを、前記頭部特徴位置データ記憶手段に保持された頭部特徴位置データに基づき一定の基準姿勢に揃えた上で、その基準姿勢を正面姿勢に姿勢合わせする正面姿勢計算手段とをさらに有し、
前記学習画像生成手段は、前記正面姿勢計算手段により正面姿勢に姿勢合わせされた頭部の３Ｄ形状データを、正面姿勢から上下方向および／または左右方向にそれぞれ設定された回転角度に従って回転させ、回転させた姿勢の３Ｄ形状データに前記テクスチャデータ記憶手段に保持されたテクスチャデータを貼り合わすことで前記複数の学習画像を生成することとしても良い。

この構成によれば、学習対象の頭部の３Ｄ形状データの姿勢を基準姿勢にし、頭部の３Ｄ形状データ間で異なっている姿勢を揃えてから、画像化（レンダリング）を行って学習画像を生成しているため、学習画像の姿勢精度が高く、頭部姿勢が正面姿勢と非正面姿勢との境界に近い姿勢であっても高い精度で正面姿勢の識別を行うことが可能になる。

また、前記学習画像生成手段は、複数の互いに異なる照明条件の各々において、前記複数の学習画像を生成することとしても良い。

この構成によれば、特定の頭部姿勢の学習画像が欠落することがないだけでなく、特定の照明条件下での頭部姿勢の学習画像が欠落することもないため、頭部姿勢や照明条件によって正面姿勢の識別精度が悪化することもなく性能に偏りが起こりづらい。

以上説明したように本発明によれば、学習対象の頭部の頭部姿勢を上下方向および／または左右方向に回転させて学習画像を複数生成するに際して、上下方向への回転角度を左右方向よりも小さくしているため、上下方向の姿勢変化が小さい場合でも、正面姿勢の識別を行うことができるという効果が得られる。

以下に、本発明を実施するための最良の形態について図面を参照して説明する。

（第１の実施形態）
図１を参照すると、本発明の第１の実施形態のパラメータ学習装置は、第１の記憶装置１００と、第１のデータ処理装置２００と、第２の記憶装置３００と、第２のデータ処理装置４００と、第３の記憶装置５００とを有している。なお、図１において、第１の記憶装置１００、第２の記憶装置３００、および第３の記憶装置５００のうち、２以上の記憶装置を同一の記憶装置とする構成でも良い。また、第１のデータ処理装置２００および第２のデータ処理装置４００を同一のデータ処理装置とする構成でも良い。

本実施形態のパラメータ学習装置は、後述する正面姿勢識別装置において入力パタン（正面姿勢であるかを識別する識別対象の頭部画像）がどのクラス（「正面姿勢」または「非正面姿勢」）であるかを識別するパタン識別に用いられるパタン識別パラメータを学習するものである（後述する第２および第３の実施形態も同様）。かかる学習とは、パタン識別技術の専門用語であり、パタン識別に用いられる１つまたは複数個のパタン識別パラメータの適切な値を学習データを用いて求める動作のことである。

第１の記憶装置１００は、学習対象の頭部画像から得られる頭部の頭部データを、複数人分保持する頭部データ記憶部１１０を有している。

頭部データ記憶部１１０は、学習対象の頭部の３Ｄ（３次元）形状データを保持する３Ｄ形状データ記憶部１１０と、学習対象の頭部のテクスチャデータを保持するテクスチャデータ記憶部１１２と、学習対象の頭部の３Ｄ形状データの特徴点の位置を示す頭部特徴位置データを保持する頭部特徴位置データ記憶部１１３とを有している。

第１のデータ処理装置２００は、正面姿勢計算部２１０と、学習画像生成部２２０とを有している。正面姿勢計算部２１０は、頭部姿勢正規化部２１１と、正面姿勢合わせ部２１２とを有している。

頭部姿勢正規化部２１１は、３Ｄ形状データ記憶部１１１内の頭部の３Ｄ形状データのそれぞれを、頭部特徴位置データ記憶部１１３内の頭部特徴位置データを用いて、一定の基準姿勢に揃える正規化処理を行う。

正面姿勢合わせ部２１２は、頭部姿勢正規化部２１１により基準姿勢に揃えられた頭部の３Ｄ形状データを正面姿勢に姿勢合わせする。なお、正面姿勢計算部２１０にて正面姿勢に姿勢合わせされた３Ｄ形状データは、学習画像生成部２２０に直接出力されてもよく、３Ｄ形状データ記憶部１１１に一旦格納され、学習画像生成部２２０により３Ｄ形状データ記憶部１１１から読み出されてもよい。

学習画像生成部２２０は、正面姿勢計算部２１０にて正面姿勢に姿勢合わせされた学習対象の頭部の３Ｄ形状データの頭部姿勢の向きを、正面姿勢から上下方向および／または左右方向にそれぞれ設定された回転角度間隔で回転させ、その回転させた姿勢の３Ｄ形状データにテクスチャデータ記憶部１１２内のテクスチャデータを貼り合わせるレンダリングを行うことで、互いに頭部姿勢が異なる複数の学習画像を生成する。その際、学習画像生成部２２０は、頭部姿勢の上下方向への回転角度を左右方向よりも小さな角度に設定する。頭部姿勢の上下方向への回転角度は、左右方向よりも小さければ特に制限はないが、１５°以下程度が好ましい範囲である。なお、３Ｄ形状データを回転させる技術は、当業者にとって公知であり、いかなる公知技術も使用できるため、詳細な説明は省略する。

また、学習画像生成部２２０は、上述のような複数の学習画像の生成を、複数の互いに異なる照明条件（照明が当たる角度、照明の強度、照明の個数、照明の色など）下でそれぞれ行う。

第２の記憶装置３００は、学習画像生成部２２０で生成された複数の学習画像のそれぞれについて、その学習画像の頭部姿勢情報である教師データを対にして学習データとして保持する学習データ記憶部３０１を有している。

第２のデータ処理装置４００は、学習データ記憶部３０１内の学習データに基づいて、上述したパタン識別に用いられる適切なパタン識別パラメータを学習するパタン識別パラメータ学習部４０１を有している。

第３の記憶装置５００は、パタン識別パラメータ学習部４０１で学習されたパタン識別パラメータを保持するパタン識別パラメータ記憶部を有している。

以下、図１に示したパラメータ学習装置の動作について図２のフローチャートを参照して説明する。ここでは、第１の記憶装置１００の頭部データ記憶部１１０には、すでに、学習対象の頭部画像から得られる頭部データが保持されているものとする。

図２を参照すると、まず、頭部姿勢正規化部２１１は、３Ｄ形状データ記憶部１１１内の学習対象の頭部の３Ｄ形状データを、頭部特徴位置データ記憶部１１３内の頭部特徴位置データに基づいて正規化する（ステップ１０１）。この正規化とは、何らかの基準に基づいて頭部の３Ｄ形状データの頭部姿勢を一定の基準姿勢に揃えることである。例えば、頭部特徴位置データの２点を２組（例えば、１組目を左目と右目、２組目を両目の中点と鼻下点）選択し、学習画像生成部２２０でのレンダリング後に２組の２点の距離が同時に最大になるような姿勢を基準の姿勢とする。

次に、正面姿勢合わせ部２１２は、頭部姿勢正規化部２１１にて正規化された３Ｄ形状データの基準姿勢を正面姿勢に変換する（ステップ１０２）。このとき、既に全ての３Ｄ形状データは基準姿勢に統一されているので、正面姿勢への変換に際しては、基準姿勢からあらかじめ決められた一定角度だけ回転することで正面姿勢に統一できる。

このように、頭部の３Ｄ形状データ間で異なっている姿勢を基準姿勢に揃え、これを正面姿勢に変換してから、後に学習画像生成部２２０でレンダリングを行うことにより、レンダリング後の学習データの頭部姿勢の識別精度を高めることができる。

ステップ１０１，１０２の処理は、学習対象の頭部の３Ｄ形状データの個数分だけ繰り返し実行される（ステップ１０３）。

次に、学習画像生成部２２０は、ステップ１０１，１０２で変換された３Ｄ形状データの正面姿勢を基準として頭部姿勢を回転させて得られる学習画像の相対姿勢角度が所定の分布になるようにレンダリングパラメータを設定する（ステップ１０４）。この所定の分布とは、頭部姿勢の上下方向への回転角度の間隔を左右方向よりも小さくした分布、すなわち頭部姿勢を上下方向に回転させてサンプリングする際のサンプリング間隔を左右方向よりも密にした分布である。そのため、結果的には、上下方向姿勢の学習画像の数の方が、左右方向姿勢よりも相対的に多くなる。

図３は、学習画像の頭部姿勢の分布の一例を示す図である。図３に示すように、上下方向の姿勢のサンプリング間隔は角度５°づつで密であり、左右方向の姿勢のサンプリング間隔は角度１５°づつで粗くなっている。

次に、学習画像生成部２２０は、ステップ１０４で設定されたレンダリングパラメータにしたがって、ステップ１０１，１０２で正面姿勢に変換された３Ｄ形状データの頭部姿勢の向きを回転させ、その回転させた姿勢の３Ｄ形状データにテクスチャデータ記憶部１１２内のテクスチャデータを貼り合わせるレンダリングを行うことにより学習画像を生成する（ステップ１０５）。このレンダリングは、複数の互いに異なる照明条件のそれぞれにおいて行う。レンダリングされた学習画像は、その学習画像の頭部姿勢の姿勢情報である教師データと対になって、学習データとして学習データ記憶部３０１に記憶される。このとき、頭部姿勢が既知である実際の画像を学習データとして追加して学習データ記憶部３０１に記憶させても構わない。

ステップ１０４，１０５の処理は、頭部姿勢分布が所定の分布になるまで繰り返し実行される（ステップ１０６）。

次に、パタン識別パラメータ学習部４０１は、学習データ記憶部３０１に記憶された学習データを用いて、パタン識別に用いられるパタン識別パラメータを学習する（ステップ１０７）。

ステップ１０５の学習方法としては、教師データに基づいてパタン識別パラメータを学習する任意の方法を用いることが可能である。教師データに基づく代表的な学習方法としては、ニューラルネットワーク、ＬＶＱ（Learning Vector Quantization）、サポートベクトルマシン、部分空間法、識別関数の最適化、決定木、隠れマルコフモデル、ブースティングといった方法が挙げられる。なお、この学習方法には、パタン識別技術における特徴抽出の処理も含まれる。特徴抽出とは、入力パタンを識別しやすい別の形式のパタンに変換することである。パタン識別パラメータ学習部４０１にて変換される別の形式のパタンとは、例えば、フーリエ変換やウェーブレット変換によって得られる周波数データから高周波数成分を除去したデータ、主成分分析を行って寄与率が高い成分のみを取り出したデータ、画像の輝度勾配分布のヒストグラムデータなどが挙げられる。

ここで、図１に示した本実施形態のパラメータ学習装置にて学習されたパタン識別パラメータ（または、後述する第２および第３のパラメータ学習装置にて学習されたパタン識別パラメータ）を用いて、識別対象の頭部姿勢が正面姿勢であるか否かを識別する正面姿勢識別装置について図４を参照して説明する。

図４を参照すると、この正面姿勢識別装置は、第４の記憶装置６００と、第３のデータ処理装置７００とを有している。

第４の記憶装置６００は、パタン識別パラメータ記憶部６０１を有している。

パタン識別パラメータ記憶部６０１には、図１に示したパタン識別パラメータ記憶部５０１と同一のデータ、すなわち、図１に示したパタン識別パラメータ学習装置４０１により求められたパタン識別パラメータが格納される。

第３のデータ処理装置７００は、パタン識別部７０１を有している。

パタン識別部７０１は、正面姿勢であるか否かを識別する識別対象の頭部画像を入力として受け取り、パタン識別パラメータ記憶部６０１内のパタン識別パラメータに基づいて正面姿勢を識別し、その識別結果を出力する。パタン識別部７０１は、図１に示したパタン識別パラメータ学習部４０１に対応するものであり、パタン識別パラメータ学習部４０１で用いた学習方法に応じて内部の動作が異なる。例えば、パタン識別パラメータ学習部４０１における学習方法として、特徴抽出を行わない多層パーセプトロン型のニューラルネットワークが用いられた場合には、パタン識別パラメータはユニット間の重みとなる。この場合、パタン識別部７０１は、正面姿勢の識別においては、かかる重み値を反映したニューラルネットワークに、正面姿勢であるか否かを識別する識別対象の頭部画像を入力することで、正面姿勢の識別結果を得る。

上述したように本実施形態においては、学習対象の頭部姿勢を回転させて複数の学習画像を生成するに際して、頭部姿勢の上下方向への回転角度を小さく、すなわち頭部姿勢を上下方向に回転させてサンプリングする際のサンプリング間隔を密にしているため、通常の識別では弱点となる上下方向の姿勢変化が小さい場合でも、正面姿勢の識別を行うことが可能になるという効果が得られる。

また、本実施形態においては、学習対象の頭部の３Ｄ形状データの頭部姿勢を基準姿勢とし、３Ｄ形状データ間で異なっている頭部姿勢を揃えてから、レンダリングにより学習画像を生成しているため、学習データの姿勢精度が高く、それにより、頭部姿勢が正面姿勢と非正面姿勢との境界に近い姿勢であっても高い精度で正面姿勢の識別を行うことが可能になるという効果が得られる。

さらに、本実施形態においては、複数の互いに異なる照明条件のそれぞれにおいて、学習画像を複数生成しているため、特定の頭部姿勢の学習データが欠落することがないだけでなく、特定の照明条件下での頭部姿勢の学習データが欠落することもないため、頭部姿勢や照明条件によって正面姿勢の識別精度が悪化することもなく性能に偏りが起こりづらいという効果が得られる。

（第２の実施形態）
図５を参照すると、本発明の第２の実施形態のパラメータ学習装置は、図１に示した第１の実施形態と比較して、第１のデータ処理装置２００に、頭部姿勢合成部２３０を設けた点が異なる。

頭部姿勢合成部２３０は、３Ｄ形状データ記憶部１１１に保持された複数の頭部の３Ｄ形状データを合成することで頭部形状を変形し、その変形後の３Ｄ形状データを新たな３Ｄ形状データとして３Ｄ形状データ記憶部１１１に追加格納するとともに、テクスチャデータ記憶部１１２および頭部特徴位置データ記憶部１１３に変形後の３Ｄ形状データに対応するテクスチャデータおよび頭部特徴位置データをそれぞれ追加格納する。このとき、３Ｄ形状データは、既に正面姿勢に変換されているため、複数個の３Ｄ形状データの座標値の平均をとることで新たな３Ｄ形状データを得られる。

また、頭部姿勢合成部２３０は、頭部特徴位置データ記憶部１１３に保持された頭部特徴位置データを用いて、鼻、口といった特定の特徴の形状のみを他の３Ｄ形状データで置き換えることで新たな３Ｄ形状データの種類を増やすこともできる。

上述したように本実施形態においては、新たな３Ｄ形状データを加えることにより学習データの数を増加させることができるため、正面姿勢の識別において人物依存性・表情依存性を低くすることができるという効果が得られる。

（第３の実施形態）
図６を参照すると、本発明の第３の実施形態のパラメータ学習装置は、図１に示した第１の実施形態と比較して、第１のデータ処理装置２００に、姿勢ノイズ付加部２４０を設けた点が異なる。

姿勢ノイズ付加部２４０は、正面姿勢合わせ部２１２により正面姿勢に姿勢合わせされた３Ｄ形状データの姿勢角度について、ランダムな値を付加して姿勢を意図的にずらす。この際のランダム値としては、一様乱数ではなく正規乱数のように、大きな値の出現頻度が低い乱数を用いる。これにより、特定の頭部姿勢の学習画像を生成する際に、姿勢にずれが生じることになる。

上述したように本実施形態においては、正面姿勢がランダムに変動するため、実際に入力された識別対象の頭部画像の姿勢が、学習データが持つ角度からずれている場合にも、正面姿勢の識別精度の低下を防ぐことができるという効果が得られる。しかも、ランダム値として大きな値の出現頻度が低い正規乱数を用いるため、変動前後で頭部姿勢の角度はほぼ同じ範囲に保たれるという効果が得られる。

以下、本発明のパラメータ学習装置の実施例について説明する。ここでは、第１の実施形態に関する実施例について説明するものとする。

本実施例では、頭部の３Ｄ形状データとして顔面の形状データのみを用い、識別対象となる頭部画像は両目の位置を基準に揃えた顔画像のみを扱う。また、パタン識別アルゴリズムには、一般化学習ベクトル量子化という手法を用い、入力パタン（識別対象の頭部画像）を「正面姿勢」または「非正面姿勢」という２クラスのどちらかに識別するものとする。一般化学習ベクトル量子化については、非特許文献３に詳細な記述がある。

また、本実施例では、図１の第１の記憶装置１００、第２の記憶装置３００、および第３の記憶装置５００の３つの記憶装置に相当するものとして、ハードディスクドライブを使用する。また、第１のデータ処理装置および第２のデータ処理装置に相当するものとして、ＰＣ（パーソナルコンピュータ）を使用する。

また、本実施例では、３Ｄ形状データ記憶部１１１には、あらかじめ、レンジファインダなどの３Ｄ形状計測装置（不図示）によって計測された複数人分の顔形状の３Ｄ形状データを格納し、テクスチャデータ記憶部１１２には、その計測の際に撮影された顔のテクスチャデータを格納しておく。また、頭部特徴位置データ記憶部１１３には、顔の特徴点として両目と鼻下点の３Ｄ位置を格納しておく。

また、本実施例では、図２のステップ１０４において、頭部姿勢の分布が、図７に示すように、上下方向の姿勢を１５°間隔でサンプリングし、左右方向の姿勢のサンプリング間隔３０°よりも小さくなるようにレンダンリングパラメータを設定する。

まず、頭部姿勢正規化部２１１は、学習対象の顔の３Ｄ形状データの姿勢を、顔の頭部特徴位置データを用いて、一定の基準姿勢とする正規化処理を行う。この正規化処理においては、顔面の特徴点として両目と鼻下点の３点を用い、３Ｄ形状データの顔面の姿勢を、レンダリング後の両目間の距離と、レンダリング後の両目の中点と鼻下点の間の距離とがそれぞれ最大となる基準姿勢に揃える。より具体的には、次の（１）〜（８）の手順により正規化処理を行うことができる。
（１）実際に頭部の３Ｄ形状データからＣＧ（Computer Graphics）を作成し、ＣＧの画像上での左目、右目の座標を得る。このときの顔の左右回転角をθとする。
（２）（１）で得た座標値から両目間の距離を計算する。
（３）（１）とは左右方向に僅かに異なる姿勢（θ＋Δθ）でＣＧを作成する。
（４）（２）と同様に、両目間の距離を計算する。
（５）（２）と（４）の計算結果を比較して、（４）の距離の方が長ければ、さらに角度をつけた姿勢（θ＋２×Δθ）でＣＧを作成する。一方、（４）の距離の方が短ければ、逆向きの角度をつけた姿勢（θ−Δθ）でＣＧを作成する。
（６）（１）〜（５）までの処理を繰り返すことにより、両目間の距離が最大となる左右角度θmaxを求める。
（７）（１）〜（６）と同様にして、両目中点と鼻下点との間の距離が最大となる上下角度φmaxを求める。
（８）（６）で求められた左右角度θmaxおよび（７）で求められた上下角度φmaxだけ回転したデータを、３Ｄ形状データの基準姿勢とする。

このように、頭部の３Ｄ形状データ間で異なっている姿勢を基準姿勢に揃え、これを正面姿勢に変換してから、後に学習画像生成部２２０でレンダリングを行うことにより、レンダリング後の学習データの頭部姿勢の識別精度を高めることができる。

次に、正面姿勢合わせ部２１２は、頭部姿勢正規化部２１１にて正規化された３Ｄ形状データの基準姿勢を正面姿勢に変換する。このとき、基準の姿勢から上方向に１０°だけ回転させた姿勢を正面姿勢とする。全ての３Ｄ形状データは、正面姿勢に統一される。

なお、本実施例では、顔面の姿勢を正面姿勢に統一する際に、正面姿勢計算部２１０で全ての３Ｄ形状データを直接修正して正面姿勢に揃えているが、本発明はこれに限定されず、正面姿勢計算部２１０では個別の３Ｄ形状データの正面からのずれをパラメータとして計算することのみを行い、後の学習画像生成部２２０でのレンダリング時に、そのパラメータを加味して３Ｄ形状データを補正して正面姿勢に揃えても構わない。

以上の図２のステップ１０１，１０２に相当する処理は、学習対象の頭部の３Ｄ形状データの個数分だけ繰り返し実行される。

次に、学習画像生成部２２０は、図７のような顔面姿勢の分布となるように、レンダリングのパラメータを適宜設定してから、レンダリングを行って学習画像を生成するという処理を繰り返す。このレンダリングの際、照明条件の変動による顔画像の見え方の変化に対応するために、照明条件を３種類以上用意し、それぞれの照明条件において、図７のような分布となるように複数の学習画像を生成する。レンダリングされた学習画像は、顔の姿勢情報である教師データと対になって、学習データとして学習データ記憶部３０１に記憶される。なお、入力パタン（識別対象の顔画像）のパタン識別においては、一般化学習ベクトル量子化により「正面姿勢」または「非正面姿勢」のどちらのクラスであるかを識別する２クラス識別を採用するので、かかる教師データは「正面姿勢」または「非正面姿勢」という情報である。具体的には「正面姿勢」に番号０、「非正面姿勢」に番号１という数値を割り当てればよい。

以上の図２のステップ１０４，１０５に相当する処理の繰り返し回数は、「学習対象の顔面の数」×「照明条件の数」×「顔面姿勢の分布における姿勢の数」である。

次に、パタン識別パラメータ学習部４０１は、学習データ記憶部３０１に記憶された学習データを一般学習ベクトル量子化によって学習し、その学習結果としてパタン識別パラメータを出力する。一般学習ベクトル量子化によって学習されるパタン識別パラメータとは、例えば、参照ベクトルである。参照ベクトルとは、パタン識別時に、入力パタンとの類似度が計算できるテンプレートの一種である。

すなわち、本実施例のパラメータ学習装置は、図７のような複数の学習画像のそれぞれについて、パタン識別パラメータとして参照ベクトルを学習する。その結果、正面姿勢の参照ベクトルと、非正面姿勢の参照ベクトルとが得られることになる。

これを受けて、図４に示した正面姿勢識別装置では、パタン識別において、入力パタン（正面姿勢であるかを識別する識別対象の顔画像）をベクトルとみなし、入力パタンのベクトルに最も類似度が高い参照ベクトルを探し出し、その参照ベクトルが属しているクラス（「正面姿勢」または「非正面姿勢」）に入力パタンを分類する。

なお、本発明においては、パラメータ学習装置に上記の処理を実行するためのプログラムを記録した記録媒体を備えてさせても良い。この記録媒体は磁気ディスク、半導体メモリまたはその他の記録媒体であってもよい。このプログラムは、記録媒体からパラメータ学習装置に読み込まれ、パラメータ学習装置の動作を制御する。具体的には、パラメータ学習装置内の不図示のＣＰＵがこのプログラムの制御によりパラメータ学習装置のハードウェア資源に特定の処理を行うように指示することにより上記の処理が実現される。

本発明は、頭部画像から人物を照合する用途に適用できる。このような用途において、正面姿勢を向いている頭部を照合対象とすれば、照合性能の改善や一定以上の照合性能の保証を図ることができるようになる。

また、本発明は、証明写真などの頭部撮影装置に適用すれば、人物が正確に正面を向いた瞬間の画像を撮影できるようになる。

また、本発明は、携帯電話・ＰＣ・情報端末などの使用者撮影用カメラで撮影した使用者の頭部の正面姿勢の識別に適用すれば、使用者が画面を注視しているか否かを判定することができ、それにより自動的に画面のロックをかける動作、およびロックを解除するといった動作を行うことができるようになる。

また、本発明は、自動車の運転手の頭部の正面姿勢の識別に適用すれば、運転手がよそ見したことを検知することができるようになる。

また、本発明は、映画・録画された動画・個人撮影のビデオでは、人物の正面姿勢が映った瞬間が代表的なシーンを表していることが多いため、代表的なシーンを選択したり、動画を要約したりするといった用途に適用できる。

本発明の第１の実施形態のパラメータ学習装置の構成を示すブロック図である。 本発明の第１の実施形態のパラメータ学習装置の動作を説明するフローチャートである。 本発明の第１の実施形態において、学習画像を生成する際の頭部姿勢の分布の一例を示す図である。 本発明のパラメータ学習装置によって学習されたパタン識別パラメータを用いて、識別対象の頭部姿勢が正面姿勢であるか否かを識別する正面姿勢識別装置の一構成例を示すブロック図である。 本発明の第２の実施形態のパラメータ学習装置の構成を示すブロック図である。 本発明の第３の実施形態のパラメータ学習装置の構成を示すブロック図である。 本発明の第１の実施形態の実施例において、学習画像を生成する際の顔面姿勢の分布の一例を示す図である。

符号の説明

１００ 第１の記憶装置
１１０ 頭部データ記憶部
１１１ ３Ｄ形状データ記憶部
１１２ テクスチャデータ記憶部
１１３ 頭部特徴位置データ記憶部
２００ 第１のデータ処理装置
２１０ 正面姿勢計算部
２１１ 頭部姿勢正規化部
２１２ 正面姿勢合わせ部
２２０ 学習画像生成部
２３０ 頭部姿勢合成部
２４０ 姿勢ノイズ付加部
３００ 第２の記憶装置
３０１ 学習データ記憶部
４００ 第２のデータ処理装置
４０１ パタン識別パラメータ学習部
５００ 第３の記憶装置
５０１ パタン識別パラメータ記憶部

Claims (9)

1. 頭部姿勢が正面姿勢であるか否かを識別するためのパタン識別パラメータを学習するパラメータ学習装置であって、
   学習対象の頭部姿勢の上下方向への回転角度を左右方向よりも小さな角度に設定した上で、学習対象の頭部姿勢を上下方向および／または左右方向にそれぞれ設定された回転角度に従って回転させて互いに頭部姿勢が異なる複数の学習画像を生成する学習画像生成手段と、
   前記学習画像生成手段により生成された前記複数の学習画像のそれぞれについて、前記パタン識別パラメータを学習するパラメータ学習手段とを有するパラメータ学習装置。
2. 学習対象の頭部の３Ｄ形状データを保持する３Ｄ形状データ記憶手段と、
   学習対象の頭部のテクスチャデータを保持するテクスチャデータ記憶手段と、
   学習対象の頭部の頭部特徴位置データを保持する頭部特徴位置データ記憶手段と、
   前記３Ｄ形状データ記憶手段に保持された頭部の３Ｄ形状データを、前記頭部特徴位置データ記憶手段に保持された頭部特徴位置データに基づき一定の基準姿勢に揃えた上で、その基準姿勢を正面姿勢に姿勢合わせする正面姿勢計算手段とをさらに有し、
   前記学習画像生成手段は、前記正面姿勢計算手段により正面姿勢に姿勢合わせされた頭部の３Ｄ形状データを、正面姿勢から上下方向および／または左右方向にそれぞれ設定された回転角度に従って回転させ、回転させた姿勢の３Ｄ形状データに前記テクスチャデータ記憶手段に保持されたテクスチャデータを貼り合わすことで前記複数の学習画像を生成する、請求項１に記載のパラメータ学習装置。
3. 前記学習画像生成手段は、複数の互いに異なる照明条件の各々において、前記複数の学習画像を生成する、請求項１または２に記載のパラメータ学習装置。
4. 頭部姿勢が正面姿勢であるか否かを識別するためのパタン識別パラメータを学習するパラメータ学習方法であって、
   学習対象の頭部姿勢の上下方向への回転角度を左右方向よりも小さな角度に設定した上で、学習対象の頭部姿勢を上下方向および／または左右方向にそれぞれ設定された回転角度に従って回転させて互いに頭部姿勢が異なる複数の学習画像を生成する第１のステップと、
   前記複数の学習画像のそれぞれについて、前記パタン識別パラメータを学習する第１のステップとを有するパラメータ学習方法。
5. 学習対象の頭部の３Ｄ形状データを、学習対象の頭部の頭部特徴位置データに基づき一定の基準姿勢に揃えた上で、その基準姿勢を正面姿勢に姿勢合わせする第３のステップをさらに有し、
   前記第１のステップでは、正面姿勢に姿勢合わせされた頭部の３Ｄ形状データを、正面姿勢から上下方向および／または左右方向にそれぞれ設定された回転角度に従って回転させ、回転させた姿勢の３Ｄ形状データに学習対象の頭部のテクスチャデータを貼り合わすことで前記複数の学習画像を生成する、請求項４に記載のパラメータ学習方法。
6. 前記第１のステップでは、複数の互いに異なる照明条件の各々において、前記複数の学習画像を生成する、請求項４または５に記載のパラメータ学習方法。
7. 頭部姿勢が正面姿勢であるか否かを識別するためのパタン識別パラメータを学習するコンピュータに実行させるプログラムであって、
   学習対象の頭部姿勢の上下方向への回転角度を左右方向よりも小さな角度に設定した上で、学習対象の頭部姿勢を上下方向および／または左右方向にそれぞれ設定された回転角度に従って回転させて互いに頭部姿勢が異なる複数の学習画像を生成する第１のステップと、
   前記複数の学習画像のそれぞれについて、前記パタン識別パラメータを学習する第１のステップとを有するプログラム。
8. 学習対象の頭部の３Ｄ形状データを、学習対象の頭部の頭部特徴位置データに基づき一定の基準姿勢に揃えた上で、その基準姿勢を正面姿勢に姿勢合わせする第３のステップをさらに有し、
   前記第１のステップでは、正面姿勢に姿勢合わせされた頭部の３Ｄ形状データを、正面姿勢から上下方向および／または左右方向にそれぞれ設定された回転角度に従って回転させ、回転させた姿勢の３Ｄ形状データに学習対象の頭部のテクスチャデータを貼り合わすことで前記複数の学習画像を生成する、請求項７に記載のプログラム。
9. 前記第１のステップでは、複数の互いに異なる照明条件の各々において、前記複数の学習画像を生成する、請求項７または８に記載のプログラム。