JP2007102412A - モデリングシステム、モデリング方法およびプログラム - Google Patents

Abstract

【課題】 モデリング精度を向上させることが可能なモデリング技術を提供する。
【解決手段】 モデリングシステムは、対象物に関する複数回の計測による複数の計測データを取得するとともに、対象物に関する標準的な立体モデルである標準モデルを取得する。そして、複数の計測データに関する評価要素を含む所定の評価関数を最適化するように標準モデルを変形し、当該対象物に関する立体モデルを作成する。
【選択図】図１

Description

本発明は、物体のモデリング技術に関する。

物体のモデルを作成するに際して、対象物体の標準的な立体モデルである標準モデルを準備しておき、計測された３次元データに合わせて標準モデルを変形するモデルフィッティング手法が存在する（例えば、特許文献１参照）。

このようなモデルフィッティング手法においては、例えば、２台のカメラを用いたステレオ視などによる１回の計測動作によって対象物の計測データが取得され、標準モデルを当該計測データに合わせるようにモデル変形動作が行われ、対象物のモデルが作成される。

特開２００１−２８３２５２号公報

しかしながら、上述のようなステレオ視などによる１回の物体計測における精度は、その撮影状況（計測状況）等によっては、十分に高いとは言えない場合がある。そして、このような不十分な精度の物体計測に基づいてモデリングを行うときには、十分なモデリング精度を得られないという問題がある。

そこで、この発明の課題は、モデリング精度を向上させることが可能なモデリング技術を提供することにある。

上記課題を解決すべく、請求項１の発明は、モデリングシステムであって、対象物に関する標準的な立体モデルである標準モデルを取得する手段と、前記対象物に関する複数回の計測による複数の計測データを取得するデータ取得手段と、前記複数の計測データに関する評価要素を含む所定の評価関数を最適化するように前記標準モデルを変形し、前記対象物に関する立体モデルを作成するモデル作成手段とを備えることを特徴とする。

請求項２の発明は、請求項１の発明に係るモデリングシステムにおいて、前記モデル作成手段は、前記複数の計測データの信頼性に応じた重み付けを用いて前記評価要素を修正し、前記所定の評価関数を求めることを特徴とする。

請求項３の発明は、請求項２の発明に係るモデリングシステムにおいて、前記モデル作成手段は、前記複数の計測データの計測回毎の信頼性に応じた重み付けを用いて前記評価要素を修正し、前記所定の評価関数を求めることを特徴とする。

請求項４の発明は、請求項２の発明に係るモデリングシステムにおいて、前記モデル作成手段は、前記対象物における各特徴点の計測位置に関する計測回毎の信頼性に応じた重み付けを用いて前記評価要素を修正し、前記所定の評価関数を求めることを特徴とする。

請求項５の発明は、請求項４の発明に係るモデリングシステムにおいて、前記評価要素は、前記対象物の各特徴点に関する計測回毎の各計測位置と前記標準モデルとの関係を反映した要素を含むことを特徴とする。

請求項６の発明は、請求項２ないし請求項４のいずれかの発明に係るモデリングシステムにおいて、前記評価要素は、前記対象物の各特徴点の計測位置と前記標準モデルとの関係を反映した要素を含み、前記モデル作成手段は、前記複数の計測データの信頼性に応じた重み付けを伴って前記各特徴点の計測位置を予め修正した後に、前記所定の評価関数を求めることを特徴とする。

請求項７の発明は、請求項２から請求項６のいずれかの発明に係るモデリングシステムにおいて、前記複数の計測データは、それぞれ、複数のカメラによる複数の画像に基づいて取得され、前記モデル作成手段は、前記複数の計測データの信頼性として、前記複数の画像間における対応領域相互間の相関値を用い、当該相関値に応じた重み付けを伴って前記所定の評価関数を求めることを特徴とする。

請求項８の発明は、請求項２から請求項７のいずれかの発明に係るモデリングシステムにおいて、前記モデル作成手段は、前記複数の計測データの信頼性として、前記対象物までの距離が小さくなるにつれて当該信頼性の度合いが大きくなる要素を用い、当該要素に応じた重み付けを伴って前記所定の評価関数を求めることを特徴とする。

請求項９の発明は、請求項２から請求項８のいずれかの発明に係るモデリングシステムにおいて、前記モデル作成手段は、前記複数の計測データの信頼性として、前記対象物の基準姿勢からのずれ量が小さくなるにつれて当該信頼性の度合いが大きくなる要素を用い、当該要素に応じた重み付けを伴って前記所定の評価関数を求めることを特徴とする。

請求項１０の発明は、請求項２から請求項９のいずれかの発明に係るモデリングシステムにおいて、前記モデル作成手段は、前記複数の計測データの信頼性として、前記対象物の各特徴点の経時位置変化が小さくなるにつれて当該信頼性の度合いが大きくなる要素を用い、当該要素に応じた重み付けを伴って前記所定の評価関数を求めることを特徴とする。

請求項１１の発明は、請求項１から請求項１０のいずれかの発明に係るモデリングシステムにおいて、前記モデル作成手段は、前記複数の計測データのうち、その信頼性の和が所定の基準を満たす計測データを用いて、前記立体モデルを作成することを特徴とする。

請求項１２の発明は、請求項１から請求項１０のいずれかの発明に係るモデリングシステムにおいて、前記モデル作成手段は、前記複数の計測データについての信頼性の和が所定の閾値以上であることを条件にモデル作成動作を開始することを特徴とする。

請求項１３の発明は、請求項１から請求項１２のいずれかの発明に係るモデリングシステムにおいて、前記モデル作成手段は、前記複数の計測データのうち、その信頼性の高い順に選択される計測データに基づいて、前記立体モデルを作成することを特徴とする。

請求項１４の発明は、請求項１から請求項１３のいずれかの発明に係るモデリングシステムにおいて、前記モデル作成手段によって作成された前記立体モデルに基づいて、前記対象物に関する個体識別処理を行う識別手段、をさらに備えることを特徴とする。

請求項１５の発明は、請求項１４の発明に係るモデリングシステムにおいて、前記モデル作成手段は、前記複数の計測データのうち、その信頼性の和が所定の閾値以上である計測データを用いて、前記立体モデルを作成し、前記所定の閾値は、前記個体識別処理における成功回数および失敗回数に基づいて変更されることを特徴とする。

請求項１６の発明は、請求項１から請求項１５のいずれかの発明に係るモデリングシステムにおいて、前記複数回の計測は、計測用カメラと前記対象物との相対関係、光源と前記対象物との相対関係、前記光源と前記計測用カメラと相対関係、のうちの少なくとも１つが互いに異なる状態において行われるものであることを特徴とする。

請求項１７の発明は、請求項１から請求項１６のいずれかの発明に係るモデリングシステムにおいて、前記複数の計測データは、それぞれ、複数のカメラによる複数の画像に基づいて取得されることを特徴とする。

請求項１８の発明は、モデリング方法であって、対象物に関する標準的な立体モデルである標準モデルを取得する工程と、前記対象物に関する複数回の計測による複数の計測データを取得する工程と、前記複数の計測データに関する評価要素を含む所定の評価関数を最適化するように前記標準モデルを変形し、前記対象物に関する立体モデルを作成する工程とを備えることを特徴とする。

請求項１９の発明は、コンピュータに、対象物に関する標準的な立体モデルである標準モデルを取得する手順と、前記対象物に関する複数回の計測による複数の計測データを取得する手順と、前記複数の計測データに関する評価要素を含む所定の評価関数を最適化するように前記標準モデルを変形し、前記対象物に関する立体モデルを作成する手順とを実行させるためのプログラムであることを特徴とする。

請求項１ないし請求項１９に記載の発明によれば、複数の計測データのうち、いずれかのデータに精度不足が仮に存在する場合であっても、他の計測データによって精度不足が補われるため、高精度のモデリングを安定的に行うことができる。すなわち、モデリング精度を向上させることができる。

特に、請求項２に記載の発明によれば、モデリング精度をさらに向上させることができる。

また、請求項１１ないし請求項１３に記載の発明によれば、信頼性の高い計測データを用いて効率的なモデリング動作を行うことが可能である。

また、請求項１４に記載の発明によれば、より正確にモデリングされた立体モデルに基づいて対象物に関する個体識別処理が行われるので、個体識別処理における精度を向上させることができる。

また、請求項１５に記載の発明によれば、個体識別の成否に応じた適切な閾値が設定され、信頼性の高い計測データを用いた効率的なモデリング動作が可能になる。

＜１．概要＞
図１は、この実施形態における処理の概要を示す概念図である。

この実施形態においては、人物の顔を対象物としてモデリングを行い、当該モデリングによって作成された立体モデルを用いて顔認証動作を行う場合について例示する。

「顔認証」は、人物の生体特徴によって自動的に個人の識別（個体識別）等を行うバイオメトリクス認証技術（生体認証技術）の１つであり、非接触型の認証手法である。

一般的には、顔認証技術としては、予め登録された登録画像と認証対象物を撮影した撮影画像とをそれぞれ平面情報（「テクスチャ情報」あるいは「２次元情報」）としてのみ取得しておき、単純に両画像の平面情報を比較することによって、登録画像内の人物（登録者ＨＭａ）と撮影画像内の人物（認証対象者ＨＭｂ）とが同一人物であるか否かを判定することが想定される。

ただし、この実施形態では、「２次元情報」だけで認証を行うのではなく、人間の顔の立体的形状に関する「３次元情報」をも用いて、個人認証を行う場合を例示する。「３次元情報」は、登録者ＨＭａと認証対象者ＨＭｂとの双方について、それぞれの顔に関する撮影画像（ステレオ画像）に基づいて求められる。３次元情報をも用いることによれば、より正確な認証動作が可能になる。また特に、３次元情報を用いて顔の姿勢を補正した後に比較動作を行うことによれば、異なる顔姿勢（傾き）の２つの画像をそのまま比較する場合に比べて、正確な認証動作が可能になる。

また、この実施形態では、この３次元情報を考慮するに際して、モデルフィッティング手法を用いて、各個人のモデルを作成する場合を例示する。

さらに、この実施形態においては、１回の計測結果に基づいてモデルフィッティングを行うのではなく、複数回の計測結果に基づいてモデルフィッティングを行う場合を例示する。これによれば、複数回の計測結果（複数の計測データ）のいずれかに精度不足が仮に存在したとしてもその他の計測結果によって、その精度不足を補うことが可能になるため、安定的に高精度のモデリングを実現することが可能になる。

また、この実施形態においては、各計測データの信頼性ρを考慮したモデルフィッティングを行う場合を例示する。これによれば、さらに高精度のモデリングを実現することが可能になる。

＜２．詳細構成＞
図２は、本発明の実施形態に係る顔認証システム１の構成を示す構成図である。この顔認証システム１は、モデルフィッティング手法を用いて、顔のモデリングを行うシステムでもあることから、「モデリングシステム」とも表現される。

図２に示すように顔認証システム１は、コントローラ１０と２台の画像撮影カメラ（以下、計測用カメラあるいは単に「カメラ」とも称する）ＣＡ１，ＣＡ２とを備えている。カメラＣＡ１とカメラＣＡ２とは、それぞれ異なる位置から認証対象者ＨＭｂの顔を撮影できるように配置されている。カメラＣＡ１とカメラＣＡ２とによって認証対象者ＨＭｂの顔画像が撮影されると、当該撮影により得られる認証対象者ＨＭｂの外観情報すなわち２枚の顔画像Ｇ１，Ｇ２がコントローラ１０に通信線を介して送信される。なお、各カメラとコントローラ１０との間での画像データの通信方式は有線方式に限定されず、無線方式であってもよい。

図３は、コントローラ１０の構成概要を示す図である。図３に示されるように、コントローラ１０は、ＣＰＵ２と、記憶部３と、メディアドライブ４と、液晶ディスプレイなどの表示部５と、キーボード６ａ及びポインティングデバイスであるマウス６ｂなどの入力部６と、ネットワークカードなどの通信部７とを備えたパーソナルコンピュータなどの一般的なコンピュータで構成される。記憶部３は、複数の記憶媒体、具体的には、ハードディスクドライブ（ＨＤＤ）３ａと、ＨＤＤ３ａよりも高速処理可能なＲＡＭ（半導体メモリ）３ｂとを有している。また、メディアドライブ４は、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク、メモリカードなどの可搬性の記録媒体８からその中に記録されている情報を読み出すことができる。なお、このコントローラ１０に対して供給される情報は、記録媒体８を介して供給される場合に限定されず、ＬＡＮ及びインターネットなどのネットワークを介して供給されてもよい。

次に、コントローラ１０の機能について、図４および図５を参照して説明する。

図４は、コントローラ１０の各種機能構成を示すブロック図であり、図５は、個人認証部１４の詳細な機能構成を示すブロック図である。

コントローラ１０の各種機能構成は、コントローラ１０内のＣＰＵ等の各種ハードウェアを用いて所定のソフトウェアプログラム（以下、単に「プログラム」とも称する）を実行することによって、実現される機能を概念的に示すものである。

図４に示されるように、コントローラ１０は、画像入力部１１と顔領域検索部１２と顔部位検出部１３と個人認証部１４と出力部１５とを備えている。

画像入力部１１は、カメラＣＡ１及びＣＡ２によって撮影された認証用の２枚の画像をコントローラ１０に入力する機能を有している。

顔領域検索部１２は、入力された顔画像から顔領域を特定する機能を有している。

顔部位検出部１３は、特定した顔領域から顔の特徴的な部位（例えば、目、眉、鼻、口等）の位置を検出する機能を有している。

個人認証部１４は、顔の認証を主たる目的として構成され、各個人を顔画像で認証する機能を有している。この個人認証部１４の詳細については、次述する。

出力部１５は、個人認証部で得られた認証結果を出力する機能を有している。

次に、個人認証部１４の詳細構成について図５を用いて説明する。

図５に示すように、個人認証部１４は、３次元再構成部２１と最適化部２２と補正部２３と特徴抽出部２４と情報圧縮部２５と比較部２６とを有している。

３次元再構成部２１は、複数の入力画像から得られる顔の特徴的な部位の座標から各部位の３次元における座標を算出する機能を有している。この３次元座標算出機能は、カメラパラメータ記憶部２７に格納されているカメラ情報を用いて実現される。

最適化部２２は、算出された３次元座標と、３次元モデルデータベース２８に格納されている顔の標準的な立体モデル（「標準立体モデル」あるいは「標準モデル」とも称する）とに基づいて、固有の人物に関する「個別モデル」を作成する機能を有している。なお、３次元モデルデータベース２８は、記憶部３等において構築されるデータベースである。

補正部２３は、作成された個別モデルを補正（修正あるいは変換とも表現できる）する機能を有している。

このように、処理部２１，２２，２３は、最適化部２２を中心に、モデル作成機能を有している。

これらの各処理部２１，２２，２３によって、認証対象者ＨＭｂおよび登録者ＨＭａに関する情報は、標準化（正規化）され、相互比較しやすい状態に変換される。また、各処理部の機能によって作成された個別モデルは、人物の顔に関する３次元情報と２次元情報との双方を含むものとして形成される。「３次元情報」は、代表点の３次元座標値等の立体的構成に関連する情報であり、「２次元情報」は、表面情報（テクスチャ情報）および／または代表点の平面的な位置情報（２次元形状情報）等の平面的構成に関連する情報である。

特徴抽出部２４は、上記各処理部２１，２２，２３において作成された個別モデルから３次元情報と２次元情報とを抽出する特徴抽出機能を有している。

情報圧縮部２５は、特徴抽出部２４で抽出された３次元情報と２次元情報とをそれぞれ、顔認証用の適切な顔特徴量に変換することによって、顔認証に用いる３次元情報と２次元情報とをそれぞれ圧縮する機能を有している。この情報圧縮機能は、基底ベクトルデータベース２９に格納された情報等を用いて実現される。

比較部２６は、人物データベース３０に予め登録されている登録者（比較対象者）ＨＭａの顔特徴量と、上記各機能部によって得られる認証対象者ＨＭｂの顔特徴量との類似度を計算し、顔の認証を行う機能を有している。

このように、個人（個体）を識別する機能（個人識別機能ないし個体識別機能ともいう）は主に処理部２４，２５，２６によって実現されており、これらの処理部２４，２５，２６は個体識別部とも総称される。

＜３．動作＞
＜動作概要＞
以下では、上述したコントローラ１０の顔認証動作についてより詳細に説明する。具体的には、カメラＣＡ１及びＣＡ２で撮影した認証対象者ＨＭｂの顔画像と、予め登録された人物ＨＭａの顔画像とに関する情報を用いて、認証対象者ＨＭｂが登録済み人物ＨＭａと同一人物であるかを認証する場合（顔認証を行う場合）について説明する。また、ここでは、３次元情報として、カメラＣＡ１，ＣＡ２による画像を利用して三角測量の原理によって計測された３次元形状情報を用い、２次元情報としてテクスチャ（輝度）情報を用いる場合を例示する。

図６は、コントローラ１０の全体動作（認証動作）を示すフローチャートであり、図７は、モデルフィッティング動作（ステップＳＰ６）の詳細を示すフローチャートである。さらに、図８は、顔画像における特徴的な部位の代表点（以下、「特徴点」とも称する）を示す図であり、図９は、２次元画像中の特徴点から三角測量の原理を用いて３次元座標を算出する様子を示す模式図である。なお、図９における画像Ｇ１，Ｇ２中の点Ｑ２０は、図８に示すように口の右端の点に相当する。

図６に示されるように、コントローラ１０は、ステップＳＰ１からステップＳＰ９までの工程において、認証対象者の顔を撮影した画像に基づいて、認証対象者に関する顔特徴量を取得する。コントローラ１０は、その後、さらにステップＳＰ１０，ＳＰ１１の工程を実行することによって、顔認証を実現する。

また、コントローラ１０は、ステップＳＰ１からステップＳＰ４までの工程を繰り返すことによって複数回の計測動作を行う。そして、当該複数回の計測動作によって得られる複数の計測データに基づいてモデルフィッティング動作（ステップＳＰ６）を行い、認証対象者の顔の立体モデルを作成する。ステップＳＰ７からステップＳＰ１１までの工程においては、作成された立体モデルを用いて顔認証動作が行われる。

＜計測：認証対象者ＨＭｂに関する情報収集（ステップＳＰ１〜ＳＰ５）＞
まず、ステップＳＰ１において、カメラＣＡ１及びＣＡ２によって撮影された所定の人物（認証対象者）ＨＭｂの顔画像が、通信線を介しコントローラ１０に入力される。顔画像を撮影するカメラＣＡ１及びカメラＣＡ２は、それぞれ、２次元画像を撮影可能な一般的な撮影装置で構成される。また、当該各カメラＣＡｉの位置姿勢等を示すカメラパラメータＢｉ（ｉ＝１，...，Ｎｃ）は既知であり、予めカメラパラメータ記憶部２７（図５）に記憶されている。ここで、Ｎｃはカメラの台数を示している。本実施形態ではＮｃ＝２の場合を例示しているが、Ｎｃ≧３としてもよい（３台以上のカメラを用いてもよい）。カメラパラメータＢｉについては後述する。

次に、ステップＳＰ２において、カメラＣＡ１及びＣＡ２より入力された２枚の画像Ｇ１，Ｇ２のそれぞれにおいて、顔の存在する領域が検出される。顔領域検出手法としては、例えば、予め用意された標準の顔画像を用いたテンプレートマッチングにより、２枚の画像Ｇ１，Ｇ２のそれぞれから顔領域を検出する手法を採用することができる。

次に、ステップＳＰ３において、ステップＳＰ２で検出された顔領域画像の中から、顔の特徴的な部位の位置が検出される。例えば、顔の特徴的な部位としては、目、眉、鼻又は口等が考えられ、ステップＳＰ３においては、図８に示されるような上記各部位の特徴点Ｑ１〜Ｑ２３の座標が算出される。特徴部位は、例えば、特徴部位の標準的なテンプレートを用いて行うテンプレートマッチングにより検出することができる。また、算出される特徴点の座標は、カメラより入力された画像Ｇ１，Ｇ２上の座標として表される。例えば、図８における口の右端に相当する特徴点Ｑ２０に関して、図９中に示すように、２枚の画像Ｇ１，Ｇ２のそれぞれにおける座標値が求められる。具体的には、画像Ｇ１の左上の端点を原点Ｏとして、特徴点Ｑ２０の画像Ｇ１上の座標（ｘ１，ｙ１）が算出される。画像Ｇ２においても同様に特徴点Ｑ２０の画像Ｇ２上の座標（ｘ２，ｙ２）が算出される。

また、入力された画像における各特徴点を頂点とする領域内の各画素の輝度値が、当該領域の有する情報（「テクスチャ情報」）として取得される。各領域におけるテクスチャ情報は、後述のステップＳＰ６等において、個別モデルに貼り付けられる。なお、本実施形態の場合、入力される画像は２枚であるので、各画像の対応する領域内の対応する画素における平均の輝度値を当該領域のテクスチャ情報として用いるものとする。

次のステップＳＰ４では、３次元再構成処理が行われる。具体的には、ステップＳＰ３において検出された各特徴点Ｑｊの各画像Ｇｉ（ｉ＝１，...，Ｎｃ）における２次元座標Ｕｉ^(j)と、各画像Ｇｉを撮影したカメラのカメラパラメータＢｉとに基づいて、各特徴点Ｑｊの３次元座標Ｍ^(j)（ｊ＝１，...，Ｎｊ）が算出される。端的に言えば、三角測量の原理に基づいて各特徴点の３次元位置が算出される。なお、Ｎｊは特徴点の個数を示している。

以下、３次元座標Ｍ^(j)の算出について具体的に説明する。

各特徴点Ｑｊの３次元座標Ｍ^(j)と各特徴点Ｑｊの２次元座標Ｕｉ^(j)とカメラパラメータＢｉとの関係は式（１）のように表される。

なお、μｉは、スケールの変動分を示す媒介変数である。また、カメラパラメータ行列Ｂｉは、予め３次元座標が既知の物体を撮影することにより求められる各カメラ固有の値であり、３×４の射影行列で表される。

例えば、上記式（１）を用いて３次元座標を算出する具体的な例として、特徴点Ｑ２０の３次元座標Ｍ⁽²⁰⁾を算出する場合を図９を用いて考える。式（２）は画像Ｇ１上の特徴点Ｑ２０の座標（ｘ１，ｙ１）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。同様に、式（３）は、画像Ｇ２上の特徴点Ｑ２０の座標（ｘ２，ｙ２）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。

上記式（２）及び式（３）中の未知数は、２つの媒介変数μ１、μ２と３次元座標Ｍ⁽²⁰⁾の３つの成分値ｘ，ｙ，ｚとの合計５つである。一方、式（２）及び式（３）に含まれる等式の個数は６であるため、各未知数つまり特徴点Ｑ２０の３次元座標（ｘ，ｙ，ｚ）を算出することができる。また、同様にして、全ての特徴点Ｑｊについての３次元座標Ｍ^(j)を取得することができる。

ステップＳＰ４では、さらに、このようにして得られた各特徴点Ｑｊの３次元座標に基づいて、標準モデルと計測データ中の対象物との間の相対関係を求めておく。具体的には、計測データにおける対象物の位置、傾き（姿勢）、スケールを標準モデルを基準にして求めておく。

例えば、標準モデルにおける所定の基準位置と、計測データにおける対応基準位置との間のずれ量によって、計測データにおける対象物の標準モデルに対する位置を求めることができる。また、標準モデルにおける所定の２点を結ぶ基準ベクトルと、計測データにおける当該所定の２点の対応点を結ぶ基準ベクトルとの間のずれ量によって、計測データにおける対象物の標準モデルに対する傾き及びスケールを求めることができる。より詳細には、右目の目頭の特徴点Ｑ１と左目の目頭の特徴点Ｑ２との中点ＱＭの座標と標準モデルにおいて中点ＱＭに相当する点の座標とを比較することによって、計測データにおける対象物の相対位置を求めることができ、さらに、中点ＱＭと他の特徴点とを比較することによって計測データのスケール及び傾きを算出することができる。なお、これらの値は、後述のモデルフィッティング処理において用いられる。

式（４）は、標準モデルと計測データ中の対象物との間の対応関係を表現する変換パラメータ（ベクトル）ｖｔを示している。式（４）に示すように、この変換パラメータ（ベクトル）ｖｔは、両者のスケール変換指数ｓｚと、直交３軸方向における並進変位を示す変換パラメータ（ｔｘ，ｔｙ，ｔｚ）と、回転変位（傾き）を示す変換パラメータ（φ，θ，ψ）とをその要素とするベクトルである。なお、右肩のＴは転置を表す（以下、同様）。

以上のようにして、１回の計測動作が行われる。

その後、同様の動作（ステップＳＰ１〜ＳＰ４）が所定回数（Ｎｋ回）繰り返される。より詳細には、例えば、カメラＣＡ１，ＣＡ２に近づいて来る認識対象者を所定時間間隔で複数回にわたって撮影することによって、互いに異なる時点での複数回の計測による複数の計測データ（以下、単に、「複数回の計測データ」とも称する）が取得されるとともに、各時点での撮影画像（ステレオ画像）に対して、それぞれ、ステップＳＰ２〜ＳＰ４の動作が行われる。

ステップＳＰ１〜ＳＰ４の動作が所定回数（Ｎｋ回）繰り返されたことが確認される（ステップＳＰ５）と、次のステップＳＰ６に進む。

＜モデルフィッティング（ステップＳＰ６）＞
次のステップＳＰ６では、モデルフィッテングが行われる。この「モデルフィッティング」は、予め準備された一般的（標準的）な顔のモデルである「（顔の）標準モデル」を、認証対象者に関する情報を用いて変形することによって、認証対象者の顔に関する入力情報が反映された「個別モデル」を作成する処理である。具体的には、算出された３次元座標Ｍ^(j)を用いて標準モデルの３次元情報を変更する処理が行われる。また、この実施形態においては、画像のテクスチャ情報を用いて標準モデルの２次元情報を変更する処理も行われる。

図１０は、３次元の顔の標準モデルの一例を示す図である。

図１０に示されるように、顔の標準モデルは、頂点データとポリゴンデータとで構成される。頂点データは、標準モデルにおける特徴部位の頂点（以下、「標準制御点」とも称する）ＣＯｊの座標の集合であり、ステップＳＰ４において算出される各特徴点Ｑｊの３次元座標と１対１に対応している。ポリゴンデータは、標準モデルの表面を微小な多角形（例えば、三角形）のポリゴンに分割し、ポリゴンを数値データとして表現したものである。なお、図１０では、各ポリゴンの頂点が標準制御点ＣＯｊ以外の中間点によっても構成される場合を例示しており、中間点の座標は標準制御点ＣＯｊの座標値を用いた適宜の補完手法によって得ることが可能である。

ここで、標準モデルに基づいて個別モデルを求めるモデルフィッティング処理（ステップＳＰ６）について、図７のフローチャートを主に参照しながら詳述する。

まず、ステップＳＰ６１において、標準モデルの各特徴部位の頂点（標準制御点ＣＯｊ）を、モデルフィッティング処理における初期位置に移動させる。図１１は、標準モデルＭＳ１を初期位置に移動させる様子を概念的に示す図である。なお、図１１においては図示の都合上、適宜、計測データにおける顔領域ＢＪ１および当該顔領域ＢＪ１に対応する標準モデルＭＳ１を簡略化（ないし抽象化）して示している。

具体的には、図１１に示されるように、全部（または一部）の標準制御点ＣＯｊの３次元座標値の重心位置ＧＨと、対応する各特徴点Ｑｊの３次元座標値の重心位置ＧＺとを合わせるように、標準モデルＭＳ１を移動させ、各標準制御点ＣＯｊをモデルフィッティング処理における初期位置に移動させる。これによれば、標準モデルの変形動作を比較的正確な位置から開始することができる。また、全部又は一部の特徴点Ｑｊによって算出される姿勢に合わせるように標準モデルを配置することなどによって、初期姿勢も比較的正確に合わせておくことが好ましい。また、スケールについても同様であり、標準モデルのスケールを計測データのスケールに暫定的に合わせるように初期スケールを決定しておくことが好ましい。モデルフィッティング処理における初期位置、初期姿勢及び初期スケールは、例えば、式（４）のパラメータｖｔの複数の計測回に係る平均値に基づいて決定すればよい。

なお、以下においては、データベース２８に登録された状態の初期座標値を有する標準制御点ＣＯｊと、移動後の標準制御点とをまとめて、標準制御点（あるいは単に制御点）Ｃｊと総称するものとする。

つぎに、ステップＳＰ６２において、総合エネルギーＥ（後述）を評価関数として用い、当該総合エネルギーＥを最小化するように各制御点Ｃｊを移動させて、標準モデルＭＳ１を変形する。

後述するように、総合エネルギーＥは外部エネルギーＦｅおよび内部エネルギーＧｅを含み、外部エネルギーＦｅおよび内部エネルギーＧｅは、いずれも、標準モデルの各制御点Ｃｊの座標値の関数である。そのため、この総合エネルギーＥは、標準モデルの各制御点Ｃｊの座標値の関数である。例えば、制御点の個数が２０であるときには、制御点ごとに３つの座標（ｘ，ｙ，ｚ）が存在するため、総合エネルギーＥは、６０次元（＝２０×３）の変数に対する関数となる。

ここで、このような総合エネルギーＥを各変数で偏微分した式＝０の偏微分方程式を想定すると、各変数に対する６０個の偏微分方程式が成立する。そして、各偏微分方程式を解くことによって、総合エネルギーＥを最小化する各変数の値（すなわち各座標値）が求められる。最適化部２２は、このようにして求めた各座標値に各制御点Ｃｊを移動させる。これによって、当該総合エネルギーＥを最小化するように各制御点Ｃｊを移動させて、標準モデルＭＳ１が変形される。

この結果、過剰な変形を回避しつつ計測データを反映するように標準モデルが変形される。例えば、内部エネルギーＧｅを考慮せず外部エネルギーＦｅのみを考慮して当該エネルギーを最小化する場合には、各制御点Ｃｊが対応点に近づく方向へと移動するようにモデルが変形されることになる。また、内部エネルギーＧｅを考慮してエネルギーの最小化を図る場合には、モデルの初期形状を維持するような変形が行われ、或る制御点が対応点に近づく方向とは異なる方向へと移動するように変形されることもある。

ここで、総合エネルギーＥについて説明する。

総合エネルギーＥは、式（５）に示されるように、標準モデルと計測データとのずれ（差）に関する外部エネルギーＦｅと、過剰な変形を避けるための内部エネルギーＧｅとの和で表される。

外部エネルギーＦｅは、複数の計測データに関する評価要素（項）である。外部エネルギーＦｅは、例えば、第ｋ回目の計測データにおける第ｊ番目の特徴点Ｑｊ（以下、Ｑjkとも称する）と、当該特徴点Ｑjkから標準モデルＭＳ１の表面への最短で到達する位置に存在する投影点Ｈjkとの距離｜Ｈjk−Ｑjk｜を用いて式（６）のように表される（図１２参照）。なお、記号の簡略化のため、特徴点Ｑjkの３次元座標Ｍ^(j,k)を表すベクトルをも「Ｑjk」で表現し、投影点Ｈjkの３次元座標を表すベクトルをも「Ｈjk」で表現する。

ただし、αは定数、Ｎｋは計測回数、Ｎｊは制御点の個数である。

また、Ｗjkは、信頼性ρ（詳細にはρjk）の関数であり、例えば、当該信頼性ρの一次関数等で表現される。この信頼性（ないし信頼度）ρは、各計測データの信頼性の度合いを表す指標値であり、原則として、各計測点について各計測回毎に設定される。第ｋ回目の計測における第ｊ番目の計測点（ここでは各特徴点Ｑjk）についての信頼性ρはρjkとして表現される。信頼性ρについては後述する。

なお、ベクトルＨjk（厳密にはベクトルＨjkの各要素）は、標準モデルにおける３つの点Ｃｊ（ｊ＝Ｃｂ１，Ｃｂ２，Ｃｂ３；Ｃｂ１，Ｃｂ２，Ｃｂ３は近傍３つの点を表す番号）の座標値の関数として表現されるため、外部エネルギーＦｅは、各制御点Ｃｊの座標値の関数として表現される。

この外部エネルギーＦｅは、顔の各特徴点に関する計測回毎の各計測位置（Ｍ^(j,k)＝ベクトルＱjk）と標準モデルとの関係を反映した要素を含むエネルギー項であるとも表現され、あるいは、特徴点Ｑjkと標準モデルの輪郭との距離を反映した要素を含むエネルギー項であるとも表現される。この外部エネルギーＦｅを最小化することによれば、標準モデルの形状を計測データにおける輪郭に近づける作用が働くことになる。

図１３は、外部エネルギーＦｅの最小化に伴うこのような作用を示す概念図である。図１３において×印は第１回目の計測による特徴点（計測点）Ｑ１⁽¹⁾，Ｑ２⁽¹⁾，Ｑ３⁽¹⁾，...を示し、○印は第２回目の計測による特徴点（計測点）Ｑ１⁽²⁾，Ｑ２⁽²⁾，Ｑ３⁽²⁾，...を示す。また、実線は変形前の標準モデルの輪郭を示し、破線は変形後の標準モデルの輪郭を示す。なお、特徴点ＱjkをＱｊ^(k)とも表記するものとする。

式（６）に示すように、外部エネルギーＦｅは、複数回の計測データのそれぞれにおける特徴点Ｑjkと標準モデルの輪郭との距離｜Ｈjk−Ｑjk｜に関する項を有している。そのため、図１３に示すように、外部エネルギーＦｅを最小化する際には、各Ｈjkが対応特徴点Ｑjkへと向かうベクトル（図中の矢印）の向きに移動するように、各標準モデルの輪郭を変形させるような力が作用することになる。

この場合において、単一の回数の計測（たとえば第１回目の計測）のデータのみを用いることによっても、上記のように、標準モデルの輪郭を特徴点Ｑjkに近づけるように変形させることが可能である。しかしながら、各計測点につき１回の計測による計測データが存在するのみであり且つその計測データの正確性が低い場合には、モデル変形自体の正確性も充分であるとは言えないことがある。

これに対して、この実施形態のように、複数回の計測における計測データを用いることによれば、より正確に標準モデルの輪郭を変形させることが可能である。特に、複数回の計測データのうち、いずれかのデータに精度不足が仮に存在する場合であっても、他の計測データによって精度不足が補われるため、高精度のモデリングを安定的に行うことができる。すなわち、モデリング精度を向上させることができる。

特に、対象物が動体である場合等において、計測用カメラＣＡ１，ＣＡ２と当該対象物との相対関係（位置関係等）を変えて複数回の計測データが計測されるときには、当該相対関係の変動に伴って、様々な状況における様々な計測データを得ることができるので、モデリング精度を向上させることが可能である。また、同様に、光源と対象物との相対位置を変えて複数回の計測データが計測されるとき、および／または、光源と計測用カメラとの相対関係を変えて複数回の計測データが計測されるときにも、当該相対関係の変動に伴って、様々な状況における様々な計測データを得ることができるので、モデリング精度を向上させることが可能である。このように、複数回の計測は、異なる条件の下で行われることが好ましい。例えば、或る計測回では或る特徴点に対応する画素が白飛びしていた場合であっても、状況変化後（光源と対象物との相対位置が変化した後など）の計測回では当該特徴点に対応する画素が白飛びすることなく当該画素の画素値が適切に得られることがある。

また、式（６）の外部エネルギーＦｅの算出においては、各距離｜Ｈjk−Ｑjk｜に対して、複数回の計測データのそれぞれの信頼性ρに応じた重み付け係数Ｗjkを乗じた上で、当該各距離が加算されている。すなわち、各距離｜Ｈjk−Ｑjk｜を各計測データの信頼性に応じて重み付け加算している。換言すれば、各計測データの信頼性ρ（詳細には、後述するρｋあるいはρjk）に応じた重み付け（Ｗjk）を用いて外部エネルギーＦｅが修正され、総合エネルギーＥの値が求められることになる。これによれば、各計測データの信頼性を考慮することによって、モデリング精度をさらに向上させることが可能である。

また、内部エネルギーＧｅは、例えば、図１４に示されるように、制御点Ｃｊ間が仮想バネＳＰＲ（ＳＰＲ１，ＳＰＲ２，ＳＰＲ３，...）によって繋がれていると想定すると、式（７）のように表される。なお、図１４は、制御点間を仮想バネで繋いだ状態を示す模式図である。

ただし、βは定数、Ｎｍは仮想バネの本数、Ｋｍはｍ番目の仮想バネのバネ係数、Ｌｍはｍ番目の仮想バネの自然長、Ｖｍはｍ番目の仮想バネの自然長からの変位量を表すものとする。

ここにおいて、Ｖｍは各制御点Ｃｊの関数として表現されるため、内部エネルギーＧｅは、各制御点Ｃｊの座標値の関数として表現される。

式（７）によると、各制御点Ｃｊの過剰な移動は、仮想バネＳＰＲに蓄えられるエネルギーの増大として表現される。例えば、１つの制御点Ｃｚが、或る点Ｖｚへと移動し他の制御点との相対変位が増大したとすると、仮想バネＳＰＲ１，ＳＰＲ２及びＳＰＲ３には、各仮想バネの伸びによるエネルギーが蓄えられ内部エネルギーＧｅが大きくなる。このように、過剰変形が施された標準モデルの内部エネルギーＧｅは増大する。逆に、標準状態に近づくにつれて内部エネルギーＧｅは小さくなる。

この内部エネルギーＧｅは、標準モデルの各制御点Ｃｊ相互の関係が一定の関係（すなわち、全仮想バネが自然長を有する状態）に近づくときに最適化されるエネルギー項であるとも表現される。端的に言えば、後述するように、この内部エネルギーＧｅを最小化することによれば、標準モデルを一定の形状に維持しようとする作用、すなわち、過剰な変形を回避する作用を得ることができる。

再び図７を参照する。

上記のようなステップＳＰ６２の処理が終了すると、次のステップＳＰ６３ではモデルフィッティング処理を終了するか否かが判定される。ここでは、変形前の標準モデル（複数回の変形が施される場合には直前の変形が施された標準モデル）についての総合エネルギーＥと変形後の標準モデルについてのエネルギーＥとの間の変化量が所定量以下であるか否かを終了判定の基準として用いる。これによれば、制御点を移動しても総合エネルギーＥがあまり変化しなくなった場合に処理を終了することができる。

ステップＳＰ６３においてモデルフィッティング処理を未だ終了しないと判定される場合は、ステップＳＰ６４へと移行する。

ステップＳＰ６４では、投影点Ｈjkの更新が行われる。具体的には、移動後の標準モデルに対して特徴点Ｑjkから最も近い標準モデル上の点が、新たな投影点Ｈjkとして再検出される。その後、再びステップＳＰ６２に戻って、上述の動作（ステップＳＰ６２，ＳＰ６３）が繰り返される。

ステップＳＰ６４の「投影点の更新動作」によれば、標準モデルの変形に伴って投影点の位置が変わる場合にも、投影点の位置の微調整を行うことにより、さらに正確なモデルフィッティングを行うことができる。

一方、ステップＳＰ６３においてモデルフィッティング処理を終了すると判定される場合は、最終的に得られた変形モデルが、当該認証対象の人物の顔に相当する「個別モデル」として確定される（ステップＳＰ６５）。なお、個別モデルにおける標準制御点を、「個別制御点」とも称するものとする。個別モデルにおける個別制御点Ｃｊ以外の中間点の座標は、個別制御点Ｃｊの座標値を用いた適宜の補間手法によって得ることが可能である。

また、ステップＳＰ６５においては、登録状態（初期移動前）の標準モデルと変形後の標準モデル（確定された個別モデル）との位置関係等に基づいて、標準モデルと個別モデルとの間の相対関係を表現する変換パラメータｖｔ（式（４））を改めて求める処理も行われる。この変換パラメータｖｔは、ステップＳＰ７（後述）で用いられる。

また、ステップＳＰ６５においては、テクスチャ情報を用いて標準モデルの２次元情報を変更する処理も行われる。具体的には、入力画像Ｇ１，Ｇ２における各領域のテクスチャ情報が、３次元の個別モデル上の対応する領域（ポリゴン）に貼り付けられる（マッピングされる）。なお、立体モデル（個別モデル等）上でテクスチャ情報が貼り付けられる各領域（ポリゴン）は、「パッチ」とも称せられる。

以上のようにして、ステップＳＰ６の処理（モデルフィッティング処理）が行われ、認証対象者ＨＭｂの「顔」の立体モデルが作成される。認証対象者ＨＭｂに関する情報は、認証対象者ＨＭｂに関する３次元情報と２次元情報との双方を含む「個別モデル」として作成される。

＜信頼性について＞
ここで、信頼性ρについて説明する。

上述したように、信頼性ρは、各計測データの信頼性の度合いを表す指標値である。信頼性ρを求める際の要素としては、例えば、
（１）ステレオ画像における対応付けの正確性、
（２）計測対象物までの距離、
（３）計測対象物の姿勢、
（４）時間的変化度合い、
などが挙げられる。なお、以下では、各要素をそれぞれ単独で信頼性ρとして採用する場合を説明するが、これに限定されず、これらの各要素を組み合わせて算出した値を信頼性ρとして用いることも可能である。

◎（１）「ステレオ画像における対応付けの正確性」を用いる場合：
第ｋ回目の計測における第ｊ番目の計測点（特徴点）Ｑjkについての信頼性ρjkは、例えば式（８）のような値Ｒjkとして求められる。値Ｒjkは、画像Ｇ１における特徴点Ｑjkの近傍領域ＲＱ１と画像Ｇ２における特徴点Ｑjkの近傍領域ＲＱ２との対応画素同士の差分に基づいて算出される（図１５参照）。すなわち、値Ｒjkは、特徴点Ｑjkに関する両画像Ｇ１，Ｇ２の対応領域ＲＱ１，ＲＱ２相互間の相関値である。なお、図１５は、ステレオ画像Ｇ１，Ｇ２における対応領域（ＲＱ１，ＲＱ２）相互間の関係を示す図である。

なお、値Ｄ０は定数であり、Ｇ１γ^(j,k)は、近傍領域ＲＱ１内での第γ画素の画素値（階調値）であり、Ｇ２γ^(j,k)は、近傍領域ＲＱ２内の第γ画素の画素値（階調値）であり、Ｎγは各近傍領域ＲＱ１，ＲＱ２内の画素数である。また、右肩の添字（ｊ，ｋ）は、第ｋ回目の計測における第ｊ番目の計測点に関する量であることを示している。

ここで、式（８）の分母は、画像Ｇ１における或る特徴点Ｑjkを中心とする近傍領域（例えば特徴点Ｑjkを中心とする近傍の５×５＝２５画素で構成される領域）ＲＱ１内の全画素のそれぞれと、画像Ｇ２における各対応特徴点Ｑjkを中心とする近傍領域ＲＱ２における対応画素との間の画素値の差分絶対値を加算して平均した値である。ステレオ画像Ｇ１，Ｇ２相互間での対応付けが正確である場合には、両画像における対応画素同士の画素値の差が小さくなるため、分母が小さな値となり値Ｒjkは大きな値になる。すなわち、対応付けが正確な場合には信頼性ρjkが比較的大きな値になる。

このように、第ｋ回目の計測における第ｊ番目の計測点Ｑjkに関するデータの信頼性ρjkを、ステレオ画像における対応付けの正確性を示す値Ｒjkを用いて表現することができる。

上記においては、各特徴点の計測位置に関する計測回毎の信頼性ρjkを個別に求める場合を例示したが、これに限定されない。例えば、計測データの各計測回毎の信頼性はいずれの計測点（特徴点）においても同一であるものと仮定し、計測データの各計測回毎の信頼性ρｋを求めるようにしてもよい。すなわち、第ｋ回目の計測においては、いずれの計測点Ｑjkのデータの信頼性ρjkも同一であるとし、第ｋ回目の計測における信頼性ρｋ（＝ρjk）を求めるようにしてもよい。

例えば、各計測回の特定の特徴点Ｑｊについて、式（８）を用いて得られた信頼性ρjkを、それぞれ、信頼性ρｋとして求めるようにしてもよい。

また、上記の要素（２）（３）（４）についても同様である。以下では、要素（２）〜（４）のそれぞれについて、各計測回毎の信頼性ρｋを求める場合について説明する。

◎（２）「計測対象物までの距離」を用いる場合：
例えば、式（９）のように、第ｋ回目の計測における各計測点Ｑjkまでの距離Ｌjkの平均値（計測対象物までの平均距離）Ｌｋ（式（１０）参照）に反比例する値を信頼性ρjk＝ρｋとして用いることができる。

式（９）によれば、距離Ｌｋが小さくなるにつれて信頼性ρｋが大きくなる。より詳細には、カメラから計測対象物までの距離Ｌｋが比較的大きいときには計測値の信頼性が比較的小さく、逆に、当該距離Ｌｋが比較的小さいときには計測値の信頼性が比較的大きい。なお、値Ｄ１は定数であり、この値Ｄ１としては例えば計測対象物までの基準距離などを用いることができる。

◎（３）「計測対象物の姿勢」を用いる場合：
例えば、式（１１）のように、第ｋ回目の計測時における計測対象物（ＨＭｂ）の姿勢の基準姿勢ＰＳ（例えば正面向きの姿勢）からの左右方向のずれ角度θｋ（図１６参照）に関する値を信頼性ρjk＝ρｋとして採用することができる。なお、図１６は、顔の上面図である。

式（１１）によれば、顔（計測対象物）の正面向き姿勢（基準姿勢）からのずれ量が小さくなるにつれて信頼性ρｋが大きくなる。より詳細には、顔の正面向き姿勢からのずれ角度θｋが比較的大きいときには計測値の信頼性が比較的小さく、当該ずれ角度θｋが比較的小さいときには計測値の信頼性が比較的大きい。なお、値Ｄ２は定数である。

◎（４）「時間的変化度合い」を用いる場合：
例えば、式（１２）のように、第ｋ回目の計測における各計測点Ｑjk（Ｑｊ^(k)とも表記する）と、それよりも前の時点の第（ｋ−１）回目の計測における各計測点Ｑｊ^(k-1)とのずれ量｜Ｑｊ^(k)−Ｑｊ^(k-1)｜（すなわち各計測点（各特徴点）の経時位置変化（「時間的変化度合い」））を用いた値を信頼性ρjk＝ρｋとして採用することができる。式（１２）の分母においては、当該時間的変化度合いに関して、Ｎｊ個の全計測点についての平均値が算出されている。なお、値Ｄ３，Ｄ４，Ｄ５は定数である。

式（１２）によれば、各特徴点の経時位置変化が比較的大きいとき（例えば、笑っているときなど表情変化が激しいときなど）には計測値の信頼性は比較的小さな値になる。逆に、時間的変化度合いが比較的小さく喜怒哀楽などの表情が現れていないときには、信頼性は比較的大きな値になる。このように、各特徴点の経時位置変化が小さくなるにつれて信頼性ρｋが大きくなる。

上記の式（６）においては、以上のような各計測データの信頼性ρjkを用いて式（６）におけるＷjkを決定し（例えば、Ｗjk＝ρjk）、当該Ｗjkを用いて距離｜Ｈjk−Ｑjk｜を重み付け加算することによって、外部エネルギーＦｅが決定される。したがって、データの信頼性に応じた重み付けを伴って各計測点に関する要素を加算することによって、外部エネルギーＦｅを算出することができるので、より正確なモデルフィッティングを行うことが可能である。

＜個別モデルに対する補正処理（ステップＳＰ７）＞
再び、図６を参照する。

次のステップＳＰ７においては、標準モデルを基準にして個別モデルの補正が行われる。本工程では、３次元情報に関する位置（アライメント）補正と、２次元情報に関するテクスチャ補正とが実行される。

アライメント（顔向き）補正は、３次元情報に関する位置および姿勢等の補正処理である。アライメント補正は、標準モデルを基準にした際の個別モデルのスケール、傾き及び位置に基づいて行われる。より詳細には、標準モデルを基準にした際の標準モデルと個別モデルとの関係を示す変換パラメータｖｔ（ステップＳＰ６５で算出（式（４）参照））を用いて個別モデルを座標変換することによって、標準モデルの姿勢と同じ姿勢を有する３次元顔モデルを作成することができる。すなわち、このアライメント補正によって、認証対象者に関する３次元情報を適切に正規化することができる。

また、テクスチャ補正は、アライメント補正後の個別モデルにマッピングされているテクスチャ情報を補正する処理である。テクスチャ補正としては、適宜の手法による光源補正を行うことができる。例えば、画像取得時における光源と各パッチとの相対関係等に基づいて、パッチ内の各画素の画素値を修正することなどが可能である。

＜特徴抽出処理等（ステップＳＰ８〜ＳＰ９）＞
次のステップＳＰ８（図６）においては、認証対象者ＨＭｂの特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。

３次元情報としては、個別モデルにおけるＮｊ個の個別制御点Ｃｊの３次元座標ベクトルが抽出される。具体的には、式（１３）に示されるように、Ｎｊ個の個別制御点Ｃｊ（ｊ＝１，...，Ｎｊ）の３次元座標（Ｘｊ，Ｙｊ，Ｚｊ）を要素とするベクトルｈ^Sが３次元情報（３次元形状情報）として抽出される。

また、２次元情報としては、個人認証にとって重要な情報となる顔の特徴的な部分つまり個別制御点付近のパッチ又はパッチのグループ（局所領域）が有するテクスチャ（輝度）情報（以下、「局所２次元情報」とも称する）が抽出される。ここでは、テクスチャ情報（局所２次元情報）として、個別モデルにマッピングされた情報が用いられる。

局所２次元情報は、例えば、正規化後の特徴的な部位の個別制御点を示す図１７中のグループＧＲ（個別制御点Ｃ２０、Ｃ２２及びＣ２３を頂点とするパッチＲ１と個別制御点Ｃ２１、Ｃ２２及びＣ２３を頂点とするパッチＲ２）から構成される領域、又は、単に一つのパッチからなる領域等の各局所領域が有する各画素の輝度情報として構成される。局所２次元情報ｈ^(u)（ｕ＝１，...，Ｌ；Ｌは局所領域数）は、それぞれ、当該局所領域内の画素数をｎ、各画素の輝度値をＢＲ１，...，ＢＲｎとすると、式（１４）のようなベクトル形式で表される。また、局所２次元情報ｈ^(u)をＬ個の局所領域について集めた情報は、総合的な２次元情報であるとも表現される。

以上のように、ステップＳＰ８においては、個別モデルの特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。

抽出された情報は後述の認証動作（ステップＳＰ１０，ＳＰ１１）に用いられる。当該認証動作においては、式（１４）で得られる情報をそのまま用いて認証動作を行うようにしてもよいが、その場合、局所領域内の画素数が多いときには、認証動作での計算量が非常に大きくなってしまう。そこで、この実施形態では、計算量を低減して効率的に認証動作を行うことを企図して、式（１４）で得られる情報を更に圧縮し圧縮後の情報を用いて認証動作を行うものとする。

そのため、次のステップＳＰ９においては、ステップＳＰ８で抽出された情報を、認証に適した状態に変換する次述の情報圧縮処理を行う。

情報圧縮処理は、３次元形状情報ｈ^S及び各局所２次元情報ｈ^(u)のそれぞれに対して同様の手法を用いて行われるが、ここでは、局所２次元情報ｈ^(u)に対して情報圧縮処理を施す場合について詳細に説明する。

局所２次元情報ｈ^(u)は、複数のサンプル顔画像から予め取得される当該局所領域の平均情報（ベクトル）ｈave^(u)と、複数のサンプル顔画像をＫＬ展開することによって予め算出される当該局所領域の固有ベクトルのセットで表現される行列Ｐ^(u)（次述）とを用いて式（１５）のように基底分解された形式で表すことができる。この結果、局所２次元顔情報量（ベクトル）ｃ^(u)が、局所２次元情報ｈ^(u)についての圧縮情報として取得される。

上述のように式（１５）中の行列Ｐ^(u)は、複数のサンプル顔画像から算出される。具体的には、行列Ｐ^(u)は、複数のサンプル顔画像をＫＬ展開することによって求められる複数の固有ベクトルのうち、固有値の大きい数個の固有ベクトル（基底ベクトル）のセットとして求められる。これらの基底ベクトルは、基底ベクトルデータベース２９に記憶されている。顔画像についてのより大きな特徴を示す固有ベクトルを基底ベクトルとしてその顔画像を表現することによれば、顔画像の特徴を効率的に表現することが可能となる。

例えば、図１７に示されているグループＧＲからなる局所領域の局所２次元情報ｈ^(GR)を基底分解された形式で表現する場合を考える。当該局所領域の固有ベクトルのセットＰが、３つの固有ベクトルＰ１、Ｐ２及びＰ３によってＰ＝（Ｐ１，Ｐ２，Ｐ３）と表現されているとすると、局所２次元情報ｈ^(GR)は、当該局所領域の平均情報ｈave^(GR)と固有ベクトルのセットＰ１，Ｐ２，Ｐ３を用いて式（１６）のように表される。平均情報ｈave^(GR)は、様々なサンプル顔画像についての複数の局所２次元情報（ベクトル）を対応要素ごとに平均して得られるベクトルである。なお、複数のサンプル顔画像は、適度なばらつきを有する標準的な複数の顔画像を用いればよい。

また、上記式（１６）は、顔情報量ｃ^(GR)＝（ｃ１，ｃ２，ｃ３）^Tによって元の局所２次元情報を再現することが可能であることを示している。すなわち、顔情報量ｃ^(GR)は、グループＧＲからなる局所領域の局所２次元情報ｈ^(GR)を圧縮した情報といえる。

上記のようにして取得された局所２次元顔情報量ｃ^(GR)をそのまま認証動作に用いてもよいが、この実施形態ではさらなる情報圧縮を行う。具体的には、局所２次元顔情報量ｃ^(GR)が表す特徴空間を個人間の分離を大きくするような部分空間へと変換する処理を更に行う。より詳細には、式（１７）に表されるようベクトルサイズｆの局所２次元顔情報量ｃ^(GR)をベクトルサイズｇの局所２次元特徴量ｄ^(GR)に低減させる変換行列Ａを考える。これにより、局所２次元顔情報量ｃ^(GR)で表される特徴空間を局所２次元特徴量ｄ^(GR)で表される部分空間に変換することができ、個人間の情報の相違が顕著になる。

ここで、変換行列Ａはｆ×ｇのサイズを有する行列である。重判別分析（ＭＤＡ：Multiple Discriminant Analysis）法を用いて、特徴空間から級内分散と級間分散との比率（Ｆ比）の大きい主成分をｇ個選び出すことによって、変換行列Ａを決定することができる。

また、上述した局所２次元情報ｈ^(GR)について行った情報圧縮処理と同様の処理を他の全ての局所領域にも実行することによって、各局所領域についての局所２次元顔特徴量ｄ^(u)を取得することができる。また、３次元形状情報ｈ^Sに対しても同様の手法を適用することにより３次元顔特徴量ｄ^Sを取得することができる。

上記ステップＳＰ９を経て取得される３次元顔特徴量ｄ^Sと局所２次元顔特徴量ｄ^(u)とを組み合わせた顔特徴量ｄは、ベクトル形式で式（１８）のように表すことができる。

以上に述べたステップＳＰ１〜ＳＰ９の工程において、入力される認証対象者ＨＭｂの顔画像Ｇ１，Ｇ２から当該対象者の顔特徴量ｄ（Ｂｄ）が取得される。認証対象者ＨＭｂの顔特徴量ｄ（Ｂｄ）は、次述する登録者ＨＭａの顔画像に関する特徴量ｄ（Ａｄ）とともに、ステップＳＰ１０，ＳＰ１１の処理において用いられる。

＜登録者と認証対象者との照合処理等（ステップＳＰ１０〜ＳＰ１１）＞
この実施形態では、登録者ＨＭａの顔画像に関する特徴量ｄ（Ａｄ）の算出動作がステップＳＰ１に先立って予め行われており、登録者ＨＭａに関して行われた処理結果（特徴量Ａｄ等）が人物データベース３０に予め登録されているものとする。例えば、登録者ＨＭａの顔画像に関する特徴量ｄ（Ａｄ）は、上記の認証対象者ＨＭｂの顔画像に関する特徴量ｄ（Ｂｄ）の算出動作と同様の動作によって算出される。すなわち、認証対象者ＨＭｂに対する各処理（ＳＰ１〜ＳＰ９）と同様の処理が登録者ＨＭａに対しても行われることによって、登録者ＨＭａに関する特徴量ｄ（Ａｄ）をも算出することが可能である。

再び図６を参照して、ステップＳＰ１０以降の処理について説明する。

ステップＳＰ１０，ＳＰ１１においては、上述の２つの顔特徴量Ａｄ，Ｂｄを用いて顔認証が行われる。

具体的には、認証対象者（認証対象物）と比較対象者（比較対象物）との類似度である総合類似度Ｒｅが算出され（ステップＳＰ１０）、その後、この総合類似度Ｒｅに基づく認証対象者と比較対象者との比較動作等（ステップＳＰ１１）が行われる。総合類似度Ｒｅは、３次元顔特徴量ｄ^Sから算出される３次元類似度Ｒｅ^Sと、局所２次元顔特徴量ｄ^(u)から算出される局所２次元類似度Ｒｅ^(u)とに加えて、３次元類似度Ｒｅ^Sと局所２次元類似度Ｒｅ^(u)との重みを規定する適宜の重み付け係数（以下、単に「重み係数」とも称する）ＷＴ，ＷＳ（式（１９）参照）を用いて算出される。

ステップＳＰ１０では、人物データベース３０に予め登録されている比較対象者の顔特徴量（比較特徴量）ｄ（Ａｄ）と、上記ステップＳＰ１〜ステップＳＰ９を経て算出された認証対象者の顔特徴量ｄ（Ｂｄ）との類似性の評価が行われる。具体的には、登録されている顔特徴量（比較特徴量）（ｄ^SM及びｄ^(u)M）と認証対象者の顔特徴量（ｄ^SI及びｄ^(u)I）との間で類似度計算が実行され、３次元類似度Ｒｅ^Sと局所２次元類似度Ｒｅ^(u)とが算出される。

認証対象者と比較対象者との３次元類似度Ｒｅ^Sは、式（２０）に示されるように対応するベクトル同士のユークリッド距離Ｒｅ^Sを求めることによって取得される。

また、局所２次元の類似度Ｒｅ^(u)は、式（２１）に示されるように対応する局所領域同士における特徴量の各ベクトル成分ごとのユークリッド距離Ｒｅ^(u)を求めることによって取得される。

そして、式（２２）に示されるように、３次元の類似度Ｒｅ^Sと局所２次元の類似度Ｒｅ^(u)とを、所定の重み係数ＷＴ，ＷＳを用いて合成し、認証対象者（認証対象物）と比較対象者（比較対象物）との類似性に関する指標値である総合類似度Ｒｅを取得する。

次に、ステップＳＰ１１においては、総合類似度Ｒｅに基づいて認証判定（個体識別処理）が行われる。具体的には、認証対象者ＨＭｂの顔特徴量と特定の登録者（比較対象者）ＨＭａの顔特徴量との類似度Ｒｅを一定の閾値ＴＨ１と比較することによって、認証対象者ＨＭｂと比較対象者ＨＭａとの同一性が判定される。詳細には、類似度Ｒｅが一定の閾値ＴＨ１よりも小さいときに、認証対象者と比較対象者との類似の度合いが高いものとして、認証対象者が比較対象者と同一人物であると判定される。なお、ここでは類似度Ｒｅを式（２２）によって定める場合を例示しているが、これに限定されない。例えば、式（２２）の右辺の逆数を類似度Ｒｅとするようにしてもよい。他の類似度Ｒｅ^S，Ｒｅ^(u)等についても同様である。

以上のように、この実施形態の動作によれば、認証対象者ＨＭｂに関する複数回の計測による複数の計測データが取得され、当該複数の計測データに基づいて、総合エネルギーＥ（評価関数）を最適化するように標準モデルが変形され認証対象者ＨＭｂに関する立体モデル（個別モデル）が作成される。そのため、複数の計測データのうち、いずれかの計測データに精度不足が仮に存在する場合であっても、他の計測データによって精度不足が補われるため、高精度のモデリングを安定的に行うことができる。すなわち、モデリング精度を向上させることができる。

また、複数の計測データのそれぞれの信頼性ρに応じた重み付けを用いて、総合エネルギーＥ（評価関数）（詳細には当該評価関数による評価値）が求められるので、モデリング精度をさらに向上させることができる。

さらに、より正確にモデリングされた立体モデルに基づいて、対象物に関する個体識別処理が行われるので、個体識別処理における精度を向上させることができる。

＜４．変形例＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

たとえば、上記実施形態においては、入力された顔（認証対象者の顔）が特定の登録者であるか否かを判定する場合について説明したが、これに限定されず、認証対象者が複数の登録者のうちの誰であるかを判定する識別処理に上記の思想を適用するようにしてもよい。例えば、登録されている複数の人物の各顔特徴量と認証対象者の顔特徴量との類似度を全て算出して、各比較対象者（登録者）と認証対象者との同一性をそれぞれ判定すればよい。また、特定数の人物に絞り込むことで足りる場合には、複数の比較対象者のうち、その同一性が高い順に特定数の比較対象者を選択するようにしてもよい。

また、上記実施形態においては、所定回数（Ｎｋ回）の計測動作を行った後にモデルフィッティング動作を開始しているが、これに限定されない。詳細には、各計測回の信頼性ρｋの総和値が所定の閾値ＴＨｖ以上になった時点から、モデルフィッティングを開始するようにしてもよい。すなわち、式（２３）をモデルフィッティングの開始条件とするようにしてもよい。

図１８は、このような変形例に係るフローチャートである。図６と比較すると、ステップＳＰ５の代わりにステップＳＰ１５が設けられている点で相違する。図１８においては、ステップＳＰ１５において、式（２３）の条件が充足されているかが判定される。そして、当該条件が充足されていないときには再びステップＳＰ１〜ＳＰ４の動作を繰り返し、当該条件が充足されているときに次のモデルフィッティング動作（ステップＳＰ６）に進む。これによれば、所定程度の信頼性が得られないときには無駄なモデルフィッティング動作および比較判定処理等（ステップＳＰ６〜ＳＰ１１）を行わずに済み、信頼性の高い計測データを用いて効率的なモデリング動作を行うことが可能である。

また、上記実施形態においては、全ての計測回の計測データを用いてモデルフィッティング動作を行う場合を例示したが、これに限定されない。たとえば、図１９に示すように、モデルフィッティング動作で用いる計測データを選択するようにしてもよい。

図１９の変形例は、図６と比較すると、ステップＳＰ５とステップＳＰ６との間にさらにステップＳＰ１６が設けられている点で相違する。ステップＳＰ１６においては、複数回に係る計測データのうち、モデルフィッティング動作で用いる計測データが選択される。具体的には、複数回に係る計測データのうち、式（２３）に示すように、その信頼性ρｋの総和値が所定の基準を満たす計測回の計測データが選択され、選択された計測データを用いてモデルフィッティングが行われる。これによれば、信頼性の高い計測データを用いて効率的なモデリング動作を行うことが可能である。

より詳細には、図２０に示すように、最新の計測回から逆戻りして式（２３）の条件が充足される回数の計測データを選択すればよい。より詳細には、第ｋ回目の計測動作が行われた時点において、第ｋ回目から第１回目までの全ての計測データを用いてモデルフィッティング処理を行うのではなく、第ｋ回目から第（ｋ−ｋ０＋１）回目までのｋ０回の計測回に係る信頼性ρｋの和が所定値ＴＨｖよりも大きいという条件を充足するときには、第ｋ回目から第（ｋ−ｋ０＋１）回目までのｋ０回の計測回に係る計測データを採用すればよい。たとえば、ｋ＝５且つｋ０＝３のときに式（２３）の条件を充足しているとすると、第５回目の計測と第４回目の計測と第３回目の計測との合計３回の計測データのみを採用すればよい。また、ｋ＝６且つｋ０＝２のときに式（２３）の条件を充足しているとすると、第６回目の計測と第５回目の計測との合計２回の計測データのみを採用すればよい。

あるいは、図２１に示すように、その信頼性ρｋの高い順に最小回数の計測データを選択するようにしてもよい。例えば、ρ６＞ρ４＞ρ５＞ρ３＞ρ１＞ρ２である場合、第６回目の計測動作が行われた時点において、複数の信頼性ρｋのうち、最も信頼性の高いρ６（第６回目の計測データの信頼性）とその次に信頼性の高いρ４（第４回目の計測データの信頼性）との和が所定値ＴＨｖよりも大きいという条件（式（２３）の条件）を充足するときには、第４回目の計測データと第６回目の計測データとのみを選択するようにしてもよい。

また、式（２３）の条件を考慮しなくてもよい。例えば、常に所定回数の計測データを採用する場合に、その信頼性の高い方の計測回から順に所定回数の計測データを選択するようにしてもよい。たとえば、常に、信頼性に関する順位が第１位（最上位）から第３位の合計３回の計測データを選択するようにしてもよい。

さらに、上記においては、式（２３）を用いた変形例において閾値ＴＨｖが一定値の場合を例示したが、これに限定されない。例えば、個体識別処理（顔認証処理）における認識成功回数Ｎｓと認識失敗回数Ｎｆとに応じて閾値ＴＨｖを随時変更するようにしてもよい。詳細には、式（２４）の右辺に示すような値を上記閾値ＴＨｖとして採用すればよい。そして、その信頼性の和が式（２４）の右辺に示す閾値以上となる計測データを用いてモデルフィッティングを行うようにしてもよい。

ただし、ｂ１，ｂ２，ｂ３，ｂ４は定数（ここではいずれも正）である。

この式（２４）によれば、認識の成否に応じて閾値を変更することによって、適切な閾値を設定することが可能になる。具体的には、認識成功回数Ｎｓが大きくなるほど閾値が小さくなり、認識失敗回数Ｎｆが大きくなるほど閾値が大きくなる。

認識成功回数Ｎｓが比較的大きい場合には、必要数以上の計測データを採用している可能性がある。式（２４）によれば、認識成功回数Ｎｓが大きくなると閾値が小さくなるため、比較的少数の計測回による計測データによっても式（２３）の条件を満たし易くして、採用データ数を削減することができる。したがって、処理の効率化を図ることができる。

一方、認識失敗回数Ｎｆが比較的大きい場合には、信頼性の高い情報が不足している可能性がある。式（２４）によれば、認識失敗回数Ｎｆが大きくなる場合には、閾値を大きくして式（２３）の条件を満たし難くして、採用データ数を増加させることができる。したがって、処理の高精度化を図ることができる。

このような変形例は、認証対象者が複数の登録者のうちの誰であるかを判定する識別処理（上述）等に適用することが可能である。認識の成否に関しては、例えば、認識対象者が複数の登録人物のいずれかと同一人物であると判定される場合には「成功」と判定し、認識対象者が複数の登録人物のいずれとも同一人物ではないと判定される場合には「失敗」と判定すればよい。

また、このような変形例は顔認証システム１の調整時等に適用することも可能である。その場合、例えば、認識の成否を人間が教示データとして入力することによって、閾値ＴＨｖを適切な値に設定することが可能になる。

また、上記実施形態においては、式（２２）に示すように、テクスチャ情報だけでなく形状情報をも用いて認証対象者と登録者との同一性を判定しているが、これに限定されず、テクスチャ情報だけを用いて認証対象者と登録者との同一性を判定してもよい。

また、上記実施形態においては、モデルフィッティング処理において、各偏微分方程式の解を求めて、標準モデルを変形させる場合を例示したが、これに限定されない。例えば、ステップＳＰ６２（図７）において、標準モデルの各制御点を順次に複数の方向（例えば、３次元空間における全方位（２６方向））のそれぞれに所定量動かしたときの総合エネルギーＥの各値を算出し、これらの値のうち最小の値に対応する方向に（すなわち当該総合エネルギーＥを最小化する方向に）各制御点を移動させるという動作を繰り返すことによって、徐々に標準モデルを変形させるようにしてもよい。

また、上記実施形態においては、外部エネルギーＦｅが式（５）で表される場合を例示したが、これに限定されない。たとえば、外部エネルギーＦｅは、各計測回における第ｊ番目の各特徴点Ｑjk（各座標値）をそれぞれの信頼性ρ（ρjkないしρｋ）に応じて加重平均した点Ｑj_aveと当該各点Ｑj_aveに対応する点Ｈｊとの距離を用いた式（２５）で表されるようなものであってもよい。なお、点Ｑj_aveは、同一特徴点（第ｊ番目の特徴点）についての複数回の計測結果Ｑjkを重み付け係数Ｗｋ（例えば、Ｗｋ＝ρｋ）を用いて加重平均して得た点であるとも表現される。

図２２は、このような変形例を示す概念図である。具体的には、図２２に示すように、複数回の計測データにおける同一特徴点の計測位置（ベクトルＱjk（Ｑｊ^(k)））を、信頼性ρ（ρjkないしρｋ）に応じた重み付け（たとえば、Ｗｋ＝ρｋ）を伴って修正した点Ｑj_aveをまず求め、次に当該点Ｑj_aveと点Ｈｊとの距離を用いた式（２５）の外部エネルギーを最小化するように標準モデルを変形する。これによれば、標準モデルの輪郭上の点Ｈｊが点Ｑj_aveに近づくように当該標準モデルが変形され、上記実施形態と同様の効果を得ることができる。

また、上記実施形態においては、投影点Ｈjkを含む式（５）で外部エネルギーＦｅが表現される場合を例示したが、これに限定されない。たとえば、外部エネルギーＦｅは、各特徴点Ｑjkと当該各特徴点Ｑjkに対応する制御点Ｃｊとの距離の二乗を用いた式（２６）で表されるものであってもよい。

このような外部エネルギーＦｅを最小化（最適化）することによれば、各制御点Ｃｊと対応点Ｑｊとの距離が移動前よりも小さくなる（すなわち各制御点Ｃｊが対応点Ｑｊに近づく）ような変形が施されることになる。

なお、この外部エネルギーＦｅは、標準モデルの各制御点Ｃｊと計測データにおける各対応点Ｑｊとの距離が近づくときに最適化されるエネルギー項である。この外部エネルギーＦｅも、各特徴点の計測位置と標準モデルとの関係を反映した要素を含むものであり、標準モデルの形状を計測データにおける輪郭に近づけようとする役割を果たす。

あるいは、外部エネルギーＦｅは、上述の各点Ｑj_aveと当該各点Ｑj_aveに対応する各制御点Ｃｊとの距離を用いた式（２７）で表されるようなものであってもよい。

また、上記実施形態においては、各回の計測によって全ての特徴点に関する計測結果が取得されることを前提にしていたが、これに限定されない。例えば、或る１回の計測では特定の特徴点（計測点）のデータは取得されなくてもよく、当該特定の特徴点のデータは、異なる計測時点での計測によって取得されていれば充分である。また、このような場合、例えば式（５）においては、各計測回毎に実際に計測されたデータについてのみ括弧内の演算を行うとともに、計測点数Ｎｊとしては各計測回毎の計測点数を用いればよい。

また、上記実施形態においては、複数台のカメラより入力される複数の画像を用いて、認証対象者の顔の３次元情報を取得しているがこれに限定されない。具体的には、図２３に示されるようなレーザ光出射部Ｌ１とカメラＬＣＡとから構成される３次元形状測定器を用いてレーザ光出射部Ｌ１の照射するレーザの反射光をカメラＬＣＡによって計測することにより、認証対象者の顔の３次元情報を取得してもよい。すなわち、光切断法によって３次元情報を取得するようにしてもよい。ただし、上記実施形態のように２台のカメラを含む入力装置を用いて３次元の形状情報を取得する手法によれば、レーザ光を用いる入力装置に比べて、比較的簡易な構成で３次元の形状情報を取得することができる。

また、上記実施形態においては、顔認証システム１内のカメラＣＡ１，ＣＡ２等によって構成される計測部によって計測データを取得する場合を例示しているが、これに限定されず、他の計測システムで計測された複数の計測データをネットワーク等を介して受信して取得するようにしてもよい。

また、上記実施形態においては、記憶部３内に格納された標準モデルを読み込む場合を想定しているが、これに限定されず、他の格納装置（例えばサーバコンピュータ）に格納された標準モデルをネットワーク等を介して受信して取得するようにしてもよい。

また、上記実施形態においては、モデルフィッティングによるモデリング結果を顔認証動作に利用する場合を例示したが、これに限定されない。例えば、コンピュータグラフィック等の他の用途に当該モデリング結果を利用してもよい。

第１実施形態における処理の概要を示す概念図である。 顔認証システム（モデリング装置）を示す構成図である。 コントローラの構成概要を示す図である。 コントローラの機能構成を示すブロック図である。 個人認証部の機能構成を示すブロック図である。 コントローラの全体動作（認証動作）を示すフローチャートである。 モデルフィッティング動作の詳細を示すフローチャートである。 顔画像における特徴的な部位の特徴点を示す図である。 三角測量の原理を用いて３次元座標を算出する様子を示す模式図である。 ３次元の顔の標準モデルを示す図である。 標準モデルを初期位置に移動させる様子を概念的に示す図である。 特徴点と投影点との関係を示す図である。 外部エネルギーの作用を示す概念図である。 内部エネルギーの作用を示す概念図である。 ステレオ画像における対応領域相互間の関係を示す図である。 顔を上方から見た図である。 正規化後の特徴的な部位の個別制御点を示す図である。 変形例に係るフローチャートである。 別の変形例に係るフローチャートである。 計測データの選択例を示す図である。 計測データの別の選択例を示す図である。 予め加重平均点Ｑj_aveを求めておく変形例を示す図である。 光切断法を用いた３次元形状測定器を示す図である。

符号の説明

１ 顔認証システム（モデリングシステム）
１０ コントローラ
ＣＡ１，ＣＡ２ カメラ
Ｃｊ 制御点
Ｅ 総合エネルギー
Ｆｅ 外部エネルギー
Ｇｅ 内部エネルギー
ρ，ρｋ，ρjk， 信頼性
Ｑjk 特徴点
Ｗｋ，Ｗjk 重み付け係数

Claims (19)

1. モデリングシステムであって、
   対象物に関する標準的な立体モデルである標準モデルを取得する手段と、
   前記対象物に関する複数回の計測による複数の計測データを取得するデータ取得手段と、
   前記複数の計測データに関する評価要素を含む所定の評価関数を最適化するように前記標準モデルを変形し、前記対象物に関する立体モデルを作成するモデル作成手段と、
   を備えることを特徴とするモデリングシステム。
2. 請求項１に記載のモデリングシステムにおいて、
   前記モデル作成手段は、前記複数の計測データの信頼性に応じた重み付けを用いて前記評価要素を修正し、前記所定の評価関数を求めることを特徴とするモデリングシステム。
3. 請求項２に記載のモデリングシステムにおいて、
   前記モデル作成手段は、前記複数の計測データの計測回毎の信頼性に応じた重み付けを用いて前記評価要素を修正し、前記所定の評価関数を求めることを特徴とするモデリングシステム。
4. 請求項２に記載のモデリングシステムにおいて、
   前記モデル作成手段は、前記対象物における各特徴点の計測位置に関する計測回毎の信頼性に応じた重み付けを用いて前記評価要素を修正し、前記所定の評価関数を求めることを特徴とするモデリングシステム。
5. 請求項４に記載のモデリングシステムにおいて、
   前記評価要素は、前記対象物の各特徴点に関する計測回毎の各計測位置と前記標準モデルとの関係を反映した要素を含むことを特徴とするモデリングシステム。
6. 請求項２ないし請求項４のいずれかに記載のモデリングシステムにおいて、
   前記評価要素は、前記対象物の各特徴点の計測位置と前記標準モデルとの関係を反映した要素を含み、
   前記モデル作成手段は、前記複数の計測データの信頼性に応じた重み付けを伴って前記各特徴点の計測位置を予め修正した後に、前記所定の評価関数を求めることを特徴とするモデリングシステム。
7. 請求項２から請求項６のいずれかに記載のモデリングシステムにおいて、
   前記複数の計測データは、それぞれ、複数のカメラによる複数の画像に基づいて取得され、
   前記モデル作成手段は、前記複数の計測データの信頼性として、前記複数の画像間における対応領域相互間の相関値を用い、当該相関値に応じた重み付けを伴って前記所定の評価関数を求めることを特徴とするモデリングシステム。
8. 請求項２から請求項７のいずれかに記載のモデリングシステムにおいて、
   前記モデル作成手段は、前記複数の計測データの信頼性として、前記対象物までの距離が小さくなるにつれて当該信頼性の度合いが大きくなる要素を用い、当該要素に応じた重み付けを伴って前記所定の評価関数を求めることを特徴とするモデリングシステム。
9. 請求項２から請求項８のいずれかに記載のモデリングシステムにおいて、
   前記モデル作成手段は、前記複数の計測データの信頼性として、前記対象物の基準姿勢からのずれ量が小さくなるにつれて当該信頼性の度合いが大きくなる要素を用い、当該要素に応じた重み付けを伴って前記所定の評価関数を求めることを特徴とするモデリングシステム。
10. 請求項２から請求項９のいずれかに記載のモデリングシステムにおいて、
    前記モデル作成手段は、前記複数の計測データの信頼性として、前記対象物の各特徴点の経時位置変化が小さくなるにつれて当該信頼性の度合いが大きくなる要素を用い、当該要素に応じた重み付けを伴って前記所定の評価関数を求めることを特徴とするモデリングシステム。
11. 請求項１から請求項１０のいずれかに記載のモデリングシステムにおいて、
    前記モデル作成手段は、前記複数の計測データのうち、その信頼性の和が所定の基準を満たす計測データを用いて、前記立体モデルを作成することを特徴とするモデリングシステム。
12. 請求項１から請求項１０のいずれかに記載のモデリングシステムにおいて、
    前記モデル作成手段は、前記複数の計測データについての信頼性の和が所定の閾値以上であることを条件にモデル作成動作を開始することを特徴とするモデリングシステム。
13. 請求項１から請求項１２のいずれかに記載のモデリングシステムにおいて、
    前記モデル作成手段は、前記複数の計測データのうち、その信頼性の高い順に選択される計測データに基づいて、前記立体モデルを作成することを特徴とするモデリングシステム。
14. 請求項１から請求項１３のいずれかに記載のモデリングシステムにおいて、
    前記モデル作成手段によって作成された前記立体モデルに基づいて、前記対象物に関する個体識別処理を行う識別手段、
    をさらに備えることを特徴とするモデリングシステム。
15. 請求項１４に記載のモデリングシステムにおいて、
    前記モデル作成手段は、前記複数の計測データのうち、その信頼性の和が所定の閾値以上である計測データを用いて、前記立体モデルを作成し、
    前記所定の閾値は、前記個体識別処理における成功回数および失敗回数に基づいて変更されることを特徴とするモデリングシステム。
16. 請求項１から請求項１５のいずれかに記載のモデリングシステムにおいて、
    前記複数回の計測は、
    計測用カメラと前記対象物との相対関係、
    光源と前記対象物との相対関係、
    前記光源と前記計測用カメラと相対関係、
    のうちの少なくとも１つが互いに異なる状態において行われるものであることを特徴とするモデリングシステム。
17. 請求項１から請求項１６のいずれかに記載のモデリングシステムにおいて、
    前記複数の計測データは、それぞれ、複数のカメラによる複数の画像に基づいて取得されることを特徴とするモデリングシステム。
18. モデリング方法であって、
    対象物に関する標準的な立体モデルである標準モデルを取得する工程と、
    前記対象物に関する複数回の計測による複数の計測データを取得する工程と、
    前記複数の計測データに関する評価要素を含む所定の評価関数を最適化するように前記標準モデルを変形し、前記対象物に関する立体モデルを作成する工程と、
    を備えることを特徴とするモデリング方法。
19. コンピュータに、
    対象物に関する標準的な立体モデルである標準モデルを取得する手順と、
    前記対象物に関する複数回の計測による複数の計測データを取得する手順と、
    前記複数の計測データに関する評価要素を含む所定の評価関数を最適化するように前記標準モデルを変形し、前記対象物に関する立体モデルを作成する手順と、
    を実行させるためのプログラム。
    

Images