JP2008176645A - ３次元形状処理装置、３次元形状処理装置の制御方法、および３次元形状処理装置の制御プログラム - Google Patents

Abstract

【課題】より正確な３次元形状の処理を行なうことができる３次元形状処理装置を提供する。
【解決手段】計測された顔の３次元形状から複数の局所パッチ領域（目、鼻など）を抽出する。また、各局所パッチ領域に対して、データの品質を演算する。各局所パッチ領域に該当する部分のデータを、その品質とともに記憶する。新たな局所パッチ領域の計測データが得られたときに（Ｓ５０１）、その新たなデータの品質と、記憶された対応する局所パッチ領域のデータの品質とを比較する（Ｓ５０３）。新たなデータの方が高品質であれば（Ｓ５０５でＹＥＳ）、記憶されたデータを新たなデータで更新する（Ｓ５０７）。
【選択図】図２５

Description

この発明は３次元形状処理装置、３次元形状処理装置の制御方法、および３次元形状処理装置の制御プログラムに関し、特に３次元形状の局所パッチ領域を用いて３次元形状の処理を行なう３次元形状処理装置、３次元形状処理装置の制御方法、および３次元形状処理装置の制御プログラムに関する。

情報機器のネットワーク化により、情報機器に組み込まれた自動個人認証技術のニーズが高まりつつある。オフィスでは、その利便性から顔を用いた個人認証技術のニーズが高い。認証技術においては、画像を処理し物体を識別することが行なわれる。

下記特許文献１（特開平５−２１５５３１号公報）は、顔の基準点として顔表面の曲率の変化を調べ、曲率の絶対値が最大となる点を鼻頂点とし、顔の側面の中央付近で、曲率の絶対値が最大となる点を耳穴点として顔向きの補正を行なう３次元物体の識別処理方法を開示している。当該方法では、任意の大きさで３次元形状データの曲面を平面に近似し、その平面の単位法線ベクトルとその面積を求め、単位法線ベクトルの大きさをその平面の面積で表した法線分布を特徴量として認証を行なう。

特許文献２（特開平９−２５９２７１号公報）は、カラー画像と３次元形状情報を用いて認証を行なう人物照合装置を開示する。顔の切り出しを行なうためにカラー画像が使用される。３次元認証方法としては、登録データと参照データの３次元形状の重心を一致させて重心回りに微小回転させ、最小誤差による判定を行なう。

特許文献３（特開平１１−２４２７４５号公報）は、三眼撮像方式により計測を行なう高精度な３次元顔画像の計測・処理方法を開示している。距離に基づく各要部部位の３次元データを用いて、標準顔画像のモデルデータが回転・拡大／縮小変換される。

特許文献４（特開２０００−３０６０９５号公報）は、２次元認証において、登録、参照データの撮影環境の違いを吸収することができる画像照合・検索システムを開示する。入力画像の撮影環境を解析し、環境パラメータ、対象状態パラメータが推定される。すなわち、照明条件を示す照明パラメータ、撮影方向、顔サイズ等を示すポジションパラメータ、眼鏡等の付随物の有無を示す付随物パラメータ、表情パラメータ等が推定され、上記の推定結果に最も適した登録データを取り出し、入力画像の推定したパラメータ値を目標として補正を行ない、データの照合が行なわれる。
特開平５−２１５５３１号公報 特開平９−２５９２７１号公報 特開平１１−２４２７４５号公報 特開２０００−３０６０９５号公報

顔画像を用いた人物識別は、その撮影条件の変化がその性能に大きく影響を及ぼす。それは、撮影条件がしばしば、被撮影者の識別情報を上回るほどの画像変動をもたらすからである。

識別性能に大きく影響を及ぼす主な要因は、（１）姿勢変動、（２）光源変動、（３）表情変化である。このうち（１）、（２）は、顔が３次元形状を持っていることにより情報が変化することに起因している。

上記（１）、（２）を解決する方法として、３次元情報を用いた認証方法を採用することが考えられる。しかし、一般的な３次元顔認証を採用すると、以下の問題点がある。

（Ａ） 部分的な隠れ（オクルージョン）や計測誤差により、認証精度が低下することが考えられる（特に、顔全体を特徴量とする場合など）。

（Ｂ） 誤差のある部位を除外して認証を行なうことが考えられるが、特徴量が減ってしまう為、限界がある。

（Ｃ） 全領域で計測精度の高いデータを取得することができるとは限らないという問題がある。

上記特許文献１の技術では、大局的な情報を用いることを前提としているため、顔の基準方向の決定が必要である。これにより、オクルージョンに対応できないという問題がある。また、曲率の絶対値が最大となる点を鼻頂点としているため、鼻領域で計測誤差が多く存在する場合、鼻頂点の位置が大きくずれてしまう恐れがある。頂点位置がずれることで認証精度が低下する恐れがある。

特許文献２の技術では、３次元顔形状全体から重心を求めるが、計測誤差が多く存在する場合、重心計算にずれが生じるという問題がある。また、姿勢変動による部分的な隠れが生じた場合は精度が低下する。

特許文献３の技術では、要部部位のデータを実測値で置換し、他の部分を近似補正関数で補正するため、ある程度の認証精度しか保つことが出来ないという問題がある。

特許文献４の技術では、２次元画像を補正する手法で部分的な補正を行なうため、テクスチャに部分的な濃淡変化の違いが生じてしまい認証精度の向上には限界があるという問題がある。

本発明は上記問題点を解決するためになされたものであり、より正確な３次元形状の処理を行なうことができる、３次元形状処理装置、３次元形状処理装置の制御方法、および３次元形状処理装置の制御プログラムを提供することを目的としている。

上記目的を達成するためこの発明のある局面に従うと、３次元形状処理装置は、対象の３次元形状を計測する計測手段と、計測手段で計測された３次元形状から複数の局所パッチ領域を抽出する局所パッチ領域抽出手段と、複数の局所パッチ領域の各局所パッチ領域に対して、データの品質を演算する品質演算手段と、計測手段で計測された３次元形状のうち少なくとも各局所パッチ領域に該当する部分を、品質演算手段で演算された各局所パッチ領域のデータの品質とともに記憶する記憶手段と、計測手段で新たなデータが得られたときに、品質演算手段で演算された新たなデータの品質に基づいて、記憶手段を更新する更新手段とを備える。

好ましくは更新手段は、記憶手段に記憶された３次元形状を新たなデータに置換える。
好ましくは更新手段は、記憶手段に記憶された３次元形状に新たなデータを追加する。

この発明の他の局面に従うと３次元形状処理装置は、対象の３次元形状を計測する計測手段と、計測手段で計測された３次元形状から複数の局所パッチ領域を抽出する局所パッチ領域抽出手段と、複数の局所パッチ領域の各局所パッチ領域に対して、データの品質を演算する品質演算手段と、複数の局所パッチ領域を用いて計測手段で計測された３次元形状を比較対象と比較するときに、品質演算手段で演算された各局所パッチ領域のデータの品質に基づいて重み付けを行なう重み付け手段とを備える。

好ましくは３次元形状処理装置は、比較対象のデータとして、複数の局所パッチ領域のそれぞれに対応する複数のパッチ領域のデータと、それらそれぞれのデータの品質とを記憶する記憶手段をさらに備え、重み付け手段は、記憶手段に記憶されたデータの品質を用いて重み付けを行なう。

好ましくは計測手段での計測の対象は、顔を含み、３次元形状処理装置は、計測手段で計測された顔の３次元形状を用いて、個人認証を行なう認証手段をさらに備える。

好ましくは品質演算手段は、局所パッチ領域に含まれる３次元形状データの信頼性に基づいて演算された値を品質とする。

好ましくは品質演算手段は、局所パッチ領域に含まれる３次元形状データのそれぞれの信頼性の平均値を品質とする。

好ましくは品質演算手段は、局所パッチ領域に含まれる３次元形状データのうち、信頼性が高いものの割合を品質とする。

好ましくは品質演算手段は、局所パッチ領域に含まれる３次元形状データの滑らかさを品質とする。

この発明のさらに他の局面に従うと３次元形状処理装置の制御方法は、対象の３次元形状を計測する計測ステップと、計測ステップで計測された３次元形状から複数の局所パッチ領域を抽出する局所パッチ領域抽出ステップと、複数の局所パッチ領域の各局所パッチ領域に対して、データの品質を演算する品質演算ステップと、計測ステップで計測された３次元形状のうち少なくとも各局所パッチ領域に該当する部分を、品質演算ステップで演算された各局所パッチ領域のデータの品質とともに記憶手段に記憶する記憶ステップと、計測ステップで新たなデータが得られたときに、品質演算ステップで演算された新たなデータの品質に基づいて、記憶手段を更新する更新ステップとを備える。

この発明のさらに他の局面に従うと３次元形状処理装置の制御方法は、対象の３次元形状を計測する計測ステップと、計測ステップで計測された３次元形状から複数の局所パッチ領域を抽出する局所パッチ領域抽出ステップと、複数の局所パッチ領域の各局所パッチ領域に対して、データの品質を演算する品質演算ステップと、複数の局所パッチ領域を用いて計測ステップで計測された３次元形状を比較対象と比較するときに、品質演算ステップで演算された各局所パッチ領域のデータの品質に基づいて重み付けを行なう重み付けステップとを備える。

この発明のさらに他の局面に従うと３次元形状処理装置の制御プログラムは、対象の３次元形状を計測する計測ステップと、計測ステップで計測された３次元形状から複数の局所パッチ領域を抽出する局所パッチ領域抽出ステップと、複数の局所パッチ領域の各局所パッチ領域に対して、データの品質を演算する品質演算ステップと、計測ステップで計測された３次元形状のうち少なくとも各局所パッチ領域に該当する部分を、品質演算ステップで演算された各局所パッチ領域のデータの品質とともに記憶手段に記憶する記憶ステップと、計測ステップで新たなデータが得られたときに、品質演算ステップで演算された新たなデータの品質に基づいて、記憶手段を更新する更新ステップとをコンピュータに実行させる。

この発明のさらに他の局面に従うと３次元形状処理装置の制御プログラムは、対象の３次元形状を計測する計測ステップと、計測ステップで計測された３次元形状から複数の局所パッチ領域を抽出する局所パッチ領域抽出ステップと、複数の局所パッチ領域の各局所パッチ領域に対して、データの品質を演算する品質演算ステップと、複数の局所パッチ領域を用いて計測ステップで計測された３次元形状を比較対象と比較するときに、品質演算ステップで演算された各局所パッチ領域のデータの品質に基づいて重み付けを行なう重み付けステップとをコンピュータに実行させる。

これらの発明に従うと、より正確な３次元形状の処理を行なうことができる、３次元形状処理装置、３次元形状処理装置の制御方法、および３次元形状処理装置の制御プログラムを提供することが可能となる。

図１は、本発明の実施の形態の１つにおける３次元形状処理装置の構成を示す図である。

図を参照して３次元形状処理装置は、左右に並べられた２台のカメラ１００Ｒ，１００Ｌと、カメラに接続される演算処理装置２００と、表示装置３００とから構成される。

カメラ１００Ｒ，１００Ｌは、被写体Ｏ（ここでは人物の顔を例示している）の２次元画像を撮影する。カメラ１００Ｒとカメラ１００Ｌとは、所定距離左右に離されて設置される。これにより、ステレオ画像を得ることが可能である。

演算処理装置２００は、２台のカメラで撮影された画像から、被写体の３次元形状を演算する。表示装置３００は、計測された被写体の３次元形状を表示する。なお、表示を行なわずに、得られた３次元形状データ（Ｘ、Ｙ、Ｚ座標などからなるデータ）を記憶媒体に記憶するようにしてもよい。

また演算処理装置２００は、被写体の３次元形状と記憶された３次元情報との比較を行なう。

図２は、図１の演算処理装置２００のハードウェア構成を示すブロック図である。
図を参照して、演算処理装置２００は、装置全体の制御を行なうＣＰＵ６０１と、ネットワークに接続したり外部と通信を行なうためのＬＡＮ（ローカルエリアネットワーク）カード６０７（またはモデムカード）と、キーボードやマウスなどにより構成される入力装置６０９と、フレキシブルディスクドライブ６１１と、ＣＤ−ＲＯＭドライブ６１３と、ハードディスクドライブ６１５と、ＲＡＭ６１７と、ＲＯＭ６１９とを備えている。

演算処理装置２００は、映像入力部６５１からカメラの画像を入力する。
また演算処理装置２００は、表示装置（ディスプレイ）３００に接続されている。

フレキシブルディスクドライブ６１１により、フレキシブルディスクＦに記録されたプログラムや画像などのデータを読取ることが可能であり、ＣＤ−ＲＯＭドライブ６１３により、ＣＤ−ＲＯＭ６１３ａに記録されたプログラムや画像などのデータを読取ることが可能である。

なお、演算処理装置２００にステレオ写真などの画像を入力するためのＤＶＤドライブ、メモリーカードリーダなどを備えさせることも可能である。画像の蓄積のためには、ハードディスクドライブを用いることが好ましい。

また、写真などの画像表示のために、テレビへのビデオ信号出力端子を装備することとしてもよい。

本実施の形態では特に、顔の３次元形状の比較による認証を例に説明を行なう。すなわち、比較用に記憶された顔の３次元形状のデータと、撮影により取得された顔の３次元形状のデータとを比較することで、予め登録された人であるかの認証を行なう。顔の３次元形状比較を顔認証に用いることで、顔の向き・傾き、照明などの影響を受けることなく個人認証を行なうことができるという利点がある。但し、本件の構成および効果は顔の３次元形状に限定されるものではない。

図３は、演算処理装置２００の機能構成を示すブロック図である。
図３に示されるように、演算処理装置２００は、顔３次元形状計測部４０１と、３次元局所パッチ（領域）抽出部４０３と、品質情報抽出部４０５と、形状情報記憶部４０７と、形状比較部４０９とを備えている。

認証データの登録時には、顔３次元形状計測部４０１により得られた３次元データが、３次元局所パッチ抽出部４０３と、品質情報抽出部４０５とで処理され、データの品質情報とともに形状情報記憶部４０７に記憶（登録）される。

実際の認証時には、顔３次元形状計測部４０１により得られた３次元データが、形状情報記憶部４０７に記憶されたデータと比較される。このとき、３次元局所パッチ抽出部４０３と、品質情報抽出部４０５とで処理した後のデータを比較の対象としてもよいし、顔３次元形状計測部４０１により得られた３次元データを直接比較の対象としてもよい。

形状情報記憶部４０７では、局所パッチの品質情報に基づいて記憶内容の更新が行なわれる。

図４は、図３の顔３次元形状計測部４０１の内容を示すブロック図である。
図を参照して顔３次元形状計測部４０１は、カメラ１００Ｌが撮影した画像である基準画像Ｉ１と、カメラ１００Ｒが撮影した画像である参照画像Ｉ２とを入力する。

顔３次元形状計測部４０１は、基準画像Ｉ１の特徴に基づいて基準画像に対して用いるウィンドウのサイズ（または形状など）を設定するウィンドウ設定部２０１と、基準画像Ｉ１内の顔領域をスキャンするためのウィンドウの位置を設定する、顔領域基準画像ウィンドウ設定部２０３と、参照画像Ｉ２をスキャンするためのウィンドウの位置を設定する参照画像ウィンドウ設定部２０５と、基準画像のウィンドウで示される部分に対して２次元離散フーリエ変換（２Ｄ ＤＦＴ）を行なうＤＦＴ部２０７と、参照画像のウィンドウで示される部分に対して２次元離散フーリエ変換を行なうＤＦＴ部２０９と、ＤＦＴ処理後の２つの画像の位相の比較を行なう位相比較部２１１と、２つの画像のずれを演算する位置ズレ演算部２１３と、位置のずれに基づき被写体Ｏ表面の３次元座標を演算する３次元座標演算部２１５とを備える。

なお基準画像のウィンドウ内の画像をｆ、そのＤＦＴ処理後の画像をＦ、参照画像のウィンドウ内の画像をｇ、そのＤＦＴ処理後の画像をＧ、位相比較部２１１の出力である合成位相スペクトルをＲ、位置ズレ演算部２１３の出力であるＰＯＣ関数をｒの記号でそれぞれ表わしている。

なお、ここではステレオカメラを用いた顔の３次元形状計測方法について説明しているが、その他の３次元計測装置（たとえば光切断方式などのアクティブタイプのもの）を使用しても良い。但し、以降の処理で２次元画像を使用して顔領域の取得処理、局所パッチ領域取得処理を行なっているため、２次元画像と３次元計測データの両方を取得可能な装置を用いることが望ましい。たとえば、３次元形状データのみ取得可能な装置を用いる場合は、２次元カメラと併用することで、２次元画像と３次元計測データの取得が可能である。

図５は、顔３次元形状計測部の実行する処理を示すフローチャートである。
ステップＳ２０１の画像取得処理において、ステレオカメラで、対象となる顔の画像（基準画像と参照画像）を撮像する。

ステップＳ２０３の顔領域取得処理において、入力された２次元画像（基準画像）から、顔の存在している領域を切り出す。顔領域取得手法としては、例として以下の手法が提案されている。

・特開２００３−２２４４１号公報に示される手法。すなわち、複雑な背景の中から、動き情報や、色情報を必要としない顔発見アルゴリズムであって、高速かつ高い認証率を示すアルゴリズムを用いた顔抽出手法。

・ニューラルネットを用いた方法（たとえば、H.Rowley,S.Baluja,and T.Kanade.“Newral Network-Based Face Detection”In IEEE Patt.Anal.Mach.Intell,.volume 20,pages 22-38,1998.）。

・顔と非顔との入り組んだ空間の識別関数を、簡単な画像特徴量を用いた単純な判別関数を複数組み合わせて構成するViola-Jones 検出器などを用いる手法（P. Viola and M. Jones. Rapid object detection using a boosted cascade of simple features. In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, Kauai, HI, December 2001.）。

ステップＳ２０５の３次元再構成処理では、ステレオカメラより取得した２枚の２次元画像上の顔領域において、左右の画像の対応から、顔の３次元形状を求める処理が行なわれる。

基準画像上での注目点において、その点に対応する３次元座標を演算する。注目点を顔領域上でスキャンすることにより、顔の３次元座標点群が演算出来る。

図６は、注目点のスキャンを説明するための図である。
基準画像Ｉ１の顔領域Ｏ上に注目点Ｐを設定し、参照画像Ｉ２上の注目点Ｐに対応する位置を見つけることで、注目点における両画像の位置ずれが検出される。検出された位置ずれに基づいてその注目点における３次元座標が演算される。

図７は、注目点のスキャン処理を示すフローチャートである。
スキャンが終了するまで（Ｓ１０１でＮＯ）、注目点を移動させつつ３次元座標の演算を行ない（Ｓ１０３）、スキャン終了（Ｓ１０１でＹＥＳ）とともに演算処理を中止する。

これにより、注目点のスキャンに基づく３次元点群を得ることができる。
基準画像上の注目点における３次元座標の演算は、以下の（１）対応点探索処理、および（２）３次元再構成処理の２ステップから行なわれる。

（１）対応点探索処理
基準画像上の注目点が、参照画像上でどの点に対応するかを求める。これは、注目点付近のパターンと相関の高いパターンを、参照画像上で探索することで行なう。

図８は、基準画像のウィンドウ設定処理を示す図である。
図を参照して、基準画像Ｉ１において注目点Ｐを中心とするウィンドウＷ１を設定する。このとき、注目点Ｐの周辺の画像のエッジ情報に基づいてウィンドウＷ１のサイズ（または形状）を決定する。

図９は、参照画像のウィンドウ設定処理を示す図である。
参照画像Ｉ２上でウィンドウＷ２（サイズ、形状はウィンドウＷ１と同じ）を走査し、最も基準画像Ｉ１上のウィンドウＷ１内の画像に近いパターンを参照画像上の対応箇所とする。近さの判定は、それぞれのウィンドウ間の相関演算や、ＳＡＤ（Sum of Absolute Differences）演算などでも実行することができる。これにより、基準画像Ｉ１上の注目点Ｐに対応する点を設定することができる。

なお図９においては、縦方向にもウィンドウを動かすようにしているが、２台のカメラを水平に設置するのであれば、基準画像と参照画像とでの画像ズレは横方向にしか生じないため、横方向のみにウィンドウを動かすようにしてもよい。

さらに参照画像のウィンドウは、広範囲に動かすことで基準画像との対応関係を調べてもよいが、探索の「初期値」を予め決めておき、その初期値から所定範囲内だけ参照画像のウィンドウを動かすことで、基準画像と参照画像との対応を調べるようにしてもよい。すなわち、解像度の低い画像を用いて基準画像と参照画像との対応関係を求め、その結果を用いて解像度の高い画像での初期値を設定するなどである。

高精度な対応点探索処理を行なう方法としては、位相限定相関法（POC：phase-only corelation）が知られている。位相限定相関法は，フーリエ変換を使った相関計算方法の１つであり、２つのフーリエ画像をスペクトルごとに規格化してから合成し，逆フーリエ変換を行なう手法で、輝度変動やノイズの影響を受けにくいという特徴がある。従って位相限定相関法は、顔画像の様な低コントラストの画像の対応点探索に適した手法である。

画像サイズＮ_１×Ｎ_２ピクセルの２つの画像を、ｆ(ｎ_１，ｎ_２）およびｇ（ｎ_１，ｎ_２）とする。定式化の便宜上、離散空間のインデックスをｎ_１＝−Ｍ_１，…，Ｍ_１、ｎ_２＝−Ｍ_２，…，Ｍ_２とし、画像サイズをＮ_１＝２Ｍ_１＋１ピクセル、Ｎ_２＝２Ｍ_２＋１ピクセルとする。これらの画像の２次元離散フーリエ変換（２Ｄ ＤＦＴ）をそれぞれＦ（ｋ_１，ｋ_２）、Ｇ（ｋ_１，ｋ_２）として、次式で与える。

図１０は、位相比較部２１１の実行する第１の処理を示す図である。
図を参照して、ＤＦＴ部２０７，２０９により、Ｆ（ｋ_１，ｋ_２）、Ｇ（ｋ_１，ｋ_２）が算出され、それらの合成である、

が算出され、２つのウィンドウ内の画像の位置ズレが、位相の傾きとして表現される。
図１１は、位相比較部２１１の実行する第２の処理を示す図である。

ここでは図１０に示される演算結果から、

を算出する処理が実行される。位置ズレ演算部２１３では、まず、周波数域で位相比較された位相差スペクトルを、逆フーリエ変換することで位相限定相関（ＰＯＣ）関数を演算する。

図１２に示されるように、位相限定相関（ＰＯＣ）関数は、画像間（基準ウィンドウと参照ウィンドウとの間）の移動量の座標に急峻な相関ピークを持つ性質があり、画像マッチングにおけるロバスト性と移動量推定精度が高いというという特徴がある。したがって、位置ズレ演算部２１３は、ＰＯＣのピークを推定することにより画像の位置ズレ量を演算する。ＰＯＣは離散的に求まるため、ピーク位置をサブピクセルで推定することにより、高分解な対応点座標を求めることができる。補間を行なう場合には、放物線などの関数をフィッティングするなどが考えられる。

（２）３次元再構成処理
図１３は、３次元座標演算部２１５が実行する３次元再構成処理を示す図である。

ここでは、基準画像を捉えるカメラを基準カメラ、参照画像を捉えるカメラを参照カメラと呼び、その撮影面と撮影対象物と焦点位置との位置関係を示している。

本実施の形態においては説明の簡素化の為に、ステレオカメラの収差は良好に補正されており、かつ２台のカメラは平行に設置されているものとする。実際のハードがこのような条件に無いとしても、画像処理により同等の画像に変換することも可能である。

図において、基準カメラと参照カメラとのそれぞれで捉えた画像において、対応する点の位置の差がΔｄであった場合に、対象物までの距離Ｄは、下式で計算される。なおここで、カメラの基線長（２台のカメラの光軸間の距離）をＢ、カメラレンズの焦点距離をｆとする。

このようにして、位置ズレ演算部２１３で求めた画像間のΔｄを用いて、注目点Ｐまでの距離をもとめ、３次元モデルを作成することができる。

次に、図３の３次元局所パッチ抽出部４０３の動作について説明する。３次元局所パッチ抽出部４０３は、３次元再構成された顔３次元形状から局所パッチ領域の抽出を行なう。顔は左右対称であるので、抽出する局所パッチ領域は、左右対称に配置されていることが好ましい。

また、目領域はサングラスなどで隠される場合があり、口領域は髭などの影響で3次元計測できない場合がある。このため、抽出する局所パッチ領域は、少なくとも、鼻および頬部分を含むことが望ましい。

図１４は、３次元局所パッチ抽出部４０３の動作を示すフローチャートである。
抽出は、次の２段階で行なわれる。

・ステップＳ３０１：顔特徴部位（特徴点）３次元座標演算。
・ステップＳ３０３：顔特徴部位を基準とした局所パッチ領域切り出し。

以下、各ステップについて説明する。
［顔特徴部位３次元座標演算］
当該処理においては、まず、２次元画像（基準画像）上の顔領域の中から、顔の特徴的な部位の位置（画像上の座標）を抽出し、それに対応する３次元形状データから、特徴部位の３次元座標を求める。

顔の特徴的な部位としては、目（瞳中心・目尻・目頭・瞳の上下）、眉（両端部・中央部）、鼻（小鼻の端・中央下部・鼻孔）、口（左右の口の端・中央部唇上下）、下顎尖端位置などの部位が挙げられる。ただし、ここで挙げている全ての部位を算出する必要はなく、部分的な隠れ（オクルージョン）に強い部位など確実に取得可能な部位のみを取得するようにしても良い。

顔画像から部位を抽出する方法としては、特開平９−１０２０４３号公報に記載されている手法を用いることができる。また、補助光を使用することで顔部位の形状から検出する手法や、ニューラルネットによる学習を用いた抽出方法や、Gaborウェーブレット変換による周波数解析を用いた方法などを採用しても良い。すなわち、顔特徴部位を取得することが可能な手法であればどのような手法を用いても良い。

図１５は、取得する顔特徴部位の一例を示す図である。
ここでは、顔画像内の眉毛、目、鼻、および口の特徴となる点Ｐ１〜Ｐ２３を、顔特徴部位として検出する。

［顔特徴部位を基準とした局所パッチ領域切り出し］
顔特徴部位の３次元座標を基準とし、局所パッチの切り出しが行なわれる。その手法として、以下の２通りの方法がある。

（方法１） 顔特徴部位の３次元座標からパッチ領域を決定する方法。
（方法２） 標準の顔３次元モデルを用いた方法。

顔特徴部位の３次元座標からパッチ領域を決定する方法（方法１）は、以下のように行なわれる。

顔特徴部位座標は、顔３次元形状データ上に存在する。局所パッチ領域は、この３次元特徴部位座標からの相対関係で定義される。

図１６は、顔特徴部位の３次元座標を基準とした局所パッチの切り出し方法を説明するための図である。

たとえば、右目頭ａ（図１５のＰ１）、右目尻ｂ（図１５のＰ３）、右鼻ｃ（図１５のＰ１７）の３点で決まる平面Ｐ上に、ベクトルｃａ，ｃｂの線形和として定義される４点で囲まれる矩形領域Ｓ４が右頬領域と定義される。平面Ｐに垂直に降ろした垂線の足が矩形領域Ｓ４に入っている顔３次元形状データをあわせて右頬の局所パッチ領域とする。同様に、額の領域Ｓ１、右目の領域Ｓ２、左眼の領域Ｓ３、鼻の領域Ｓ５、左頬の領域Ｓ６、および口の領域Ｓ７が局所パッチ領域として定義される。

図１７は、２次元画像におけるパッチ選択位置の例を示す図であり、図１８は３次元座標における局所パッチの位置の例を示す図である。

次に、標準の顔３次元モデルを用いた方法（方法２）を説明する。
標準の顔３次元モデルとして、数百点の頂点から構成されているモデルを用意する。モデル上に、局所パッチの位置情報を定義する。まず、３次元標準モデルを変形して、計測された顔の３次元データに類似させる。これをモデルフィッティングと呼ぶ。モデルフィッティング後、３次元標準モデルデータ上に定義された局所パッチ領域に対応する顔３次元形状データ上の局所パッチ領域を抽出する。

図１９は、標準の顔３次元モデルを用いたパッチ領域の抽出方法を示すフローチャートである。

ステップＳ４０１において顔特徴点の３Ｄ座標を演算する。ステップＳ４０３において、モデルフィッティングを行ない、ステップＳ４０５でパッチ領域を抽出する。

ステップＳ４０３における、モデルフィッティングを行なう手法は複数ある。本実施の形態ではＳＲＴフィッティングを用いる手法について説明するが、他の手法によるモデルフィッティング処理を行なってもよい。

ＳＲＴフィッティングでは、３次元標準モデル上に定義された３次元特徴部位座標と、顔３次元形状データ上の３次元特徴部位座標との距離エネルギーが最小になるように、モデルデータをアフィン変換する。モデルの変形がアフィン変換のみなので、処理を高速に行なうことが出来る。３次元標準モデルとして、複数の人物から作成した平均顔の３次元モデルを用いることで、ＳＲＴフィッティングの様な単純な変形でも、十分測定データに近いモデルを得ることが可能となる。

アフィン変換は、次のような変換行列（３×４）で定義される。

ステップＳ４０５における、モデルフィッティング後の３次元局所パッチ抽出処理においては、３次元標準モデル上に定義した局所パッチ領域を、射影中心点を中心に撮像データ上に射影する。射影された局所パッチ領域と交差する顔３次元形状データ上の領域を抽出する局所パッチ領域とする。具体的には以下の（１）〜（４）のステップからなる処理が行なわれる。

（１） ３次元標準モデルの各局所パッチ領域の全頂点を、顔３次元形状データ上の各局所パッチ領域平面に射影する。

（２） 射影された頂点位置が、顔３次元形状データ上の局所パッチ領域内に含まれる場合、交差とみなす。

（３） 上記（２）で交差とみなされない場合、顔３次元形状データ上の局所パッチ領域の頂点が射影された領域に１つでも含まれるか確認する。含まれる場合、交差とみなす。

（４） 上記（３）で交差とみなされない場合、射影された領域のエッジと局所パッチ領域のエッジが交点を持つか計算する。交点を持つ場合、交差とみなす。

次に、図３の品質情報抽出部４０５の実行する動作について説明する。
品質情報抽出部４０５は、抽出された局所パッチ領域それぞれについて、３次元計測データの品質評価を行なう。品質評価方法としては、以下の２通りの方法が考えられる。

（方法１） パッチ内の３次元データの品質から評価する方法。
（方法２） パッチ内の３次元データの滑らかさで評価する方法。

以下にそれぞれ説明する。
パッチ内の３次元データの品質から評価する方法（方法１）に関して、３次元パッチ内に含まれる３次元ポイントの座標は、対応点探索時のウインドウパターンのコントラストや、対応点同士の相関値によってその信頼性が評価可能である。

たとえば、対応点探索時のウインドウのコントラストが少ないと、パターン特徴が少ないため、最終決定された対応点の信頼性が少ないと考えられる。また、最終的に見つかった対応点同士のパターンの相関が少ない場合（ＰＯＣ関数のピークが小さい場合）も、対応点の信頼性が少ない。対応点の信頼性は、その対応関係に基づいて計算された３次元座標の信頼性に繋がる。

これらの他に、探索ウインドウの輝度や、探索ウインドウ同士の輝度や色の差等でも３次元点の信頼性が評価出来る。たとえば、輝度が低ければ信頼性が少ないとし、ウィンドウ同士の色や明るさの差が大きければ信頼性が少ない、とするものである。

局所パッチの形状信頼性は、その中にある３次元点の信頼性の分布情報から求めることが出来る。たとえば、局所パッチの形状信頼性を、それに含まれる３次元点の信頼性の平均値で代表させることや、予め設定された閾値以上の信頼性がある３次元点の割合で表すことなどが考えられる。

パッチ内の３次元データの滑らかさで評価する方法（方法２）に関して、ステレオ３次元計測においては、対応点探索時のミスにより、計測された３次元座標に高周波のバラツキが生じる場合がある。たとえば、近隣の部分の座標値とは明らかに異なる３次元点が出てくるなどである。そこで顔の３次元データのように、滑らかな対象物の場合は、パッチ形状の滑らかさを評価することにより、パッチの品質を評価することが出来る。

方法としては、パッチ上の各点における曲率を計算することで、滑らかさを評価可能であるし、後述する手法で、パッチを滑らかな曲面で近似し、近似曲面と計測された元の３次元データとの差を用いることでも滑らかさの評価を行なうことが出来る。

次に、図３の形状情報記憶部４０７の動作について説明する。
形状情報記憶部４０７は、３次元計測データと各パッチの品質評価の情報とを記憶する。３次元計測データは、たとえば以下の（１）〜（３）のいずれかの形式で保存される。

（１） 顔全体の３次元データ＋（パッチ領域の情報＋品質データ）×パッチ数を保存する形式。

顔全体の３次元データは、顔の表面の３次元点の３次元座標（Ｘ，Ｙ，Ｚ）のリストとして保存される。パッチ領域の情報としては、各パッチに含まれる３次元点のインデックスのリストなどを保存することが考えられる。品質データとは、各パッチの品質情報である。

（２） （顔のパッチデータ＋品質データ）×パッチ数を保存する形式。
顔のパッチデータは、パッチ領域の３次元点の３次元座標（Ｘ，Ｙ，Ｚ）のリストとして保存される。品質データとは、各パッチの品質情報である。

（３） 顔全体の３次元データ＋（顔のパッチデータ＋品質データ）×パッチ数を保存する形式。

これは、上記（１）と（２）のデータを組合わせて保存するものである。
図２０は、顔のパッチデータおよび品質データをパッチ数分保存する場合のデータ形式を示す図である。

図に示されるように、各パッチ領域毎に、その３次元形状データと、そのパッチの品質データとが保存される。

次に、図３の形状比較部４０９の動作について説明する。
ここでは、２つの３次元形状データを比較することで、両者が類似するか（同一人物の顔であるか）否かを判定する。たとえば、顔登録時に得られた人物Ａの顔の３次元データ（これは予め登録処理により形状情報記憶部４０７に保存される）と、認証時に得られたある人物の顔の３次元データとを比較することで、人物の認証を行なうなどの処理である。

顔の３次元形状の比較を行なう手法としては、たとえば以下の２つの方法がある。
（方法１） 顔３次元形状データを使用した３次元比較方法。

（方法２） ３次元局所パッチを使用した３次元比較方法。
なお、ここでは比較方法の一例を記載しているが、一般的に知られている手法であればどのような手法を用いても良い。

上記顔３次元形状データを使用した３次元比較方法（方法１）として、ＩＣＰ（Iterative Closest Point）による方法がある。ＩＣＰアルゴリズムとは、反復計算により対応点間の誤差を最小化するものであり、処理のフローは以下のようになる。

図２１は、３次元比較方法の具体例を示す図である。
図において点群Ｔが登録された形状、点群Ｓが認証時に得られた形状であるものとする。

誤差が十分小さくなるまで繰返すことで、位置合わせを行なうことができる。
この時、上記で求めた３次元標準モデル上の局所パッチ領域の各頂点と、顔３次元形状データ上の局所パッチ領域との交点により予め位置合わせを行なうことで。高速に処理をすることも可能である。

つまりＩＣＰアルゴリズムフローとしては、

上記の処理終了後、認証に使用する距離演算結果を出力する。出力するデータ値は、距離差の平均値と分散値である。これらはたとえば以下のように示される。

次に、３次元局所パッチを使用した３次元比較方法（方法２）について説明する。これは、局所パッチ同士の比較を行なうものである。

局所パッチ同士の形状比較方法として、以下の（１）形状データ同士の一致度など距離演算による比較、（２）特徴量として変換したデータを用いた比較（その１）、（３）特徴量として変換したデータを用いた比較（その２）、などの比較方法が考えられる。順に説明する。

（１） 形状データ同士の一致度など距離演算による比較
これは、上記ＩＣＰ処理をパッチ領域ごとに行なうものである。

（２） 特徴量として変換したデータを用いた比較（その１）
たとえば、曲面情報として、曲率マップを用いる方法が考えられる。まず、局所パッチ領域の正規化を行なう。たとえば、矩形の局所パッチ領域の場合は、その矩形頂点が予め定められた標準矩形領域に来るように３次元アフィン変換する。

正規化された局所パッチ領域を均等にサンプリングし、各サンプリング点における曲率を局所パッチの形状特徴とする。

曲率は、「３次元曲率を用いた顔の同定−顔の３次元形状特徴抽出−」、電子情報通信学会論文誌、Vol. J76-D2、 No. 8(1993年8月)、pp.1595-1603に記載された手法を用いることで算出可能である。

（３） 特徴量として変換したデータを用いた比較（その２）
これは、曲面近似による特徴量を算出するものである。たとえば、ベジェ曲面、双３次曲面、有理ベジェ曲面、Ｂスプライン曲面、ＮＵＲＢＳ曲面などを用いることができる。

図２２は、双３次ベジェ曲面を説明するための図である。

各パッチ領域で上記方法により演算された、パッチ形状情報を組合わせてトータルの顔３次元特徴量ベクトルとする。

形状特徴量間の距離を計算することにより、形状比較量を導く。顔全体の形状特徴量の類似度は、各パッチにおける形状距離の合計で計算することができる。

パッチ品質に応じた重み付け係数は、比較を行なう２つのパッチのいずれか一方の品質、または両方の品質に基づいて設定される。これにより、品質が悪いパッチが類似判断に与える影響を少なくすることができる。

顔の３Ｄ形状による顔認証は、顔の３Ｄ形状の比較結果に基づいて、本人であるか他人であるかを判定することによって行なう。

図２３は、形状比較部の処理を示すフローチャートである。
ステップＳ６０１で、ｊ＝１とする。ｊはパッチを特定するための数値であり、ここでは図１６の例を参照し、ｊ＝１〜７のそれぞれのパッチＳｊを比較の対象とする。

ステップＳ６０３で、比較元のＳｊのパッチのデータ（データＡとする。）と、そのデータの品質を形状情報記憶部４０７から読出す。ステップＳ６０５で、比較先のＳｊのパッチのデータ（データＢとする。）と、そのデータの品質を取得する。

ステップＳ６０７で、パッチの品質に応じた重み付け係数（ｗ_ｊ）を演算する。ステップＳ６０９において、重み付け係数ｗ_ｊを考慮して、Ｓｊのパッチの類似度Ｄｊ（データＡとデータＢの類似度Ｄｊ）を求める。

ステップＳ６１１でｊが７となったかを判定し、ＮＯであればステップＳ６１５でｊを１インクリメントしてステップＳ６０３へ戻る。

ステップＳ６１１でＹＥＳであれば、類似度Ｄ１〜Ｄ７に基づいて、比較元データと比較先データの類似度Ｄを算出する。

［変形例］
図２４は、図３の演算処理装置２００の変形例を示すブロック図である。

この変形例においては、図３の構成に加えてデータ更新部４１１が設けられている。顔の３次元計測が行なわれる度に、データの品質が抽出され、所定の条件を満たすときに形状情報記憶部４０７の記憶内容が更新される。

データ更新部４１１の更新処理として、以下の２つの処理のうちいずれかを採用することができる。

（１） パッチデータの交換を行なう処理。
（２） パッチデータの追加を行なう処理。

上記（１）のパッチデータの交換を行なう処理においては、新しく３次元計測された顔の３Ｄ情報の各局所パッチの品質情報と、形状情報記憶部４０７に記憶された、対応するパッチの品質情報とを比較する。各パッチに対して、新しく計測されたパッチの品質情報が、形状情報記憶部４０７に保管されていた対応するパッチの品質情報より高品質の場合には、記憶された情報を新しい情報で置換える。

３次元形状データは、２次元情報に比べて、部位ごとの交換が容易である（テクスチャのように濃淡変化の影響などが無い）。

この方式では、顔を３次元計測するたびに、記憶データが品質の良いパッチ情報に更新される。このため３次元データを測定するたびに、記憶データが高品質のものになり、顔認証に応用する場合に、認証精度の向上が図れるという効果がある。

上記（２）のデータの追加を行なう処理においては、新しく３次元計測された顔の３Ｄ情報の各局所パッチの品質情報と、予め設定された品質基準とを比較する。各パッチに対して、新しく計測されたパッチの品質情報が、品質基準に比べて高品質の場合には、そのパッチ情報を形状情報記憶部４０７に追加する。

顔の３次元形状は、表情変化により、計測するたびに変化することが多い。本方式では、顔を３次元計測するたびに、品質の良い形状パッチが記憶データに追加されるため、表情変化による本人拒否の少ない顔認証が実現可能となる。

データの追加を行なう場合においては、同じ位置のパッチに対して複数のデータが記憶されることとなる。最新のデータを認証に用いるようにしてもよいし、データを平均化して用いることとしてもよい。

図２５は、データ更新部４１１の実行する処理を示すフローチャートである。
ステップＳ５０１において、新たに測定された３次元局所パッチデータとその品質情報とを入力する。ステップＳ５０３で、記憶されていた対応する局所パッチの品質情報（または所定の品質基準）と、入力された品質情報とを比較する。

ステップＳ５０５において、新しいデータが記憶されていた対応する局所パッチ（または所定の品質基準）よりも高品質であるかを判定する。ＹＥＳであれば、ステップＳ５０７で記憶されたデータの更新（交換または追加）を行ない、ステップＳ５０１へ戻る。ＮＯであれば、そのままステップＳ５０１へ戻る。

なお、記憶されたデータのうち、品質が悪く、所定基準を満たさないパッチのデータに対してのみ、新しいデータと比較、更新する処理を行なうこととしてもよい。

［実施の形態における効果］
上記実施の形態によると、データの品質に基づいてデータの類似度を判定することができるため、一般的な顔認証方法で問題となる計測誤差、部分的な隠れによる認証精度低下を軽減させることができるという効果がある。

また、上記変形例によると、登録・参照データを高品質にすることができ、高精度な認証が可能であるという効果がある。すなわち、顔３次元計測データの局所領域（部位領域）ごとに品質パラメータを決定し、次回以降に計測された顔３次元計測データの局所領域の品質パラメータと比較を行ない、品質パラメータが良い局所領域と入れ替えを行ない、その計測データを用いて認証を行なうことができる。これにより、３次元形状比較装置において、高精度な認証が可能となるという効果がある。

すなわち、計測誤差のある局所領域は、次回以降に計測された計測データの局所領域と比較され、品質の良い方が選択される。これにより、頂点位置のずれなどの影響が低く、オクルージョンに対しても強い認証手法を提供することができる。

また、本実施の形態では３次元形状を用いているため、２次元画像を用いる場合と比較して、画像の濃淡変化の影響がないという効果がある。

［その他］
上述の実施の形態における処理は、ソフトウエアによって行なっても、ハードウエア回路を用いて行なってもよい。

また、上述の実施の形態における処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。

なお、上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態の１つにおける３次元形状処理装置の構成を示す図である。 図１の演算処理装置２００のハードウェア構成を示すブロック図である。 演算処理装置２００の機能構成を示すブロック図である。 図３の顔３次元形状計測部４０１の内容を示すブロック図である。 顔３次元形状計測部の実行する処理を示すフローチャートである。 注目点のスキャンを説明するための図である。 注目点のスキャン処理を示すフローチャートである。 基準画像のウィンドウ設定処理を示す図である。 参照画像のウィンドウ設定処理を示す図である。 位相比較部２１１の実行する第１の処理を示す図である。 位相比較部２１１の実行する第２の処理を示す図である。 位相限定相関（ＰＯＣ）関数の具体例を示す図である。 ３次元座標演算部２１５が実行する３次元再構成処理を示す図である。 ３次元局所パッチ抽出部の動作を示すフローチャートである。 取得する顔特徴部位の一例を示す図である。 顔特徴部位の３次元座標を基準とした局所パッチの切り出し方法を説明するための図である。 ２次元画像におけるパッチ選択位置の例を示す図である。 ３次元座標における局所パッチの位置の例を示す図である。 標準の顔３次元モデルを用いたパッチ領域の抽出方法を示すフローチャートである。 顔のパッチデータおよび品質データをパッチ数分保存する場合のデータ形式を示す図である。 ３次元比較方法の具体例を示す図である。 双３次ベジェ曲面を説明するための図である。 形状比較部の処理を示すフローチャートである。 図３の演算処理装置２００の変形例を示すブロック図である。 データ更新部４１１の実行する処理を示すフローチャートである。

符号の説明

１００Ｒ，１００Ｌ カメラ、２００ 演算処理装置、２０１ ウィンドウ設定部、２０３ 基準画像ウィンドウ設定部、２０５ 参照画像ウィンドウ設定部、２０７，２０９ ＤＦＴ部、２１１ 位相比較部、２１３ 位置ズレ演算部、２１５ ３次元座標演算部、３００ 表示装置、４０１ 顔３次元形状計測部、４０３ ３次元局所パッチ抽出部、４０５ 品質情報抽出部、４０７ 形状情報記憶部、４０９ 形状比較部、４１１ データ更新部。

Claims (14)

1. 対象の３次元形状を計測する計測手段と、
   前記計測手段で計測された３次元形状から複数の局所パッチ領域を抽出する局所パッチ領域抽出手段と、
   前記複数の局所パッチ領域の各局所パッチ領域に対して、データの品質を演算する品質演算手段と、
   前記計測手段で計測された３次元形状のうち少なくとも前記各局所パッチ領域に該当する部分を、前記品質演算手段で演算された各局所パッチ領域のデータの品質とともに記憶する記憶手段と、
   前記計測手段で新たなデータが得られたときに、前記品質演算手段で演算された前記新たなデータの品質に基づいて、前記記憶手段を更新する更新手段とを備えた、３次元形状処理装置。
2. 前記更新手段は、前記記憶手段に記憶された３次元形状を新たなデータに置換える、請求項１に記載の３次元形状処理装置。
3. 前記更新手段は、前記記憶手段に記憶された３次元形状に新たなデータを追加する、請求項１に記載の３次元形状処理装置。
4. 対象の３次元形状を計測する計測手段と、
   前記計測手段で計測された３次元形状から複数の局所パッチ領域を抽出する局所パッチ領域抽出手段と、
   前記複数の局所パッチ領域の各局所パッチ領域に対して、データの品質を演算する品質演算手段と、
   前記複数の局所パッチ領域を用いて前記計測手段で計測された３次元形状を比較対象と比較するときに、前記品質演算手段で演算された各局所パッチ領域のデータの品質に基づいて重み付けを行なう重み付け手段とを備えた、３次元形状処理装置。
5. 前記比較対象のデータとして、前記複数の局所パッチ領域のそれぞれに対応する複数のパッチ領域のデータと、それらそれぞれのデータの品質とを記憶する記憶手段をさらに備え、
   前記重み付け手段は、前記記憶手段に記憶されたデータの品質を用いて重み付けを行なう、請求項４に記載の３次元形状処理装置。
6. 前記計測手段での計測の対象は、顔を含み、
   前記計測手段で計測された顔の３次元形状を用いて、個人認証を行なう認証手段をさらに備えた、請求項１から５のいずれかに記載の３次元形状処理装置。
7. 前記品質演算手段は、局所パッチ領域に含まれる３次元形状データの信頼性に基づいて演算された値を品質とする、請求項１から６のいずれかに記載の３次元形状処理装置。
8. 前記品質演算手段は、局所パッチ領域に含まれる３次元形状データのそれぞれの信頼性の平均値を品質とする、請求項７に記載の３次元形状処理装置。
9. 前記品質演算手段は、局所パッチ領域に含まれる３次元形状データのうち、信頼性が高いものの割合を品質とする、請求項７に記載の３次元形状処理装置。
10. 前記品質演算手段は、局所パッチ領域に含まれる３次元形状データの滑らかさを品質とする、請求項７に記載の３次元形状処理装置。
11. 対象の３次元形状を計測する計測ステップと、
    前記計測ステップで計測された３次元形状から複数の局所パッチ領域を抽出する局所パッチ領域抽出ステップと、
    前記複数の局所パッチ領域の各局所パッチ領域に対して、データの品質を演算する品質演算ステップと、
    前記計測ステップで計測された３次元形状のうち少なくとも前記各局所パッチ領域に該当する部分を、前記品質演算ステップで演算された各局所パッチ領域のデータの品質とともに記憶手段に記憶する記憶ステップと、
    前記計測ステップで新たなデータが得られたときに、前記品質演算ステップで演算された前記新たなデータの品質に基づいて、前記記憶手段を更新する更新ステップとを備えた、３次元形状処理装置の制御方法。
12. 対象の３次元形状を計測する計測ステップと、
    前記計測ステップで計測された３次元形状から複数の局所パッチ領域を抽出する局所パッチ領域抽出ステップと、
    前記複数の局所パッチ領域の各局所パッチ領域に対して、データの品質を演算する品質演算ステップと、
    前記複数の局所パッチ領域を用いて前記計測ステップで計測された３次元形状を比較対象と比較するときに、前記品質演算ステップで演算された各局所パッチ領域のデータの品質に基づいて重み付けを行なう重み付けステップとを備えた、３次元形状処理装置の制御方法。
13. 対象の３次元形状を計測する計測ステップと、
    前記計測ステップで計測された３次元形状から複数の局所パッチ領域を抽出する局所パッチ領域抽出ステップと、
    前記複数の局所パッチ領域の各局所パッチ領域に対して、データの品質を演算する品質演算ステップと、
    前記計測ステップで計測された３次元形状のうち少なくとも前記各局所パッチ領域に該当する部分を、前記品質演算ステップで演算された各局所パッチ領域のデータの品質とともに記憶手段に記憶する記憶ステップと、
    前記計測ステップで新たなデータが得られたときに、前記品質演算ステップで演算された前記新たなデータの品質に基づいて、前記記憶手段を更新する更新ステップとをコンピュータに実行させる、３次元形状処理装置の制御プログラム。
14. 対象の３次元形状を計測する計測ステップと、
    前記計測ステップで計測された３次元形状から複数の局所パッチ領域を抽出する局所パッチ領域抽出ステップと、
    前記複数の局所パッチ領域の各局所パッチ領域に対して、データの品質を演算する品質演算ステップと、
    前記複数の局所パッチ領域を用いて前記計測ステップで計測された３次元形状を比較対象と比較するときに、前記品質演算ステップで演算された各局所パッチ領域のデータの品質に基づいて重み付けを行なう重み付けステップとをコンピュータに実行させる、３次元形状処理装置の制御プログラム。