JP2006331009A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 高精度に対象物を三次元復元するための情報を取得する画像処理装置及び画像処理方法を提供することを課題とする。
【解決手段】 個々に異なる三次元形状を有する対象物の複数のサンプルについての姿勢毎の形状と輝度の変化情報及び形状情報を保持する保持手段１４と、対象物の二次元画像を取得する取得手段２と、二次元画像における対象物の特徴点を抽出する抽出手段１０と、特徴点に基づいて二次元画像における対象物と対象物の標準の三次元モデルの対応付けを行う対応付け手段１２と、複数のサンプルについての姿勢毎の変化情報から二次元画像における対象物に対応するサンプルの姿勢の変化情報を特定する特定手段１５と、特定したサンプルの姿勢における形状情報を用いて対応付け手段１２で対応付けた二次元画像における対象物と標準の三次元モデルにより対象物の三次元復元を行う復元手段１６とを備えることを特徴とする。
【選択図】 図１

Description

本発明は、二次元画像から対象物の三次元復元を行う画像処理装置及び画像処理方法に関する。

個人認証やセキュリティなどの様々な分野で利用するために、人の顔を撮像し、その撮像画像からの顔を認識する技術が知られている。その画像処理方法としては、例えば、撮像画像の顔の中から複数の特徴点を抽出し、その特徴点に基づいて二次元の顔画像と三次元の顔の標準モデルとをフィッティングし、顔の三次元モデルを復元する方法がある（特許文献１参照）。
特開２００１−２３１０３７号公報

上記した従来の方法では、特徴点を基準にして顔画像を標準モデルに貼り付けることによって三次元モデルを復元している。そのため、一般的な顔の三次元形状を示す標準モデルに対応付けるだけなので、個々の人の顔についての各点での奥行きなどの詳細な情報を取得することはできない。その結果、個々の人の顔の三次元形状に示す高精度な三次元モデルを復元することはできない。

そこで、本発明は、高精度に対象物を三次元復元するための情報を取得する画像処理装置及び画像処理方法を提供することを課題とする。

本発明に係る画像処理装置は、個々に異なる三次元形状を有する対象物の複数のサンプルについての姿勢毎の形状と輝度の変化情報及び形状情報を保持する保持手段と、対象物の二次元画像を取得する取得手段と、複数のサンプルについての姿勢毎の形状と輝度の変化情報から二次元画像における対象物に対応するサンプルの姿勢の形状と輝度の変化情報を特定する特定手段とを備えることを特徴とする。

この画像処理装置では、取得手段により、他の物体とは異なる三次元形状を有する対象物の二次元画像を取得する。また、画像処理装置では、対象物の複数の各サンプルについての姿勢（向いている方向など）毎の形状と輝度の変化情報及び形状情報を保持している。変化情報は、各サンプルの姿勢毎に生成され、サンプルの各点における三次元形状を示す情報とその各点の輝度情報の関係を示す情報である。形状情報は、サンプルの三次元形状を示す情報であり、例えば、サンプルの各点における奥行き情報や三次元座標である。画像処理装置では、特定手段により、複数のサンプルについての姿勢毎の変化情報から二次元画像における対象物に対応しているサンプルの姿勢の変化情報を特定する。あるサンプルの所定の姿勢の変化情報を特定することにより、画像処理装置では、保持手段で保持している情報からそのサンプルの所定姿勢における形状情報を抽出することにより、二次元画像における対象物についての三次元形状を示す詳細な情報を取得することができる。したがって、この画像処理装置では、形状情報（例えば、奥行き情報）を利用して対象物を三次元復元することにより、個々の対象物を高精度に三次元復元できる。

なお、個々に異なる三次元形状を有する対象物とは、標準的な三次元形状を特定できる三次元物体でありかつ他の物体とはその三次元形状が異なる物体であり、例えば、人の顔、人の体全体、動物の顔、動物の体全体、ある車種の自動車全体である。

本発明の上記画像処理装置では、二次元画像における対象物の特徴点を抽出する抽出手段と、抽出手段で抽出した特徴点に基づいて二次元画像における対象物と対象物の標準の三次元モデルの対応付けを行う対応付け手段と、特定手段で特定したサンプルの姿勢における形状情報を用いて、対応付け手段で対応付けた二次元画像における対象物と標準の三次元モデルにより対象物の三次元復元を行う復元手段とを備える構成としてもよい。

この画像処理装置では、抽出手段により、二次元画像における対象物の特徴点を抽出する。そして、画像処理装置では、対応付け手段により、抽出した特徴点を基準として、二次元画像における対象物と対象物の標準の三次元モデルとを対応付ける。さらに、画像処理装置では、復元手段により、保持手段で保持している情報から抽出したあるサンプルの所定姿勢における形状情報を加味して、対応付けした二次元画像の対象物と三次元モデルにより対象物の三次元復元を行う。この復元モデルは、対象物の三次元形状に応じた奥行きなどを有しており、対象物の三次元形状を高精度に表している。

本発明に係る画像処理方法は、個々に異なる三次元形状を有する対象物の複数のサンプルについての姿勢毎の形状と輝度の変化情報及び形状情報を保持しており、対象物の二次元画像を取得する取得ステップと、複数のサンプルについての姿勢毎の形状と輝度の変化情報から二次元画像における対象物に対応するサンプルの姿勢の形状と輝度の変化情報を特定する特定ステップとを含むことを特徴とする。

本発明の上記画像処理方法では、二次元画像における対象物の特徴点を抽出する抽出ステップと、抽出ステップで抽出した特徴点に基づいて二次元画像における対象物と対象物の標準の三次元モデルの対応付けを行う対応付けステップと、特定ステップで特定したサンプルの姿勢における形状情報を用いて、対応付けステップで対応付けた二次元画像における対象物と標準の三次元モデルにより対象物の三次元復元を行う復元ステップとを含む構成としてもよい。

上記画像処理方法は、上記した各画像処理装置と同様の作用効果を有する。

本発明によれば、対象物を三次元復元するための形状情報を取得でき、その取得した形状情報を用いて二次元画像における対象物を高精度に三次元復元できる。

以下、図面を参照して、本発明に係る画像処理装置及び画像処理方法の実施の形態を説明する。

本実施の形態では、本発明を、個々の人の顔の三次元復元を行う画像処理装置に適用する。本実施の形態に係る画像処理装置は、単眼のカメラを備えており、そのカメラで人物の顔を撮像する。そして、本実施の形態に係る画像処理装置では、その二次元の撮像画像と三次元の標準顔モデルから個々の三次元顔モデルを生成する。

図１〜図５を参照して、本実施の形態に係る画像処理装置１について説明する。図１は、本実施の形態に係る画像処理装置の構成図である。図２は、スケールパラメータＳの説明図である。図３は、移動パラメータと回転パラメータの説明図であり、（ａ）が移動パラメータＴによる移動であり、（ｂ）がＺ軸回転パラメータＲｚによるＺ軸回りの回転であり、（ｃ）がＹ軸回転パラメータＲｙによるＹ軸回りの回転であり、（ｄ）がＸ軸回転パラメータＲｘによるＸ軸回りの回転である。図４は、二次元の顔画像と三次元の標準顔モデルのフィッティングの説明図である。図５は、輝度マップの構築の説明図である。

画像処理装置１は、単眼カメラで任意の人の顔を撮像し、その顔の二次元撮像画像から三次元顔モデルを生成する。特に、画像処理装置１では、個々の人の顔の三次元形状に応じた高精度な三次元顔モデルを生成するために、多数の顔のサンプルから生成した形状−輝度データベースを保持しており、この形状−輝度データベースから顔の各点の奥行き情報及び顔の表面における影や反射などの情報を取得する。そのために、画像処理装置１は、カメラ２、モニタ３及び画像処理部４を備えており、画像処理部４に姿勢検出部１０、標準顔モデル保持部１１、顔モデルフィッティング部１２、輝度マップ生成部１３、形状−輝度データベース１４、マッチング部１５、三次元顔モデル復元部１６が構成される。

なお、本実施の形態では、カメラ２が特許請求の範囲に記載する取得手段に相当し、姿勢検出部１０が特許請求の範囲に記載する抽出手段に相当し、顔モデルフィッティング部１２が特許請求の範囲に記載する対応付け手段に相当し、形状−輝度データベース１４が特許請求の範囲に記載する保持手段に相当し、マッチング部１５が特許請求の範囲に記載する特定手段に相当し、三次元顔モデル復元部１６が特許請求の範囲に記載する復元手段に相当する。

カメラ２は、単眼のカメラであり、ＣＣＤ［Charge coupled device］などの撮像素子を備えるデジタルカメラである。カメラ２では、人物の顔を撮像し、その撮像したデジタル画像データからなる撮像画像を画像信号として画像処理部４に送信する。画像処理部４では少なくとも輝度情報が有れば処理を行うことができるので、カメラ２はカラーカメラでもあるいは白黒カメラでもよい。

モニタ３は、液晶モニタでもあるいはＣＲＴ[Cathode Ray Tube]モニタでもよく、画像処理部４の処理結果を表示出力する。モニタ３では、画像処理部４からの出力信号に応じて画像などを表示する。

画像処理部４は、パーソナルコンピュータなどのコンピュータ上に構成され、専用のアプリケーションプログラムを実行することによって各部を構成する。画像処理部４では、カメラ２から二次元の撮像画像を取り入れる。そして、画像処理部４では、撮像画像における顔から特徴点を抽出し、その特徴点に基づいて顔の姿勢を示す姿勢パラメータを検出する。また、画像処理部４では、その特徴点に基づいて二次元の顔画像と三次元の標準顔モデルとのフィッティングを行う。また、画像処理部４では、顔画像から顔の姿勢に対する輝度マップを生成する。そして、画像処理部４では、形状−輝度データベースから輝度マップに対応する情報（奥行き情報など）を抽出する。さらに、画像処理部４では、抽出した情報を加味して、二次元の顔画像と三次元の標準顔モデルとのフィッティングから三次元顔モデルを生成する。

画像処理部４では、カメラ２から撮像画像を取り入れる毎に、その撮像画像をＲＡＭの所定領域に保持するとともに輝度画像に変換する。ちなみに、カメラ２が白黒カメラの場合にはこの輝度画像への変換は行わない。

姿勢検出部１０では、輝度画像から顔全体を含む領域を抽出する。そして、姿勢検出部１０では、その顔画像から多数個の顔の特徴点を抽出する。この抽出方法としては、例えば、顔の各特徴点の参照画像を用いて、テンプレートマッチングによって顔画像（輝度画像）から特徴点を抽出する。顔の特徴点としては、例えば、両目の各目尻、各目頭、口の左右端などの輝度や色などの画像情報に明らかな差がある箇所とする。図７には、顔画像ＦＩの一例とその顔画像ＦＩから抽出される多数個の特徴点ＣＰ，・・・の一例を示している。

さらに、姿勢検出部１０では、顔の多数個の特徴点を利用して、撮像画像における顔の姿勢を表す姿勢パラメータＯを検出する。姿勢パラメータＯは、スケールパラメータＳ、移動パラメータＴ、回転パラメータ（Ｒｘ，Ｒｙ，Ｒｚ）からなる。スケールパラメータＳは、撮像画像における任意のサイズの顔画像ＦＩ１，ＦＩ２，・・・を標準のサイズ（後処理において各処理を行う際の基準となるサイズ）の画像ＮＳＩに変換するためのパラメータである（図２参照）。移動パラメータＴは、三次元座標の原点に顔画像を顔の所定の点（例えば、鼻の中心）を移動させるためのパラメータである（図３（ａ）参照）。回転パラメータ（Ｒｘ，Ｒｙ，Ｒｚ）は、カメラ２に対して撮像される顔が向いている方向を示すパラメータであり、Ｘ軸回転パラメータＲｘが三次元座標におけるＸ軸回りのパラメータであり（図３（ｄ）参照）、Ｙ軸回転パラメータＲｙが三次元座標におけるＹ軸回りのパラメータであり（図３（ｃ）参照）、Ｚ軸回転パラメータＲｚが三次元座標におけるＺ軸回りのパラメータである（図３（ｂ）参照）。

標準顔モデル保持部１１は、所定のメモリ領域に三次元の標準顔モデルＧＦＭを保持している（図４参照）。標準顔モデルは、正面を向いている顔の三次元形状を示す数百個程度の三次元形状点からなるメッシュモデルであり、各三次元形状点が三次元座標を有している。この多数の三次元形状点の中には、抽出される多数個の特徴点にそれぞれ対応する点が含まれている。標準顔モデルＧＦＭの生成方法としては、レーザレンジスキャナやステレオカメラなどを用いて、多数の人物の正面を向いているときの顔の三次元形状（三次元形状を示す点の集まり）を取得し、その多数の人物のデータを平均化することによって生成する。

顔モデルフィッティング部１２では、姿勢パラメータＯの各パラメータＳ，Ｔ，Ｒｘ，Ｒｙ，Ｒｚに応じて、顔画像ＦＩを標準サイズかつ基準位置かつ正面を向いた顔画像ＴＦＩに変換する（図４参照）。そして、顔モデルフィッティング部１２では、抽出した多数個の特徴点に基づいて、標準顔モデルＧＦＭと変換した顔画像ＴＦＩとをフィッティングし、フィッティング顔モデルＦＭを生成する。フィッティング方法としては、標準顔モデルＧＦＭの三次元形状点から抽出した各特徴点に対応する点をそれぞれ抽出し、対応する特徴点と三次元形状点毎にその点間のＸ方向の距離ｄｘとＹ方向の距離ｄｙをそれぞれ求める（図４参照）。そして、最小二乗法により、その全ての対応する特徴点と三次元形状点間のｄｘ，ｄｙが最小値に収束するまで繰り返しフィッティングを行い、顔画像ＴＦＩを標準顔モデルＧＦＭに合わせこむ。図７には、標準顔モデルＧＦＭとのフィッティング後のフィッティング顔モデルＦＭの一例を示している。

輝度マップ生成部１３では、顔画像ＦＩ（輝度画像）をＸ方向に沿って１列ずつスキャニングし、各画素（ｘ，ｙ）における輝度値Ｉを抽出する。図５には、顔画像ＦＩの全ての画素（ｘ，ｙ）における各輝度値Ｉを三次元座標（Ｘ，Ｙ，Ｉ）上にプロットした輝度分布ＩＤを示している。さらに、輝度マップ生成部１３では、姿勢パラメータＯの５つのパラメータＴ，Ｓ，Ｒｘ，Ｒｙ，Ｒｚに対して全ての画素（ｘ，ｙ）の輝度Ｉ（ｘ，ｙ）をそれぞれ対応付け、姿勢パラメータＯに対する輝度マップＩＭを生成する。撮像画像を取得する毎に、姿勢パラメータＯが検出されるとともに顔画像ＦＩの全画素（ｘ，ｙ）の輝度値Ｉも抽出され、輝度マップＩＭが生成される。図５には、所定の姿勢パラメータＯにおける全ての画素（ｘ，ｙ）の輝度値Ｉを六次元座標（Ｔ，Ｓ，Ｒｘ，Ｒｙ，Ｒｚ，Ｉ）上にプロットした輝度マップＩＭを示している。なお、図５では、便宜上、姿勢パラメータＯと輝度Ｉとの二次元座標系で描いている。

形状−輝度データベース１４は、所定のメモリ領域に構築され、多数のサンプルの人の顔１，・・・，Ｎ毎に、様々な姿勢（姿勢パラメータＯ）Ａ，Ｂ，・・・に対する輝度マップＩＭ、形状情報ＳＩ、輝度分布ＩＢ１，・・・、形状−輝度マップＳＩＭ１，・・・のデータからなる（図６参照）。輝度マップＩＭは、サンプルの顔についての輝度マップ生成部１３で生成される輝度マップと同じマップである。形状情報ＳＩは、サンプルの顔上の各点毎の奥行きを示す情報であり、三次元座標の原点と各点との距離ｒ及び角度θからなる奥行きパラメータφ（ｒ，θ）で表される。輝度分布ＩＢは、サンプルの顔の各画素の輝度値からなる輝度の分布である。輝度分布ＩＢは、顔に当たる光の状態による反射や影の様々な状態に応じて生成される。また、輝度分布ＩＢは、顔にメガネやアクセサリなどが設けられた状態に応じても生成される。図６に示す例では、姿勢Ａの場合、輝度分布ＩＢ１Ａは完全散乱の状態での輝度分布であり、顔全体の輝度が高い、輝度分布ＩＢ２Ａは左側に影がある状態での輝度分布であり、顔の左側領域とその他の領域とでは輝度に相対的な差がある。形状−輝度マップＳＩＭは、輝度分布ＩＢ毎に生成され、形状情報ＳＩの顔の各点毎の奥行きパラメータφの２つのパラメータｒ，θに対して輝度分布ＩＢの全ての画素点（ｘ，ｙ）の輝度Ｉ（ｘ，ｙ）をそれぞれ対応付けたマップである。したがって、この形状−輝度マップＳＩＭは、各サンプルの姿勢毎の各点における奥行き情報とその各点の輝度情報の関係を示しており、顔表面の影と反射の状態や顔に設けられている物などの情報も反映されている。図６に示す例では、各点（ｘ，ｙ）に対応する距離ｒと角度θにその点の輝度値Ｉをプロットした三次元座標（ｒ，θ，Ｉ）上の形状―輝度マップＳＩＭを示している。図６では、便宜上、奥行きパラメータφと輝度Ｉとの二次元座標系で描いている。なお、形状−輝度データベース１４におけるサンプルの顔の数、姿勢の数、影と反射の状態の数や顔に設ける物の数が多いほど、復元する三次元顔モデルの精度を向上させることができるとともに、形状−輝度データベース１４に対する探索精度も向上する。また、形状−輝度データベース１４におけるサンプルの顔には、カメラ２で撮像される人の顔が含まれていても、あるいは、含まれていなくてもよい。

形状−輝度データベースの構築方法としては、レーザレンジスキャナなどによって、サンプルの各顔について様々な姿勢毎に顔の各点の三次元データを取得し、この取得した三次元データから形状情報ＳＩを生成する。また、カメラによって、サンプルの各顔について様々な姿勢毎にライティングの状態を変えながら（顔における影と反射の分布を変えながら）撮像し、その各撮像画像（輝度画像）から輝度分布ＩＢ，・・・をそれぞれ生成する。また、カメラによって、サンプルの各顔について様々な姿勢毎にメガネや各種アクセサリを変えて撮像し、その各撮像画像（輝度画像）から輝度分布ＩＢ，・・・をそれぞれ生成する。そして、サンプルの各顔について姿勢毎に、姿勢パラメータＯと完全散乱の輝度分布ＩＢから輝度マップＩＭを生成する。また、サンプルの各顔について姿勢毎に、形状情報ＳＩと各輝度分布ＩＢ，・・・から形状−輝度マップＳＩＭ，・・・をそれぞれ生成する。図１０には、サンプルの顔の画像（参照画像）の一例、その参照画像から生成した輝度分布を示す画像の一例、そのサンプルの顔の形状情報を示し画像の一例を示している。

マッチング部１５では、姿勢パラメータＯと輝度マップＴＭにより形状−輝度データベース１４を探索し、顔画像ＦＩにマッチングするデータを抽出する。具体的には、まず、形状−輝度データベース１４から、顔画像ＦＩから検出した姿勢パラメータＯと同じかあるいは最も近い姿勢を含んでいるサンプルの顔のデータを抽出する。さらに、抽出した複数（１つの場合もある）のサンプルの顔のデータから、顔画像ＦＩから生成した輝度マップＩＭに最も類似する輝度マップを含んでいるサンプルの顔のデータを抽出する。最後に、抽出したある１つのサンプルの顔のデータから、顔画像ＦＩから生成した輝度マップＩＭに最も類似する形状−輝度マップを抽出する。そして、マッチング部１５では、その抽出した形状−輝度マップに対応する輝度分布ＩＢ及び形状情報ＳＩを取得する。図８に示す例では、顔画像ＦＩ１が取得された場合、形状−輝度データベース１４からメガネの部分の輝度値が低くなっている輝度分布ＩＢ１や顔の左側の高反射部分の輝度値が高くなっている輝度分布ＩＢ２などが得られる。また、図９に示す例では、顔画像ＦＩ２が取得された場合、形状−輝度データベース１４から顔の上方の右側の影部分の輝度値が低くなっている輝度分布ＩＢ３が得られる。これらの輝度分布ＩＢ１，ＩＢ２，ＩＢ３から、顔の影や反射の状態や顔に設けている物の情報を取得できる。

三次元顔モデル復元部１６では、取得した形状情報ＳＩから顔の各点の奥行きパラメータφ（ｒ，θ）を取得し、顔モデルフィッティング部１２で生成したフィッティング顔モデルＦＭの顔の各部に対して奥行きをそれぞれ当てはめる。そして、三次元顔モデル復元部１６では、フィッティング顔モデルＦＭに奥行き情報が加味された三次元顔モデルＲＭを生成する。また、三次元顔モデル復元部１６では、取得した輝度分布ＩＢから顔表面の影や反射の情報を取得するとともに、メガネやアクセサリなどの情報がある場合にはその情報も取得する。そして、三次元顔モデル復元部１６では、その生成した三次元顔モデルＲＭを画像などで出力するための出力信号を生成し、その出力信号をモニタ３に送信する。また、三次元顔モデル復元部１６では、顔の影や反射の分布や顔に設けた物の情報などの顔の特徴を示す情報を出力するための出力信号を生成し、その出力信号をモニタ３に送信する。

なお、三次元顔モデル復元部１６では、取得した顔の影や反射の情報などを加味して三次元顔モデルを生成してもよい。また、三次元顔モデル復元部１６では、必要に応じて、生成した三次元顔モデルＲＭを基準にして、顔の向いている方向、顔のサイズ、顔の影や反射の状態などを変化させた三次元顔モデルを生成する。

図１１には、図９（ａ）の顔画像ＦＩ３を取得した場合の復元した三次元顔モデルを示している。正面を向いた三次元顔モデルＲＭ１を基準にして、右方向にそれぞれ向いた三次元顔モデルＲＭ２，ＲＭ３，ＲＭ４が生成され、左方向にそれぞれ向いた三次元顔モデルＲＭ５，ＲＭ６，ＲＭ７が生成されている。これらの三次元顔モデルＲＭ１，・・・は顔の凹凸が正確に表されており、取得した顔画像ＦＩ３における人の顔の三次元形状が高精度に復元されている。

図１を参照して、画像処理装置１における動作について説明する。特に、画像処理部４における処理について図１２のフローチャートに沿って説明する。図１２は、図１の画像処理部における処理の流れを示すフローチャートである。

画像処理部４には、三次元の標準顔モデルが保持されているとともに、形状−輝度データベース１４が構築されている。

カメラ２では、ある人物の任意の姿勢の顔を撮像し、その撮像画像を示す画像信号を画像処理部４に送信する。画像処理部４では、カメラ２から画像信号を受信し、撮像画像を取得する（Ｓ１）。

画像処理部４では、撮像画像を輝度画像に変換し、その輝度画像から顔全体を含む領域を抽出する。そして、画像処理部４では、その顔画像から多数個の特徴点を抽出し（Ｓ２）、特徴点を利用して顔の姿勢パラメータＯ（Ｓ，Ｔ，Ｒｘ，Ｒｙ，Ｒｚ）を検出する（Ｓ３）。また、画像処理部４では、特徴点に基づいて、二次元の顔画像と三次元の標準顔モデルとのフィッティングを行い、フィッティング顔モデルＦＭを生成する（Ｓ４）。

画像処理部４では、姿勢パラメータＯの５つのパラメータＴ，Ｓ，Ｒｘ，Ｒｙ，Ｒｚに対して顔画像中の全ての画素（ｘ，ｙ）の輝度値Ｉをそれぞれ対応付け、姿勢パラメータＯに対する輝度マップＩＭを生成する（Ｓ５）。そして、画像処理部４では、検出した姿勢パラメータＯにより形状−輝度データベース１４を探索し、姿勢パラメータＯと同じ姿勢かあるいは最も近い姿勢を含んでいるサンプルの顔のデータを抽出する（Ｓ６）。さらに、画像処理部４では、生成した輝度マップＩＭによりその姿勢を含んだサンプルの顔のデータを探索し、輝度マップＩＭに最も類似する輝度マップを含んでいるサンプルの顔のデータを抽出する（Ｓ６）。最後に、画像処理部４では、生成した輝度マップＩＭにより類似する輝度マップを含んだサンプルの顔のデータを探索し、輝度マップＩＭに最も類似する形状−輝度マップを抽出する（Ｓ６）。

画像処理部４では、形状−輝度データベース１４から抽出した形状−輝度マップに対応する輝度分布ＩＢ及び形状情報ＳＩを取得する。そして、画像処理部４では、輝度分布ＩＢから顔上の影や反射の情報を取得するとともに、メガネやアクセサリなどの情報がある場合にはその情報も取得する（Ｓ７）。また、画像処理部４では、形状情報ＳＩから顔の各点の奥行き情報を取得する（Ｓ８）。そして、画像処理部４では、Ｓ４で生成したフィッティング顔モデルＦＭの顔の各部に対して奥行きをそれぞれ当てはめ、三次元顔モデルＲＭを復元する（Ｓ９）。この復元においては、影や反射などの情報も加味してもよい。

画像処理部４では、復元した三次元顔モデルＲＭを表示するための出力信号を生成し、その出力信号をモニタ３に送信する。モニタ３では、出力信号に応じて三次元顔モデルＲＭを表示する。この表示された三次元顔モデルＲＭは、カメラ２で撮像された人の顔の表面形状に沿った凹凸を有しており、高精度なモデルである。

この画像処理装置１によれば、形状−輝度データベース１４から様々な顔や各顔における姿勢や影と反射の状態に応じた情報を取得できる構成とすることにより、単眼カメラによる単一の撮像画像から個々の人の顔の三次元形状に応じた高精度な三次元モデルを復元することができる。特に、画像処理装置１では、頬や額などの単調な部分でも、個々の人の顔の三次元形状を忠実に復元することができる。また、画像処理装置１では、撮像画像における人の顔の影や反射の状態が変わっても、また、メガネやアクセサリなどを付けている状態でも、それぞれの状態に対して識別可能であり、形状−輝度データベース１４から各状態に対応する情報を取得することができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では個々の人の顔の三次元顔モデルを復元する画像処理装置に適用したが、復元する対象物としては、三次元標準モデルを構築することができる一般的な形状（特に、奥行き）を求めることができる物体であれば適用でき、例えば、人の体、動物の顔、動物の体、ある車種の自動車である。

また、本実施の形態ではパーソナルコンピュータなどのコンピュータ上でアプリケーションプログラム（ソフトウエア）を実行することによって各部を構成したが、ハードウエアによって各部を構成してもよい。

また、本実施の形態では二次元画像の取得手段としてカメラを適用したが、カメラに限定することなく他の手段でもよく、例えば、ネットワークなどを介して画像を取得する手段でもよいし、各種記憶媒体に記憶されている画像データを読み出すことによって取得する手段でもよい。

また、本実施の形態では顔画像から特徴点を抽出し、その特徴点に基づいて顔画像と標準顔モデルとをフィッティングすることによって三次元顔モデルを復元する構成としたが、三次元モデルを復元する方法としては他の方法でもよい。

また、本実施の形態では形状情報として顔の各点の奥行き情報を表す距離ｒと角度θからなる奥行きパラメータφとしたが、顔の三次元形状を表す他の情報でもよく、例えば、顔の各点の三次元座標でもよい。

本実施の形態に係る画像処理装置の構成図である。 スケールパラメータＳの説明図である。 移動パラメータと回転パラメータの説明図であり、（ａ）が移動パラメータＴによる移動であり、（ｂ）がＺ軸回転パラメータＲｚによるＺ軸回りの回転であり、（ｃ）がＹ軸回転パラメータＲｙによるＹ軸回りの回転であり、（ｄ）がＸ軸回転パラメータＲｘによるＸ軸回りの回転である。 二次元の顔画像と三次元の標準顔モデルのフィッティングの説明図である。 輝度マップの構築の説明図である。 形状−輝度データベースの一例である。 顔画像と標準顔モデルのフィッティングの一例である。 顔画像とその輝度分布の一例であり、（ａ）が顔画像であり、（ｂ）がメガネを掛けている場合の輝度分布を示し、（ｃ）が顔の左側が高反射の場合の輝度分布を示している。 顔画像とその輝度分布の他の例であり、（ａ）が顔画像であり、（ｂ）が顔の上方の右側が影の場合の輝度分布を示している。 形状−輝度データベースを構築するための参照画像、輝度分布、形状情報の一例である。 復元した三次元顔モデルの一例である。 図１の画像処理部における処理の流れを示すフローチャートである。

符号の説明

１…画像処理装置、２…カメラ、３…モニタ、４…画像処理部、１０…姿勢検出部、１１…標準顔モデル保持部、１２…顔モデルフィッティング部、１３…輝度マップ生成部、１４…形状−輝度データベース、１５…マッチング部、１６…三次元顔モデル復元部

Claims (4)

1. 個々に異なる三次元形状を有する対象物の複数のサンプルについての姿勢毎の形状と輝度の変化情報及び形状情報を保持する保持手段と、
   対象物の二次元画像を取得する取得手段と、
   前記複数のサンプルについての姿勢毎の形状と輝度の変化情報から前記二次元画像における対象物に対応するサンプルの姿勢の形状と輝度の変化情報を特定する特定手段と
   を備えることを特徴とする画像処理装置。
2. 前記二次元画像における対象物の特徴点を抽出する抽出手段と、
   前記抽出手段で抽出した特徴点に基づいて前記二次元画像における対象物と対象物の標準の三次元モデルの対応付けを行う対応付け手段と、
   前記特定手段で特定したサンプルの姿勢における形状情報を用いて、前記対応付け手段で対応付けた二次元画像における対象物と標準の三次元モデルにより対象物の三次元復元を行う復元手段と
   を備えることを特徴とする請求項１に記載する画像処理装置。
3. 個々に異なる三次元形状を有する対象物の複数のサンプルについての姿勢毎の形状と輝度の変化情報及び形状情報を保持しており、
   対象物の二次元画像を取得する取得ステップと、
   前記複数のサンプルについての姿勢毎の形状と輝度の変化情報から前記二次元画像における対象物に対応するサンプルの姿勢の形状と輝度の変化情報を特定する特定ステップと
   を含むことを特徴とする画像処理方法。
4. 前記二次元画像における対象物の特徴点を抽出する抽出ステップと、
   前記抽出ステップで抽出した特徴点に基づいて前記二次元画像における対象物と対象物の標準の三次元モデルの対応付けを行う対応付けステップと、
   前記特定ステップで特定したサンプルの姿勢における形状情報を用いて、前記対応付けステップで対応付けた二次元画像における対象物と標準の三次元モデルにより対象物の三次元復元を行う復元ステップと
   を含むことを特徴とする請求項３に記載する画像処理方法。
   

Images