JP2004520659A - ２次元画像から３次元表現を生成する装置及び方法 - Google Patents

Abstract

２次元画像から３次元表現を生成する装置は、２次元画像を処理して２次元画像から３次元画像を生成するための情報を記憶するメモリ装置と、デジタル表現から２次元画像を生成することによって、また２次元画像に対応する３次元画像を生成することによって、画像のデジタル表現を処理する処理装置と、３次元画像及び３次元画像のデジタル信号表現を出力する出力装置と、を有する。関連方法も開示される。

Description

【０００１】
【発明の属する技術分野】
本発明は、２次元画像から３次元表現を生成及び／又は獲得する装置及び方法に関し、更に具体的には、２次元画像から３次元画像を生成する装置及び方法に関する。
【０００２】
この装置は、中央処理コンピュータ、ネットワーク・コンピュータ、及び／又はサーバ・コンピュータ、及び任意数のコンピュータ、リモート・コンピュータ、クライアント・コンピュータ、及び／又は中央処理コンピュータ、ネットワーク・コンピュータ、及び／又はサーバ・コンピュータとの通信を容易にする任意の他の通信装置を含む。それぞれのコンピュータ及び／又は通信装置の各々は、ここで説明される処理ルーチン及び／又は機能を実行するために、必要及び／又は所望のハードウェア、周辺装置、及び／又はソフトウェアを含むことができる。
【０００３】
本発明の装置及び方法は、デジタルであれ他の形式であれ、任意のタイプの２次元画像、及び／又は任意の他の画像、及び／又は画像表現から３次元画像を生成するために利用されることができる。この点に関して、本発明の範囲は、ここで説明される特定の例及び／又はアプリケーションによって限定され、及び／又はそれらに限定されると解釈されてはならない。
【０００４】
【従来の技術】
出願人は、次の参考文献の主題と教示を参照し、それらの内容を本明細書に組み込む。
【非特許文献１】
Ｃｏｏｔｅｓ ｅｔ ａｌ： ”Ｔｒａｉｎｉｎｇ ｍｏｄｅｌｓ ｏｆ ｓｈａｐｅ ｆｒｏｍ ｓｅｔｓ ｏｆ ｅｘａｍｐｌｅｓ”， Ｐｒｏｃ：Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ， Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ， １９９２ ｐｐ． ９−１８．
【非特許文献２】
Ｃｏｏｔｅｓ ｅｔ ａｌ： ”Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌｓ−Ｓｍａｒｔ Ｓｎａｋｅｓ”， ｉｎ Ｐｒｏｃ： Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ， Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ， １９９２， ｐｐ．２６６−２７５．
【非特許文献３】
Ｌａｎｔｉｓ ｅｔ ａｌ： ”Ａ ｕｎｉｆｉｅｄ ａｐｐｒｏａｃｈ ｔｏ ｃｏｄｉｎｇ ａｎｄ ｉｎｔｅｒｐｒｅｔｉｎｇ ｆａｃｅ ｉｍａｇｅｓ”， Ｐｒｏｃ．： ＩＣＣＶ １９９５， ｐｐ．３６８−３７３．
【非特許文献４】
インターネットＵＲＬ： ｈｔｔｐ：／／ｗｗｗ．ｗｉａｕ．ｍａｎ．ａｃ．ｕｋから発見できるＷｏｌｆｓｏｎ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ Ｕｎｉｔのウェブ・サイト
【０００５】
目次
（１）まえがき
（２）アルゴリズムの概観
（ａ）主成分の解析
（ｂ）２Ｄ顔面の発見
（ｃ）２Ｄから３Ｄへの変換
（３）データ
（４）参考文献
【０００６】
（１）まえがき
本明細書は、２Ｄ画像から人の顔の３Ｄ表現を得るために使用できる手法を説明する。そのような手法の要件は、簡単に言えばデータ入力とデータ出力として要約される。データ入力要件は、人の顔の２Ｄデジタル画像として概括される。更に詳細な要件（例えば画像の解像度、焦点など）は、後のセクションで説明される。データ出力要件は、オリジナルの２Ｄ画像をテクスチャ・マップとして組み込んだ人の顔の忠実３Ｄ表現として概括することができる。語句「忠実表現」の厳密な定義は、仮定される市場の要件として後のセクションで説明される。例えば、ゲーム市場に対しては低ポリゴン・カウント低正確度要件であるか、マグショット市場に対しては高ポリゴン・カウント高正確度要件である。これらの要件は、アルゴリズム及びそのアプリケーションの全ての様相に影響を与える。しかし、基礎にある手法は不変のままである。多くの異なった医療アプリケーションは、統計モデリング・アルゴリズムの使用、人の心室の位置及び追跡、一連の超音波画像から脳表面の溝の３Ｄモデリングに至るまで利益を受けてきた。セクション４は、手法のアプリケーションの幾つかを説明する３つの参考文献を提供する。更なる参考文献（そして、更なる詳細）については、読者はｗｗｗ．ｗｉａｕ．ｍａｎ．ａｃ．ｕｋから発見できるＷｏｌｆｓｏｎ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ Ｕｎｉｔのウェブ・サイトを参照されたい。
【０００７】
（２）アルゴリズムの概観
アルゴリズムは、主成分解析（ＰＣＡ）と呼ばれる多変量数学モデリング手法に基づいている。ＰＣＡは、ｎ次元データ・セットにおける変動のコンパクトな統計表現を提供する。
【０００８】
（２ａ）主成分解析
ＰＣＡの簡単な例は、図１に示される。データ・セットは多くのデータ・ポイントから構成され、各々のポイントは、２つの変数（ｘ及びｙ次元）によって表現される。しかし、グラフは、各々のデータ・ポイントが、単一の変数及び基底変換と呼ばれるものによって、どのように表現されることができるかを示す。基底変換は、１つの軸が最も大きい変動の線（この場合、正の対角線）に沿って存在し、他の軸が次に大きい変動の線（この場合、ゼロの変動を有する負の対角線）に沿って存在するように、有効に軸を新しい方向に向ける。この基底変換の結果の効果は、各々のデータ・ポイントが、正の対角線（即ち、最も大きい変動の軸）に沿って距離を記述する単一の変数によって表現されることを可能にする。従って、よりコンパクトな表現が達成される。
図１：ＰＣＡの簡単な図
大きな変動の軸
【０００９】
統計的に有意なトレーニング・セットから得られた現実世界の変数を表すデータ（例えば、人の顔の画像における眼の２Ｄ位置）へＰＣＡを適用することは、よりコンパクトな表現を生じる。更に、統計的にモデル化された軸は、より有意な変動モードを表現する。人の顔を例に取ると、極端に単純なイラストは、人の顔の縦横比を表す第１の変動モードとして視覚化されることができ、第２の変動モードは、口などのサイズを表してよい。
【００１０】
（２ｂ）２Ｄ顔面モデルの構築
２Ｄ顔面モデルは、２Ｄ画像の注釈されたトレーニング・セットから構成される。注釈つきの２Ｄ画像の例は、図１及び図２に示される。
【００１１】
注釈の中の各々のポイントは、２つの変数（ｘ位置及びｙ位置）を表し、各々の注釈はｎ個のポイントを含む。従って、２ｎ個の変数を含む単一の観察ベクトルは、顔面の形状を表す。顔面形状の統計モデルを構成するため、観察ベクトルのトレーニング・セットは、最初に正規化されて、尺度及び配置向きを除去される。即ち、各々の顔面形状は、回転させられ（ある向きの配置にして）、平均の形状又はトレーニング・セット内の最初の形状に関して決められる。次に、正規化された観察ベクトルのトレーニング・セットから共分散行列を構成することによって、モデルの構築が進行する。
【００１２】
２Ｄ顔面空間から主成分集合への基底変換を表す直交固有ベクトルの集合を抽出するため、固有解析が共分散行列に対して実行される。固有ベクトルの行列（Ｐ）の次元数は、減少する固有値に関して列固有ベクトルを順序づけることによって、著しく減少させることができる。固有値は、固有ベクトルによって表された各々の直交軸における分散に等しい。現実のデータ・セットでは、トレーニング・データ・セット変動の９０〜９５％を表すために必要な固有値の数は、１０個にまで小さくすることができる。従って、２００個の要素（１００個のポイント）を有する観察ベクトルの場合、顔面形状を表すための変数の必要な数（主成分としても知られる）は、２０分の１へ減少した。即ち、顔面形状は、よりコンパクトな表現となる。更に、主成分の各々は、より有意な変動を記述する変動モードを表す。
【００１３】
方程式１：ｘ_ｉ＝Ｐｂ_ｉ＋ｍ
ここで、ｘ_ｉ＝ｉ番目の観察ベクトル、即ち、注釈ポイント
Ｐ＝固有ベクトルの直交行列
ｂ_ｉ＝主成分のｉ番目の減少時限数ベクトル
ｍ＝平均観察ベクトル、即ち、平均顔面注釈
【００１４】
方程式２：ｂ_ｉ＝Ｐ^Ｔ（ｘ_ｉ−ｍ）
方程式１を使用して、主成分のベクトルは、観察ベクトル、従って顔面形状へ変換されることができる。行列Ｐは直交行列であるから、方程式２は、観察ベクトルを主成分のベクトルへ変換するために使用されることができる。
【００１５】
（２ｃ）２Ｄ顔面の発見
一度、人の顔を表す数学モデルが、顔面の２Ｄ画像の統計的に有意な（例えば、人の顔の変動を十分に表すリアルな断面の）トレーニング・セットを使用してトレーニングされると、それは２Ｄ画像の顔面を発見するために使用されることができる。従って、顔面の新しい（即ち、トレーニング・セットの中に存在しない）画像が与えられると、顔面の関係する部分（例えば、眼、顎など）を自動的に発見することができる。顔面を発見するためには、反復サーチ・ストラテジーが使用される。顔面の位置を２Ｄ画像で提供し、最初に推定するためには、平均観察ベクトル（ｍ）が使用される。続いて、各々の注釈ポイントにおける関連の特徴（この特徴は、単に、注釈ポイントが存在する端部であってよい）の局所サーチが実行され、画像内の顔面注釈のために新しい位置を推定するために使用される。各々の反復で、顔面注釈の最も現実的な位置を最良に推定するため、モデルが使用される。最良の推定は、新しい顔面注釈（方程式２）から主成分のｂベクトルを計算することによって得られる。次に、最良注釈推定（ｘ）（方程式１）を得るために、ｂベクトルが使用される。反復プロセスは、ｂベクトル内の値がほぼ一定になるまで継続する。従って、モデルは、顔面が発見されるまで、統計的にリアルになるようにサーチを強制する。
【００１６】
サーチ・ストラテジーの速度は、マルチ解像度アプローチを利用することによって改善されることができる。この場合、画像は平滑化され（ガウス平滑化）、２のファクタでサブサンプリングされ、従ってオリジナルのサイズの半分の画像を生成する。サブサンプリングされた画像は平滑化され、再びサブサンプリングされ、オリジナルのサイズの４分の１の画像が生成される。平滑化とサブサンプリングは、画像のピラミッドを生成するまで継続される。各々の画像解像度（ピラミッドのレベル）で注釈を生成するため、注釈の位置が調節される（２のファクタで）。ＰＣＡモデルは、各々の解像度レベルで構築される。顔面は、次のようにして、新しい画像として発見される。最初に、オリジナルの画像から画像ピラミッドを構築する。次に、最低解像度モデルを最低解像度画像へ適用する。即ち、最低解像度画像の顔面を発見する。結果として発見された顔面の位置は、次の解像度でサーチを開始するための初期推定として使用される。このプロセスは、最高解像度の顔面（即ち、オリジナルの画像）が発見されるまで継続する。
【００１７】
（２ｃ）２Ｄから３Ｄへの変換
顔面の３Ｄ表現の構成は、２つの方法で達成されることができる。これらの双方は、出力要件によって駆動される。単純一般３Ｄ表現は、顔面が、前に簡単に説明された手法を使用して発見された後、２Ｄ顔面画像からテクスチャ・マッピングされることができる。これは、幾つかの市場（例えば、忠実３Ｄ再構成が要件ではないゲーム市場）に対して十分であるかも知れない。第２の手法は、２Ｄ顔面モデルと全く同じように人の顔の３Ｄ統計モデルを構築することが必要であるが、今度は３Ｄデータを使用する。３Ｄの場合、各々のポイントは３つの変数（ｘ、ｙ、ｚ）によって記述される。このようにして、２Ｄ顔面は前述のように発見されることができ、３Ｄ顔面モデルへの入力として使用される。次に、３Ｄ顔面モデルは、２Ｄ顔面に基づいて３Ｄ顔面の最もリアルな推定を再構成することができる。結果の３Ｄモデルがどの程度リアルであるかは、トレーニング・セット（２Ｄ及び３Ｄ）の統計的有意性及びパラメータ表現（例えば、唇を２本の線で表現するか、３本の線で表現するか）に依存するであろう。理論は、もしトレーニング・セットが大衆の中に存在する可変性を含むならば、常に忠実表現を達成できることを暗示している。しかし、実際には、これはリーブ・ワン・アウト・テスティング（ｌｅａｖｅ−ｏｎｅ−ｏｕｔ ｔｅｓｔｉｎｇ）のような手法を介して量子化されなければならないだろう。なぜなら、可変性が十分に捕獲されたとは、決して想定できないからである。（余談だが、私は、新しい（未知の）画像の顔面を発見することのできる２Ｄ顔面モデルを成功裏に作り出した研究者と一緒に働いたことがある。モデルは、約５０〜１００個の顔面を含むデータベースから構築されていた。）
【００１８】
（３）データ
２Ｄ顔面画像は、顔面の特徴を忠実に表すことのできる解像度を有しなければならない。標準デジタル・カメラからの画像又は標準フラットベッド・ドキュメント・スキャナを介して走査された画像は、関係する顔面特徴を忠実に表す十分な解像度を提供することが分かった。低解像度２Ｄ画像から顔面を再構成することは可能であるかも知れないが、これはテストに残されている。
【００１９】
顔面画像は、正面からの顔面画像でなければならない。顔面を画像の中心に配置することは重要ではない。しかし、テクスチャ・マッピングを成功させるためには、顔面の全体が画像の中に存在しなければならない。上記の手法は、顔面特徴の位置の最良の推定を常に提供することができるが、それらの位置の正確性は、画像の焦点によって悪影響を受けるであろう。悪い焦点の画像は、不正確な特徴位置を生じ、不鮮明なテクスチャ・マッピングを生じるであろう。
【００２０】
トレーニング・セットの中の３Ｄ顔面の数は、３Ｄ顔面の忠実表現を実効化する重要なファクタである。もし比較的に低い忠実度の表現が要求されるのであれば、トレーニング・セット内の３Ｄ顔面の数は、３０まで低くしてよい。再び、これは後で決定される余地がある。忠実度の高い３Ｄ表現を必要とする市場に対して十分なモデルを生成及び適用するためには、トレーニング・セットは、人の顔の可変性を捕獲するのに十分な大きさでなければならない。これらの市場を追求する場合、モデルを生成するために必要な追加リソースに注意すれば、同じモデルを全ての市場に使用することができる。
【００２１】
本発明の装置及び方法は、金融取引及び／又は金融取引情報を処理することができる。金融取引は、商業環境で本発明の利用を容易にするため、ここで説明された画像処理ルーチンと組み合わせて処理されることができる。
【００２２】
（５）参考文献。出願人は、次の参考文献の主題と教示を参照し、それらの内容を本明細書に組み込む。
（１）Ｃｏｏｔｅｓ ｅｔ ａｌ： ”Ｔｒａｉｎｉｎｇ ｍｏｄｅｌｓ ｏｆ ｓｈａｐｅ ｆｒｏｍ ｓｅｔｓ ｏｆ ｅｘａｍｐｌｅｓ”， Ｐｒｏｃ： Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ， Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ， １９９２ ｐｐ． ９−１８．
（２）Ｃｏｏｔｅｓ ｅｔ ａｌ： ”Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌｓ−Ｓｍａｒｔ Ｓｎａｋｅｓ”， ｉｎ Ｐｒｏｃ： Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ， Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ， １９９２， ｐｐ．２６６−２７５．
（３）Ｌａｎｔｉｓ ｅｔ ａｌ： ”Ａ ｕｎｉｆｉｅｄ ａｐｐｒｏａｃｈ ｔｏ ｃｏｄｉｎｇ ａｎｄ ｉｎｔｅｒｐｒｅｔｉｎｇ ｆａｃｅ ｉｍａｇｅｓ”， Ｐｒｏｃ： ＩＣＣＶ １９９５， ｐｐ．３６８−３７３．

Claims (8)

1. ２次元画像を処理するための情報、及び前記２次元画像から３次元画像を生成するための情報を記憶するメモリ装置と、
   画像のデジタル表現を処理する処理装置と、ここで前記処理装置は、画像の前記デジタル表現から２次元画像を生成し、更に前記処理装置は、前記２次元画像に対応する３次元画像を生成することと、
   前記３次元画像及び前記３次元画像のデジタル信号表現の少なくとも１つを出力する出力装置と、
   を備える、２次元画像から３次元表現を生成する装置。
2. ２次元画像を処理するための情報、及び前記２次元画像から３次元画像を生成するための情報を記憶し、
   画像のデジタル表現を処理し、
   画像の前記デジタル表現から２次元画像を生成し、
   前記２次元画像に対応する３次元画像を生成し、
   前記３次元画像及び前記３次元画像のデジタル信号表現の少なくとも１つを出力すること、
   とを含む２次元画像から３次元表現を生成する方法。
3. 画像のデジタル表現を受信する受信器と、
   ２次元画像を処理するための情報、及び前記２次元画像から３次元画像を生成するための情報を記憶するメモリ装置と、
   画像の前記デジタル表現を処理する処理装置であって、画像の前記デジタル表現から２次元画像を生成し、更に前記２次元画像に対応する３次元画像を生成する、前記処理装置と、
   前記３次元画像及び前記３次元画像のデジタル信号表現の少なくとも１つを出力する出力装置と、前記３次元画像及び前記３次元画像のデジタル信号表現の少なくとも１つを通信ネットワークを介してコンピュータ及び通信装置の１つへ送信する送信器と、のうち少なくとも１つと
   を備える、２次元画像から３次元表現を生成する装置。
4. 画像のデジタル表現を受信する受信器と、
   画像の前記デジタル表現を処理する処理装置であって、画像の前記デジタル表現から２次元画像を生成し、更に前記２次元画像に対応する３次元画像を生成する前記処理装置と、
   前記３次元画像及び前記３次元画像のデジタル信号表現の少なくとも１つを出力する出力装置と、前記３次元画像及び前記３次元画像のデジタル信号表現の少なくとも１つを通信ネットワークを介してコンピュータ及び通信装置の１つへ送信する送信器と、のうち少なくとも１つと
   を備える、２次元画像から３次元表現を生成する装置。
5. 画像のデジタル表現を受信し、
   ２次元画像を処理するための情報、及び前記２次元画像から３次元画像を生成するための情報を記憶し、
   画像の前記デジタル表現を処理し、
   画像の前記デジタル表現から２次元画像を生成し、
   前記２次元画像に対応する３次元画像を生成する、
   ことを含む２次元画像から３次元表現を生成する方法であって、
   前記３次元画像及び前記３次元画像のデジタル信号表現の少なくとも１つを出力すること、前記３次元画像及び前記３次元画像のデジタル信号表現の少なくとも１つを通信ネットワークを介してコンピュータ及び通信装置の１つへ送信すること、のうち少なくとも１つを含む、２次元画像から３次元表現を生成する方法。
6. 画像のデジタル表現を受信し、
   画像の前記デジタル表現を処理し、
   画像の前記デジタル表現から２次元画像を生成し、
   前記２次元画像に対応する３次元画像を生成する、
   ことを含む、２次元画像から３次元表現を生成する方法であって、
   前記３次元画像及び前記３次元画像のデジタル信号表現の少なくとも１つを出力すること、前記３次元画像及び前記３次元画像のデジタル信号表現の少なくとも１つを通信ネットワークを介してコンピュータ及び通信装置の１つへ送信することと、のうち少なくとも１つを含む２次元画像から３次元表現を生成する方法。
7. 前記処理装置が金融取引を処理する、請求項１、３、及び４のいずれか一項に記載の装置。
8. 更に、画像の前記デジタル表現の処理と組み合わせて金融取引を処理することを含む請求項２、５、及び６のいずれか一項に記載の方法。

Images