JP2006520054A - 不変視点からの画像照合および２次元画像からの３次元モデルの生成 - Google Patents

不変視点からの画像照合および２次元画像からの３次元モデルの生成 Download PDF

Info

Publication number
JP2006520054A
JP2006520054A JP2006509130A JP2006509130A JP2006520054A JP 2006520054 A JP2006520054 A JP 2006520054A JP 2006509130 A JP2006509130 A JP 2006509130A JP 2006509130 A JP2006509130 A JP 2006509130A JP 2006520054 A JP2006520054 A JP 2006520054A
Authority
JP
Japan
Prior art keywords
representation
source
projection
avatar
searched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006509130A
Other languages
English (en)
Inventor
ミラー，マイケル
Original Assignee
アニメトリクス，インク．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アニメトリクス，インク． filed Critical アニメトリクス，インク．
Publication of JP2006520054A publication Critical patent/JP2006520054A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

複数の特徴を含む３次元ソースオブジェクトにおける特徴に対して、特徴付けを行い、かつ、基準オブジェクト間で不変視点検索を実行することにより、そのようなオブジェクトの基準データベースの中から最もマッチングする３次元オブジェクトを探索する方法およびシステムを提供する。本発明はさらに、基準オブジェクトを変形することによりソースオブジェクトの３次元表現を作成することを含む。

Description

本発明はオブジェクトのモデル化およびマッチングシステム、より詳細には２次元および３次元入力からの対象オブジェクトの３次元モデルの生成に関する。
多くの状況において、オブジェクトの部分的な記述しか利用可能でない場合は、オブジェクトの３次元（３Ｄ）モデルを構築することが有用である。典型的な状況においては、３Ｄオブジェクトの２次元（２Ｄ）画像が１つまたは複数利用可能である。この２Ｄ画像は、様々な視点から撮影された写真であることが多い。複数の特徴を含むオブジェクトの３Ｄモデルを作成する一般的な方法は、モデル化されるオブジェクトの種類の包括的な例または典型的な例を表示する３Ｄベースモデルから始めて、次に、オブジェクトの２Ｄ画像を１つまたは複数用いてモデルにテクスチャを追加することである。例えば、複数の特徴を含むオブジェクトが人間の顔である場合、３Ｄ「アバター」（すなわち、電子的３Ｄグラフィック表現または絵的表現）は、人間の顔の既存の３Ｄ標準モデルを用い、そのモデルに顔の１つまたは複数の２Ｄ画像からのテクスチャをマッピングすることにより生成される。Ｆｒａｎｃｉｎｉ等に対する米国特許第６、５３２、０１１ Ｂ１号、およびＨａｓｈｉｍｏｔｏに対する米国特許第６、４３４、２７８ Ｂ１号を参照するとよい。この方法の大きな問題は、３Ｄジオメトリが、生成される実際の対象オブジェクトに対して、大して定義されてもおらず、適合化されてもいないことである。
上記の方法の一般的な変形形態では、テクスチャマッピングステップを実行する前に、一連の３Ｄベースモデルの中から、対象オブジェクトに最も似ているモデルが選択される。別法として、パラメータ化された単一のベースモデルが使用され、そのモデルのパラメータが対象に最も近似するように調節される。Ｂｌａｎｚ等に対する米国特許第６，５５６，１９６ Ｂ１号を参照するとよい。 これらの方法は、少なくともある程度、対象にマッチングするようにジオメトリを精緻にする役割を果たす。しかしながら、妥当な範囲の多様性を本来備える対象オブジェクトの場合、モデルのジオメトリを十分に対象に合わせることはできない。このように幾何学的なフィット性が欠けると、対象オブジェクトに対する３Ｄモデルの迫真性が損なわれる。
従来技術では通常、モデルのテクスチャリングに用いられる２Ｄ画像を、モデル化される３Ｄオブジェクトに関連する既知の視点から得る必要がある。このため、これらの方法を利用できるのは、対象オブジェクトを撮影できる制御された環境においてモデルが生成されるような状況だけに限定されることが多い。あるいは、２Ｄ画像を生成される３Ｄモデルに整合させるために、人間の介入に訴えなければならないことがあった。Ｌｉｕ等に対する米国公開第２００２／００１２４５４号を参照するとよい。この手作業が原因で、２Ｄ画像から３Ｄモデルを生成する速度が厳しく制限される。
したがって、３Ｄオブジェクトについて入手可能な２Ｄソースデータを系統的に利用して、オブジェクトの最適な３Ｄモデルを合成できる自動的方法が求められている。
本発明は、複数の特徴を含む対象オブジェクトを記述する部分的なソースデータしか利用可能でない場合にそのオブジェクトの最適な３Ｄモデルを生成するための自動的方法およびシステムを提供する。多くの場合、この部分的なソースデータは対象オブジェクトの１つまたは複数の２Ｄ投影または不明瞭な単一の投影を含むが、３Ｄカメラまたはスキャナーなどから得られた３Ｄデータを含んでいることもある。本発明は、対象オブジェクトが属するオブジェクトの様々な種類を、実行可能な範囲でカバーする一連の３Ｄ基準表現を使用する。本発明は、ソースデータと基準表現に共通である特徴項目を自動的に識別し、両者間の対応関係を決めることができる。例えば、対象オブジェクトが顔である場合、このシステムは目と口の端における点または鼻の輪郭を識別し、ソースデータにおけるこれらの特徴と基準表現におけるこれらの特徴との対応関係を決めることができる。必要に応じて、手作業による特徴項目の識別とマッチングを包含させることもできる。次に、各３Ｄ基準表現のすべての可能な位置（すなわち、配向と並進）を検索して、ソースデータに最もマッチングする投影となるような位置と基準表現の組み合わせを識別する。マッチング度は、３Ｄ表現の投影における特徴項目とソース投影における対応する特徴項目との間の最小平均２乗誤差（ＭＭＳＥ）などの尺度により決められる。２Ｄソース投影における特徴項目の推定逆投影位置と、３Ｄ表現における対応する特徴項目との比較が３Ｄにおいて行われる。次に、ソース投影との対応関係を最適化するために、最もマッチングする３Ｄ表現を変形してもよい。この変形中に、３Ｄ表現のジオメトリを定義するメッシュ内の各点が自由に移動できる。変形された３Ｄ表現を用いて、最もマッチングする位置（すなわち、配向と並進）の検索が繰り返される。また、変形と検索を収束が生じるまで繰り返してもよいし、任意の時点で終了してもよい。
したがって、３Ｄモデルのジオメトリは、２つの方法で対象オブジェクトに合わせて調整される。第１に、複数の基準表現を利用できる場合、一連の基準表現の中から最もマッチングする基準表現を選択することにより、最適な粗選択を実行できる。第２に、変形により、不正確な視点選択が原因で生じる誤差を反復によって徐々に低減する微調整が可能になる。本発明では、２Ｄソース投影を捕捉した視点に関する情報が不要である。その理由は、可能なすべての視点にわたって検索が実行され、投影された３Ｄ表現と２Ｄソースデータとの最良マッチングに対応する視点が選択されるからである。
本出願は、２００３年３月６日出願の米国仮出願第６０／４５２、４２９号、第６０／４５２、４３０号、および第６０／４５２、４３１号の優先権を主張し、その利益を享受するものであり、それらの開示の内容は、参照により援用したものとする。
第１の実施の形態においては、本発明は、複数の特徴を含むソースオブジェクトの２Ｄソース投影の少なくとも１つを３Ｄ基準オブジェクトの基準ライブラリと比較する方法を含んでいる。この方法によれば、類似と総称される、複数の特徴を含むオブジェクトの３Ｄ基準表現が複数与えられ、３Ｄ基準表現の不変視点検索が実行されて、ソース投影（１つまたは複数）に最も似ている２Ｄ投影を有する３Ｄ基準表現が探索される。一部の実施態様においては、類似性は、３Ｄ表現における特徴項目と２Ｄソース投影（１つまたは複数）における対応する特徴項目との整合度により決定される。実際に投影を生成することなく、３Ｄ表現の可能な２Ｄ投影の何等かの範囲にわたって各３Ｄ基準表現を検索してもよい。可能な２Ｄ投影の何等かの範囲にわたる検索は、少なくとも１つの２Ｄ投影における、複数の特徴を含むソースオブジェクトの視点と最適に適合する３Ｄ基準表現の剛体運動を計算するステップを含んでもよい。この剛体運動は、３次元におけるピッチ、ロール、ヨー、および並進を含んでもよい。アスペクト比や視野などのカメラパラメータを画像ランドマークから推定することにより、自動カメラ較正を実行してもよい。
一部の実施態様においては、３Ｄ基準表現に関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含む特徴項目が２Ｄソース投影（１つまたは複数）における特徴項目と投影的に一致適合するようにこれらの特徴項目の条件付き平均姿勢または幾何的位置合わせを推定することにより、最適な剛体運動を決めてもよい。投影された特徴項目の条件付き平均推定と３Ｄ基準表現における対応する特徴項目との間のＭＭＳＥ推定が生成される。２Ｄソース投影（１つまたは複数）に関連する既知の３Ｄ位置情報により剛体運動を制約してもよい。
一部の実施態様においては、特徴項目は、動的計画法を用いてソース投影から抽出される曲線と点を含んでもよい。さらに、領域および面および／またはサブボリュームを、等輪郭付け（マーチングキューブアルゴリズムなど）または自動分割アルゴリズムを用いて生成される特徴として用いてもよい。マッチングプロセスで使用される特徴項目を、２Ｄ投影（１つまたは複数）と少なくとも１つの３Ｄ基準オブジェクトの投影された画像との対応関係を用いて自動的に求めてもよい。
本発明は、複数の特徴を含むソースオブジェクトに似るように、探索された（すなわち、最もマッチングする）３Ｄ基準表現を変形することにより、２Ｄソース投影（１つまたは複数）の３Ｄ表現を作成するステップをさらに備えてもよい。一実施態様においては、この変形は、３Ｄ基準表現のジオメトリとトポロジを維持する働きをする大きな変形微分同相写像である。この変形ステップは、２Ｄソース投影（１つまたは複数）における特徴項目が、探索された３Ｄ基準表現における対応する特徴と整合するように、探索された３Ｄ表現を変形してもよい。この変形ステップは、剛体運動の有無にかかわらず行ってもよいし、アフィン運動を含んでもよい。さらに、２Ｄソース投影（１つまたは複数）に関連する少なくとも１つの既知の３Ｄ位置情報とソースオブジェクトの３Ｄデータとにより、この変形ステップを制約してもよい。この変形は、閉じた式を用いて実行してもよい。
第２の実施の形態においては、本発明は、複数の特徴を含むオブジェクトの２Ｄソース投影の少なくとも１つを３Ｄ基準オブジェクトの基準ライブラリと比較するシステムを備えている。このシステムは、類似と総称される、複数の特徴を含むオブジェクトの３Ｄ基準表現を複数含むデータベースと、３Ｄ基準表現の不変視点検索を実行して、ソース投影（１つまたは複数）に最も似ている２Ｄ投影を有する３Ｄ基準表現を探索するアナライザとを備えている。一部の実施態様においては、このアナライザは、３Ｄ表現における特徴項目と２Ｄソース投影（１つまたは複数）における対応する特徴項目との整合度により類似性を決定する。このアナライザは、実際に投影を生成することなく、３Ｄ表現の可能な２Ｄ投影の何等かの範囲にわたって各３Ｄ基準表現を検索してもよい。一部の実施態様においては、このアナライザは、少なくとも１つの２Ｄ投影における、複数の特徴を含むソースオブジェクトの視点と最適に適合する３Ｄ基準表現の剛体運動を計算することにより、可能な２Ｄ投影の何等かの範囲にわたって検索する。この剛体運動は、３次元におけるピッチ、ロール、ヨー、および並進を含んでもよい。このアナライザは、アスペクト比や視野などのカメラパラメータを画像ランドマークから推定することにより自動カメラ較正を実行するように構成してもよい。
一部の実施態様においては、このアナライザは、３Ｄ基準表現に関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含む特徴項目が２Ｄソース投影（１つまたは複数）における特徴項目と投影的に一致適合するように、点、曲線、面、およびサブボリュームを含む特徴項目の条件付き平均を推定することにより最適な剛体運動を決めるように構成されている。このアナライザはさらに、投影された特徴項目の条件付き平均推定と３Ｄ基準表現における対応する特徴項目との間のＭＭＳＥ推定を生成するように構成される。２Ｄソース投影（１つまたは複数）に関連する既知の３Ｄ位置情報により剛体運動を制約してもよい。
一部の実施態様においては、このアナライザは、動的計画法を用いてソース投影から特徴項目を抽出するように構成される。さらなる実施態様においては、このアナライザは、マッチングプロセスで使用される特徴項目を、ソース画像と少なくとも１つの３Ｄ基準オブジェクトの投影された画像との対応関係を用いて自動的に見いだすように構成してもよい。
本発明は、複数の特徴を含むソースオブジェクトに似るように、探索された（すなわち、最もマッチングする）３Ｄ基準表現を変形することにより、少なくとも１つの２Ｄソース投影の３Ｄ表現を作成する変形モジュールをさらに備えてもよい。一実施態様においては、この変形モジュールは、探索された３Ｄ基準表現のジオメトリとトポロジを維持する働きをする大きな変形微分同相写像を用いて、探索された３Ｄ基準表現を変形する。この変形モジュールは、２Ｄソース投影（１つまたは複数）における特徴項目が探索された３Ｄ基準表現における対応する特徴と整合するように、探索された３Ｄ表現を変形してもよい。この変形モジュールは、剛体運動を用いても用いなくてもよく、アフィン運動を用いてもよい。さらに、２Ｄソース投影（１つまたは複数）に関連する少なくとも１つの既知の３Ｄ位置情報とソースオブジェクトの３Ｄデータとにより、この変形モジュールを制約してもよい。この変形モジュールは、閉じた式に従って動作してもよい。
第３の実施の形態においては、本発明は、３Ｄソースオブジェクトを少なくとも１つの３Ｄ基準オブジェクトと比較する方法を備えている。この方法は、３Ｄソースオブジェクトと３Ｄ基準オブジェクト（１つまたは複数）の２Ｄ表現を作成するステップと、投影幾何を用いて３Ｄソースオブジェクトと３Ｄ基準オブジェクトとの対応関係を特徴付けるステップとを含んでいる。例えば、３Ｄソースオブジェクトの２Ｄ表現のための所定の視点により、この対応関係を特徴付けてもよい。
第４の実施の形態においては、本発明は、３Ｄソースオブジェクトを少なくとも１つの３Ｄ基準オブジェクトと比較するシステムを備えている。このシステムは、３Ｄソースオブジェクトと３Ｄ基準オブジェクト（１つまたは複数）の２Ｄ表現を作成する投影モジュールと、投影幾何を用いて３Ｄソースオブジェクトと３Ｄ基準オブジェクトとの対応関係を決めるアナライザとを備えている。
第５の実施の形態においては、上述の方法とシステムは、３Ｄオブジェクトが顔であり３Ｄ基準表現がアバターである場合に使用される。
第６の実施の形態においては、本発明は、複数の特徴を含むソースオブジェクトの２Ｄソース投影の少なくとも１つから３Ｄ表現を作成する方法を備えている。この方法によれば、類似と総称されるオブジェクトの３Ｄ基準表現が少なくとも１つ与えられ、与えられた表現（１つまたは複数）の１つが探索され、複数の特徴を含むソースオブジェクトに似るように、２Ｄソース投影（１つまたは複数）の３Ｄ表現が、探索された基準表現を２Ｄソース投影（１つまたは複数）に従って変形することにより作成される。一部の実施態様においては、２Ｄソース投影（１つまたは複数）を用いて基準表現が探索される。さらなる実施態様においては、基準表現の集合は複数のメンバーを含んでおり、必ずしも実際に投影を生成することなく、基準表現の集合の不変視点検索を実行することにより、２Ｄソース投影（１つまたは複数）に最も似ている基準表現が探索される。この検索は、少なくとも１つのソース投影における、複数の特徴を含むソースオブジェクトの視点と最適に一致適合する基準表現の剛体運動を計算するステップを含んでもよい。
好ましい実施態様においては、複数の特徴を含むソースオブジェクトに似るように、探索された基準表現を変形することにより、ソース投影（１つまたは複数）の３Ｄ表現が作成される。この変形は、大きな変形微分同相写像であってもよい。一部の実施態様においては、この変形により、ソース投影（１つまたは複数）における特徴項目が探索された３Ｄ基準表現における対応する特徴項目と整合するように、探索された基準表現が変形される。一部の実施態様においては、この変形はリアルタイムで実行される。
第７の実施の形態においては、本発明は、複数の特徴を含むソースオブジェクトの少なくとも１つの２Ｄソース投影から３Ｄ表現を作成するシステムを備えている。このシステムは、類似と総称されるオブジェクトの３Ｄ基準表現を少なくとも１つ含むデータベースと、与えられた表現（１つまたは複数）の１つを探索するアナライザとを含んでいる。このシステムは、複数の特徴を含むオブジェクトに似るように、２Ｄソース投影（１つまたは複数）に従って、探索された基準表現を変形することにより、２Ｄソース投影（１つまたは複数）の３Ｄ表現を作成する変形モジュールをさらに含んでいる。一部の実施態様においては、このアナライザは、１つまたは複数の２Ｄソース投影を用いて基準表現を探索する。さらなる実施態様においては、基準表現の集合は複数の要素を含んでおり、アナライザが、必ずしも投影を実際に生成することなく、基準表現の集合の不変視点検索を実行して、２Ｄソース投影（１つまたは複数）に最も似ている基準表現を探索する。この検索は、少なくとも１つのソース投影における、複数の特徴を含むソースオブジェクトの視点と最適に一致適合する基準表現の剛体運動を計算するステップを含んでもよい。
好ましい実施態様においては、この変形モジュールは、複数の特徴を含むソースオブジェクトに似るように、探索された基準表現を変形することにより、ソース投影（１つまたは複数）の３Ｄ表現を作成する。この変形は、大きな変形微分同相写像であってもよい。一部の実施態様においては、この変形モジュールは、ソース投影（１つまたは複数）における特徴項目が探索された３Ｄ基準表現における対応する特徴項目と整合するように、探索された基準表現を変形する。一部の実施態様においては、この変形モジュールはリアルタイムで動作する。
図１は、複数の特徴を含む３Ｄ対象オブジェクトが顔であり、３Ｄ基準表現の集合がアバターである場合の、本発明の基本動作を示している。マッチングプロセスは、マッチングすべき様々な種類の頭部を、実施可能な範囲で表す一連の３Ｄ基準アバターから始まる。例えば、アバターは、男女の顔、毛髪の量とヘアスタイルが異なる顔、様々な年齢の顔、および様々な人種を表す顔を含んでもよい。通常この基準集合には多数の（例えば数百以上の）アバターが含まれるが、本発明は基準オブジェクトが１つであっても機能するし、記憶空間と計算時間により許容される数であればオブジェクトがいくつであっても機能する。状況によっては、基準アバターが１つだけ使用される。このような状況は、例えば、最もマッチングするアバターが手作業または他の手段で既に選択されている場合や、利用可能な基準アバターが１つしかない場合に生じる。図１は、対象顔のソースデータを、未知の視点から撮影された３Ｄ対象顔の単一の２Ｄ写真として示している。最初に、マッチングに用いられる選択された特徴が、ソース写真において識別される。これらの特徴は、口と目の端などの点、輪郭や眉を表す曲線、その他の特徴的な曲線、あるいは眉、鼻、頬などの部分領域であってもよい。これに対応する特徴が基準アバターにおいて識別される。対象写真における特徴の選択と基準アバターにおける対応する特徴の識別は、本発明に従って自動的に行ってもよい。次に、不変視点検索が行われる。この検索においては、各３Ｄアバターが、可能なあらゆる剛体運動を概念上施され、特徴が２Ｄに投影される。投影されたアバター特徴の位置が、対象写真における特徴の位置と比較される。所定の剛体運動により、投影された特徴とソース写真における特徴が最もマッチングした場合のアバターが、最良基準アバターとして選択される。図１は、中央のアバターが、最もマッチングする基準アバターであることを示している。
次に、最良基準アバターが、さらに対象写真にマッチングするように変形される。まず、写真における特徴が、最良マッチングに対応する配向と位置において、最良基準アバターの座標に逆投影される。次に、写真における逆投影された特徴と、対応するアバター特徴との距離が最短になるように、アバターのメッシュ点が３Ｄにおいて変形される。この変形により、さらに３Ｄ対象顔に似たアバターが得られる。剛体運動検索ステップと変形ステップは、例えば、適合の質の向上を容易に認識できなくなるまで繰り返し実行してもよい。その結果得られる３Ｄモデルが、対象顔に最もマッチングしたモデルである。
本発明は、ソース画像に対象顔の一部しか含まれない場合や、サングラスや顔の毛などにより対象顔が部分的に不明瞭である場合でも効果的に使用することができる。本発明の方法は、顔、動物、植物、建物など、複数の特徴を含むあらゆるオブジェクトに適している。説明を簡単にするために、以下の説明においては、典型的な（ただしこれに限定されない）応用として顔に焦点を当てる。
図２Ａ、図２Ｂ、および図２Ｃは、代表的なアバターの構成要素を示している。本発明の一実施態様においては、アバターのジオメトリが、アバターの面に近似する三角ポリゴン集合の頂点である、３Ｄにおける点のメッシュにより表される。図２Ａは、三角ポリゴン表現の正面図２０２と側面図２０４を示している。一表現においては、各頂点に明度が与えられており、各三角面を、その頂点に割り当てられた明度の平均に従って色付けしてもよい。この明度は、写真を基に作成できる、図２Ｂに示した２Ｄテクスチャマップ２０６から決定される。図２Ｃは、テクスチャを有する最終的なアバターの正面図２０８と側面図２１０である。このアバターは、アバターに対して固定されている座標系が関連付けられ、３つの角自由度（ピッチ、ロール、ヨー）と、３空間における剛体中心の３つの並進自由度により指標付けされる。さらに、顎、歯、目などアバターの個々の特徴が、アバター記述の一部を形成する独自の局所座標（例えば顎軸）を有してもよい。本発明は、異なるデータ表現が用いられるアバターにも同様に適用してもよい。例えば、テクスチャ値をＲＧＢ値として表してもよいし、あるいはＨＳＬなど他の色表現を用いて表してもよい。アバター頂点を表すデータとアバター頂点間の関係は、種々様々であってもよい。例えば、メッシュ点をつないで、アバターの面を表す非三角ポリゴンを形成してもよい。
本発明は、３Ｄアバターから２Ｄ画像を生成する従来型のレンダリングエンジンを含んでもよい。このレンダリングエンジンをＯｐｅｎＧＬまたはその他の任意の３Ｄレンダリングシステムに実装してもよい。これにより、３Ｄアバターのカメラ視点を表す２Ｄ画像平面に３Ｄアバターを迅速に投影することができる。また、レンダリングエンジンにアバター照明の指定を含めてもよい。これにより、様々なアバター照明に対応する２Ｄ投影を生成することができる。色、強度、および位置が様々に異なる様々な数の光源に対応する照明を生成してもよい。
マッチングに用いられる２Ｄソース投影における特徴項目は、手作業または自動的方法により選択される。これらの項目は、点または曲線であってもよい。ソース投影が正面図を含む場合、適切な点は、唇における変曲点、眉における点、目の端における点、または鼻孔の端であってもよく、適切な曲線は眉または唇を含んでもよい。ソース投影が側面図を含む場合、輪郭に対応する特徴点が使用され、特徴点は鼻または顎の先端を含んでもよい。適切な特徴項目曲線は、鼻、額、顎など輪郭が明確である部分を含んでもよい。
特徴項目が手作業で決められる場合、ユーザーが特徴点を個別に識別したり、あるいはスプライン曲線により描かれた点群をマークしたり、あるいは線を形成する点集合を選択できるようにするユーザーインターフェイスが提供される。
眼球、鼻孔、唇など顔の所定の特徴を検索することにより、２Ｄソース投影における特徴項目の自動検出が実行される。当業者が理解しているように、この方法では、実際のアバターから生成される訓練データから階層検出プローブが生成される、ベイズ識別器と決定木を用いてもよい。検出プローブは、大規模プローブにより好ましい検出が可能な場合に、特徴の配向など所定のパラメータだけがより細密に計算されるように、複数のピクセルスケールで記憶保存することが望ましい。特徴検出プローブは、検出プローブが特徴に合わせて細かく調整されるように区分され分離された特徴を有する、多数の個人を表す画像データベースから生成してもよい。この自動特徴検出方法では、パターン識別、ベイズネット、ニューラルネットワーク、または顔の画像における特徴の位置を決めるその他の既知の手法を使用してもよい。
ソース投影における曲線特徴の自動検出では、一連の点から曲線を生成する動的計画法を使用してもよい。その結果、最適な曲線を識別するために必要な計算の量が低減され、列加法性コスト関数が最大化される。このようなコスト関数は、背景に対する輪郭のコントラスト、眉の濃さ、唇間の皺など一連の特徴を表す。Ｎ個の点の経路を、開始ノードｘ０と、隣接するノードを接続するベクトル集合ｖ０，ｖ１，．．．，ｖＮ−１とを含む経路であるとみなすことができる。この経路を構成するノードは、
Figure 2006520054
として定義される。長さＮのすべての経路にわたって検索するのではなく、動的計画法を用いて最大（または最小）コスト経路を生成してもよい。これにより、アルゴリズムの複雑さがＫＮからＮＫ２に低減される。ここで、Ｎは経路の長さであり、Ｋはノードの総数である。低減される理由は、動的計画法では、コストが列加法性を有するという事実を利用して多数の次善経路を無視することができるからである。動的計画法の技術的特徴は十分に確定されているため、必要以上の実験をすることなく、本明細書で説明するように利用できる。
次に、アバター座標からソース投影への３Ｄ回転および並進が決められる。この手順は、ソース投影を捕捉した視点を求めることに相当する。好ましい実施態様においては、これは、２Ｄソース投影における選択された特徴項目集合に最もマッチングする、３Ｄ空間におけるアバターの位置を計算することにより達成される。一般に、これらの特徴項目は点、曲線、または部分領域であり、ソース投影は、これらの項目の位置を手作業でまたは自動的に測定できる写真である。位置計算は、２Ｄ特徴項目の３Ｄにおける逆投影位置の条件付き平均推定の計算に基づいてもよい。次に、特徴項目の３Ｄ位置の推定が与えられると仮定して、３Ｄにおける回転パラメータと並進パラメータのＭＭＳＥ推定が計算される。３Ｄ空間における位置はベクトルパラメータであるため、並進位置のＭＭＳＥ推定は閉じた形式である。すなわち、この推定は、２乗誤差関数に代入された場合、回転だけに関して陽関数をもたらす。回転はベクトルパラメータではないため、群の接空間、または歪対称行列の角速度を用いた局所表現を介した非線形勾配降下法を用いて計算してもよい。
本明細書に記述した最小２乗法または加重最小２乗法に加え、あるいはこれらの代わりに、ソース画像からの特徴項目の逆投影と３Ｄアバターにおける対応する項目との適合の質を測定するために用いられる距離メトリックは、例えば、三角不等式を満たしても満たさなくてもよいポワソンまたはその他の距離メトリックであってもよい。
３Ｄカメラやスキャナーから得られる実際の３Ｄソースデータなどから、３Ｄにおいて測定される特徴項目が利用可能な場合、逆投影された２Ｄ特徴の条件付き平均推定を計算する中間ステップなしで、特徴項目のマッチングを直接実行してもよい。閉じた形式の２次最適化、反復ニュートン降下法、勾配法などのアルゴリズムを利用すれば、３Ｄアバターの位置決めに用いられるコスト関数を最小化することができる。
最初に、基準アバターの変形を伴わない3Ｄ位置決め手法について検討する。以下では、３Ｄ基準アバターをＣＡＤ（コンピュータ支援設計）モデルまたはＣＡＤと呼ぶ。ｘｊ＝（ｘｊ，ｙｊ，ｚｊ），ｊ＝１，．．．，Ｎで表される特徴集合がＣＡＤモデル上で定義される。投影幾何マッピングは、正または負のｚと定義される。これは、投影がｚ軸に沿って行われることを意味する。すべての投影幾何において、
Figure 2006520054
（負のｚ軸投影の場合）、または
Figure 2006520054
（正のｚ軸投影の場合）が、点ｘｊの投影位置である。ここで、αは投影角である。剛体変換が、ｘｃ＝０を中心とする
Figure 2006520054
という形式であると仮定する。正の（すなわちｚ＞０）マッピングでありｎ＝０である場合、
Figure 2006520054
である。ここで、Ｎは投影角の余接である。全体を通じて、次のデータ構造が定義される。
（式１）
Figure 2006520054
（式２）
ここで、単位行列は
Figure 2006520054
である。負の（すなわちｚ＜０）マッピングの場合、
Figure 2006520054
であり、変換
Figure 2006520054
が行われる。

Figure 2006520054
３×３回転要素Ｏの接線における基底ベクトルＺ１、Ｚ２、Ｚ３、は、次のように定義される。
（式３）
Figure 2006520054
（式４）
Figure 2006520054
（式５）
Figure 2006520054
ここで、（式６）
Figure 2006520054
２Ｄ投影からの特徴点の逆投影をこの時点で実行してもよい。画像平面において特徴点ｐｊ＝（ｐｊ１，ｐｊ２），ｊ＝１，２，．．．が与えられれば、
Figure 2006520054
の最小ノルム推定は、
Figure 2006520054
により
Figure 2006520054
として与えられ、ＭＭＳＥ
Figure 2006520054
は、次の式を満たす。
（式７）
Figure 2006520054
基準アバターへのソース画像のマッチングプロセス時に、決められた点ｘが不確実であってもよい。これは、コスト上のマッチングがこの公式に組み込まれた共分散可変構造で実行されるということを意味している。この場合、ノルムは、ノルムにおけるこの変動性を表す３×３行列をその内部に持っている。
次に、最適な回転と並進を特徴点から推定してもよい。投影点ｐｊ，ｊ＝１，２，．．．が与えられれば、剛体変換の形式は
Figure 2006520054
である（中心ｘｃ＝０を中心とする）。次に、正の（ｚ＞０）マッピングでありｎ＝０である場合、
Figure 2006520054
である。
（式８）
Figure 2006520054
最適な並進／回転解は、次のように生成することが好ましい。すなわち、３×９行列
Figure 2006520054
を計算しコスト関数を余すところなく評価して、最小値
Figure 2006520054
を選択し並進
Figure 2006520054
を計算する。ここで最小値
Figure 2006520054
は、次のように、例えばピッチ、ロール、またはヨーによりパラメータ化してもよい直交群全体に対して総当り検索などを実行するか、あるいは収束するまで勾配検索アルゴリズムを実行することにより得られる。
総当り検索：（式９）
Figure 2006520054
勾配検索：（式１０）
Figure 2006520054
ここで、
Figure 2006520054
である。
典型的な応用においては、３Ｄ空間におけるオブジェクトの位置に関する一部の情報が既知である。例えば、追跡システムなど、動いているソースオブジェクトの連続写真を撮影するシステムにおいて、先行する画像から位置を知ることができる。本発明は、次のようにこの情報をマッチングプロセスに組み込んでもよい。
点列Pｉ，ｉ＝１，．．．，Ｎと、
Figure 2006520054
という形態の剛体変換（ｘｃ＝０を中心とする）が与えられれば、回転と並進
Figure 2006520054
のＭＭＳＥは次の式を満たす。
（式１１）
Figure 2006520054
３×９行列Ｍと３×１列ベクトルが次のように計算される。
（式１２）
Figure 2006520054
次に、収束するまで総当り検索または勾配検索アルゴリズムを実行することにより得られた最小値
Figure 2006520054
において、並進が
Figure 2006520054
と確定される。
総当り検索：（式１３）
Figure 2006520054
勾配検索：（式１４）
Figure 2006520054
ここで、αｎｅｗがコストの方向微分係数である指数表現におけるOｏｌｄの接線において、式３〜式５の基底ベクトルＺ１、Ｚ２、Ｚ３への投影が定義される。
様々な方法で回転／並進データに指標付けすることができる。例えば、固定された外部世界座標ではなくオブジェクトの中心を中心とした回転に従って指標索引付けするには、
Figure 2006520054
と定義することにより座標を再パラメータ化すればよい。本明細書に記述した方法はすべて、変更されない。
剛体運動に対する好ましい３Ｄアルゴリズムは、測定された画像と比較するために幾何学姿勢の状態を効率的に変更する。ジオメトリを微分同相写像変換するための好ましい３Ｄアルゴリズムは、ジオメトリを対象２Ｄ画像特徴にマッチングさせる。ただし、所定の画像特徴を利用しない方法を含め、３Ｄ表現とソース画像との比較を実行する他の方法を用いてもよいことは明らかである。
２Ｄソース画像と選択された３Ｄアバターとの最良マッチングをもたらす剛体運動（すなわち回転と並進）が確定された後、ソース画像との対応関係を上げるためにソース３Ｄアバターを変形してもよい。許容される変形は通常、元のアバターの微分同相写像に限られる。この微分同相写像はアバタートポロジを維持する働きをするため、変形の結果が顔になることが保証される。また、変形において、ジオメトリの対称性など位相的制約を強制してもよい。この制約は、ソースオブジェクトの部分が不明瞭であるような状況や、完全なジオメトリが部分的なソース情報から推測されるような状況において特に有用である。
図３Ａと図３Ｂは、アバターとソース画像のマッチングに及ぼすアバター変形の効果を示している。図３Ａでは、特徴点をソース画像３０２上で黒い十字として示している。例えば、左眉３０４の左端に特徴点がある。変形に先立つ最適な剛体運動により最もマッチングする基準アバターに属する対応する特徴点の投影を、白い十字として示している。左眉３０６の左端に相当する投影された点が、対応する眉３０４から著しくずれていることがわかる。図３Ｂでも、同じソース画像３０２上で特徴点を黒い十字として示している。この図では、白い十字として示した最もマッチングするアバター特徴点が、変形後に投影されている。例えば、投影された左眉特徴点３０８が、対応するソース特徴点３０４に近づくことで、図示したように、ソース特徴点とアバター特徴点との対応関係が著しく向上する。
特徴項目を検出し、最もマッチングする剛体運動とアバターの元のジオメトリを計算することにより確定される、アバター配置の初期条件から、３Ｄアバター微分同相写像計算が開始される。次に、３Ｄにおける変形されたアバター点と、３Ｄ座標に逆投影された２Ｄ標識点の条件付き平均推定との距離を最小化するために、アバター上のすべての点が、事前定義された公式に従ってそれぞれ単独で移動できるようにすることにより計算が進められる。この微分同相写像計算の後、この新たに変換されたアバターが新しい頂点位置を持っていることを前提として、３Ｄ標識剛体運動アルゴリズムが再びソース投影と特徴項目に適用されて、最も妥当なカメラ位置が見いだされる。その後、新しい微分同相写像が生成され、このプロセスが収束するまで続行される。別法として、繰り返しを行わないで、剛体運動計算を一度だけ実行し、微分位相写像変換を一回だけ適用する方法もある。カメラの配向（すなわち、測定されるソース投影の視点）が正確に知られている場合は、計算への固定入力としてその配向を用いることができるため、剛体変換は不要である。測定される特徴項目集合が、候補をなす頭部のサイバースキャンや３Ｄカメラ観測などから得られる３Ｄ特徴項目集合である場合、２Ｄ点集合から３Ｄ点を生成する条件付き平均アルゴリズムにより３Ｄ空間における候補点を中間生成することなく、アバターは点の候補集合に変換される。
アバターの微分位相写像変形のプロセスは、以下のとおりである。ｘｊ＝（ｘｊ，ｙｊ，ｚｊ），ｊ＝１，．．．，Ｎで表される特徴項目集合がＣＡＤモデル上で定義されていれば、投影幾何マッピングは
Figure 2006520054
で定義される。ここで、ｎはこの角度の余接であり、ｗとｈはそれぞれアスペクト比の幅と高さである。投影幾何上
Figure 2006520054
により特徴項目の観測を用いて
Figure 2006520054
である。目的は、測定される投影画像特徴項目に対応する未知のカメラ剛体運動を用いてＣＡＤモデル
Figure 2006520054
の変形を構築することである。各配向ｖ＝１，．．．，Ｖにおける投影点と以下の平滑化行列が構築される。
（式１５）
Figure 2006520054
（式１６）
Figure 2006520054
（式１７）
Figure 2006520054
ここで、例えば
Figure 2006520054
は、平方根逆ラプラス作用素
Figure 2006520054
に対応する。
一実施態様においては、剛体運動ではなく小さな変形だけを用いてアバターを変形してもよい。この実施態様では、測定される特徴項目はすべて、特徴点が測定された投影されたソース画像を生成した単一のカメラビューイング視点からの点であると想定される。目的は、マッピング
Figure 2006520054
を構築するＣＡＤモデルの変形を構築することである。
（式１８）
Figure 2006520054
まず、
Figure 2006520054
を用いて、モデル
Figure 2006520054
の変換が計算される。ここで、次の式が適用される。
（式１９）
Figure 2006520054
次に、剛体運動が追加され、オプティマイザについて次の式が解かれる。
（式２０）
Figure 2006520054
小さな変形
Figure 2006520054
を用いてモデルの変換が計算される。ここで、
Figure 2006520054
と次の式が適用される。
（式２１）
Figure 2006520054
別の実施態様においては、アバターの剛体運動を用いない微分位相写像変形が適用される。顔の形状の変化が広範囲に及ぶ場合、
Figure 2006520054
を満たす大きな変形
Figure 2006520054
が生成される。マッピング
Figure 2006520054
を構築するＣＡＤモデルの変形が構築される。
（式２２）
Figure 2006520054
収束するまで反復アルゴリズムを実行することにより、初期化
Figure 2006520054
を用いて新しいベクトル場からマッピングが繰り返し生成される。
（式２３）
Figure 2006520054
（式２４）
Figure 2006520054
ここで、
Figure 2006520054
である。大きな変形
Figure 2006520054
に対する剛体運動の追加が、次のように遂行される。
（式２５）
Figure 2006520054
収束するまで反復アルゴリズムを実行することにより、初期化
Figure 2006520054
を用いて新しいベクトル場からマッピングが生成される。
（式２６）
Figure 2006520054
（式２７）
Figure 2006520054
ここで
Figure 2006520054
である。
さらなる実施態様においては、アバターを１つまたは複数の２Ｄソース投影と対応付ける剛体運動（すなわち、回転／並進）が未知である場合、変形をリアルタイムで実行してもよい。本明細書に記述した手法を用いた剛体運動の推定を加えた、上記の方法に似た方法が用いられる。初期化
Figure 2006520054
が用いられる。ＣＡＤモデル
Figure 2006520054
を各写真に位置を合わせるために、上記の回転／並進手法を用いて剛体運動が計算され、生成する剛体運動
Figure 2006520054
が前のステップから確定され、リアルタイムの小さな変形または大きな変形の問題を解決するために、ＣＡＤモデル
Figure 2006520054
の変形または大きな変形
Figure 2006520054
が上記の手法を用いて計算される。
（小さな変形）（式２８）
Figure 2006520054
（大きな変形）（式２９）
Figure 2006520054
別の実施態様においては、微分同相写像変形を用いてアバターが変形される。リアルタイム変形アルゴリズムの解により、微分同相写像変形の解のための初期条件として使用できる変形が生成される。リアルタイム変形の解を初期条件として組み込み、次に微分同相写像変形計算を少数回（１〜１０）繰り返し実行することにより、リアルタイム微分同相写像変形が実施される。
変形はアフィン運動を含んでもよい。アフィン運動
Figure 2006520054
の場合（ここで、Ａは３×３一般線形行列）、
（式３０）
Figure 2006520054
最小２乗推定量
Figure 2006520054
が計算される。
（式３１）
Figure 2006520054
多くの場合、アバターの変形を行うために、投影画像における特徴項目と画像自体の両方を使用できる。ソースデータを増やしてソース画像を組み込むことにより、変形されるアバターと対象顔との適合の質を向上することができる。これを実施するために、変形手法にもう１つの条件が追加される。測定される画像をＩとする。Iには通常、
Figure 2006520054
により指標付けされた一連のピクセルに対応する、複数の測定される画像Ｉ（ν），ν＝１，２，．．．が含まれる。ここで、投影マッピング点は
Figure 2006520054
である。色（Ｒ，Ｇ，Ｂ）テンプレートでソース画像平面においてピクセルが不連続に設定されている場合、観測される投影ＩＩ（ｐ）は（Ｒ，Ｇ，Ｂ）ベクトルであり、投影行列は、投影行列
Figure 2006520054
に従って点
Figure 2006520054
に対して作用する
Figure 2006520054
になる。ここで、点ｘ（ｐ）は、画像平面において点ｐに投影される３Ｄ ＣＡＤモデル上で遮られない、示現する点（光線上で投影に最も近い点）である。次に、テンプレート値の投影座標ｐにおける（Ｒ，Ｇ，Ｂ）成分上の差分から得られる、投影されたテンプレート行列が必要である。ノルムは、成分毎に解釈される。
（式３２）
Figure 2006520054
（式３３）
Figure 2006520054
行列ノルムは、
Figure 2006520054
である。
従来の剛体運動計算手法から既に知られていると想定される並進／回転が、各画像に関連付けられる。以下では、１つの２Ｄ画像が存在すると仮定し、但し、O，ｂが恒等式であり、すべての運動が
Figure 2006520054
として表されるとする。次に、ｕ（ｘ）＝Oｘ−ｘは回転運動であり、ｕ（ｘ）＝ｂは等速であり、
Figure 2006520054
は、「顎を回転する」や「眉を上げる」など基底関数に対する束縛運動であり、一般的運動ｕは次の式により与えられる。
（式３４）
Figure 2006520054
（式３５）
Figure 2006520054
これはｕにおいて線形であるため、ｕの各形式について、例えば非束縛一般スプライン運動について、閉じた式が存在する。
（式３６）
Figure 2006520054
この方法は、本明細書に記述した各種の可能な変形についての本発明の他の実施態様に組み込むことができる。
多数の特徴点、曲線、およびサブボリュームをソース投影（１つまたは複数）と３Ｄデータ（存在する場合）から自動的に生成する必要がある場合、ソース画像に対して、あるいはソースオブジェクトを分割できる基本３Ｄボリュームに対して画像照合が直接実行される。アバターが２Ｄ投影写真画像から生成される場合、測定される対象投影画像は、微分同相写像画像照合により生成される点、曲線、および部分領域に表示分類される。アバターから得られる表示分類された部分多様体をすべて有するテンプレート投影見本顔を定義すれば、微分同相写像を用いてこの投影見本を対象候補写真に全単射変換することができる。これにより、対象写真が、それを構成する部分多様体に自動的に表示分類される。これらの部分態様体の所定条件のもとでは、アバターを表示分類された写真にマッチングさせ、変換することができる。したがって、画像平面において、
Figure 2006520054
を満たす変形
Figure 2006520054
が生成される。テンプレート画像Ｉ０と対象画像I１は、次の式を満たすように変換される。
（式３７）
Figure 2006520054
与えられた微分同相写像が、テンプレートI０における表示分類された点、曲線、および領域に適用される。これにより、対象写真における点、曲線および領域が表示分類される。
対象ソースデータが３Ｄデータである場合、微分同相写像を用いて３Ｄ背景空間における全単射対応が定義され、画像平面ではなくボリュームにおいてマッチングが実行される。
以下の手法を用いて、アバターモデルを自動的に選択してもよい。アバターモデル｛ＣＡＤａ，ａ＝１，２，．．．｝と、一人の顔の一連の測定される写真が与えられている場合、分析される顔を最も代表するアバターモデルを選択する必要がある。アバターモデルが点、曲線、面、またはサブボリュームにより指定されると仮定する。例えば、Ｎ個の特徴初期点および対象点
Figure 2006520054
があると仮定する。ここで、
Figure 2006520054
であり、この点は各アバターａ＝１，２，．．．について１つである。
一実施態様においては、剛体運動ではなく小さな変形だけを用いてアバターが変形される。この実施態様では、測定される特徴項目はすべて、特徴点が測定された投影されたソースイメージを生成した単一のカメラビューイング視点からの点であると想定される。マッチング
Figure 2006520054
が構築され、メトリック距離が最短であるＣＡＤａモデルが選択される。選択された最適なアバターモデルは、メトリック距離において候補に最も近いモデルの１つである。アバターの選択において、上述した微分同相写像マッピング手法からの大きな変形メトリック、上述のリアルタイムメトリック、ユークリッド距離、ケンドールの相似メトリックなど様々な距離関数のいずれを用いてもよい。本明細書では、この手法をリアルタイムメトリックを用いて説明する。剛体運動が存在しない場合、写真からの１つまたは複数の特徴集合に基づいてメトリック距離を最小化するようにＣＡＤモデルが選択される。ここでは、１つの写真の場合について説明している。
（式３８）
Figure 2006520054
他の実施態様においては、未知または既知の剛体運動、大きな変形メトリック、またはアフィン運動を含む、式２８および式２９にそれぞれ記述した両方のメトリックを用いてもよい。
３Ｄボリュームにおける点、曲線、面、および／またはサブボリュームの特徴などの３D情報が与えられている場合にアバターを選択するために、測定値と候補ＣＡＤモデル群との距離を最小化するメトリックが選択される。まず、この距離を測定する２次形式メトリックを定義するＫ行列が計算される。
（式３９）
Figure 2006520054
Ｋは、例えば
Figure 2006520054
であってもよい。次に、ＣＡＤモデルと候補写真特徴点とのメトリック距離が、
Figure 2006520054
に従って計算され、距離が短いＣＡＤが選択される。正確なマッチングまたは不正確なマッチング（正確な場合σ＝０、不正確な場合
Figure 2006520054
）を用いることができる。
（式４０）
Figure 2006520054
（式４１）
Figure 2006520054
最小ノルムは、ＣＡＤモデル特徴点と写真特徴点との間の誤差により決められる。
本発明は、連結された対象オブジェクトのマッチングに用いてもよい。微分同相写像とリアルタイムマッピング手法により、３Ｄテンプレート表現が対象モデルに全単射的にマッピングされる。すなわち、テンプレートにおける情報がすべてマッピングされる。テンプレートモデルは、連結されたオブジェクトの様々な構成要素に対応する様々な領域で表示分類される。例えば顔の場合、連結された領域は歯、眉、まぶた、目、および顎を含んでもよい。これらの各下位構成要素を、モデルの運動中に、許容される連結モードを指定する連結モデルに従って連結することができる。マッピング手法により、これらの三角形下位構成要素が対象上へマッピングされる。これにより、対象が下位構成要素で自動的に表示分類される。このため、結果として選択されるＣＡＤモデルは、その構成部分が自動的に表示分類される。これにより、一連の運動中に各アバターを連結することができる。
ソースオブジェクトの３Ｄ直接測定値が、点、曲線、面、またはサブボリュームから得られる
Figure 2006520054
である場合、回転／並進の対応関係を決める手法は不変である。ただし、マッチング条件にはボリュームにおける直接測定値が含まれるため、ＭＭＳＥ手法を用いて未知のｚ深度への依存度を決めるために中間ステップは不要である。
したがって、最もマッチングする剛体運動は次の式に該当する。
（式４２）
Figure 2006520054
リアルタイム変形は次の式に該当する。
（式４３）
Figure 2006520054
微分同相写像変形は、
Figure 2006520054
により次の式に該当する。
（式４４）
Figure 2006520054
本明細書に記述した手法により、アスペクト比や視野などのカメラパラメータの自動較正が可能である。ｘｊ＝（ｘｊ，ｙｊ，ｚｊ），Ｊ＝１，．．．，Ｎで表される特徴集合がＣＡＤモデル上で定義される。
Figure 2006520054
に従って、正の奥行き方向での投影幾何マッピングが
Figure 2006520054
で定義される。投影幾何
Figure 2006520054
により、一部の特徴の観測が与えられる。
アバターの変換（アフィンまたはその他の）がないことを前提としてカメラ較正が決められる。次に、すべての深度座標が上記の座標に錐台の奥行きを加えたものになるように錐台距離を組み込むことにより、ｚ値がパラメータ化される。ビデオでは、異なるアスペクト比
Figure 2006520054
と視野
Figure 2006520054
を表示することができる。この手法により、測定された点
Figure 2006520054
からアスペクト比γ１，γ２が推定される。
（式４５）
Figure 2006520054
初期化
Figure 2006520054
を用いて、収束するまで計算が実行される。
最初のステップで、データ項
Figure 2006520054
が解かれ、次の回転／並進が計算される。
（式４６）
Figure 2006520054
（式４７）
Figure 2006520054
次に、ニュートン・ラプソン法、勾配法、共役勾配法などの最適化法を用いて式
Figure 2006520054
が最大化される。例えば勾配アルゴリズムを用いて、収束するまで計算が実行され、最初のステップが繰り返される。ここで示す勾配法では、安定性を考慮して刻み幅を選択している。
（式４８）
Figure 2006520054
（式４９）
Figure 2006520054
（式５０）
Figure 2006520054
本明細書に記述した手法を用いて、３Ｄソースオブジェクトを単一の基準オブジェクトと比較してもよい。ソースオブジェクトと基準オブジェクトの２Ｄ表現が作成され、数理最適化と投影幾何を用いて両者間の対応関係が決められる。通常、この対応関係は、２Ｄソース投影を捕捉した視点を指定することにより決められる。
ここで、本発明を組み込んだハードウェアシステム４００を示す図４を参照されたい。図示したように、このシステムは、解析される静止入力画像を提供するビデオソース４０２（例えば、ビデオカメラまたはスキャニング装置）を含んでいる。ビデオソース４０２の出力は、デジタイザ４０４によりフレームとしてピクセル配列にデジタル化される。デジタル化された画像は、すべてのシステムコンポーネントの通信を媒介するシステムバス４０６を通って伝送される。デジタル化された画像は、大容量記憶装置（ハードディスクまたは光学式記憶装置）４０８に記憶保存してもよいし、メインシステムメモリ４１０（具体的には、同じサイズの一連の入力画像バッファ４１２を定義するパーティション内に）に記憶保存してもよい。
図示したシステムの動作は、中央演算処理装置（「ＣＰＵ」）４１４が制御する。以下に説明する画像処理操作を迅速に実行できるように、このシステムにグラフィックス／画像処理ボード４１６を備えることが好ましい。これは、当業者にとって周知の標準コンポーネントである。
ユーザーは、キーボード４１８と位置検出装置（例えばマウス）４２０を用いてシステムと対話する。いずれかの装置からの出力を用いて、情報を指定し、あるいはディスプレイ４２０の所定の点または領域を選択して、システムにより実行される機能を指示することができる。
メインメモリ４１０は、ＣＰＵ４１４の動作と、ＣＰＵ４１４と他のハードウェアコンポーネントとの相互作用を制御する一群のモジュールを含んでいる。オペレーティングシステム４２４は、メモリアロケーション、ファイル管理、大容量記憶装置４０８の動作など、低レベルの基本的システム機能の実行を制御する。高レベルでは、一連の記憶された命令として実装されたアナライザ４２６が、後述するように本発明により実行される主要機能の実行を制御する。また、ユーザーインターフェイス４２８を定義する命令により、ディスプレイ４２２上での簡単な対話が可能になる。ユーザーインターフェイス４２８は、ユーザーに操作を指示する語またはグラフィック画像をディスプレイ４２２上に生成し、キーボード４１８および／または位置検出装置４２０からのコマンドを受け取る。最後に、メモリ４１０は、上述のように３Ｄ基準アバターのデータベースを記憶保存するためのパーティション４３０を含んでいる。
各画像バッファ４１２の内容は、「ラスター」、すなわち、画像を集合的に表す不連続ピクセル位置の規則的２Ｄパターンを定義する。この内容を用いて、ディスプレイ４２２を制御（例えば、画像処理ボード４１６または画像サーバーを用いて）し、その画像を表示してもよい。フレームバッファにおける各記憶場所の内容は、ディスプレイ４２２上での対応するピクセルの表示を直接制御する。
メインメモリ４１０の各モジュールを個別に説明してきたが、これは明確に表現するためだけにそうしたのである。システムが必要なすべての機能を実行する限り、これらのモジュールがシステムおよびシステムのプログラミングアーキテクチャ内でどのように分散されているかは重要ではない。同様に、ピクセルマップは概念的にグリッドとして構成されるが、ピクセルマップを実際にこの方法で保存する必要はない。むしろ、メモリ効率と伝送を考慮して、通常、ラスターパターンは順序付けられたピクセル配列として符号化される。
上述のように、本発明に関連する主要タスクの実行は、アナライザ４２６により制御される。複数の特徴を含む対象オブジェクトにマッチングするように基準３Ｄ表現をマッチングさせ変形するために必要なステップの実行において、アナライザ４２６は、ＣＰＵ４１４の動作を制御し、ＣＰＵ４１４とメインメモリ４１０との相互作用を制御する。図５は、アナライザ４２６の好ましい実装のコンポーネントを示している。投影モジュール５０２は３Ｄモデルを選択し、その２Ｄ投影を、選択された任意の平面上に作成する。一般に、各候補基準アバターの回転と並進の空間全体にわたる多数の投影を作成するには、効率的な投影モジュール５０２が必要とされる。変形モジュール５０４は、アバターがソースオブジェクトにさらに似るように、アバターに対して１つまたは複数の種類の変形を実行する。ソース画像から逆投影された特徴項目の条件付き平均推定とのマッチングを最適化するために、この変形は３Ｄ空間において実行され、アバターメッシュを定義するあらゆる点が自由に移動できる。一般に、複数の基準オブジェクトが提供されている場合、最もマッチングする基準オブジェクトにのみ変形が適用される。レンダリングモジュール５０６により、アバター照明の指定を含むオプションを用いて、３Ｄアバターを２Ｄに迅速に投影することができる。この２Ｄ投影は、選択された３Ｄアバター照明に対応する。特徴検出モジュール５０８は、２Ｄソース投影における所定の特徴項目を検索する。特徴は、目、鼻孔、唇を含んでもよく、複数の異なるピクセルスケールで動作するプローブを組み込んでもよい。
図６は、メインメモリで実行される本発明の機能を示している。ステップ６０２において、システムがソースイメージを調べ、上述のようにマッチングに利用できる眼球、鼻孔、唇など顔の特徴を自動的に検出する。ステップ６０４において、上述のように、式７を用いて、検出された特徴項目が候補アバターの座標系に逆投影される。ステップ６０６において、候補アバターの最適な回転／並進が、上述の手法と式８、式９、および式１０を用いて推定される。ステップ６０８において、本明細書に記述したように、式１１〜式１３を用いて、利用可能な２Ｄ投影に関してソースオブジェクトの位置に関する入手可能なあらゆる事前情報が計算に追加される。ソースの３Ｄ測定値を得ることができる場合、ステップ６１０に示したように、また式４０〜式４３を参照して上述したように、このデータを用いて剛体運動検索が制約される。すべての３Ｄ基準アバターにわたる回転／並進検索６０６が完了したら、式３８〜式４０を参照して上述したように、ステップ６１２において最もマッチングするアバターが選択される。その後、ステップ６１２において探索された最もマッチングするアバターが、ステップ６１４において変形される。ソースオブジェクトの３Ｄ測定値６１０が存在すれば、それを用いて変形６１４が制約される。さらに、ソース画像６１６の一部を用いて変形６１４に影響を与えてもよい。
本発明は、最もマッチングする基準アバターと対象オブジェクトとの対応関係を向上するために、最もマッチングする基準アバターに任意に適用することができる複数の異なる種類の変形を提供する。これらの変形は、上述のように、式１８と式１９を用いて、変形について閉じた式が見いだされる剛体運動を用いないリアルタイム変形を含んでもよい。剛体運動を用いない、アバターの微分同相写像変形を適用してもよい（式２２〜式２４）。別法として、アバターの未知の剛体運動を用いるリアルタイム変形を適用してもよい（式２８と式２９）。リアルタイム変形を繰り返すことにより、リアルタイム微分同相写像変形をアバターに適用してもよい。アフィン運動を用いてアバターを変形してもよい（式３０と式３１）。式３７を参照して上述したように、アバター内の部分多様体の識別を含め、ソースデータにおける多数の特徴項目に投影をマッチングさせることにより、アバターの変形を導いてもよい。対象オブジェクトが、連結されたモデルにより表される場合、上述の変形を連結された各構成要素に個別に適用してもよい。
ステップ６１８に示したように、また式４４〜式４９を参照して上述したように、本発明により、アスペクト比や視野などのカメラパラメータを推定することができる。
上述のように、ハードウェア実装の一部の実施の態様を、対象オブジェクトが顔であり基準オブジェクトがアバターである場合について説明してきたが、本発明は顔のマッチングに限定されるものではなく、マッチングされる対象オブジェクトの一般的種類に対応する３Ｄ基準表現のデータベースを用いて、複数の特徴を含むオブジェクトのマッチングに用いてもよい。
したがって、上述のことは、複数の特徴を含むオブジェクトを記述する部分的な情報しか入手できない場合にそのオブジェクトの３Ｄモデルの生成するための、非常に広範かつ有利な方法を表していることが理解されるであろう。本明細書で採用した用語と表現は、説明のために用いたものであり、これらに限定されるものではない。かかる用語と表現の使用においては、図示および説明した特徴またはその一部に相当するものを排除する意図は一切ないのであって、本発明の請求の範囲内で様々な変更が可能であることは明白である。例えば、適切なソフトウェア命令を用いて、あるいはハードウェア回路として、あるいはハードウェアとソフトウェアの組み合わせとして（ここで、例えば、ピクセル操作とレンダリングは専用ハードウェアコンポーネントにより実行される）、本発明の各種モジュールを汎用コンピュータに実装することができる。
各図面すべてにおいて、類似の参照文字は一般に同一部分を指している。図面は必ずしも実際の大きさを表しているわけではなく、一般に本発明の原理を説明することに重点が置かれている。以下の説明においては、本発明の様々な実施態様を以下の図面を参照しながら記述する。
対象オブジェクトから始めて、基準オブジェクトを使用し、検索と変形の実行後に最適な３Ｄモデルを提供する、本発明の各種構成要素を概略的に示している。 ３Ｄアバターの構成要素を概略的に示している。 ３Ｄアバターの構成要素を概略的に示している。 ３Ｄアバターの構成要素を概略的に示している。 ２Ｄ画像における特徴項目のマッチングを概略的に示している。 本発明による代表的なハードウェア環境を示すブロック図である。 図４に示したアナライザの構成要素を示すブロック図である。 アナライザにより実行される主要機能を示すブロック図である。
符号の説明
４２６ アナライザ
４３０ 画像データベース

Claims (76)

  1. 複数の特徴を含むソースオブジェクトの少なくとも１つの２Ｄソース投影を３Ｄ基準オブジェクトの基準ライブラリと比較する方法であって、
    ａ． 類似と総称される複数の特徴を含むオブジェクトの３Ｄ基準表現を複数提供するステップと、
    ｂ． 前記３Ｄ基準表現の不変視点検索を実行して、前記少なくとも１つの２Ｄソース投影に最も似ている２Ｄ投影を有する前記３Ｄ基準表現を探索するステップを含む方法。
  2. 請求項１に記載の方法であって、実際に投影を生成することなく、前記３Ｄ表現に係わる可能な２Ｄ投影の範囲にわたって各前記３Ｄ基準表現を検索するが前記検索ステップに含まれるようにした方法。
  3. 請求項２に記載の方法であって、
    少なくとも１つの前記２Ｄ投影における、前記複数の特徴を含むソースオブジェクトの視点に最適に一致適合する前記３Ｄ基準表現の剛体運動を計算することが、当該の可能な２Ｄ投影の範囲にわたって検索することに含まれるようにした方法。
  4. 請求項３に記載の方法であって、
    ａ． 前記３Ｄ基準表現に関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含んでおり、前記少なくとも１つの２Ｄソース投影における特徴項目と投影的に一致適合する特徴項目の条件付き平均を推定すること、および
    ｂ． 前記３Ｄ基準表現の剛体運動について、前記投影された特徴項目の条件付き平均推定と前記３Ｄ基準表現における対応する特徴項目との間の最小平均２乗誤差推定を生成することにより前記最適な剛体運動が決められる方法。
  5. 動的計画法を用いて前記特徴項目は、前記画像から生成される、請求項４に記載の方法。
  6. 前記特徴項目は、ソース画像と３Ｄ基準オブジェクトの投影された画像との対応関係を用いて求められる、請求項４に記載の方法。
  7. 前記剛体運動は、３次元におけるピッチ、ロール、ヨー、および並進を含んでいる、請求項３に記載の方法。
  8. 画像ランドマークからカメラパラメータを推定することにより自動カメラ較正が実行される、請求項７に記載の方法。
  9. 前記３Ｄ表現における特徴項目と前記少なくとも１つの２Ｄソース投影における対応する特徴項目との整合度により類似度が決定される、請求項１に記載の方法。
  10. 前記少なくとも１つの２Ｄソース投影に関連する既知の３Ｄ位置情報に基づいて前記剛体運動を制約するステップをさらに含む、請求項４に記載の方法。
  11. 前記複数の特徴を含むソースオブジェクトに類似するように、探索された３Ｄ基準表現を変形することにより、前記少なくとも１つの２Ｄソース投影の３Ｄ表現を作成するステップをさらに含む、請求項１に記載の方法。
  12. 前記探索された３Ｄ基準表現を大きな変形微分同相写像を用いて変形し、それにより前記３Ｄ基準表現のジオメトリとトポロジを維持する、請求項１１に記載の方法。
  13. 前記変形は、前記３Ｄ基準表現の対称性に対して制約を強いるものである、請求項１１に記載の方法。
  14. 請求項１１に記載の方法であって、
    前記少なくとも１つの２Ｄソース投影における特徴項目が前記探索された３Ｄ基準表現における対応する特徴項目と整合するように、前記探索された３Ｄ基準表現を変形することを前記変形ステップが含む方法。
  15. 請求項１１に記載の方法であって、前記探索された３Ｄ基準表現を変形して、前記探索された３Ｄ基準表現上の複数の点の投影と前記少なくとも１つの２Ｄソース投影とのマッチングを最適化することを前記変形ステップが含む方法。
  16. 前記変形を剛体運動なしで行う、請求項１１に記載の方法。
  17. 前記変形が少なくとも１つの剛体運動とアフィン運動を含むようにした、請求項１１に記載の方法。
  18. 請求項１１に記載の方法であって、少なくとも１つの２Ｄソース投影に関連する少なくとも１つの既知の３Ｄ位置情報と、前記複数の特徴を含むソースオブジェクトの３Ｄデータとにより前記変形が制約される、方法。
  19. 閉じた式を用いて前記変形が実行される、請求項１１に記載の方法。
  20. 前記変形がほぼリアルタイムで実行される、請求項１１に記載の方法。
  21. ソース顔の少なくとも１つの２Ｄソース投影を３Ｄ基準アバターの基準ライブラリと比較する方法であって、
    ａ． アバターの３Ｄ基準表現を複数提供するステップと、
    ｂ． 前記３Ｄ基準アバターの不変視点検索を実行して、前記少なくとも１つの２Ｄソース投影に最も似ている２Ｄ投影を有する前記３Ｄ基準アバターを探索するステップを含む方法。
  22. 前記検索ステップが、実際に投影を生成することなく、前記３Ｄアバターの可能な２Ｄ投影の範囲にわたって各前記３Ｄ基準アバターを検索することを含む、請求項21に記載の方法。
  23. 請求項２２に記載の方法であって、少なくとも１つの前記２Ｄ投影における、前記ソース顔の視点と最適に一致適合する前記３Ｄ基準アバターの剛体運動を計算することが、当該の可能な２Ｄ投影の範囲にわたって検索することに含まれるようにした方法。
  24. 請求項２３に記載の方法であって、
    ａ． 前記３Ｄ基準アバターに関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含んでおり、前記少なくとも１つの２Ｄソース投影における特徴項目と投影的に一致適合する特徴項目の条件付き平均を推定すること、および、
    ｂ． 前記３Ｄ基準アバターの剛体運動について、前記投影された特徴項目の条件付き平均推定と前記３Ｄ基準アバターにおける対応する特徴項目との間の最小平均２乗誤差推定を生成することにより前記最適な剛体運動は決められる、方法。
  25. 前記ソース顔に似るように、前記探索された３Ｄ基準アバターを変形することにより、前記少なくとも１つの２Ｄソース投影の３Ｄアバターを作成するステップをさらに含む、請求項２１に記載の方法。
  26. 前記３Ｄアバターにおける特徴項目と前記少なくとも1つの２Ｄソース投影における対応する特徴項目との整合度により類似度が決定される、請求項２１に記載の方法。
  27. 請求項２５に記載の方法であって、前記探索された基準アバターを変形して、前記探索された基準アバターにおける複数の点の投影と前記少なくとも１つの２Ｄソース投影とのマッチングを最適化することを前記変形ステップが含む、方法。
  28. 複数の特徴を含むソースオブジェクトの２Ｄソース投影の少なくとも１つを３Ｄ基準オブジェクトの基準ライブラリと比較するシステムであって、
    ａ． 類似と総称される、複数の特徴を含むオブジェクトの３Ｄ基準表現を複数含むデータベースと、
    ｂ． 前記３Ｄ基準表現の不変視点検索を実行して、前記少なくとも１つの２Ｄソース投影に最も似ている２Ｄ投影を有する前記３Ｄ基準表現を探索するアナライザを備えるシステム。
  29. 請求項２８に記載のシステムであって、実際に投影を生成することなく、前記３Ｄ表現に係わる可能な２Ｄ投影の範囲にわたって各前記３Ｄ基準表現を前記アナライザが検索する、システム。
  30. 請求項２９に記載のシステムであって、少なくとも１つの前記２Ｄ投影における、前記複数の特徴を含むソースオブジェクトの視点と最適に一致適合する前記３Ｄ基準表現の剛体運動を前記アナライザが計算する、システム。
  31. 請求項３０に記載のシステムであって、
    ａ． 前記３Ｄ基準表現に関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含んでおり、前記少なくとも１つの２Ｄソース投影における特徴項目と投影的に一致適合する特徴項目の条件付き平均を推定すること、および、
    ｂ． 前記３Ｄ基準表現の剛体運動について、前記投影された特徴項目の条件付き平均推定と前記３Ｄ基準表現における対応する特徴項目との間の最小平均２乗誤差推定を生成すること、
    とにより前記最適な剛体運動を前記アナライザが決めるように構成されている、システム。
  32. 動的計画法を用いて前記特徴項目が前記画像から生成される、請求項３１に記載のシステム。
  33. 前記特徴項目は、ソース画像と３Ｄ基準オブジェクトの投影された画像との対応関係を用いて求められる、請求項３１に記載のシステム。
  34. 前記剛体運動が３次元におけるピッチ、ロール、ヨー、および並進を含んでいる、請求項３０に記載のシステム。
  35. 前記アナライザが、画像ランドマークからカメラパラメータを推定することにより自動カメラ校正を実行するようにさらに構成されている、請求項３４に記載のシステム。
  36. 前記３Ｄ表現における特徴項目と前記少なくとも１つの２Ｄソース投影における対応する特徴項目との整合度により類似度が決定される、請求項２８に記載のシステム。
  37. 前記アナライザが、前記少なくとも１つの２Ｄソース投影に関連する既知の３Ｄ位置情報に基づいて前記剛体運動を制約する、請求項３１に記載のシステム。
  38. 前記複数の特徴を含むソースオブジェクトに似るように、前記探索された３Ｄ基準表現を変形することにより、前記少なくとも１つの２Ｄソース投影の３Ｄ表現を作成する変形モジュールをさらに備える、請求項２８に記載のシステム。
  39. 前記変形モジュールが、大きな変形微分同相写像を用いて、前記探索された３Ｄ基準表現を変形し、それにより前記３Ｄ基準表現のジオメトリとトポロジが維持される、請求項３８に記載のシステム。
  40. 前記変形モジュールは、前記変形された探索された３Ｄ基準表現の対称性に対して制約を強いるものである、請求項３８に記載のシステム。
  41. 前記変形モジュールは、前記少なくとも１つの２Ｄソース投影における特徴項目が前記探索された３Ｄ基準表現における対応する特徴項目と整合するように、前記探索された３Ｄ基準表現を変形するものである、請求項３８に記載のシステム。
  42. 請求項３８に記載のシステムであって、前記変形モジュールは、前記探索された３Ｄ基準表現を変形して、前記探索された３Ｄ基準表現における複数の点の投影と前記少なくとも１つの２Ｄソース投影とのマッチングを最適化する、システム。
  43. 前記変形モジュールが剛体運動を用いない、請求項３８に記載のシステム。
  44. 前記変形モジュールが少なくとも１つの剛体運動とアフィン運動を用いる、請求項３８に記載のシステム。
  45. 前記変形モジュールの動作が、少なくとも１つの２Ｄソース投影に関連する少なくとも１つの既知の３Ｄ位置情報と、前記複数の特徴を含むソースオブジェクトの３Ｄデータとにより制約される、請求項３８に記載のシステム。
  46. 前記変形モジュールが閉じた式に従って動作する、請求項３８に記載のシステム。
  47. 前記変形モジュールが前記変形をほぼリアルタイムで実行する、請求項３８に記載のシステム。
  48. ソース顔の２Ｄソース投影の少なくとも１つを３Ｄ基準アバターの基準ライブラリと比較するシステムであって、
    ａ． アバターの３Ｄ基準表現を複数含むデータベースと、
    ｂ． 前記３Ｄ基準アバターの不変視点検索を実行して、前記少なくとも１つの２Ｄソース投影に最も似ている２Ｄ投影を有する前記３Ｄ基準アバターを探索するアナライザを備えるシステム。
  49. 前記アナライザが、実際に投影を生成することなく、前記３Ｄアバターの可能な２Ｄ投影の範囲にわたって各前記３Ｄ基準表現を検索する、請求項４８に記載のシステム。
  50. 前記アナライザが、少なくとも１つの前記２Ｄ投影における、前記ソース顔の視点と最適に一致適合する前記３Ｄ基準アバターの剛体運動を計算する、請求項４９に記載のシステム。
  51. 請求項５０に記載のシステムであって、
    ａ． 前記３Ｄ基準アバターに関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含んでおり、前記少なくとも１つの２Ｄソース投影における特徴項目と投影的に一致適合する特徴項目の条件付き平均を推定すること、および、
    ｂ． 前記３Ｄ基準アバターの剛体運動について、前記投影された特徴項目の条件付き平均推定と前記３Ｄ基準アバターにおける対応する特徴項目との間の最小平均２乗誤差推定を生成することにより前記アナライザが、前記最適な剛体運動を決めるように構成されている、システム。
  52. 前記３Ｄアバターにおける特徴項目と前記少なくとも１つの２Ｄソース投影における対応する特徴項目との整合度により類似度が決定される、請求項４８に記載のシステム。
  53. 前記ソース顔に似るように、前記探索された３Ｄ基準アバターを変形することにより、前記少なくとも１つの２Ｄソース投影の３Ｄ表現を作成する変形モジュールをさらに備える、請求項４８に記載のシステム。
  54. 前記変形モジュールが、前記探索された基準アバターを変形して、前記探索された基準アバターにおける複数の点の投影と前記少なくとも１つの２Ｄソース投影とのマッチングを最適化する、請求項５３に記載のシステム。
  55. ３Ｄソースオブジェクトと少なくとも１つの３Ｄ基準オブジェクトを比較する方法であって、
    ａ． 前記ソースオブジェクトと前記少なくとも１つの基準オブジェクトの２Ｄ表現を作成するステップと、
    ｂ． 投影幾何を用いて前記３Ｄソースオブジェクトと３Ｄ基準オブジェクトとの対応関係を特徴づけるステップとを含む方法。
  56. ３Ｄソースオブジェクトを少なくとも１つの３Ｄ基準オブジェクトと比較するシステムであって、
    ａ． 前記ソースオブジェクトと前記少なくとも１つの基準オブジェクトの２Ｄ表現を作成する投影モジュールと、
    ｂ． 投影幾何を用いて前記３Ｄソースオブジェクトと３Ｄ基準オブジェクトとの対応関係を決めるアナライザとを備えるシステム。
  57. 複数の特徴を含むソースオブジェクトの２Ｄソース投影の少なくとも１つから３Ｄ表現を作成する方法であって、
    ａ． 類似と総称される、複数の特徴を含むオブジェクトの少なくとも１つの３Ｄ基準表現の集合を提供するステップと、
    ｂ． 前記集合から３Ｄ基準表現を探索するステップと、
    ｃ． 前記複数の特徴を含むソースオブジェクトに似るように、前記少なくとも１つの２Ｄソース投影に従って、前記探索された３Ｄ基準表現を変形することにより、前記少なくとも１つの２Ｄソース投影の３Ｄ表現を作成するステップを含む方法。
  58. 前記少なくとも１つの２Ｄソース投影に基づいて前記探索ステップを実行するステップをさらに含む、請求項５７に記載の方法。
  59. ａ． 前記集合が複数の３Ｄ基準表現を有し、
    ｂ． 前記探索ステップが、前記３Ｄ基準表現の集合の不変視点検索を実行して、前記少なくとも１つの２Ｄソース投影に最も似ている２Ｄ投影を有する前記３Ｄ基準表現を探索することを含む、請求項５７に記載の方法。
  60. 前記検索ステップが、実際にすべての投影を生成することなく、前記３Ｄ表現に係わる可能な２Ｄ投影の範囲にわたって各前記３Ｄ基準表現を検索することを含む、請求項５９に記載の方法。
  61. 請求項５７に記載の方法であって、少なくとも１つの前記２Ｄ投影における、前記複数の特徴を含むソースオブジェクトの視点と最適に一致適合する前記３Ｄ基準表現の剛体運動を計算することを当該の可能な２Ｄ投影の範囲にわたって検索することを含む、方法。
  62. 前記３Ｄ表現における特徴項目と前記少なくとも１つの２Ｄソース投影における対応する特徴項目との整合度により類似度が決定される、請求項５７に記載の方法。
  63. 請求項５７に記載の方法であって、大きな変形微分同相写像を用いて、前記探索された３Ｄ基準表現を変形し、それにより前記３Ｄ基準表現のジオメトリとトポロジが維持されるようにしたことを、前記変形ステップが含む方法。
  64. 前記変形ステップが、前記少なくとも１つの２Ｄソース投影における特徴項目が前記探索された３Ｄ基準表現における対応する特徴項目と整合するように、前記探索された３Ｄ基準表現を変形することを含む、請求項５７に記載の方法。
  65. 前記変形ステップが、前記探索された３Ｄ基準表現を変形して、前記探索された３Ｄ基準表現における複数の点の投影と前記少なくとも１つの２Ｄソース投影とのマッチングを最適化することを含む、請求項５７に記載の方法。
  66. 前記変形がほぼリアルタイムで実行される、請求項５７に記載の方法。
  67. 複数の特徴を含むソースオブジェクトの２Ｄソース投影の少なくとも１つから３Ｄ表現を作成するシステムであって、
    ａ． 類似と総称される、複数の特徴を含むオブジェクトの３Ｄ基準表現を少なくとも１つ含むデータベースと、
    ｂ． 前記集合から３Ｄ基準表現を探索するアナライザと、
    ｃ． 前記複数の特徴を含むソースオブジェクトに似るように、前記少なくとも１つの２Ｄソース投影に従って、前記探索された３Ｄ基準表現を変形することにより、前記少なくとも１つの２Ｄソース投影の３Ｄ表現を作成する変形モジュールを備えるシステム。
  68. 前記アナライザが前記少なくとも１つの２Ｄ投影に基づいて前記３Ｄ基準表現の前記探索を実行する、請求項６７に記載のシステム。
  69. 請求項６７に記載のシステムであって、
    ａ． 前記データベースは、複数の３Ｄ基準表現を有しており、
    ｂ． 前記アナライザが、前記３Ｄ基準表現の集合の不変視点検索を実行して、前記少なくとも１つの２Ｄソース投影ステップに最も似ている２Ｄ投影を有する前記３Ｄ基準表現を探索するものである、請求項６７に記載のシステム。
  70. 前記アナライザが、実際に投影を生成することなく、前記３Ｄ表現に係わる可能な２Ｄ投影の範囲にわたって各前記３Ｄ基準表現を検索するものである、請求項６９に記載のシステム。
  71. 請求項７０に記載のシステムであって、少なくとも１つの前記２Ｄ投影における、前記複数の特徴を含むソースオブジェクトの視点と最適に一致適合する前記３Ｄ基準表現の剛体運動を計算することが当該の可能な２Ｄ投影の範囲にわたる前記検索することに含まれるようにした、システム。
  72. 前記３Ｄ表現における特徴項目と前記少なくとも１つの２Ｄソース投影における対応する特徴項目との整合度により類似度が決定される、請求項６７に記載のシステム。
  73. 前記変形モジュールが大きな変形微分同相写像を用いて、前記探索された３Ｄ基準表現を変形し、それにより前記３Ｄ基準表現のジオメトリとトポロジが維持される、請求項６７に記載のシステム。
  74. 前記変形モジュールが、前記少なくとも１つの２Ｄソース投影における特徴項目が前記探索された３Ｄ基準表現における対応する特徴項目と整合するように、前記探索された３Ｄ基準表現を変形する、請求項６７に記載のシステム。
  75. 前記変形モジュールが、前記探索された３Ｄ基準表現を変形して、前記探索された３Ｄ基準表現における複数の点の投影と前記少なくとも１つの２Ｄソース投影とのマッチングを最適化する、請求項６７に記載のシステム。
  76. 前記変形がほぼリアルタイムで実行される、請求項６７に記載のシステム。
JP2006509130A 2003-03-06 2004-03-05 不変視点からの画像照合および２次元画像からの３次元モデルの生成 Pending JP2006520054A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US45242903P 2003-03-06 2003-03-06
US45243103P 2003-03-06 2003-03-06
US45243003P 2003-03-06 2003-03-06
PCT/US2004/006604 WO2004081853A1 (en) 2003-03-06 2004-03-05 Viewpoint-invariant image matching and generation of three-dimensional models from two-dimensional imagery

Publications (1)

Publication Number Publication Date
JP2006520054A true JP2006520054A (ja) 2006-08-31

Family

ID=32995971

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2006509187A Pending JP2006522411A (ja) 2003-03-06 2004-03-05 複数の特徴を含むオブジェクトの画像データベースの生成
JP2006509131A Pending JP2006520055A (ja) 2003-03-06 2004-03-05 ２次元画像からの３次元オブジェクトの不変視点検出および識別
JP2006509130A Pending JP2006520054A (ja) 2003-03-06 2004-03-05 不変視点からの画像照合および２次元画像からの３次元モデルの生成

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2006509187A Pending JP2006522411A (ja) 2003-03-06 2004-03-05 複数の特徴を含むオブジェクトの画像データベースの生成
JP2006509131A Pending JP2006520055A (ja) 2003-03-06 2004-03-05 ２次元画像からの３次元オブジェクトの不変視点検出および識別

Country Status (4)

Country Link
US (4) US7643685B2 (ja)
EP (3) EP1599830A1 (ja)
JP (3) JP2006522411A (ja)
WO (3) WO2004081854A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007064836A (ja) * 2005-08-31 2007-03-15 Kyushu Institute Of Technology カメラキャリブレーションの自動化アルゴリズム
JP2008083672A (ja) * 2006-09-27 2008-04-10 Compal Electronic Inc 表情影像を表示する方法
KR101509934B1 (ko) * 2013-10-10 2015-04-16 재단법인대구경북과학기술원 정면 얼굴 자세 유도 장치, 및 정면 얼굴 자세 유도 방법
KR101755248B1 (ko) * 2016-01-27 2017-07-07 (주)에이아이퍼스트 3차원 모델 생성 방법과 시스템 및 이를 위한 휴대용 단말
JP2019525288A (ja) * 2016-06-03 2019-09-05 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ ヘッドマウントディスプレイ内の顔センサを使用する顔および目のトラッキングおよび顔アニメーション
JP2020502661A (ja) * 2016-12-14 2020-01-23 マグネティ・マレッリ・エス・ピー・エー 包括的適応３ｄモデルに基づくオブジェクト認識

Families Citing this family (165)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002233198A1 (en) * 2001-11-24 2003-06-10 Newsight Corporation Generation of a stereo image sequence from a 2d image sequence
US6947579B2 (en) * 2002-10-07 2005-09-20 Technion Research & Development Foundation Ltd. Three-dimensional face recognition
US7421098B2 (en) * 2002-10-07 2008-09-02 Technion Research & Development Foundation Ltd. Facial recognition and the open mouth problem
EP1677250B9 (en) * 2003-10-21 2012-10-24 NEC Corporation Image collation system and image collation method
US20050152504A1 (en) * 2004-01-13 2005-07-14 Ang Shih Method and apparatus for automated tomography inspection
WO2006002320A2 (en) * 2004-06-23 2006-01-05 Strider Labs, Inc. System and method for 3d object recognition using range and intensity
US7542034B2 (en) 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
US7480414B2 (en) * 2004-10-14 2009-01-20 International Business Machines Corporation Method and apparatus for object normalization using object classification
EP2218351B1 (en) * 2004-10-22 2011-10-05 Shiseido Co., Ltd. Lip makeup method
US20060127852A1 (en) * 2004-12-14 2006-06-15 Huafeng Wen Image based orthodontic treatment viewing system
KR100601989B1 (ko) * 2005-02-07 2006-07-18 삼성전자주식회사 3차원 형상 생성 장치와 방법 및 컴퓨터 프로그램을저장한 컴퓨터로 읽을 수 있는 기록매체
US8213677B2 (en) * 2005-03-04 2012-07-03 National University Corporation NARA Institute of Science and Technology Motion measuring device, motion measuring system, in-vehicle device, motion measuring method, motion measurement program, and computer-readable storage medium
US7657126B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for search portions of objects in images and features thereof
US8732025B2 (en) 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
US7783135B2 (en) 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
US7660468B2 (en) * 2005-05-09 2010-02-09 Like.Com System and method for enabling image searching using manual enrichment, classification, and/or segmentation
US7760917B2 (en) 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches
US20080177640A1 (en) 2005-05-09 2008-07-24 Salih Burak Gokturk System and method for using image analysis and search in e-commerce
US7945099B2 (en) 2005-05-09 2011-05-17 Like.Com System and method for use of images with recognition analysis
US7519200B2 (en) 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US7991242B2 (en) 2005-05-11 2011-08-02 Optosecurity Inc. Apparatus, method and system for screening receptacles and persons, having image distortion correction functionality
US20090174554A1 (en) 2005-05-11 2009-07-09 Eric Bergeron Method and system for screening luggage items, cargo containers or persons
WO2006119629A1 (en) * 2005-05-11 2006-11-16 Optosecurity Inc. Database of target objects suitable for use in screening receptacles or people and method and apparatus for generating same
WO2006138525A2 (en) * 2005-06-16 2006-12-28 Strider Labs System and method for recognition in 2d images using 3d class models
US20070080967A1 (en) * 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
US7961937B2 (en) * 2005-10-26 2011-06-14 Hewlett-Packard Development Company, L.P. Pre-normalization data classification
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
US20070124330A1 (en) * 2005-11-17 2007-05-31 Lydia Glass Methods of rendering information services and related devices
TW200725433A (en) * 2005-12-29 2007-07-01 Ind Tech Res Inst Three-dimensional face recognition system and method thereof
US9101990B2 (en) 2006-01-23 2015-08-11 Hy-Ko Products Key duplication machine
WO2007087389A2 (en) 2006-01-23 2007-08-02 Hy-Ko Products Company Key duplication machine
WO2007092629A2 (en) * 2006-02-09 2007-08-16 Nms Communications Corporation Smooth morphing between personal video calling avatars
US8571272B2 (en) * 2006-03-12 2013-10-29 Google Inc. Techniques for enabling or establishing the use of face recognition algorithms
US9690979B2 (en) 2006-03-12 2017-06-27 Google Inc. Techniques for enabling or establishing the use of face recognition algorithms
JP4362489B2 (ja) * 2006-03-29 2009-11-11 日本電気株式会社 ３次元顔データ登録システム、３次元顔データ登録方法、及び登録処理プログラム
JP4785598B2 (ja) * 2006-04-07 2011-10-05 株式会社日立製作所 類似形状検索装置
US7899232B2 (en) 2006-05-11 2011-03-01 Optosecurity Inc. Method and apparatus for providing threat image projection (TIP) in a luggage screening system, and luggage screening system implementing same
US8494210B2 (en) 2007-03-30 2013-07-23 Optosecurity Inc. User interface for use in security screening providing image enhancement capabilities and apparatus for implementing same
US8233702B2 (en) * 2006-08-18 2012-07-31 Google Inc. Computer implemented technique for analyzing images
US8437535B2 (en) 2006-09-19 2013-05-07 Roboticvisiontech Llc System and method of determining object pose
US7966567B2 (en) * 2007-07-12 2011-06-21 Center'd Corp. Character expression in a geo-spatial environment
WO2008076942A1 (en) * 2006-12-15 2008-06-26 Braintech Canada, Inc. System and method of identifying objects
JP5024067B2 (ja) * 2007-01-19 2012-09-12 コニカミノルタホールディングス株式会社 顔認証システム、方法及びプログラム
US8655052B2 (en) 2007-01-26 2014-02-18 Intellectual Discovery Co., Ltd. Methodology for 3D scene reconstruction from 2D image sequences
JP2008187591A (ja) * 2007-01-31 2008-08-14 Fujifilm Corp 撮像装置及び撮像方法
US20080228449A1 (en) * 2007-03-12 2008-09-18 Conversion Works, Inc. Systems and methods for 2-d to 3-d conversion using depth access segments to define an object
US8274530B2 (en) 2007-03-12 2012-09-25 Conversion Works, Inc. Systems and methods for filling occluded information for 2-D to 3-D conversion
US20080225045A1 (en) * 2007-03-12 2008-09-18 Conversion Works, Inc. Systems and methods for 2-d to 3-d image conversion using mask to model, or model to mask, conversion
JP5096776B2 (ja) * 2007-04-04 2012-12-12 キヤノン株式会社 画像処理装置及び画像検索方法
JP4337064B2 (ja) * 2007-04-04 2009-09-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
US8416981B2 (en) 2007-07-29 2013-04-09 Google Inc. System and method for displaying contextual supplemental content based on image content
ATE452379T1 (de) * 2007-10-11 2010-01-15 Mvtec Software Gmbh System und verfahren zur 3d-objekterkennung
US8059888B2 (en) * 2007-10-30 2011-11-15 Microsoft Corporation Semi-automatic plane extrusion for 3D modeling
US8862582B2 (en) * 2007-11-15 2014-10-14 At&T Intellectual Property I, L.P. System and method of organizing images
US8190604B2 (en) * 2008-04-03 2012-05-29 Microsoft Corporation User intention modeling for interactive image retrieval
US20100017033A1 (en) * 2008-07-18 2010-01-21 Remus Boca Robotic systems with user operable robot control terminals
JP5253066B2 (ja) * 2008-09-24 2013-07-31 キヤノン株式会社 位置姿勢計測装置及び方法
US8368689B2 (en) * 2008-09-25 2013-02-05 Siemens Product Lifecycle Management Software Inc. System, method, and computer program product for radial functions and distributions of three dimensional object models
US8559699B2 (en) 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
CN101896957B (zh) * 2008-10-15 2013-06-19 松下电器产业株式会社 光投射装置
US8159327B2 (en) * 2008-11-13 2012-04-17 Visa International Service Association Device including authentication glyph
JP2010186288A (ja) * 2009-02-12 2010-08-26 Seiko Epson Corp 顔画像の所定のテクスチャー特徴量を変更する画像処理
US9293017B2 (en) * 2009-02-26 2016-03-22 Tko Enterprises, Inc. Image processing sensor systems
US9277878B2 (en) * 2009-02-26 2016-03-08 Tko Enterprises, Inc. Image processing sensor systems
US9740921B2 (en) 2009-02-26 2017-08-22 Tko Enterprises, Inc. Image processing sensor systems
US8644619B2 (en) 2009-05-01 2014-02-04 Hy-Ko Products Company Key blank identification system with groove scanning
US8634655B2 (en) 2009-05-01 2014-01-21 Hy-Ko Products Company Key blank identification system with bitting analysis
US8630456B2 (en) * 2009-05-12 2014-01-14 Toyota Jidosha Kabushiki Kaisha Object recognition method, object recognition apparatus, and autonomous mobile robot
US20100313141A1 (en) * 2009-06-03 2010-12-09 Tianli Yu System and Method for Learning User Genres and Styles and for Matching Products to User Preferences
US8553972B2 (en) * 2009-07-06 2013-10-08 Samsung Electronics Co., Ltd. Apparatus, method and computer-readable medium generating depth map
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US8604796B2 (en) * 2009-10-08 2013-12-10 Precision Energy Services, Inc. Steerable magnetic dipole antenna for measurement-while-drilling applications
US9366780B2 (en) 2009-10-08 2016-06-14 Precision Energy Services, Inc. Steerable magnetic dipole antenna for measurement while drilling applications
JP2011090466A (ja) * 2009-10-21 2011-05-06 Sony Corp 情報処理装置及び方法、並びにプログラム
KR20110070056A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 사용자 맞춤형 고품질 3ｄ 아바타 생성 방법 및 그 장치
US8570343B2 (en) * 2010-04-20 2013-10-29 Dassault Systemes Automatic generation of 3D models from packaged goods product images
US20110268365A1 (en) * 2010-04-30 2011-11-03 Acer Incorporated 3d hand posture recognition system and vision based hand posture recognition method thereof
EP2385483B1 (en) 2010-05-07 2012-11-21 MVTec Software GmbH Recognition and pose determination of 3D objects in 3D scenes using geometric point pair descriptors and the generalized Hough Transform
US10628729B2 (en) * 2010-06-08 2020-04-21 Styku, LLC System and method for body scanning and avatar creation
US11640672B2 (en) * 2010-06-08 2023-05-02 Styku Llc Method and system for wireless ultra-low footprint body scanning
US10702216B2 (en) * 2010-06-08 2020-07-07 Styku, LLC Method and system for body scanning and display of biometric data
US10628666B2 (en) * 2010-06-08 2020-04-21 Styku, LLC Cloud server body scan data system
US20160088284A1 (en) * 2010-06-08 2016-03-24 Styku, Inc. Method and system for determining biometrics from body surface imaging technology
US11244223B2 (en) * 2010-06-08 2022-02-08 Iva Sareen Online garment design and collaboration system and method
US8452721B2 (en) * 2010-06-15 2013-05-28 Nvidia Corporation Region of interest tracking for fluid simulation
US8928659B2 (en) * 2010-06-23 2015-01-06 Microsoft Corporation Telepresence systems with viewer perspective adjustment
US8416990B2 (en) 2010-08-17 2013-04-09 Microsoft Corporation Hierarchical video sub-volume search
US8432392B2 (en) * 2010-09-02 2013-04-30 Samsung Electronics Co., Ltd. Display system with image conversion mechanism and method of operation thereof
US9317533B2 (en) 2010-11-02 2016-04-19 Microsoft Technology Licensing, Inc. Adaptive image retrieval database
US8463045B2 (en) 2010-11-10 2013-06-11 Microsoft Corporation Hierarchical sparse representation for image retrieval
US8711210B2 (en) 2010-12-14 2014-04-29 Raytheon Company Facial recognition using a sphericity metric
WO2012082077A2 (en) * 2010-12-17 2012-06-21 Agency For Science, Technology And Research Pose-independent 3d face reconstruction from a sample 2d face image
WO2012084362A1 (en) * 2010-12-21 2012-06-28 Ecole polytechnique fédérale de Lausanne (EPFL) Computerized method and device for annotating at least one feature of an image of a view
DE102011008074A1 (de) * 2011-01-07 2012-07-12 Martin Tank Verfahren und Zahnrestaurationsermittlungssystem zur Ermittlung von Zahnrestaurationen
US9952046B1 (en) 2011-02-15 2018-04-24 Guardvant, Inc. Cellular phone and personal protective equipment usage monitoring system
US9198575B1 (en) 2011-02-15 2015-12-01 Guardvant, Inc. System and method for determining a level of operator fatigue
US8988512B2 (en) 2011-04-14 2015-03-24 Mediatek Inc. Method for adjusting playback of multimedia content according to detection result of user status and related apparatus thereof
JP5773323B2 (ja) * 2011-08-09 2015-09-02 インテル・コーポレーション 画像に基づくマルチビュー３ｄ顔生成
WO2013026048A2 (en) * 2011-08-18 2013-02-21 Utherverse Digital, Inc. Systems and methods of virtual world interaction
JP5143262B1 (ja) * 2011-08-30 2013-02-13 株式会社東芝 立体映像処理装置、立体映像処理方法
JP6025849B2 (ja) 2011-09-07 2016-11-16 ラピスカン システムズ、インコーポレイテッド マニフェストデータをイメージング／検知処理に統合するｘ線検査システム
WO2013086137A1 (en) 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
KR20130063310A (ko) * 2011-12-06 2013-06-14 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US10013787B2 (en) 2011-12-12 2018-07-03 Faceshift Ag Method for facial animation
US9904843B2 (en) * 2012-03-27 2018-02-27 Nec Corporation Information processing device, information processing method, and program
US9311746B2 (en) 2012-05-23 2016-04-12 Glasses.Com Inc. Systems and methods for generating a 3-D model of a virtual try-on product
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9141848B2 (en) * 2012-09-04 2015-09-22 Intel Corporation Automatic media distribution
US10678259B1 (en) * 2012-09-13 2020-06-09 Waymo Llc Use of a reference image to detect a road obstacle
WO2014043755A1 (en) * 2012-09-19 2014-03-27 Commonwealth Scientific And Industrial Research Organisation System and method of generating a non-rigid model
US9020982B2 (en) 2012-10-15 2015-04-28 Qualcomm Incorporated Detection of planar targets under steep angles
US9743002B2 (en) * 2012-11-19 2017-08-22 Magna Electronics Inc. Vehicle vision system with enhanced display functions
CN104782120B (zh) * 2012-12-17 2018-08-10 英特尔公司 化身动画制作方法、计算设备和存储介质
US9990373B2 (en) * 2013-02-06 2018-06-05 John A. Fortkort Creation and geospatial placement of avatars based on real-world interactions
US9381426B1 (en) * 2013-03-15 2016-07-05 University Of Central Florida Research Foundation, Inc. Semi-automated digital puppetry control
US9990004B2 (en) * 2013-04-02 2018-06-05 Samsung Dispaly Co., Ltd. Optical detection of bending motions of a flexible display
US9449392B2 (en) * 2013-06-05 2016-09-20 Samsung Electronics Co., Ltd. Estimator training method and pose estimating method using depth image
US9839761B1 (en) 2013-07-04 2017-12-12 Hal Rucker Airflow control for pressurized air delivery
US9355123B2 (en) 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
US9613449B2 (en) 2013-10-18 2017-04-04 Nvidia Corporation Method and apparatus for simulating stiff stacks
US9589383B2 (en) 2013-10-18 2017-03-07 Nvidia Corporation Unified position based solver for visual effects
WO2015066458A1 (en) * 2013-11-01 2015-05-07 The Research Foundation For The State University Of New York Method for measuring the interior three-dimensional movement, stress and strain of an object
US9466009B2 (en) 2013-12-09 2016-10-11 Nant Holdings Ip. Llc Feature density object classification, systems and methods
US9501498B2 (en) * 2014-02-14 2016-11-22 Nant Holdings Ip, Llc Object ingestion through canonical shapes, systems and methods
ES2968786T3 (es) * 2014-09-15 2024-05-14 Temasek Life Sciences Laboratory Ltd Sistema y método de reconocimiento de imágenes
US9710699B2 (en) * 2014-10-31 2017-07-18 Irvine Sensors Corp. Three dimensional recognition from unscripted sources technology (TRUST)
RU2582852C1 (ru) * 2015-01-21 2016-04-27 Общество с ограниченной ответственностью "Вокорд СофтЛаб" (ООО "Вокорд СофтЛаб") Автоматическое построение 3d модели лица по серии 2d изображений или по видеофильму
KR102146398B1 (ko) 2015-07-14 2020-08-20 삼성전자주식회사 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
US9818041B2 (en) 2015-08-03 2017-11-14 Hy-Ko Products Company High security key scanning system
US20170103563A1 (en) * 2015-10-07 2017-04-13 Victor Erukhimov Method of creating an animated realistic 3d model of a person
US9868212B1 (en) * 2016-02-18 2018-01-16 X Development Llc Methods and apparatus for determining the pose of an object based on point cloud data
EP3772702A3 (en) 2016-02-22 2021-05-19 Rapiscan Systems, Inc. Methods for processing radiographic images
US20170280130A1 (en) * 2016-03-25 2017-09-28 Microsoft Technology Licensing, Llc 2d video analysis for 3d modeling
JP6744747B2 (ja) * 2016-04-01 2020-08-19 キヤノン株式会社 情報処理装置およびその制御方法
US10474932B2 (en) * 2016-09-01 2019-11-12 Uptake Technologies, Inc. Detection of anomalies in multivariate data
WO2018053703A1 (en) * 2016-09-21 2018-03-29 Intel Corporation Estimating accurate face shape and texture from an image
US20180357819A1 (en) * 2017-06-13 2018-12-13 Fotonation Limited Method for generating a set of annotated images
JP7003455B2 (ja) * 2017-06-15 2022-01-20 オムロン株式会社 テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム
US11948057B2 (en) * 2017-06-22 2024-04-02 Iva Sareen Online garment design and collaboration system and method
EP3420903B1 (de) * 2017-06-29 2019-10-23 Siemens Healthcare GmbH Visualisieren zumindest einer kenngrösse
US11069121B2 (en) * 2017-08-31 2021-07-20 Sony Group Corporation Methods, devices and computer program products for creating textured 3D images
US10870056B2 (en) * 2017-11-01 2020-12-22 Sony Interactive Entertainment Inc. Emoji-based communications derived from facial features during game play
US20190143221A1 (en) * 2017-11-15 2019-05-16 Sony Interactive Entertainment America Llc Generation and customization of personalized avatars
US10783346B2 (en) * 2017-12-11 2020-09-22 Invensense, Inc. Enhancing quality of a fingerprint image
CN109918976B (zh) * 2017-12-13 2021-04-02 航天信息股份有限公司 一种人像比对算法融合方法及其装置
WO2019117959A1 (en) * 2017-12-15 2019-06-20 Hewlett-Packard Development Company, L.P. Patterns for locations on three-dimensional objects
KR102661019B1 (ko) 2018-02-23 2024-04-26 삼성전자주식회사 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법
US20200410210A1 (en) * 2018-03-12 2020-12-31 Carnegie Mellon University Pose invariant face recognition
CN108549848B (zh) * 2018-03-27 2022-02-25 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN109118569B (zh) * 2018-08-16 2023-03-10 Oppo广东移动通信有限公司 基于三维模型的渲染方法和装置
KR102615196B1 (ko) 2018-08-21 2023-12-18 삼성전자주식회사 객체 검출 모델 트레이닝 장치 및 방법
US10621788B1 (en) * 2018-09-25 2020-04-14 Sony Corporation Reconstructing three-dimensional (3D) human body model based on depth points-to-3D human body model surface distance
US10489683B1 (en) * 2018-12-17 2019-11-26 Bodygram, Inc. Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
CN109816704B (zh) * 2019-01-28 2021-08-03 北京百度网讯科技有限公司 物体的三维信息获取方法和装置
US11386636B2 (en) 2019-04-04 2022-07-12 Datalogic Usa, Inc. Image preprocessing for optical character recognition
EP3731132A1 (en) * 2019-04-25 2020-10-28 XRSpace CO., LTD. Method of generating 3d facial model for an avatar and related device
US10992619B2 (en) * 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
US10803301B1 (en) * 2019-08-02 2020-10-13 Capital One Services, Llc Detecting fraud in image recognition systems
JP7318725B2 (ja) * 2019-10-30 2023-08-01 日本電気株式会社 照合支援装置、照合支援方法、及びプログラム
US11580156B2 (en) 2019-11-28 2023-02-14 Mitsubishi Electric Corporation Workpiece image search apparatus and workpiece image search method
WO2021237169A1 (en) * 2020-05-21 2021-11-25 Sareen Iva Online garment design and collaboration and virtual try-on system and method
US11810256B2 (en) * 2021-11-11 2023-11-07 Qualcomm Incorporated Image modification techniques
JPWO2023175648A1 (ja) * 2022-03-14 2023-09-21

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5159361A (en) * 1989-03-09 1992-10-27 Par Technology Corporation Method and apparatus for obtaining the topography of an object
US5825936A (en) * 1994-09-22 1998-10-20 University Of South Florida Image analyzing device using adaptive criteria
US5761638A (en) * 1995-03-17 1998-06-02 Us West Inc Telephone network apparatus and method using echo delay and attenuation
US5742291A (en) * 1995-05-09 1998-04-21 Synthonics Incorporated Method and apparatus for creation of three-dimensional wire frames
US5844573A (en) * 1995-06-07 1998-12-01 Massachusetts Institute Of Technology Image compression by pointwise prototype correspondence using shape and texture information
US6226418B1 (en) 1997-11-07 2001-05-01 Washington University Rapid convolution based large deformation image matching via landmark and volume imagery
US5898438A (en) * 1996-11-12 1999-04-27 Ford Global Technologies, Inc. Texture mapping of photographic images to CAD surfaces
US6094199A (en) * 1997-05-23 2000-07-25 University Of Washington 3D objects morphing employing skeletons indicating symmetric differences to define intermediate objects used in morphing
US5990901A (en) * 1997-06-27 1999-11-23 Microsoft Corporation Model based image editing and correction
WO1999015945A2 (en) * 1997-09-23 1999-04-01 Enroute, Inc. Generating three-dimensional models of objects defined by two-dimensional image data
EP0907145A3 (en) * 1997-10-03 2003-03-26 Nippon Telegraph and Telephone Corporation Method and equipment for extracting image features from image sequence
US6249600B1 (en) 1997-11-07 2001-06-19 The Trustees Of Columbia University In The City Of New York System and method for generation of a three-dimensional solid model
US6002782A (en) * 1997-11-12 1999-12-14 Unisys Corporation System and method for recognizing a 3-D object by generating a 2-D image of the object from a transformed 3-D model
AU1613599A (en) 1997-12-01 1999-06-16 Arsev H. Eraslan Three-dimensional face identification system
US6362833B2 (en) 1998-04-08 2002-03-26 Intel Corporation Method and apparatus for progressively constructing a series of morphs between two-dimensional or three-dimensional models
JP3467725B2 (ja) * 1998-06-02 2003-11-17 富士通株式会社 画像の影除去方法、画像処理装置及び記録媒体
US6366282B1 (en) * 1998-09-08 2002-04-02 Intel Corporation Method and apparatus for morphing objects by subdividing and mapping portions of the objects
IT1315446B1 (it) * 1998-10-02 2003-02-11 Cselt Centro Studi Lab Telecom Procedimento per la creazione di modelli facciali tridimensionali apartire da immagini di volti.
JP4025442B2 (ja) * 1998-12-01 2007-12-19 富士通株式会社 三次元モデル変換装置及び方法
EP1039417B1 (en) * 1999-03-19 2006-12-20 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for the processing of images based on morphable models
US6296317B1 (en) * 1999-10-29 2001-10-02 Carnegie Mellon University Vision-based motion sensor for mining machine control
GB0004165D0 (en) * 2000-02-22 2000-04-12 Digimask Limited System for virtual three-dimensional object creation and use
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
JP4341135B2 (ja) * 2000-03-10 2009-10-07 コニカミノルタホールディングス株式会社 物体認識装置
US6956569B1 (en) * 2000-03-30 2005-10-18 Nec Corporation Method for matching a two dimensional image to one of a plurality of three dimensional candidate models contained in a database
JP2001283216A (ja) 2000-04-03 2001-10-12 Nec Corp 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
JP4387552B2 (ja) * 2000-04-27 2009-12-16 富士通株式会社 画像照合処理システム
US6853745B1 (en) 2000-11-03 2005-02-08 Nec Laboratories America, Inc. Lambertian reflectance and linear subspaces
US6975750B2 (en) 2000-12-01 2005-12-13 Microsoft Corp. System and method for face recognition using synthesized training images
GB2383915B (en) 2001-11-23 2005-09-28 Canon Kk Method and apparatus for generating models of individuals
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
WO2003073359A2 (en) 2002-02-26 2003-09-04 Canesta, Inc. Method and apparatus for recognizing objects
FR2849241B1 (fr) * 2002-12-20 2005-06-24 Biospace Instr Procede et dispositif d'imagerie radiographique
WO2004088590A1 (ja) 2003-03-28 2004-10-14 Fujitsu Limited 撮影装置および個人識別システム
US7756325B2 (en) * 2005-06-20 2010-07-13 University Of Basel Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007064836A (ja) * 2005-08-31 2007-03-15 Kyushu Institute Of Technology カメラキャリブレーションの自動化アルゴリズム
JP2008083672A (ja) * 2006-09-27 2008-04-10 Compal Electronic Inc 表情影像を表示する方法
KR101509934B1 (ko) * 2013-10-10 2015-04-16 재단법인대구경북과학기술원 정면 얼굴 자세 유도 장치, 및 정면 얼굴 자세 유도 방법
KR101755248B1 (ko) * 2016-01-27 2017-07-07 (주)에이아이퍼스트 3차원 모델 생성 방법과 시스템 및 이를 위한 휴대용 단말
JP2019525288A (ja) * 2016-06-03 2019-09-05 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ ヘッドマウントディスプレイ内の顔センサを使用する顔および目のトラッキングおよび顔アニメーション
JP2020502661A (ja) * 2016-12-14 2020-01-23 マグネティ・マレッリ・エス・ピー・エー 包括的適応３ｄモデルに基づくオブジェクト認識
JP7101676B2 (ja) 2016-12-14 2022-07-15 マグネティ・マレッリ・エス・ピー・エー 包括的適応３ｄモデルに基づくオブジェクト認識

Also Published As

Publication number Publication date
EP1599829A1 (en) 2005-11-30
US20040190775A1 (en) 2004-09-30
US7853085B2 (en) 2010-12-14
EP1599828A1 (en) 2005-11-30
JP2006520055A (ja) 2006-08-31
EP1599830A1 (en) 2005-11-30
US7643683B2 (en) 2010-01-05
US20040175041A1 (en) 2004-09-09
US20040175039A1 (en) 2004-09-09
US20100295854A1 (en) 2010-11-25
JP2006522411A (ja) 2006-09-28
WO2004081853A1 (en) 2004-09-23
WO2004081855A1 (en) 2004-09-23
US7643685B2 (en) 2010-01-05
WO2004081854A1 (en) 2004-09-23

Similar Documents

Publication Publication Date Title
JP2006520054A (ja) 不変視点からの画像照合および２次元画像からの３次元モデルの生成
JP7203954B2 (ja) 顔姿勢推定／３次元顔再構築方法、装置、及び電子デバイス
Pighin et al. Modeling and animating realistic faces from images
JP4284664B2 (ja) 三次元形状推定システム及び画像生成システム
JP4793698B2 (ja) 画像処理システム、３次元形状推定システム、物体位置姿勢推定システム及び画像生成システム
JP4466951B2 (ja) 立体結合顔形状の位置合わせ
US20070080967A1 (en) Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
US8411081B2 (en) Systems and methods for enhancing symmetry in 2D and 3D objects
KR20050059247A (ko) 3차원 안면 인식
CN108629294A (zh) 基于变形图的人体与人脸网格模板拟合方法
JP2007257324A (ja) 顔モデル作成システム
Ye et al. 3d morphable face model for face animation
CN111815768A (zh) 三维人脸重建方法和装置
JP2010211732A (ja) 物体認識装置および方法
Kang et al. Appearance-based structure from motion using linear classes of 3-d models
Jeong et al. Automatic generation of subdivision surface head models from point cloud data
CN110990604A (zh) 图像底库生成方法、人脸识别方法和智能门禁系统
JP2017122993A (ja) 画像処理装置、画像処理方法及びプログラム
Guo et al. Building a 3D morphable face model by using thin plate splines for face reconstruction
JP4623320B2 (ja) 三次元形状推定システム及び画像生成システム
US20230237753A1 (en) Dynamic facial hair capture of a subject
Aleksandrova et al. Approach for Creating a 3D Model of a Face from its 2D Image
Zhang et al. Synthesis of 3D faces using region‐based morphing under intuitive control
Hemati et al. Adjustable method based on body parts for improving the accuracy of 3D reconstruction in visually important body parts from silhouettes
Ilic Implicit meshes: unifying implicit and explicit surface representations for 3D reconstruction and tracking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090511

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090810

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090915

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100126