JP2006520055A - ２次元画像からの３次元オブジェクトの不変視点検出および識別 - Google Patents

２次元画像からの３次元オブジェクトの不変視点検出および識別 Download PDF

Info

Publication number
JP2006520055A
JP2006520055A JP2006509131A JP2006509131A JP2006520055A JP 2006520055 A JP2006520055 A JP 2006520055A JP 2006509131 A JP2006509131 A JP 2006509131A JP 2006509131 A JP2006509131 A JP 2006509131A JP 2006520055 A JP2006520055 A JP 2006520055A
Authority
JP
Japan
Prior art keywords
source
candidate
projection
avatar
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006509131A
Other languages
English (en)
Inventor
ミラー，マイケル
Original Assignee
アニメトリックス，インク．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アニメトリックス，インク． filed Critical アニメトリックス，インク．
Publication of JP2006520055A publication Critical patent/JP2006520055A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

２次元ソース画像から複数の特徴を含む３次元ソースオブジェクトを検出し、かつ、候補オブジェクト間で視点と照明が不変である検索を実行することによりそのようなオブジェクトの候補データベースから最良マッチングする３次元オブジェクトを探索する方法およびシステムを提供する。本発明はさらに、探索された３次元候補の最適に適合する視点、照明、および変形を決め、かつ、候補の投影とソース画像との適合の質に基づいてソースに関連付けて候補を識別する方法およびシステムを含む。

Description

本発明はオブジェクトのモデル化および識別システム、より詳細には候補オブジェクトの３次元モデルを用いた２次元入力および３次元入力からの対象オブジェクトの識別に関する。
多くの状況において、対象オブジェクトの部分的な表現しか利用可能でない場合は特に、複数の特徴を含む３次元（３Ｄ）オブジェクトを候補オブジェクトの１つの集合の中から自動的に識別できることが望ましい。通常の状況においては、３Ｄオブジェクトの２次元（２Ｄ）ソース画像が１つまたは複数利用可能である。この２Ｄソース画像は、様々な視点から撮影された写真であることが多い。入力として２Ｄ画像を用いて３Ｄオブジェクトを識別する従来の方法は本質的に、照明条件とオブジェクトの配向の変化から悪影響を受け易い。例えば、複数の特徴を含むオブジェクトが顔である場合、既存の方法では一般に、ソース入力として顔の２Ｄ写真が用いられる。このような写真は照明条件と視点の変化により大きな影響を受けるが、従来の方法では、変化する照明や視点を考慮に入れるすべがなく、２Ｄ画像をそのまま解析することしかできない。ソースオブジェクトが正面を向いていない場合、ほとんどの方法の有効性が低下する。すなわち、オブジェクトが平面から外れるほど、識別の信頼性が低くなる。
したがって、２Ｄ画像からの複数の特徴を含む３Ｄオブジェクトの識別が成功するのは、識別に用いられるソース画像（１つまたは複数）を撮影するときに支配的になっているものと同じ視点と照明条件の下で事前にオブジェクトの基準画像を１つまたは複数撮影できるような管理された状態においてである。しかし、識別されるオブジェクトが対象として扱うことができなかったり、協力的でなかったりすることがあるため、また、ソース画像（１つまたは複数）を捕捉する際の配向と照明条件を予測できないことが多いため、このような状況は実際にはまれである。顔の認識を例にとれば、ソース画像は、側面または上から捕捉できる監視カメラで撮影されることが多い。基準画像は通常、ソース画像に関連付けて識別することが困難な場合がある、正面からの視点の画像になる。
種々変化する視点に対処するために、一部の識別方法では、複数の視角から撮影されたオブジェクトの画像が捕捉され記憶保存される。しかし、このプロセスには時間とコストがかかるため、可能な範囲の角度と照明に対応する画像を捕捉することは実際には不可能である。別の方法として、３Ｄ撮像装置またはスキャナーを用いてオブジェクトの３Ｄ画像を捕捉し、次に、相異なる視点と照明条件に対応する複数の２Ｄ基準画像を電子的に生成することもできる。しかし、この方法においても、計算に手間がかかり、３Ｄソースオブジェクトの一連の可能な回転と並進にソース画像（１つまたは複数）をマッチングさせることはできない。別の方法では、識別される３Ｄオブジェクトの種類の一般化モデルを用いて対象オブジェクトの３Ｄモデルを作成することができる。このモデルは、２Ｄソース画像に対応するモデルを作成するために選ばれたパラメータによりパラメータ化することができる。次に、この３Ｄモデルを用いて、様々な視点と照明条件に対応する２Ｄ基準画像を複数生成することができる。しかし、このような３Ｄモデルの自由度はわずかであり、この３Ｄモデルが対象オブジェクトの３Ｄジオメトリに密に対応することはほとんどない。そのため、この方法の精確度は本質的に限定される。
オブジェクト識別システムには、認識されるオブジェクトを広い雑然とした領域内から効率的に探索しなければならないという別の課題もある。従来の方法は階層的ではなく、ソース画像と基準画像とのマッチングを試みる、コンピュータを強力に駆使したマッチング方法を採用している。このような方法は、迅速なオブジェクトの検出と識別には不向きである。
したがって、様々な照明条件とソース視点の下でも信頼性を確保できる手法で、２Ｄソース画像から３Ｄオブジェクトを効率的に探索し識別する自動的方法が必要とされている。
本発明は、複数の特徴を含むオブジェクトを表す部分的なソース情報しか利用可能でない場合にそのオブジェクトを識別するための自動的方法およびシステムを提供する。
通常、ソース情報は３Ｄオブジェクトの１つまたは複数の２Ｄ投影という形で与えられるが、３Ｄカメラまたはスキャナーなどから得られる３Ｄデータを含んでもよい。本発明では、複数の特徴を含むオブジェクトの一連の３Ｄ候補表現を使用するが、識別が成功するには、その３Ｄ候補表現の中の少なくとも１つをソースオブジェクトに関連付けて識別する必要がある。２Ｄソース画像におけるソースオブジェクトの位置を検出し探索するために、本発明は、３Ｄオブジェクトに特徴的であり変化する視点と照明の下で実質的に不変である特徴の点、曲線、サーフェス、またはサブボリュームを検索する。次に、各３Ｄ候補表現のすべての可能な位置（すなわち、配向と並進）を検索して、最適な剛体運動（回転と並進）によりソース特徴項目に最も密にマッチングする投影がもたらされるような候補表現を識別する。マッチング度は、３Ｄ表現の投影における特徴項目と２Ｄソース画像における対応する特徴項目との間の最小平均２乗誤差（ＭＭＳＥ）などの尺度により決められる。２Ｄソース画像における特徴項目の推定逆投影位置と、３Ｄ候補表現における対応する特徴項目との比較が３Ｄにおいて行われる。２Ｄソース画像の部分と、投影された最良マッチングする３Ｄ表現における部分を比較することにより、最も密にマッチングする３Ｄ候補表現の剛体運動がさらに調整される。次に、ソース画像と、調整された位置における選択された３Ｄ表現との適合の質が決められる。適合の質が所定のしきい値を上回ると、識別は成功する。
識別プロセスは階層的であることが好ましい。第１に、少数の特徴項目を迅速に探索する粗検出手法を用いて、識別されるオブジェクトの存在がソース画像において検出される。第２に、これらの特徴項目との対応関係に関して候補表現が、一連の可能な視点にわたって検索される。第３に、ソース画像と３Ｄ表現の投影との最良マッチングを決めることにより、最良マッチングする候補表現の最適な位置が精細化される。
本出願は、２００３年３月６日出願の米国仮出願第６０／４５２，４２９号、第６０／４５２，４３０号、および第６０／４５２，４３１号の優先権を主張し、その利益を享受するものであり、それらの開示の内容は、参照により援用したものとする。
したがって第１の実施の形態においては、本発明は、複数の特徴を含むソースオブジェクトの２Ｄソース投影の少なくとも１つに対応する複数の特徴を含むオブジェクトを識別する方法を備えている。この方法によれば、一連の３Ｄ候補表現が与えられる。２Ｄソース投影がソース画像内で検出され、３Ｄ候補表現の不変視点検索が実行されて、２Ｄソース投影（１つまたは複数）に最も似ている２Ｄ投影を有する３Ｄ候補表現が探索される。次に、この３Ｄ候補表現が２Ｄソース投影（１つまたは複数）と比較されて、候補がソースに対応するかどうかが決定される。一部の実施態様においては、２Ｄソース画像において視点と照明が不変である特徴項目を探索することにより、２Ｄソース投影の検出が実行される。この検出は、リアルタイムで実行してもよい。実際に投影を生成することなく、３Ｄ表現の、可能な２Ｄ投影の範囲にわたって各３Ｄ候補表現を検索してもよい。可能な２Ｄ投影の範囲にわたる検索は、少なくとも１つの２Ｄ投影における、複数の特徴を含むソースオブジェクトの視点に最適に一致適合する３Ｄ候補表現の剛体運動を計算するステップを含んでもよい。
一部の実施態様においては、３Ｄ候補表現に関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含む特徴項目が２Ｄソース投影（１つまたは複数）における特徴項目と投影的に一致適合するようにこれらの特徴項目の条件付き平均姿勢または幾何的位置合わせを推定することにより、最適な剛体運動が決められる。投影された特徴項目の条件付き平均推定と３Ｄ候補表現における対応する特徴項目との間のＭＭＳＥ推定が生成される。例えば、最小ＭＭＳＥ推定をもたらす３Ｄ候補表現の投影の部分を２Ｄソース表現における対応する部分と比較することにより適合の質が決められ、最適な剛体運動が最良の適合の質に対応するものと定義される。最適な剛体運動に対応する適合の質が所定のしきい値を上回ると、その３Ｄ候補表現がソースオブジェクトに関連付けて肯定的に識別される。
第２の実施の形態においては、本発明は、複数の特徴を含むソースオブジェクトの２Ｄソース投影の少なくとも１つに対応する複数の特徴を含むオブジェクトを識別するシステムを備えている。このシステムは、複数の特徴を含むオブジェクトの複数の３Ｄ候補表現を含むデータベースと、画像において２Ｄソース投影を検出する検出モジュールと、アナライザを備えている。このアナライザは、３Ｄ候補表現の不変視点検索を実行して、２Ｄソース投影（１つまたは複数）に最も似ている２Ｄ投影を有する３Ｄ候補表現を探索し、２Ｄソース投影（１つまたは複数）と探索された３Ｄ候補表現を比較して、その候補がそのソースに対応するかどうかを決定する。一部の実施態様においては、この検出モジュールが、２Ｄソース画像において視点と照明が不変である特徴項目を探索することにより、２Ｄソース投影を検出する。この検出は、リアルタイムで実行してもよい。このアナライザは、実際に投影を生成することなく、３Ｄ表現の、可能な２Ｄ投影の範囲にわたって各３Ｄ候補表現を検索してもよい。可能な２Ｄ投影の範囲にわたる検索は、少なくとも１つの２Ｄ投影における、複数の特徴を含むソースオブジェクトの視点に最適に一致適合する３Ｄ候補表現の剛体運動を計算するステップを含んでもよい。
一部の実施態様においては、このアナライザは、３Ｄ候補表現に関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含む特徴項目が２Ｄソース投影（１つまたは複数）における特徴項目と投影的に一致適合するようにこれらの特徴項目の条件付き平均姿勢または幾何的位置合わせを推定することにより、最適な剛体運動を決める。このアナライザは、投影された特徴項目の条件付き平均推定と３Ｄ候補表現における対応する特徴項目との間のＭＭＳＥ推定を生成する。このアナライザはさらに、例えば、最小ＭＭＳＥ推定をもたらす３Ｄ候補表現の投影の部分を２Ｄソース表現における対応する部分と比較することにより適合の質を生成し、最適な剛体運動を最良の適合の質に関連付けて規定する。最適な剛体運動に対応する適合の質が所定のしきい値を上回ると、アナライザがソースオブジェクトに関連付けてその３Ｄ候補表現を肯定的に識別する。
第３の実施の形態においては、上述の方法とシステムは、複数の特徴を含む３Ｄオブジェクトが顔であり３Ｄ候補表現がアバターである場合に使用される。
本発明は、顔、動物、植物、建物など、複数の特徴を含むあらゆるオブジェクトを、類似と総称されるオブジェクトの３Ｄ候補表現の１つまたは複数に関連付けて識別するのに使用することができる。説明を簡単にするために、以下の説明においては、通常の（ただしこれに限定されない）応用として顔に焦点を当てる。
本発明の一実施態様においては、顔の３Ｄ表現はアバターモデルである。アバタージオメトリは、アバターの面に近似する三角ポリゴン集合の頂点である、３Ｄにおける点のメッシュにより表してもよい。ある一表現においては、各頂点に明度が与えられており、各三角面を、その頂点に割り当てられた色値の平均に従って色付けしてもよい。この色値は、写真を基に作成できる２Ｄテクスチャマップから決定される。このアバターは、アバターに対して固定されている座標系が関連付けられ、３つの角自由度（ピッチ、ロール、ヨー）と、３空間における剛体中心の３つの並進自由度により指標付けされる。さらに、顎、歯、目などアバターの個々の特徴が、アバター記述の一部を形成する独自の局所座標（例えば顎軸）を有してもよい。本発明は、異なるデータ表現が用いられるアバターにも同様に適用してもよい。例えば、テクスチャ値をＲＧＢ値として表してもよいし、あるいはＨＳＬなど他の色表現を用いて表してもよい。アバター頂点を表すデータとアバター頂点間の関係は、種々様々であってもよい。例えば、メッシュ点をつないで、アバターの面を表す非三角ポリゴンを形成してもよい。
本明細書で用いるアバター（１つまたは複数）は、本明細書と同時に出願されその内容を参照により援用した「不変視点からの画像照合および２次元画像からの３次元モデルの生成」と題する米国第＿号に記載された方法またはシステムを用いて生成してもよい。
本発明は、３Ｄアバターから２Ｄ画像を生成する従来型のレンダリングエンジンを含んでもよい。このレンダリングエンジンをＯｐｅｎＧＬまたはその他の任意の３Ｄレンダリングシステムに実装してもよい。これにより、３Ｄアバターのカメラ視点を表す２Ｄ画像平面に３Ｄアバターを迅速に投影することができる。また、レンダリングエンジンにアバター照明の指定を含めてもよい。これにより、様々なアバター照明に対応する２Ｄ投影を生成することができる。当技術分野で周知のように、色、強度、および位置が様々に異なる様々な数の光源に対応する照明を生成してもよい。
図１は、識別される複数の特徴を含む３Ｄオブジェクトが顔であり、３Ｄ候補表現の集合がアバターである場合の、本発明の基本動作を示している。この識別プロセスは、様々な照明条件と様々な姿勢の下で様々な顔にわたって実質的に不変である顔特徴の１つの集合を決定することから始まる。このような特徴は、明るさのオーダの関係、画像勾配、およびエッジを含んでもよい。例えば、鼻孔の内側と外側との関係は、顔、姿勢、および照明が変化しても実質的に不変である。あるいは、眉から周囲の皮膚にかけての輝度の変化を含む。
次に、ソース画像が自動的にスキャンされて、不変の特徴点の存在が検出される。検出される点の数は比較的少なく、通常は３〜１００の範囲に収まるため、この検出は非常に迅速であり、例えば動画像の追跡時にリアルタイムで実行することができる。識別におけるこのステップは「ジャンプ検出」と呼ばれ、画像における顔の位置と配向を迅速に検出できる。この手法は、ソース画像に対象顔の一部しか含まれない場合や、サングラスや顔の毛などにより対象顔が部分的に不明瞭である場合でも効果的に使用することができる。本発明のこの特徴により、ソース対象画像の質が低くその範囲が限られていて、フォトメトリック的および幾何的変動があっても質と範囲が不変である場合に、信頼性のある識別が可能になる。
当業者が理解しているように、この方法では、実際のアバターから生成される訓練データから階層検出プローブが生成される、ベイズ識別器と決定木を用いてもよい。検出プローブは、大規模プローブにより好ましい検出が可能な場合に、特徴の配向など所定のパラメータだけがより細密に計算されるように、複数のピクセルスケールで保存することが望ましい。特徴検出プローブは、検出プローブが特徴に合わせて特異的に調整されるように区分され分離された特徴を有する、多数の個人を表す画像データベースから生成してもよい。ジャンプ検出では、パターン識別、ベイズネット、ニューラルネットワーク、または顔の画像における特徴の位置を決めるその他の既知の手法を使用してもよい。検出プローブが最も効率的になるように、個別アバターの実際の例から生成される訓練データから階層検出プローブが生成される、ベイズ識別器と決定木に基づく手法が好ましい。ただし、検出プローブをアバター自体から生成する必要はない。その代わりに、測定済みであるか、あるいはデータベースに既に組み込まれている２Ｄ顔画像群から検出プローブを生成することができる。
個人の顔用の検出器は、その個人を表すアバターの様々なスケール、位置、回転、および照明においてレンダリングされた画像から作成することが望ましい。検出プロセスの効率を高めるために、正面図や側面図など姿勢の種類に応じてプローブが分類される。この分類方法を用いて、可能な姿勢の集合が粗い分類から精細な分類に及ぶグループに分割される。最も粗いグループには、基準範囲における全姿勢が含まれる。検出が粗いグループ内で実行される際、その検出に対応するより精細な範囲内のプローブが利用される。所定の姿勢を含むグループについてすべての検出器の応答が肯定的である場合に限り、所定の姿勢において顔が検出される。このように粗いレベルから精細なレベルにわたっての戦略においては、顔を含んでいないソース画面におけるシーンのほとんどの部分を、ほんのわずかな計算だけを利用する粗いプローブを用いて拒否できるように、アバターデータベースから生成される検出器が構成される。これにより、コンピュータを駆使した処理を、検出が行われる領域に一層集中させることができる。
三角形メッシュを直接構成する方法（構造光、カメラアレイ、奥行き測定）などから得られる画像の純粋な３Ｄソースの場合、０、１、２、３次元の点、曲線、部分表面、およびサブボリュームの特徴は、曲率が高い点、曲率の極値に関連する主曲線と回転曲線、および面法線と形状作用素により測定される所定の面特性に関連する部分表面を含む３Ｄジオメトリに対する階層検出を用いて検出される。このようなフォトメトリック的に不変の特徴は、動的計画法などの方法を用いて生成してもよい。
２Ｄソース画像において顔の位置が検出されたら、ソース画像が３Ｄ候補アバター集合と比較される。この集合には通常、３Ｄアバターが作成されている識別用の候補と同じ数の要素が含まれるが、一部の候補を削除できる場合は候補集合の要素を手作業またはその他の方法で減らしてもよい。２Ｄソース画像において検出された特徴に対応する、照明と姿勢が不変の特徴が、各３Ｄ候補表現において識別される。次に、不変視点検索が行われる。この検索においては、各３Ｄ候補アバターが、可能なあらゆる剛体運動を概念的に施され、その特徴が２Ｄへ投影され、その特徴が対象写真における対応する特徴と比較され、２Ｄソース画像に最も対応する各候補アバターの３空間における位置が決められる。所定の剛体運動により、投影された特徴とソース画像における特徴が最も密にマッチングした場合のアバターが、最良候補アバターとして選択される。図１は、右上に示した３つのアバターのうち中央のアバターが、この最良候補であることを示している。
不変視点検索は、２Ｄ特徴項目の３Ｄにおける逆投影位置の条件付き平均推定の計算に基づくものである。次に、特徴項目の３Ｄ位置の条件下では、３Ｄにおける回転パラメータと並進パラメータのＭＭＳＥ推定が計算される。３Ｄ空間における位置はベクトルパラメータであるため、並進位置のＭＭＳＥ推定は閉じた形式である。すなわち、この推定は、２乗誤差関数に代入された場合、回転だけに関して陽関数をもたらす。回転はベクトルパラメータではないため、群の接空間、または歪対称行列の角速度を用いた局所表現を介した非線形勾配降下法を用いて計算してもよい。
候補アバターの不変姿勢検索では、以下に示す３つの方法など様々な手法により速度と効率の面で最適化できる勾配アルゴリズムが利用される。第１の方法では、各候補アバターと比較される投影された画像を、８×８、１６×１６などのグループに集合化し、肯定的な識別が存在するかどうかを決定するためにマッチングが実行される際の後段においてのみ、より精細な解像度に分割してもよい。第２の方法では、検索の初期段階において比較される点の数を減らすために、アバター自体を粗くしてもよい。第３の方法では、アバターの投影と画像特徴の逆投影を迅速に生成するために、特殊目的のグラフィックスハードウェアを導入してもよい。本明細書に記述した最小２乗法または加重最小２乗法に加え、あるいはこれらの代わりに、ソース画像からの特徴項目の逆投影と３Ｄアバターにおける対応する項目との適合の質を測定するために用いられる距離メトリックは、例えば、三角不等式を満たしても満たさなくてもよいポワソンまたはその他の距離メトリックであってもよい。このようなメトリックは、回転、スケール、および並進に対して変化しない相似メトリックや、小さな変形または大きな変形用のユークリッド距離とスプライン距離を含んでもよい。
３Ｄカメラやスキャナーから得られる実際の３Ｄソースデータなどから、３Ｄにおいて測定される特徴項目が利用可能な場合、逆投影された２Ｄ特徴の条件付き平均推定を計算する中間ステップなしで、メトリック対応づけを生成する特徴項目のマッチングを直接実行してもよい。閉じた形式の２次最適化、反復ニュートン降下法、勾配法などのアルゴリズムを利用すれば、３Ｄアバターの位置決めに用いられるコスト関数を最小化することができる。
不変姿勢検索により、最良マッチングする候補アバターと、特徴のマッチングが最適である姿勢とが決められたら、図１の右下に示したように、拡散マッチングと呼ばれる手法を用いてこのアバターの３Ｄ位置を精細化してもよい。この手法では、最適な姿勢（不変姿勢検索により決められた）における最良マッチングする候補アバターの投影画像が、ソース画像と直接比較される。アバターの回転パラメータと並進パラメータに関して、投影されたアバターとソース画像との適合の質を表すのに、マッチングエネルギーという表現を用いる。マッチングエネルギーが１次テイラー級数に展開され、回転を表す角速度歪対称行列と並進を表す線速度について２次形式が確立される。閉じた形式において解くことにより、角速度に関して並進の陽公式が得られ、再代入することにより、歪対称角速度のみ有する２次形式が得られる。これらのための閉じた式を計算することができる。そこから、並進速度を閉じた形式で計算することができる。これらの公式を反復適用することにより、３空間においてアバター頭部が拡散される。ソース画像を８×８、１６×１６、３２×３２などのピクセル数の格子に粗くすることにより、拡散マッチングにかかわる計算を加速してもよい。 さらに、アバターモデルを粗くして、小面の数を減らしてもよい。これにより、投影されたアバターの必要なサンプリングが低減される。３Ｄカメラまたは３Ｄスキャナーなどから３Ｄソース画像を得ることができる場合、投影なしで拡散マッチングが３Ｄにおいて直接実行される。最適な姿勢は、最小のマッチングエネルギーに対応するための位置と回転に相当する。この姿勢に対応するマッチング距離は適合の質尺度またはメトリック距離であり、図１の左下に示したように、ソース画像と候補アバターとの肯定的な識別が行われるかどうかを決定するのに用いられる。最適な姿勢における最良の候補アバターの投影とソース画像とのマッチング距離が、所望の信頼水準に対応する所定のしきい値を上回ると、最良の候補アバターに関連付けてのソースオブジェクトが肯定的に識別される。
ソース画像が捕捉されたときに支配的な照明の可能な範囲を考慮するために、主成分を用いて、あるいは照明の通常の状態を生成するための別の方法を用いて各アバターの照明を表すことを目的として、照明球（sphere）全体を表すフォトメトリック的基底関数の１つの集合が計算される。拡散マッチングプロセスにおいて、最良の候補アバターの最良の姿勢と小さな変形を見いだすためにジオメトリが調整されている間、マッチングを最適化する照明を選択することができる。あらゆる位置と姿勢においてアバターを位置決めし、照明を変更することにより生成される候補アバターについて、変動のフォトメトリック的基底が計算される。主成分分析を用いて、あるいはフォトメトリック的照明の通常の状態を生成するためのその他の任意の手法を用いて、この照明候補集合から基底関数を生成することができる。拡散マッチングプロセス中に、マッチングコストを最適化するフォトメトリック的照明の基底関数を選択することができる。マッチングエネルギーを最小化するように、照明の可変性を表すフォトメトリック的基底関数を変更することにより、フォトメトリック的変動に対応することができる。投影画像において、これらのフォトメトリック的基底関数は非直交基底を提供する。したがって、ジオメトリのマッチングにおける各テンプレート拡散ステップについて、フォトメトリック的基底関数に対する閉じた形式の最小２乗解が存在する。拡散マッチングアルゴリズムは姿勢（回転と並進）を連続的に精細化して、マッチングエネルギーを下げる。ＩＤアルゴリズムは、最小マッチングエネルギーを有するアバターを選択する。
本発明の各種構成要素は、互いに独立して使用することができる。例えば、ジャンプ検出手法と不変姿勢検索を、拡散マッチングプロセスの前段階として使用しなくてもよい。あるいは、特に、適度な数の特徴が２Ｄソース画像において識別される場合、不変姿勢検索を実行することなく候補アバターへの適合の質を推定するために、ジャンプ検出から得られる姿勢推定を直接使用してもよい。識別を実行するために拡散マッチングを使用する必要はない。
ここで、候補アバターの変形を伴わない不変姿勢検索について検討する。以下では、３Ｄ候補アバターをＣＡＤ（コンピュータ支援設計）モデルまたはＣＡＤと呼ぶ。ｘｊ＝（ｘｊ，ｙｊ，ｚｊ），ｊ＝１，．．．，Ｎで表される特徴集合がＣＡＤモデル上で定義される。投影幾何マッピングは、正または負のｚと定義される。これは、投影がｚ軸に沿って行われることを意味する。すべての投影幾何において、
Figure 2006520055
、または
Figure 2006520055
が、点ｘｊの投影位置である。ここで、αは投影角である。剛体変換が、ｘｃ＝０を中心とする
Figure 2006520055
という形式であると仮定する。全体を通じて、次のデータ構造が定義される。
（式１）
Figure 2006520055
３×３回転要素Ｏの接線における基底ベクトルＺ１、Ｚ２、Ｚ３、は、次のように定義される。
（式２）
Figure 2006520055
（式３）
Figure 2006520055
（式４）
Figure 2006520055
（式５）
Figure 2006520055
ここで、（・）tは行列転置を示している。
不変視点検索により、以下のように特徴を用いて候補アバターにとって最適な回転と並進が決められる。投影点ｐｊ，ｊ＝１，２，．．．と、
Figure 2006520055
という形態の剛体変換（中心ｘｃ＝０を中心とする）が与えられれば、正の（すなわち、ｚ＞０）場合の投影点が
Figure 2006520055
により与えられる。
Figure 2006520055
による正の（すなわち、ｚ＞０）マッピングの場合、単位行列
Figure 2006520055
を用いて３×９行列
Figure 2006520055
が計算され、次の式が得られる。
（式６）
Figure 2006520055
コスト関数が余すところなく評価されて最小値が選択され、
（式７）
Figure 2006520055
この最小値においてのみ並進が決められる。ここで、
Figure 2006520055
である。この最小値は、総当り検索により、あるいは収束するまで検索アルゴリズムを実行することにより得られる。
（式８）
Figure 2006520055
（式９）
Figure 2006520055
ここで、
Figure 2006520055
である。
通常の状況においては、３空間におけるオブジェクトに位置に関する事前情報が存在する。例えば、追跡システムにおいて、先行する追跡から位置を知ることができる。本発明は、このような情報を以下のように組み込むことができる。点列Ｐｉ，ｉ＝１，．．．，Ｎと、
Figure 2006520055
という形態の剛体変換（ｘｃ＝０を中心とする）が与えられれば、回転と並進
Figure 2006520055
のＭＭＳＥは次の式を満たす。
（式１０）
Figure 2006520055
３×９行列Ｍと３×１列ベクトルが次のように計算される。
（式１１）
Figure 2006520055
次に、収束するまで総当り検索または勾配検索アルゴリズムを実行することにより、最小値Ｏにおける並進
Figure 2006520055
が得られる。
総当り検索：（式１２）
Figure 2006520055
勾配検索：（式１３）
Figure 2006520055
ここで、αｎｅｗがコスト関数の方向微分係数である指数表現におけるＯｏｌｄの接線において、式９および式１３の基底ベクトルＺ１、Ｚ２、Ｚ３への投影が定義される。
上述のように、３Ｄカメラやスキャナーから得られる実際の３Ｄソースデータなどから、３Ｄにおいて測定される特徴項目が利用可能な場合、逆投影された２Ｄ特徴の条件付き平均推定を計算する中間ステップなしで、特徴項目のマッチングを直接実行してもよい。閉じた形式の２次最適化、反復ニュートン降下法、勾配法などのアルゴリズムを利用すれば、３Ｄアバターの位置決めに用いられるコスト関数を最小化することができる。
ここで、この手法が、任意の視角を有するソース画像に一般化される。画像平面が
Figure 2006520055
により指標付けされた一連のピクセルであるとする。ここで、投影マッピング点は
Figure 2006520055
である。ここで、
Figure 2006520055
であり、ｎは視角の余接であり、ｗとｈはアスペクト比を決める幅と高さである。色（Ｒ，Ｇ，Ｂ）テンプレートで投影画像平面においてピクセルが不連続に設定されている場合、観測される投影ＩＩ（ｐ）は（Ｒ，Ｇ，Ｂ）ベクトルである。投影行列は、投影行列
Figure 2006520055
に従って点
Figure 2006520055
に対して作用する
Figure 2006520055
になる。ここで、点ｘ（ｐ）は、画像平面において点ｐに投影される３Ｄ ＣＡＤモデル上の点である。次に、テンプレート値の投影座標ｐにおける（Ｒ，Ｇ，Ｂ）成分上の差分から得られる、投影されたテンプレート行列が導出され、ノルムが成分毎に解釈される。
（式１４）
Figure 2006520055
（式１５）
Figure 2006520055
（式１６）
Figure 2006520055
当業者が理解しているように、前方差分、後方差分、または平衡差分を用いて、画像平面における微分係数を表すことができる。大文字での表記は、回転の再配置された行列Ｏ＝（ｏ１１，ｏ１２，ｏ１３，．．．，ｏ３１，ｏ３２，ｏ３３）を示すために用いられ、そして、
Figure 2006520055
となる。全体にわたって、以下の行列が必要とされる。
（式１７）
Figure 2006520055
（式１８）
Figure 2006520055
単一のソース画像を用いたアバターの並進と回転の推定プロセスは、以下のとおりである。ユークリッド変換の下で生じる投影平均フィールドを用いて、所定の画像
Figure 2006520055
がモデル化される。
（式１９）
Figure 2006520055
問題は、以下のように回転と並進ｏ，ｂを推定することである。
（式２０）
Figure 2006520055
まず、上記の行列と調整された点
Figure 2006520055
が計算される。次に、最適化する回転／並進
Figure 2006520055
が以下のように解かれる。
（式２１）
Figure 2006520055
（式２２）
Figure 2006520055
対象が画像の１系列において追跡されるような状況や、単一の画像しか利用できないような場合には、対象の中心位置に関する情報を利用できることが多い。対象位置を中心位置０に配置することにより、この情報を組み込むことができる。ユークリッド変換の下で画像
Figure 2006520055
が与えられれば、最小化問題を以下のように表すことができる。
（式２３）
Figure 2006520055
平均位置がゼロではなくμである場合、ｂが
Figure 2006520055
と再定義され、μを加算することにより位置ｂの推定が調整されて、真の最適な並進推定
Figure 2006520055
が与えられる。
調整された点と行列が以下のように定義される。
（式２４）
Figure 2006520055
最適化する回転／並進
Figure 2006520055
が以下のように解かれる。
（式２５）
Figure 2006520055
（式２６）
Figure 2006520055
他の場合には、対象の顔の表情の変化を除いて類似している画像の１系列を利用してもよい。このような変化を追跡するために、あるいは単一フレームにおいて表情が変化した顔を探索するためにも、「笑う」、「眉を上げる」、またはその他の表情に関連する、顔における点の動きを記述する関数として、表情基底関数Ｅ１，Ｅ２，．．．を用いて動きをパラメータ的に定義してもよい。変化した表情により変換された画像
Figure 2006520055
が与えられた場合、問題は、以下のように各表情の大きさを記述する係数ｅ１，ｅ２，．．．を推定することである。
（式２７）
Figure 2006520055
上述のように確定された最適な剛体運動について、最適な表情を計算するか、あるいは最適な表情と剛体運動を同時に計算することができるため、上述の手法を用いて最適な
Figure 2006520055
を計算することができる。
例えば、顎粒子の流れが、
Figure 2006520055
に従って固定された顎軸を中心とした回転に追従するように、顎の動きの表情が大きな変形に対応してもよい。ここで、Ｏは、顎軸γを中心として顎点を回転させる。
極端な表情は、
Figure 2006520055
を満たす
Figure 2006520055
による大きな変形に対応する。マッピング
Figure 2006520055
を構築するＣＡＤモデルの変形が生成される。
（式２８）
Figure 2006520055
剛体運動を大きな変形と組み合わせるために、変換
Figure 2006520055
が、剛体運動により既に変換されている座標に関して定義される。これは、各変換が構成されて、あるいは式２７のように各変換が同時に変形されて、一緒に最適化されることを意味している。
２Ｄソース情報（１つまたは複数の写真など）しか利用できない場合と、３Ｄカメラに対応する実際の３Ｄ測定値集合などから、３Ｄにおいてソースを直接測定できる場合の両方で、拡散マッチングを利用してもよい。後者の場合、現在のアバター構成を画像平面に投影するステップを経ることなく、拡散マッチングが３Ｄにおいて直接実行される。
不変姿勢検索を実行している間と、アバターの位置と形状を精細化する拡散マッチングプロセスを実行している間、利用可能な２Ｄおよび／または３Ｄソースデータにおいて支配的である照明条件に最適にマッチングするように、候補アバターに対する概念的照明が変更される。不変姿勢検索の場合、ソース特徴項目から定義されたカーネルに基づく内積を用いて候補照明が決められる。したがって、特徴項目は照明に無関係な特性を有しているが、特徴項目が検出されたら、ソース照明条件に関する情報を抽出するために特徴項目を利用することができる。
拡散マッチングプロセス中、フォトメトリック的基底変動成分を調節することにより照明の候補集合が決められる。あらゆる位置と姿勢においてアバターを位置決めし照明を変更することにより生成される候補アバターについて、変動のフォトメトリック的基底が計算される。主成分分析を用いて、あるいはフォトメトリック的照明の通常の状態を生成するためのその他の適切な任意の手法を用いて、この照明候補集合から基底関数を生成することができる。フォトメトリック的基底関数は非直交基底を提供するため、拡散マッチングの各ステップについてこれらの関数に対する閉じた形式の最小２乗解が存在する。拡散マッチングプロセスは候補アバターの回転と並進を精細化して、マッチングコストを下げる。マッチングコストを最小化するフォトメトリック的照明の基底関数が選択される。
一般に、可能なあらゆる変動を記述する基底を用いて、テクスチャリングされた照明フィールド
Figure 2006520055
を表示することができる。この基底は、すべての可能な照明を変化させ、変動の手法を用いて主成分を計算することにより、ＣＡＤモデル上の主成分を使用して計算される。投影されたテクスチャフィールド（以下、ＩＩとする）は、テクスチャフィールド
Figure 2006520055
を用いて画像全体に指標付けされた
Figure 2006520055
としてモデル化される。変換ｏ、ｂ、ｅ、ｖが恒等変換として初期化され、以下の反復が実行される。第１に、次のｄ×ｄ行列が計算される。
（式２９）
Figure 2006520055
第２に、投影された基底Ｐφを用いて、各（ｏ，ｂ，ｅ，ｖ）について最適値ｔ１，ｔ２，．．．が計算される。
（式３０）
Figure 2006520055
第３に、上述の手法を用いて、ｏ、ｂ、ｅ、ｖが変更されて最小のコスト上のマッチングが生成される。これら３つのステップが、収束するまで反復される。
通常の事例は、個人の顔の測定済み写真Ｉが１つだけソース画像に含まれる場合に生じる。アバターモデルの集合
Figure 2006520055
が与えられる。解析される個人の画像を最も代表するアバターモデルを選択し、頭部の未知の回転と並進の両方を組み込む必要がある。候補アバターα＝１，．．．，Ａのそれぞれが、投影されたテクスチャフィールドＩＩαを有している。通常の実装においては、投影のために各テクスチャフィールドＩＩαが最初にレンダリングバッファにロードされる。候補アバターを写真に最適にマッチングさせる回転、並進、および照明の各パラメータが、上述の適切な不変姿勢検索を用いて計算され、各アバターについて、最良マッチングまたはコスト関数の最小値が以下のように解かれる。
（式３１）
Figure 2006520055
最小コスト
Figure 2006520055
を持つアバター
Figure 2006520055
が、最も密にマッチングするアバターとして選択される。ランドマークが、使用可能なｐ１，ｐ２，．．．である場合、余分な項
Figure 2006520055
を含むようにコストが調整される。
複数の写真Ｉ（ｖ），ｖ＝１，．．．，Ｖを利用できる場合、各アバターについて一連のコスト
Figure 2006520055
が得られ、最小値が選択される。
Figure 2006520055
本発明は、対象顔における様々な表情によるソース画像の変化を考慮することができる。アバターモデルの集合
Figure 2006520055
と、対象顔の測定済み写真Ｉが１つ与えられている場合、解析される個人の写真を最も代表するアバターモデルのＩＤを選択し、回転と並進の両方、および顔の表情からもたらされる可能なジオメトリの変化を組み込む必要がある。投影のために各候補アバターα＝１，．．．，Ａが最初にレンダリングバッファにロードされる。候補アバターを写真に最適にマッチングさせる回転、並進、表情、および照明が、上述の適切な手法を用いて計算され、各アバターについて最小コストが以下のように解かれる。
（式３２）
Figure 2006520055
最小コスト
Figure 2006520055
を持つアバター
Figure 2006520055
が、最も密にマッチングするアバターとして選択される。複数の写真Ｉ（ｖ），ｖ＝１，．．．，Ｖを利用できる場合、各アバターについて一連のコスト
Figure 2006520055
が得られ、最小値が選択される。
Figure 2006520055
例えば、顎粒子の流れが、
Figure 2006520055
に従って固定された顎軸を中心とした回転に追従するように、顎の動きの表情が大きな変形に対応してもよい。ここで、Ｏは、顎軸γを中心として顎点を回転させる。大きな変形に対応する極端な表情の場合、
Figure 2006520055
が
Figure 2006520055
を満たす。ＣＡＤモデルの変形とマッピング
Figure 2006520055
の構築により、コスト関数が与えられる。
（式３３）
Figure 2006520055
式３２に示したコスト関数計算に、回転と並進を含めることもできる。
本発明は、ソースジオメトリの小さい変化を考慮することもできる。これには、必ずしも顔の表情によるとは限らない変化も含まれる。これには、加齢、美容整形、または体重変化による変化などが含まれる。アバターモデルの集合
Figure 2006520055
と、対象顔の測定済み写真Ｉが１つ与えられている場合、本発明は、解析される個人の写真を最もよく代表するアバターモデルのＩＤを選択し、回転、並進、および表情と、可能なジオメトリの小さい変化を組み込む必要がある。ジオメトリの小さい変化は、
Figure 2006520055
を満たす
Figure 2006520055
および大きな変形
Figure 2006520055
を用いて表される。投影のために各候補アバターα＝１，．．．，Ａが最初にレンダリングバッファにロードされる。候補アバターを写真に最適にマッチングさせる回転、並進、表情、および照明が、適切な従来の発明を用いて計算され、各アバターについて最小コストが以下のように解かれる。
（式３４）
Figure 2006520055
最小コスト
Figure 2006520055
を持つアバター
Figure 2006520055
が、最も密にマッチングするアバターとして選択される。複数の写真Ｉ（ｖ），ｖ＝１，．．．，ＶからのＩＤの場合、各アバターについて一連のコスト
Figure 2006520055
が得られ、最小値が選択される。
Figure 2006520055
大きな変形の場合、式３４のコスト関数が、大きな変形
Figure 2006520055
に対応できるように調整される。
ソースオブジェクトの３Ｄ測定値を利用できる場合、上記の手法すべてを用いて、上述したように、密度の高いボリューム、または３Ｄスキャン（例えば、いわゆる「サイバースキャン」）などから得られる頭部の三角形メッシュであり得る画像
Figure 2006520055
全体にわたる指標付けプロセスを進めてもよい。この場合、テンプレートＩＩは２Ｄ投影幾何へのオブジェクトの投影を表すのではなく、回転／並進、表情、変形、および照明の各パラメータｏ、ｂ、ｅ、ｖ、ｔの３Ｄ表現である。上記の手法は、以下のように、３Ｄ格子指標全体にわたって直接計算することにより調整される。
（式３５）
Figure 2006520055
３Ｄ測定値における大きな変形に対応できるように、小さい加法的変換を用いるのではなく、変換
Figure 2006520055
がこの式に含められる。
直接的なｚ情報が存在しない状況があるため、ｚの動きは画像平面におけるスケールの変化に相当する。このスケールは、ｚの変化に対して非直線的に変化する線形パラメータである。一連の回転／並進（５つのパラメータ）とスケールは、スケールと回転にかかわる式すべてにおいて、上述の手法に直接類似した方法で決められる。
以下では、ソースビデオ画像が利用可能な場合の本発明の手法について説明する。ガウス確率場としてモデル化された一連の画像
Figure 2006520055
が与えられており、Ｉｎ＋１（Ｐ）がユークリッド変換の下で生じる平均場（Field）ＩＩｎ（ｐ）（ｏ（ｎ）・＋ｂ（ｎ））を有している場合、一連の回転と並進ｏ（ｔ）とｂ（ｔ）または同様に「速度」ｖ（・，ｎ）＝（ｏ−ｉｄ）・＋ｂ，ｎ＝１，２，．．．が推定される。
（式３６）
Figure 2006520055
各ｎについて、事前の対象位置情報とスケール情報を含む上述の手法を用いて、上記の式３５のように回転、並進、スケール、および表情を最適化に含めることにより、
Figure 2006520055
（すなわち、最適な回転、並進、スケール、および表情）を生成してもよい。同様に、投影ランドマーク点Ｐｉｎ，Ｐｉｎ，…，ｎ＞０，ｉ＝１，２…、を利用できる場合、上述のように、コストがマッチング用のランドマークコストに転換される。
本発明明細書に提示した、候補アバターを用いてソースを識別する手法は、現行の２Ｄ顔認識方法と並行して使用することができる。これにより、識別の信頼性を高め、誤識別を低減することができる。並行して使用する場合、任意の既存の方法を用いて検出されているアバターのサブセット
Figure 2006520055
のチェックと、本発明明細書に提示したアバターを利用する手法を用いたアバターのフィルタリングとにＩＤが限定される。
ここで、本発明を組み込んだハードウェアシステム２００を示す図２を参照すると、図示したように、このシステムは、解析される静止入力画像を提供するビデオソース２０２（例えば、ビデオカメラまたはスキャニング装置）を含んでいる。ビデオソース２０２の出力は、デジタイザ２０４によりフレームとしてピクセル配列にデジタル化される。デジタル化された画像は、すべてのシステムコンポーネントの通信を媒介するシステムバス２０６を通って伝送される。デジタル化された画像は、大容量記憶装置（ハードディスクまたは光学式記憶装置）２０８に記憶保存してもよいし、メインシステムメモリ２１０（具体的には、同じサイズの一連の入力画像バッファ２１２を定義するパーティション内に）に記憶保存してもよい。
図示したシステムの動作は、中央演算処理装置（「ＣＰＵ」）２１４が制御する。以下に説明する画像処理操作の迅速な実行を容易化するため、このシステムにグラフィックス／画像処理ボード２１６を備えることが好ましい。これは、当業者にとって周知の標準コンポーネントである。
ユーザーは、キーボード２１８と位置検出装置（例えばマウス）２２０を用いてシステムと対話する。いずれかの装置からの出力を用いて、情報を指定し、あるいはディスプレイ２２０の所定の点または領域を選択して、システムにより実行される機能を指示することができる。
メインメモリ２１０は、ＣＰＵ２１２の動作と、ＣＰＵ２１２と他のハードウェアコンポーネントとの相互作用を制御する一群のモジュールを含んでいる。オペレーティングシステム２２２は、メモリアロケーション、ファイル管理、大容量記憶装置２０８の動作など、低レベルの基本的システム機能の実行を制御する。高レベルでは、記憶された命令の１系列として実装されたアナライザ２２６が、後述するように本発明により実行される主要機能の実行を制御する。また、ユーザーインターフェイス２２８を定義する命令により、ディスプレイ２２２上での簡単な対話が可能になる。ユーザーインターフェイス２２８は、ユーザーに操作を指示する語またはグラフィック画像をディスプレイ２２２上に生成し、キーボード２１８および／または位置検出装置２２０からのコマンドを受け取る。最後に、メモリ２１０は、上述のように３Ｄ候補アバターのデータベースを保存するためのパーティション２３０を含んでいる。
各画像バッファ２１２の内容は、「ラスター」、すなわち、画像を集合的に表す不連続ピクセル位置の規則的２Ｄパターンを定義する。この内容を用いて、ディスプレイ２２２を制御（例えば、画像処理ボード２１６または画像サーバーを用いて）し、その画像を表示してもよい。フレームバッファにおける各記憶場所の内容は、ディスプレイ２２２上での対応するピクセルの表示を直接制御する。
メインメモリ２１０の各モジュールを個別に説明してきたが、これは明確に表現するためだけにそうしたのである。システムが必要なすべての機能を実行する限り、これらのモジュールがシステムおよびシステムのプログラミングアーキテクチャ内でどのように分散されているかは重要ではない。同様に、ピクセルマップは概念的にグリッドとして編成されるが、ピクセルマップを実際にこの方法で保存する必要はない。むしろ、メモリ効率と伝送を考慮して、通常、ラスターパターンは順序付けられたピクセル配列として符号化される。
上述のように、本発明に関連する主要タスクの実行は、アナライザ２２６により制御される。ソース画像における対象の検出、３Ｄ候補表現集合全体にわたる不変姿勢検索、および３Ｄ候補表現を複数の特徴を含む対象オブジェクトに最適にマッチングさせるための３Ｄ候補表現のジオメトリおよびフォトメトリの拡散マッチングに必要なステップの実行において、このアナライザは、ＣＰＵ２１２の動作を制御し、ＣＰＵとメインメモリ２１０との相互作用を制御する。図３は、アナライザ２２６の好ましい実装のコンポーネントを示している。投影モジュール３０２は３Ｄモデルを選択し、その２Ｄ投影を、選択された任意の平面上に作成する。一般に、各候補アバターの回転と並進の空間全体にわたる多数の投影を作成するには、効率的な投影モジュール３０２が必要とされる。レンダリングモジュール３０４により、アバター照明の指定を含むオプションを用いて、３Ｄアバターを２Ｄに迅速に投影することができる。通常、個別のレンダリングバッファが、投影されたテクスチャフィールドＩＩαそれぞれに割り当てられる。この２Ｄ投影は、選択された３Ｄアバター照明に対応する。検出モジュール３０６は、２Ｄソース投影における、視点と照明が不変である所定の特徴項目を検索する。特徴は、目、鼻孔、唇を含んでもよく、複数の異なるピクセルスケールで動作するプローブを組み込んでもよい。拡散マッチングモジュール３０８は、３Ｄ候補アバターの幾何的およびフォトメトリック特性に対する、制御された検索を実行して、ソース画像に最適に適合する候補の視点、ジオメトリ、および照明を決める。拡散マッチングモジュールは、不変視点検索により決められた姿勢を開始点として用いてもよいし、ジャンプ検出モジュール３０６により決められた姿勢を用いてもよい。あるいは、拡散マッチングモジュールは、手動によりまたは他の方法を用いて決められた、他の姿勢情報を入力として用いてもよい。
検出モジュール３０６、不変姿勢検索の実行、および拡散マッチングモジュール３０８は、並行して動作してもよいし、階層的に動作してもよい。例えば、ビデオソースなどから複数のソース画像が提供される場合、各画像に対してジャンプ検索を連続的に実行してもよい。ジャンプ検出モジュール３０６が潜在的対象を検出した場合、不変姿勢検索をその対象に対して実行してもよい。不変姿勢検索により潜在的候補アバターが検索された場合、拡散マッチングモジュール３０８を用いて拡散マッチングプロセスが進められる。
図４は、メインメモリで実行される本発明の機能を示している。ステップ４０２において、ジャンプ検出モジュール３０６を用いてシステムがソースイメージを調べ、上述のようにマッチングに利用できる眼球、鼻孔、唇など顔の、姿勢と照明が不変の特徴を自動的に検出する。ステップ４０４において、上述の手法を用いて不変姿勢検索が実行される。ステップ４０６において、本明細書に記述したように、利用可能な２Ｄ投影に関してソースオブジェクトの位置に関する入手可能なあらゆる事前情報が計算に追加される。ソースの３Ｄ測定値を利用できる場合、ステップ４０８に示したように、また上述したように、このデータを用いて剛体運動検索が制約される。すべての３Ｄ候補アバターにわたる不変視点検索４０４が完了したら、上述したように、ステップ４１０において最良マッチングするアバターが選択される。その後、ステップ４１０において探索された最良マッチングするアバターの姿勢、ジオメトリ、および照明が、拡散マッチングステップ４１２において、制御された変動を受ける。最良マッチングする候補アバターにおけるこれらの変更の投影が、ソース画像４１４と直接比較される。ソースオブジェクトの３Ｄ測定値４０８を利用できる場合、それを用いて拡散マッチング４１２が制約される。拡散マッチングステップ４１２は、ソース画像に最良マッチングする、最良マッチングする３Ｄアバターの姿勢、ジオメトリ、および照明をもたらす。アナライザは、拡散マッチングプロセスにより選択されたアバター構成の投影をソース画像と比較して、適合の質を生成する。ステップ４１６において、この適合の質を用いて、ソースに関連付けてその候補が肯定的に識別されるかどうかが決定される。
上述のように、ハードウェア実装の一部の態様を、対象オブジェクトが顔であり基準オブジェクトがアバターである場合について説明してきたが、本発明は顔のマッチングに限定されるものではなく、マッチングされる対象オブジェクトの一般的種類に対応する３Ｄ基準表現のデータベースを用いて、複数の特徴を含むオブジェクトのマッチングに用いてもよい。
したがって、上述のことは、複数の特徴を含むオブジェクトを記述する部分的な情報しか利用可能でない場合にそのオブジェクトの３Ｄモデルの生成するための、非常に広範かつ有利な方法を表していることが理解されるであろう。本明細書で採用した用語と表現は、説明のために用いたものであり、これらに限定されるものではない。かかる用語と表現の使用においては、図示および説明した特徴またはその一部に相当するものを排除する意図は一切ないのであって、本発明の請求の範囲内で様々な変更が可能であることは明白である。例えば、適切なソフトウェア命令を用いて、あるいはハードウェア回路として、あるいはハードウェアとソフトウェアの組み合わせとして（ここで、例えば、ピクセル操作とレンダリングは専用ハードウェアコンポーネントにより実行される）、本発明の各種モジュールを汎用コンピュータに実装することができる。
各図面すべてにおいて、類似の参照文字は一般に同一部分を指している。図面は必ずしも実際の大きさを表しているわけではなく、一般に本発明の原理を説明することに重点が置かれている。以下の説明においては、本発明の様々な実施態様を以下の図面を参照しながら記述する。
識別される対象が表示されるシーンと候補アバターから始めて、ジャンプ検出、不変視点検索、およびアバターの姿勢とジオメトリの精細化を実行した後にマッチングの信頼性レベルをもたらす、本発明の各種構成要素を概略的に示している。 本発明による代表的なハードウェア環境を示すブロック図である。 図3に示したアナライザの構成要素を示すブロック図である。 アナライザにより実行される主要機能を示すブロック図である。

Claims (48)

  1. 複数の特徴を含むソースオブジェクトの少なくとも１つの２Ｄソース投影に対応する、複数の特徴を含むオブジェクトを識別する方法であって、
    ａ． 複数の特徴を含む候補オブジェクトの３Ｄ表現を複数提供するステップと、
    ｂ． 画像における前記２Ｄソース投影を検出するステップと、
    ｃ． 当該の３Ｄ候補表現の不変視点検索を実行して、前記少なくとも１つの２Ｄソース投影に最も似ている２Ｄ投影を有する前記３Ｄ候補表現を探索するステップと、
    ｄ． 前記少なくとも１つの２Ｄソース投影をステップｃ．において探索された前記３Ｄ候補表現と比較して、前記候補が当該のソースに対応するかどうかを決定するステップを含む方法。
  2. 前記２Ｄソース画像において視点および照明が不変である特徴項目を探索することにより、前記２Ｄソース投影の検出が実行される、請求項１に記載の方法。
  3. 前記検出がほぼリアルタイムで実行される、請求項２に記載の方法。
  4. 請求項１に記載の方法であって、
    （ｉ） 前記ソース画像が捕捉されたときに支配的であるソースオブジェクト照明条件にマッチングするための複数の概念的照明の範囲；および
    （ｉｉ） 複数変形の範囲；
    のうちの少なくとも一方の範囲にわたって各前記３Ｄ候補表現を検索することを前記検索ステップはさらに含む、請求項１に記載の方法。
  5. 前記変形が小さな変形である、請求項４に記載の方法。
  6. 前記小さな変形が前記ソースオブジェクトの部分の動きに適合するようにした、請求項５に記載の方法。
  7. 前記変形が大きな変形である、請求項４に記載の方法。
  8. 前記大きな変形が前記ソースオブジェクトの永続的変化に関連している、請求項７に記載の方法。
  9. 請求項１に記載の方法であって、実際に投影を生成することなく、前記３Ｄ表現に係わる可能な２Ｄ投影の範囲にわたって各前記３Ｄ候補表現を検索することを前記検索ステップはさらに含む、方法。
  10. 請求項９に記載の方法であって、少なくとも１つの前記２Ｄ投影における、前記複数の特徴を含むソースオブジェクトの視点に最適に一致適合する前記３Ｄ候補表現の剛体運動を計算することが、当該の可能な２Ｄ投影の範囲にわたって検索することに含まれる方法。
  11. 請求項１０に記載の方法であって、
    ａ． 前記３Ｄ候補表現に関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含んでおり、前記少なくとも１つの２Ｄソース投影における特徴項目と投影的に一致適合する特徴項目の条件付き平均を推定すること；
    ｂ． 前記３Ｄ候補表現の剛体運動について、前記投影された特徴項目の条件付き平均推定と前記３Ｄ候補表現における対応する特徴項目との間の最小平均２乗誤差推定を生成すること；および、
    ｃ． 前記３Ｄ候補表現の前記投影の部分を前記２Ｄソース表現における対応する部分と比較すること；
    により適合の質を決め、かつ、前記最適な剛体運動を最良の適合の質に対応するものと定義することにより前記最適な剛体運動が決められる、方法。
  12. 請求項１に記載の方法であって、前記ステップｄ．における前記比較により、前記３Ｄ表現の前記投影と前記２Ｄソース画像とのマッチング度が所定のしきい値を上回ると、前記ソースオブジェクトに関連付けて前記３Ｄ候補表現が肯定的に識別される、方法。
  13. ソース顔の２Ｄソース投影の少なくとも１つに対応する３Ｄアバターを識別する方法であって、
    ａ． ３Ｄ候補アバターの３Ｄ表現を複数提供するステップと、
    ｂ． 画像において顔の前記２Ｄソース投影を検出するステップと、
    ｃ． 前記３Ｄ候補アバターの不変視点検索を実行して、前記少なくとも１つの２Ｄソース投影に最も似ている２Ｄ投影を有する前記３Ｄ候補アバターを探索するステップと、
    ｄ． 前記少なくとも１つの２Ｄソース投影をステップｃ．において探索された前記３Ｄ候補アバターと比較して、前記候補が前記ソースに対応するかどうかを決定するステップを含む方法。
  14. 前記２Ｄソース画像において視点と照明が不変である特徴項目を探索することにより、顔の前記２Ｄ投影の検出を実行する、請求項１３に記載の方法。
  15. 前記検出がほぼリアルタイムで実行される、請求項１４に記載の方法。
  16. 請求項１３に記載の方法であって、
    （ｉ） 前記ソース顔が捕捉されたときに支配的であるソースオブジェクト照明条件にマッチングするための複数の概念的照明の範囲；および
    （ｉｉ）複数変形の範囲；
    のうちの少なくとも一方の範囲にわたって各前記３Ｄ候補アバターを検索することを前記検索ステップはさらに含む、方法。
  17. 前記変形が小さな変形である、請求項１６に記載の方法。
  18. 前記小さな変形が顔の動きに適合できる、請求項１７に記載の方法。
  19. 前記変形が大きな変形である、請求項１６に記載の方法。
  20. 前記大きな変形が前記ソース顔の永続的変化に関連している、請求項１９に記載の方法。
  21. 前記検索ステップは、実際に投影を生成することなく、前記３Ｄアバターに可能な２Ｄ投影の範囲にわたって各前記３Ｄ候補アバターを検索することを含む、請求項１３に記載の方法。
  22. 請求項２１に記載の方法であって、少なくとも１つの前記２Ｄ投影における前記ソース顔の視点に最適に一致適合する前記３Ｄ候補アバターの剛体運動を計算することが、当該の可能な２Ｄ投影の範囲にわたって検索することに含まれる、方法。
  23. 請求項２２に記載の方法であって、
    ａ． 前記３Ｄ候補アバターに関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含んでおり、前記少なくとも１つの２Ｄソース投影における特徴項目と投影的に一致適合する特徴項目の条件付き平均を推定すること；および
    ｂ． 前記３Ｄ候補表現の剛体運動について、前記投影された特徴項目の条件付き平均推定と前記３Ｄ候補アバターにおける対応する特徴項目との間の最小平均２乗誤差推定を生成すること；および、
    ｃ． 前記３Ｄ候補アバターの前記投影の部分を前記２Ｄソース表現における対応する部分と比較することにより適合の質を決め、かつ、前記最適な剛体運動を前記最良の適合の質に対応するものと定義すること；
    により前記最適な剛体運動を決める、方法。
  24. 請求項１３に記載の方法であって、前記ステップｄ．における前記比較により、前記３Ｄアバターの前記投影と前記２Ｄソース画像とのマッチング度が所定のしきい値を上回ると、前記ソース顔に関連付けて前記３Ｄ候補アバターが肯定的に識別される、方法。
  25. 複数の特徴を含むソースオブジェクトの２Ｄソース投影の少なくとも１つに対応する、複数の特徴を含むオブジェクトを識別するシステムであって、
    ａ． 複数の特徴を含む候補オブジェクトの３Ｄ表現を複数含むデータベース；
    ｂ． 画像において前記２Ｄソース投影を検出する検出モジュール；および
    ｃ． アナライザ；
    を備え、該アナライザは、（ｉ）前記３Ｄ候補表現の不変視点検索を実行して、前記少なくとも１つの２Ｄソース投影に最も似ている２Ｄ投影を有する前記３Ｄ候補表現を探索し、（ｉｉ）前記少なくとも１つの２Ｄソース投影を前記探索された３Ｄ候補表現と比較して、前記候補が前記ソースに対応するかどうかを決定するシステム。
  26. 前記検出モジュールは、前記２Ｄソース画像において視点と照明が不変である特徴項目を探索することにより、前記２Ｄソース投影を検出する、請求項２５に記載のシステム。
  27. 前記検出モジュールが前記検出をほぼリアルタイムで実行する、請求項２６に記載のシステム。
  28. 請求項２５に記載のシステムであって、前記アナライザは拡散マッチングモジュールをさらに備え、該拡散マッチングモジュールは、
    （ｉ） 前記ソース画像が捕捉されたときに支配的であるソースオブジェクト照明条件にマッチングするための複数の概念的照明の範囲；および、
    （ｉｉ） 複数変形の範囲；
    のうちの少なくとも一方の範囲から生成される前記３Ｄ候補表現の２Ｄ投影を検索するものである、システム。
  29. 前記変形が小さな変形である、請求項２８に記載のシステム。
  30. 前記小さな変形が前記ソースオブジェクトの部分の動きに適合できる、請求項２９に記載のシステム。
  31. 前記変形が大きな変形である、請求項２８に記載のシステム。
  32. 前記大きな変形が前記ソースオブジェクトの永続的変化に関連している、請求項３１に記載のシステム。
  33. 前記アナライザは、実際に投影を生成することなく、前記３Ｄ表現に係わる可能な２Ｄ投影の範囲にわたって各前記３Ｄ候補表現を検索する、請求項２５に記載のシステム。
  34. 前記アナライザは、少なくとも１つの前記２Ｄ投影における、前記複数の特徴を含むソースオブジェクトの視点に最適に一致適合する前記３Ｄ候補表現の最適な剛体運動を計算する、請求項３３に記載のシステム。
  35. 請求項３４に記載のシステムであって、
    ａ． 前記３Ｄ候補表現に関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含んでおり、前記少なくとも１つの２Ｄソース投影における特徴項目と投影的に一致適合する特徴項目の条件付き平均を推定すること；
    ｂ． 前記３Ｄ候補表現の剛体運動について、前記投影された特徴項目の条件付き平均推定と前記３Ｄ候補表現における対応する特徴項目との間の最小平均２乗誤差推定を生成すること；および、
    ｃ． 前記３Ｄ候補表現の前記投影の部分を前記２Ｄソース表現における対応する部分と比較すること；
    により適合の質を決め、かつ、前記最適な剛体運動を最良の適合の質に対応するものと定義することとにより、前記アナライザは前記最適な剛体運動を決めるように構成されている、システム。
  36. 前記アナライザは、前記３Ｄ表現の前記投影と前記２Ｄソース画像とのマッチング度が所定のしきい値を上回ると、前記ソースオブジェクトに関連付けての前記３Ｄ候補表現の肯定的な識別を出力する、請求項２５に記載のシステム。
  37. ソース顔の２Ｄソース投影の少なくとも１つに対応する３Ｄアバターを識別するシステムであって、
    ａ． ３Ｄ候補アバターの３Ｄ表現を複数含むデータベース；
    ｂ． 画像において顔の前記２Ｄソース投影を検出する検出モジュール；および、
    ｃ． （ｉ）前記３Ｄ候補アバターの不変視点検索を実行して、前記少なくとも１つの２Ｄソース投影に最も似ている２Ｄ投影を有する前記３Ｄ候補アバターを探索し、（ｉｉ）前記少なくとも１つの２Ｄソース投影を前記探索された３Ｄ候補アバターと比較して、前記候補が前記ソースに対応するかどうかを決定するアナライザ；
    を備えるシステム。
  38. 前記検出モジュールは、前記２Ｄソース画像において視点と照明が不変である特徴項目を探索することにより、顔の前記２Ｄ投影を検出する、請求項３７に記載のシステム。
  39. 前記検出モジュールが前記検出をほぼリアルタイムで実行する、請求項３８に記載のシステム。
  40. 請求項３７に記載のシステムであって、前記アナライザは、拡散マッチングモジュールをさらに備え、該拡散マッチングモジュールは、
    （ｉ） 前記ソース画像が捕捉されたときに支配的であるソース頭部照明条件にマッチングするための複数の概念的照明の範囲；および、
    （ｉｉ） 複数変形の範囲；
    のうちの少なくとも一方の範囲から生成される前記３Ｄ候補アバターの２Ｄ投影を検索するものである、システム。
  41. 前記変形が小さな変形である、請求項４０に記載のシステム。
  42. 前記小さな変形が顔の動きに適合できる、請求項４１に記載のシステム。
  43. 前記変形が大きな変形である、請求項４０に記載のシステム。
  44. 前記大きな変形が前記ソース顔の永続的変化に関連している、請求項４３に記載のシステム。
  45. 前記アナライザは、実際に投影を生成することなく、前記３Ｄアバターの、可能な２Ｄ投影の範囲にわたって各前記３Ｄ候補アバターを検索する、請求項３７に記載のシステム。
  46. 前記アナライザは、少なくとも１つの前記２Ｄ投影における前記ソース顔の視点に最適に一致適合する前記３Ｄ候補アバターの最適な剛体運動を計算する、請求項４５に記載のシステム。
  47. 請求項４６に記載のシステムであって、
    ａ． 前記３Ｄ候補アバターに関連する３Ｄ座標空間における点、曲線、面、およびサブボリュームを含んでおり、前記少なくとも１つの２Ｄソース投影における特徴項目と投影的に一致適合する特徴項目の条件付き平均を推定すること；
    ｂ． 前記３Ｄ候補表現の剛体運動について、前記投影された特徴項目の条件付き平均推定と前記３Ｄ候補アバターにおける対応する特徴項目との間の最小平均２乗誤差推定を生成すること；および、
    ｃ． 前記３Ｄ候補アバターの前記投影の部分を前記２Ｄソース表現における対応する部分と比較すること；
    により適合の質を決め、かつ、前記最適な剛体運動を最良の適合の質に対応するものと定義することとにより、前記アナライザは、前記最適な剛体運動を決めるように構成されている、システム。
  48. 前記アナライザは、前記３Ｄアバターの前記投影と前記２Ｄソース画像とのマッチング度が所定のしきい値を上回ると、前記ソース顔に関連付けての前記３Ｄ候補アバターの肯定的な識別を出力するように構成されている、請求項３７に記載のシステム。
JP2006509131A 2003-03-06 2004-03-05 ２次元画像からの３次元オブジェクトの不変視点検出および識別 Pending JP2006520055A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US45243103P 2003-03-06 2003-03-06
US45242903P 2003-03-06 2003-03-06
US45243003P 2003-03-06 2003-03-06
PCT/US2004/006614 WO2004081854A1 (en) 2003-03-06 2004-03-05 Viewpoint-invariant detection and identification of a three-dimensional object from two-dimensional imagery

Publications (1)

Publication Number Publication Date
JP2006520055A true JP2006520055A (ja) 2006-08-31

Family

ID=32995971

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2006509131A Pending JP2006520055A (ja) 2003-03-06 2004-03-05 ２次元画像からの３次元オブジェクトの不変視点検出および識別
JP2006509130A Pending JP2006520054A (ja) 2003-03-06 2004-03-05 不変視点からの画像照合および２次元画像からの３次元モデルの生成
JP2006509187A Pending JP2006522411A (ja) 2003-03-06 2004-03-05 複数の特徴を含むオブジェクトの画像データベースの生成

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2006509130A Pending JP2006520054A (ja) 2003-03-06 2004-03-05 不変視点からの画像照合および２次元画像からの３次元モデルの生成
JP2006509187A Pending JP2006522411A (ja) 2003-03-06 2004-03-05 複数の特徴を含むオブジェクトの画像データベースの生成

Country Status (4)

Country Link
US (4) US7643683B2 (ja)
EP (3) EP1599830A1 (ja)
JP (3) JP2006520055A (ja)
WO (3) WO2004081853A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170055987A (ko) * 2014-09-15 2017-05-22 테마섹 라이프 사이언스 래보러토리 리미티드 이미지 인식 시스템 및 방법
JP6833114B1 (ja) * 2019-11-28 2021-02-24 三菱電機株式会社 ワーク画像検索装置およびワーク画像検索方法

Families Citing this family (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1451775A1 (de) * 2001-11-24 2004-09-01 TDV Technologies Corp. Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge
US6947579B2 (en) * 2002-10-07 2005-09-20 Technion Research & Development Foundation Ltd. Three-dimensional face recognition
US7421098B2 (en) * 2002-10-07 2008-09-02 Technion Research & Development Foundation Ltd. Facial recognition and the open mouth problem
JP4556873B2 (ja) * 2003-10-21 2010-10-06 日本電気株式会社 画像照合システム及び画像照合方法
US20050152504A1 (en) * 2004-01-13 2005-07-14 Ang Shih Method and apparatus for automated tomography inspection
EP1766552A2 (en) * 2004-06-23 2007-03-28 Strider Labs, Inc. System and method for 3d object recognition using range and intensity
US7542034B2 (en) 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
US7480414B2 (en) * 2004-10-14 2009-01-20 International Business Machines Corporation Method and apparatus for object normalization using object classification
EP2218351B1 (en) * 2004-10-22 2011-10-05 Shiseido Co., Ltd. Lip makeup method
US20060127852A1 (en) * 2004-12-14 2006-06-15 Huafeng Wen Image based orthodontic treatment viewing system
KR100601989B1 (ko) * 2005-02-07 2006-07-18 삼성전자주식회사 3차원 형상 생성 장치와 방법 및 컴퓨터 프로그램을저장한 컴퓨터로 읽을 수 있는 기록매체
US8213677B2 (en) * 2005-03-04 2012-07-03 National University Corporation NARA Institute of Science and Technology Motion measuring device, motion measuring system, in-vehicle device, motion measuring method, motion measurement program, and computer-readable storage medium
US20080177640A1 (en) 2005-05-09 2008-07-24 Salih Burak Gokturk System and method for using image analysis and search in e-commerce
US7945099B2 (en) 2005-05-09 2011-05-17 Like.Com System and method for use of images with recognition analysis
US7660468B2 (en) 2005-05-09 2010-02-09 Like.Com System and method for enabling image searching using manual enrichment, classification, and/or segmentation
US7783135B2 (en) 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
US8732025B2 (en) 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
US7657126B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for search portions of objects in images and features thereof
US7760917B2 (en) 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches
US7519200B2 (en) 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
WO2006119629A1 (en) * 2005-05-11 2006-11-16 Optosecurity Inc. Database of target objects suitable for use in screening receptacles or people and method and apparatus for generating same
US7991242B2 (en) 2005-05-11 2011-08-02 Optosecurity Inc. Apparatus, method and system for screening receptacles and persons, having image distortion correction functionality
CA2608119A1 (en) 2005-05-11 2006-11-16 Optosecurity Inc. Method and system for screening luggage items, cargo containers or persons
JP4691158B2 (ja) * 2005-06-16 2011-06-01 ストライダー ラブス，インコーポレイテッド 三次元クラスモデルを用いた二次元画像における認識システムおよび方法
JP2007064836A (ja) * 2005-08-31 2007-03-15 Kyushu Institute Of Technology カメラキャリブレーションの自動化アルゴリズム
US20070080967A1 (en) * 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
US7961937B2 (en) * 2005-10-26 2011-06-14 Hewlett-Packard Development Company, L.P. Pre-normalization data classification
US8094928B2 (en) 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
US20070124330A1 (en) * 2005-11-17 2007-05-31 Lydia Glass Methods of rendering information services and related devices
TW200725433A (en) * 2005-12-29 2007-07-01 Ind Tech Res Inst Three-dimensional face recognition system and method thereof
US7891919B2 (en) 2006-01-23 2011-02-22 Hy-Ko Products Company Key duplication machine
US9101990B2 (en) 2006-01-23 2015-08-11 Hy-Ko Products Key duplication machine
WO2007092629A2 (en) * 2006-02-09 2007-08-16 Nms Communications Corporation Smooth morphing between personal video calling avatars
US9690979B2 (en) 2006-03-12 2017-06-27 Google Inc. Techniques for enabling or establishing the use of face recognition algorithms
US8571272B2 (en) 2006-03-12 2013-10-29 Google Inc. Techniques for enabling or establishing the use of face recognition algorithms
JP4362489B2 (ja) * 2006-03-29 2009-11-11 日本電気株式会社 ３次元顔データ登録システム、３次元顔データ登録方法、及び登録処理プログラム
JP4785598B2 (ja) * 2006-04-07 2011-10-05 株式会社日立製作所 類似形状検索装置
US7899232B2 (en) 2006-05-11 2011-03-01 Optosecurity Inc. Method and apparatus for providing threat image projection (TIP) in a luggage screening system, and luggage screening system implementing same
US8494210B2 (en) 2007-03-30 2013-07-23 Optosecurity Inc. User interface for use in security screening providing image enhancement capabilities and apparatus for implementing same
US8233702B2 (en) * 2006-08-18 2012-07-31 Google Inc. Computer implemented technique for analyzing images
WO2008036354A1 (en) 2006-09-19 2008-03-27 Braintech Canada, Inc. System and method of determining object pose
TWI332639B (en) * 2006-09-27 2010-11-01 Compal Electronics Inc Method for displaying expressional image
US7966567B2 (en) * 2007-07-12 2011-06-21 Center'd Corp. Character expression in a geo-spatial environment
WO2008076942A1 (en) * 2006-12-15 2008-06-26 Braintech Canada, Inc. System and method of identifying objects
JP5024067B2 (ja) * 2007-01-19 2012-09-12 コニカミノルタホールディングス株式会社 顔認証システム、方法及びプログラム
US8655052B2 (en) 2007-01-26 2014-02-18 Intellectual Discovery Co., Ltd. Methodology for 3D scene reconstruction from 2D image sequences
JP2008187591A (ja) * 2007-01-31 2008-08-14 Fujifilm Corp 撮像装置及び撮像方法
US20080228449A1 (en) * 2007-03-12 2008-09-18 Conversion Works, Inc. Systems and methods for 2-d to 3-d conversion using depth access segments to define an object
US8274530B2 (en) 2007-03-12 2012-09-25 Conversion Works, Inc. Systems and methods for filling occluded information for 2-D to 3-D conversion
US20080225045A1 (en) * 2007-03-12 2008-09-18 Conversion Works, Inc. Systems and methods for 2-d to 3-d image conversion using mask to model, or model to mask, conversion
JP4337064B2 (ja) * 2007-04-04 2009-09-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP5096776B2 (ja) * 2007-04-04 2012-12-12 キヤノン株式会社 画像処理装置及び画像検索方法
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
US8416981B2 (en) 2007-07-29 2013-04-09 Google Inc. System and method for displaying contextual supplemental content based on image content
DE602007003849D1 (de) * 2007-10-11 2010-01-28 Mvtec Software Gmbh System und Verfahren zur 3D-Objekterkennung
US8059888B2 (en) * 2007-10-30 2011-11-15 Microsoft Corporation Semi-automatic plane extrusion for 3D modeling
US8862582B2 (en) * 2007-11-15 2014-10-14 At&T Intellectual Property I, L.P. System and method of organizing images
US8190604B2 (en) * 2008-04-03 2012-05-29 Microsoft Corporation User intention modeling for interactive image retrieval
US20100017033A1 (en) * 2008-07-18 2010-01-21 Remus Boca Robotic systems with user operable robot control terminals
JP5253066B2 (ja) * 2008-09-24 2013-07-31 キヤノン株式会社 位置姿勢計測装置及び方法
US8368689B2 (en) * 2008-09-25 2013-02-05 Siemens Product Lifecycle Management Software Inc. System, method, and computer program product for radial functions and distributions of three dimensional object models
US8559699B2 (en) 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
WO2010044204A1 (ja) * 2008-10-15 2010-04-22 パナソニック株式会社 光投射装置
US8159327B2 (en) * 2008-11-13 2012-04-17 Visa International Service Association Device including authentication glyph
JP2010186288A (ja) * 2009-02-12 2010-08-26 Seiko Epson Corp 顔画像の所定のテクスチャー特徴量を変更する画像処理
US9740921B2 (en) 2009-02-26 2017-08-22 Tko Enterprises, Inc. Image processing sensor systems
US9277878B2 (en) * 2009-02-26 2016-03-08 Tko Enterprises, Inc. Image processing sensor systems
US9293017B2 (en) * 2009-02-26 2016-03-22 Tko Enterprises, Inc. Image processing sensor systems
WO2010127352A2 (en) * 2009-05-01 2010-11-04 Hy-Ko Products Key blank identification system with groove scanning
EP2424690A4 (en) 2009-05-01 2013-11-27 Hy Ko Products KEY ROLL IDENTIFICATION SYSTEM WITH BART ANALYSIS
US8630456B2 (en) * 2009-05-12 2014-01-14 Toyota Jidosha Kabushiki Kaisha Object recognition method, object recognition apparatus, and autonomous mobile robot
US20100313141A1 (en) * 2009-06-03 2010-12-09 Tianli Yu System and Method for Learning User Genres and Styles and for Matching Products to User Preferences
US8553972B2 (en) * 2009-07-06 2013-10-08 Samsung Electronics Co., Ltd. Apparatus, method and computer-readable medium generating depth map
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US8604796B2 (en) * 2009-10-08 2013-12-10 Precision Energy Services, Inc. Steerable magnetic dipole antenna for measurement-while-drilling applications
US9366780B2 (en) 2009-10-08 2016-06-14 Precision Energy Services, Inc. Steerable magnetic dipole antenna for measurement while drilling applications
JP2011090466A (ja) * 2009-10-21 2011-05-06 Sony Corp 情報処理装置及び方法、並びにプログラム
KR20110070056A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 사용자 맞춤형 고품질 3ｄ 아바타 생성 방법 및 그 장치
US8570343B2 (en) * 2010-04-20 2013-10-29 Dassault Systemes Automatic generation of 3D models from packaged goods product images
US20110268365A1 (en) * 2010-04-30 2011-11-03 Acer Incorporated 3d hand posture recognition system and vision based hand posture recognition method thereof
EP2385483B1 (en) 2010-05-07 2012-11-21 MVTec Software GmbH Recognition and pose determination of 3D objects in 3D scenes using geometric point pair descriptors and the generalized Hough Transform
US10702216B2 (en) * 2010-06-08 2020-07-07 Styku, LLC Method and system for body scanning and display of biometric data
US11244223B2 (en) * 2010-06-08 2022-02-08 Iva Sareen Online garment design and collaboration system and method
US11640672B2 (en) * 2010-06-08 2023-05-02 Styku Llc Method and system for wireless ultra-low footprint body scanning
US10628729B2 (en) * 2010-06-08 2020-04-21 Styku, LLC System and method for body scanning and avatar creation
US20160088284A1 (en) * 2010-06-08 2016-03-24 Styku, Inc. Method and system for determining biometrics from body surface imaging technology
US10628666B2 (en) * 2010-06-08 2020-04-21 Styku, LLC Cloud server body scan data system
US8452721B2 (en) * 2010-06-15 2013-05-28 Nvidia Corporation Region of interest tracking for fluid simulation
US8928659B2 (en) * 2010-06-23 2015-01-06 Microsoft Corporation Telepresence systems with viewer perspective adjustment
US8416990B2 (en) 2010-08-17 2013-04-09 Microsoft Corporation Hierarchical video sub-volume search
US8933927B2 (en) * 2010-09-02 2015-01-13 Samsung Electronics Co., Ltd. Display system with image conversion mechanism and method of operation thereof
US9317533B2 (en) 2010-11-02 2016-04-19 Microsoft Technology Licensing, Inc. Adaptive image retrieval database
US8463045B2 (en) 2010-11-10 2013-06-11 Microsoft Corporation Hierarchical sparse representation for image retrieval
US8711210B2 (en) 2010-12-14 2014-04-29 Raytheon Company Facial recognition using a sphericity metric
WO2012082077A2 (en) * 2010-12-17 2012-06-21 Agency For Science, Technology And Research Pose-independent 3d face reconstruction from a sample 2d face image
US9959644B2 (en) * 2010-12-21 2018-05-01 Qualcomm Incorporated Computerized method and device for annotating at least one feature of an image of a view
DE102011008074A1 (de) * 2011-01-07 2012-07-12 Martin Tank Verfahren und Zahnrestaurationsermittlungssystem zur Ermittlung von Zahnrestaurationen
US9198575B1 (en) 2011-02-15 2015-12-01 Guardvant, Inc. System and method for determining a level of operator fatigue
US9952046B1 (en) 2011-02-15 2018-04-24 Guardvant, Inc. Cellular phone and personal protective equipment usage monitoring system
US8988512B2 (en) 2011-04-14 2015-03-24 Mediatek Inc. Method for adjusting playback of multimedia content according to detection result of user status and related apparatus thereof
US20130201187A1 (en) * 2011-08-09 2013-08-08 Xiaofeng Tong Image-based multi-view 3d face generation
EP3925676A1 (en) * 2011-08-18 2021-12-22 Pfaqutruma Research LLC Systems and methods of virtual world interaction
JP5143262B1 (ja) * 2011-08-30 2013-02-13 株式会社東芝 立体映像処理装置、立体映像処理方法
MX2014002728A (es) 2011-09-07 2014-08-22 Rapiscan Systems Inc Sistema de inspeccion de rayos x que integra datos de manifiesto con procesamiento de deteccion / generacion de imagenes.
US9236024B2 (en) 2011-12-06 2016-01-12 Glasses.Com Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
KR20130063310A (ko) * 2011-12-06 2013-06-14 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US10013787B2 (en) 2011-12-12 2018-07-03 Faceshift Ag Method for facial animation
WO2013145496A1 (ja) * 2012-03-27 2013-10-03 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9311746B2 (en) 2012-05-23 2016-04-12 Glasses.Com Inc. Systems and methods for generating a 3-D model of a virtual try-on product
US9141848B2 (en) * 2012-09-04 2015-09-22 Intel Corporation Automatic media distribution
US10678259B1 (en) * 2012-09-13 2020-06-09 Waymo Llc Use of a reference image to detect a road obstacle
WO2014043755A1 (en) * 2012-09-19 2014-03-27 Commonwealth Scientific And Industrial Research Organisation System and method of generating a non-rigid model
US9020982B2 (en) 2012-10-15 2015-04-28 Qualcomm Incorporated Detection of planar targets under steep angles
US9743002B2 (en) * 2012-11-19 2017-08-22 Magna Electronics Inc. Vehicle vision system with enhanced display functions
CN104782120B (zh) * 2012-12-17 2018-08-10 英特尔公司 化身动画制作方法、计算设备和存储介质
US9990373B2 (en) * 2013-02-06 2018-06-05 John A. Fortkort Creation and geospatial placement of avatars based on real-world interactions
US9381426B1 (en) * 2013-03-15 2016-07-05 University Of Central Florida Research Foundation, Inc. Semi-automated digital puppetry control
US9990004B2 (en) * 2013-04-02 2018-06-05 Samsung Dispaly Co., Ltd. Optical detection of bending motions of a flexible display
US9449392B2 (en) * 2013-06-05 2016-09-20 Samsung Electronics Co., Ltd. Estimator training method and pose estimating method using depth image
US9839761B1 (en) 2013-07-04 2017-12-12 Hal Rucker Airflow control for pressurized air delivery
US9355123B2 (en) 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
KR101509934B1 (ko) * 2013-10-10 2015-04-16 재단법인대구경북과학기술원 정면 얼굴 자세 유도 장치, 및 정면 얼굴 자세 유도 방법
US9613449B2 (en) 2013-10-18 2017-04-04 Nvidia Corporation Method and apparatus for simulating stiff stacks
US9589383B2 (en) 2013-10-18 2017-03-07 Nvidia Corporation Unified position based solver for visual effects
US10013767B2 (en) * 2013-11-01 2018-07-03 The Research Foundation For The State University Of New York Method for measuring the interior three-dimensional movement, stress and strain of an object
WO2015089115A1 (en) * 2013-12-09 2015-06-18 Nant Holdings Ip, Llc Feature density object classification, systems and methods
WO2015123647A1 (en) 2014-02-14 2015-08-20 Nant Holdings Ip, Llc Object ingestion through canonical shapes, systems and methods
US9710699B2 (en) * 2014-10-31 2017-07-18 Irvine Sensors Corp. Three dimensional recognition from unscripted sources technology (TRUST)
RU2582852C1 (ru) * 2015-01-21 2016-04-27 Общество с ограниченной ответственностью "Вокорд СофтЛаб" (ООО "Вокорд СофтЛаб") Автоматическое построение 3d модели лица по серии 2d изображений или по видеофильму
KR102146398B1 (ko) 2015-07-14 2020-08-20 삼성전자주식회사 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
WO2017024043A1 (en) 2015-08-03 2017-02-09 Hy-Ko Products Company High security key scanning system
US20170103563A1 (en) * 2015-10-07 2017-04-13 Victor Erukhimov Method of creating an animated realistic 3d model of a person
KR101755248B1 (ko) * 2016-01-27 2017-07-07 (주)에이아이퍼스트 3차원 모델 생성 방법과 시스템 및 이를 위한 휴대용 단말
US9868212B1 (en) * 2016-02-18 2018-01-16 X Development Llc Methods and apparatus for determining the pose of an object based on point cloud data
EP3420563A4 (en) 2016-02-22 2020-03-11 Rapiscan Systems, Inc. SYSTEMS AND METHODS FOR THREAT DETECTION AND SMUGGLING IN CARGO
US20170280130A1 (en) * 2016-03-25 2017-09-28 Microsoft Technology Licensing, Llc 2d video analysis for 3d modeling
JP6744747B2 (ja) * 2016-04-01 2020-08-19 キヤノン株式会社 情報処理装置およびその制御方法
CN109643152B (zh) * 2016-06-03 2020-03-13 脸谱科技有限责任公司 使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画
US10474932B2 (en) * 2016-09-01 2019-11-12 Uptake Technologies, Inc. Detection of anomalies in multivariate data
US10818064B2 (en) * 2016-09-21 2020-10-27 Intel Corporation Estimating accurate face shape and texture from an image
FR3060170B1 (fr) * 2016-12-14 2019-05-24 Smart Me Up Systeme de reconnaissance d'objets base sur un modele generique 3d adaptatif
US20180357819A1 (en) * 2017-06-13 2018-12-13 Fotonation Limited Method for generating a set of annotated images
JP7003455B2 (ja) * 2017-06-15 2022-01-20 オムロン株式会社 テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム
US11948057B2 (en) * 2017-06-22 2024-04-02 Iva Sareen Online garment design and collaboration system and method
EP3420903B1 (de) * 2017-06-29 2019-10-23 Siemens Healthcare GmbH Visualisieren zumindest einer kenngrösse
US11069121B2 (en) * 2017-08-31 2021-07-20 Sony Group Corporation Methods, devices and computer program products for creating textured 3D images
US10870056B2 (en) * 2017-11-01 2020-12-22 Sony Interactive Entertainment Inc. Emoji-based communications derived from facial features during game play
US20190143221A1 (en) * 2017-11-15 2019-05-16 Sony Interactive Entertainment America Llc Generation and customization of personalized avatars
US10783346B2 (en) * 2017-12-11 2020-09-22 Invensense, Inc. Enhancing quality of a fingerprint image
CN109918976B (zh) * 2017-12-13 2021-04-02 航天信息股份有限公司 一种人像比对算法融合方法及其装置
WO2019117959A1 (en) * 2017-12-15 2019-06-20 Hewlett-Packard Development Company, L.P. Patterns for locations on three-dimensional objects
KR102661019B1 (ko) 2018-02-23 2024-04-26 삼성전자주식회사 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법
US20200410210A1 (en) * 2018-03-12 2020-12-31 Carnegie Mellon University Pose invariant face recognition
CN108549848B (zh) * 2018-03-27 2022-02-25 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN109118569B (zh) * 2018-08-16 2023-03-10 Oppo广东移动通信有限公司 基于三维模型的渲染方法和装置
KR102615196B1 (ko) 2018-08-21 2023-12-18 삼성전자주식회사 객체 검출 모델 트레이닝 장치 및 방법
US10621788B1 (en) * 2018-09-25 2020-04-14 Sony Corporation Reconstructing three-dimensional (3D) human body model based on depth points-to-3D human body model surface distance
US10489683B1 (en) * 2018-12-17 2019-11-26 Bodygram, Inc. Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
CN109816704B (zh) * 2019-01-28 2021-08-03 北京百度网讯科技有限公司 物体的三维信息获取方法和装置
US11386636B2 (en) 2019-04-04 2022-07-12 Datalogic Usa, Inc. Image preprocessing for optical character recognition
EP3731132A1 (en) * 2019-04-25 2020-10-28 XRSpace CO., LTD. Method of generating 3d facial model for an avatar and related device
US10992619B2 (en) * 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
US10803301B1 (en) * 2019-08-02 2020-10-13 Capital One Services, Llc Detecting fraud in image recognition systems
US20220398855A1 (en) * 2019-10-30 2022-12-15 Nec Corporation Matching support apparatus, matching support method, and computer-readable recording medium
WO2021237169A1 (en) * 2020-05-21 2021-11-25 Sareen Iva Online garment design and collaboration and virtual try-on system and method
US11810256B2 (en) * 2021-11-11 2023-11-07 Qualcomm Incorporated Image modification techniques
WO2023175648A1 (ja) * 2022-03-14 2023-09-21 三菱電機株式会社 学習画像生成装置及び学習画像生成方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5159361A (en) * 1989-03-09 1992-10-27 Par Technology Corporation Method and apparatus for obtaining the topography of an object
US5825936A (en) * 1994-09-22 1998-10-20 University Of South Florida Image analyzing device using adaptive criteria
US5761638A (en) * 1995-03-17 1998-06-02 Us West Inc Telephone network apparatus and method using echo delay and attenuation
US5742291A (en) 1995-05-09 1998-04-21 Synthonics Incorporated Method and apparatus for creation of three-dimensional wire frames
US5844573A (en) 1995-06-07 1998-12-01 Massachusetts Institute Of Technology Image compression by pointwise prototype correspondence using shape and texture information
US6226418B1 (en) * 1997-11-07 2001-05-01 Washington University Rapid convolution based large deformation image matching via landmark and volume imagery
US5898438A (en) * 1996-11-12 1999-04-27 Ford Global Technologies, Inc. Texture mapping of photographic images to CAD surfaces
US6094199A (en) * 1997-05-23 2000-07-25 University Of Washington 3D objects morphing employing skeletons indicating symmetric differences to define intermediate objects used in morphing
US5990901A (en) 1997-06-27 1999-11-23 Microsoft Corporation Model based image editing and correction
AU9663098A (en) 1997-09-23 1999-04-12 Enroute, Inc. Generating three-dimensional models of objects defined by two-dimensional image data
EP0907145A3 (en) * 1997-10-03 2003-03-26 Nippon Telegraph and Telephone Corporation Method and equipment for extracting image features from image sequence
US6249600B1 (en) * 1997-11-07 2001-06-19 The Trustees Of Columbia University In The City Of New York System and method for generation of a three-dimensional solid model
US6002782A (en) * 1997-11-12 1999-12-14 Unisys Corporation System and method for recognizing a 3-D object by generating a 2-D image of the object from a transformed 3-D model
WO1999027838A2 (en) * 1997-12-01 1999-06-10 Eraslan Arsev H Three-dimensional face identification system
US6362833B2 (en) 1998-04-08 2002-03-26 Intel Corporation Method and apparatus for progressively constructing a series of morphs between two-dimensional or three-dimensional models
JP3467725B2 (ja) * 1998-06-02 2003-11-17 富士通株式会社 画像の影除去方法、画像処理装置及び記録媒体
US6366282B1 (en) * 1998-09-08 2002-04-02 Intel Corporation Method and apparatus for morphing objects by subdividing and mapping portions of the objects
IT1315446B1 (it) 1998-10-02 2003-02-11 Cselt Centro Studi Lab Telecom Procedimento per la creazione di modelli facciali tridimensionali apartire da immagini di volti.
JP4025442B2 (ja) 1998-12-01 2007-12-19 富士通株式会社 三次元モデル変換装置及び方法
DE69934478T2 (de) 1999-03-19 2007-09-27 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Gerät zur Bildverarbeitung auf Basis von Metamorphosemodellen
US6296317B1 (en) * 1999-10-29 2001-10-02 Carnegie Mellon University Vision-based motion sensor for mining machine control
GB0004165D0 (en) 2000-02-22 2000-04-12 Digimask Limited System for virtual three-dimensional object creation and use
US6807290B2 (en) 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
JP4341135B2 (ja) * 2000-03-10 2009-10-07 コニカミノルタホールディングス株式会社 物体認識装置
US6956569B1 (en) * 2000-03-30 2005-10-18 Nec Corporation Method for matching a two dimensional image to one of a plurality of three dimensional candidate models contained in a database
JP2001283216A (ja) 2000-04-03 2001-10-12 Nec Corp 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
JP4387552B2 (ja) * 2000-04-27 2009-12-16 富士通株式会社 画像照合処理システム
US6853745B1 (en) 2000-11-03 2005-02-08 Nec Laboratories America, Inc. Lambertian reflectance and linear subspaces
US6975750B2 (en) 2000-12-01 2005-12-13 Microsoft Corp. System and method for face recognition using synthesized training images
GB2383915B (en) 2001-11-23 2005-09-28 Canon Kk Method and apparatus for generating models of individuals
US7221809B2 (en) 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
US20030169906A1 (en) 2002-02-26 2003-09-11 Gokturk Salih Burak Method and apparatus for recognizing objects
FR2849241B1 (fr) * 2002-12-20 2005-06-24 Biospace Instr Procede et dispositif d'imagerie radiographique
CN100361160C (zh) 2003-03-28 2008-01-09 富士通株式会社 摄影装置及个人识别系统
US7756325B2 (en) * 2005-06-20 2010-07-13 University Of Basel Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170055987A (ko) * 2014-09-15 2017-05-22 테마섹 라이프 사이언스 래보러토리 리미티드 이미지 인식 시스템 및 방법
KR102535810B1 (ko) 2014-09-15 2023-05-23 테마섹 라이프 사이언스 래보러토리 리미티드 이미지 인식 시스템 및 방법
JP6833114B1 (ja) * 2019-11-28 2021-02-24 三菱電機株式会社 ワーク画像検索装置およびワーク画像検索方法
WO2021106154A1 (ja) * 2019-11-28 2021-06-03 三菱電機株式会社 ワーク画像検索装置、ワーク画像検索方法、および機械学習装置
US11580156B2 (en) 2019-11-28 2023-02-14 Mitsubishi Electric Corporation Workpiece image search apparatus and workpiece image search method

Also Published As

Publication number Publication date
US20040190775A1 (en) 2004-09-30
EP1599828A1 (en) 2005-11-30
US20100295854A1 (en) 2010-11-25
US7643683B2 (en) 2010-01-05
JP2006520054A (ja) 2006-08-31
US20040175039A1 (en) 2004-09-09
US7643685B2 (en) 2010-01-05
WO2004081855A1 (en) 2004-09-23
US20040175041A1 (en) 2004-09-09
JP2006522411A (ja) 2006-09-28
EP1599830A1 (en) 2005-11-30
WO2004081853A1 (en) 2004-09-23
EP1599829A1 (en) 2005-11-30
US7853085B2 (en) 2010-12-14
WO2004081854A1 (en) 2004-09-23

Similar Documents

Publication Publication Date Title
JP2006520055A (ja) ２次元画像からの３次元オブジェクトの不変視点検出および識別
JP4234381B2 (ja) 顔の特徴を位置確認するための方法及びコンピュータープログラム製品
JP4284664B2 (ja) 三次元形状推定システム及び画像生成システム
JP4556873B2 (ja) 画像照合システム及び画像照合方法
JP4928601B2 (ja) オブジェクトの特徴を位置特定する方法
JP4349367B2 (ja) 物体の位置姿勢を推定する推定システム、推定方法および推定プログラム
Dornaika et al. On appearance based face and facial action tracking
US8467596B2 (en) Method and apparatus for object pose estimation
KR101007276B1 (ko) 3차원 안면 인식
JP6074272B2 (ja) 画像処理装置および画像処理方法
JP4466951B2 (ja) 立体結合顔形状の位置合わせ
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
JP2007257324A (ja) 顔モデル作成システム
JP2010231350A (ja) 人物識別装置、そのプログラム、及び、その方法
JP2005317000A (ja) 最適な視点のセットで得られた２ｄ画像からの顔の３ｄ形状構築に最適な視点のセットを求める方法
JP2006293720A (ja) 顔検出装置、顔検出方法、及び顔検出プログラム
Paterson et al. 3D head tracking using non-linear optimization.
JP2017122993A (ja) 画像処理装置、画像処理方法及びプログラム
JP4505616B2 (ja) 固有空間学習装置、固有空間学習方法及び固有空間プログラム
JP7234378B2 (ja) 回転仮説を決定することによって画像を処理する方法及びシステム
JP4623320B2 (ja) 三次元形状推定システム及び画像生成システム
Aleksandrova et al. Approach for Creating a 3D Model of a Face from its 2D Image
Rodrigues et al. 3d modelling and recognition
JP3570862B2 (ja) 画像における物体の検出方法及び装置並びに記録媒体
van Dam From image sequence to frontal image: reconstruction of the unknown face: a forensic case

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090511

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090810

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090915

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100126