JP2014520333A - 3次元画像モデル適応のための方法および装置 - Google Patents

3次元画像モデル適応のための方法および装置 Download PDF

Info

Publication number
JP2014520333A
JP2014520333A JP2014516260A JP2014516260A JP2014520333A JP 2014520333 A JP2014520333 A JP 2014520333A JP 2014516260 A JP2014516260 A JP 2014516260A JP 2014516260 A JP2014516260 A JP 2014516260A JP 2014520333 A JP2014520333 A JP 2014520333A
Authority
JP
Japan
Prior art keywords
model
projection
state
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014516260A
Other languages
English (en)
Other versions
JP5806399B2 (ja
Inventor
ティガット,ドニー
リーヴェンス,サミー
アーツ,マーチン
Original Assignee
アルカテル−ルーセント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカテル−ルーセント filed Critical アルカテル−ルーセント
Publication of JP2014520333A publication Critical patent/JP2014520333A/ja
Application granted granted Critical
Publication of JP5806399B2 publication Critical patent/JP5806399B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20121Active appearance model [AAM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

オブジェクトの3Dのモデル(m)を適応させるための方法であって、
関連する深さ情報(d1)を有する少なくとも1つの2Dの画像モデル投影(p1)を取得するために前記3Dのモデルの少なくとも1つの投影を実行し、
前記少なくとも1つの2Dの画像モデル投影(p1)についての少なくとも1つの状態抽出オペレーションを実行し、それによって少なくとも1つの状態(s1)を取得し、
前記少なくとも1つの状態(s1)に従って、またターゲット状態(s)に従って、前記少なくとも1つの2Dの画像モデル投影(p1)と、前記関連する深さ情報(d1)とを適応させ、それによって少なくとも1つの適応された2Dの画像モデル(p1’)と、関連する適応された深さ(d1’)とを取得し、
それによって適応された3Dのモデル(m’)を取得するために前記関連する適応された深さ(d1’)に基づいて、前記少なくとも1つの適応された2Dの画像モデル(p1’)を3Dに対して逆投影すること
を含む方法。

Description

本発明は、以前に出願された欧州特許出願第11305768号の優先権を主張するものであり、また3次元画像モデルの適応のための方法に関するものであり、この3次元は、本文の残りにおいては、3Dと略記されることになる。
3Dのモデルの適応は、通常、手作業のやり方で行われ、この手作業のやり方は、一般には、望ましくないものである。3Dのモデルを適応させる別のやり方は、状態適応を使用しており、この状態適応は、ある種の状態に適合するようにするための3Dのモデルの適応に関する。状態は、形状の3Dの位置、および/またはある種の部分のテクスチャやモデルの特徴などの外観に影響を及ぼす。さらにまた、3Dのモデルの状態適応についての現在の技法に伴う主要な問題は、3Dにおいて適応されるべき特徴の数が通常非常に多いことであり、その結果、さらにまた、不十分な計算のリソースに起因して、手作業の介入が必要とされることがしばしばである。さらに、最新式の技法は、操作されたモデル(rigged models)を使用することに限定されており、このことが、動的システムで使用するのに厳しい制限であることを示している。動的システムでは、学習プロセス期間に、モデルの形状も変化することができるように、モデルが学習され得る。
chapter 6 of the tutorial handbook、「Multiple View Geometry in computer vision」、by Richard Hartley and Andrew Zisserman、Cambridge University Press、second edition 2003年、ISBN 0521 54051 8
したがって、本発明の実施形態の一目的は、3Dの画像モデル適応のための方法および装置を提示することであり、この3Dの画像モデル適応は、十分に自動的に使用される可能性があり、また動的に適応可能なモデルを使用することを可能にする。
本発明の実施形態によれば、この目的は、オブジェクトの3Dのモデルを適応させるための方法によって達成され、前記方法は、
関連する深さ情報(d1)を有する少なくとも1つの2Dの画像モデル投影(p1)を取得するために前記3Dのモデルの少なくとも1つの投影を実行するステップと、
前記少なくとも1つの2Dの画像モデル投影(p1)についての少なくとも1つの状態抽出オペレーションを実行し、それによって少なくとも1つの状態(s1)を取得するステップと、
前記少なくとも1つの状態(s1)に従って、またターゲット状態(s)に従って、前記少なくとも1つの2Dの画像モデル投影(p1)と、前記関連する深さ情報とを適応させ、それによって少なくとも1つの適応された2Dの画像モデル(p1’)と、関連する適応された深さ(d1’)とを取得するステップと、
それによって適応された3Dのモデル(m’)を取得するために前記関連する適応された深さ(d1’)に基づいて、前記少なくとも1つの適応された2Dの画像モデルを3Dに対して逆投影するステップと
を含む。
少なくとも1つの2Dの投影の状態と、3Dの画像モデルのその関連する深さ情報とを適応させることにより、より少ない計算のリソースが、使用され、このようにしてプロセスにおけるマニュアルの介入の必要性を取り除いている。3Dに対する逆投影は、3Dのモデルそれ自体が、できるだけ現実的に適用されることを保証する。
一実施形態においては、適応された3Dのモデル(m’)は、さらに、初期の3Dのモデル(m)の情報に基づいて決定される。
これは、適応されたモデルのスムーズなモーフィングを可能にする。
別の実施形態においては、ターゲット状態(s)は、外部から課された制約条件によって決定される。
これは、例えば、鼻の形状、目のカラーなどに関する高レベルの情報を含むことができる。
別の実施形態においては、ターゲット状態(s)は、外部画像入力(IV)の状態(se)から取得される。
ターゲット状態は、前記外部の画像入力(IV)の状態(se)を前記少なくとも1つの状態(s1)と組み合わせることにより取得されることになるので、これにより、3Dのモデルは、ライブ・ビデオの上で、例えば、オブジェクトの変化する特徴にスムーズに適応させ、または静止画像の上に存在するようにこのオブジェクトを類似させることができるようになる。
好ましい変形形態においては、前記外部画像入力(IV)は、2Dの画像入力を含み、また前記3Dのモデルの少なくとも1つの2Dの投影のうちの1つは、前記外部画像入力(IV)から推論される仮想カメラに従って実行される。
これは、外部画像入力と、3Dのモデルとの間の最適な関係を取得するために有用である。
さらに別の変形形態においては、外部画像入力は、2D+視差の入力を含むことができ、この2D+視差の入力を用いて、2Dと、視差情報との両方が、例えば、立体カメラによって外部から提供されることが、意味される。次いで、深さ情報が、深さ×視差=一定という式を用いてこの視差情報から直接に導き出される可能性がある。
これは、関連する深さをアップデートするために、この入力からの深さデータを直接に使用することを可能にする。
本発明は、同様に、そのような装置を組み込んでいる画像またはビデオの処理デバイスのために、この方法を実行するための装置の実施形態に関し、またデータ処理装置の上で実行されるときに、上記の方法ステップまたは特許請求される方法ステップを実行するように適合されたソフトウェアを含むコンピュータ・プログラム製品に関する。
特許請求の範囲において使用される用語「結合される(coupled)」は、直接接続だけに限定されるようには解釈されるべきではないことに注意すべきである。したがって、表現「デバイスBに結合されたデバイスA」の範囲は、デバイスAの出力が、デバイスBの入力に直接に接続されたデバイスまたはシステムだけには限定されるべきではない。それは、Aの出力とBの入力との間にある経路が存在しており、この経路は、他のデバイスまたは手段を含む経路とすることができることを意味している。
特許請求の範囲において使用される用語「備えている/含んでいる(comprising)」は、その後にリストアップされる手段に限定されるようには解釈されるべきではないことに注意すべきである。したがって、表現「手段AとBとを備えているデバイス」の範囲は、コンポーネントAとBとだけから構成されるデバイスだけに限定されるべきではない。それは、本発明に関しては、デバイスの単に関連のあるコンポーネントが、AとBとであることを意味している。
本文の全体を通して、2次元は、2Dと略記されることになるが、以上で述べられているように、3次元は、3Dと略記されることになる。
本発明の上記および他の目的と特徴とは、添付図面と併せて解釈される実施形態についての以下の説明を参照することにより、より明らかになり、また本発明それ自体は、最もよく理解されるであろう。
方法および装置の第1の変形形態を示す図である。 方法および装置の第1の変形形態を示す図である。 本発明の実施形態において関連のある幾何学的モデルを概略的に示す図である。 本発明の実施形態において関連のある幾何学的モデルを概略的に示す図である。 本方法の第2の変形形態を示す図である。 本方法の第2の変形形態を示す図である。 本方法のそれぞれ第3および第4の実施形態を示す図である。 本方法のそれぞれ第3および第4の実施形態を示す図である。 追加の2Dのビデオ入力の場合の図3aの実施形態によって実行されるような異なるステップを明確にする図である。 追加の2Dのビデオ入力の場合の図3aの実施形態によって実行されるような異なるステップを明確にする図である。 追加の2Dのビデオ入力の場合の図3aの実施形態によって実行されるような異なるステップを明確にする図である。
本明細書における任意のブロック図は、本発明の原理を具現化する実例となる回路の概念図を表すことが、当業者によって理解されるべきである。同様に、任意のフロー・チャート、流れ図、状態遷移図、擬似コードなどは、そのようなコンピュータまたはプロセッサが、明示的に示されているか否かにかかわらず、コンピュータ読取り可能媒体において実質的に表現され、またそのようにしてコンピュータまたはプロセッサによって実行され得る、様々なプロセスを表すことが、理解されるであろう。
図1aは、mで示される3Dのモデルを適応させるための方法の第1の変形形態によって実行されるようなステップを示すものである。
第1のステップにおいては、3Dのモデルの投影が、2Dに対して実行される。この投影についてのパラメータは、例えば、chapter 6 of the tutorial handbook、「Multiple View Geometry in computer vision」、by Richard Hartley and Andrew Zisserman、Cambridge University Press、second edition 2003年、ISBN 0521 54051 8の中で説明されるように、よく知られているピンホール・カメラ・モデルに従って使用されるパラメータである。
したがって、これは、中心の「ピンホール」を経由して3D空間におけるポイントのプレーンへの投影に関する。このモデルにおいては、プレーンは、カメラの投影面に対応しており、ピンホールは、多くの場合にカメラの中心として示されることもある、カメラの絞りの開口部に対応している。投影ステップの結果は、p1、d1で示され、p1は、2Dの投影それ自体を示しており、この2Dの投影は、カラー情報を含むピクセル値の2Dの行列によって表されることもあり、またd1は、投影深さのマップを示しており、この投影深さのマップは、関連する深さの値の2Dの行列によって表される可能性もある。これらの関連する深さの値は、後の段落で与えられることにもなるよく知られている式に従って元の深さの値とカメラ位置とから算出される。
代わりに、投影と、深さのマップとは、1つの大きな2Dの行列の内部に表される可能性があり、そこでは、各投影されたピクセルでは、カラー情報と、関連する深さの情報との両方は、対応する行列の行と列との中に存在している。
投影それ自体は、基準座標系を規定する3つの軸x、y、zを経由してこれらの座標系を規定する原点Oに関して3つの空間座標x、y、zを有するポイントAを示して、図2aにおいて概略的に示されている。ピンホール・カメラは、この同じ基準原点と基準座標系とに関して座標x、y、およびzを有するそのカメラ中心位置Cによって示される。ポイントAの投影は、このカメラに関連する投影スクリーンの上に行われ、またSで示されている。ポイントAのピンホールCを経由したこのスクリーンへの投影は、関連する座標(xpA,ypA)を有するp(A)で示される。しかしながら、これらの座標は、この投影面Sの内部に規定されるように2次元の軸xとyとに関して規定される。
図2aをあまりにも複雑にしないようにするために、カメラが、3つの基準軸x、y、zに対して回転されないことが、ここで仮定される。しかしながら、よく知られている式が、このより一般的な場合についても存在しており、またこれらは、投影と、関連する深さのマップとの算出のために本発明による実施形態において使用される。カメラのこれらの回転は、図2bにおいて概略的に示されるようにx、y、z軸の周りのカメラの中心の回転をそれぞれ示すためのθ、θ、θで示され、ここでは、これらの回転だけが、原点Oがカメラの中心Cと一致する場合について示されている。
最も一般的な場合においては、それゆえに、Cは、基準の原点Oと、基準軸x、y、zとに関して変換もされ、また回転されることもある。
本発明による実施形態においては、3Dのモデルの投影は、そのときには、これらがスクリーン・エリアSの外形の内部に含まれる限り、またそれらが、このモデルの別の3Dのポイントの別の投影によって塞がれない限り、このモデルの投影された3Dのポイントのカラー情報またはテクスチャ情報から構成されることになる。閉塞(Occlusion)は、3Dのオブジェクトのすべての2Dの投影に伴ってほとんど本質的に起こり、またこのモデルの複数の3Dのポイントが、投影上の同じ2Dのポイントに投影されることになることに関する。
この投影に関連する深さのマップは、そのときには、投影されたピクセルp(A)のおのおのについて、カメラの位置に関する、それらのそれぞれの相対的な深さの値から構成されることになる。これは、
=cosθ・(cosθ・(a−c)+sinθ・(sinθ・(a−c)+cosθ・(a−c)))−sinθ・(cosθ・(a−c)−sinθ・(a−c)) (1)
として示され、
θ、θ、θは、図2bに示されるような基準軸の周りのカメラのそれぞれの回転を示しており、
、aおよびaは、基準座標系におけるポイントaの座標を表しており、
、cおよびcは、この基準座標系におけるカメラの中心cの座標を表しており、また
は、カメラの中心cに関してポイントaの関連する深さを表している。
基準原点Oにおける基準座標系x、y、xに関して、カメラの回転が存在していない場合には、式(1)が
=a−c (2)
に簡約化されるように、これらの回転角は、ゼロであり、
これは、図2aにおけるような表記法を使用して、また図2aに示されるように
d(A)=z−z (3)
に対応する。
一般に、投影は、3Dにおいて適応されるべき3Dのモデルの特徴が、十分に高い分解能で、またはそれらが最適に投影画像を満たすように、投影の一部分になるように、選択される。これは、所定の投影位置の組を試みること、および最良の結果を与える投影位置を選択することによりヒューリスティックに(heuristically)行われる可能性がある。
別の実施形態においては、これは、さらに、ある中間のステップを経由して決定される可能性があり、そこではモデルの3Dの表面は、3Dの三角形を用いて近似されることになる。一般に、適応されるべき特徴に関連したモデルの一部分だけが、次いで、そのような3Dの三角形によって近似されることになる。これらの三角形のおのおのでは、垂直方向に関連した垂線が、決定される。理想的な投影では、この垂線の方向は、この三角形に対してカメラの方向に関して180度であるべきである。各カメラ位置では、すべての三角形にわたっての、それぞれの三角形の上の垂線と、三角形の中心に対するカメラの方向との間のこの角度の余弦(cosine)についての総計は、次いで最小にされるべきである。いくつかの可能性のあるカメラ位置にわたってこの総計を算出すること、およびこの総計についての最小値を与える位置を選択することにより、最適な方向が、算出される可能性がある。代わりに、最小化問題それ自体は、最適なカメラの方向を決定するためなどに、解決されることもある。
もちろん、たくさんの他の技法が、当業者によってよく知られているように、使用される可能性がある。
次のステップにおいて、状態は、この投影から抽出される。状態を用いて、オブジェクトの特徴の構成が意味され、この特徴は、それら自体、1組の値によって表される。これらの値は、それゆえに、オブジェクトの、場合によっては可変な特性または特徴を説明することができる。値のこの組は、ベクトルの形に配列される可能性があるが、そのような状態についての他の表現もまた、もちろん可能である。したがって、状態抽出は、画像のオブジェクトの状態を表すための、この場合には、3Dのモデルの投影である状態パラメータが、決定されることを意味する。これは、さらなる段落において説明される例において示されることになるように、3Dのモデル情報に基づいて、または例えば、第1に、考慮中のオブジェクトの認識/検出のステップを必要とする、より一般的な方法を使用することにより、場合によっては、必ずしもそうであるとは限らないが、さらに、このようにして認識された/検出されたオブジェクトの深さ分析が続いている、セグメンテーション・オペレーションを実行することにより、いくつかの計算を経由して行われる可能性がある。
しかしながら、本発明による大部分の実施形態においては、3Dのモデルそれ自体は、既に、状態抽出が、3Dのモデルの状態に基づいた計算に著しく簡約化され得るように、知られている。万一、この3Dの状態が、人間の頭の3Dのモデルの場合における顔の特徴とすることができるある種の特徴の座標に関連している場合には、これらの3Dのポイントの2Dの投影は、2Dの画像の状態パラメータを直ちにもたらす可能性がある。
万一、3Dのモデルの状態が、まだ知られていない場合には、以前に説明された認識ステップには、例えば、AAMと略記されるアクティブ外観モデル(Active Appearance Model)の使用を伴うさらなる分析が続いている可能性がある。これは、例えば、アップデートされるべきオブジェクト・モデルとしての人間の頭の場合には、2DのAAM内部成形モデルとの適合を経由して2Dの投影された画像についての顔の特徴についての形状と外観との決定を可能にする。それは、2DのAAMモデルの開始値と2Dの投影を比較することから開始されることもあり、次いで、このAAMモデルそれ自体は、さらに、最良の適合を見出すように徐々に変更される。ひとたび、良好なマッチが見出された後には、このようにして、このAAM適応モデルに基づいて決定される顔_表情_1_xや顔_表情_1_yなどのパラメータは、出力される。
図1aにおいて、投影画像の状態は、s1で示され、またこれは、ターゲット状態合成ステップ中に使用される。ターゲット状態sは、2Dの投影の状態s1から、また外部の状態情報から取得される。seで示されるこの外部状態情報は、例えば、静止画像入力からオフラインで、または他の記述情報、例えば、鼻の形状もしくは目のカラー、顔の表情などに関する、例えば、高レベルの意味情報に基づいてのいずれかで前もって決定されている可能性もある。この場合には、この外部状態情報はまた、メモリ内に前もって記憶されていてもよい。
代わりに、この外部状態情報seは、例えば、変化する外部ビデオ画像入力データに基づいて「オン・ザ・フライ」に決定される可能性もあり、この外部ビデオ画像入力データは、したがって時間とともに急激に変化する可能性がある。そのような状況においては、外部状態seは、一般に、ビデオ・シーケンスの逐次的フレームの上で決定されることになる。
外部状態情報は、ターゲット状態を取得するための2Dの投影の状態s1と一緒に使用される。
入力状態s1およびseからの、図1aにおいてsによって示されるターゲット状態を決定するための方法は、状態の信頼度を反映する重みと、s1およびseの値の重み付けされた組合せを実行するステップを含むことができ、この信頼度レベルは、それら自体、状態抽出それ自体の間に決定された。s1パラメータを決定するためのAAM方法の上記例では、マッチング結果を識別するパラメータは、次いで、例えば、そのような信頼度評価尺度として選択される可能性がある。
ターゲット状態を決定するための別の方法は、単に、例えば、seを選択するステップから構成されることもあり、そのオプションは、万一、それらの異なる状態の、上記の例において説明されるような補間または重み付けされた組合せの結果のチェックが、そのような補間された結果が所定の限界の外側に位置していることを示す場合に、好ましいものとすることができる。
状態およびターゲット状態の決定のための特定の実装形態は、さらに、図4a〜bの実施形態の説明中に説明されるであろう。
図1aにおいてsで示されるターゲット状態の決定のすぐ後に、2Dの投影p1、ならびに関連する深さのマップd1は、ターゲット状態sに従って変換されることになる。一例においては、例えば、顔の特徴を表現するための三角形を使用する方法が、使用されることもある。これらの三角形によって規定されるように距離を補間すること、および特徴をこれらの新しい位置としてのピクセルに起因するようにすることを用いて、画像変換が、もたらされる可能性があり、これらの新しい位置は、それらの以前の位置において以前にピクセルに起因するものとされたものである。そのような方法は、万一、たくさんのそのような三角形が使用される場合には、非常に有用である。
類似した方法においては、それらの特徴に関連する投影画像のピクセルのアップデートされた2Dの座標は、新しい状態に従って算出されることになる。元の2Dの投影について規定される三角形の間に位置するピクセルのカラー情報と、テクスチャ情報とは、アップデートされた画像の中のこれらの新しい位置における三角形の間に位置するピクセルに起因するようにされることになる。したがって、2Dの投影についての2つのポイントが、内部の座標(100,100)と、(200,200)とを有し、またこれらが、変換された投影の上で、座標(50,50)と、(100,100)とに変換されることになる場合、座標(150,150)における元のピクセルのカラーは、座標(75,75)における変換された画像の中のピクセルに起因するものとされることになる。
別のより詳細な実装形態は、さらに、図4a〜bを説明するときに、説明されるであろう。
適応された2Dの投影は、p1’で示される。
また並列に、関連する深さのマップについての関連する深さの値は、ターゲット状態に従って適応される。いくつかの実施形態においては、ターゲット状態の決定は、直接に、投影のピクセルのうちのいくつかについて、適応された深さの値の算出を必要とする。次いで、ターゲット状態に従った他の深さの値についての適応は、適応された投影されたピクセルについてのカラー値の適応に関して上記の段落において説明されているように、既に算出された適応された深さの間の補間を経由して起こる可能性もある。
適応された深さのマップは、d1’で示される。
変換された深さのマップと、一般的に、適応された2Dの画像モデルを含んでいる変換された2Dの投影とに基づいて、3Dに対する再投影または逆投影が、3Dから2Dへの投影それら自体の間に使用される逆変換としてそれらの逆変換を使用して、ただし今や適応された投影画像の2Dのピクセルごとに、適応された関連する深さの値を使用して、実行される可能性がある。
この逆投影の結果は、p3d_1で示される。
いくつかの場合においては、3Dにおける逆投影されたポイントは、アップデートされた3Dのモデルを形成するために十分である。
他の実施形態においては、3Dに対する逆投影は、アップデートされた、または適応された3Dのモデルm’を取得するために、元の3Dのモデルmと統合される。
図1bは、本方法の一実施形態を実行するための装置Aを示すものである。
図3aは、複数の投影が初期の3Dのモデルmから実行される変形実施形態を示すものである。それらの投影、それら自体は、モデルの形態および形状と、第1の投影の選択によって起きる閉塞の量とに従って、または投影パラメータの決定それ自体について上記に説明されるようなそれらの方法のうちの1つを使用して、選択される可能性がある。可能性のある実装形態は、それゆえに、3Dにおける1組の三角形を用いてモデル化されることになる3Dの表面の近似に基づいている可能性がある。これらの三角形のおのおのについて、垂直な方向が、算出される。これは、3Dのモデルの本体の外側を指し示す3Dの「垂線」ベクトルによって表されることもある。この3Dのベクトルと、カメラ投影方向との間の差を算出することにより、閉塞の決定のための簡単なやり方は、塞がれていない表面では、投影方向が垂線ベクトルと逆向きであるべきであるように、取得される。そのため、カメラ投影がチューニングされ得、それゆえに、また十分に良好な投影を取得するために、したがってモデル化されるべきすべての特徴についての十分な分解能を用いて、いくつかの投影が、必要とされ得ることも、結局分かってきたこともある。代わりに、3というのデフォルトの数の所定の投影が、使用される可能性もあり、最も最適なカメラ位置についての試行錯誤の算出を軽減している。
これらの異なる投影は、関連する深さのマップd1、d2からdnを有する、p1、p2からpnで示される。これらの投影のおのおのは、それゆえに、図2a〜bの中に示されるように、ある種の位置と、回転と、関連するスクリーンの幅および長さとを有する仮想カメラに関連づけられる。
これらの異なる投影p1からpnのうちのおのおのはまた、状態抽出またはオペレーションを受けることにもなり、それぞれの決定された状態s1、s2からsnをもたらす。いくつかの実施形態においては、これらのそれぞれの投影の状態は、上記で説明されるように、直接に適応されるべき特徴が、考慮中の特徴の座標またはピクセル位置に関連している場合のこれらの状況においては特に、算出される可能性がある。
これらのそれぞれ決定された状態s1からsnは、場合によっては、ただし必ずしもそうであるとは限らないが、ターゲット状態sの決定のために、外部状態入力seと一緒に、それぞれの入力として使用される。ターゲット状態のこの決定は、重みが、それらの状態の信頼度を反映して、様々な入力状態の重み付けされた組合せを実行することを含むことができ、これらの信頼度レベルは、それら自体、状態抽出それ自体中に決定された。s1パラメータを決定するためのAAM方法の上記の例では、マッチした結果を識別するパラメータが、次いで、例えば、そのような信頼度評価尺度として選択される可能性がある。
ターゲット状態を決定するための別の方法は、簡単に、入力状態のうちの1つ、または外部状態の1つを選択することから構成されることもあり、この外部状態のオプションは、万一、異なる状態の以上の例において説明されるような補間または重み付けされた組合せの結果のチェックが、そのような補間された結果が所定の限界の外側に位置していることを示す場合には、好ましい可能性がある。
ターゲット状態sは、そのn個のそれぞれの投影と、それらのそれぞれの関連する深さのマップがアップデートされる基礎を形成する。アップデートされた投影は、p1’、p2’からpn’で示され、またアップデートされた深さのマップは、d1’、d2’からdn’で示される。
これらのアップデートされた投影p1’、p2’からpn’のうちのおのおのは、次いで、それらの投影におけるおのおのの2Dのピクセルに関連するアップデートされた深さのマップの値に基づいて3Dに対して逆投影される。これらの逆投影は、アップデートされた、または適応されたモデルを作り出すために元のモデルと一緒に統合される。
図3bは、この変形の方法を実行するための装置の一実施形態を示すものである。
図4aは、人の頭の3Dのモデルを適応させるための一実施形態を示すものである。この実施形態においては、このモデルの状態は、顔の表情に関連しているが、他の実施形態においては、状態は、同様に、髪、目、皮膚などのカラーに関連したものとすることができる。この特定の実施形態における目標は、入力の2Dのビデオによって提供される顔の特徴を使用して、3Dのモデルをアニメートすることである。
この入力ビデオは、図3aの上ではIVで示される。ビデオの各フレームでは、オブジェクトのスケールと方向とは、3Dのモデルのこれらに関して推定される。これは、3Dのモデルの2Dのプレーンに対する仮想カメラの視点に関連した、第1の投影を決定するために好ましく、この投影は、2Dのビデオを取り込むカメラにおいて使用される2Dの投影にできるだけ似たものとすべきである。第1の投影のこの特定の選択は、そのようである必要はないが、簡単なアップデートのために有利である可能性がある。この特定の投影では、3Dのモデルの2Dのプレーンに対する投影は、それゆえに、入力ビデオの2Dの画像を撮影するために使用されたカメラの投影パラメータとできるだけ忠実に似ている関連する投影パラメータを有する仮想カメラを使用すべきである。
これらの投影パラメータのこの算出は、ここで以下に説明されることになるような知られている技法に従って行われる。
この仮想カメラについてのパラメータを決定するプロセスに対する入力は、人間の顔の3Dのデータベース・モデルと、ライブの2Dのビデオの供給とである。3Dのデータベース・モデルの顔の特徴の3Dの位置として、ライブ・ビデオの供給における顔の特徴の2Dの位置と、ウェブカメラと仮想カメラとの両方の投影行列とが、知られており、これらのデータは、ライブ・ビデオの供給における顔についての顔の特徴の3Dの位置を計算するために十分であるべきである。ライブ・ビデオの供給における顔の特徴についての3Dの位置が、データベース・モデルの対応する顔の特徴についての3Dのロケーションと一緒に、このようにして知られている場合、対応する3Dの位置の間の3Dの変換(並進および回転)は、算出される可能性がある。代わりに、3Dのデータベース・モデルの、ライブ・ビデオの供給において見られるものと同じ2Dのビューポートを取り込むために、仮想カメラの上で必要とされる3Dの変換(並進および回転)が、このようにして算出される可能性もある。仮想カメラの上で適用されるべき変換のこの算出のために必要とされる特徴ポイントの最小の数量は、3である。人間の顔は、変化する、また異なった感情に起因して柔軟性のないオブジェクトではないので、より多くの顔の特徴を獲得することは、最小化問題を解決することを必要とするであろう。したがって、3つの安定したポイント、例えば、左目の左端と、右目の右端と、口の上部とが、使用される。データベース・モデルにおけるこれら3つの顔の特徴の3Dの位置は、ライブ・ビデオの供給とウェブカメラの投影行列とにおける対応する顔の特徴の2Dの位置と一緒に、次に、よく知られているグリュナートのアルゴリズムに対して入力される。このアルゴリズムは、これらの対応する3つの顔の特徴の算出された3Dの位置を提供することになる。次には、これを使用して、3Dのデータベース・モデルの周囲で仮想カメラを移動させて、データベース・モデルの、ライブ・ビデオの供給において顔によって提供されるものと同じ2Dのビューを取り込むことができる。
いくつかの実施形態においては、図4aにおいて示される実施形態のように、3Dのモデルのさらに別の投影を使用することが好ましいこともある。これは、万一、ビデオの供給の画像と類似した最適の投影をもたらすカメラ・パラメータを使用した第1の投影が、例えば、投影画像において、顔の一部分が鼻によって塞がれるときに、依然として十分なピクセル・データをもたらさない場合に、望ましい可能性がある。
これは、図5aの上において、左側の長方形の中では、「実際の」人の「実際の」カメラによって取り込まれるビデオを示して例証されるが、右側の長方形の左側の部分は、仮想カメラ1で示される第1の仮想カメラを用いた3Dのモデルの投影を示している。観察することができるように、この仮想カメラによる3Dのモデルの投影は、「ライブの」2Dのカメラによって使用される投影状態とマッチする。顔の左側の部分のさらに別のいくつかのピクセルは、鼻によって塞がれる。したがって、別の仮想カメラによる別の投影が、実行され、このカメラは、「仮想カメラ2」で示されている。そのパラメータは、他のカメラ位置の塞がれたピクセルに基づいて決定される。これは、例えば、仮想カメラについての、焦点などの本質的パラメータと、非本質的パラメータとに基づいて、また3Dのモデルの知識に基づいて、決定される可能性がある。この情報は、3Dのモデルのモデル化されるべき特徴の2つのボクセルまたは3Dのポイントが、2Dの投影において同じピクセルに投影されることになるか否かを決定することを可能にすることになる。この場合には、閉塞が起こることになることは、明白である。この情報に基づいて、別の仮想カメラの位置が、次いで算出される可能性があり、少なくともこのボクセルについての異なる投影を可能にする。すべての投影されたピクセルについてこのチェックを実行することにより、閉塞の存在は、決定される可能性があり、また別の仮想カメラの位置と回転とが、これに基づいて決定される可能性もある。
別の実施形態においては、いくつかの所定の仮想カメラが、またはこれらの中からの選択が、興味のある特徴の投影を獲得するために、使用される可能性がある。代わりに、正面図と、90度における2つの側面図とをそれぞれ提供するための仮想カメラの標準的な構成もまた、使用されることもあり、またどの特徴がモデル化されるべきかに応じて、すべての投影、またはそれらのサブセットが、使用される可能性がある。
万一、2つの投影だけが使用される場合には、この第2の投影の結果は、図5aの右側の長方形の右側の部分に示される。投影p1およびp2と一緒に、d1およびd2で示される関連する深さのマップもまた、作り出される。これらは、おのおのの2Dの投影されたピクセルでは、それぞれの仮想カメラ1または2のビューのポイントから観察されるように、それぞれのカメラの位置に関して式(1)に基づいた回転情報を含めて相対的な深さを示している。2つの投影のおのおのについての深さのマップは、右側の長方形の下部の図の中に示される。
次のステップにおいて、その状態は、投影p1とp2とついて、また同様に入力ビデオの逐次的なフレームについて両方ともに抽出されることになる。この実施形態におけるように、状態は、顔の表情に関連しており、これらは、このようにして特徴づけられることになる。これらの顔の表情に関連した特徴は、上記のAAM技法など、最新式の技法を使用して2Dの投影の上のように入力ビデオについての逐次的なフレームの上でも両方ともに抽出される。モデルの3Dの状態に基づいて、また対応するボクセル投影に基づいて上記で説明されるように投影の状態を算出することも可能である。これは、図5bの中で、ライブの2Dのフレームの上の口と目との端の異なるピクセルの位置を示している左側の長方形の中に示される。これらの同じ特徴のこれらの位置はまた、このようにして、投影の上で決定される。図5bの右側の部分においては、これは、投影p1について示されているだけであるが、これはまた、投影p2についても起こることが、明白であり、これは、図面を複雑にしないようにするためにこの図の上には示されていない。この特定の実施形態においては、それぞれの状態は、p1、p2の上に、また入力フレームの上に存在するような、これらの特徴に関連するピクセルの位置に対応する。これらの状態は、それぞれ、s1、s2およびseで示される。p1だけが、図5bの上に示されているように、s1だけがまた、示されている。これらの3つの状態は、ターゲット状態を決定するために使用され、このターゲット状態は、この実施形態においては、状態seに対応する。この実施形態においては、それぞれの状態s1およびs2は、このようにしてターゲット状態の決定のために使用されないが、これらのそれぞれの状態s1およびs2は、それにもかかわらず、ターゲット状態に従って投影の変換中に使用される。ターゲット状態はまた、それゆえに、2Dの投影p1およびp2を適応させるためにも使用される。仮想カメラでは、「実際の」ビデオ・カメラに対応して、この適応は、ビデオ・フレームの中に存在するようなこれらの特徴の対応するピクセル・ロケーションにより、選択された特徴のピクセル・ロケーションを置き換えることによって簡単に行われる可能性がある。実際のカメラに対するマッピングとしての仮想カメラ1の選択のおかげで、これは、非常に簡単に行われる可能性がある。他の仮想カメラ2によって取得される2Dの投影p2を適応させるために、可能性のある方法は、最初に3Dにおいて決定されるp2という適応された特徴のロケーションを算出することを必要とする。これは、適応された投影p1’と、適応された深さのマップd1’とに基づいて行われ可能性がある。これは、p1’の上で目に見えるものであったこれらの特徴について、3Dにおけるそれらの位置を算出するように決定することを可能にする。第2の投影についての投影パラメータを使用することにより、p2’の上のそれらの対応する位置は、識別される可能性がある。p1とp2とから、閉ざされた特徴では、補間技法は、適応された投影と、適応された深さのマップとを算出するために使用されることもある。
ひとたびp1とp2とについての重要な特徴の新しいロケーションが、知られた後には、重み付けされた補間などのモーフィング技法が、重要な特徴ではなかった、それらのピクセルのカラーと深さとを決定するために使用される可能性がある。
投影p1の適応は、図5bの上の右側の長方形の下部の図の中に示されている。この投影は、左側の長方形の入力ビデオ・フレームの上に存在するような「笑っている」顔の表情に今や適応されることが、明白である。これは、投影p2(図5bの上には示されていない)についても起こることにもなる。
適応された投影p1’とp2’との両方は、次いで、適応された深さのマップを使用して3Dに対して再投影され、また統合されて、以前のデータを置き換え、またはアップデートする。d1’についてのデータは、適応された深さが、初期の深さに等しく、それゆえに考慮中の特徴に関連しており、また投影座標xpA、ypAを有するピクセルAについての初期の深さd(A)が、今や、xpA’とypA’とについての座標xpA’、ypA’が考慮中の特徴の適応された座標になっているピクセルに帰せられることになるという近似に基づいて、算出されることもある。
これに関しては、適応された2Dの画像のすべての逆投影は、3Dのドメインにおいて整合性があるべきであることについて述べておくべきである。これは、基本的には、複数の2Dの投影された画像の中で目に見える変換された特徴を逆投影するときに、この特徴が、すべての投影から同じ3Dのロケーションに対して逆投影されるべきことを意味している。そのようにして、口の端が、変換され、また口のこの端が、これらの投影のうちのいくつかにおいて存在する場合、すべての逆投影された座標は、同じであるべきである。
例えば、x_3dは、考慮されている3Dのオブジェクトの上のある種の特徴(例えば、鼻の先端)である。x_3dは、情報(x、y、z、カラー)を有するベクトルである。x_2dzは、2D+Zのドメインにおけるある種の特徴であり、それは、情報(x_2d、y_2d、深さ、カラー)を含むベクトルである。
ある種の仮想カメラc1による3Dの2D+Zに対する投影は、関数p、すなわち
p(c1,x_3d)=x_2dz_c1
を用いてモデル化される。
次に状態適応された3Dのモデルについて考えよう。状態適応の後の期待された3Dの特徴は、x’_3dと呼ばれる。3Dの状態転送関数は、m_3d、すなわち
x’_3d=m_3d(x_3d)
であり、これは、
x’_2dz_c1=p(c1,x’_3d)=p(c1,m_3d(x_3d))
を意味している。
状態に関しての適応は、投影の上で実行されるので、したがって、2D+Zのドメインにおいて、m_3d関数は、使用可能ではない。これは、m_2dz関数、すなわち
x”_2dz_c1=m_2dz(c1,x_2dz_c1)
を使用することにより近似される可能性があり、これは、
x’_2dz_c1=x”_2dz_c1
である場合にのみ、3Dの状態と整合したものとすることができ、これは、関数p(c1,m_3d)とm_2dz(c1)とが、考慮されたドメインの内部で事実上同じであることを意味している。
これが成り立つ場合には、問題はなく、また上記の方法は、どのような問題もなく使用される可能性がある。成り立たない場合には、追加のステップが、実施される必要がある。
これを考慮に入れるために、投影パラメータの注意深い選択が、最初からこの問題を解くことができる。
しかしながら、これが、対処されない場合、そのような不整合が、当てはまる可能性がある。それらの課題のうちの1つは、複数の2D+Zのソースを使用して、3Dのモデルを再構築するときに、これらのソースの逆投影は、状態転送関数について「合致する」必要がある。それらの関数が、3Dの状態に整合しているときには、これは、問題ではない(すべての2dzの関数が、実際に、3dの状態転送関数の特定の2dzのバージョンを実施するので)。それらが、3dの状態に整合していないときに、本発明者等は、「正しい」3dの状態転送関数、またはその近似のいずれかを経由して、それらの整合性を強制する必要がある。これは、例えば、1つの基準の2DZの状態転送関数を選択すること、およびすべての他の状態転送関数をこの基準へと投影することにより行われる可能性がある。
x’_2dz_c1ref=m_2dz(c1ref,x_2dz_c1ref)
次に、本発明者等は、本発明者等の基準の2dzの状態転送関数であるm_2dz(c1ref)を考える。本発明者等は、3Dのドメインを経由して移動させることにより他の関数を構築することができる。
x’_3d=p_inv(c1ref,x’_2dz_c1ref)=p_inv(c1ref,m_2dz(c1ref,x_2dz_c1ref)
m_2dz(c2,x’_2dz_c2)=p(c2,x’_3d)=p(c2,p_inv(c1ref,m_2dz(c1ref,x_2dz_c1ref)))
3Dにおけるオブジェクトからのすべての特徴は、p(c,x_3d)を通して移動させた後に有効な値を持たないようになることに注意すべきである。例えば、仮想カメラのビューの内部にないポイント、またはオブジェクトの中で他の特徴によって塞がれるポイントである。そのようなポイントについての整合した転送関数を有するためには、他の基準カメラが、必要とされることになる。
第2の実施形態は、人の顔の3Dのモデルの状態適応を伴うことにもなる第1の実施形態に対する変形形態であるが、上記の実施形態とは逆に、それは、2Dのカメラの代わりに、2D+Zのカメラを使用しており、例えば、ステレオ・カメラ、またはマイクロソフトのKinectなどの飛行時間型カメラを使用する。この場合には、本発明者等は、外部として2Dの代わりに、3Dの座標の中の顔の特徴ポイントを使用することができる。本発明者等は、この場合にも、必要に応じてできるだけ多くのオフライン・モデルの2D+Zの投影を獲得して、ライブ・データによって修正されるすべてのポイントを対象として含め、またこれらの投影への状態を推論する。人は、例えば、「オフライン」の2D+Zのデータの上で上記の実施形態のモーフィング技法を使用することにより、そのデータを統合することができるが、今やまた、特徴ポイントについての修正されたZのデータを使用することもできる。
これらの実施形態においては、本発明者等は、3Dの状態適応の問題に簡約化することができた。1つまたは複数の2Dの画像から完全な3Dのモデルへと状態を転送することから開始した場合には、それは、次に、これらのオペレーションをリアル・タイムのアプリケーションのために扱いやすいものにする2Dから2D+Zへと状態を転送することに簡約化される。
本発明の原理は、特定の装置に関連して上記で説明されているが、この説明は、単に例として行われているにすぎず、また添付の特許請求の範囲において規定されるような、本発明の範囲に対する限定として行われているものではないことを明確に理解すべきである。その特許請求の範囲においては、指定された機能を実行するための手段として表現されるどのような要素も、その機能を実行するどのようなやり方も包含することを意図している。これは、例えば、それゆえに、機能を実行するそのソフトウェアを実行するための適切な回路、ならびに少しでもあるとしたら、ソフトウェア制御された回路に結合された機械的要素と組み合わされた、ファームウェア、マイクロコードなどを含めて、任意の形態のその機能またはソフトウェアを実行する電気的要素または機械的要素の組合せを含むことができる。本発明は、そのような特許請求の範囲によって規定されるように、様々な列挙された手段によって提供される機能が、特許請求の範囲が要求するようにして組み合わされ、また一緒にされ、またそうでなければ具体的にそのように規定されていない限り、どのような物理的構造も、特許請求の範囲の本発明の新規性にとってほとんど重要でなく、または重要ではないことに存在している。それゆえに、出願人は、本明細書において示される機能と同等のこれらの機能を提供することができるどのような手段にも留意している。

Claims (10)

  1. オブジェクトの3Dのモデル(m)を適応させるための方法であって、
    関連する深さ情報(d1)を有する少なくとも1つの2Dの画像モデル投影(p1)を取得するために前記3Dのモデルの少なくとも1つの投影を実行するステップと、
    前記少なくとも1つの2Dの画像モデル投影(p1)についての少なくとも1つの状態抽出オペレーションを実行し、それによって少なくとも1つの状態(s1)を取得するステップと、
    前記少なくとも1つの状態(s1)に従って、またターゲット状態(s)に従って、前記少なくとも1つの2Dの画像モデル投影(p1)と、前記関連する深さ情報(d1)とを適応させ、それによって少なくとも1つの適応された2Dの画像モデル(p1’)および関連する適応された深さ(d1’)を取得するステップと、
    それによって適応された3Dのモデル(m’)を取得するために前記関連する適応された深さ(d1’)に基づいて、前記少なくとも1つの適応された2Dの画像モデル(p1’)を3Dに対して逆投影するステップと
    を含む方法。
  2. 前記適応された3Dのモデル(m’)は、初期の3Dのモデル(m)情報に基づいてさらに決定される、請求項1に記載の方法。
  3. 前記ターゲット状態(s)は、外部から課された意味情報から取得される、請求項1または2に記載の方法。
  4. 前記ターゲット状態(s)は、外部画像入力(IV)の状態(PS)から取得される、請求項1または2に記載の方法。
  5. 前記ターゲット状態は、前記外部画像入力(IV)の前記状態(PS)を前記少なくとも1つの状態(s1)と組み合わせることにより、取得される、請求項4に記載の方法。
  6. 前記3Dのモデルの前記少なくとも1つの2Dの投影のうちの1つは、前記外部画像入力(IV)から推論される仮想カメラに従って実行される、請求項4に記載の方法。
  7. 変換は、外部の前記ライブ・ビデオおよび前記投影された2Dの画像から抽出される重要な特徴に対して実行され、また前記投影についての前記重要な特徴の新しい位置は、前記ライブ・ビデオの前記重要な特徴のロケーションに基づいて決定される、請求項4乃至6のいずれか1項に記載の方法。
  8. 請求項1乃至7のいずれか1項に記載の方法を実行するように適合された装置(A1)。
  9. 請求項8に記載の装置を備える画像処理装置。
  10. データ処理装置の上で実行されるときに、請求項1乃至6のいずれか1項に記載の方法ステップを実行するように適合されたソフトウェアを含むコンピュータ・プログラム製品。
JP2014516260A 2011-06-20 2012-06-04 3次元画像モデル適応のための方法および装置 Expired - Fee Related JP5806399B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP11305768.1 2011-06-20
EP11305768.1A EP2538388B1 (en) 2011-06-20 2011-06-20 Method and arrangement for image model construction
EP11306127.9A EP2538389B1 (en) 2011-06-20 2011-09-12 Method and arrangement for 3-Dimensional image model adaptation
EP11306127.9 2011-09-12
PCT/EP2012/060512 WO2012175321A1 (en) 2011-06-20 2012-06-04 Method and arrangement for 3-dimensional image model adaptation

Publications (2)

Publication Number Publication Date
JP2014520333A true JP2014520333A (ja) 2014-08-21
JP5806399B2 JP5806399B2 (ja) 2015-11-10

Family

ID=44674671

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014516259A Expired - Fee Related JP5784226B2 (ja) 2011-06-20 2012-06-04 画像モデルの構築のための方法および装置
JP2014516260A Expired - Fee Related JP5806399B2 (ja) 2011-06-20 2012-06-04 3次元画像モデル適応のための方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014516259A Expired - Fee Related JP5784226B2 (ja) 2011-06-20 2012-06-04 画像モデルの構築のための方法および装置

Country Status (6)

Country Link
US (2) US9324191B2 (ja)
EP (2) EP2538388B1 (ja)
JP (2) JP5784226B2 (ja)
KR (2) KR101547780B1 (ja)
CN (2) CN103608846B (ja)
WO (2) WO2012175320A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2013110494A (ru) * 2013-03-11 2014-09-20 ЭлЭсАй Корпорейшн Устройство обработки изображений с уровнем оценки, реализующим программный и аппаратный алгоритмы разной точности
CN103258346A (zh) * 2013-04-24 2013-08-21 苏州华漫信息服务有限公司 一种3d照相打印系统
CN103279987B (zh) * 2013-06-18 2016-05-18 厦门理工学院 基于Kinect的物体快速三维建模方法
US9325936B2 (en) * 2013-08-09 2016-04-26 Samsung Electronics Co., Ltd. Hybrid visual communication
JP6304999B2 (ja) * 2013-10-09 2018-04-04 アイシン精機株式会社 顔検出装置、方法およびプログラム
CN104866860A (zh) * 2015-03-20 2015-08-26 武汉工程大学 一种室内人体行为识别方法
US9818232B2 (en) * 2015-08-26 2017-11-14 Adobe Systems Incorporated Color-based depth smoothing of scanned 3D model to enhance geometry in 3D printing
CN108027984B (zh) 2015-09-25 2022-05-13 奇跃公司 用于在3d重建中检测和组合结构特征的方法和系统
US10445565B2 (en) * 2016-12-06 2019-10-15 General Electric Company Crowd analytics via one shot learning
JP6987508B2 (ja) 2017-02-20 2022-01-05 オムロン株式会社 形状推定装置及び方法
CN107492107B (zh) * 2017-08-10 2020-09-22 昆山伟宇慧创智能科技有限公司 基于平面与空间信息融合的物体识别与重建方法
JP7000766B2 (ja) * 2017-09-19 2022-01-19 富士通株式会社 学習データ選択プログラム、学習データ選択方法、および、学習データ選択装置
US10706577B2 (en) * 2018-03-06 2020-07-07 Fotonation Limited Facial features tracker with advanced training for natural rendering of human faces in real-time
CN110866864A (zh) 2018-08-27 2020-03-06 阿里巴巴集团控股有限公司 人脸姿态估计/三维人脸重构方法、装置及电子设备
US10924721B2 (en) * 2018-12-20 2021-02-16 Intel Corporation Volumetric video color assignment
CN111275813B (zh) * 2020-01-20 2021-09-17 北京字节跳动网络技术有限公司 数据处理方法、装置和电子设备
US20220399936A1 (en) * 2021-06-11 2022-12-15 Netdrones, Inc. Systems and methods for drone swarm wireless communication

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002015310A (ja) * 2000-06-30 2002-01-18 Minolta Co Ltd 点群に面をフィッティングする方法およびモデリング装置
JP2006163871A (ja) * 2004-12-08 2006-06-22 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2010520521A (ja) * 2007-02-28 2010-06-10 フォトネーション ビジョン リミテッド テクスチャ空間分解に基づく統計的顔モデリングにおける指向性照明変動性の分離
US20100215255A1 (en) * 2009-02-25 2010-08-26 Jing Xiao Iterative Data Reweighting for Balanced Model Learning

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993005502A1 (en) 1991-09-05 1993-03-18 Motorola, Inc. Error protection for multimode speech coders
JP3512992B2 (ja) * 1997-01-07 2004-03-31 株式会社東芝 画像処理装置および画像処理方法
JP3639476B2 (ja) * 1999-10-06 2005-04-20 シャープ株式会社 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体
JP2001268594A (ja) * 2000-03-15 2001-09-28 Infiniteface.Com Inc 三次元ビューティーシミュレーション用クライアントサーバシステム
US6806898B1 (en) * 2000-03-20 2004-10-19 Microsoft Corp. System and method for automatically adjusting gaze and head orientation for video conferencing
US6757571B1 (en) * 2000-06-13 2004-06-29 Microsoft Corporation System and process for bootstrap initialization of vision-based tracking systems
JP2002216114A (ja) 2001-01-17 2002-08-02 Ricoh Co Ltd 3次元モデル生成方法
JP2003044873A (ja) * 2001-08-01 2003-02-14 Univ Waseda 顔の3次元モデルの作成方法及びその変形方法
JP2003346185A (ja) * 2002-05-24 2003-12-05 Olympus Optical Co Ltd 情報表示システム及び携帯情報端末
US7184071B2 (en) * 2002-08-23 2007-02-27 University Of Maryland Method of three-dimensional object reconstruction from a video sequence using a generic model
KR20070004662A (ko) 2004-01-30 2007-01-09 세다라 소프트웨어 코포레이션 영상 분석에 실제 외관 모델을 적용하기 위한 시스템 및방법
US20110102553A1 (en) * 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
JP4216824B2 (ja) 2005-03-07 2009-01-28 株式会社東芝 3次元モデル生成装置、3次元モデル生成方法および3次元モデル生成プログラム
CA2653815C (en) 2006-06-23 2016-10-04 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
DE102006048578B4 (de) * 2006-10-13 2010-06-17 Gerhard Witte Verfahren und Vorrichtung zum Bestimmen der Veränderung der Form eines dreidimensionalen Objektes
CA2676023C (en) * 2007-01-23 2015-11-17 Euclid Discoveries, Llc Systems and methods for providing personal video services
WO2008147355A1 (en) 2007-05-29 2008-12-04 Cognex Technology And Investment Corporation 3d assembly verification from 2d images
AU2008271910A1 (en) * 2007-06-29 2009-01-08 Three Pixels Wide Pty Ltd Method and system for generating a 3D model from images
US8170280B2 (en) * 2007-12-03 2012-05-01 Digital Smiths, Inc. Integrated systems and methods for video-based object modeling, recognition, and tracking
JP2010072700A (ja) 2008-09-16 2010-04-02 Univ Of Electro-Communications 画像処理装置、画像処理方法、及び、撮像システム
EP2236980B1 (en) * 2009-03-31 2018-05-02 Alcatel Lucent A method for determining the relative position of a first and a second imaging device and devices therefore
US8462148B1 (en) * 2009-04-01 2013-06-11 Perceptive Pixel Inc. Addressing rotational exhaustion in 3D manipulation
JP2011097447A (ja) 2009-10-30 2011-05-12 Sharp Corp コミュニケーションシステム
EP2333692A1 (en) * 2009-12-11 2011-06-15 Alcatel Lucent Method and arrangement for improved image matching
TWM403161U (en) 2010-10-25 2011-05-01 Univ Far East With 3-dimensionally image of the mobile device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002015310A (ja) * 2000-06-30 2002-01-18 Minolta Co Ltd 点群に面をフィッティングする方法およびモデリング装置
JP2006163871A (ja) * 2004-12-08 2006-06-22 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2010520521A (ja) * 2007-02-28 2010-06-10 フォトネーション ビジョン リミテッド テクスチャ空間分解に基づく統計的顔モデリングにおける指向性照明変動性の分離
US20100215255A1 (en) * 2009-02-25 2010-08-26 Jing Xiao Iterative Data Reweighting for Balanced Model Learning

Also Published As

Publication number Publication date
CN103608846A (zh) 2014-02-26
KR20140037936A (ko) 2014-03-27
CN103608847A (zh) 2014-02-26
US20140212031A1 (en) 2014-07-31
WO2012175321A1 (en) 2012-12-27
US9324191B2 (en) 2016-04-26
US9269194B2 (en) 2016-02-23
KR101547780B1 (ko) 2015-08-26
CN103608846B (zh) 2017-06-20
JP2014520332A (ja) 2014-08-21
JP5806399B2 (ja) 2015-11-10
EP2538389B1 (en) 2015-04-01
WO2012175320A1 (en) 2012-12-27
EP2538388B1 (en) 2015-04-01
US20140212030A1 (en) 2014-07-31
EP2538389A1 (en) 2012-12-26
KR101560508B1 (ko) 2015-10-14
JP5784226B2 (ja) 2015-09-24
KR20140024058A (ko) 2014-02-27
EP2538388A1 (en) 2012-12-26
CN103608847B (zh) 2016-12-28

Similar Documents

Publication Publication Date Title
JP5806399B2 (ja) 3次元画像モデル適応のための方法および装置
US11632533B2 (en) System and method for generating combined embedded multi-view interactive digital media representations
JP6644833B2 (ja) アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法
US9715761B2 (en) Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
US8933928B2 (en) Multiview face content creation
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
WO2012156141A1 (en) Fast articulated motion tracking
CN113628327B (zh) 一种头部三维重建方法及设备
KR20170064369A (ko) 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치
CN110443884B (zh) 手部运动重建方法和装置
WO2012096907A1 (en) Mesh animation
CN113628348A (zh) 一种确定三维场景中视点路径的方法及设备
US20140168204A1 (en) Model based video projection
CN114450719A (zh) 人体模型重建方法、重建系统及存储介质
WO2019213392A1 (en) System and method for generating combined embedded multi-view interactive digital media representations
WO2013021150A1 (en) Fisheye video correction
US11636578B1 (en) Partial image completion
CN112967329A (zh) 图像数据优化方法、装置、电子设备及存储介质
Jian et al. Realistic face animation generation from videos
CN110998595A (zh) 用于头部姿势估计的方法和系统
TW201320005A (zh) 用於三維影像模型調整之方法及配置
US11017497B2 (en) Method for preserving perceptual constancy of objects in images
US20230217001A1 (en) System and method for generating combined embedded multi-view interactive digital media representations
EP3009987B1 (en) Method and system for providing a dynamic appearance to a generic, morphable 3D model
Grest et al. Motion capture for interaction environments

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141216

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150903

R150 Certificate of patent or registration of utility model

Ref document number: 5806399

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees