JP2018530045A

JP2018530045A - 一連のイメージからのオブジェクトの３ｄ再構成のための方法、一連のイメージからのオブジェクトの３ｄ再構成を実行するように構成されたコンピュータ読取可能記憶媒体及び装置

Info

Publication number: JP2018530045A
Application number: JP2018507649A
Authority: JP
Inventors: ヒュロス，フィリップ; トリンチェリーニ，ベルトラン
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2015-08-14
Filing date: 2016-01-27
Publication date: 2018-10-11
Also published as: CN107924571A; WO2017028961A1; KR20180041668A; US20180218507A1; EP3335193A1

Abstract

一連のイメージからのオブジェクトの３Ｄ再構成に関する方法、一連のイメージからのオブジェクトの３Ｄ再構成を実行するように構成されたコンピュータ読取可能記憶媒体及び装置（２０、３０）が開示される。点群生成器（２３）は、一連のイメージからオブジェクトの点群を生成する（１０）。アラインメントプロセッサ（２４）は、オブジェクトのダミーメッシュモデルを点群と粗くアラインする（１１）。変換プロセッサ（２５）は、粗くアラインされたダミーメッシュモデルの弾性変換を介して、オブジェクトのダミーメッシュモデルを点群にフィットする（１２）。

Description

本解決策は、一連のイメージからのオブジェクトの３Ｄ（３次元）再構成（3D reconstruction of an object from a sequence of images）に関する方法及び装置に関連する。さらに、本解決策は、一組のイメージからの３Ｄ再構成を可能にする命令をその中に記憶したコンピュータ読取可能記憶媒体に関連する。特に、点群（Point Cloud）のダミーベースメッシュ法（dummy-based meshing）を使用した３Ｄ再構成に関する解決策が説明される。

一般的な３Ｄ再構成技法（3D reconstruction techniques）は、視覚システム（visual system）でキャプチャすることが難しい隙間（crevices）、小さな外観（small features）、及び凹部（concave parts）などの困難な幾何学の特徴を持つオブジェクトの再構成に難しさがある。その結果、生成されたメッシュは、一般的に、アーチファクト（artefacts）に悩まされる。点群データ（Point cloud data）は、一般的により信頼性があるが、モデルに欠点（holes）もある。

困難な幾何学的な特性を持つオブジェクトの１例は、人間の耳である。図１は、人間の耳の再構成の例を示す。オリジナルの耳の例となるキャプチャされたイメージが、図１ａ）に図示される。図１ｂ）は、そのようなキャプチャされた一連のイメージから生成された点群を示す。ポアソン・メッシュアルゴリズム（a Poisson-Meshing algorithm）を点群に適用して得られた再構成が図１ｃ）に示されている。図に示すように、点群が詳細を極めて上手くキャプチャしたとしても、ポアソン・メッシュアルゴリズムの適用は、アーチファクト（artifacts）を引き起こす。

不完全な点群データに対する穴埋めの１つのアプローチが［１］で説明されている。このアプローチは、幾何学的形状プリミティブに基づき、グローバルオプティマイゼーションを使用して、プリミティブの接続に気をつけながら、フィットされる。これは、主にＣＡＤシステムに適用可能である。

スキャンされたデータから３Ｄ物体モデル（3D body models）を生成する方法は、［２］に説明されている。スキャナーから取得した複数の点群がアラインされ（aligned）、初期アラインメント（initial alignment）によって取得された３Ｄデータ点の組は、点群から抽出された平均物体表面（mean body surface）によって、精密なレジストレーション（precise registration）に持ち込まれる。次に、存在するメッシタイプ物体モデルテンプレート（existing mesh-type body model template）は、３Ｄデータ点の組にフィットされる。テンプレートモデルは、ジオメトリが再構成が難しい欠けている細部を埋めることに使用することができる。

一連のイメージからオブジェクトの３Ｄ再構成のための改良された解決策を持つことが望まれる。

本原理によると、一連のイメージからオブジェクトの３Ｄ再構成のための方法は、
・一連のイメージからオブジェクトの点群を生成することと、
・オブジェクトのダミーメッシュモデルを点群に粗くアラインすることと、
・粗くアラインしたダミーメッシュモデルの弾性変換（elastic transformation）を通して、オブジェクトのダミーメッシュモデルを点群にフィットさせることと、
を含む。

従って、コンピュータ読取可能非一時的記憶媒体は、一連のイメージからオブジェクトの３Ｄ再構成を可能にする命令をその中に記憶し、それらの命令は、コンピュータによって実行されたときに、コンピュータに、
・一連のイメージからオブジェクトの点群を生成し、
・オブジェクトのダミーメッシュモデルをその点群と粗くアラインし、
・粗くアラインされたダミーメッシュモデルの弾性変換を通して、オブジェクトのダミーメッシュモデルを点群にフィット（fit）させる。

１実施形態において、一連のイメージからオブジェクトの３Ｄ再構成のための装置は、
・一連のイメージを受信するように構成された入力と、
・一連のイメージからオブジェクトの点群を生成するように構成された点群生成器と、
・オブジェクトのダミーメッシュモデルを点群と粗くアラインさせるように構成されたアラインメントプロセッサと、
・粗くアラインされたダミーメッシュモデルの弾性変換を通して、オブジェクトのダミーメッシュモデルを点群にフィットさせるように構成された、変換プロセッサと、
を備える。

別の実施形態において、一連のイメージからオブジェクトの３Ｄ再構成のための装置は、処理デバイスとその中に命令を記憶するメモリデバイスとを備え、それらの命令は、処理デバイスによって実行されたときに、装置に、
・一連のイメージを受信し、
・一連のイメージからオブジェクトの点群を生成し、
・オブジェクトのダミーメッシュモデルを点群に粗くアラインし、
・粗くアラインされたダミーメッシュモデルの弾性変換を通して、オブジェクトのダミーメッシュモデルを点群にフィットする、
ことをさせる。

本原理によると、ある構造的なプロパティをシェアするオブジェクトのクラスにオブジェクトが属する場合、３Ｄ再構成に対するマルチステッププロシージャが、実行される。第１に、点群は、例えば、最先端のマルチビューステレオアルゴリズムを使用して、生成される。次に、既知の構造的プロパティをキャプチャする一般的なダミーメッシュモデルが選択され、点群データに粗くアラインされる。粗いアラインメントに続いて、ダミーメッシュモデルは、弾性変換を通して点群にフィットされうる。最新の点群生成方法と３Ｄ非剛性メッシュから点群へのフィッティング技法とのこの組み合わせは、結果として生じる３Ｄモデルの改良された正確さへと導く。同時に、この解決策は、完全に自動的に又は非常に少ないユーザ入力を伴う半自動的な方法で実行することができる。

１実施形態において、点群と粗くアラインされるダミーメッシュモデルは、ダミーメッシュモデル及び点群において対応する面を判定することと、ダミーメッシュモデルの面を点群の面とアラインすることを含む。再構成されるオブジェクトが、おおよそ面の部分を持つとき、次に、粗いアラインメントは、点群データにおける主要な平面を検出すること及びメッシュモデルの対応する主要な平面をこの面とアラインすることとによって、制限された計算機の負荷で行うことができる。

１実施形態において、ダミーメッシュモデルの点群との粗くアラインすることは、さらに、点群において目立つスポットを判定することと、目立つスポットの位置に基づいて点群に対するダミーメッシュモデルの向きを適合することとを含む。目立つスポット（prominent spot）は、自動的に判定されるか又はユーザ入力によって特定され、ダミーメッシュモデルの向き（orientation）を適合するために効果的な解決策を続行する。適切な目立つスポットの１例は、耳輪（the helix）上の耳の頂点、例えば、耳の外縁である。

１つの実施形態において、ダミーメッシュモデルを点群と粗くアラインすることは、さらに、点群における特性線を判定することと、特性線に基づいて点群に対するダミーメッシュモデルのスケールとダミーメッシュモデルの位置のいずれか１つを適合させることを含む。例えば、点群における特性線（characteristic line）は、点群におけるエッジ（edges）を検出することによって判定される。この目的で、点群に関連するデプスマップ（depth map）を使用することができる。特性線、例えば、エッジは、点群データにおいて検出することは、比較的容易である。そのため、それらは、点群データに対してダミーメッシュモデルのスケールと位置を調整するのに非常に適している。

１実施形態において、粗くアラインされたダミーメッシュモデルの弾性変換を通してオブジェクトのダミーメッシュモデルを点群にフィットさせることは、点群においてオブジェクトの境界線を判定することと、境界線に向かって境界線によって定義されるオブジェクトの外側に位置するダミーメッシュモデルの頂点を引き込むこととを含む。好ましくは、計算上の負担を削減するために、点群と境界線の２Ｄ投影は、ダミーメッシュモデルの頂点がオブジェクトの外側に位置するかどうかを判定するために使用される。境界線（border line）は、点群データにおいて検出することは比較的容易である。しかしながら、ユーザは、追加の制約を指定することを要求されるかもしれず、又はそのような追加の制約は、マシンラーニング技法とデータベースを使用して判定することができる。

人間の耳の再構成の例を示す。一連のイメージから３Ｄ再構成のための方法を図示する単純化されたフローチャートである。一連のイメージから３Ｄ再構成を実行するように構成された装置の第１の実施形態を模式的に描写する。一連のイメージから３Ｄ再構成を実行するように構成された装置の第２の実施形態を模式的に描写する。３Ｄ再構成に対して使用される例となる一連のイメージを描写する。キャプチャしたイメージシーケンスから取得された点群の表現を示す。耳を含むトリミングされた（cropped）点群とダミーメッシュモデルの例を図示する。マークを付けられたトップの点を持つトリミングされた耳の例を示す。例となるトリミングされた点群に対する推定された頭平面と推定された耳平面を説明する。耳に属する点群から抽出された点の例を示す。耳に属する点群の点からの耳輪線の抽出を説明する。ダミーメッシュモデルのトリミングされた点群へのアラインメントの例となる結果を示す。メッシュモデルの選択された耳の領域の例を図示する。耳の外側と内側としてのモデル耳点のラベル付を示す。耳輪線補正に対する停止基準（stopping criterion）を説明する。レジストレーション前（before registration）のアラインメント結果を示す。レジストレーション後（after registration）のアラインメント結果を図示する。

より良い理解のために、本発明の実施形態の原理が図を参照して、これから以下でより詳細に説明される。発明は、これらの例となる実施形態に制限されず、その特定の構成要件は、添付請求項において定義されるように本発明の範囲から逸脱せずに適切に組み合わせられ及び/又は修正することもできることが理解される。

一連のイメージから３Ｄ再構成のための方法を説明するフローチャートが、図２に図示されている。第１に、オブジェクト（object）の点群が一連のイメージから生成される１０。オブジェクトのダミーメッシュモデルは、次に、点群と粗くアラインされる１１。最後に、粗くアラインされたダミーメッシュモデルの弾性変換を通して、オブジェクトのダミーメッシュモデルは点群にフィットされる１２。

図３は、一連のイメージから３Ｄ再構成のための装置２０の第１の実施形態を概念的に示す。装置２０は、例えば、ネットワーク、カメラ、又は外部ストレージから、一連のイメージを受信するための入力２１を有する。一連のイメージは、装置２０の内部ストレージ２２から同様に読み取ることができる。点群生成器２３は、一連のイメージからオブジェクトの点群を生成する１０。代替方法としては、オブジェクトの既に利用可能な点群を、例えば、入力２１を経由して、又は内部ストレージ２２から、読み取る。アラインメントプロセッサ２４は、オブジェクトのダミーメッシュモデルを点群と粗くアラインする。変換プロセッサ２５は、粗くアラインされたダミーメッシュモデルの弾性変換を通してオブジェクトのダミーメッシュモデルを点群にフィットさせる１２。最終的なメッシュモデルは、次に、内部ストレージ２２中に記憶される、又は出力２６を経由してさらなる処理回路へ提供される。例えば、出力２６を経由して装置に接続されたディスプレイ又は装置に包含されるディスプレイ２７は、ディスプレイ上の出力に対して同様に処理を行うことができる。好ましくは、装置２０は、さらに、ユーザ入力を受信するためのユーザインタフェース２８を有する。異なるユニット２３、２４、２５のそれぞれは、異なるプロセッサとして具体化することができる。もちろん、異なるユニット２３、２４、２５は、同様に、完全に又は部分的に単一のユニットに合併することができるし、又はプロセッサ上で動作するソフトウェアとして実装することもできる。その上、入力２１と出力２６は、同様に、単一の双方向インタフェースに合併することができる。

一連のイメージから３Ｄ再構築のための装置の第２の実施形態は、図４に説明される。装置３０は、処理デバイス３１と命令を記憶したメモリデバイス３２を備え、命令は、実行されたときに、装置に、一連のイメージを受信させ、一連のイメージからオブジェクトの点群を生成（１０）し、オブジェクトのダミーメッシュモデルを点群と粗くアラインさせ、粗くアラインされたダミーメッシュモデルの弾性変換を通してオブジェクトのダミーメッシュモデルを点群にフィットさせる。装置３０は、さらに、例えば、処理される命令、ユーザ入力、又はデータを受信するための入力３３、例えば、ディスプレイ、ネットワーク、又は外部ストレージに処理結果を提供するための出力３４を備える。入力３３と出力３４は、同様に、単一の双方向インタフェースとして合併することができる。

例えば、処理デバイス３１は、上述のステップを実行するために適合されたプロセッサであり得る。実施形態において、この適合（adaptation）は、これらのステップを実行するために構成されたプロセッサを備える。

本明細書で使用されるプロセッサは、マイクロプロセッサ、デジタルシグナルプロセッサ、又はそれらの組み合わせなどの１つ以上の処理ユニットを含むことができる。

メモリデバイス３２は、揮発性及び／又は不揮発性のメモリ領域とハードディスクドライブ、ＤＶＤドライブなどのストレージデバイスを含むことができる。メモリの一部は、処理デバイス３１によって読み取り可能な非一時的プログラムストレージ・デバイスであり、処理デバイス３１によって実行可能な命令のプログラムを有形的に具体化し、本発明の原理に従って本明細書で説明されるプログラムステップを実行する。

以下で、本原理に従う解決策は、人間の耳の３Ｄ再構成の例として、より詳細に説明される。信頼性のある耳のモデルは、高い品質のオーディオシステムに対して特に興味深く、それは、ユーザのイマージョン（没入感：immersion）を強化するために、空間音源のイリュージョンを作り出す。空間オーディオソースのイリュージョン（錯覚：illusion）を作り出す１つのアプローチは、バイノーラルオーディオ（binaural audio）である。用語、「バイノーラル（binaural）」は、各耳に独立した信号を伝えようとするシステムに対して、典型的に使用される。本目的は、音源オブジェクトによって生成される音に出来るだけ近い２つの信号を作り出すことである。そのようなシステムを作り出すことのボトルネックは、すべての人間が彼自身の耳の／頭の／肩の、形状（shape）を持っていることである。結果として、頭部伝達関数（head related transfer function (HRTF)）は、各人間に対して異なる。ＨＲＴＦは、空間において点からの音をいかに耳が受信するかを特徴付ける応答（response）であり、その周波数は、減衰されたり（attenuated）又はされなかったりする。一般に、音源は、異なる個人によって同じ方法で知覚されない。非個別化ＨＲＴＦバイノーラルシステム（non-individualized HRTF binaural system）は、従って、異なる音源のローカライゼーションの間での混同（confusion）を増加させる傾向にある。そのようなシステムに対して、ＨＲＴＦは、パーソナライズされたバイノーラルシステムを作り出す前に個々に計算しなければならない。ＨＲＴＦの計算において、耳の形状は、人間の体の中で最も重要な部分であり、耳の３Ｄモデルは、頭及び肩に対するものよりもより良い品質であるべきである。

残念ながら、耳は、その困難な形状（geometry）により再構成するはとても難しい。詳細な構成は、個人に対して固有であるが、耳の一般的な構造は、どんな人にも同じであると考えられる。それ故に、これは本原理に従う３Ｄ再構成に対して良い候補である。

再構成は、耳の一連のイメージが既に利用可能であることを前提とする。３Ｄ再構成に関して使用される例となる一連のイメージは、図５に描写されている。カメラの位置と向き（camera positions and orientations）も利用可能である。例えば、カメラの位置と向きは、例えば、［３］に説明された方法の１つ、マルチビューステレオ（ＭＶＳ）法を使用して推定することができる。例えば、ＡｇｉｓｏｆｔのＰｈｏｔｏＳｃａｎ［４］又はＡｕｔｏｄｅｓｋの１２３ＤＣａｔｃｈのツールを使用して、これらのデータから３Ｄ点群が決定される。図６は、カメラの設定に対するＰｈｏｔｏＳｃａｎツールによって取得された点群の表現を与え、ここで全てのカメラは、同じ線上に置かれ、互いに非常に近接している。このモデルには、特に遮蔽され領域（耳の後ろと内部）において、いくつかの欠点（holes）があるが、一般的には良いモデルを達成できる。

本原理によると、再構成は、ダミーメッシュモデルの点群データに対する粗いアラインメントから始まる。後の段階で耳のモデルの頭部モデルへの統合を簡単化するために、ダミーメッシュモデルは、頭部の一部も含むように準備される。点群の耳平面と適合することができるように、粗い耳平面（rough ear plane）を含むように、頭のメッシュ部分はトリミングされる（cropped）。例となる、耳を含むダミーメッシュモデルとトリミングされた点群が、それぞれ、図７ａ）と図７ｂ）に図示されている。

ダミーメッシュモデルの粗いアラインメントは、２つのステージに分かれる。第１に、モデルは、３Ｄのデータにアラインされる。次に、モデルの耳の向きとスケールがデータに大雑把に適合するように適応される。第１のステージは、好ましくは、耳に対する境界ボックスを抽出することから始まる。これは、耳検出技法、例えば、［６］に説明されたアプローチの１つを使って自動的に行うことができる。代替方法としては、耳境界ボックス抽出が単純なユーザ対話によって遂行される。人間の頭の側面図を包含する耳の再構成に使用されるイメージの１つから、ユーザは、耳周辺の矩形（rectangle）を選択する。有利なことに、ユーザは、耳輪（helix）上の耳のトップ点（top point）もマークを付ける。これらの単純な対話は、関連する耳検出技法を適用する必要を回避する。マークが付けられたトップ点を持つトリミングされた耳の例は、図８に描写されている。トリミングされた領域から、耳の周りの境界ボックスが、点群から抽出される。このトリミングされた点群から２つの面が推定され、１つは頭の点に対する面ＨＰであり、もう１つは、耳上の点に対する面ＥＰである。この目的のために、［１］で説明されたＲＡＮＳＡＣ面フィットアルゴリズムの修正されたバージョンが使用される。オリジナルのアプローチは、全ての点が平面上にあると仮定しているので、この適応は、有益であり、一方、この場合、形状は、直行方向において実質的にそれる。図９は、例となるトリミングされた点群に対する２つの推定された平面ＨＰ、ＥＰを示す。

耳の平面は、メッシュモデルの耳の平面を点群のそれとアラインさせるために必要な変換を計算するために主に使用される。耳の向き（例えば、ユーザ入力から取得された）と、耳の平面と頭の平面の相対的な向きとに基づいて、点群が左の耳又は右の耳のいずれを示すかの簡単な検出をフィットは可能にする。加えて、フィットは更に、耳の平面に近い点群のこれらの点の抽出を可能する。耳に属する、点群から抽出された点の１例が、図１０に示される。これらの点から、外側の耳輪の線が抽出され、それにより、モデルの適切なスケールと耳の中心との推定が単純化される。そのために、点群の抽出された点から耳の点のデプスマップ（depth map）が取得される。このデプスマップは一般にかなり良いが、それにもかかわらずデプス（深度）情報以外の多くのピクセルを含む可能性がある。この数を削減するために、デプスマップは、好ましくはフィルターされる。例えば、デプス情報を持たない各ピクセルに対して、デプス情報を持つ十分な周囲のピクセルがあれば、周囲のピクセルから中央値（median value）は、計算することができる。この中央値は、次に、それぞれのピクセルに対するデプス値として使用される。この中央値フィルターの有益な特性は、興味のある情報であるデプスマップからエッジを平滑化しないことである。フィルターされたデプスマップの例が、図１１ａ）に示される。続いて、図１１ｂ）に説明されるように、エッジは、フィルターされたデプスマップから抽出される。これは慎重なエッジ検出器（canny edge detector）を使用して行うことができる。検出されたエッジから接続された線が抽出される。最終的に外側の耳輪を抽出するために、左／右の耳に対する右側／左側の最もながい接続された線が開始線として取得される。この線は、次に、ダウンサンプルされ、最も長い部分のみ取得される。最も長い部分は、３つの連続する点によって定義される、２つの連続するエッジの間の角度がしきい値を超えない限り、線をたどることによって判定される。例が図１１ｃ）に与えられ、グレーの四角は、選択された線を示す。最適なダウンサンプリングファクタが耳輪の線の長さを最大化することによって見つけられる。開始点として、小さいダウンサンプリングファクタは、選択され、次に、反復的に増加される。最も長い外側の耳輪を与えるファクターのみが保存される。この技法は、ある異常値（outliers）によって破損される（corrupted）線を「平滑化すること（smoothing）」を可能にする。さらに、耳輪は、平滑であり、角度のしきい値によって強制される、連続するエッジの向きの突然の変化（abrupt changes）を含まない、と仮定される。データの品質に依存して、耳輪の線は、切れる（broken）ことがある。その結果、第１の選択された線は、耳輪の境界全体に広がらないことがある。十分に小さい相対的なスキュー（skew）を持ち、十分クローズな線の間の接続を探すことによって、図１１ｄ）に描写されるように、いくつかの線は接続することができる。

ここまで得られた情報によって、粗いアラインメントが計算できる。そのため、モデル耳平面は、点群における耳平面にアラインされる。次に、モデル耳の向きは、耳平面における回転によって点群のそれとアラインされる。この目的のために、耳のユーザ選択のトップの位置は、好ましくは使用される。次のステップにおいて、耳のサイズと中心が推定される。最後に、モデルは、変換され、それに応じてスケール化される。トリミングされた点群に対するメッシュ耳モデルの適合の例となる結果は、図１２に示されている。

粗いアラインメントに続いて、メッシュモデルをデータ点にフィットさせるために、精緻な弾性変換が適用される。これは、非剛体レジストレーション技法（non-rigid registration technique）の特定の例である［７］。耳は粗い平面であり、それ故に、その２Ｄ構造によって良く特徴付けることができるので、弾性変換は、２つのステップで実行される。第１に、前に検出された耳輪の線のような２Ｄ情報によってアラインされる。次に、２Ｄ条件に配慮しながら、ガイドされた３Ｄ変換が適用される。この２つのステップは、以下でより詳細に説明される。

モデル準備のために、メッシュモデルの耳領域が、例えば、ユーザ入力によって選択される。この選択は、耳又は頭に属するような全てのメッシュモデルの頂点を分類することを可能にする。メッシュモデルの選択された耳領域の例が図１３に示され、この耳領域は、非透明なメッシュによって示される。

以下でメッシュモデルの非剛体アラインメントは、図１４を参照して説明される。非剛体アラインメントに対して、メッシュモデルは、以下で構成されるモーフィングエネルギー（morphing energy）を最小化することによってデータ点に合致するように変形することができる：
・モデル頂点とその最も近いデータ点とに対するポイント・ツー・ポイントのエネルギーと；
・モデル頂点、その最も近いデータ点、とその法線とに対するポイント・ツー・ポイントのエネルギーと；
・グローバル剛性変換期間（term）と；
・ローカル剛性変換期間と、
を含む。
これによって、弾性変換が可能となる。しかしながら、このエネルギーは、後述されるように、本解決策に対して適合される。耳平面における全ての点の２Ｄ位置のみが考慮される点に留意すべきである。

耳輪線を使用するために、抽出された耳輪境界が第１にアップサンプルされる。各モデル耳点
（外１）

に対して、次に、２Ｄ平面における耳の投影（projection）が内側

又は外側

であるかが判定され、ここでｎ_ｉは、最も近い耳輪データ点の近傍の耳輪線要素の法線である。

外側の点が、モーフィングエネルギーに追加のエネルギーを加えることによって境界上の最近点（closest point）に向かって引き込まれる。モデル点は、耳平面に対して垂直に動くことが許されない。これは、図１４に示され、図１４ａ）は、モデル耳点
（外２）
が「外側」と分類された場合を描写し、図１４ｂ）は、モデル耳点
（外３）
が「内側」と分類された場合を描写する。

抽出された耳輪がトップ（top）上とボトム（bottom）上で耳の内側で連続することも起こりうる。これは、データへのモデルの悪いアラインメントへ導く。これを防止するために、判定プロセスが予め特定されたトップ耳点から開始される。線に沿って動くとき、以前のものに対する２Ｄ点のＸのずれがチェックされる。耳輪は、耳輪線が内側になることを示す、このズレがマイナスになるところでカットされる。これは、ボトム点に対して同様の方法で動作する。この停止基準（stopping criterion）が図１５に説明される。

ユーザは、利用可能な耳輪線に加えて、制約としてさらに２Ｄランドマークを特定することを要求されるかも知れない。ともかく、２Ｄにおけるアラインメントの後で、完全な３Ｄ弾性変換が実行される。しかしながら、２Ｄ線とランドマークによるアラインメントは、以下のように保持される。２Ｄ線の制約に対して、「外側」耳モデル頂点のサブセットは、２Ｄランドマークとして次に使用される２Ｄアラインメントの後で選択される。各ランドマークに対して、２Ｄにおいてモデルランドマーク頂点をランドマーク位置に引き込む３Ｄモーフィングエネルギーが加えられる。これは、所定の位置にある耳平面上にランドマーク頂点の投影（projection）を保持する。

例となるアラインメントの結果は、図１６と図１７に示され、図１６はレジストレーション前の結果を描写し、図１７はレジストレーション後の結果を描写する。両方の図において、左の部分は、モデルの耳点と投影された耳輪線を示し、一方、右の部分は、点群上の重ね合わせられたメッシュ耳モデルを描写する。図１７から、メッシュ耳モデルからトリミングされた点群への改良されたアラインメントが迅速に明白である。外側の点は、エネルギーの最小化の後の２Ｄにおいて投影された耳輪線と良くアラインされる。メッシュは、頭の領域に影響を与えることなく耳の領域において弾性的に変換された。

引用文献
［１］シュナベール他（Schnabel et al.）：「点群形状検出のための効率的なＲＡＮＳＡＣ（Efficient RANSAC for point-cloud shape detection）」、コンピュータグラフィックスフォーラム（Computer graphics forum）、Vol. ２６（２００７）、ｐｐ．２１４−２２６
［２］ＧＢ２３８９５００Ａ．
［３］サイツ他（Seitz et al.）」「マルチビューステレオ再構成アルゴリズムの比較及び評価（A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms）」、２００６ＩＥＥＥコンピュータビジョン及びパターン認識におけるコンピュータソサイエティコンファレンス（ＣＶＰＲ）、ｐｐ．５１９−５２８
［４］ＰｈｏｔｏＳｃａｎＳｏｆｔｗａｒｅ：www.agisoft.com/
［５］１２３ＤＣａｔｃｈＳｏｆｔｗａｒｅ：www.123dapp.com/catch.
［６］アバザ他（Abaza et al）」「耳バイオメトリックスに対するサーベイ」、ＡＣＭコンピューティングサーベイ（２０１３）、Ｖｏｌ．４５、記事２２。
［７］ボウアジズ他（Bouaziz et al.）：「ダイナミックな２Ｄ／３Ｄレジストレーション」、ユーログラフィックス（チュートリアル）２０１４

例となるアラインメントの結果は、図１６と図１７に示され、図１６はレジストレーション前の結果を描写し、図１７はレジストレーション後の結果を描写する。両方の図において、左の部分は、モデルの耳点と投影された耳輪線を示し、一方、右の部分は、点群上の重ね合わせられたメッシュ耳モデルを描写する。図１７から、メッシュ耳モデルからトリミングされた点群への改良されたアラインメントが迅速に明白である。外側の点は、エネルギーの最小化の後の２Ｄにおいて投影された耳輪線と良くアラインされる。メッシュは、頭の領域に影響を与えることなく耳の領域において弾性的に変換された。
ここで例としていくつかの付記を記載する。
（付記１）
一連のイメージからのオブジェクトの３Ｄ再構成の方法であって、
前記一連のイメージから前記オブジェクトの点群を生成すること（１０）と、
前記オブジェクトのダミーメッシュモデルを前記点群と粗くアラインすること（１１）と、
前記粗くアラインしたダミーメッシュモデルの弾性変換を通して前記オブジェクトの前記ダミーメッシュモデルを前記点群にフィットさせること（１２）と、
を含む、方法。
（付記２）
前記ダミーメッシュモデルの前記点群との粗くアラインすること（１１）は、前記ダミーメッシュモデルと前記点群とにおける対応する平面を判定することと、前記ダミーメッシュモデルの前記平面を前記点群の前記平面とをアラインすることとを含む、付記１に記載の方法。
（付記３）
前記ダミーメッシュモデルを前記点群と粗くアラインすること（１１）が、さらに、前記点群における突き出た領域を判定することと、前記突き出た領域の位置に基づいて前記点群に対する前記ダミーメッシュモデルの向きを適合することを含む、付記２に記載の方法。
（付記４）
前記ダミーメッシュモデルを前記点群と粗くアラインすること（１１）は、さらに、前記点群の特性線を判定することと、前記特性線に基づいて前記点群に対する前記ダミーメッシュモデルの位置と前記ダミーメッシュモデルのスケールのうちの少なくとも１つを適合させることとを含む、付記２又は３に記載の方法。
（付記５）
前記点群において前記特性線を判定することが、前記点群におけるエッジを検出することを含む、付記４に記載の方法。
（付記６）
前記点群においてエッジを検出することが、前記点群と関連するデプスマップを使用する、付記４に記載の方法。
（付記７）
前記粗くアラインされたダミーメッシュモデルの弾性変換を通して、前記オブジェクトの前記ダミーメッシュモデルを前記点群にフィットさせること（１２）が、
前記点群において前記オブジェクトの境界線を判定することと、
前記境界線に向かって前記境界線によって定義される前記オブジェクトの外部に位置する前記ダミーメッシュモデルの頂点を引き込むことと、
を含む、付記１乃至６のいずれか１項記載の方法。
（付記８）
前記点群と前記境界線の２Ｄ投影は、前記ダミーメッシュモデルの頂点が、前記オブジェクトの外側に位置するか否かを判定するために使用される、付記７に記載の方法。
（付記９）
一連のイメージからオブジェクトの３Ｄ再構成を可能にする命令をその中に記憶するコンピュータ読取可能記憶媒体であって、前記命令は、コンピュータによって実行されたときに、前記コンピュータに、
前記一連のイメージから前記オブジェクトの点群を生成させ（１０）、
前記オブジェクトのダミーメッシュモデルを前記点群と粗くアラインさせ（１１）、
前記粗くアラインされたダミーメッシュモデルの弾性変換を通して、前記オブジェクトの前記ダミーメッシュモデルを前記点群にフィットさせる（１２）、
コンピュータ読取可能記憶媒体。
（付記１０）
一連のイメージからオブジェクトの３Ｄ再構成のための装置（２０）であって、前記装置（２０）は、
一連のイメージを受信するように構成された入力（２１）と、
前記一連のイメージから前記オブジェクトの点群を生成する（１０）ように構成された点群生成器（２３）と、
前記オブジェクトのダミーメッシュモデルを前記点群と粗くアラインさせる（１１）ように構成されたアラインメントプロセッサ（２４）と、
前記粗くアラインしたダミーメッシュモデルの弾性変換を通して、前記オブジェクトの前記ダミーメッシュモデルを前記点群にフィットさせる（１２）ように構成された変換プロセッサ（２５）と、
を備える、装置（２０）。
（付記１１）
一連のイメージからオブジェクトの３Ｄ再構成のための装置（３０）であって、前記装置（３０）は、処理デバイス（３１）と、中に命令を記憶したメモリデバイス（３２）とを備え、前記命令は、前記処理デバイス（３１）によって実行されたとき、前記装置（３０）に、
一連のイメージを受信させ、
前記一連のイメージから前記オブジェクトの点群を生成させ（１０）、
前記オブジェクトのダミーメッシュモデルを前記点群と粗くアラインし（１１）、
前記粗くアラインされたダミーメッシュモデルの弾性変換を通して前記オブジェクトの前記ダミーメッシュモデルを前記点群をフィットさせる（１２）、
装置。

Claims

一連のイメージからのオブジェクトの３Ｄ再構成の方法であって、
前記一連のイメージから前記オブジェクトの点群を生成すること（１０）と、
前記オブジェクトのダミーメッシュモデルを前記点群と粗くアラインすること（１１）と、
前記粗くアラインしたダミーメッシュモデルの弾性変換を通して前記オブジェクトの前記ダミーメッシュモデルを前記点群にフィットさせること（１２）と、
を含む、方法。
前記ダミーメッシュモデルの前記点群との粗くアラインすること（１１）は、前記ダミーメッシュモデルと前記点群とにおける対応する平面を判定することと、前記ダミーメッシュモデルの前記平面を前記点群の前記平面とをアラインすることとを含む、請求項１に記載の方法。
前記ダミーメッシュモデルを前記点群と粗くアラインすること（１１）が、さらに、前記点群における突き出た領域を判定することと、前記突き出た領域の位置に基づいて前記点群に対する前記ダミーメッシュモデルの向きを適合することを含む、請求項２に記載の方法。
前記ダミーメッシュモデルを前記点群と粗くアラインすること（１１）は、さらに、前記点群の特性線を判定することと、前記特性線に基づいて前記点群に対する前記ダミーメッシュモデルの位置と前記ダミーメッシュモデルのスケールのうちの少なくとも１つを適合させることとを含む、請求項２又は３に記載の方法。
前記点群において前記特性線を判定することが、前記点群におけるエッジを検出することを含む、請求項４に記載の方法。
前記点群においてエッジを検出することが、前記点群と関連するデプスマップを使用する、請求項４に記載の方法。
前記粗くアラインされたダミーメッシュモデルの弾性変換を通して、前記オブジェクトの前記ダミーメッシュモデルを前記点群にフィットさせること（１２）が、
前記点群において前記オブジェクトの境界線を判定することと、
前記境界線に向かって前記境界線によって定義される前記オブジェクトの外部に位置する前記ダミーメッシュモデルの頂点を引き込むことと、
を含む、請求項１乃至６のいずれか１行記載の方法。
前記点群と前記境界線の２Ｄ投影は、前記ダミーメッシュモデルの頂点が、前記オブジェクトの外側に位置するか否かを判定するために使用される、請求項７に記載の方法。
一連のイメージからオブジェクトの３Ｄ再構成を可能にする命令をその中に記憶するコンピュータ読取可能記憶媒体であって、前記命令は、コンピュータによって実行されたときに、前記コンピュータに、
前記一連のイメージから前記オブジェクトの点群を生成させ（１０）、
前記オブジェクトのダミーメッシュモデルを前記点群と粗くアラインさせ（１１）、
前記粗くアラインされたダミーメッシュモデルの弾性変換を通して、前記オブジェクトの前記ダミーメッシュモデルを前記点群にフィットさせる（１２）、
コンピュータ読取可能記憶媒体。
一連のイメージからオブジェクトの３Ｄ再構成のための装置（２０）であって、前記装置（２０）は、
一連のイメージを受信するように構成された入力（２１）と、
前記一連のイメージから前記オブジェクトの点群を生成する（１０）ように構成された点群生成器（２３）と、
前記オブジェクトのダミーメッシュモデルを前記点群と粗くアラインさせる（１１）ように構成されたアラインメントプロセッサ（２４）と、
前記粗くアラインしたダミーメッシュモデルの弾性変換を通して、前記オブジェクトの前記ダミーメッシュモデルを前記点群にフィットさせる（１２）ように構成された変換プロセッサ（２５）と、
を備える、装置（２０）。
一連のイメージからオブジェクトの３Ｄ再構成のための装置（３０）であって、前記装置（３０）は、処理デバイス（３１）と、中に命令を記憶したメモリデバイス（３２）とを備え、前記命令は、前記処理デバイス（３１）によって実行されたとき、前記装置（３０）に、
一連のイメージを受信させ、
前記一連のイメージから前記オブジェクトの点群を生成させ（１０）、
前記オブジェクトのダミーメッシュモデルを前記点群と粗くアラインし（１１）、
前記粗くアラインされたダミーメッシュモデルの弾性変換を通して前記オブジェクトの前記ダミーメッシュモデルを前記点群をフィットさせる（１２）、
装置。