JP2022535800A - 物体の３ｄ表現を生成するシステムおよび方法 - Google Patents

Abstract

本発明のシステム、構造および方法は、物体の３次元（３Ｄ）表現を生成することに関する。該方法は、物体の３Ｄ点群再構成画像にアクセスするステップと、物体の一般的なバージョンを定義する３Ｄモデルテンプレートにアクセスするステップと、幾何学的空間において、３Ｄ点群再構成画像に対して３Ｄモデルテンプレートを位置合わせするステップと、３Ｄモデルテンプレートのスケールを調整するステップと、３Ｄモデルテンプレートの表面に局所的な変形を適用するステップと、を含む。【選択図】図６

Description

［関連出願の相互参照］
本発明は、２０１９年１２月２０日に出願された「SYSTEM AND METHOD OF GENERATING A 3D REPRESENTATION OF AN OBJECT」と題された米国特許仮出願第６２／９５２，１９３号の優先権を主張し、また、２０１９年５月３１日に出願された「SYSTEM AND METHOD OF GENERATING A 3D REPRESENTATION OF AN OBJECT」と題された米国特許仮出願第６２／８５５，４５１号の優先権を主張する。その両方の全文は、そのような組み込みを許容する管轄区域において、参照により本出願に組み込まれる。

本技術は、物体の３Ｄ表現を生成するシステムおよび方法に関する。

３次元（「３Ｄ」）デジタルデータは、３次元スキャンやサンプリングおよび／または数値モデリングなどを行う様々な装置によって生成され得る。一例として、３Ｄレーザスキャナが３Ｄデジタルデータを生成する。長距離レーザスキャナは、特定の場所に固定され、回転して周囲の物体をスキャンする。代替的に、短距離レーザスキャナは、物体の周りを移動しながらスキャンする装置に取り付けられる。いずれの場合も、スキャナと物体とがなす角度と、スキャナから物体までの距離が分かっているので、スキャンされた各点の位置は、極座標で表される。この極座標は、３Ｄデカルト座標に変換され、スキャナが収集したデータ点に対応する強度や色の値と共に保存される。

３Ｄデジタルデータを生成するための他の例として、ＤＥＰＴＨ（深さ）カメラや３Ｄスキャナを使用し、物体の形状を表す（ｘ，ｙ，ｚ）位置の完全な点のセットを収集して３Ｄデジタルデータを生成することが挙げられる。収集された点のセット（３Ｄ点群とも呼ぶ）は画像レンダリングシステムに送られ、レンダリングシステムは点のデータを処理して、物体の３Ｄ表現を生成する。

３Ｄ点群を捕捉し、物体の３Ｄ表現を生成する一般的なシステムおよび方法は、特殊で煩雑且つ高価なハードウェア機器を必要とする。そのため、３Ｄ点群から３Ｄ表現を生成する、コスト効率の良いシステムおよび方法の開発が求められている。

本技術の実施形態は、先行技術の解決策に関連する少なくとも１つの技術的問題を開発者が認識した上で開発された。

例えば、先行技術では、３Ｄ点群を生成し、その３Ｄ点群から物体の３Ｄ表現を生成する技術が提案されている。しかしながら、このような技術は、３Ｄレーザスキャナなどの特殊で煩雑且つ高価なハードウェア機器を必要とする。また、３Ｄ点群から物体の３Ｄ表現を効率的に生成することは、まだ懸念事項となっている。

本技術を開発するにあたり、開発者は、カメラを搭載したモバイル機器（例えばアップル社によるｉＰｈｏｎｅ（登録商標）やサムスン社によるＧａｌａｘｙ（登録商標）など）などの特殊でないハードウェアを使用して、３Ｄ点群再構成画像の取得を行うことができることに着目した。この３Ｄ点群再構成画像を３Ｄモデルテンプレートと組み合わせて使用することで、物体の３Ｄ表現を生成することができる。

本技術の第１の態様によれば、物体の３次元（３Ｄ）表現を生成する方法が提供される。該方法は、物体の３Ｄ点群再構成画像にアクセスするステップと、物体の一般的なバージョンを定義する３Ｄモデルテンプレートにアクセスするステップと、幾何学的空間において、３Ｄ点群再構成画像に対して３Ｄモデルテンプレートを位置合わせするステップと、３Ｄモデルテンプレートのスケールを調整するステップと、３Ｄモデルテンプレートの表面に局所的な変形を適用するステップと、を含む。

本方法の一部の実施形態において、物体の３Ｄ点群再構成画像にアクセスするステップは、ノイズ除去ルーチンを適用するステップを含む。

本方法の一部の実施形態において、３Ｄモデルテンプレートにアクセスするステップは、選択ルーチンに従って実行される。

本方法の一部の実施形態において、３Ｄモデルテンプレートは、３Ｄメッシュモデルである。

本方法の一部の実施形態において、幾何学的空間は、デカルト座標系および／または円筒座標系および／または球面座標系に関連付けられる。

本方法の一部の実施形態において、３Ｄ点群再構成画像に対して３Ｄモデルテンプレートを位置合わせするステップは、回転および／または並進を適用するステップを含む。

本方法の一部の実施形態において、３Ｄ点群再構成画像に対して３Ｄモデルテンプレートを位置合わせするステップは、（ｉ）３Ｄモデルテンプレートに関連する第１の重心と、３Ｄ点群再構成画像に関連する第２の重心とを並進させて位置合わせするステップと、（ｉｉ）３Ｄモデルテンプレートと３Ｄ点群再構成画像との間の最小距離、主成分分析、および／または２Ｄ投影の位置合わせのうちの少なくとも１つに基づいて、３Ｄ点群再構成画像に対して３Ｄモデルテンプレートを回転させて位置合わせするステップと、を含む。

本方法の一部の実施形態において、主成分分析に基づいて、３Ｄ点群再構成画像に対して３Ｄモデルテンプレートを回転させて位置合わせするステップは、３Ｄモデルテンプレートの３つの主軸を識別して、３つの主軸と３Ｄ点群再構成画像の軸とを位置合わせするステップを含む。

本方法の一部の実施形態において、２Ｄ投影の位置合わせに基づいて、３Ｄ点群再構成画像に対して３Ｄモデルテンプレートを回転させて位置合わせするステップは、異なる視点の組み合わせで３Ｄモデルテンプレートから２Ｄピクチャを算出し、視点に合わせるように２Ｄピクチャを一致させるステップを含む。

本方法の一部の実施形態において、３Ｄモデルのスケールを調整するステップは、反復最接近点（ＩＣＰ：iterative closest point）アルゴリズムを実行するステップを含む。

本方法の一部の実施形態において、３Ｄモデルのスケールを調整するステップは、反復的に実行され、（１）３Ｄモデルテンプレートのスケールを修正するステップ、（２）３Ｄモデルテンプレートに対する回転を適用／精密化するステップ、および／または（３）３Ｄモデルテンプレートに対する並進を適用／精密化するステップのうちの１つと、３Ｄモデルテンプレートと３Ｄ点群再構成画像との間の距離を計算するステップと、を含み、計算された最小距離に基づいて、反復が停止する。

本方法の一部の実施形態において、３Ｄモデルテンプレートの表面に局所的な変形を適用するステップは、３Ｄモデルテンプレートの少なくともいくつかの点について、３Ｄモデルテンプレートの少なくともいくつかの点のそれぞれから延在する法線軸を決定するステップと、３Ｄモデルテンプレートの少なくともいくつかの点を、算出した振幅の対応する法線軸に沿って変位させるステップと、を含み、変位のステップは、３Ｄモデルテンプレートの少なくともいくつかの点の半径内に位置する隣接する点を変位させるステップを含む。

本方法の一部の実施形態において、算出した振幅は、３Ｄモデルテンプレートの少なくともいくつかの点に対する正規化した法線ベクトルと、３Ｄモデルテンプレート内の変位される点と３Ｄ点群再構成画像内の幾何中心とを結ぶベクトルと、のスカラー積に基づいている。

一部の実施形態において、該方法は、少なくとも２つの物体の少なくとも２つの３Ｄ表現を生成するステップと、少なくとも２つの３Ｄ表現を組み合わせるステップと、をさらに含む。

一部の実施形態において、該方法は、低品質の変形を識別するステップと、補正する部分を選択するステップと、その部分を補正するステップと、をさらに含む。

本方法の一部の実施形態において、品質関数を操作することにより、低品質の変形が識別される。

本方法の一部の実施形態において、補正する部分を選択するステップは、３Ｄモデルテンプレートと変形した３Ｄモデルテンプレートとの間の距離分布および／または角度分布に基づいている。

本方法の一部の実施形態において、３Ｄモデルテンプレートの表面に局所的な変形を適用するステップは、局所的な変形の品質レベルを算出するステップと、算出した品質レベルに基づいて局所的な変形を補正するステップと、を含む。

本方法の一部の実施形態において、算出した品質レベルに基づいて局所的な変形を補正するステップは、算出した品質レベルが閾値を下回る場合に局所的な変形を補正するステップをさらに含む。

本技術の第２の態様によれば、物体の３次元（３Ｄ）表現を生成するためのシステムが提供される。該システムは、プロセッサと、命令を含む非一時的なコンピュータ可読媒体と、を備える。プロセッサは、命令が実行されると、物体の３Ｄ点群再構成画像にアクセスし、物体の一般的なバージョンを定義する３Ｄモデルテンプレートにアクセスし、幾何学的空間において、３Ｄ点群再構成画像に対して３Ｄモデルテンプレートを位置合わせし、３Ｄモデルテンプレートのスケールを調整し、３Ｄモデルテンプレートの表面に局所的な変形を適用するように、構成される。

本技術の上記およびその他の特徴、側面および利点は、以下の説明、添付の特許請求の範囲および添付の図面を参照してよりよく理解できるであろう。
物体の３Ｄ表現を生成する方法を実行するための例示的な環境を示す図である。 物体の３Ｄ表現の例示的な実施形態を示す図である。 ３Ｄ点群再構成画像の例示的な実施形態を示す図である。 ３Ｄ点群再構成画像の例示的な実施形態を示す図である。 ３Ｄモデルテンプレートの例示的な実施形態を示す図である。 本技術の非限定的な実施形態に従って実施される方法を示す図である。 本技術の実施形態による、初期位置合わせの例を示す図である。 本技術の実施形態による、代替的な位置合わせルーチンの例を示す図である。 本技術の実施形態による、３Ｄモデルテンプレートのスケール調整の一例を示す図である。 本技術の実施形態による、様々なスケール値に関する計算された最小距離の進化を示す図である。 本技術の実施形態による、３Ｄ点群再構成画像の２つの例を示す図である。 本技術の実施形態による、３Ｄモデルテンプレートからの頂点と、３Ｄ点群再構成画像からの点とを示す図である。 本技術の実施形態による、「ベル型」関数と頂点との変位の状況を示す図である。 本技術の実施形態による、モーフィング前後の第１の３Ｄモデルテンプレートを示す図である。 本技術の実施形態による、モーフィング前後の第２の３Ｄモデルテンプレートを示す図である。 本技術を適用するための内容の別の例を示す図である。 本技術の実施形態による、３Ｄ点群再構成画像と、３Ｄ点群再構成画像から生成された３Ｄ表現とを示す図である。 本技術の実施形態による、補正される部分を識別するための品質対策を示す図である。 本技術の実施形態による、補正される部分と補正後の部分を識別するためのステップの実施形態を示す図である。 本技術の非限定的な実施形態に従って実施される方法の追加ステップを示す図である。

以下、例示的な実施形態を示す添付の図面を参照して、本明細書に記載の様々な例示的な実施形態を完全に説明する。しかしながら、本発明の概念は、多くの異なる形態で具現化することができ、本明細書に記載の例示的な実施形態に限定して解釈されるべきではない。むしろ、これらの例示的な実施形態は、本発明が徹底的且つ完全なものとなり、本発明の概念の範囲を当業者に十分に伝えることができるように提供される。図において、層および領域の大きさおよび相対的な大きさは、明確にするために誇張されている場合がある。同様の参照符号は、全体として同様の要素を指す。

本明細書では、様々な要素を説明するために第１、第２および第３などの用語を使用する場合があるが、これらの要素は、これらの用語によって限定されるものではないことに留意されたい。これらの用語は、１つの要素を他の要素から区別するために使用される。したがって、以下で説明する第１の要素は、本発明の概念の教示から逸脱することなく、第２の要素と呼ぶことができる。本明細書で使用される「および／または」という用語は、関連する項目の１つまたは複数の任意およびすべての組み合わせを含む。

１つの要素が他の要素に「接続」または「結合」されていると記載されている場合、その要素が他の要素と直接接続または結合されていてもよく、介在する要素が存在していてもよいことが理解されるであろう。一方、１つの要素が他の要素と「直接接続」または「直接結合」されていると記載されている場合、介在する要素が存在しないことを意味する。要素の関係を表すために使用される他の用語も同様に解釈される（例えば「～の間」対「直接～の間」、「隣接する」対「直接隣接する」など）。

本明細書で使用される用語は、特定の例示的な実施形態を説明することのみを意図しており、本発明の概念を限定することを意図していない。本明細書で使用される単数形の「a」「an」および「the」は、文脈が明らかにそうでないことを示さない限り、複数形も含むことが意図されている。さらに、本明細書で使用される「備える（comprises、comprising）」という用語は、記載された特徴、整数、ステップ、操作、要素、および／または構成要素の存在を特定することができるが、１つまたは複数の他の特徴、整数、ステップ、操作、要素、構成要素、および／またはそれらの群の存在または追加を排除しない。

また、本明細書では、本技術の原理、側面、実装およびその具体例について記載されているが、既知のものであるか将来開発されるものであるかにかかわらず、その構造的および機能的等価物の両方を包含することを意図している。例えば、本明細書に記載のブロック図は、本技術の原理を具現化した例示的な回路の概念図を表していることが、当業者には理解できるであろう。同様に、任意のフローチャート、フロー図、状態遷移図、疑似コードなどは、そのようなコンピュータまたはプロセッサが明示的に示されているか否かにかかわらず、コンピュータ可読媒体に実質的に表され、コンピュータまたはプロセッサによって実行され得る様々なプロセスを表していることが理解されるであろう。

図に示す様々な要素の機能は、「プロセッサ」と記載された機能ブロックを含め、専用のハードウェアや、適切なソフトウェアと関連してソフトウェアを実行できるハードウェアを使用して提供される場合がある。プロセッサによって提供される場合、その機能は、単一の専用プロセッサ、単一の共有プロセッサ、または複数の個別のプロセッサ（そのうちのいくつかは共有されてもよい）によって提供されてもよい。本技術の一部の実施形態において、プロセッサは、中央処理装置（ＣＰＵ）などの汎用プロセッサであってもよく、デジタル信号プロセッサ（ＤＳＰ）などの特定の目的に特化したプロセッサであってもよい。また、「プロセッサ」という用語の明示的な使用は、ソフトウェアを実行できるハードウェアのみを指すと解釈すべきではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ソフトウェアを格納するためのリードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および不揮発性ストレージを含んでいてもよい。また、従来型および／またはカスタムの他のハードウェアも含まれる。

ソフトウェアモジュール、または単にソフトウェアであるとみなされるモジュールは、フローチャート要素またはプロセスステップのパフォーマンスを示す他の要素および／またはテキスト記述の任意の組み合わせとして、本明細書で表現することができる。このようなモジュールは、明示的または暗示的に示されたハードウェアによって実行されてもよい。また、モジュールには、例えば、コンピュータプログラムロジック、コンピュータプログラム命令、ソフトウェア、スタック、ファームウェア、ハードウェア回路または必要な機能を提供するそれらの組み合わせが含まれるが、これらに限定されるものではない。

本技術の文脈において、「物体の３Ｄ表現」とは、物体の３Ｄジオメトリを示すデジタルファイルまたはデジタルファイル群の形態をした、その物体のデジタル３Ｄモデルを意味する。物体の３Ｄジオメトリの説明は、３Ｄ空間上の点の集まり（以下、「頂点」と呼ぶ）で表現され、それらの頂点は、三角形や線、平面や曲面などの様々なジオメトリエンティティによって接続されているかどうかで示される。３Ｄモデルは、手動、アルゴリズムまたはスキャンによって作製され得る。色、テクスチャ、材料、シェーダーなど、モデルの３Ｄ表現に関連するその他の情報は、物体のジオメトリを示す主要ファイルに関連する補完的なファイルに保存することができる。これが、３Ｄモデルが「ファイル群」で構成される理由である。典型的には、木製の側面は、ジオメトリにリンクされる木製のテクスチャの別の画像によって提供される。本発明では、スキャンされた３Ｄモデルと手作りされた３Ｄモデルの両方を使用する。それらのデジタルファイルのフォーマットは、数多くあるが、本発明は、最も一般的なものに対応する。物体の３Ｄ表現の例として、図２に示す人間の足の３Ｄ表現２０２および２０４が挙げられる。

本技術の文脈において、「３Ｄ点群再構成画像」とは、頂点が必ずしも互いにつながっていない、物体の単純な３Ｄ表現を意味する場合がある。頂点が互いにつながっていない場合、このような表現に含まれる情報は、各頂点の座標（例えばデカルト座標系の場合はｘ，ｙ，ｚ）とその色（例えばｒ，ｇ，ｂ）のみである。３Ｄ点群再構成画像は、３Ｄスキャンの結果として使用されることが多く、それらのファイルの非常に一般的なフォーマットは、ＰＦＹ（Ｐｏｌｙｇｏｎ Ｆｉｌｅ Ｆｏｒｍａｔ）である。典型的には、３Ｄ点群再構成画像は、単純な３Ｄ表現であり、通常は粗く、物体の現実的な表現ではなく、位置と色以外に互いに関係のない３Ｄ点の集合体であるため、ユーザが直接使用することはほとんどない。３Ｄ点群再構成画像の第１の例として、図３に示す人間の足の３Ｄ点群再構成画像３０２が挙げられる。３Ｄ点群再構成画像の第２の例として、図４に示す人間の足の３Ｄ点群再構成画像４０２が挙げられる。

本技術の文脈において、「３Ｄモデルテンプレート」とは、頂点がつながって面を形成し、３Ｄ物体の全体および完全な表面を構築する、物体の複雑な３Ｄ表現を意味する。そのため、これは、典型的にはリアルでカスタマイズ可能である。本発明では、複雑な３Ｄモデルの表現を、同じ物体の単純な３Ｄ表現（３Ｄ「点群」）に合わせて修正することができる本技術の態様をよりよく示すために、これを「３Ｄモデルテンプレート」と呼ぶ。実際、点群は、複雑な３Ｄモデルよりも、（スキャナや写真を使って）実際の物体と関連した方が容易に作製することができる。本技術の側面は、すべてのパラメータを使用して、現実（点群）に適合するように複雑な３Ｄモデルを変形（３Ｄモーフィング）させることに関する。本技術の一部の実施形態において、「３Ｄモデルテンプレート」は、物体または物体のクラスの一般的なバージョンを定義するため、「テンプレート」を参照する。非限定的な例として、３Ｄモデルテンプレートは、一般的な人間の足、一般的な体の一部、一般的な体、または一般的な機械の部品または構成要素であってもよい。３Ｄモデルテンプレートの一例として、図５に示す人間の足の３Ｄモデルテンプレート５０２が挙げられる。

本発明は、専用の医療用スキャナなどの特殊な機器を必要とすることなく、効率的且つ容易に３Ｄ再構成画像を生成することを目的とする、人間の足の３Ｄ再構成画像に着目した技術の実施形態を示す。その結果、カメラを搭載したモバイル機器（例えばアップル社によるｉＰｈｏｎｅ（登録商標）やサムスン社によるＧａｌａｘｙ（登録商標））などの特殊でないハードウェアを使用して、３Ｄ点群再構成画像の取得を行うことができる。３Ｄ点群再構成画像を３Ｄモデルテンプレートと組み合わせて使用して、本技術による３Ｄ表現を生成することができる。

したがって、本技術は、特殊で煩雑且つ高価なハードウェア機器を必要とする、物体の正確な３Ｄ表現を生成することに関する問題に対して、コスト効率の高いアプローチを提供することができる。本技術は、例えば、人間の足の正確な３Ｄ表現を生成するのに適しており、これを装具などのカスタマイズされた医療機器の製造に使用することができるが、これに限定されるものではない。

３Ｄ点群再構成画像や３Ｄモデルから信頼性の高い人間の足の３Ｄ表現を生成するという内容で本技術を紹介するが、この側面は、これに限定的なものではないことに留意されたい。むしろ、本技術は、あらゆる物体の３Ｄ表現を生成するために適用されてもよい。非限定的な一例として、本技術は、完全な体、または１つまたは複数の体の一部の３Ｄ表現の生成に適用されてもよい。このような体、または１つまたは複数の体の一部の３Ｄ表現は、身体状態の評価、身体的訓練のための提案および／または１つまたは複数の体の一部の３Ｄ表現から推定される身体状態に基づく食事療法の提案など、様々な用途に使用されてもよいが、これらに限定されるものではない。

別の非限定的な一例として、本技術は、例えば、機械の部品および／または構成要素（例えば航空機の部品、エンジンの部品など）の３Ｄ表現を生成する際に、写真や動画像列から機械の部品の３Ｄ表現を生成するために適用されてもよい。このような３Ｄ表現は、生成された後に、コンピュータ支援設計（ＣＡＤ）データベースなどの３Ｄ物体のデータベースに追加されるかそれを完成させるために使用されてもよい。また、本技術の範囲から逸脱することなく、物体や用途の他のバリエーションも想定される。

これらの基礎知識を踏まえた上で、いくつかの非限定的な例を検討して、本技術の態様の様々な実施例を説明する。

図１は、本技術の実施形態によるコンピューティング環境１００を示す図である。一部の実施形態において、コンピューティング環境１００は、従来のパーソナルコンピュータ、物体の３Ｄ表現の生成を操作する専用のコンピュータ、リモートサーバおよび／または電子機器（モバイル機器、タブレット端末、サーバ、コントローラユニット、制御装置、監視装置などを含むがこれらに限定されない）、および／または関連タスクに適切なこれらの組み合わせのいずれかによって実現されてもよい。一部の実施形態において、コンピューティング環境１００は、プロセッサ１１０で総称される１つまたは複数のシングルコアまたはマルチコアプロセッサ、ソリッドステートドライブ１２０、ランダムアクセスメモリ１３０、カメラ１３２および入出力インタフェース１５０を含む様々なハードウェア要素を備える。コンピューティング環境１００は、物体の３Ｄ表現の生成を操作するために特別に設計されたコンピュータであってもよい。一部の代替的な実施形態において、コンピューティング環境１００は、一般的なコンピュータシステムであってもよい。

一部の実施形態において、コンピューティング環境１００は、上述したシステムのうちの１つのサブシステムであってもよい。他の一部の実施形態において、コンピューティング環境１００は、「既製」の一般的なコンピュータシステムであってもよい。また、一部の実施形態において、コンピューティング環境１００は、複数のシステム間で分布されてもよい。一部の実施形態において、コンピューティング環境１００は、「クラウド」で仮想化される。これにより、本技術の実装を実行するための実際のニーズに応じて、処理能力および／またはメモリ容量を拡大または縮小することができる。また、コンピューティング環境１００は、本技術の実装に特化していてもよい。本技術の当業者であれば理解できるように、コンピューティング環境１００がどのように実装されるかについては、本技術の範囲から逸脱することなく、複数のバリエーションを想定することができる。

コンピューティング環境１００の様々な構成要素間の通信は、様々なハードウェア要素が電気的に結合される１つまたは複数の内部および／または外部バス１６０（例えばＰＣＩバス、ユニバーサルシリアルバス、ＩＥＥＥ１３９４「Ｆｉｒｅｗｉｒｅ」バス、ＳＣＳＩバス、シリアルＡＴＡバス、ＡＲＩＮＣバスなど）によって実現されてもよい。

入出力インタフェース１５０は、有線または無線アクセスなどのネットワーク機能を有効にする機能を有してもよい。一例として、入出力インタフェース１５０は、ネットワークポート、ネットワークソケット、またはネットワークインタフェースコントローラなどを含むがこれらに限定されないネットワーキングインタフェースを備えてもよい。ネットワーキングインタフェースがどのように実装されるかの複数の例が、本技術の当業者には明らかになるであろう。例えば、ネットワーキングインタフェースは、イーサネット、ファイバーチャネル、Ｗｉ－Ｆｉまたはトークンリングなどの特定の物理層およびデータリンク層の規格を実装してもよいが、これに限定されるものではない。特定の物理層およびデータリンク層は、完全なネットワークのベースを提供してもよい。これにより、同じローカルエリアネットワーク（ＬＡＮ）上のコンピュータの小グループ間の通信や、インターネットプロトコル（ＩＰ）などのルーティング可能なプロトコルによる大規模なネットワーク通信が可能になる。

本技術の実装によれば、ソリッドステートドライブ１２０は、物体の３Ｄ表現の生成を実行するために、ランダムアクセスメモリ１３０にロードされ、プロセッサ１１０によって実行されるのに適したプログラム命令を格納する。例えば、プログラム命令は、ライブラリまたはアプリケーションの一部であってもよい。

ここで、図６および図７～図１５を同時に参照して、物体の３Ｄ表現の生成に関連して使用されるシステムおよびコンピュータで実現される方法のいくつかの非限定的な実施例を説明する。具体的には、図６は、本技術の実施形態を実現する、コンピュータで実現される方法６００を示すフローチャートである。図６に示すコンピュータで実現される方法は、図１に示すコンピューティング環境１００を含むコンピューティング環境のプロセッサによって実行可能な方法を含んでいてもよい。該方法は、コンピューティング環境によって実施される一連のステップを含む。

図６に示すコンピュータで実現される方法は、例えば、ランダムアクセスメモリにロードされたプログラム命令を実行するプロセッサによって実施されてもよい。

ステップ６０２において、方法６００は、物体の３Ｄ点群再構成画像にアクセスするステップから開始する。なお、物体の３Ｄ点群再構成画像は、本技術の当業者には明らかである様々な方法論によって以前に取得された物体の１つまたは複数の３Ｄ点群再構成画像を格納するメモリからアクセスされてもよい。一部の実施形態において、物体の３Ｄ点群再構成画像は、物体を示す、且つ方法６００が実行される装置のカメラ（例えば、装置１００のカメラ１３２）を介して捕捉された画像または動画像列から生成されてもよい。画像または動画像列は、モバイル機器に組み込まれたカメラによって取得されてもよい。このような場合、画像または動画像列は、生の画像または動画像列から点群を生成することを可能にする１つまたは複数の後処理方法を受けてもよい。一部の実施形態において、３Ｄ点群再構成画像は、ノイズ除去ルーチンを受けてもよい。これにより、３Ｄ点群再構成画像を定義する点の精度を向上させることができ、および／または物体自体とは関係のない点の数を減らすことができる。本発明の文脈で使用される物体は、人間の足である。上述したように、この側面に限定するものではなく、本技術は、他の物体（例えば体の一部、体、機械の部品または構成要素など）にも同様に適用可能である。

ステップ６０４において、方法６００は、物体の一般的なバージョンを定義する３Ｄモデルテンプレートにアクセスするステップに進む。一部の実施形態において、３Ｄモデルテンプレートは、３Ｄモデルのデータベースからアクセスされてもよい。選択ルーチンを適用して、３Ｄ再構成画像が生成される特定の内容に最も適していると考えられる１つまたは複数の３Ｄモデルを選択してもよい。図に示す実施例において、３Ｄモデルは、例えば図５に示す３Ｄモデル５０２のような、人間の足の高解像度３Ｄメッシュモデルである。一部の実施形態において、選択ルーチンは、ステップ６０２においてアクセスされた３Ｄ点群再構成画像の分析に基づいて、内容を決定してもよい。他のアプローチも同様に想定され得る。

一部の実施形態において、３Ｄメッシュモデルである３Ｄモデルテンプレートを、３Ｄ点群モデルとして使用してもよい。一部の実施形態において、３Ｄ点群モデルは、３Ｄメッシュモデルから作製されてもよい。

ステップ６０６において、方法６００は、幾何学的空間において、３Ｄ点群再構成画像に対して３Ｄモデルテンプレートを位置合わせするステップに進む。一部の実施形態において、幾何学的空間は、デカルト座標系および／または円筒座標系および／または球面座標系に関連付けられる。一部の実施形態において、３Ｄ点群再構成画像に対して３Ｄモデルテンプレートを位置合わせするステップは、並進および／または回転を適用するステップを含む。並進は、３Ｄモデルテンプレートに関連する第１の重心と、３Ｄ点群再構成画像に関連する第２の重心とを並進させて位置合わせするステップを含んでもよい。回転は、３Ｄモデルテンプレートと３Ｄ点群再構成画像との間の最小距離に基づいて、３Ｄ点群再構成画像に対して３Ｄモデルテンプレートを回転させて位置合わせするステップを含んでもよい。一部の実施形態において、回転位置合わせは、最良の初期回転位置合わせが実行されるまで、別々にまたは共に適用されるいくつかのアプローチの組み合わせであってもよい。

このような位置合わせアプローチにおける第１の実施例は、主成分分析（ＰＣＡ）に基づく方法であってもよい。このような方法によって、他のパラメータと共に３Ｄモデルの３つの主軸が識別されてもよい。これにより、例えば、最小距離の方法を用いて、その３つの主軸と３Ｄ点群再構成画像の軸とを位置合わせすることができる。各距離は、位置合わせした軸の各組み合わせについて算出され、最も短い距離が正しい位置合わせとなる場合がある。図７は、３Ｄモデル７１２と３Ｄ点群再構成画像７１４とが正しく位置合わせされていない、誤った初期位置７１０にある第１の実施例を示す。また、図７は、３Ｄモデル７２２と３Ｄ点群再構成画像７２４とが正しく位置合わせされている、正しい初期位置７２０にある第２の実施例を示す。

このような位置合わせアプローチにおける第２の実施例は、２Ｄマスクの投影における位置合わせに基づく方法であってもよい。このような方法は、異なる視点の組み合わせで３Ｄモデルから２Ｄピクチャを算出し、視点に合わせるようにそのピクチャを一致させるステップを含んでもよい。これにより、３Ｄモデルの３つの軸と、３Ｄ点群再構成画像の３つの軸との位置関係を決定することができる。図８は、画像８１０および８１２を同様の視点から見て、画像８１２および８１４を異なる視点から見た（すなわち一致していない）例を示す。

ステップ６０８において、方法６００は、３Ｄモデルテンプレートのスケールを調整するステップに進む。一部の実施形態において、３Ｄモデルを調整するステップは、反復最接近点（ＩＣＰ：iterative closest point）アルゴリズムを実行するステップを含む。一部の実施形態において、調整のステップは、サブステップ６１０および６１２を反復的に実行するステップを含む。一部の実施形態において、サブステップ６１０は、３Ｄモデルテンプレートのスケールを修正するステップ、３Ｄモデルテンプレートに対する回転を適用／精密化するステップ、および／または３Ｄモデルテンプレートに対する並進を適用／精密化するステップを含む。一部の実施形態において、サブステップ６１２は、３Ｄモデルテンプレートと３Ｄ点群再構成画像との間の距離を計算するステップを含む。一部の実施形態において、計算された距離は、最接近点、および点から法線までの距離のいずれかであってもよい。

一部の実施形態において、サブステップ６１０および６１２の反復の停止（および最良の初期位置の判明）は、ステップ６１４において計算された最小距離に基づいて決定される。

図９は、ステップ６０８に従った、３Ｄモデルテンプレートのスケール調整の一例を示す。図に示す実施例において、第１の表現９１０は、第１のスケールに関連付けられ、且つ３Ｄ点群再構成画像９１４と位置合わせされた３Ｄモデル９１２を示す。第２の表現９２０は、第２のスケールに関連付けられ、且つ３Ｄ点群再構成画像９２４と位置合わせされた３Ｄモデル９２２を示す。第２の表現９２０が示すように、３Ｄモデル９２２は、適切な（または最良の）スケール値が見出されるように、拡大して示されている。図１０は、様々なスケール値に関する計算された最小距離の進化を示す。図１０において、適切なスケール値は、３Ｄモデルと３Ｄ点群再構成画像との間の最小距離（すなわち、曲線上の点１００２）に関連するものであると判断される。

撮影されている場所でメートル法の基準をもつ以外に、絶対的なメートル法を計算する別の方法として、装置２１０がジャイロスコープと加速度計を具備する場合は、それらを使用することができることに留意されたい。現在、ほとんどの携帯機器に組み込まれている加速度計および／またはジャイロスコープによって提供される複合データを使用すれば、２Ｄピクチャ内の測定情報がなくても、３次元で再構成された物体の大きさと測定値（２次元および／または３次元）を十分な精度で計算することができる。絶対的な２次元の寸法は、５％未満の誤差の精度で提供され得る。これは、ユーザの視点から見ても使いやすいものである。３次元の体積は、２次元の１つの測定情報（長さ、高さ、奥行き、および／または幅など）のみで計算することができる。

ステップ６１６において、方法６００は、３Ｄモデルテンプレートの表面に局所的な変形を適用するステップに進む。一部の実施形態において、ステップ６１６は、サブステップ６１８および６２０を含む。ステップ６１８は、３Ｄモデルテンプレートの少なくともいくつかの点について、３Ｄモデルテンプレートの少なくともいくつかの点のそれぞれから延在する法線軸を決定するステップを含む。図１１は、３Ｄ点群再構成画像１１０２および１１０４の２つの例を示す。３Ｄ点群再構成画像１１０４では、点から突出する法線が示されている。

ステップ６２０は、算出した振幅の対応する法線軸に沿って、３Ｄモデルテンプレートの少なくともいくつかの点（「頂点」とも呼ぶ）を変位させるステップを含む。一部の実施形態において、変位のステップは、３Ｄモデルテンプレートの少なくともいくつかの点の半径内に位置する隣接する点を変位させるステップをさらに含む。図１２は、３Ｄモデルテンプレートからの頂点１２０２と、３Ｄ点群再構成画像からの点１２０４と、を示す。一部の実施形態において、３Ｄモデルテンプレートの各頂点について、再構成されたモデルにおける「複数の」最接近点１２０６の集合体が決定される。一部の実施形態において、「複数の」最接近点は、３Ｄモデルの解像度に基づいている。一部の実施形態において、「複数の」最接近点は、３Ｄ点群再構成画像における、法線ベクトル１２１４の周りの制限された周辺区域１２０６内で選択されてもよい。一部の実施形態において、「複数の」頂点の幾何中心１２１０は、３次元で算出される。一部の実施形態において、３Ｄモデルテンプレートの少なくともいくつかの点と、隣接する点との変位の振幅は、正規化した法線ベクトル（長さ＝１）と、３Ｄモデルテンプレートで変位される頂点と３Ｄ点群再構成画像における幾何中心１２１０とを結ぶベクトルとのスカラー積に基づいて、次式に従って計算される：法線ベクトルの長さ×点から幾何中心までのベクトルの長さ×ｃｏｓ（２つのベクトルがなす角度）。

θ１２１２は、法線と幾何中心１２１０とがなす角度を定義する。この角度の値は、制約のないものであってもよく、制約のあるものであってもよい。一例として、頂点１２０２における点の最終的な変位は、参照符号１２０８で示されている。

一部の実施形態において、３Ｄモデルテンプレートの少なくともいくつかの点の変位は、「ベル型」関数に従ってその近傍に影響を与える。これにより、３Ｄモデルテンプレートの全体的な変位は、３Ｄ形状の滑らかさを保持することができる。図１３は、１３０２の「ベル型」関数と、頂点の変位の状況１３０４および１３０６とを示す。

図１４は、方法６００に従ってモーフィングされる前の、第１のバージョンにおける第１の３Ｄモデルテンプレート１４０２の第１の実施例を示す。また、図１４は、方法６００に従ってモーフィングされた後で、３Ｄ点群の表現によって捕捉された足の第１の３Ｄ表現を定義する、第２のバージョンにおける第１の３Ｄモデルテンプレート１４０４を示す。

図１５は、方法６００に従ってモーフィングされる前の、第１のバージョンにおける第２の３Ｄモデルテンプレート１５０２の第２の実施例を示す。また、図１５は、方法６００に従ってモーフィングされた後で、３Ｄ点群の表現によって捕捉された足の第２の３Ｄ表現を定義する、第２のバージョンにおける第２の３Ｄモデルテンプレート１５０４を示す。

ここで、図１６を参照すると、方法６００が適用される別の実施例が示されている。本実施例において、方法６００は、体のサイジングのために実行される。このような状況において、図１６に示す体１６０２は、幾何学的なグラフを介して互いに接続された剛体の集合体として考えられてもよい。方法６００は、体を定義する剛体のそれぞれに適用されてもよく、その後、剛体がそれぞれ組み合わされて完全な体の３Ｄ表現を生成してもよい。一部の実施形態において、固定された剛体の集合体を、剛体とみなしてもよい。例えば、肩から指までを含む腕全体は、動かない限り、剛体とみなすことができる。動く場合は、腕の各部分（腕、前腕、手、指）を別々の剛体とみなし、体の３Ｄ表現を形成するために再構築する必要がある。

ここで、図１７を参照すると、足を表す３Ｄ点群再構成画像１７０２と、方法６００を適用して３Ｄ点群再構成画像１７０２から生成された足の３Ｄ表現１７０４とが示されている。なお、３Ｄ点群再構成画像１７０２は、足の甲に再構成の欠陥を含む。図に示す実施例において、足の甲が欠けている。物体のこのような不完全な３Ｄ点群再構成画像は、様々な原因によって生じる場合がある。一例として、３Ｄ点群取得ステップ中に物体の一部がアクセスできなかった場合（例えば、足の甲がスキャンできなかった場合や、ねじの一部が組立体内に位置する場合など）が挙げられるが、これに限定されるものではない。別の例として、物体の３Ｄ点群再構成画像内の欠陥は、３Ｄ点群再構成画像を再構成する処理が適切に実行されなかったことから生じる場合がある。３Ｄ点群再構成画像１７０２のような不完全な３Ｄ点群再構成画像は、頂点分布が完全且つ高密度で均一である、図４に示す３Ｄ点群再構成画像４０２のような「完全な」３Ｄ点群再構成画像とは対照的である。

足の３Ｄ表現１７０４は、足の少なくとも一部（すなわち、図に示す例では、足の指や甲）が適切に再構成されていないという点で、３Ｄ点群再構成画像１７０２の「品質の悪さ」を反映している。

図１９および図２０を参照すると、不完全な３Ｄ点群再構成画像の処理に対する補正作業を実現するステップ６２２～６２６の実施形態が模式的に示されている。一部の実施形態において、ステップ６２２～６２６は、方法６００の一部であってもよい。一部の実施形態において、ステップ６２２～６２６は、ステップ６２０の後に実行されてもよい。

ステップ６２２は、３Ｄ表現の低品質の変形を識別するステップを含む。３Ｄ表現は、例えば３Ｄ点群表現１８０２のような不完全な３Ｄ点群表現に基づいて、ステップ６０２～６２０に従って生成されたものであり得る。３Ｄ表現の低品質の変形は、品質関数を操作することで識別されてもよい。一部の実施形態において、品質関数は、３Ｄモデルテンプレートとの比較を実施する。なお、元の３Ｄモデルテンプレート（すなわち、まだ変形を受けていない３Ｄモデルテンプレート）と、変形した３Ｄモデルテンプレート（すなわち、３Ｄモデルテンプレートから生成された３Ｄ表現）とは、頂点および面が類似した構造を有することに留意されたい。したがって、元の３Ｄモデルテンプレートの要素と、変形した３Ｄモデルテンプレートの要素との間の対応関係を確立することができる。例えば、これらの頂点、面および／または法線の間の対応関係を確立することができるが、これに限定されるものではない。一部の実施形態において、要素は、それぞれ識別子（例えば、番号）と関連付けられる。これにより、要素間の対応関係を容易に追跡することができる。

一部の実施形態において、ステップ６２２における品質関数は、２つの基準、すなわち、２つの対応する頂点間の距離および／または元の３Ｄモデルテンプレートと変形した３Ｄモデルテンプレートとの間の法線の相違に基づいていてもよい。なお、ステップ６２２における品質関数は、本技術の範囲から逸脱することなく、２つの基準のうちの１つに基づいていてもよいことに留意されたい。

一部の実施形態において、２つの対応する頂点間の距離は、元の３Ｄモデルテンプレートと変形した３Ｄモデルテンプレートとの間の３次元距離を確立する。（ステップ６０６～６１４において）３Ｄ点群再構成画像と３Ｄモデルテンプレートとが位置合わせされた後の３次元距離は、最小になると考えられる。３Ｄ点群再構成画像が特定の品質閾値に達した場合、ステップ６１８において確立された３次元の局所的な変形（同様に「変位」と呼ぶ）は、特定の平均値＋標準偏差の範囲に留まる。３Ｄ点群再構成画像が特定の品質閾値を下回る場合、３次元の局所的な変形は、標準偏差を超える。この品質対策の一例が、図１８に示されている。ここで、３Ｄモデルテンプレートは、方法６００の異なる２つのステップで提供される。３Ｄ表現１８０２は、方法６００のステップ６１４の直後に提供され、３Ｄ表現１８０４は、方法６００のステップ６２０の後に提供される。構造（頂点の数とインデックスを含む）が同じであるこれらのモデルの対応する頂点の間の距離は、３次元距離マップ１８０６で提供される。グラフ１８０８は、これらの距離の分布を示す。方法６００を適用すると、３Ｄモデルテンプレートは、見えない部分以外は最小距離に合わせられる。そのため、分布グラフは、多かれ少なかれ同じ側面をもつことになる。すなわち、２つのピークは、小さい３次元距離および／または良好な品質（１８１０）と、大きい３次元距離および／または悪い品質（１８１２）をそれぞれ表す。これにより、方法６００のステップ６２２～６２６によって補正される頂点は、容易に識別され、３Ｄ表現の品質を距離分布の関数として考慮することができる。

一部の実施形態において、元の３Ｄモデルテンプレートと変形した３Ｄモデルテンプレートとの間の法線の相違は、頂点または面の２つの対応する法線がなす角度に基づいて確立されてもよい。低品質の３Ｄ表現（例えば、３Ｄ表現１８０４）では、２つの対応する法線がなす角度が大きくなる場合がある。これに対して、良好な品質の３Ｄ表現では、２つの対応する法線がなす角度が小さくなる場合がある。ここでも、３Ｄモデル１８０２と１８０４とがなす３次元法線角度の分布の３次元マップを算出することで、３次元品質マップを表示することができる。このグラフは、グラフ１８０８と同様の側面をもち、補正される頂点を識別することができる。これにより、３Ｄ表現の品質を角度分布の関数として考慮することができる。

また、本技術の範囲を逸脱することなく、上述した基準の一方または両方に加えて、またはそれらを置き換えるように、追加の基準を使用することもできる。

ステップ６２４は、上述したような品質の定義を考慮して、低品質の頂点および／または面を自動的に選択するステップを含む。したがって、一部の実施形態において、ステップ６２４は、低品質の頂点および／または面を選択するように、ステップ６２２において確立された距離分布および／または角度分布を参照してもよい。図１９は、ステップ６２２に基づいて生成され、ステップ６２４において実行される自動選択で使用される領域１９１０～１９１４の表現１９０２を示す。領域１９１０は、良好な品質の部分を表す。これは、元の３Ｄモデルテンプレートと変形した３Ｄモデルテンプレートとの間の距離分布および／または角度分布が狭いことを意味する。対照的に、領域１９１４は、悪い品質の部分を表す。これは、元の３Ｄモデルテンプレートと変形した３Ｄモデルテンプレートとの間の距離分布および／または角度分布が、許容可能な閾値を超えていることを意味する。領域１９１２は、３Ｄ表現１９０２の良好な品質の部分（すなわち領域１９１０）と悪い品質の部分（すなわち領域１９１４）との間の移行領域を確立する。一部の実施形態において、領域１９１０～１９１４は、色分けされていてもよい。例えば、領域１９１０を青色、領域１９１４を赤色、領域１９１２を青色から徐々に赤色になる連続的な色であり得る。

ステップ６２６は、３Ｄモデルテンプレートに基づいて、悪い品質の部分を補正するステップを含む。ステップ６２６は、悪い品質の部分の補正を重み付けするステップを含んでもよい。一部の実施形態において、ステップ６２６は、ステップ６２４において識別された悪い品質の部分（例えば領域１９１４）の頂点および／または面に合成変形を適用するステップを含む。これにより、悪い品質の部分に対応する３Ｄモデルテンプレートの一部を再形成することができる。一部の実施形態において、合成変形は、ステップ６２２における品質関数によって重み付けられる。これにより、補正されていない部分と補正された部分との間で滑らかな移行部分を提供することができる。３Ｄ再構成画像１８０４に適用されたステップ６２２～６２６の一例が、図１９に示す補正された３Ｄ再構成画像１９０４で示されている。

本技術の当業者であれば理解できるように、３Ｄ再構成画像の補正された部分は、現実に完全には適合しない可能性があるが、欠落した部分を有する部分的な３Ｄ再構成画像とは対照的に、物体の完全な３Ｄ再構成画像を生成することができる。また、特にステップ６２０またはステップ６２２において３Ｄ再構成画像が十分に完全であり、補正を必要としないことが確立された場合には、ステップ６２２～６２６が体系的に適用されない場合があることに留意されたい。

なお、上述した特徴および実施例は、本発明の範囲を単一の実施形態に限定するものではない。説明または図に示す要素の一部または全体を交換して、他の実施形態を実現することもできる。また、本発明の特定の要素が既知の構成要素を用いて部分的または完全に実現できる場合、本発明を理解するために必要なそのような既知の構成要素の一部のみを説明し、本発明を不明瞭にしないように、他の部分の詳細な説明を省略する。本明細書において、単一の構成要素を示す実施形態は、本明細書で明示的に別のことを述べない限り、同じ構成要素を複数含む他の実施形態に必ずしも限定されるべきではなく、その逆もまたあり得る。また、本出願人は、本明細書または添付の特許請求の範囲のいかなる用語も、そのように明示的に定められていない限り、一般的でないまたは特別な意味を付与することを意図していない。さらに、本発明は、例示のために本明細書で言及された既知の構成要素に対する現在および将来の既知の同等物を包含する。

特定の実施形態に関する上述した説明は、本発明の一般的な性質を十分に明確にしており、他者が、関連する技術（本明細書で引用され、参照により組み込まれる文献の内容を含む）の範囲内の知識を適用することにより、過度の実験を行うことなく、また本発明の一般的な概念から逸脱することなく、そのような特定の実施形態を、様々な用途のために容易に修正および／または適応することができる。したがって、このような適応および修正は、本明細書に記載された教示および手引きに基づいて、開示された実施形態の意味および同等の範囲内にあることが意図されている。本明細書に記載された語句または用語は、本発明を説明するためのものであり、それを限定するものではない。本明細書に記載された語句または用語は、本明細書に記載された教示および手引きに照らして、関連する技術の当業者の知識と組み合わせて、当業者によって解釈されるようになっていることに留意されたい。

上述した実施例では、特定の順序で実行される特定のステップを参照して説明および図示してきたが、本技術の教示から逸脱することなく、これらのステップを組み合わせたり、細分化したり、順序を変更したりすることができることに留意されたい。また、各ステップは、並列または直列に実行することができる。したがって、ステップの順序やグループ化は、本技術を限定するものではない。

以上、本発明の様々な実施形態を説明したが、これらは例示のために記載されたものであり、本発明を限定するものではないことに留意されたい。本発明の精神および範囲から逸脱することなく、形態および詳細の様々な変更を行うことができることは、関連技術の当業者には明らかであろう。したがって、本発明は、上述した例示的な実施形態のいずれかによって限定されるべきではなく、添付の特許請求の範囲およびその等価物に従ってのみ定義されるべきである。

Claims (22)

1. 物体の３次元（３Ｄ）表現を生成する方法であって、
   前記物体の３Ｄ点群再構成画像にアクセスするステップと、
   前記物体の一般的なバージョンを定義する３Ｄモデルテンプレートにアクセスするステップと、
   幾何学的空間において、前記３Ｄ点群再構成画像に対して前記３Ｄモデルテンプレートを位置合わせするステップと、
   前記３Ｄモデルテンプレートのスケールを調整するステップと、
   前記３Ｄモデルテンプレートの表面に局所的な変形を適用するステップと、
   を含む、
   方法。
2. 前記物体の前記３Ｄ点群再構成画像にアクセスする前記ステップは、ノイズ除去ルーチンを適用するステップを含む、
   請求項１に記載の方法。
3. 前記３Ｄモデルテンプレートにアクセスする前記ステップは、選択ルーチンに従って実行される、
   請求項１に記載の方法。
4. 前記３Ｄモデルテンプレートは、３Ｄメッシュモデルである、
   請求項１に記載の方法。
5. 前記幾何学的空間は、デカルト座標系および／または円筒座標系および／または球面座標系に関連付けられる、
   請求項１に記載の方法。
6. 前記３Ｄ点群再構成画像に対して前記３Ｄモデルテンプレートを位置合わせする前記ステップは、回転および／または並進を適用するステップを含む、
   請求項１に記載の方法。
7. 前記３Ｄ点群再構成画像に対して前記３Ｄモデルテンプレートを位置合わせする前記ステップは、
   （ｉ）前記３Ｄモデルテンプレートに関連する第１の重心と、前記３Ｄ点群再構成画像に関連する第２の重心とを並進させて位置合わせするステップと、
   （ｉｉ）前記３Ｄモデルテンプレートと前記３Ｄ点群再構成画像との間の最小距離、主成分分析、および／または２Ｄ投影の位置合わせのうちの少なくとも１つに基づいて、前記３Ｄ点群再構成画像に対して前記３Ｄモデルテンプレートを回転させて位置合わせするステップと、
   を含む、
   請求項６に記載の方法。
8. 前記主成分分析に基づいて、前記３Ｄ点群再構成画像に対して前記３Ｄモデルテンプレートを回転させて位置合わせする前記ステップは、前記３Ｄモデルテンプレートの３つの主軸を識別して、前記３つの主軸と前記３Ｄ点群再構成画像の軸とを位置合わせするステップを含む、
   請求項７に記載の方法。
9. 前記２Ｄ投影の位置合わせに基づいて、前記３Ｄ点群再構成画像に対して前記３Ｄモデルテンプレートを回転させて位置合わせする前記ステップは、異なる視点の組み合わせで前記３Ｄモデルテンプレートから２Ｄピクチャを算出し、前記視点に合わせるように前記２Ｄピクチャを一致させるステップを含む、
   請求項７に記載の方法。
10. 前記３Ｄモデルのスケールを調整する前記ステップは、反復最接近点（ＩＣＰ：iterative closest point）アルゴリズムを実行するステップを含む、
    請求項１に記載の方法。
11. 前記３Ｄモデルのスケールを調整する前記ステップは、反復的に実行され、
    ・ （１）前記３Ｄモデルテンプレートのスケールを修正するステップ、（２）前記３Ｄモデルテンプレートに対する回転を適用／精密化するステップ、および／または（３）前記３Ｄモデルテンプレートに対する並進を適用／精密化するステップ、のうちの１つと、
    ・ 前記３Ｄモデルテンプレートと前記３Ｄ点群再構成画像との間の距離を計算するステップと、
    を含み、
    計算された最小距離に基づいて、前記反復が停止する、
    請求項１に記載の方法。
12. 前記３Ｄモデルテンプレートの表面に局所的な変形を適用する前記ステップは、
    ・ 前記３Ｄモデルテンプレートの少なくともいくつかの点について、前記３Ｄモデルテンプレートの前記少なくともいくつかの点のそれぞれから延在する法線軸を決定するステップと、
    ・ 前記３Ｄモデルテンプレートの前記少なくともいくつかの点を、算出した振幅の対応する法線軸に沿って変位させるステップと、
    を含み、
    前記変位のステップは、前記３Ｄモデルテンプレートの前記少なくともいくつかの点の半径内に位置する隣接する点を変位させるステップをさらに含む、
    請求項１に記載の方法。
13. 前記算出した振幅は、前記３Ｄモデルテンプレートの前記少なくともいくつかの点に対する正規化した法線ベクトルと、前記３Ｄモデルテンプレート内の変位される点と前記３Ｄ点群再構成画像の幾何中心とを結ぶベクトルと、のスカラー積に基づいている、
    請求項１２に記載の方法。
14. 低品質の変形を識別するステップと、
    補正する部分を選択するステップと、
    前記部分を補正するステップと、
    をさらに含む、
    請求項１に記載の方法。
15. 品質関数を操作することにより、前記低品質の変形が識別される、
    請求項１４に記載の方法。
16. 前記補正する部分を選択する前記ステップは、前記３Ｄモデルテンプレートと変形した３Ｄモデルテンプレートとの間の距離分布および／または角度分布に基づいている、
    請求項１４に記載の方法。
17. 前記３Ｄモデルテンプレートの表面に局所的な変形を適用する前記ステップは、
    ・ 前記局所的な変形の品質レベルを算出するステップと、
    ・ 算出した前記品質レベルに基づいて局所的な変形を補正するステップと、
    を含む、
    請求項１に記載の方法。
18. 前記算出した品質レベルに基づいて局所的な変形を補正する前記ステップは、前記算出した品質レベルが閾値を下回る場合に前記局所的な変形を補正するステップをさらに含む、
    請求項１７に記載の方法。
19. 少なくとも２つの物体の少なくとも２つの３Ｄ表現を生成するステップと、前記少なくとも２つの３Ｄ表現を組み合わせるステップと、をさらに含む、
    請求項１に記載の方法。
20. 請求項１～１９のいずれか１項に記載の方法を実施するように構成された、コンピュータで実現されるシステム。
21. コンピュータで実行可能な命令を含む非一時的なコンピュータ可読媒体であって、
    システムに、請求項１～１９のいずれか１項に記載の方法を実行させる、
    コンピュータ可読媒体。
22. 物体の３次元（３Ｄ）表現を生成するためのシステムであって、
    プロセッサと、
    命令を含む非一時的なコンピュータ可読媒体と、
    を備え、
    前記プロセッサは、前記命令が実行されると、
    ・ 前記物体の３Ｄ点群再構成画像にアクセスし、
    ・ 前記物体の一般的なバージョンを定義する３Ｄモデルテンプレートにアクセスし、
    ・ 幾何学的空間において、前記３Ｄ点群再構成画像に対して前記３Ｄモデルテンプレートを位置合わせし、
    ・ 前記３Ｄモデルテンプレートのスケールを調整し、
    ・ 前記３Ｄモデルテンプレートの表面に局所的な変形を適用するように構成される、
    システム。
    

Images