JP2019514126A - ３ｄテクスチャ処理されたメッシュのロバストなマージ - Google Patents

３ｄテクスチャ処理されたメッシュのロバストなマージ Download PDF

Info

Publication number
JP2019514126A
JP2019514126A JP2018553234A JP2018553234A JP2019514126A JP 2019514126 A JP2019514126 A JP 2019514126A JP 2018553234 A JP2018553234 A JP 2018553234A JP 2018553234 A JP2018553234 A JP 2018553234A JP 2019514126 A JP2019514126 A JP 2019514126A
Authority
JP
Japan
Prior art keywords
mesh
clipping
individual
vertex
vertices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018553234A
Other languages
English (en)
Other versions
JP6573734B2 (ja
JP2019514126A5 (ja
Inventor
ジアンユアン ミン，
ジアンユアン ミン，
シャオリン ウェイ，
シャオリン ウェイ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2019514126A publication Critical patent/JP2019514126A/ja
Publication of JP2019514126A5 publication Critical patent/JP2019514126A5/ja
Application granted granted Critical
Publication of JP6573734B2 publication Critical patent/JP6573734B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

３Ｄメッシュをマージする方法は、第１のメッシュおよび第２のメッシュを受信するステップと、空間整合を実施し、第１のメッシュおよび第２のメッシュを共通世界座標系内で位置合わせするステップと、メッシュクリッピングを第１のメッシュおよび第２のメッシュ上で実施し、冗長メッシュ頂点を除去するステップと、幾何学形状精緻化をクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖するステップと、テクスチャブレンディングをクリッピングシームに隣接する領域内で実施し、マージされたメッシュを取得するステップとを含む。

Description

（関連出願の相互参照）
本願は、２０１７年３月２３日に出願された米国仮特許出願第１５／４６７，８５１の利益および優先権を主張するものであり、該米国仮特許出願は、２０１６年４月１３日に出願された米国仮特許出願第６２／３２２，０８１号の利益および優先権を主張するものである。上記特許出願の全体の内容は、あらゆる目的のために参照により本明細書中に援用される。
本発明は、概して、コンピュータ化された３次元（３Ｄ）メッシュ再構成に関し、より具体的には、２つまたはそれを上回る３Ｄテクスチャ処理されたメッシュを１つのテクスチャ処理されたメッシュにマージするための自動アプローチに関する。
テクスチャ処理されたメッシュは、３Ｄ幾何学形状の一般的表現である。これは、仮想現実、科学的可視化、３Ｄ撮影、３Ｄゲーム、および同等物を含む、多くのグラフィック用途において広く使用されている。様々な技法が、メッシュを３Ｄ走査から再構築するために導入されている。しかしながら、正確な大きく複雑なメッシュを３Ｄ走査から作成することは、労力を要し、かつ労働集約的であり得る。これは、多くの場合、複数の３Ｄ走査からのより小さいメッシュを整合させ、編集し、組み合わせることによって、手動で行われる。したがって、当技術分野において、大きくて複雑な３Ｄテクスチャ処理されたモデルへの複数のメッシュのロバストなマージを可能にする、改良された方法およびシステムの必要がある。
一実施形態によると、３Ｄメッシュをマージする方法は、第１のメッシュおよび第２のメッシュを受信するステップと、空間整合を実施し、第１のメッシュおよび第２のメッシュを共通世界座標系内で位置合わせするステップと、メッシュクリッピングを第１のメッシュおよび第２のメッシュ上で実施し、冗長メッシュ頂点を除去するステップと、幾何学形状精緻化をクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖するステップと、テクスチャブレンディングをクリッピングシームに隣接する領域内で実施し、マージされたメッシュを取得するステップとを含む。
別の実施形態によると、３Ｄテクスチャ処理されたメッシュをマージする方法は、第１のメッシュおよび第２のメッシュを受信するステップと、第１のメッシュおよび第２のメッシュが重複する、重複領域を識別するステップと、重複領域を含有する、重複領域の境界ボックスを識別するステップと、境界ボックス内の第１のメッシュの個別の頂点毎に、第２のメッシュの対応する最近傍頂点を検索し、それによって、複数のマッチングペアを確立するステップとを含む。各マッチングペアは、第１のメッシュの個別の頂点と、第２のメッシュの対応する最近傍頂点とを含む。本方法はさらに、複数のマッチングペアのマッチングペア毎に、第１のメッシュの個別の頂点の第１の法線一致接続群（ＮＣＮＧ）および第２のメッシュの対応する最近傍頂点の第２のＮＣＮＧを推定するステップと、第１のＮＣＮＧの面積と第２のＮＣＮＧの面積との間の比率が第１の所定の閾値を上回ることの判定に応じて、第１のメッシュの個別の頂点および第２のメッシュの対応する最近傍頂点を誤マッチングペアとして分類するステップと、誤マッチングペアを複数のマッチングペアから除去するステップとを含む。本方法はさらに、複数のマッチングペアの各マッチングペア内の第１のメッシュの個別の頂点と第２のメッシュの対応する最近傍頂点との間の距離を最小にするように、第１のメッシュに適用されるべき剛体変換を判定するステップと、剛体変換を第１のメッシュに適用し、変換された第１のメッシュを取得するステップとを含む。本方法はさらに、変換された第１のメッシュ上の第１のクリッピングシームに沿って、および第２のメッシュ上の第２のクリッピングシームに沿って、メッシュクリッピングを実施し、重複領域内の冗長メッシュ頂点を除去するステップと、幾何学形状精緻化を第１のクリッピングシームおよび第２のクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖するステップとを含んでもよい。
１つまたはそれを上回る種々の実施形態による、本開示が、以下の図を参照して詳細に説明される。図面は、例証目的のためだけに提供され、単に、本開示の例示的実施形態を描写する。これらの図面は、読者の本開示の理解を促進するために提供され、本開示の範疇、範囲、または可用性を限定するものと見なされるべきではない。明確にするために、かつ例証を容易にするために、これらの図面は、必ずしも、正確な縮尺で描かれていないことに留意されたい。
図１は、いくつかの実施形態による、２つまたはそれを上回る３Ｄメッシュをマージする方法を図示する、簡略化されたフローチャートである。
図２は、一実施形態による、２つのメッシュの画像を図示する。
図３は、一実施形態による、２つのメッシュ間の空間整合を実施する方法を図示する、フローチャートである。
図４Ａ−４Ｃは、一実施形態による、空間整合プロシージャを図示する、概略図である。
図５は、本発明のある実施形態による、空間整合プロシージャ後の図２に図示される２つのメッシュの画像を図示する。
図６は、一実施形態による、２つのメッシュ間の誤マッチングが検出され得る実施例を図示する、概略図である。
図７Ａは、いくつかの実施形態による、メッシュクリッピングプロシージャが２つのメッシュに適用され得る、ボクセルの例示的グリッドの２次元図を図示する、概略図である。
図７Ｂは、一実施形態による、メッシュクリッピングプロシージャが実施された後の図７Ａに図示されるような２つのメッシュを図示する、概略図である。
図８Ａおよび８Ｂは、それぞれ、一実施形態による、メッシュクリッピングプロシージャ前後の図５に図示される２つのメッシュの重複領域の画像である。
図９Ａおよび９Ｂは、一実施形態による、幾何学形状精緻化プロシージャを図示する。
図１０Ａおよび１０Ｂは、それぞれ、一実施形態による、テクスチャブレンディングプロセス前後のマージ面積の近傍のマージされたメッシュの例示的画像を図示する。
図１１は、一実施形態による、メッシュマージアルゴリズムを使用した図２に図示される２つのメッシュのマージから生じる、マージされたメッシュの画像を図示する。
図１２は、一実施形態による、３Ｄメッシュをマージする方法を図示する、フローチャートである。
図１３は、一実施形態による、３Ｄメッシュをマージする方法を図示する、フローチャートである。
具体的デバイス、技法、および用途の説明が、実施例としてのみ提供される。本明細書に説明される実施例の種々の修正は、容易に当業者に明白となり、本明細書に定義される一般原理は、本開示の精神および範囲から逸脱することなく、他の実施例および用途に適用されてもよい。したがって、本開示の実施形態は、本明細書に説明および図示される実施例に限定されることを意図するものではなく、請求項と一致する範囲内にあると見なされる。
単語「例示的」は、「実施例または例証としての役割を果たす」ことを意味するために本明細書で使用される。「例示的」として本明細書に説明される任意の側面または設計は、必ずしも、他の側面または設計より好ましいもしくは有利なものとして解釈されるべきではない。
ここで、本主題の技術の側面が詳細に参照され、その実施例は、付随の図面に図示され、同様の参照番号は、全体を通して同様の要素を指す。
本明細書に開示されるプロセスにおけるステップの具体的順序または階層は、例示的アプローチの実施例であることを理解されたい。設計選好に基づいて、本開示の範囲内に留まりながら、プロセスにおけるステップの具体的順序または階層が再配列されてもよいことを理解されたい。付随の請求項は、サンプル順序における種々のステップの要素を提示し、提示される具体的順序または階層に限定されることを意味するものではない。
本開示は、概して、３次元（３Ｄ）メッシュをマージする方法に関する。より具体的には、本開示のいくつかの実施形態は、２つまたはそれを上回る３Ｄテクスチャ処理されたメッシュを１つの大きな３Ｄテクスチャ処理されたメッシュにロバストにマージするための自動アプローチに関する。いくつかの実施形態によると、３Ｄメッシュは、ポリゴンメッシュを含んでもよい。ポリゴンメッシュは、３Ｄコンピュータグラフィックおよびソリッドモデリングにおいて多面体オブジェクトの形状を定義する、頂点、エッジ、および面の集合である。ポリゴンメッシュの面は、三角形（三角形メッシュ）、四辺形、または他の凸面ポリゴンを含んでもよい。面はまた、凹面ポリゴン、穴を伴うポリゴン、および螺旋形状を含んでもよい。
大面積の３Ｄ走査を実施するとき、面積のセクションが、個々に走査され、複数のメッシュを作成してもよく、各メッシュは、走査されている面積の個別の部分を表すことができる。例えば、建物を走査するとき、建物内の各個々の部屋ならびに廊下のセクションが、個々に走査され、複数のメッシュを作成してもよい。個々の走査によって網羅されるセクションは、ある領域内で相互に重複し得る。例えば、部屋の走査は、部屋の入口に隣接する面積内の廊下の走査と重複し得る。本開示の実施形態は、複数のメッシュの１つの大メッシュへのコンピュータ化されたマージの方法を提供し得る。
いくつかの実施形態では、大メッシュにマージされるべきいくつかの入力メッシュが存在するとき、入力メッシュは、そのサイズの順序で連続してマージされてもよい。例えば、メッシュのサイズは、その境界ボックスの体積の観点から測定されてもよい。境界ボックスは、メッシュを含有する、最小長方形３Ｄ空間として定義されてもよい。いくつかの実施形態では、入力メッシュは、メッシュサイズの降順、すなわち、｛Ｍ０，Ｍ１，…，Ｍｋ，…，Ｍｎ｝におけるシーケンスを取得するようにソートされることができ、Ｍｋは、ｋ番目の最大体積を伴うメッシュである。マージプロセスは、最大サイズ：Ｍ＝Ｍ０のメッシュから開始してもよい。最大メッシュＭ０は、シーケンス内の他のメッシュと連続してマージされ、最新のマージされたメッシュ、すなわち、Ｍ＝ｍｅｒｇｅ（Ｍ，Ｍｋ）｛ｋ＝０，１，２．．．ｎ｝を取得してもよい。例えば、最大メッシュＭ０は、第２の最大メッシュＭ１とマージされ、マージされたメッシュＭ＝ｍｅｒｇｅ（Ｍ０，Ｍ１）を取得することができ、次いで、Ｍは、第３の最大メッシュＭ２とマージされ、新しいマージされたメッシュＭ＝ｍｅｒｇｅ（Ｍ，Ｍ２）を取得する等と続く。例証目的のためだけに、以下は、２つのメッシュをマージするプロセスを実施例として説明し、マージするプロセスを説明するであろう。本開示の実施形態は、２つのみのメッシュをマージすることに限定されず、任意の数のメッシュをマージすることに適用されることができることを理解されたい。
図１は、一実施形態による、２つまたはそれを上回る３Ｄメッシュをマージする方法１００を図示する、フローチャートである。方法１００は、以下のステップ、すなわち、２つまたはそれを上回る入力メッシュの受信（１１０）と、空間整合（１２０）と、メッシュクリッピング（１３０）と、幾何学形状精緻化（１４０）と、テクスチャブレンディング（１５０）と、マージされたメッシュの出力（１６０）とを含んでもよい。これらのステップのうちのいくつかは、随意であってもよい。前述のように、受信されたメッシュは、３次元（３Ｄ）であってもよく、三角形（三角形メッシュ）、四辺形、または他の凸面ポリゴンに基づくコンポーネントを含んでもよい。三角形メッシュが、本明細書で議論されるが、本開示の実施形態は、三角形メッシュに限定されない。方法１００は、プロセッサと、命令を記憶する非一過性コンピュータ可読記憶媒体とを含む、コンピュータシステムによって実装されてもよい。
空間整合（１２０）のステップでは、２つの（またはそれを上回る）入力メッシュが、剛体変換（例えば、回転および平行移動変換）によって、相互に対して正確に整合され得る。２つの入力メッシュは、最初に、システムによって実施される後続空間整合のために、ユーザによって近似開始点として整合されてもよい。システムは、２つのメッシュ間の重複領域を識別し、重複領域を密化してもよい。次いで、剛体変換は、システムによって、２つのメッシュを３Ｄ空間内で正確に整合させるように最適化されることができる。
高品質マージを達成するために、メッシュクリッピングが、適用され、自動的に、重複領域内の幾何学的に冗長な三角形をクリッピングオフしてもよい。メッシュクリッピング（１３０）のステップでは、両メッシュを含有するボクセル化された体積内（すなわち、重複領域内）のクリッピングが、適用されてもよい。メッシュクリッピングは、以下の制約、すなわち、（１）交差制約（例えば、メッシュクリッピングは、メッシュが交差する場所に適用されてもよい）、（２）境界制約（例えば、メッシュクリッピングは、メッシュ境界からより離れて適用されてもよい）、および（３）テクスチャ品質制約（例えば、メッシュクリッピングは、そのテクスチャが殆ど色特徴を含まない三角形上で実施されてもよい）を受けてもよい。
幾何学形状精緻化（１４０）のステップでは、クリッピングされたメッシュは、本明細書では、「クリッピングシーム」と称され得る、クリッピング境界に沿って、１つのメッシュから別のメッシュへとシームレスかつ平滑な遷移を作成するように、より良好な幾何学形状のために局所的に精緻化されてもよい。メッシュクリッピング（１３０）のステップ後、小穴が、クリッピングシームの周囲に生成され得る。幾何学形状精緻化アルゴリズムは、クリッピングシームに沿ってクリッピングされたメッシュを「成長」または拡張させ、小マージ帯を作成することができる。クリッピングされたメッシュをクリッピングシームに沿って「成長」させることによって、マージ帯内のメッシュコンポーネントは、局所的に調節され、クリッピング穴を閉鎖し得る。幾何学形状精緻化は、クリッピングシームに沿って連続（例えば、完璧な）幾何学的遷移を生成し得る。
色不一致が、メッシュ連結面積内に存在し得、これは、視覚的アーチファクトとして結果として生じるメッシュ内に現れ得る。テクスチャブレンディング（１５０）のステップでは、メッシュ連結面積内の色テクスチャが、ブレンディングされ、視覚的に平滑な遷移を生成することができる。テクスチャブレンディング（１５０）の本ステップは、異なるメッシュテクスチャからの色を混合し、遷移面積内のブレンディング加重を徐々に変化させることを目的とする。１２０、１３０、１４０、および１５０のステップ後の最終のマージされたメッシュが、次いで、出力され得る（１６０）。
図１に図示される３Ｄメッシュをマージするための方法１００のステップ１２０、１３０、１４０、および１５０は、以下にさらに詳細に説明される。
Ａ．空間整合
２つのメッシュを正確にマージするために、２つのメッシュは、３Ｄ空間内の連結領域内で正しく位置合わせされる必要があり得る。２つの入力メッシュは、異なる走査から生じ得、したがって、非関連配向および平行移動を有してもよい。図２は、一実施形態による、２つのメッシュの画像を図示する。２つのメッシュは、家の内部の画像を含む。２つのメッシュは、家内に階段を含む、領域２１０内で重複する。図示されるように、２つのメッシュは、重複領域２１０内で相互に対して不整合である。
空間整合アルゴリズムは、その対応する領域が正しく重複し得るように、剛体変換を見出し、第１のメッシュ（ソースメッシュと称され得る）を第２のメッシュ（標的メッシュと称され得る）に対して位置合わせしてもよい。したがって、基本問題は、２つのメッシュが重複すべき局所対応を確立するための方法と、第２のメッシュに対して位置合わせされるように、剛体変換マトリクスを取得し、第１のメッシュを平行移動および回転させる方法としてまとめられ得る。
いくつかの実施形態によると、空間整合アルゴリズムは、反復最近傍点（ＩＣＰ）およびスプリアス三角形検出に基づいてもよい。ＩＣＰアルゴリズムは、剛体変換の初期推測を前提として３次元モデルを整合させる際に使用されるアルゴリズムである。ＩＣＰアルゴリズムでは、第１のメッシュ、すなわち、標的メッシュは、固定されて保たれる一方、第２のメッシュ、すなわち、ソースメッシュは、変換され（平行移動および回転の組み合わせ）、標的メッシュに最良マッチングする。ＩＣＰアルゴリズムは、エラーメトリック、通常、ソースメッシュから標的メッシュまでの距離を最小にするために必要とされる変換を反復的に改訂する。
図３は、一実施形態による、２つのメッシュ間の空間整合の方法３００を図示する、フローチャートである。２つのメッシュのうちの第１のメッシュは、本明細書では、メッシュＡと称され得、２つのメッシュのうちの第２のメッシュは、本明細書では、メッシュＢと称され得る。メッシュＡおよびメッシュＢはそれぞれ、その共通のエッジまたは角によって接続される、メッシュ三角形のセットを含んでもよい。各三角形は、三角形の角における３つの頂点によって定義され得る。
方法３００は、メッシュＡとメッシュＢとの間の重複領域を識別するステップ（３０２）と、重複領域の境界ボックスを識別するステップ（３０４）とを含むことができる。境界ボックスは、重複領域を含有する、３Ｄ長方形空間として定義され得る。いくつかの実施形態では、境界ボックスを識別するステップは、重複領域を含有する最小３Ｄ長方形空間であり得る、初期境界ボックスを識別するステップと、次いで、初期境界ボックスをより緩和された境界ボックスを取得するためのサイズ係数でスケーリングするステップとを含んでもよい。緩和された境界ボックスは、初期境界ボックスより大きい体積を有してもよい。例えば、初期境界ボックスは、サイズ係数２．０によってスケーリングされ、緩和された境界ボックスを取得してもよい。
方法３００はさらに、エッジ分割によって、境界ボックスの内側のメッシュＡおよびメッシュＢ内のメッシュ三角形を密化させ、メッシュＡ｛ＶＡ｝に関する密化されたメッシュ頂点のセットと、メッシュＢ｛ＶＢ｝に関する密化されたメッシュ頂点のセットとを含む、２つの高密度点群を取得するステップ（３０６）を含むことができる。境界ボックスの内側のメッシュ三角形を密化させるステップ（３０６）は、いくつかの実施形態では、随意であってもよい。
方法３００はさらに、境界ボックス内のメッシュＡ｛ＶＡ｝の個別の頂点毎に、メッシュＢ｛ＶＢ｝内の対応する最近傍頂点を検索し、それによって、１つまたはそれを上回るマッチングペアを確立するステップ（３０８）を含むことができる。各マッチングペアは、図４Ａに図式的に図示されるように、メッシュＡの個別の頂点と、メッシュＢの対応する最近傍頂点とを含んでもよい。
いくつかの実施形態では、方法３００はさらに、誤マッチングペアを１つまたはそれを上回るマッチングペアから除去するステップ（３１０）を含むことができる。誤マッチングは、法線不一致およびスプリアス三角形に起因して生じ得る。純粋な点群と異なり、メッシュ頂点は、頂点に隣接する三角形の配向を示すための法線ベクトルを有し得る。例えば、メッシュ頂点は、いくつかの接続される三角形によって共有され得、各三角形は、個別の法線ベクトルを有し得る。メッシュ頂点の法線ベクトルは、頂点を共有する三角形の法線ベクトルの平均として定義されることができる。マッチングペアは、メッシュＡ｛ＶＡ｝の頂点の法線ベクトルが、メッシュＢ｛ＶＢ｝内の対応する頂点の法線ベクトルと有意に異なる場合、誤マッチングである可能性が高くなり得る。したがって、いくつかの実施形態によると、方法３００は、マッチングされた頂点間のその法線ベクトルの差異が所定の閾値を超える、マッチングペアを除外してもよい。誤マッチングはまた、スプリアス三角形に起因して生じ得る。スプリアス三角形は、種々の理由から実際の幾何学形状を良好に表さない場合がある、低品質三角形である。スプリアス三角形の検出は、以下により詳細に説明されるであろう。
方法３００はさらに、各マッチングペア内のメッシュＡの各個別の頂点とメッシュＢの対応する最近傍頂点との間の距離を最小にするように、メッシュＡに適用されるべき剛体変換を判定するステップ（３１２）と、剛体変換を使用して、メッシュＡを回転および平行移動させるステップ（３１４）とを含むことができる。図４Ｂは、剛体変換が適用された後のメッシュＡおよびメッシュＢを図式的に図示する。
ステップ３０８、３１０、および３１２は、収束に到達するまで、数回にわたって反復されてもよい。エラーが所定の閾値を下回るとき、収束に到達したと判定されることができ、エラーは、メッシュＡの各個別の頂点とメッシュＢの対応する最近傍頂点との間の距離の和として定義されることができる。図４Ｃは、収束に到達した後のメッシュＡおよびメッシュＢを図式的に図示する。
図５は、一実施形態による、空間整合プロシージャ後の図２に図示される２つのメッシュの画像を図示する。図示されるように、２つのメッシュは、ここで、重複領域５１０内で相互に対して適切に整合される。
Ｂ．スプリアス三角形検出
３Ｄ走査から生成されたメッシュは、不十分な捕捉、不適切な照明、極端な視野角、および同等物等、種々の理由から実際の幾何学形状を良好に表さない、いくつかの低品質三角形を含有し得る。スプリアス三角形と称され得る、これらの低品質三角形は、潜在的に、ＩＣＰアルゴリズムを正しくない変換に収束させることにつながり得る。したがって、ＩＣＰアルゴリズムを適用する前に、スプリアス三角形から生じた誤マッチングペアを除去することが、有利であり得る。スプリアス三角形の検出は、いくつかの理由から困難であり得る。例えば、メッシュは、多くの場合、恣意的形状、複雑なトポロジ、ならびに変動する場所および配向を有する、面積を含み得る。加えて、スプリアス三角形を実際の幾何学形状詳細をエンコードする良好な品質の三角形から区別することも困難であり得る。
いくつかの実施形態によると、スプリアス三角形を検出する方法は、２つのメッシュの近傍領域を比較し、比較的に小さい法線一致パッチを含む、スプリアス領域を識別するステップを伴い得る。メッシュ内の所与の頂点に関して、その「法線一致接続群」（ＮＣＮＧ）は、その法線ベクトルが所与の頂点の法線ベクトルに類似する、エッジ接続三角形の群として定義されてもよい。言い換えると、所与の頂点のＮＣＮＧは、所与の頂点を含有し、メッシュパッチ内の三角形の法線ベクトル間に小変動を有する、メッシュパッチであり得る。したがって、用語「法線一致」は、それに沿って１つの頂点の法線ベクトルおよび別の頂点の法線ベクトルが指向される、一致方向を指す。一般に、比較的に小さいＮＣＮＧを有する三角形は、スプリアスである可能性がより高くなり得る。しかしながら、単に、小さいＮＣＮＧを有する全ての三角形をスプリアスと見なすことは、非常に詳細なオブジェクトもまた多くの小さいＮＣＮＧを含有し得るため、誤検知をもたらし得る。例えば、シャンデリアは、スプリアスとして誤って分類され得る、多くの細かいＮＣＮＧを有し得る。したがって、ある実施形態によると、メッシュＡ内の頂点のＮＣＮＧが、スプリアス三角形を検出するために、メッシュＢ内の対応する頂点のＮＣＮＧと比較される。メッシュＢ内の頂点のＮＣＮＧが、メッシュＡ内の対応する頂点のＮＣＮＧより有意に小さい面積を有する場合、メッシュＢ内の頂点がスプリアス三角形に属する可能性が非常に高くなり得る。同様に、メッシュＡ内の頂点のＮＣＮＧが、メッシュＢ内の対応する頂点のＮＣＮＧより有意に小さい面積を有する場合、メッシュＡ内の頂点がスプリアス三角形に属する可能性が非常に高くなり得る。いくつかの実施形態によると、メッシュＡ内の頂点のＮＣＮＧの面積とメッシュＢ内の対応する頂点のＮＣＮＧの面積との間の比率が、所定の閾値を上回る場合、頂点ペアは、誤マッチングとして分類され得る。本所定の閾値は、特定の用途に応じて、例えば、２〜１０で変動し得る。当業者は、多くの変形例、修正、および代替を認識するであろう。
図６は、一実施形態による、誤マッチングが検出され得る実施例を図示する、概略図である。本実施例では、環境の実際の幾何学形状は、平面であって、これは、メッシュＡと一致する。メッシュＡ内の所与の頂点６０４に関して、その頂点ＮＣＮＧ（Ａ）のＮＣＮＧは、平面全体であり得る。対照的に、メッシュＢは、頂点６０２の周囲の小隆起を含む。したがって、頂点６０２ ＮＣＮＧ（Ｂ）のＮＣＮＧは、はるかに小さい面積を有し得る。したがって、頂点６０２は、スプリアス三角形に属し、頂点ペア６０４および６０２は、誤マッチングであることが判定され得る。
スプリアス三角形を検出する１つのアプローチは、ＩＣＰアルゴリズムによってマッチングされた頂点毎に、ＮＣＮＧを検索するステップを含んでもよい。しかしながら、密化されたメッシュ領域が、多数の頂点を有し得るため、そのようなアプローチの算出コストは、非常に高くなり得る。いくつかの実施形態によると、アルゴリズムは、法線サンプリングに基づいて、全ての頂点のＮＣＮＧを推定するように構成されてもよい。全ての頂点の法線を使用してＮＣＮＧを検索するのではなく、本アルゴリズムは、ｘ度毎に法線方向を近似としてサンプリングし得、ｘは、５度、１０度、および同等物であり得る。いくつかの実施形態では、法線サンプリングは、極性角度および方位角角度を含む、球状座標内で行われ、それによって、（３６０／ｘ＊１８０／ｘ）の数のサンプリングされる法線を生成し得、これは、全ての頂点に関する法線の総数を有意に下回り得る。
法線サンプリングアルゴリズムは、Ｏ（ｓ＊ｎ）の線形時間複雑度を有し得、ｓは、サンプリングされる方向の数であって、ｎは、全ての頂点の数である。対照的に、頂点毎アルゴリズムは、Ｏ（ｎ２）の線形時間複雑度を有し得る。したがって、法線サンプリングアルゴリズムは、ｓがｎを有意に下回り得るため、頂点毎アルゴリズムより有意に効率的であり得る。さらに、種々の方向におけるサンプリングは、相互から独立するため、法線サンプリングアルゴリズムは、サンプルを並行して起動させ得る。いくつかの実施形態では、平行アルゴリズムは、マルチコア中央処理ユニット（ＣＰＵ）またはグラフィック処理ユニット（ＧＰＵ）上で実装されてもよく、これはさらに、スプリアス三角形検出の効率を改良し得る。
Ｃ．メッシュクリッピング
２つのメッシュが、３Ｄ空間内で相互に対して整合された後、重複領域内のいくつかのメッシュ頂点は、両メッシュによって捕捉され得るため、冗長であり得る。いくつかの実施形態によると、冗長頂点は、クリッピングオフ（すなわち、除去）されてもよい。いくつかの理由から、冗長頂点をクリッピングオフすることが、有利であり得る。例えば、冗長メッシュ三角形は、相互に対して異なる幾何学形状およびテクスチャを有し得、したがって、クリッピングされない場合、潜在的に、明らかなアーチファクトとして示され得る。加えて、許容走査範囲に隣接する領域は、不正確な幾何学形状およびテクスチャを有し得る。したがって、それらの領域内の頂点をクリッピングオフすることが、有利であり得る。
いくつかの実施形態によると、メッシュクリッピングは、自動エネルギー最小化プロシージャによって実施されてもよい。本プロシージャでは、メッシュ重複領域の境界ボックスは、クリッピング体積と見なされ得る。クリッピング体積は、次いで、ボクセルのグリッドＶとしてラスタされてもよい。図７Ａは、いくつかの実施形態による、メッシュクリッピングプロシージャが、２つのメッシュ、すなわち、メッシュＡおよびメッシュＢに適用され得る、例示的ボクセルのグリッドの２次元図を図示する、概略図である。グリッド内の各正方形は、ボクセルを表す。図示されるように、２つのメッシュは、領域７１０内で重複する。
自動エネルギー最小化プロシージャでは、メッシュクリッピングは、ボクセルラベル付け問題としてまとめられ得る。バイナリラベルｆｖが、以下のように、各ボクセルｖに割り当てられ、それをメッシュＡボクセルまたはメッシュＢボクセルのいずれかとして分類してもよい。
メッシュ頂点は、他のメッシュとしてラベル付けされたボクセル内にあるとき、クリッピングオフされてもよい。
いくつかの実施形態では、目標は、以下のエネルギー関数を最小にするｖ毎にラベル付けｆｖを見出すことであってもよい。
式中、Ｎ⊂Ｖ×Ｖは、ボクセルのＮ６近傍系である。各ボクセルは、ボクセルがどのようにメッシュと交差するかに応じて、ボクセルの４つのセットのうちの１つに事前に分類されてもよい。すなわち、Ｖａは、メッシュＡのみと交差する、ボクセルのセットであって、Ｖｂは、メッシュＢのみと交差する、ボクセルのセットであって、Ｖｓは、メッシュＡおよびメッシュＢの両方と交差する、ボクセルのセットであって、Ｖｅは、メッシュＡまたはメッシュＢのいずれとも交差しない、ボクセルのセットである。例えば、図７Ａに図示される実施例では、左斜線平行線で充填されたボクセルは、Ｖａボクセルとして事前に分類され、右斜線平行線で充填されたボクセルは、Ｖｂボクセルとして事前に分類され、交差線で充填されるボクセルは、Ｖｓボクセルとして事前に分類され、白色ボクセルは、Ｖｅボクセルとして事前に分類される。
前述の方程式では、項Ｄ（ｆｖ）は、データ項と称され得る。データ項Ｄ（ｆｖ）は、ボクセルの事前知識に既知のラベルを付すように設計され得る。クリッピングプロセスにおいて非交差領域を保存することが好ましくあり得るため、データ項Ｄ（ｆｖ）は、ｖが、非交差領域内にあって、ラベルｆｖが、ボクセルに関する既知のラベルと矛盾する場合、ラベルｆｖにペナルティを課すように構築されることができる。実施例として、データ項Ｄ（ｆｖ）は、以下のように定義されてもよい。
式中、ｃｄは、正コスト値である。言い換えると、ラベルをボクセルに関する既知のラベルと矛盾する非交差領域内のボクセルに割り当てることは、正「コスト」ｃｄを被り得る。
項Ｂ（ｆｖ）は、境界項と称され得る。メッシュの境界の近傍のメッシュ三角形は、スキャナの走査範囲限界に近接し得、捕捉ビューを欠き得るため、低品質を有し得る。したがって、各メッシュの境界面積内の頂点をクリッピングオフすることが、有利であり得る。境界項Ｂ（ｆｖ）は、徐々に増加するエネルギーをメッシュ境界に接近するボクセルに割り当てるように構築され得る。実施例として、境界項は、以下のように定義されてもよい。
中、ｄｖは、ボクセルｖからメッシュ境界までのメッシュ表面に沿った測地線距離であって、ｃｍｉｎおよびｃｍａｘは、それぞれ、最小境界「コスト」および最大境界「コスト」を表す、正定数であって、ｄｍａｘは、メッシュ境界面積内で考慮されるボクセルに関する最大測地線距離である。
項Ｈ（ｆｖｉ,ｆｖｊ）は、交差項と称され得る。ボクセルが両メッシュと交差する領域内にカッティングシームを設置することが、有利であり得る。したがって、交差項Ｈ（ｆｖｉ,ｆｖｊ）は、その累積エネルギーが、依然として、ＶａまたはＶｂ内の１つのボクセルより低くなるように、はるかに低いエネルギーをボクセルＶＳに割り当てるように構築されてもよい。加えて、Ｖｅ内の空ボクセルは、さらにより低いエネルギーを割り当てられ、その累積エネルギーが、依然として、ＶＳ内のボクセルより低いことを確実にしてもよい。実施例として、交差項Ｈ（ｆｖｉ,ｆｖｊ）は、以下のように定義されてもよい。
式中、ｎは、ボクセルの総数であって、ｋは、ＶＳ内のボクセルの数である。
項Ｔ（ｆｖｉ,ｆｖｊ）は、テクスチャ項と称され得る。メッシュクリッピングプロセスにおいてメッシュの色特徴の破綻または干渉を回避することが、有利であり得る。したがって、カッティングされるべき面積は、殆ど色特徴が存在しないメッシュ面積であってもよい。例えば、屋内の部屋を表すメッシュに関して、白色壁を表すメッシュ面積上のカッティングは、多彩壁面を表すメッシュ面積上のカッティングよりはるかに平滑な色遷移を生成し得る。いくつかの実施形態によると、テクスチャ項Ｔ（ｆｖｉ,ｆｖｊ）は、判別可能色特徴を伴う面積上のクリッピングにペナルティを課すように構築されてもよい。
実施例として、テクスチャ項（ｆｖｉ,ｆｖｊ）は、以下のように定義されてもよい。
式中、ｃｉは、ボクセルｖｉに心合されるテクスチャパッチ色の標準偏差であって、ｋは、ＶＳ内のボクセルの数である。
いくつかの実施形態によると、エネルギー最小化問題は、グラフカットおよび同等物等の離散最適化アルゴリズムを使用して解法されてもよい。
図７Ｂは、一実施形態による、メッシュクリッピングプロシージャが実施された後の図７Ａに図示されるような２つのメッシュ、すなわち、メッシュＡおよびメッシュＢを図示する、概略図である。
図８Ａおよび８Ｂは、それぞれ、一実施形態による、メッシュクリッピングプロシージャ前後の図５に図示される２つのメッシュの重複領域５１０（すなわち、家の階段を表す２つのメッシュの領域）の画像である。
Ｄ．幾何学形状精緻化
メッシュクリッピングプロシージャ後、２つのメッシュは、マージされ、単一のマージされたメッシュを形成してもよい。可能な限りシームレスに現れるマージされたメッシュを作成するために、クリッピング境界の周囲のマージされたメッシュを調節し、クリッピングシームの周囲の幾何学形状およびテクスチャの両方を改良することが、有利であり得る。
いくつかの実施形態によると、幾何学形状精緻化プロセスは、局所幾何学形状変化を最小にしながら、メッシュ連結穴を閉鎖することを目的とし得る。図９Ａは、メッシュクリッピングプロシージャ後の２つのメッシュ、すなわち、メッシュＡおよびメッシュＢの例示的画像を図示する。図示されるように、クリッピングシームに沿って、クリッピング穴９１０が存在する。シームレスな遷移を取得するために、幾何学形状精緻化プロセスは、小拡張によって、クリッピングシームに沿って２つのメッシュを後方に成長させてもよい。本成長プロセスは、図９Ｂに図示されるように、メッシュＡとメッシュＢとの間の小マージ帯９２０を生成し得る。メッシュクリッピングプロシージャが、冗長メッシュ三角形の大面積をすでにトリミングしていることに留意されたい。成長プロセスは、クリッピングシームの周囲に小マージ帯が存在するように、クリッピングされた面積の小部分を戻し得る。
幾何学形状精緻化プロセス後、マージされたメッシュは、連続となり得る（すなわち、完璧に現れる）。したがって、対応する重複領域は、相互に向かって屈曲され、それらの間の空間を低減させ得る。いくつかの実施形態では、メッシュＡ内の各頂点は、メッシュＢ内のマッチング頂点に向かって平行移動されてもよく、これは、空間整合ステップにおいて見出され得る。幾何学形状精緻化プロセスは、最小の幾何学形状変化のみを導入し得るため、より大きい平行移動は、メッシュ境界の近傍の頂点に適用され、穴を閉鎖し得る一方、より小さい平行移動は、メッシュ境界からより離れた頂点に適用されることができる。いくつかの実施形態では、各頂点ｖ０からマッチング頂点ｖ１までの平行移動は、以下のように適用されてもよい。
式中、ＰＶ０およびＰＶ１は、それぞれ、マッチングされた頂点ｖ０およびｖ１の位置であって、ｄｂｍａｘは、マージ面積内のメッシュ境界までの最大測地線距離であって、ｄ０は、ｖ０からメッシュ境界までの測地線距離である。ｗは、メッシュ境界からの頂点の測地線距離に依存する、加重係数と見なされ得る。
Ｅ．テクスチャブレンディング
メッシュクリッピングプロシージャ後のマージ面積内の２つのメッシュは、例えば、異なる角度から見られるにつれた異なる照明のため、同一テクスチャを有し得ない。図１０Ａは、マージ面積の近傍のマージされたメッシュの例示的画像を図示する。マージ面積内の第１の面積１０１０および第２の面積１０２０における色は、異なる。より平滑な色遷移を生成するために、マージ面積内のテクスチャをブレンディングすることが有用であり得る。
いくつかの実施形態では、メッシュＡとメッシュＢとの間のテクセル（すなわち、テクスチャ要素またはテクスチャピクセル）対応が、最近傍点を見出すことによって確立されてもよい。テクセルの数は、非常に大きくなり得るため、ｋ−ｄツリーデータ構造が、最近傍近隣検索を加速するために使用されてもよい。ブレンディング加重は、上記に説明されるような幾何学形状精緻化プロセスにおいて使用される加重ｗに類似してもよい。そのようなテクスチャブレンディングプロシージャは、境界に接近しながら、１つのメッシュから他のメッシュへと漸次的色変化をもたらし得る。いくつかの実施形態では、遷移面積内のテクスチャは、テクセルとしてラスタされ、テクセル色にブレンディングされてもよい。一実施形態によると、テクセルブレンディング加重は、幾何学形状精緻化プロセスからの三角形加重ｗの重心補間を使用して算出されてもよい。図１０Ｂは、一実施形態による、テクスチャブレンディングプロセス後の図１０Ａに図示されるマージされたメッシュの例示的画像を図示する。
図１１は、一実施形態による、メッシュマージアルゴリズムを使用した図２に図示される２つのメッシュのマージから生じたマージされたメッシュの画像を図示する。
図１２は、一実施形態による、３Ｄメッシュをマージする方法１２００を図示する、フローチャートである。方法１２００は、第１のメッシュおよび第２のメッシュを受信するステップ（１２０２）と、空間整合を実施し、第１のメッシュを第２のメッシュに対して整合させるステップ（１２０４）と、メッシュクリッピングを第１のメッシュおよび第２のメッシュ上で実施し、冗長メッシュ頂点を除去するステップ（１２０６）と、幾何学形状精緻化をクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖するステップ（１２０８）と、テクスチャブレンディングをクリッピングシームに隣接する領域内で実施し、マージされたメッシュを取得するステップ（１２１０）とを含んでもよい。
図１３は、一実施形態による、３Ｄテクスチャ処理されたメッシュをマージする方法１３００を図示する、フローチャートである。方法１３００は、第１のメッシュおよび第２のメッシュを受信するステップ（１３０２）を含む。方法１３００はさらに、第１のメッシュおよび第２のメッシュが重複する、重複領域を識別するステップ（１３０４）と、重複領域を含有する、重複領域の境界ボックスを識別するステップ（１３０６）と、境界ボックス内の第１のメッシュの個別の頂点毎に、第２のメッシュの対応する最近傍頂点を検索し、それによって、複数のマッチングペアを確立するステップ（１３０８）とを含んでもよい。各マッチングペアは、第１のメッシュの個別の頂点と、第２のメッシュの対応する最近傍頂点とを含む。
方法１３００はさらに、複数のマッチングペアのマッチングペア毎に、第１のメッシュの個別の頂点の第１の法線一致接続群（ＮＣＮＧ）および第２のメッシュの対応する最近傍頂点の第２のＮＣＮＧを推定するステップ（１３１０）と、第１のＮＣＮＧの面積と第２のＮＣＮＧの面積との間の比率が第１の所定の閾値を上回ることの判定に応じて、第１のメッシュの個別の頂点および第２のメッシュの対応する最近傍頂点を誤マッチングペアとして分類するステップ（１３１２）と、誤マッチングペアを複数のマッチングペアから除去するステップ（１３１４）とによって、１つまたはそれを上回る誤マッチングペアを除去するステップを含んでもよい。
方法１３００はさらに、複数のマッチングペアの各マッチングペア内の第１のメッシュの個別の頂点と第２のメッシュの対応する最近傍頂点との間の距離を最小にするように、第１のメッシュに適用されるべき剛体変換を判定するステップ（１３１６）と、剛体変換を第１のメッシュに適用し、変換された第１のメッシュを取得するステップ（１３１８）とを含んでもよい。方法１３００はさらに、変換された第１のメッシュ上の第１のクリッピングシームに沿って、および第２のメッシュ上の第２のクリッピングシームに沿って、メッシュクリッピングを実施し、重複領域内の冗長メッシュ頂点を除去するステップ（１３２０）と、幾何学形状精緻化を第１のクリッピングシームおよび第２のクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖するステップ（１３２２）とを含んでもよい。
図１２および１３のそれぞれに図示される具体的ステップは、本開示のいくつかの実施形態に従って特定の方法を提供することを理解されたい。ステップの他のシーケンスもまた、代替実施形態に従って実施されてもよい。例えば、本開示の代替実施形態は、上記で概略されたステップを異なる順序で実施してもよい。さらに、図１２および１３のそれぞれに図示される個々のステップは、個々のステップの必要に応じて種々のシーケンスにおいて実施され得る、複数のサブステップを含んでもよい。さらに、ステップは、特定の用途に応じて追加または除去されてもよい。当業者は、多くの変形例、修正、および代替を認識するであろう。
本発明の種々の実施形態を上記で説明したが、それらは、限定ではなく一例のみとして提示されていることを理解されたい。同様に、種々の図面は、本開示のための構造上または他の構成例を表してもよく、これは、本開示に含まれ得る特徴および機能性を理解するのに役立つように行われる。本開示は、図示された基本設計概念または構成例に制限されず、種々の代替基本設計概念および構成を使用して実装されてもよい。加えて、本開示は、種々の例示的実施形態および実装の観点から上記で説明されるが、個別の実施形態のうちの１つまたはそれを上回るものに説明される種々の特徴および機能性は、それらの適用性において、それらが説明される特定の実施形態に限定されないことを理解されたい。代わりに、単独またはいくつかの組み合わせにおいて、本開示の他の実施形態のうちの１またはそれを上回るものに適用可能であり得、そのような実施形態が説明されるかどうかにかかわらず、かつそのような特徴が説明されるかどうかにかかわらず、実施形態の一部であるとして提示される。このように、本開示の範疇および範囲は、前述の例示的実施形態のいずれによっても限定されるべきではない。
本開示を参照して説明される種々の例示的論理ブロック、モジュール、回路、およびアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、または電子ハードウェアおよびコンピュータソフトウェアの組み合わせとして実装されてもよいことを理解し得る。例えば、モジュール／ユニットが、コンピュータ可読記憶媒体内に記憶されるソフトウェア命令を実行するプロセッサによって実装されてもよい。
付随の図面におけるフローチャートおよびブロック図は、本開示の複数の実施形態による、システムおよび方法の可能性として考えられる実装のシステムアーキテクチャ、機能、および動作を示す。この点において、フローチャートまたはブロック図内の各ブロックは、１つのモジュール、１つのプログラムセグメント、またはコードの一部を表し得、モジュール、プログラムセグメント、またはコードの一部は、規定された論理機能を実装するために使用される、１つまたはそれを上回る実行可能命令を含む。また、いくつかの代替実装では、ブロック内にマークされる機能はまた、図面にマークされるシーケンスと異なるシーケンスにおいて生じてもよいことに留意されたい。例えば、２つの連続ブロックは、実際には、実質的に並列に実行されてもよく、時として、それらはまた、逆の順序で実行されてもよく、これは、関与する機能に依存する。ブロック図および／またはフローチャート内の各ブロックならびにブロック図および／またはフローチャート内のブロックの組み合わせは、対応する機能または動作を実行するために、専用ハードウェアベースのシステムによって実装されてもよい、または専用ハードウェアおよびコンピュータ命令の組み合わせによって実装されてもよい。
本開示の実施形態は、方法、システム、またはコンピュータプログラム製品として具現化されてもよい。故に、本開示の実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、またはソフトウェアおよびハードウェアを組み合わせる実施形態の形態をとってもよい。さらに、本開示の実施形態は、コンピュータ可読プログラムコードを含有する１つまたはそれを上回るコンピュータ可読記憶媒体（限定ではないが、磁気ディスクメモリ、ＣＤ−ＲＯＭ、光学メモリ等を含む）内に具現化される、コンピュータプログラム製品の形態をとってもよい。
本開示の実施形態は、方法、デバイス（システム）、およびコンピュータプログラム製品のフロー図および／またはブロック図を参照して説明される。フロー図および／またはブロック図の各フローおよび／またはブロックならびにフロー図および／またはブロック図内のフローおよび／またはブロックの組み合わせは、コンピュータプログラム命令によって実装されてもよいことを理解されたい。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊目的コンピュータ、内蔵プロセッサ、または他のプログラマブルデータ処理デバイスのプロセッサに提供され、コンピュータまたは他のプログラマブルデータ処理デバイスのプロセッサを介して実行される、命令が、フロー図内の１つもしくはそれを上回るフローおよび／またはブロック図内の１つもしくはそれを上回るブロック内に規定された機能を実装するための手段を作成するように、機械を生成してもよい。
これらのコンピュータプログラム命令はまた、コンピュータまたは他のプログラマブルデータ処理デバイスに、コンピュータ可読メモリ内に記憶される命令が、フロー図内の１つもしくはそれを上回るフローおよび／またはブロック図内の１つもしくはそれを上回るブロック内に規定された機能を実装する、命令手段を含む、製造製品を生成するような特定の様式において機能するように指示し得る、コンピュータ可読メモリ内に記憶されてもよい。
これらのコンピュータプログラム命令はまた、コンピュータまたは他のプログラマブルデータ処理デバイスにロードされ、一連の動作ステップをコンピュータまたは他のプログラマブルデバイス上で行わせ、コンピュータまたは他のプログラマブルデバイス上で実行される命令が、フロー図内の１つもしくはそれを上回るフローおよび／またはブロック図内の１つもしくはそれを上回るブロック内に規定された機能を実装するためのステップを提供するように、コンピュータによって実装される処理を生成してもよい。典型的構成では、コンピュータデバイスは、１つまたはそれを上回る中央処理ユニット（ＣＰＵ）と、入力／出力インターフェースと、ネットワークインターフェースと、メモリとを含む。メモリは、揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、および／または不揮発性メモリ、ならびにコンピュータ可読記憶媒体内の読取専用メモリ（ＲＯＭ）またはフラッシュＲＡＭ等の同等物の形態を含んでもよい。メモリは、コンピュータ可読記憶媒体の実施例である。
コンピュータ可読記憶媒体は、プロセッサによって読取可能な情報またはデータが記憶され得る、任意のタイプの物理的メモリを指す。したがって、コンピュータ可読記憶媒体は、プロセッサに本明細書に説明される実施形態に準拠するステップまたは段階を行わせるための命令を含む、１つまたはそれを上回るプロセッサによる実行のための命令を記憶してもよい。コンピュータ可読記憶媒体は、不揮発性および揮発性媒体ならびに可撤性および非可撤性媒体を含み、情報記憶装置は、任意の方法または技術で実装されることができる。情報は、コンピュータ可読命令、データ構造およびプログラム、または他のデータのモジュールであってもよい。コンピュータ記憶媒体の実施例は、限定ではないが、相変化ランダムアクセスメモリ（ＰＲＡＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、動的ランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、電気的に消去可能なプログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたは他のメモリ技術、コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）または他の光学記憶装置、カセットテープ、テープもしくはディスク記憶装置または他の磁気記憶デバイス、もしくはコンピュータデバイスによってアクセス可能な情報を記憶するために使用され得る、任意の他の非伝送媒体を含む。コンピュータ可読記憶媒体は、非一過性であって、変調されたデータ信号および搬送波等の一過性媒体を含まない。
本書で使用される用語および語句ならびにそれらの変化例は、特に明記されない限り、限定とは対照的に非限定的として解釈されるべきである。前述の例として、「含む」という用語は、「限定ではないが、〜を含む」または同等物等を意味するものとして解釈されるべきであり、「実施例」という用語は、その包括的または限定的リストではなく、検討されている項目の例示的事例を提供するために使用され、「従来の」、「伝統的な」、「通常の」、「標準の」、「公知の」等の形容詞、および同様の意味の用語は、説明される項目を、所与の期間に、または所与の時点で利用可能な項目に限定するものとして解釈されるべきではない。しかし、代わりに、これらの用語は、現在または将来の任意の時点で、利用可能であり、公知であり得る、従来、伝統的、通常、または標準の技術を包含すると解釈されるべきである。同様に、「および」という接続詞で連結される項目群は、これらの項目のうちのそれぞれおよびあらゆるものが群に存在することを要求するものとして読まれるべきではなく、特に明記されない限り、むしろ「および／または」として解釈されるべきである。同様に、「または」という接続詞で連結される項目群は、その群の中で相互排他性を要求するものとして解釈されるべきではなく、特に明記されない限り、むしろ「および／または」として解釈されるべきである。さらに、本開示の項目、要素、またはコンポーネントは、単数形で説明もしくは請求される場合があるが、単数形への限定が明示的に記述されない限り、複数形がその範囲内であると考えられる。いくつかの場合における「１つまたはそれを上回る」、「少なくとも」、「しかし〜に制限されない」、または他の類似語句等の拡大する単語および語句の存在は、そのような拡大語句が存在しない場合の事例において、より狭義の事例が意図される、または要求されることを意味すると解釈されるべきではない。
別の実施形態によると、３Ｄテクスチャ処理されたメッシュをマージする方法は、第１のメッシュおよび第２のメッシュを受信するステップと、第１のメッシュおよび第２のメッシュが重複する、重複領域を識別するステップと、重複領域を含有する、重複領域の境界ボックスを識別するステップと、境界ボックス内の第１のメッシュの個別の頂点毎に、第２のメッシュの対応する最近傍頂点を検索し、それによって、複数のマッチングペアを確立するステップとを含む。各マッチングペアは、第１のメッシュの個別の頂点と、第２のメッシュの対応する最近傍頂点とを含む。本方法はさらに、複数のマッチングペアのマッチングペア毎に、第１のメッシュの個別の頂点の第１の法線一致接続群（ＮＣＮＧ）および第２のメッシュの対応する最近傍頂点の第２のＮＣＮＧを推定するステップと、第１のＮＣＮＧの面積と第２のＮＣＮＧの面積との間の比率が第１の所定の閾値を上回ることの判定に応じて、第１のメッシュの個別の頂点および第２のメッシュの対応する最近傍頂点を誤マッチングペアとして分類するステップと、誤マッチングペアを複数のマッチングペアから除去するステップとを含む。本方法はさらに、複数のマッチングペアの各マッチングペア内の第１のメッシュの個別の頂点と第２のメッシュの対応する最近傍頂点との間の距離を最小にするように、第１のメッシュに適用されるべき剛体変換を判定するステップと、剛体変換を第１のメッシュに適用し、変換された第１のメッシュを取得するステップとを含む。本方法はさらに、変換された第１のメッシュ上の第１のクリッピングシームに沿って、および第２のメッシュ上の第２のクリッピングシームに沿って、メッシュクリッピングを実施し、重複領域内の冗長メッシュ頂点を除去するステップと、幾何学形状精緻化を第１のクリッピングシームおよび第２のクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖するステップとを含んでもよい。
本発明は、例えば、以下を提供する。
（項目１）
３次元（３Ｄ）メッシュをマージする方法であって、上記方法は、
第１のメッシュおよび第２のメッシュを受信するステップと、
空間整合を実施し、上記第１のメッシュを上記第２のメッシュに対して位置合わせするステップであって、上記空間整合を実施するステップは、
上記第１のメッシュおよび上記第２のメッシュが重複する重複領域を識別するステップと、
上記重複領域を含有する上記重複領域の境界ボックスを識別するステップと、
上記境界ボックス内の上記第１のメッシュの個別の頂点毎に、上記第２のメッシュの対応する最近傍頂点を検索し、それによって、複数のマッチングペアを確立するステップであって、各マッチングペアは、上記第１のメッシュの個別の頂点および上記第２のメッシュの対応する最近傍頂点を備える、ステップと、
上記複数のマッチングペアのマッチングペア毎に、
上記第１のメッシュの個別の頂点の第１の法線一致接続群（ＮＣＮＧ）および上記第２のメッシュの対応する最近傍頂点の第２のＮＣＮＧを推定するステップと、
上記第１のＮＣＮＧの面積と上記第２のＮＣＮＧの面積との間の比率が第１の所定の閾値を上回ることの判定に応じて、上記第１のメッシュの個別の頂点および上記第２のメッシュの対応する最近傍頂点を誤マッチングペアとして分類するステップと、
上記誤マッチングペアを上記複数のマッチングペアから除去するステップと
によって、１つまたはそれを上回る誤マッチングペアを除去するステップと、
上記複数のマッチングペアの各マッチングペア内の第１のメッシュの個別の頂点と上記第２のメッシュの対応する最近傍頂点との間の距離を最小にするように、上記第１のメッシュに適用されるべき剛体変換を判定するステップと、
上記剛体変換を上記第１のメッシュに適用し、変換された第１のメッシュを取得するステップと
によって行われる、ステップと、
上記変換された第１のメッシュ上の第１のクリッピングシームに沿って、および上記第２のメッシュ上の第２のクリッピングシームに沿って、メッシュクリッピングを実施し、上記重複領域内の冗長メッシュ頂点を除去するステップと、
幾何学形状精緻化を上記第１のクリッピングシームおよび上記第２のクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖するステップと
を含む、方法。
（項目２）
テクスチャブレンディングを上記クリッピングシームに隣接する領域内で実施するステップをさらに含む、項目１に記載の方法。
（項目３）
空間整合を実施するステップはさらに、上記剛体変換を判定する前に、上記複数のマッチングペアのマッチングペア毎に、
上記第１のメッシュの個別の頂点の第１の法線ベクトルおよび上記第２のメッシュの対応する最近傍頂点の第２の法線ベクトルを推定するステップと、
上記第１の法線ベクトルと上記第２の法線ベクトルとの間の差異が第２の所定の閾値を上回ることの判定に応じて、上記第１のメッシュの個別の頂点および上記第２のメッシュの対応する最近傍頂点を誤マッチングペアとして分類するステップと、
上記誤マッチングペアを上記複数のマッチングペアから除去するステップと
を含む、項目１に記載の方法。
（項目４）
メッシュクリッピングを実施するステップは、
上記重複領域の境界ボックスをボクセルのグリッドとしてラスタするステップと、
データ項、境界項、交差項、およびテクスチャ項を含むエネルギー関数を使用して、エネルギー最小化プロシージャを適用することによって、上記ボクセルのグリッド内の各ボクセルを第１のメッシュボクセルおよび第２のメッシュボクセルのうちの１つとしてラベル付けするステップと、
上記第１のメッシュの個別の頂点が第２のメッシュボクセルとしてラベル付けされたボクセル内にあるときの上記第１のメッシュの各個別の頂点と、上記第２のメッシュの個別の頂点が第１のメッシュボクセルとしてラベル付けされたボクセル内にあるときの上記第２のメッシュの各個別の頂点とをクリッピングオフするステップと
を含む、項目１に記載の方法。
（項目５）
上記重複領域の境界ボックスをテクセルのグリッドとしてラスタするステップと、
上記第１のメッシュの個別のテクセル毎に、上記第２のメッシュの対応するテクセルを識別するステップと、
上記個別のテクセルから上記クリッピングシームまでの距離の減少に伴って増加するブレンディング加重を使用して、上記第１のメッシュの各個別のテクセルのテクスチャと、上記第２のメッシュの対応するテクセルのテクスチャとをブレンディングするステップと
によって、上記第１のメッシュおよび上記第２のメッシュのテクスチャブレンディングを実施するステップをさらに含む、項目１に記載の方法。
（項目６）
１つまたはそれを上回る誤マッチングペアを除去するステップは、法線ベクトルサンプリングアルゴリズムを適用することによって実施される、項目１に記載の方法。
（項目７）
３次元（３Ｄ）テクスチャ処理されたメッシュをマージする方法であって、上記方法は、
第１のメッシュおよび第２のメッシュを受信するステップと、
空間整合を実施し、上記第１のメッシュを上記第２のメッシュに対して整合させるステップと、
メッシュクリッピングを上記第１のメッシュおよび上記第２のメッシュ上で実施し、冗長メッシュ頂点を除去するステップと、
幾何学形状精緻化をクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖するステップと、
テクスチャブレンディングを上記クリッピングシームに隣接する領域内で実施し、マージされたメッシュを取得するステップと
を含む、方法。
（項目８）
空間整合を実施するステップは、
上記第１のメッシュおよび上記第２のメッシュが重複する重複領域を識別するステップと、
上記重複領域を含有する上記重複領域の境界ボックスを識別するステップと、
上記境界ボックス内の上記第１のメッシュの個別の頂点毎に、上記第２のメッシュ内の対応する最近傍頂点を検索し、それによって、複数のマッチングペアを確立するステップであって、各マッチングペアは、上記第１のメッシュの個別の頂点および上記第２のメッシュの対応する最近傍頂点を備える、ステップと、
上記複数のマッチングペアから１つまたはそれを上回る誤マッチングペアを除去するステップと、
上記複数のマッチングペアの各マッチングペア内の第１のメッシュの個別の頂点と上記第２のメッシュの対応する最近傍頂点との間の距離を最小にするように、上記第１のメッシュに適用されるべき剛体変換を判定するステップと、
上記剛体変換を使用して、上記第１のメッシュを回転および平行移動させるステップと
を含む、項目７に記載の方法。
（項目９）
収束に到達するまで、数回にわたって、上記境界ボックス内の上記第１のメッシュの個別の頂点毎に、上記第２のメッシュの対応する最近傍頂点を検索するステップと、上記複数のマッチングペアのマッチングペア毎に、１つまたはそれを上回る誤マッチングペアを除去するステップと、剛体変換を判定するステップと、上記剛体変換を使用して、上記第１のメッシュを回転および平行移動させるステップとを反復するステップをさらに含む、項目８に記載の方法。
（項目１０）
上記境界ボックスを識別するステップは、
上記重複領域を含有する初期境界ボックスを識別するステップと、
上記初期境界ボックスをスケーリング係数でスケーリングし、上記境界ボックスを取得するステップと
を含む、項目８に記載の方法。
（項目１１）
上記第２のメッシュの対応する最近傍頂点を検索する前に、エッジ分割を通して、上記境界ボックスの内側のメッシュ三角形を密化させ、上記境界ボックスの内側の上記第１のメッシュおよび上記第２のメッシュの密化された頂点を取得するステップをさらに含む、項目８に記載の方法。
（項目１２）
上記１つまたはそれを上回る誤マッチングペアを除去するステップは、
上記第１のメッシュの個別の頂点の第１の法線ベクトルおよび上記第２のメッシュの対応する最近傍頂点の第２の法線ベクトルを推定するステップと、
上記第１の法線ベクトルと上記第２の法線ベクトルとの間の差異が所定の閾値を上回ることの判定に応じて、上記第１のメッシュの個別の頂点および上記第２のメッシュの対応する最近傍頂点を誤マッチングペアとして分類するステップと、
上記第１のメッシュ内の個別の頂点および上記第２のメッシュ内の対応する最近傍頂点を上記複数のマッチングペアから除去するステップと
を含む、項目８に記載の方法。
（項目１３）
上記１つまたはそれを上回る誤マッチングペアを除去するステップは、
上記第１のメッシュの個別の頂点の第１の法線一致接続群（ＮＣＮＧ）および上記第２のメッシュの対応する最近傍頂点の第２のＮＣＮＧを推定するステップと、
上記第１のＮＣＮＧの面積と上記第２のＮＣＮＧの面積との間の比率が所定の閾値を上回ることの判定に応じて、上記第１のメッシュ内の個別の頂点および上記第２のメッシュ内の対応する最近傍頂点を上記１つまたはそれを上回る誤マッチングペアのうちの１つとして分類するステップと、
上記第１のメッシュ内の個別の頂点および上記第２のメッシュ内の対応する最近傍頂点を上記複数のマッチングペアから除去するステップと
を含む、項目８に記載の方法。
（項目１４）
上記１つまたはそれを上回る誤マッチングペアを除去するステップは、法線ベクトルサンプリングアルゴリズムを適用することによって実施される、項目１３に記載の方法。
（項目１５）
メッシュクリッピングを実施するステップは、
上記第１のメッシュおよび上記第２のメッシュが重複する重複領域を識別するステップと、
上記重複領域を含有する上記重複領域の境界ボックスを識別するステップと、
上記重複領域の境界ボックスをボクセルのグリッドとしてラスタするステップと、
エネルギー関数を使用して、エネルギー最小化プロシージャを適用することによって、上記ボクセルのグリッド内の各ボクセルを第１のメッシュボクセルおよび第２のメッシュボクセルのうちの１つとしてラベル付けするステップと、
上記第１のメッシュの個別の頂点が第２のメッシュボクセルとしてラベル付けされたボクセル内にあるとき、上記第１のメッシュの各個別の頂点をクリッピングオフするステップと、
上記第２のメッシュの個別の頂点が第１のメッシュボクセルとしてラベル付けされたボクセル内にあるとき、上記第２のメッシュの各個別の頂点をクリッピングオフするステップと
を含む、項目７に記載の方法。
（項目１６）
上記エネルギー関数は、上記ボクセルが上記第２のメッシュとのみ交差するとき、ボクセルを第１のメッシュボクセルとしてラベル付けし、上記ボクセルが上記第１のメッシュとのみ交差するとき、ボクセルを第２のメッシュボクセルとしてラベル付けするための正コスト値を割り当て、そうでなければ、ゼロ値を割り当てる、データ項を含む、項目１５に記載の方法。
（項目１７）
上記エネルギー関数は、上記ボクセルと上記第１のメッシュの境界との間の距離を減少させるために、ボクセルを第１のメッシュボクセルとしてラベル付けし、上記ボクセルと上記第２のメッシュの境界との間の距離を減少させるために、ボクセルを第２のメッシュボクセルとしてラベル付けするための増加正コスト値を割り当てる境界項を含む、項目１５に記載の方法。
（項目１８）
上記エネルギー関数は、交差項およびテクスチャ項を含み、
上記交差項は、上記第１のメッシュのみまたは上記第２のメッシュのみと交差するボクセルより低いコスト値を上記第１のメッシュおよび上記第２のメッシュの両方と交差するボクセルに割り当て、
上記テクスチャ項は、より低い色変動を有するボクセルより高い色変動を有するボクセルにより高いコスト値を割り当てる、
項目１５に記載の方法。
（項目１９）
テクスチャブレンディングを実施するステップは、
上記第１のメッシュおよび上記第２のメッシュが重複する重複領域を識別するステップと、
上記重複領域を含有する上記重複領域の境界ボックスを識別するステップと、
上記重複領域の境界ボックスをテクセルのグリッドとしてラスタするステップと、
上記第１のメッシュの個別のテクセル毎に、上記第２のメッシュの対応するテクセルを識別するステップと、
上記個別のテクセルから上記クリッピングシームまでの距離の減少に伴って増加するブレンディング加重を使用して、上記第１のメッシュの各個別のテクセルのテクスチャと、上記第２のメッシュの対応するテクセルのテクスチャとをブレンディングするステップと
を含む、項目８に記載の方法。
（項目２０）
コンピュータ可読記憶媒体上で有形に具現化される複数のコンピュータ可読命令を備える非一過性コンピュータ可読記憶媒体であって、上記複数の命令は、コンピュータプロセッサによって実行されると、３次元（３Ｄ）テクスチャ処理されたメッシュをマージするステップを実施し、上記複数の命令は、
上記コンピュータプロセッサに、第１のメッシュおよび第２のメッシュを受信させる命令と、
上記コンピュータプロセッサに、空間整合を実施し、上記第１のメッシュおよび上記第２のメッシュを共通世界座標系内で位置合わせさせる命令と、
上記コンピュータプロセッサに、メッシュクリッピングを上記第１のメッシュおよび上記第２のメッシュ上で実施し、冗長メッシュ頂点を除去させる命令と、
上記コンピュータプロセッサに、幾何学形状精緻化をクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖させる命令と、
上記コンピュータプロセッサに、テクスチャブレンディングを上記クリッピングシームに隣接する領域内で実施し、マージされたメッシュを取得させる命令と
を備える、非一過性コンピュータ可読記憶媒体。

Claims (20)

  1. ３次元（３Ｄ）メッシュをマージする方法であって、前記方法は、
    第１のメッシュおよび第２のメッシュを受信するステップと、
    空間整合を実施し、前記第１のメッシュを前記第２のメッシュに対して位置合わせするステップであって、前記空間整合を実施するステップは、
    前記第１のメッシュおよび前記第２のメッシュが重複する重複領域を識別するステップと、
    前記重複領域を含有する前記重複領域の境界ボックスを識別するステップと、
    前記境界ボックス内の前記第１のメッシュの個別の頂点毎に、前記第２のメッシュの対応する最近傍頂点を検索し、それによって、複数のマッチングペアを確立するステップであって、各マッチングペアは、前記第１のメッシュの個別の頂点および前記第２のメッシュの対応する最近傍頂点を備える、ステップと、
    前記複数のマッチングペアのマッチングペア毎に、
    前記第１のメッシュの個別の頂点の第１の法線一致接続群（ＮＣＮＧ）および前記第２のメッシュの対応する最近傍頂点の第２のＮＣＮＧを推定するステップと、
    前記第１のＮＣＮＧの面積と前記第２のＮＣＮＧの面積との間の比率が第１の所定の閾値を上回ることの判定に応じて、前記第１のメッシュの個別の頂点および前記第２のメッシュの対応する最近傍頂点を誤マッチングペアとして分類するステップと、
    前記誤マッチングペアを前記複数のマッチングペアから除去するステップと
    によって、１つまたはそれを上回る誤マッチングペアを除去するステップと、
    前記複数のマッチングペアの各マッチングペア内の第１のメッシュの個別の頂点と前記第２のメッシュの対応する最近傍頂点との間の距離を最小にするように、前記第１のメッシュに適用されるべき剛体変換を判定するステップと、
    前記剛体変換を前記第１のメッシュに適用し、変換された第１のメッシュを取得するステップと
    によって行われる、ステップと、
    前記変換された第１のメッシュ上の第１のクリッピングシームに沿って、および前記第２のメッシュ上の第２のクリッピングシームに沿って、メッシュクリッピングを実施し、前記重複領域内の冗長メッシュ頂点を除去するステップと、
    幾何学形状精緻化を前記第１のクリッピングシームおよび前記第２のクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖するステップと
    を含む、方法。
  2. テクスチャブレンディングを前記クリッピングシームに隣接する領域内で実施するステップをさらに含む、請求項１に記載の方法。
  3. 空間整合を実施するステップはさらに、前記剛体変換を判定する前に、前記複数のマッチングペアのマッチングペア毎に、
    前記第１のメッシュの個別の頂点の第１の法線ベクトルおよび前記第２のメッシュの対応する最近傍頂点の第２の法線ベクトルを推定するステップと、
    前記第１の法線ベクトルと前記第２の法線ベクトルとの間の差異が第２の所定の閾値を上回ることの判定に応じて、前記第１のメッシュの個別の頂点および前記第２のメッシュの対応する最近傍頂点を誤マッチングペアとして分類するステップと、
    前記誤マッチングペアを前記複数のマッチングペアから除去するステップと
    を含む、請求項１に記載の方法。
  4. メッシュクリッピングを実施するステップは、
    前記重複領域の境界ボックスをボクセルのグリッドとしてラスタするステップと、
    データ項、境界項、交差項、およびテクスチャ項を含むエネルギー関数を使用して、エネルギー最小化プロシージャを適用することによって、前記ボクセルのグリッド内の各ボクセルを第１のメッシュボクセルおよび第２のメッシュボクセルのうちの１つとしてラベル付けするステップと、
    前記第１のメッシュの個別の頂点が第２のメッシュボクセルとしてラベル付けされたボクセル内にあるときの前記第１のメッシュの各個別の頂点と、前記第２のメッシュの個別の頂点が第１のメッシュボクセルとしてラベル付けされたボクセル内にあるときの前記第２のメッシュの各個別の頂点とをクリッピングオフするステップと
    を含む、請求項１に記載の方法。
  5. 前記重複領域の境界ボックスをテクセルのグリッドとしてラスタするステップと、
    前記第１のメッシュの個別のテクセル毎に、前記第２のメッシュの対応するテクセルを識別するステップと、
    前記個別のテクセルから前記クリッピングシームまでの距離の減少に伴って増加するブレンディング加重を使用して、前記第１のメッシュの各個別のテクセルのテクスチャと、前記第２のメッシュの対応するテクセルのテクスチャとをブレンディングするステップと
    によって、前記第１のメッシュおよび前記第２のメッシュのテクスチャブレンディングを実施するステップをさらに含む、請求項１に記載の方法。
  6. １つまたはそれを上回る誤マッチングペアを除去するステップは、法線ベクトルサンプリングアルゴリズムを適用することによって実施される、請求項１に記載の方法。
  7. ３次元（３Ｄ）テクスチャ処理されたメッシュをマージする方法であって、前記方法は、
    第１のメッシュおよび第２のメッシュを受信するステップと、
    空間整合を実施し、前記第１のメッシュを前記第２のメッシュに対して整合させるステップと、
    メッシュクリッピングを前記第１のメッシュおよび前記第２のメッシュ上で実施し、冗長メッシュ頂点を除去するステップと、
    幾何学形状精緻化をクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖するステップと、
    テクスチャブレンディングを前記クリッピングシームに隣接する領域内で実施し、マージされたメッシュを取得するステップと
    を含む、方法。
  8. 空間整合を実施するステップは、
    前記第１のメッシュおよび前記第２のメッシュが重複する重複領域を識別するステップと、
    前記重複領域を含有する前記重複領域の境界ボックスを識別するステップと、
    前記境界ボックス内の前記第１のメッシュの個別の頂点毎に、前記第２のメッシュ内の対応する最近傍頂点を検索し、それによって、複数のマッチングペアを確立するステップであって、各マッチングペアは、前記第１のメッシュの個別の頂点および前記第２のメッシュの対応する最近傍頂点を備える、ステップと、
    前記複数のマッチングペアから１つまたはそれを上回る誤マッチングペアを除去するステップと、
    前記複数のマッチングペアの各マッチングペア内の第１のメッシュの個別の頂点と前記第２のメッシュの対応する最近傍頂点との間の距離を最小にするように、前記第１のメッシュに適用されるべき剛体変換を判定するステップと、
    前記剛体変換を使用して、前記第１のメッシュを回転および平行移動させるステップと
    を含む、請求項７に記載の方法。
  9. 収束に到達するまで、数回にわたって、前記境界ボックス内の前記第１のメッシュの個別の頂点毎に、前記第２のメッシュの対応する最近傍頂点を検索するステップと、前記複数のマッチングペアのマッチングペア毎に、１つまたはそれを上回る誤マッチングペアを除去するステップと、剛体変換を判定するステップと、前記剛体変換を使用して、前記第１のメッシュを回転および平行移動させるステップとを反復するステップをさらに含む、請求項８に記載の方法。
  10. 前記境界ボックスを識別するステップは、
    前記重複領域を含有する初期境界ボックスを識別するステップと、
    前記初期境界ボックスをスケーリング係数でスケーリングし、前記境界ボックスを取得するステップと
    を含む、請求項８に記載の方法。
  11. 前記第２のメッシュの対応する最近傍頂点を検索する前に、エッジ分割を通して、前記境界ボックスの内側のメッシュ三角形を密化させ、前記境界ボックスの内側の前記第１のメッシュおよび前記第２のメッシュの密化された頂点を取得するステップをさらに含む、請求項８に記載の方法。
  12. 前記１つまたはそれを上回る誤マッチングペアを除去するステップは、
    前記第１のメッシュの個別の頂点の第１の法線ベクトルおよび前記第２のメッシュの対応する最近傍頂点の第２の法線ベクトルを推定するステップと、
    前記第１の法線ベクトルと前記第２の法線ベクトルとの間の差異が所定の閾値を上回ることの判定に応じて、前記第１のメッシュの個別の頂点および前記第２のメッシュの対応する最近傍頂点を誤マッチングペアとして分類するステップと、
    前記第１のメッシュ内の個別の頂点および前記第２のメッシュ内の対応する最近傍頂点を前記複数のマッチングペアから除去するステップと
    を含む、請求項８に記載の方法。
  13. 前記１つまたはそれを上回る誤マッチングペアを除去するステップは、
    前記第１のメッシュの個別の頂点の第１の法線一致接続群（ＮＣＮＧ）および前記第２のメッシュの対応する最近傍頂点の第２のＮＣＮＧを推定するステップと、
    前記第１のＮＣＮＧの面積と前記第２のＮＣＮＧの面積との間の比率が所定の閾値を上回ることの判定に応じて、前記第１のメッシュ内の個別の頂点および前記第２のメッシュ内の対応する最近傍頂点を前記１つまたはそれを上回る誤マッチングペアのうちの１つとして分類するステップと、
    前記第１のメッシュ内の個別の頂点および前記第２のメッシュ内の対応する最近傍頂点を前記複数のマッチングペアから除去するステップと
    を含む、請求項８に記載の方法。
  14. 前記１つまたはそれを上回る誤マッチングペアを除去するステップは、法線ベクトルサンプリングアルゴリズムを適用することによって実施される、請求項１３に記載の方法。
  15. メッシュクリッピングを実施するステップは、
    前記第１のメッシュおよび前記第２のメッシュが重複する重複領域を識別するステップと、
    前記重複領域を含有する前記重複領域の境界ボックスを識別するステップと、
    前記重複領域の境界ボックスをボクセルのグリッドとしてラスタするステップと、
    エネルギー関数を使用して、エネルギー最小化プロシージャを適用することによって、前記ボクセルのグリッド内の各ボクセルを第１のメッシュボクセルおよび第２のメッシュボクセルのうちの１つとしてラベル付けするステップと、
    前記第１のメッシュの個別の頂点が第２のメッシュボクセルとしてラベル付けされたボクセル内にあるとき、前記第１のメッシュの各個別の頂点をクリッピングオフするステップと、
    前記第２のメッシュの個別の頂点が第１のメッシュボクセルとしてラベル付けされたボクセル内にあるとき、前記第２のメッシュの各個別の頂点をクリッピングオフするステップと
    を含む、請求項７に記載の方法。
  16. 前記エネルギー関数は、前記ボクセルが前記第２のメッシュとのみ交差するとき、ボクセルを第１のメッシュボクセルとしてラベル付けし、前記ボクセルが前記第１のメッシュとのみ交差するとき、ボクセルを第２のメッシュボクセルとしてラベル付けするための正コスト値を割り当て、そうでなければ、ゼロ値を割り当てる、データ項を含む、請求項１５に記載の方法。
  17. 前記エネルギー関数は、前記ボクセルと前記第１のメッシュの境界との間の距離を減少させるために、ボクセルを第１のメッシュボクセルとしてラベル付けし、前記ボクセルと前記第２のメッシュの境界との間の距離を減少させるために、ボクセルを第２のメッシュボクセルとしてラベル付けするための増加正コスト値を割り当てる境界項を含む、請求項１５に記載の方法。
  18. 前記エネルギー関数は、交差項およびテクスチャ項を含み、
    前記交差項は、前記第１のメッシュのみまたは前記第２のメッシュのみと交差するボクセルより低いコスト値を前記第１のメッシュおよび前記第２のメッシュの両方と交差するボクセルに割り当て、
    前記テクスチャ項は、より低い色変動を有するボクセルより高い色変動を有するボクセルにより高いコスト値を割り当てる、
    請求項１５に記載の方法。
  19. テクスチャブレンディングを実施するステップは、
    前記第１のメッシュおよび前記第２のメッシュが重複する重複領域を識別するステップと、
    前記重複領域を含有する前記重複領域の境界ボックスを識別するステップと、
    前記重複領域の境界ボックスをテクセルのグリッドとしてラスタするステップと、
    前記第１のメッシュの個別のテクセル毎に、前記第２のメッシュの対応するテクセルを識別するステップと、
    前記個別のテクセルから前記クリッピングシームまでの距離の減少に伴って増加するブレンディング加重を使用して、前記第１のメッシュの各個別のテクセルのテクスチャと、前記第２のメッシュの対応するテクセルのテクスチャとをブレンディングするステップと
    を含む、請求項８に記載の方法。
  20. コンピュータ可読記憶媒体上で有形に具現化される複数のコンピュータ可読命令を備える非一過性コンピュータ可読記憶媒体であって、前記複数の命令は、コンピュータプロセッサによって実行されると、３次元（３Ｄ）テクスチャ処理されたメッシュをマージするステップを実施し、前記複数の命令は、
    前記コンピュータプロセッサに、第１のメッシュおよび第２のメッシュを受信させる命令と、
    前記コンピュータプロセッサに、空間整合を実施し、前記第１のメッシュおよび前記第２のメッシュを共通世界座標系内で位置合わせさせる命令と、
    前記コンピュータプロセッサに、メッシュクリッピングを前記第１のメッシュおよび前記第２のメッシュ上で実施し、冗長メッシュ頂点を除去させる命令と、
    前記コンピュータプロセッサに、幾何学形状精緻化をクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖させる命令と、
    前記コンピュータプロセッサに、テクスチャブレンディングを前記クリッピングシームに隣接する領域内で実施し、マージされたメッシュを取得させる命令と
    を備える、非一過性コンピュータ可読記憶媒体。
JP2018553234A 2016-04-13 2017-03-27 ３ｄテクスチャ処理されたメッシュのロバストなマージ Active JP6573734B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662322081P 2016-04-13 2016-04-13
US62/322,081 2016-04-13
US15/467,851 2017-03-23
US15/467,851 US10186082B2 (en) 2016-04-13 2017-03-23 Robust merge of 3D textured meshes
PCT/US2017/024273 WO2017180315A1 (en) 2016-04-13 2017-03-27 Robust merge of 3d textured meshes

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019088912A Division JP6883062B2 (ja) 2016-04-13 2019-05-09 ３ｄテクスチャ処理されたメッシュのロバストなマージ

Publications (3)

Publication Number Publication Date
JP2019514126A true JP2019514126A (ja) 2019-05-30
JP2019514126A5 JP2019514126A5 (ja) 2019-07-04
JP6573734B2 JP6573734B2 (ja) 2019-09-11

Family

ID=60038377

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018553234A Active JP6573734B2 (ja) 2016-04-13 2017-03-27 ３ｄテクスチャ処理されたメッシュのロバストなマージ
JP2019088912A Active JP6883062B2 (ja) 2016-04-13 2019-05-09 ３ｄテクスチャ処理されたメッシュのロバストなマージ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019088912A Active JP6883062B2 (ja) 2016-04-13 2019-05-09 ３ｄテクスチャ処理されたメッシュのロバストなマージ

Country Status (9)

Country Link
US (3) US10186082B2 (ja)
EP (1) EP3443538A4 (ja)
JP (2) JP6573734B2 (ja)
KR (4) KR102210537B1 (ja)
CN (2) CN117745950A (ja)
AU (2) AU2017251639B2 (ja)
CA (1) CA3017965A1 (ja)
IL (2) IL262339B (ja)
WO (1) WO2017180315A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10186082B2 (en) * 2016-04-13 2019-01-22 Magic Leap, Inc. Robust merge of 3D textured meshes
EP3759693A4 (en) * 2018-02-27 2021-11-24 Magic Leap, Inc. MESH PAIRING FOR VIRTUAL AVATARS
US11182954B2 (en) * 2018-09-07 2021-11-23 Hivemapper Inc. Generating three-dimensional geo-registered maps from image data
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11043028B2 (en) 2018-11-02 2021-06-22 Nvidia Corporation Reducing level of detail of a polygon mesh to decrease a complexity of rendered geometry within a scene
CN109499067B (zh) * 2018-11-16 2022-05-31 网易（杭州）网络有限公司 一种地形纹理的绘制方法及装置、电子设备、存储介质
US10878613B2 (en) * 2018-12-06 2020-12-29 Cesium GS, Inc. System and method for transferring surface information from massive meshes to simplified meshes using voxels
EP3667623A1 (en) * 2018-12-12 2020-06-17 Twikit NV A system for optimizing a 3d mesh
EP4126420A1 (en) * 2020-03-25 2023-02-08 Encore Medical, L.P. dba DJO Surgical Joint implants having porous structures formed utilizing additive manufacturing and related systems and methods
WO2022114786A1 (en) * 2020-11-24 2022-06-02 Samsung Electronics Co., Ltd. Method and apparatus for mesh coding by using overlapped patches for video based point cloud compression
CN112489216B (zh) * 2020-11-27 2023-07-28 北京百度网讯科技有限公司 面部重建模型的评测方法、装置、设备及可读存储介质
CN113628343B (zh) * 2021-10-09 2021-12-07 贝壳技术有限公司 三维网格的合并处理方法和装置、存储介质
CN115619978B (zh) * 2022-11-21 2023-06-02 广州中望龙腾软件股份有限公司 网格面构建方法、终端以及存储介质
CN116843862B (zh) * 2023-08-29 2023-11-24 武汉必盈生物科技有限公司 一种三维薄壁模型网格表面纹理合成方法

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731817A (en) 1995-10-11 1998-03-24 Motorola, Inc. Method and apparatus for generating a hexahedron mesh of a modeled structure
US5963209A (en) * 1996-01-11 1999-10-05 Microsoft Corporation Encoding and progressive transmission of progressive meshes
WO1999064944A2 (en) * 1998-06-08 1999-12-16 Microsoft Corporation Compression of time-dependent geometry
US6281904B1 (en) * 1998-06-09 2001-08-28 Adobe Systems Incorporated Multi-source texture reconstruction and fusion
JP3740865B2 (ja) 1998-10-08 2006-02-01 コニカミノルタホールディングス株式会社 多視点３次元データの合成方法および記録媒体
US6968299B1 (en) * 2000-04-14 2005-11-22 International Business Machines Corporation Method and apparatus for reconstructing a surface using a ball-pivoting algorithm
US6750873B1 (en) * 2000-06-27 2004-06-15 International Business Machines Corporation High quality texture reconstruction from multiple scans
US6476804B1 (en) * 2000-07-20 2002-11-05 Sony Corporation System and method for generating computer animated graphical images of an exterior patch surface layer of material stretching over an understructure
JP3429271B2 (ja) 2000-11-29 2003-07-22 コナミ株式会社 ３次元画像処理方法、その装置、３次元画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体及びビデオゲーム装置
JP2003044871A (ja) 2001-08-02 2003-02-14 Sony Corp ３次元画像処理装置及び３次元画像処理方法、並びに記憶媒体
US7098907B2 (en) 2003-01-30 2006-08-29 Frantic Films Corporation Method for converting explicitly represented geometric surfaces into accurate level sets
JP3781008B2 (ja) * 2003-02-24 2006-05-31 コニカミノルタホールディングス株式会社 ３次元モデルの編集方法および装置並びにコンピュータプログラム
US7619626B2 (en) * 2003-03-01 2009-11-17 The Boeing Company Mapping images from one or more sources into an image for display
JP3873938B2 (ja) * 2003-07-25 2007-01-31 コニカミノルタホールディングス株式会社 メッシュマージ方法、メッシュマージ装置、およびコンピュータプログラム
TWI267799B (en) * 2003-09-19 2006-12-01 Ind Tech Res Inst Method for constructing a three dimensional (3D) model
WO2005064488A1 (en) * 2003-12-19 2005-07-14 Esi Group Methods for generating digital or visual representations of a closed tessellated surface geometry
US7265752B2 (en) * 2004-01-09 2007-09-04 Microsoft Corporation Multi-chart geometry images
US20070132757A1 (en) * 2005-05-16 2007-06-14 Tal Hassner Constrained model composition
US7283140B2 (en) * 2005-06-21 2007-10-16 Microsoft Corporation Texture montage
US7463258B1 (en) * 2005-07-15 2008-12-09 The United States Of America As Represented By The Secretary Of The Navy Extraction and rendering techniques for digital charting database
US7689021B2 (en) * 2005-08-30 2010-03-30 University Of Maryland, Baltimore Segmentation of regions in measurements of a body based on a deformable model
EP1964069A2 (en) * 2005-12-16 2008-09-03 Philips Intellectual Property & Standards GmbH Surface tesselation of shape models
US7636610B2 (en) 2006-07-19 2009-12-22 Envisiontec Gmbh Method and device for producing a three-dimensional object, and computer and data carrier useful therefor
US7800627B2 (en) 2007-06-08 2010-09-21 Microsoft Corporation Mesh quilting for geometric texture synthesis
US7843456B2 (en) 2007-06-29 2010-11-30 Microsoft Corporation Gradient domain editing of animated meshes
US8289322B1 (en) * 2007-10-17 2012-10-16 Sandia Corporation Quadrilateral finite element mesh coarsening
KR101525054B1 (ko) * 2008-01-03 2015-06-03 삼성전자주식회사 3차원 메쉬 데이터 간략화 방법 및 장치
US8269765B2 (en) * 2008-02-28 2012-09-18 Autodesk, Inc. System and method for removing seam artifacts
CN102388407B (zh) 2009-04-08 2014-05-21 株式会社岛精机制作所 着装模拟装置、模拟方法及模拟程序
KR101669873B1 (ko) * 2009-10-16 2016-10-27 삼성전자주식회사 삼차원 메쉬 압축장치 및 방법
CN101950431B (zh) * 2010-05-12 2012-06-27 中国科学院自动化研究所 一种在三角网格曲面上检测脐点的方法
GB201101810D0 (en) 2011-02-03 2011-03-16 Rolls Royce Plc A method of connecting meshes
WO2012115863A2 (en) 2011-02-22 2012-08-30 3M Innovative Properties Company Hybrid stitching
JP5791312B2 (ja) * 2011-03-08 2015-10-07 カルソニックカンセイ株式会社 表面加工データの作成方法および装置
US8907976B2 (en) * 2012-03-20 2014-12-09 Autodesk, Inc. Resolution-adaptive mesh smoothing brush
US9886792B2 (en) * 2012-05-14 2018-02-06 Autodesk, Inc. Adaptive mesh refinement
US9196089B2 (en) 2012-05-17 2015-11-24 Disney Enterprises, Inc. Techniques for processing reconstructed three-dimensional image data
US20150178988A1 (en) * 2012-05-22 2015-06-25 Telefonica, S.A. Method and a system for generating a realistic 3d reconstruction model for an object or being
US9495752B2 (en) * 2012-09-27 2016-11-15 Siemens Product Lifecycle Management Software Inc. Multi-bone segmentation for 3D computed tomography
US9626797B2 (en) * 2012-10-05 2017-04-18 Autodesk, Inc. Generating a consensus mesh from an input set of meshes
GB2499694B8 (en) 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
CN103049896B (zh) * 2012-12-27 2015-09-16 浙江大学 三维模型的几何数据和纹理数据自动配准算法
US9147279B1 (en) 2013-03-15 2015-09-29 Google Inc. Systems and methods for merging textures
CN103440680B (zh) * 2013-08-22 2015-12-02 浙江大学 一种基于一范数优化的Polycube可控生成方法
US9911220B2 (en) * 2014-07-28 2018-03-06 Adobe Systes Incorporated Automatically determining correspondences between three-dimensional models
US9691165B2 (en) * 2015-07-24 2017-06-27 Disney Enterprises, Inc. Detailed spatio-temporal reconstruction of eyelids
US10210657B2 (en) 2015-07-24 2019-02-19 The University Of British Columbia Methods and systems for hex-mesh optimization via edge-cone rectification
US10186082B2 (en) 2016-04-13 2019-01-22 Magic Leap, Inc. Robust merge of 3D textured meshes

Also Published As

Publication number Publication date
KR20210012069A (ko) 2021-02-02
EP3443538A4 (en) 2019-04-10
US20190043256A1 (en) 2019-02-07
JP2019125402A (ja) 2019-07-25
US20170301133A1 (en) 2017-10-19
US20200312023A1 (en) 2020-10-01
CN117745950A (zh) 2024-03-22
WO2017180315A1 (en) 2017-10-19
CA3017965A1 (en) 2017-10-19
KR101979418B1 (ko) 2019-05-16
AU2021261883A1 (en) 2021-12-02
KR102210537B1 (ko) 2021-02-01
AU2017251639B2 (en) 2021-08-05
CN109074675B (zh) 2024-01-02
KR20190053304A (ko) 2019-05-17
US10726623B2 (en) 2020-07-28
JP6573734B2 (ja) 2019-09-11
NZ746322A (en) 2021-08-27
IL266060A (en) 2019-06-30
CN109074675A (zh) 2018-12-21
IL262339A (en) 2018-12-02
KR102415830B1 (ko) 2022-06-30
KR20180123726A (ko) 2018-11-19
IL266060B (en) 2021-01-31
IL262339B (en) 2019-05-30
JP6883062B2 (ja) 2021-06-09
KR20220093404A (ko) 2022-07-05
US11210852B2 (en) 2021-12-28
EP3443538A1 (en) 2019-02-20
US10186082B2 (en) 2019-01-22
AU2017251639A1 (en) 2018-10-04
KR102548340B1 (ko) 2023-06-26

Similar Documents

Publication Publication Date Title
JP6883062B2 (ja) ３ｄテクスチャ処理されたメッシュのロバストなマージ
Zhang et al. Online structure analysis for real-time indoor scene reconstruction
CN112927353B (zh) 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
Fang et al. Floorplan generation from 3D point clouds: A space partitioning approach
CN110675314A (zh) 图像处理和三维对象建模方法与设备、图像处理装置及介质
EP1986153A2 (en) Method and system for determining object poses from range images
Michailidis et al. Bayesian graph-cut optimization for wall surfaces reconstruction in indoor environments
WO2015017941A1 (en) Systems and methods for generating data indicative of a three-dimensional representation of a scene
Mura et al. Robust reconstruction of interior building structures with multiple rooms under clutter and occlusions
CN114359437A (zh) 基于点云的建筑结构二维平面图重建方法
CN113592976B (zh) 地图数据的处理方法、装置、家用电器和可读存储介质
CN115131459A (zh) 平面布置图重建方法及装置
NZ746322B2 (en) Robust merge of 3d textured meshes
Yogeswaran 3D Surface Analysis for the Automated Detection of Deformations on Automotive Panels
Makka et al. 3D Edge Detection Based on Normal Vectors
Cooper et al. Automatic augmentation and meshing of sparse 3D scene structure
Martens et al. VOX2BIM: A fast method for automated point cloud segmentation
Lee et al. Clustering Reference Images Based on Covisibility for Visual Localization.
Aung et al. 3D Foreground Point Segmentation from Background using Centroid-based Min-Cut Method
Shashkov et al. Efficient dense reconstruction using geometry and image consistency constraints

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181010

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181010

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181010

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190307

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20190509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190813

R150 Certificate of patent or registration of utility model

Ref document number: 6573734

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250