JP2022550695A - 衣服のセットのモデルデータを処理するための方法およびコンピュータプログラム製品 - Google Patents

衣服のセットのモデルデータを処理するための方法およびコンピュータプログラム製品 Download PDF

Info

Publication number
JP2022550695A
JP2022550695A JP2022517286A JP2022517286A JP2022550695A JP 2022550695 A JP2022550695 A JP 2022550695A JP 2022517286 A JP2022517286 A JP 2022517286A JP 2022517286 A JP2022517286 A JP 2022517286A JP 2022550695 A JP2022550695 A JP 2022550695A
Authority
JP
Japan
Prior art keywords
garment
intersection
contour
points
mesh
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022517286A
Other languages
English (en)
Inventor
シュテファン ハウスヴィースナー
フィリップ グラスマグ
アレクサンダー ピルツ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Reactive Reality AG
Original Assignee
Reactive Reality AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Reactive Reality AG filed Critical Reactive Reality AG
Publication of JP2022550695A publication Critical patent/JP2022550695A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/16Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Sewing Machines And Sewing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

衣服のセットのモデルデータを処理するための方法は、セットの第1および第2の衣服の第1および第2のモデルデータを記憶することを含み、モデルデータの各々は、それぞれの衣服に関連付けられたメッシュを定義する2次元または3次元幾何学的データを含む。それぞれの衣服の制限オブジェクトは、幾何学的データの少なくとも一部によって規定され、それぞれの衣服の内部と外部との間の分離を構成する。第1および第2の衣服は、内側衣服と、内側衣服の上に着用される外側衣服とを構成する。外側衣服のための少なくとも1つの開口オブジェクトが記憶され、制限オブジェクトの一部として規定され、外側衣服の内部と外部との間のアイテムのための遷移を構成する。交差オブジェクトは、衣服の各々について決定され、衣服の制限オブジェクト間の1つ以上の交差を規定する。各衣服について、制限オブジェクトの部分は、交差オブジェクトのうちの1つ以上によって境界付けられたオーバーラップセクションオブジェクトとして決定される。第1および/または第2の衣服の幾何学的データは、外側衣服のそれぞれのオーバーラップセクションオブジェクトが外側衣服の少なくとも1つの開口オブジェクトのうちの1つ以上を少なくとも部分的に含むかどうかに基づいて、オーバーラップセクションオブジェクトに対して調整される。【選択図】 図3

Description

本開示は、衣服のセットのモデルデータを処理するためのコンピュータ実装方法およびコンピュータプログラム製品に関する。
衣服の視覚化のためのシステムの1つの目的は、デザイナー、マーケティングスタッフ、および潜在的な顧客に、異なるモデルの衣服(例えば、CADモデルまたは写真によってキャプチャされたモデル)の組み合わせを提示することである。このプロセスにおいて最大の柔軟性を可能にするために、衣服モデルは、それらが後に組み合わされる方法を無視して、互いに独立して設計またはキャプチャされるべきである。したがって、このプロセスは、組み合わされるべき人物モデルおよび独立した衣服モデルを含む。
しかしながら、視覚的に満足するおよび/または技術的に正しい結果をもたらす場合、2つ以上の、独立して生成された衣服モデルの組み合わせは困難であり得る。例えば、シャツとジャケットとを組み合わせる場合、シャツモデルの範囲がこの位置の近傍におけるジャケットモデルの投影によって覆われていない場合であっても、シャツの部分は、ジャケットの内側にある場所、例えばアームピットに現れてはならない。それとは対照的に、シャツは、ジャケットの開口、例えばラペルまたは袖の横に現れるべきである。
従来のアプローチでは、衣服の組み合わされた出力の手動修正が必要であった。
達成されるべき目的は、一緒に着用されるべき2つ以上の衣服の衣服モデルデータの技術的に正確な調整を可能にする改善された処理概念を提供することである。
この目的は、独立請求項の主題によって達成される。実施形態および発展形態は、従属請求項に由来する。
改善された処理概念は、物理的モデルにおいて、各衣服の形状が他の衣服および/または基礎となる人間のモデルまたはアバターの両方によって影響されるという洞察に基づいている。したがって、改良された処理概念は、モデルの望ましくない視覚的オーバーラップが回避されるように、衣服モデルおよび任意にアバターモデルをアルゴリズム的に操作するアプローチを説明する。これは、2次元、2D、および3次元、3D、モデルの両方に適している。
改良された処理概念によれば、モデルデータは、それぞれの衣服に関連付けられたメッシュを規定するそれぞれの幾何学的データを含む。それぞれの衣服の制限オブジェクトは、幾何学的データの少なくとも一部によって規定され、それぞれの衣服の内部と外部との間の分離を構成する。さらに、最内側衣服を除いて、各衣服モデルに対して開口オブジェクトが定義され、これは任意である。衣服間の交差が決定され、衣服モデルの各々について交差オブジェクトを規定する。これらは、衣服が組み合わされた場合に、技術的に不正確な外観を潜在的に規定するので、調整の基礎である。例えば、外側衣服の外側に現れる内側衣服の制限オブジェクトの部分は、交差オブジェクトによって境界付けられる。したがって、それぞれの衣服の交差オブジェクトのうちの1つ以上によって境界付けられた制限オブジェクトの部分を、オーバーラップセクションオブジェクトとして決定することができる。
衣服の幾何学的データは、外側衣服のそれぞれのオーバーラップセクションオブジェクトが外側衣服の少なくとも1つの開口オブジェクトのうちの1つ以上を少なくとも部分的に含むかどうかに基づいて、以前に決定されたオーバーラップセクションオブジェクトに対して調整することができる。
このアプローチは、2つの衣服、すなわち、内側衣服および内側衣服の上に着用される外側衣服のセットが処理される場合、またはより多数の衣服のために適用され得る。
例えば、セット内の3つ以上の衣服が処理される場合、処理は、内側から外側へ、外側から内側へ、または任意の様式で開始され得る。例えば、さらなる調整を必要とする交差が決定されなくなるまで、それぞれの衣服の幾何学的データに対する調整が行われる。
衣服の開口、それぞれ、衣服モデルのために定義された出力オブジェクトを考慮すると、外側衣服とオーバーラップし合う内側衣服を、例えば、開口オブジェクトの領域に隠す必要が少なくなるので、幾何学的データの調整の程度を低減することができる。これはまた、例えば、シャツの袖がジャケットの開いた袖に現れるなど、現実世界における技術的同等なものにも対応する。したがって、技術的に正確な調整を達成することができる。
衣服のセットのモデルデータを処理するための改善された処理概念によるコンピュータ実装方法の一実施形態では、方法は、例えばコンピュータシステムにおいて、セットの第1の衣服の第1のモデルデータと、セットの第2の衣服の第2のモデルデータとを記憶することを含む。例えば、第1および第2のモデルデータの各々は、それぞれの衣服に関連付けられたメッシュを規定する2次元または3次元の幾何学的データを含む。それぞれの衣服の制限オブジェクトは、幾何学的データの少なくとも一部によって規定され、それぞれの衣服の内部と外部との間の分離を構成する。第1および第2の衣服の一方は内側衣服であり、第1および第2の衣服の他方は、内側衣服の上に着用される外側衣服である。
方法は、コンピュータシステムにおいて、少なくとも外側衣服のための、および任意選択で内側衣服のための少なくとも1つの開口オブジェクトを記憶することをさらに含む。各開口オブジェクトは、それぞれの制限オブジェクトの一部として規定され、それぞれの衣服、すなわち少なくとも外側衣服の内側と外側との間のアイテム、例えば衣服またはアバターの潜在的な遷移を構成する。
方法は、コンピュータシステムにおいて、第1および第2の衣服の各々について、第1および第2の衣服の制限オブジェクト間の1つ以上の交差を規定する交差オブジェクトを決定することをさらに含む。第1および第2の衣服の各々について、制限オブジェクトの部分は、コンピュータシステムにおいて、それぞれの衣服の交差オブジェクトのうちの1つ以上によって境界付けられたオーバーラップセクションオブジェクトとして決定される。第1および/または第2の衣服の幾何学的データは、コンピュータシステムにおいて、外側衣服のそれぞれのオーバーラップセクションオブジェクトが外側衣服の少なくとも1つの開口オブジェクトのうちの1つ以上を少なくとも部分的に含むかどうかに基づいて、オーバーラップセクションオブジェクトに対して調整される。
例えば、第1および/または第2の衣服の幾何学的データを調整することは、
A)外側衣服のそれぞれのオーバーラップセクションオブジェクトが、外側衣服の開口オブジェクトを含まないことと、
B)外側衣服のそれぞれのオーバーラップセクションオブジェクトが、少なくとも部分的に外側衣服の少なくとも1つの開口オブジェクトのうちの1つを完全に含むことと、
C)それぞれのオーバーラップセクションオブジェクトの一部のみが、少なくとも部分的に外側衣服の少なくとも1つの開口オブジェクトのうちの1つを含むことと、
D)外側衣服のそれぞれのオーバーラップセクションオブジェクトが、少なくとも部分的に外側衣服の少なくとも1つの開口オブジェクトのうちの2つ以上を含むことと、のうちの1つの検出される構成に基づく。
例えば、衣服に関連するメッシュは、少なくとも複数の点または頂点によって、および点または頂点に関連する複数の面によって形成される。
方法は、3つ以上の衣服に拡張することができる。例えば、セットの第3の衣服の第3のモデルデータはコンピュータシステムにおいて記憶され、第3のモデルデータは、第1および第2のモデルデータと同じ種類の幾何学的データを含む。また、第3の衣服の制限オブジェクトは、幾何学的データの少なくとも一部によって規定され、第3の衣服の内部と外部との間の分離を構成する。例えば、第3の衣服は第2の衣服の上に、したがって第1の衣服の上にも着用される。
第1および第2の衣服と同様に、第3の衣服のための少なくとも1つの開口オブジェクトが、コンピュータシステムにおいて記憶され、第3の衣服の制限オブジェクトの一部として定義され、第3の衣服の内部と外部との間のアイテム、例えば衣服またはアバターのための遷移を構成する。第3の衣服のための交差オブジェクトは、コンピュータシステムにおいて決定され、これは、第3の衣服の制限オブジェクトと第1および第2の衣服の一方の制限オブジェクトとの間の1つ以上の交差を規定する。例えば、交差オブジェクトが決定されたそれぞれの衣服について、制限オブジェクトの部分は、それぞれの衣服の交差オブジェクトのうちの1つ以上によって境界付けられたオーバーラップセクションオブジェクトとして決定される。それぞれの衣服の幾何学的データは、オーバーラップセクションオブジェクトに対してコンピュータシステムにおいて調整される。これはまた、最外側衣服、例えば第3の衣服のそれぞれのオーバーラップセクションオブジェクトが、この最外側衣服の少なくとも1つの開口オブジェクトのうちの1つ以上を少なくとも部分的に含むかどうかに基づくことができる。
衣服のセットの衣服のすべては、処理され、潜在的に調整される前に、アバターにフィットされていてもよい。調整は、アバターへのフィッティングにも関係するという結果をもたらすことができる。例えば、衣服の調整方法は、アバターとそれぞれの衣服との間に技術的に不正確なオーバーラップが生じるようなものであるかもしれない。
したがって、改善された処理概念によれば、方法は、セットの衣服が着用されるアバターのアバターモデルデータがコンピュータシステムに記憶されることをさらに含むことができる。アバターデータは衣服モデルデータのような2次元または3次元の幾何学的データを含み、それによって、アバターに関連付けられたメッシュを規定する。アバターの制限オブジェクトは、幾何学的データの少なくとも一部によって規定され、アバターの内部と外部との間の分離を構成する。コンピュータシステムにおいて、アバターおよびセットの最内側衣服のための交差オブジェクトが決定され、その交差オブジェクトは、アバターの制限オブジェクトと最内側オブジェクトの制限オブジェクトとの間の1つ以上の交差を規定する。制限オブジェクトの部分は、コンピュータシステムにおいて、アバターおよび衣服の交差オブジェクトのうちの1つ以上によって境界付けられるオーバーラップセクションオブジェクトとして、アバターおよび最内側衣服のために、決定される。アバターおよび/または最内側衣服の幾何学的データは、それぞれのオーバーラップセクションオブジェクトに対して調整される。
2つの衣服の幾何学的データを調整するために使用されるアルゴリズムおよび/または考慮事項は、アバターおよび/または最内側衣服の幾何学的データの調整にも適用することができる。したがって、技術的に正しく適合された衣服およびアバターのモデルデータを、改善された処理概念で達成することができる。
改善された処理概念の一実施形態によれば、衣服のセットのモデルデータを処理するためのコンピュータプログラム製品は、非一時的なコンピュータ可読記憶媒体と、その中に格納されたコンピュータプログラム命令とを備え、コンピュータシステムが上述の実装のうちの1つによる方法を実行することを可能にする。
さらに、コンピュータシステムは、プロセッサと、その中に記憶されたコンピュータプログラム命令を有する記憶媒体とを有することができ、プロセッサは、上述の実施形態の1つによる方法を実行することができる。
改良された処理概念は、図面を用いて以下により詳細に説明される。同一または類似の機能を有する素子および機能ブロックは、図面を通して同一の参照番号を有する。したがって、以下の図面において、それらの説明は必ずしも繰り返されない。
衣服とアバターのモデルデータを別々の形式で提示した例を示す。 オーバーラップ修正前後のアバターに着せた衣服のモデルデータの例示的な描写を示す。 改良された処理概念による、衣服のセットのモデルデータを処理するための方法の例示的なブロック図を示す。 衣服モデルの自己交差の例を示す。 注釈付き開口を有する衣服の例示的な描写を示す。 組み合わされた衣服の例示的な描写を示す。 衣服間の交差を決定するプロセスにおける例示的なステップを示す。 衣服間の交差を決定するプロセスにおける例示的なステップを示す。 衣服間の交差を決定するプロセスにおける例示的なステップを示す。 衣服間の交差を決定するプロセスにおける例示的なステップを示す。 衣服間の交差を決定するプロセスにおける例示的なステップを示す。 衣服間の交差を決定するプロセスにおける例示的なステップを示す。 オーバーラップする衣服部分のいくつかの構成を示す。 オーバーラップする衣服部分のいくつかの構成を示す。 オーバーラップする衣服部分のいくつかの構成を示す。 オーバーラップする衣服部分のいくつかの構成を示す。 形状データの調整の例示的な描写を示す。 調整前後の衣服の幾何学的データの調整の例示的な詳細を示す。 調整前後の衣服の幾何学的データの調整の例示的な詳細を示す。 三次元モデルの交差点の例を示す。 衣服モデル間の交差点を決定するための例示的な描写を示す。 改良された処理概念による、衣服のセットのモデルデータを処理するための例示的なシステムを示す。
本開示は、モデルの望ましくないおよび/または技術的に不正確な視覚的オーバーラップが回避されるように、衣服モデルおよび/またはアバターをアルゴリズム的に操作するアプローチを説明する。これは、2次元モデルと3次元モデルの両方に適する。
ここで図1を参照すると、衣服のセットのモデルデータを処理するための方法の最も基本的な変形例は、例えばシャツを表す衣服GBの形状が、通常、アバターAV上に着用された、例えばジャケットを表す衣服GBによって影響されるが、他の方向への影響は無視できるか、または少なくとも望ましくないという観察に依拠する。このように、この方法は、どの衣服が他の衣服より上に着用されているかを反映する階層にしたがって、衣服モデルを処理する。よって、図1には2つの衣服GAおよびGBしか示されていないが、多数の衣服を処理して、衣服のセットを形成することもできる。
例えば、セットの第1の衣服の第1のモデルデータおよびセットの第2の衣服の第2のモデルデータは、例えばコンピュータシステムに記憶され、第1および第2のモデルデータの各々は、それぞれの衣服に関連するメッシュを定義する2次元または3次元の幾何学的データを含む。第1および第2の衣服の一方は内側衣服GBであり、第1および第2の衣服の他方は、例えばアバターAV上で内側衣服GBの上に着用される外側衣服GAである。
改良された処理概念によれば、この階層における衣服モデルGA、GBの形状は、漸進的に適合される。結果として得られる衣服は、アバターAVの上にレンダリングすることができる。入力に使用されるフィッティングプロセスに応じて、アバターAVと衣服モデルGA、GBとの間に望ましくないオーバーラップが存在することもあり、このオーバーラップは、わずかに適合されたアプローチを使用して除去することができる。
例えば、図2は、アバターAVに着用された衣服GA、GBの例示的な描写を示す。a)とラベル付けされた図2の左側部分では、衣服GA、GBは内側衣服GBの部分が外側衣服GAから技術的に不正確に見える未処理状態でアバターAV上に示され、それによってオーバーラップを生成する。たとえば、これはシャツの袖または肩に見られる。
b)とラベル付けされた図2の右側部分は、技術的に不正確なオーバーラップが残らないように、改善された処理概念にしたがって処理された後の調整された形態で示されている。
しかしながら、このアプローチは、その上に着用される衣服モデルにしたがって内側衣服モデルをサイズ変更することに限定されない。オーバーラップおよびそれらのタイプの識別は、また、外側衣服モデルを変更することによって、または両方のモデルを変更することによって、例えば、モデル化された衣服の物理的特性、例えば、可撓性および/または剛性によってパラメータ化することによって、オーバーラップを除去することを可能にする。このように、方法の説明は、オーバーラップおよびそれらのタイプの検出と、それらの処理とに分けられる。このアプローチは、アルゴリズム的に軽量であり、人間のオペレータとの対話をまったくまたはほとんど必要としない。さらに、形状を変えながら衣服の質感を適切に維持することができる。それは、3次元モデルおよび/または自己オーバーラップ2次元モデルで作業するのに十分ロバストである。
ここで図3を参照すると、改善された処理概念による衣服のセットのモデルデータを処理するための方法の例示的なブロック図が示されている。この方法は、特に、様々な種類の情報を記憶し、処理することができるコンピュータシステム上で実行される。
以下において、文字Dに続く数字で始まる参照番号は、コンピュータシステムに記憶されたデータ構造を意味し、文字Sに続く数字で始まる参照番号は、コンピュータシステムによって実行されるプロセスステップを意味する。システム境界は、どのプロセスステップがシステムの外部で実行されるか、およびどのデータがシステムまたは方法からそれぞれ出力された入力であるかを決定する。
方法は、衣服モデルのシーケンスD10、すなわち、それぞれのモデルデータをインプットとして取る。例えば、特に、輪郭のみを有し、メッシュが提供されないモデルが提供される場合に、モデルデータは、三角形メッシュ生成ステップS10において生成される。提供されたモデルデータがメッシュを有する場合、ステップS10は、例えば、イクスペンドされる。さらに、衣服モデルのシーケンスD10は、アバターAVのモデルデータD12を考慮して、フィッティングステップS12においてアバターAVにフィッティングされてもよい。たとえば、2D衣服モデルはその輪郭、たとえば多角形の曲線や衣服の目に見える部分を覆うメッシュなどによって定義される。任意選択で、例えば適切なテクスチャ表現のために、モデルは2D形状変形のための頂点を含むことができ、これについては、以下でさらに詳細に説明する。3D衣服モデルは、表面メッシュによって与えられてもよい。両方の変形例において、メッシュの面は標準的な方法を使用して三角測量することができ、以下の説明では、すべてのメッシュが三角形であると仮定することができる。
衣服が順序付けられるシーケンスは、どの衣服が他方の上に着用されるかを反映する。「内側」および「外側」のような用語は、この順序における衣服の相対位置を指す。衣服モデルのシーケンスD10の各衣服について、制限オブジェクトは、幾何学的データの少なくとも一部によって定義され、それぞれの衣服の内側と外側との間の分離を構成する。例えば、幾何学的データは、モデルデータのメッシュに対応する。
モデルデータが2D幾何学的データを含む場合、それぞれの衣服のそれぞれの制限オブジェクトは、それぞれのメッシュの閉じた連続した輪郭、例えば多角形曲線であってもよい。モデルデータが3D幾何学的データを含む場合、それぞれの衣服のそれぞれの制限オブジェクトは、それぞれのメッシュの表面であってもよい。
アバターモデルデータD12によって画定されるアバターは、衣服モデルがレンダリングされる人間またはマネキンを表す。衣服モデルデータに関しても同様に、アバターは、任意のメッシュおよびテクスチャマップを有する2次元輪郭として、または3次元表面メッシュとして与えられる。
二次元の場合、衣服モデルは、例えば、写真によって生成されるような衣服の正面部分を表す。衣服の輪郭は、閉曲線によって表すことができる。一般的に、これらは多角形の曲線であり、これは区分的線形セグメントを有する。しかしながら、記載された方法は、例えばコンピュータによって処理することができる離散的な描写を有する輪郭に一般化する。例えば、適合プロセスの間、衣服モデルは、輪郭が自己オーバーラップするように変形されてもよい。この場合、正面のトポロジーがメッシュによって与えられることが有利である。これは、通常、例えばテクスチャリングの目的で容易に存在するが、例えばステップS10に関連して上述したような既知の方法を用いて多角形曲線から再現することもできる。
2D衣服モデルは、正面から見た衣服を表すと考えられ、すなわち、モデルの正面または背面は存在しない。
ここで図4を参照する。衣服の正面を向いた部分が他の部分で覆われていない場合、輪郭はレンダリングされた形状の境界に対応する。そして、例えば図4の左上(a)に示すように、輪郭は自己交差していない。しかしながら、アバターの姿勢に応じて、例えば、シャツの袖が、例えば図4の部分(b)、(c)および(d)に示されるように、そのウエストの部分を覆うとき、輪郭は自己交差してもよい。方法は、輪郭がすべての三角形が正面を向いている、すなわちそれらが投影された平面に面している3Dメッシュの単一境界の投影から得られる限り、そのような交差を取り扱うことができる。例えば、図4の部分(c)および(d)に示されているようなものである。部分(b)は、完全に正面に向いていない。
同様の概念は、「自己オーバーラップ多角形」として知られている。自己オーバーラップ多角形は、各対角線が輪郭の内部(輪郭の側面がその横断によって与えられる)に出るように三角形分割することができる。すなわち、すべての自己オーバーラップ多角形は正面を向いている。この特性をテストし、輪郭のみが与えられたときに三角形メッシュを生成するアルゴリズムが知られている。したがって、このような三角形に分割された多角形チェーンは、この方法のための入力として役立つことができる。いずれの場合にも、方法は、輪郭にメッシュが付随することを好む。
形状のメッシュは、本方法によって必要とされる位相情報を維持する。例えば、メッシュ内の各縁部は各辺に正確に1つの三角形を有し、または輪郭に属する場合には1つの三角形を有する。輪郭は、メッシュのすべての三角形が同じ側にあり、そのような横断が1つだけであるように横断することができる。それより形式的には、メッシュは、すべての三角形が正面を向いている単一の境界を持つ3D表面メッシュから取得できる。
位相情報に加えて、メッシュは、テクスチャリングのための情報を搬送することができる。特に、衣服モデルの場合、メッシュは、輪郭だけでなく、形状の内部にも頂点を有する。これらの内部頂点の位置は、通常、非線形的に輪郭の頂点に依存する。
この表現は、メッシュの構造を一定に保ちながら輪郭を変更できるため、フィッティングプロセス、つまり衣服モデルをアバターに合わせるときに使用できる。同様効果は、この方法によってオーバーラップを除去するときに、メッシュ、したがってテクスチャマップを一貫した状態に保つ。
たとえば、3次元モデルは、1つの表面を定義する内部-ディスジョイント(interior-disjoint)三角形のメッシュで構成される。システムに応じて、メッシュは、水密(watertight)であるか、または1つの三角形のみの辺である縁部からなる境界を含み得る。これらの境界は、衣服の開口、例えば、カラー、ラペル、およびスリーブ端部を画定する。メッシュを水密にするためにメッシュに三角形を追加する標準的な方法が存在するので、入力がこのように提供されると仮定することができる。したがって、開口はモデル表面上の三角形の連結されたセットであり、これらの三角形は、適宜マークされる。開口がメッシュの三角形に対応していない場合、メッシュを細分化してこの特性を実現することができる。
モデルはフィッティングプロセスから得られるので、それらの頂点は、メッシュ編集を容易にするフォーマットで表されてもよい。例えば、いわゆる差分メッシュ表現が存在し、この場合、頂点の位置を変更することは、衣服表現に望ましい方法で、隣接するものの位置に影響を及ぼす。方法は、最終的な提示を改善するためにこのようなフォーマットを使用する柔軟性を提供する。
図3に戻って説明すると、潜在的な前処理のために、フィッティングステップS12は、人物モデルの形状と姿勢の両方を考慮して、衣服モデルをアバターに整列させる手順である。2Dおよび3D衣服の両方のための様々な公知のフィッティング方法がある。2Dフィッティングプロセスでは、自己オーバーラップ輪郭がアバターの姿勢により発生する可能性がある一方、例えば、手が腰の前にある場合、3Dにおけるフィッティングプロセスは衣服モデルのトポロジー構造を変化させないと仮定することができる。このようなオーバーラップが発生した場合、それらはメッシュ修復アルゴリズムまたは人間のオペレータによって修正することができる。
2Dおよび3D衣服モデルの両方は、例えば、メッシュの面が衣服のどの部分に属するかを示すセマンティックラベルD14を有することができる。この追加情報は、自動化された結果を改善するために使用することができる。
以下に、方法の主な態様を説明する。一般的に言えば、最初に、衣服モデルが、例えばステップS35においてテストされ、例えばステップS40およびS45において、例えばその上の階層におけるすべての他のモデルに対して望ましくないオーバーラップについて調整される。そのような各テスト中に、衣服モデルがとる体積または面積が減少するので、これらのテストが所与の衣服に対して行われる順序を厳密に制約する必要はない。例えば、衣服モデルを外側から内側に処理するとき、各モデルは、一般に、一度だけ変更される。
衣服モデルのサイズが増大する場合、または互いに対してテストされる両方のモデルが修正される場合の方法の変形例が記載される。この場合、処理順序は、内側から外側へ、または任意で固定点に到達するまで、例えば、もはや有意な変化がないまで、それぞれあり得る。第2として、任意選択の段階として、アバターは、例えばステップS50において、結果として生じる衣服モデルに対してテストされ、より制約の少ないオーバーラップ補正プロセスをトリガーする。
実際のオーバーラップ補正のプロセスのために、少なくとも外側衣服GAのための少なくとも1つの開口オブジェクトが、衣服開口オブジェクトD20として記憶される。一般に、衣服開口オブジェクトは、衣服のセットのすべての衣服について保管することができる。各開口オブジェクトは、衣服のそれぞれの制限オブジェクトの一部として定義され、それぞれの衣服の内側と外側との間のアイテム、例えば衣服またはアバターのための遷移を構成する。
ここで図5を参照すると、2つの衣服GA、GBの開口オブジェクトは、例えば袖、首線または縫い目のために破線で示されている。これらの開口は、特に、下にある衣服がそれに沿って見えるようになる衣服の輪郭の部分を画定する。二次元の場合、それぞれの衣服のそれぞれの開口オブジェクトは、例えば、それぞれのメッシュの連続した輪郭の一部である。
図3に戻って参照すると、開口オブジェクトは、プロセスの一部であり得るか、または実際のプロセスの前に実行され得る開口決定ステップS20において決定され得、その結果、衣服開口オブジェクトD20は処理方法に利用可能である。
例えば、少なくとも1つの開口オブジェクトは、アバターまたは身体モデル、例えば、アバターモデルデータD12との交差点の決定に基づいて決定することができる。代替として、標準的な身体モデルをこの目的のために使用することができる。例えば、衣服モデルが、システムへの入力である実際のアバターAVの姿勢を有していない一般的なアバターに適合される場合がある。
2Dの場合、方法は、アバターの輪郭と衣服モデルの輪郭の交差点を識別することができる。フィッティング手順の前にこのプロセスを行うと、輪郭は自己交差を持たないと見なすことができ、たとえば、単なる多角形の曲線であると見なすことができる。しかしながら、ステップS35に関連してより詳細に後述するように、正面に向いた輪郭の交差点を見つけるためのより高度な手順を適用することができる。例えば、アバター輪郭の内部にあるモデル輪郭の各部分は、開口としてマークされまる。追加または代替として、例えば、セマンティックラベルD14から提供されるセマンティック情報、例えば、アバターの脚の間の輪郭も、例えば、スカートの下部として衣服モデルの一部をセマンティック情報として識別することによって、開口としてマークされる。いくつかの構成では、モデルの実際の開口を反映するように個々の開口を拡張することが好都合であり得る。このような拡張には、いくつかの代替手段が利用可能である。
例えば、輪郭が鋭い曲がり、例えば、パラメータとして与えられる角度よりも大きい曲がり、または異なるセマンティックラベルを有する部分に到達するまで、衣服モデルの輪郭に沿って隣接する縁部に開口を漸増的に拡張するヒューリスティックを適用することができる。入力データに応じて、開口の相対的な内部に鋭い曲がりが現れることもある。このようなデータに対して、方法は、例えば、多角形を平滑化するためのアルゴリズムを適用することができる。次いで、潜在的に滑らかな輪郭の鋭い曲がりが、開口の終点と見なされる。
追加または代替として、開口の拡張は、衣服のセマンティックラベルD14を決定する機械学習アルゴリズムおよび/または人間のオペレータによって達成されてもよい。例えば、このようなセマンティックラベルは、衣服モデルの部分、例えば、カラーまたはスリーブを識別し、この情報は、開口縁部または終点の正確な識別に使用することができる。
この処理の結果は、輪郭に沿った衣服モデルの開口内の衣服開口オブジェクトD20である。
ステップS35において、各衣服、例えば第1および第2の衣服GA、GBの交差オブジェクトが決定される。これらの交差オブジェクトは、第1および第2の衣服の制限オブジェクト間の1つ以上の交差を規定する。2次元の場合、それぞれの衣服の各交差オブジェクトは、それぞれのメッシュ、例えば連続的な輪郭の交差点である。言い換えれば、2次元衣服モデルの交差オブジェクトは、衣服モデルの輪郭が互いに交差する点である。
次に、図3のステップS30を参照すると、ステップS35に関連してより詳細に説明される、輪郭の交差のシーケンスを見つける手順は、内側衣服モデルの輪郭上の点と、その点が三角形Tによって覆われるように外側衣服のメッシュ内の三角形Tとを必要とする。これは、そのような点が外側衣服のメッシュのいくつかの三角形に幾何学的に含まれることができるので、領域知識を必要とする可能性がある非自明なタスクとすることができる。
図6を参照すると、このような曖昧さの例が示されている。3つの例a)、b)、c)では、2つの衣服は、シャツとシャツの下に着用するリストバンドである。×印でマークされたリストバンドの輪郭上の点は、幾何学的には3つの三角形の内側にあり、3つの三角形は各腕に1つ、シャツの腰に1つである。これらの三角形のどれが選択されるかに応じて、リストバンドは、左腕(例b))または右腕(例c))上にあると考えられる。シャツのウエストの三角形を選択することは、例a)に示すように、いずれにしても技術的に不正確である。
正しい三角形は、例えば、機械学習ツールを使用することによって、それによって、衣服モデルのタイプに基づく領域知識を使用して、識別することができる。別の代替案は、開始三角形の選択ごとに交差オブジェクトS35の実際の決定を1回実行し、モデルから除去される部分の最小面積などの所望の特性のために所望の結果を選ぶことである。
さらに、衣服モデルが衣服部分を身体モデルの部分に関連付けるセマンティック情報、例えば、セマンティックラベルD14も有する場合、この情報は、所与の開始点、例えば、三角形および同じ身体部分に属する点のための正しい三角形を識別するために使用することができる。理論的には、正しい三角形の識別は、人間のオペレータによっても行うことができる。いずれの場合も、開始点およびその三角形位置は、ステップS35のための入力D30として与えられる。図6の例では、リストバンドの輪郭がそれぞれの選択にしたがって変更される。
ここで図3のステップS35を参照すると、第1および第2の衣服に関連するメッシュは、少なくとも複数の点または頂点によって、および点または頂点に関連する複数の面または三角形によって形成されると仮定される。前述のように、内側衣服の制限オブジェクト上の複数の点または頂点のうちの1つ、例えば内側衣服の輪郭が、外側衣服の内部で開始点として選択される。交差オブジェクトを決定するステップS35は、外側衣服の制限オブジェクトが交差するまで、内側衣服の制限オブジェクト、例えば輪郭上の開始点から横断することを含み、それによって、交差オブジェクトの少なくとも1つの交差点、例えば第1の交差点を決定する。
次に、図7および図7Aから図7Fに示される例示的な処理ステップを参照すると、手順は、D30に示され、図7Aに示されるように、外側衣服GAのメッシュの所与の三角形Tの内側の内側衣服GBの輪郭の点から始まる。衣服モデルGBの輪郭上の開始点は、×印でマークされている。
この手順は、衣服GBの縁部を、それらが衣服GBの輪郭に沿って出現する順序で、その点から開始して処理する。よりアルゴリズム的ではないが、これは三角形Tの内側から始まる衣服GBの輪郭に沿ったウォークに相当する。このようなウォークは例えば、図7Bに示される。手順は、衣服GBの輪郭がそれぞれの三角形を離れる点を決定する。この点が衣服GAの輪郭の一部である場合、手順は、それが記憶する交差点を見つけたことになる。図7Bの例では、開始三角形が残されているが、衣服GBの輪郭はまだ満たされておらず、その結果、手順は衣服GBの輪郭に沿った交差点の探索を継続する。これは、例えば、図7Cの例示的なステップにおいて達成され、ここで衣服GAの輪郭が交差され、図7Dでは衣服GAの輪郭上の交差点が定義され、記憶される。
このような交差点において、衣服GBの輪郭は衣服GAの内部を離れる。他方、これは、衣服GAの輪郭が、例えば衣服GBのメッシュの縁部の関連する内部を通って、図7Eに示されるように衣服GBのメッシュの三角形の内部に入ることによって、衣服GAの内部に入ることを手段する。衣服GBの輪郭に沿ったウォークにおいて前述したように、この手順は、衣服GAの輪郭の縁部と、それらを含むメッシュGBの要素とを考慮する。例えば図7Fに示すように、これらの要素を反復的に横断することによって、2つの輪郭の交差を見つけることができる。すなわち、本例では、そのように言われる衣服GBの輪郭が衣服GAに再び入る。この再入点は、交差点のシーケンスにも記憶される。例えば、手順は、以前のように、衣服GBの輪郭および衣服GAのメッシュをウォークすることによって継続する。手順は、衣服GBの最初の縁部および衣服GAのメッシュ内の三角形Tに再び到達するとすぐに停止する。
一般的に言えば、例えば、交差オブジェクトのシーケンスを決定することは、内側衣服の制限オブジェクトが交差するまで、外側衣服の制限オブジェクト、例えば、輪郭上の第1の交差点から横断することをさらに含み、それによって、交差オブジェクトの少なくとも1つのさらなる交差点、例えば、第2の交差点を決定する。そこから、手順は、第1および第2の交差点の決定の間、すなわち、内側衣服の制限オブジェクト、例えば、輪郭上の第2の交差点から、外側衣服の制限オブジェクトが交差するまで横断する間、同様に続き、それによって、交差オブジェクトの少なくとも1つのさらなる交差点、例えば、第3の交差点などを決定する。
衣服GAおよびGBの2つの縁部が整列されるとき、または一方の輪郭の縁部が他方のメッシュの頂点を通過するときに、無限の交差点のような特別な場合を考慮することが、手順のために必要であり得る。しかしながら、これらの場合は、直接的に、または、例えば、標準的な記号摂動技術を使用することによって、取り扱うことができる。
最後に、上記の手順は、内側衣服GBの輪郭が交互に衣服GAから出入りする交差点のシーケンス、それぞれが交差オブジェクトD35、を残す。さらに、各交差点または交差オブジェクトについて、手順は、それが外側衣服GAの開口オブジェクト上にあるか否かを記憶することができる。
次のステップS50の一部として、交差シーケンスが検査される。交差点のタイプ、交差オブジェクト、および開口オブジェクトの位置に基づいて、衣服モデルの幾何学的データが適合される。PとQをシーケンスの2つの連続する交差点、すなわち、内側衣服GBの輪郭がPで外側衣服GAを離れ、Qで再び入るとする。この手順は図8に示すように、以下の場合を区別する。
図8A:交差点PとQの間には、外側衣服GA上に開口オブジェクトはない。
図8B:交差点P、Qは、同一の開口オブジェクトに属する。
図8C:交差点Pは、開口オブジェクトではなく、Qは、外側衣服GAの輪郭に沿ってPに続く開口オブジェクト上にある(またはPおよびQの役割が変更される)、すなわち、交差点PとQとの間に開口オブジェクトの正確に1つの終点がある。
図8D:交差点PとQとの間に開口オブジェクトの複数の終点がある。
交差オブジェクトまたは交差点は、それぞれ、各衣服についてそれぞれのオーバーラップセクションオブジェクトを規定する。これらは、調整が潜在的に行われる、後述する3次元の場合のような2次元の場合と同様に、オブジェクトである。
例えば、それぞれの衣服の各オーバーラップセクションオブジェクトは、それぞれの衣服の交差点のうちの2つによって境界付けられたそれぞれのメッシュの連続的な輪郭の一部であり、例えば、内側衣服の連続的な輪郭は、外側衣服の内部を離れて再び入る。
図8Aから図8Dに関連して上述した異なる場合に関して、例えば、第1および/または第2の衣服の幾何学的データの調整は、検出される以下の構成のうちの1つに基づく。
A)外側衣服のそれぞれのオーバーラップセクションオブジェクトは、外側衣服の開口オブジェクトを含まない。
B)外側衣服のそれぞれのオーバーラップセクションオブジェクトは、少なくとも部分的に、外側衣服の少なくとも1つの開口オブジェクトのうちの1つを完全に含む。
C)それぞれのオーバーラップセクションオブジェクトの一部のみが、少なくとも部分的に、外側衣服の少なくとも1つの開口オブジェクトのうちの1つを含む。
D)外側衣服のそれぞれのオーバーラップセクションオブジェクトは、少なくとも部分的に、外側衣服の少なくとも1つの開口オブジェクトのうちの2つ以上を含む。
検出されたオーバーラップを処理するための様々なオプションがある。それらは、衣服モデルのメッシュデータが表現される方法、およびモデルのための追加の物理データがあるかどうかに部分的に依存する。
例えば、図8Aに描かれているようなケースAでは、2つの交差点PとQとの間の外側衣服の輪郭上に開口オブジェクトが存在しない場合、第1および/または第2の衣服の幾何学的データを調整することは、2つの交差点PおよびQによって境界付けされた内側衣服および/または外側衣服の輪郭の完全な部分を調整することを含む。
例えば、図8Bに描かれているようなケースBの場合、2つの交差点PおよびQが共に外側衣服の輪郭上の同じ開口オブジェクトによって構成されている場合、第1および/または第2の衣服の幾何学的データを調整することは、調整なしに、2つの交差点PおよびQによって境界付けられた内側衣服および外側衣服の輪郭の完全な部分を残すことを含む。
例えば、図8Cに描かれているようなケースCの場合、2つの交差点PおよびQの1つの点Rが外側衣服の輪郭上の開口オブジェクトによって構成されておらず、2つの交差点PおよびQによって境界付けられた外側衣服の輪郭の部分上に開口オブジェクトの1つの終点Eがある場合、第1および/または第2の衣服の幾何学的データを調整することは、終点Eの近傍の内側衣服GBの輪郭上の輪郭点R’を決定することと、点Rおよび輪郭点R’によって境界付けられた内側衣服GBの輪郭の部分および/または点Rおよび終点Eによって境界付けられた外側衣服GAの輪郭の部分を調整することと、を含む。
例えば、図8Dに描かれているようなケースDの場合、2つの交差点PおよびQによって境界付けられる外側衣服の輪郭の部分上に少なくとも1つの開口オブジェクトの終点のシーケンスSがある場合、第1および/または第2の衣服の幾何学的データを調整することは、内側衣服の輪郭上の輪郭点のシーケンスS’を決定する(シーケンスS’の各輪郭点はシーケンスSの対応する終点の近傍にあり)ことと、シーケンスS’の輪郭点の2つによって境界付けられ、開口オブジェクトに関連付けられていない内側衣服の輪郭のそのような部分および/またはシーケンスSの終点の2つによって境界付けられ、開口オブジェクトを含まない外側衣服の輪郭のそのような部分を調整することと、を含む。
すべての場合AからDにおいて、輪郭および/または輪郭の一部を調整することは、それぞれの輪郭に関連する点または頂点、およびそれらの近傍の点または頂点を調整することを含むことができる。これらの点は、例えば、ステップS45で見つけることができる。
以下に述べるアプローチは、それらが輪郭を変更する方法によって分類することができる。
a)輪郭線の部分は、他の部分に置き換えられる。最も基本的なケースは、内側衣服モデルGBの輪郭が変更されるケースである。代替の変形例では、外側衣服モデルGAの輪郭が内側衣服GBの望ましくない部分を隠すように変更される。
b)メッシュの頂点は、例えば2D形状変形を使用して、オーバーラップを変更するために移動される。この場合も、内側衣服GBまたは外側衣服GAを変更する両方の変形形態が可能である。現実的な視覚的表現を達成するために、オーバーラップを生成する頂点だけでなく、それらの近傍の頂点も移動させることが望ましい場合がある。これは、例えば、頂点の座標がその隣接する頂点によって制約される頂点表現によって、例えば、上述のようにラプラシアン座標を使用して達成することができ、そのような表現ではオーバーラップを生成する頂点を移動させることは他の頂点の移動ももたらし、通常、輪郭の滑らかな変形をもたらす。これは外側衣服が透明である場合に関連し得るが、特に開口を含む場合にも関連し得る。後者の場合、開口によって見える頂点も同様に移動させることができる。
c)両方の輪郭は、例えば物理データにしたがって変更される。
d)1つのモデルの部分は、例えばマスクまたはアルファマッピングを使用して隠される。
e)開口を通して見えるようになる、下にある内側モデルの部分のみが保持され、レンダリングに使用される。この変形例では、本方法がレンダリングされる1組の分離された衣服部分を保持する。
オーバーラップを補正するための方法の変形は、異なるケースAからDに関して、および上述の異なるアプローチa)からe)に関して以下に記載される。オーバーラップは、例えば増分的に処理される。
ケースA、図8A:
a)内側衣服GBを変更する場合には、内側衣服GBの頂点としてPとQとを加算し、内側衣服GBのPとQとの間の輪郭を外側衣服GAの輪郭の一部に置き換える。外側衣服GAの輪郭が変更される変形例では、PおよびQが外側衣服GAの頂点として追加され、外側衣服GAの輪郭が同様に変更される。
b)内側衣服GBを変更する変形例を説明する。任意選択で、点PおよびQ、または外側衣服GAの内部のそれらに近い点を、内側衣服GBの輪郭の頂点として追加する。PとQとの間の内側衣服GBの輪郭のすべての頂点について、本方法は、例えば最適化基準を最小化することによって、外側衣服GAの輪郭上に、または外側衣服GAの内部に、輪郭に近い対応する点を見つける。これらの点を対応点と呼ぶことができる。
最も短い距離を有する点を単に選択することは、輪郭に沿った対応する点の異なる順序につながり得ることに留意されたい。最適化アルゴリズムを使用する代わりに、各頂点について、測地線が内側衣服GBの外側で外側衣服GAの内側にある測地線に最も近い点を選択する。
内側衣服GBの輪郭の頂点は、これらの点に移動される。内側衣服GBの頂点が移動される点は、例えば図9に示すように、外側衣服GAの輪郭のわずかに内側に選択することができる。再び、外側衣服GAと内側衣服GBの役割は、外側衣服GAがオーバーラップを除去するために拡張されるときに交換されることができる。
外側衣服GAの輪郭の構造に応じて、これは、オーバーラップを除去するのに十分でない場合があり、内側衣服GBの2つの頂点の間に外側衣服GAの頂点があり、内側衣服GBの輪郭が外側衣服GAの内側に移動できない場合がある。したがって、本方法は、PとQとの間の部分について、外側衣服GAの頂点に対応する内側衣服GBの輪郭上の点のシーケンスを見つける。内側衣服GBの縁部は、これらの点で細分される。ここで、外側衣服GAの各頂点について、関連する領域に内側衣服GBの対応する頂点があり、内側衣服GBのすべての頂点、例えば、元の頂点および新たに生成された頂点は、その部分において、外側衣服GA上の対応する頂点に移動される。
c)任意選択で、PおよびQ、またはそれらに近い点を頂点として衣服GAおよびGBの輪郭に追加する。得られる衣服を分離することを意図したPとQとの間の曲線を画定する。衣服GAおよびGBの輪郭の部分を、a)と同様に曲線で置き換えるか、または、b)と同様に輪郭の頂点を曲線に移動させる。
輪郭間の曲線は様々な方法で見つけることができる。例えば、本方法は、材料の任意選択的にモデル化された特性、または一方のチェーンを他方にモーフィングするときの中間段階を考慮して、非線形最適化手順を使用することができる。別の選択肢は、内側衣服GBの内側と外側衣服GAの外側のPとQとの間の測地学的に最短の経路を使用することである。AおよびBの部分に対する曲線の類似性を連続的に選択することを可能にする別のアプローチは、2つの曲線間の測地線Frechet距離を定義する測地線上の重み付けされた距離を有する点を使用することができる。
d)オーバーラップし合う領域がレンダリングされないようにマスク/アルファマッピングを設定する。この領域は、PとQとの間の内側衣服GBの輪郭、ならびにQとPとの間の外側衣服GAの輪郭によって境界付けられる。
e)この方法は、レンダリングするモデルパーツのセットに何も追加しない。
ケースB、図8B:
PおよびQが同じ開口に属する場合、アプローチa)、b)、c)およびd)について、モデルの輪郭は変更されない。開口を通って出る内側衣服GBの部分は、外側衣服GAに再び入ることが可能である。例えば、シャツの首の部分はジャケットの首の開口を残し、シャツの首の襟は再びジャケットとオーバーラップする。
しかしながら、そのようなオーバーラップは、通常、不自然な表現をもたらさず、例えば衣服モデルがレンダリングされる適切な順序によって、処理することができる。
アプローチe)の場合、方法は、以下のようにレンダリングのためにモデルBの一部を記憶する。この部分の輪郭は、PとQとの間の内側衣服GBの輪郭と、QとPとの間の外側衣服GAの輪郭とからなる。
ケースC、図8C:
図10Aおよび図10Bを参照すると、方法は、例えば以下のヒューリスティックを使用することによって、開口の始点、すなわち終点Eに移動される輪郭点R’を識別する。内側衣服GBの輪郭が横断され、開口の始点Eまでの距離を追跡する。現在の距離が現在の最小距離を所与の係数だけ超える場合、現在の最小点は、開口の始点Eにおける輪郭点R’として使用される。このヒューリスティックは、例えば、所望の点ではないグローバル最小値を無視するだけでなく、局所的最小値を克服することを可能にする。
ここで、この方法は、選択されたオプションに応じて進行する。
a)第1の内側衣服GBが修正されたと仮定する。この場合、内側衣服GBの輪郭頂点は、それぞれ図10Aおよび図10Bに示すように、開口で外側衣服GAを離れるまで、外側衣服GAの内側に輪郭が続くように変更されなければならない。この方法は、P、R(図10Aおよび図10Bでは見えない)からR’までの内側衣服GBの輪郭を、P、Rから開口の始点Eまでの外側衣服GAの輪郭部分に置き換える。すなわち、内側衣服GBは開口の第1点Eを頂点とし、次の頂点は、内側衣服GBの輪郭に沿ったR’の次の頂点である。特に、内側衣服GB上の次の頂点が点R’から遠く離れているモデルでは、この方法が自然な衣服の挙動として知覚されない影響をもたらすことがある。以下に記載されるアプローチb)は、改善された結果をもたらすことができる。
外側衣服GAの輪郭が変更された場合も同様に進行する。点R’を見つけた後、P、Rから開口の始点Eまでの外側衣服GAの輪郭部分は、P、RおよびR’との間の内側衣服GBの1つによって置き換えられる。
b)内側衣服GBの輪郭の頂点が移動されるべきである場合、方法は、外側衣服GAの輪郭に沿って、P、Rおよび開口終点Eとの間の点を見つけ、内側衣服GBの輪郭上の頂点を、P、RおよびR’との間でこれらの点にマッピングし(第1の場合Aと同様)、特に、R’を開口の始点Eまたはその近傍の点にマッピングする。B上の次の頂点がR’から遠く離れている場合には、方法は、メッシュの内部頂点に使用されるような非線形最適化システムに依存する点の近傍に内側衣服GBの頂点を作ることによって適合させることができる。
外側衣服GAを変更するために、P、Rおよび開口終点Eとの間の外側衣服GAの輪郭の頂点と、P、RおよびR’との間の内側衣服GBの輪郭上の点との類似のマッピングを使用することができる。この場合、例えば非線形最適化システムを使用して、第1の頂点に近い開口の頂点を任意に変更することも望ましい場合がある。
c)両方の衣服モデルGA、GBを変更するとき、方法は、開口の始点Eと点R’の両方がマッピングされる点を計算する。この点は、例えば、材料特性に依存する因子を用いて、線形補間によって見つけることができる。この点が見つかった後、P、Rおよびこの点との間の曲線が第1の場合と同様に構成され、この曲線を考慮して輪郭が修正される。
d)マスクまたはアルファマッピングを適用するために、レンダリングされるべきでない部分の境界を定義する必要がある。これは、アプローチa)と同じ方法で、すなわち、開口の始点Eと、P、Rに続く内側衣服GBの輪郭上の頂点との間の縁部によって、行うことができる。
e)このアプローチでは、レンダリングされる内側衣服GBの部分の輪郭がアプローチa)と同様に得ることができる。したがって、部分はP、Rから始まり、R’が続きQまでの輪郭、そして、QからPまでの開口に沿った外側衣服GAの輪郭によって画定される。
ケースD、図8D:
このケースDでは、方法は、PとQとの間の外側衣服GAの輪郭に沿った開口の終点のシーケンスSを考慮する。方法は、これらの点がSの点に対で対応するように、内側衣服GBの輪郭上の点のシーケンスS’を決定し、その結果、対応する点間の距離が、最適化基準、例えば二乗和を最小化する。この対応が決定された後、方法は、異なるアプローチにしたがってオーバーラップを解決することができる。
a)内側衣服GBが変更されると、内側衣服GBの輪郭は、S’内の点によって細分される。そして、これらの頂点は、外側衣服GA上の終点Sに配置される。この手順の後、以前の場合が適用される。PおよびQのうちの少なくとも1つ、例えば、Pが開口にない場合、方法は、任意選択で、セットSを見つける前に、点R’についてケースCについて説明したヒューリスティックを適用することもできる。同様に、外側衣服GAが変更されると、Sの終頂点は、S’の対応点に配置される。
b)アプローチa)と同様に、内側衣服GBまたは外側衣服GAの頂箇所は、それぞれSまたはS’の対応する点に移動される。ケースCにおけるように、移動された頂点の近傍の頂点は、それらの隣接する頂点に非線形に従属させることができ、これは、一般に、輪郭のより滑らかな表現をもたらす。
c)ケースAにおけるように、方法は、点PとQとの間にあり、任意選択で課される物理モデルの基準に一致する曲線を決定することに依拠する。方法は、S’内の点で内側衣服GBを細分割することができ、モーフィングまたは非線形最適化などの方法は、SおよびS’内の点に対応する頂点を有するそのような曲線を提供する。
d)この場合も、アルファマッピングの境界を定義する必要があり、これはアプローチa)の場合と同様に行うことができる。
e)このステップは、一般に、レンダリングされる部分のセットに追加されるいくつかのモデル部分をもたらす。前述の場合と同様に、これらの部分の輪郭は、アプローチa)のように定義することができる。
これらのステップを衣服モデルに反復的に適用すると、それらは、最終的に適切に再成形されたまたは調整された衣服D40になるように修正される。この手順はもはや正面に向いていないモデルを生成することがあるが、正面に向いているという特性は交差オブジェクトを見つけるためにのみ関連するので、これは方法の正確さに影響を及ぼさない。
改善された処理概念による衣服を調整するプロセスは、これまで2つの衣服のセットについて説明されてきたが、セットは、上述のように、第3の、またはより多くの衣服をさらに含んでもよい。一般に、同じ手順が、第3の衣服と他の衣服との間に適用されてもよい。
例えば、プロセスは、コンピュータシステムにおいて、セットの第3の衣服の第3のモデルデータを記憶することをさらに含んでもよく、第3のモデルデータは第3の衣服に関連するメッシュを定義する2次元または3次元の幾何学的データを含み、第3の衣服の制限オブジェクトは、幾何学的データの少なくとも一部によって定義され、第3の衣服の内部と外部との間の分離を構成する。第3の衣服のための少なくとも1つの開口オブジェクトがコンピュータシステムに記憶され、各開口オブジェクトは、第3の衣服の制限オブジェクトの一部として定義され、第3の衣服の内部と外部との間のアイテム、特に衣服またはアバターのための遷移を構成する。方法は、コンピュータシステムにおいて、第3の衣服のための交差オブジェクトを決定することをさらに含み、交差オブジェクトは、第3の衣服の制限オブジェクトと第1および第2の衣服の一方の制限オブジェクトとの間の1つ以上の交差を画定する。
それぞれの衣服の各々について、制限オブジェクトの部分は、それぞれの衣服の交差オブジェクトのうちの1つまたは複数によって境界付けられたオーバーラップセクションオブジェクトとしてコンピュータシステムにおいて決定される。最後に、オーバーラップセクションオブジェクトに対するそれぞれの衣服の幾何学的データが調整される。
したがって、調整された衣服D40のセットが得られる。
図3のステップS50に関して、アバターAVの一部が衣服の領域を開口に残さない場合をカバーするために、アバターAVもまた、変更された衣服の輪郭に適合されなければならないか、またはその逆でなければならないことが必要であり得る。そのような方法は制御点のみに基づくヒューリスティックであり得るので、そのようなオーバーラップはフィッティングプロセスの後でさえ現れ得る。この手順は、内側衣服の輪郭としてアバターAVを有することと同様である。ここで、特に、アバター輪郭が衣服輪郭の接続された開口または非開口内に出入りする場合は、この方法によって取り扱われる。
アバターの輪郭点を開口の終点に向かって移動させることはこの領域の近傍でアバターの歪みをもたらすことがあり、そのような歪みは衣服には許容可能であるが、人間モデルではこれは人間の観察者によって非常に不自然であると知覚される、ということを考慮すべきである。
例えば、セットの衣服が着用されるアバターのアバターモデルデータは、コンピュータシステムに記憶される。アバターデータは、アバターに関連付けられたメッシュを定義する2次元または3次元の幾何学的データを含むことができる。アバターの制限オブジェクトは、幾何学的データの少なくとも一部によって定義され、アバターの内部と外部との間の分離を構成する。
衣服モデルについて前述したのと同様に、アバターおよびセットの最内側衣服の交差オブジェクトがコンピュータシステムにおいて決定される。交差オブジェクトは、アバターの制限オブジェクトと最内側衣服の制限オブジェクトとの間の1つ以上の交差を定義する。
この手順は、コンピュータシステムにおいて、アバターおよび最内側衣服について、アバターおよび衣服の交差オブジェクトのうちの1つ以上によって境界付けられたオーバーラップセクションオブジェクトとして制限オブジェクトの部分を決定することと、コンピュータシステムにおいて、それぞれのオーバーラップセクションオブジェクトに対するアバターおよび/または最内側衣服の幾何学的データを調整することと、をさらに含むことができる。
最内側衣服の代わりにまたはそれに加えて、同じ手順を、最内側衣服の上に着用された他の衣服に対して適用することもできる。例えば、この手順は、アバターと衣服のいずれかとの間に望ましくない交差が残らなくなるまで、反復的に実行され得る。
この任意選択のステップS50では、アバターモデルが以前に衣服モデルで行われたように変更することができ、または、例えば、アバターAVをレンダリングするときに使用されるマスクの輪郭を定義するために、アバターの非オーバーラップ輪郭ならびにオーバーラップ部分の衣服の輪郭を使用することができる。
図3に戻って参照すると、調整された衣服D40のセット、および任意選択で、調整されたアバターモデルD50、またはアバターD12を用いて、ステップS60において、アバター上の衣服モデルの組み合わされた提示を達成することができる。
2Dモデルとは対照的に、衣服の輪郭の自己交差が投影による合理的な表現である場合、3D衣服モデルは、交差なしであると考えられ、例えばCADを使用して作成されるような共通の3Dモデルに似ている。これは、衣服モデルGBのどの部分が衣服モデルGAの外にあるかを決定するために点包含アルゴリズムを使用できるという効果を有する。また、これらのステップは、開口オブジェクトを提供すると仮定することができる。
改良された処理コンセプトにしたがった方法によって対処される重要な要素は、これらの部分を除去しなければならないのか否か、また衣服の開口との交差点をどのように扱うかを決定することである。検出されたオーバーラップを処理するために、方法は、変形e)を除いて、上述したような2Dの場合のすべての変形の一般化を使用することができる。
例えば、3次元設定では、モデルは、ユーザが開口を通して見ることを可能にすべきであり、したがって、一般に、内側衣服モデルの可視部分と不可視部分との間に明確な分離は存在しない。
制限オブジェクト、開口オブジェクト、交差オブジェクト、およびオーバーラップセクションオブジェクトの処理は、一般に、2次元の場合と同じ規則に従う。しかしながら、異なる幾何学的表現のために、これらの用語の意味はわずかに異なる。
例えば、それぞれの衣服の各制限オブジェクトはそれぞれのメッシュの表面であり、それぞれの衣服の各開口オブジェクトは、それぞれのメッシュの表面の一部または表面の境界である。それぞれの衣服の各交差オブジェクトは、それぞれのメッシュ、例えば表面の交差点のサイクルであってもよい。それぞれの衣服の各オーバーラップセクションオブジェクトは、それぞれの衣服の交差点のサイクルの少なくとも1つによって境界付けられたそれぞれのメッシュの表面の一部である。
図3に戻って参照すると、特に、それぞれの衣服開口オブジェクトD20をもたらす開口の決定に関する任意選択のステップS20を参照すると、これは、2次元の場合と同様に達成することができる。例えば、アバターとの交差に基づいて、および/またはセマンティックラベルD14の使用、および/または機械学習アルゴリズムの使用によって、開口を決定することができる。交差オブジェクトS35を決定するためには、開始点および三角形位置D30が必要である。
2次元のケースと同様に、方法は、外側衣服GAの内部の内側衣服GB上の点を選択することによって開始する。この場合も、この点の選択は満足のいく結果を得るための方法の基礎であり、領域固有であり、2次元の場合に与えられるオプションがここでも同様に適用される。
図11および図12は、処理前に光影を付けた内側モデルおよび暗い影を付けた外側モデルを有する3Dモデルの描写を示している。すなわち、内側モデルの部分が技術的に不正確な方法で外側モデルとオーバーラップし合っているところである。
例えば、図11および図12から開始して、それぞれ左画像を用い、例えば、内側衣服GBのメッシュ構造上の幅優先探索を用いて、手順は内側衣服GBが外側衣服GAを離れる交差箇所、すなわち、内側衣服GBの点が、その周りの任意の近傍において外側衣服GAの外側にあるような点を見つける。そのような点は、実際にはそのような点によって定義されるサイクルの一部である。なお、本手順では内側衣服GBが外側衣服GAから離れない交差点を取り扱わないようにしてもよいが、そのようなサイクルの例をそれぞれ図11および図12に示す。
手順は、衣服GAおよびGBのメッシュの要素を処理することによって、これらのすべての点を決定する。要素は、そのようなサイクルに沿って現れる順序で処理される。出力は、例えば、衣服GAおよびGBの両方の表面上の閉じた非自己交差多角形サイクルであり、外側衣服GAの内側および外側の内側衣服GBの部分を局所的に分離する。
2次元の場合と同様に、この手順は、ここで、内側衣服GBの内側にある曲線に隣接する外側衣服GAの三角形を選び、外側衣服GAが内側衣服GBを離れる点を探索する。代替的に、方法は、外側衣服GAとの交差について、サイクルによって画定される領域の内側の内側衣服GB上で探索を継続することができる。前述のように、このような点の2つのメッシュ上の非自己交差多角形サイクルが構築される。これは、図11および図12の右側の画像に見ることができ、いくつかのこのような境界領域が存在し得ることが観察され得る。
これらのステップは、衣服GAおよびGBの両方のすべてのこのような点が見つかるまで、交互に進められる。この手順は、衣服GAおよびGBが単に触れる点を無視することができることに留意されたい。さらに、この方法は、好ましくは、1つのそのようなサイクルを見つけたときに停止しないが、サイクルによって定義される領域の外側および内側の両方で、例えば、幅優先探索または深さ優先探索を使用して、網羅的にメッシュを通過する必要があることに留意されたい。任意選択で、手順は、これらの多角形サイクルの再帰的探索を停止する基準を与えることができる。そのような基準は、反復の数、または定量的基準、例えばサイクルのサイズなどとすることができる。
この交差オブジェクトのシーケンス/階層D35から、それぞれのオーバーラップセクションオブジェクトを決定することができる。この3次元のケースでは、それぞれの衣服の各オーバーラップセクションオブジェクトは、それぞれの衣服の交差点のサイクルのうちの1つによって境界付けられたそれぞれのメッシュの表面の一部であり、ここで、内側衣服の表面は外側衣服の内部を離れ、それぞれのメッシュの表面の一部は交差点のサイクルのうちの1つのみによって境界付けられ、またはさらに、それぞれの衣服の交差点のサイクルのうちのさらなる1つによって境界付けられ、ここで、内側衣服の表面は外側衣服の内部に再び入る。
これらのステップの後、手順は、内側衣服GBのメッシュのどの部分が外側衣服GAの外側にあるかを決定する多角形サイクルのセットを記憶した。説明を簡単にするために、方法はこのような各サイクルで両方のメッシュを細分割し、それらを再三角測量すると仮定する。しかしながら、このステップは、サイクルの検出中に行うこともできる。したがって、内側衣服GBの任意の三角形の相対的な内部は、外側衣服GAの完全に内側または外側のいずれかである。しかしながら、このステップは、例えば、差分メッシュ表現を使用する場合には省略することができる。
2次元の場合のように、望ましくないオーバーラップを除去するための異なるアプローチがある。頂点表現に応じて、外側の頂点は、それらが外側衣服GAの内側になるまで、例えば、それらの法線ベクトルに沿って動かすことができ、または内側衣服GBの対応する部分は、サイクルによって境界付けられた外側衣服GAの部分によって置き換えられる。同様の操作は、内側衣服GBの代わりに外側衣服GAが変更される場合に適用される。両方の場合において、点はレンダリングエンジンによる視覚的アーチファクトを防止するために、外側衣服GAの内側に向かってさらにわずかに移動されてもよい。
両方のメッシュが変更される場合、サイクルは、補間されるべき2つの部分を容易に定義する。この方法は、例えば、メッシュモーフィングを使用して、2つの部分の「中間」にあるメッシュを構築することができ、再び、任意選択で、モデル化された材料特性にしたがってモーフの段階を選択する。既存のモーフィングアルゴリズムは、内側衣服GBが外側衣服GAを離れるサイクルの頂点に対応点を設定することによって直接適用することができる。また、アルファマッピングは、外側衣服GAの外側の内側衣服GBの部分に適用することができる。
2Dのケースにおいて、特にケースA、アプローチb)におけるように、例えば、オーバーラップに関与する内側衣服GBの単一の三角形が存在する場合、内側衣服GBの頂点を外側衣服GAの内側に移動させることは十分ではない場合がある。また、3次元では、外側衣服GAのすべての頂点に対して内側衣服GBに頂点を有することでは十分ではないことが観察され得る。したがって、方法は、外側衣服GAのすべての縁部、特に関連領域について、内側衣服GBの縁部の対応するチェーンを見つけることができ、その結果、チェーンの端頂点は外側衣服GAの対応する縁部の頂点に移動され、チェーンに沿った内側衣服GBの頂点は外側衣服GAの縁部上の点にマッピングされる。再び、内側衣服GBの代わりに外側衣服GAが修正される場合、衣服GAおよびGBの役割を交換して、類似の手順が行われる。
上記のステップは、例えば、外側衣服GAの外側の内側衣服GBの部分の境界を決定し、次いでそれらを除去するように、次々に行うことができるか、または例えば、新しい境界を探索する間に内側衣服GBの頂点を動かすように、オンザフライで行うことができることに留意されたい。両方の代替案は、例えば、交差点が検出される前に既に消失している場合に、内側衣服GBのわずかに異なる修正をもたらすことができるが、両方の変形例は内側衣服GBが外側衣服GAの内側にあることをもたらす。
ここで達成される結果は、外側衣服GAの内側にない内側衣服GBの部分を除去することと同様であることに留意されたい。しかしながら、このような操作は内側衣服GBの表面を切り離すことになるが、これはここでは当てはまらない。方法は、内側衣服GBが単一の閉じた表面を有するという不変を維持する。あるいは、外側衣服GAに含まれる内側衣服GBの部分を得て、1つの接続された部分を選ぶことができる。この選択は、このセクションの冒頭で説明した動作の開始点を選択することと同等である。
上記の動作では、交差オブジェクトおよびオーバーラップセクションオブジェクトがそれぞれ開口オブジェクトに関係しないが、交差オブジェクトおよび開口オブジェクトが干渉する可能性がある構成がある。したがって、この3次元のケースには、開口を取り扱う必要があり得る。
例えば、開口の境界は、その縁部が衣服モデルGAのメッシュの縁部でもある非自己交差多角形サイクルである。このようなサイクルC毎に、改善された処理概念による方法は、3つのケースを区別する。(I)サイクルC上の各点は内側衣服GBの外側にあり、(II)各点は内側衣服GBの内側にあり、または(III)いくつかの点は内側であり、いくつかは外側である。これらの3つのケースは、サイクルC上の任意の点を選択し、内側衣服GBの内側か外側かを判定し、内側衣服GBの表面メッシュとサイクルCの縁部との交差点を求めることによって区別することができる。
内側衣服GBとサイクルCのメッシュの交差点がなく、サイクルC上の任意の点がBの外側にある場合、本方法はモデルを変更しない。
また、サイクルCと内側衣服GBとの交差点が存在する場合には、その交差点が内側衣服GBの頂点となるように、内側衣服GBのメッシュを細分化してもよい。次に、この手順は、内側衣服GBの表面上に多角形チェーンC’を生成し、このチェーンはこの点で始まり、内側衣服GBを離れるCの次の点で終わる。この曲線の頂点は、様々な変形によって見つけることができる。
例えば、頂点は、サイクルCの対応する頂点までの距離の二乗の合計を最小にする点のシーケンスを見つけることによって見つけることができる。追加または代替として、頂点は、サイクルCの関連部分とチェーンとの間のフラチェット距離を最小にするチェーンを見つけることによって見つけることができる。もう1つの選択肢は、サイクルCに沿って法線が最初に当たる内側衣服GB上の点を見つけることである。さらに、メッシュモーフィングアルゴリズムを適用して、Cの対応する部分がどこにマッピングされるかを追跡することができる。
開口、開口オブジェクトの境界は、通常、明確に定義されていない表面法線ベクトル、例えば、カラーの端部を有する縁部で生じるので、使用される法線ベクトルは、例えば、開口ではなくチェーンCに隣接する三角形上に画定されるものであってもよい。
1つの衣服モデル、例えば、内側衣服GBのみを変更する場合、内側衣服GBのメッシュはサイクルC’に沿って細分化され、サイクルC’の頂点はサイクルCに沿って対応する位置に移動される。内側衣服GBのメッシュの頂点がメッシュ編集を可能にするフォーマットである場合、この手順は、改善された視覚的および技術的に正しい結果をもたらす。両方のメッシュが操作される場合、方法は、サイクルCおよびC’の一部が、例えばメッシュモーフィングアルゴリズムによって、材料特性を考慮に入れるオプションを用いてマッピングされる経路C’’を見つける。
第3のケースIIIでは、サイクルCが完全に内側衣服GBの内側にある場合、方法は、内側衣服GBのメッシュ上の多角形サイクルC’を決定する。これは、例えば前の場合に記載した方法を用いて行うことができる。例えば、メッシュモーフィングによって、または表面法線ベクトルから交差点を決定することによって、様々な基準にしたがって最も近い点を決定する。ここでも、サイクルC’上の頂点がサイクルC上の対応する点にマッピングされるか、またはサイクルCの頂点がサイクルC’上の点にマッピングされるか、あるいは前のケースのように中間サイクルC’’が構築される。
このようなステップを適用すると、内側衣服GBの自己オーバーラップが生じる場合、メッシュ修復アルゴリズムまたは人間のオペレータを使用して、メッシュをさらに変更することができる。これらのステップを各開口の境界サイクルに適用することにより、内側衣服GBのメッシュの修正がもたらされ、その結果、以前に識別されたすべての交差は、外側衣服GAの開口の内側に完全にあり(このケースでは、手順はいかなる衣服モデルも変更せず)、または、いかなる開口の外側に完全にある(このケースでは、オーバーラップは、選択された変形例にしたがって修正される)。この手順は、頂点を開口に変更するときにオーバーラップを補正するか、または開口を含まずにオーバーラップを補正することに関連して上述したステップにこれらのオーバーラップ部分の処理を完全に延期するように適合させることができる。
図13は、改善された処理概念による実施形態を組み込むことができるコンピュータシステムのブロック図である。図13は、改善された処理概念を組み込んだ実施形態の単なる例示であり、特許請求の範囲に記載された本発明の範囲を限定するものではない。当業者は、他の変形形態、修正形態、および代替形態を認識するのであろう。
一実施形態では、コンピュータシステム700は、典型的には、モニタ710、コンピュータ720、ユーザ出力装置730、ユーザ入力装置999、通信インターフェース750などを含む。
図13に示すように、コンピュータ720は、バスサブシステム790を介して多数の周辺装置と通信するプロセッサ760を含むことができる。これらの周辺装置は、ユーザ出力装置730、ユーザ入力装置740、通信インターフェース750、およびランダムアクセスメモリ(RAM)770およびディスクドライブ780のような記憶サブシステムを含み得る。
ユーザ入力装置740は、コンピュータシステム720に情報を入力するためのすべての可能なタイプの装置およびメカニズムを含む。これらは、キーボード、キーパッド、ディスプレイに組み込まれたタッチスクリーン、音声認識システムなどのオーディオ入力装置、マイクロフォン、および他のタイプの入力装置を含むことができる。様々な実施形態では、ユーザ入力装置740は、典型的には、コンピュータマウス、トラックボール、トラックパッド、ジョイスティック、ワイヤレスリモート、ドローイングタブレット、ボイスコマンドシステム、アイトラッキングシステムなどとして具現化される。ユーザ入力装置740は、典型的には、ユーザがボタンのクリックなどのコマンドを介して、モニタ710上に現れるオブジェクト、アイコン、テキストなどを選択することを可能にする。また、ユーザ入力装置740は、カラーおよび/または奥行きカメラ、身体形状および/または姿勢追跡センサ、手動追跡装置、頭部追跡装置などを含んでもよい。ユーザ入力装置740は、例えば、DSLRカメラまたはスマートフォン等のカメラのような種々のタイプのカメラを特に含むことができる。このようなカメラまたはスマートフォンまたは他のモバイル装置は、通信インターフェース750を介して接続された通信ネットワークを介してコンピュータ720に接続することができる。
ユーザ出力装置730は、コンピュータ720から情報を出力するためのすべての可能なタイプの装置および機構を含む。これらは、ディスプレイ(例えば、モニタ710)、オーディオ出力装置などの非ビジュアル表示設定を含むことができる。
通信インターフェース750は、他の通信ネットワークおよび機器へのインターフェースを提供する。通信インターフェース750は、他のシステムとの間でデータを受信したり、他のシステムにデータを送信したりするためのインターフェースとして機能することができる。通信インターフェース750の実施形態は、典型的には、イーサネットカード、モデム(電話、衛星、ケーブル、ISDN)、(非同期)デジタル加入者線(DSL)ユニット、FireWireインターフェース、USBインターフェース、Wi-FiおよびBluetooth(登録商標)のような無線接続などを含む。例えば、通信インターフェース750は、コンピュータネットワーク、FireWireバス等に結合されてもよい。他の実施形態では、通信インターフェース750は、コンピュータ720のマザーボード上に物理的に統合されてもよく、ソフトDSLなどのソフトウェアプログラムであってもよい。
様々な実施形態において、コンピュータシステム700はまた、HTTP、TCP/IP、RTP/RTSPプロトコルなどのネットワークを介した通信を可能にするソフトウェアを含むことができる。
RAM770およびディスクドライブ780は、実行可能なコンピュータコード、人間が読み取ることができるコードなどを含む、データを記憶するように構成された有形媒体の例である。他のタイプの有形媒体には、ソリッドステートドライブ、SSD、フロッピー(登録商標)ディスク、リムーバブルハードディスク、CD-ROM、DVDおよびバーコードなどの光記憶媒体、フラッシュメモリなどの半導体メモリ、リードオンリーメモリ(ROMS)、バッテリバックアップ揮発性メモリ、ネットワーク化された記憶装置が含まれる。RAM770およびディスクドライブ780は、改善されたモデリング概念の機能性を提供する基本プログラミングおよびデータ構造を記憶するように構成され得る。
改善された処理概念の機能性を提供するソフトウェアコードモジュールおよび命令は、RAM770およびディスクドライブ780に記憶することができる。これらのソフトウェアモジュールは、プロセッサ760によって実行することができる。RAM770およびディスクドライブ780はまた、本発明にしたがって使用されるデータを格納するためのリポジトリを提供し得る。
RAM770およびディスクドライブ780は、プログラム実行中の命令およびデータを記憶するためのメインランダムアクセスメモリ(RAM)と、固定命令が記憶されるリードオンリーメモリ(ROM)とを含む多数のメモリを含むことができる。RAM770およびディスクドライブ780は、プログラムおよびデータファイルのための永続的(不揮発性)記憶装置を提供するファイル記憶サブシステムを含むことができる。RAM770およびディスクドライブ780はまた、リムーバブルフラッシュメモリのようなリムーバブル記憶システムを含んでもよい。
バスサブシステム790は、コンピュータ720の様々な構成要素およびサブシステムが意図したとおりに互いに通信できるようにするメカニズムを提供する。バスサブシステム790は単一のバスとして概略的に示されているが、バスサブシステムの代替実施形態は複数のバスを利用することができる。
図13は、改善された処理概念を具体化することができるコンピュータシステムを表す。多くの他のハードウェアおよびソフトウェア構成がこのような使用に適していることは、当業者には容易に明らかであろう。例えば、コンピュータは、モバイル装置、特に携帯電話、またはデスクトップ、ポータブル、ラックマウントまたはタブレット構成であってもよい。さらに、コンピュータは、一連のネットワーク化されたコンピュータであってもよい。
改善された処理概念の様々な実施形態は、ソフトウェアまたはハードウェアの論理の形態で、あるいはその両方の組合せで実装することができる。論理は、改善された処理概念の実施形態において開示された一連のステップを実行するようにコンピュータシステムのプロセッサに指示するように構成された命令のセットとして、コンピュータ可読または機械可読の記憶媒体に記憶することができる。論理は、改善された処理概念の実施形態において開示されたステップのセットを自動的に実行するように情報処理装置に指示するように適合されたコンピュータプログラム製品の一部を形成することができる。
したがって、本明細書および図面は、制限的な意味ではなく例示的な意味に考えられるべきである。しかし、特許請求の範囲に記載された本発明の範囲から逸脱することなく、様々な修正および変更を加えることができることは明らかであろう。

Claims (14)

  1. 衣服のセットのモデルデータを処理するためのコンピュータ実装方法であって、
    コンピュータシステムにおいて、前記セットの第1の衣服の第1のモデルデータと、前記セットの第2の衣服の第2のモデルデータとを記憶することであって、前記第1および第2のモデルデータの各々はそれぞれの衣服に関連するメッシュを定義する2次元または3次元の幾何学的データを含み、それぞれの衣服の制限オブジェクトは、前記幾何学的データの少なくとも一部によって定義され、それぞれの衣服の内部と外部との間の分離を構成し、前記第1および第2の衣服の一方は内側衣服であり、前記第1および第2の衣服の他方は前記内側衣服の上に着用される外側衣服である、記憶することと、
    前記コンピュータシステムにおいて、前記外側衣服のための少なくとも1つの開口オブジェクトを記憶することであって、それぞれの開口オブジェクトはそれぞれの制限オブジェクトの一部として定義され、アイテム、特に衣服またはアバターのための、前記外側衣服の内部と外部との間の潜在的な遷移を構成する、記憶することと、
    前記コンピュータシステムにおいて、前記第1および第2の衣服の各々について、前記第1および第2の衣服の制限オブジェクト間の1つ以上の交差を規定する交差オブジェクトを決定することと、
    前記コンピュータシステムにおいて、前記第1および第2の衣服の各々について、それぞれの衣服の1つ以上の交差オブジェクトによって境界付けられるオーバーラップセクションオブジェクトとして制限オブジェクトの部分を決定することと、
    前記コンピュータシステムにおいて、前記外側衣服のそれぞれのオーバーラップセクションオブジェクトが前記外側衣服の少なくとも1つ以上の開口オブジェクトのうちの1つ以上を少なくとも部分的に含むかどうかに基づいて、前記オーバーラップセクションオブジェクトに対する前記第1および/または第2の衣服の幾何学的データを調整することと、を含む、方法。
  2. 前記第1および/または第2の衣服の幾何学的データを調整することは、
    A)前記外側衣服のそれぞれのオーバーラップセクションオブジェクトが、前記外側衣服の開口オブジェクトを含まないことと、
    B)前記外側衣服のそれぞれのオーバーラップセクションオブジェクトが、少なくとも部分的に外側衣服の少なくとも1つの開口オブジェクトのうちの1つを完全に含むことと、
    C)それぞれのオーバーラップセクションオブジェクトの一部のみが、少なくとも部分的に前記外側衣服の少なくとも1つの開口オブジェクトのうちの1つを含むことと、
    D)前記外側衣服のそれぞれのオーバーラップセクションオブジェクトが、少なくとも部分的に前記外側衣服の少なくとも1つの開口オブジェクトのうちの2つ以上を含むことと、のうちの1つの検出される構成に基づく、請求項1に記載の方法。
  3. 前記少なくとも1つの開口オブジェクトを、それぞれの衣服のモデルデータのセマンティックラベリングに基づいて、および/または、アバターまたは身体モデルとの交差の決定に基づいて決定することをさらに含む、請求項1または2に記載の方法。
  4. 前記第1および第2の衣服に関連する前記メッシュは、少なくとも複数の点または頂点と、前記点または頂点に関連する複数の面とによって形成され、前記交差オブジェクトを決定することは、
    前記外側衣服の内側で、前記内側衣服の前記制限オブジェクト上の前記複数の点または頂点のうちの1つを開始点として選択することと、
    前記外側衣服の前記制限オブジェクトが交差するまで前記内側衣服の前記制限オブジェクト上の前記開始点から横断し、それによって、前記交差オブジェクトの少なくとも1つの交差点を決定することと、を含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記モデルデータが2次元幾何学的データを含む場合、
    それぞれの衣服の各制限オブジェクトが、それぞれのメッシュ、特に多角形曲線の閉鎖連続輪郭、であり、
    それぞれの衣服の各開口オブジェクトが、それぞれのメッシュの連続輪郭の一部であり、
    それぞれの衣服の各交差オブジェクトが、それぞれのメッシュ、特に連続輪郭の交差点であり、
    それぞれの衣服の各オーバーラップセクションオブジェクトが、それぞれの衣服の2つの交差点によって境界付けられたそれぞれのメッシュの連続輪郭の一部であり、特に、前記内側衣服の連続輪郭が前記外側衣服の内部に出入りし、および/または、
    前記モデルデータが3次元幾何学的データを含む場合、
    それぞれの衣服の各制限オブジェクトが、それぞれのメッシュの表面であり、
    それぞれの衣服の各開口オブジェクトが、それぞれのメッシュの表面の一部またはそれぞれのメッシュの表面の境界であり、
    それぞれの衣服の各交差オブジェクトが、それぞれのメッシュ、特に表面の交差点のサイクルであり、
    それぞれの衣服の各オーバーラップセクションオブジェクトが、それぞれの衣服の交差点のサイクルの少なくとも1つによって境界付けられたそれぞれのメッシュの表面の一部である、請求項1から4のいずれか一項に記載の方法。
  6. 前記モデルデータが二次元幾何学的データを含む場合、前記内側衣服および前記外側衣服のオーバーラップセクションオブジェクトはそれぞれ、前記内側衣服および前記外側衣服の輪郭上の2つの交差点PおよびQによって境界付けられ、
    2つの交差点PおよびQの間の前記外側衣服の輪郭上に開口オブジェクトがない場合、前記第1および/または第2の衣服の幾何学的データを調整することは、2つの交差点PおよびQによって境界付けられる内側衣服および/または外側衣服の輪郭の完全な部分を調整することを含む、請求項5に記載の方法。
  7. 前記モデルデータが二次元幾何学的データを含む場合、前記内側衣服および前記外側衣服のオーバーラップセクションオブジェクトはそれぞれ、前記内側衣服および前記外側衣服の輪郭上の2つの交差点PおよびQによって境界付けられ、
    前記2つの交差点PおよびQが両方とも、前記外側衣服の輪郭上の同じ開口オブジェクトによって構成される場合、前記第1/または前記第2の衣服の幾何学的データを調整することは、調整することなく、前記2つの交差点PおよびQによって境界付けられた前記内側衣服および前記外側衣服の輪郭の完全な部分を残すことを含む、請求項5または6に記載の方法。
  8. 前記モデルデータが二次元幾何学的データを含む場合、前記内側衣服および前記外側衣服のオーバーラップセクションオブジェクトがそれぞれ、前記内側衣服および前記外側衣服の輪郭上の2つの交差点PおよびQによって境界付けられ、
    前記2つの交差点PおよびQの1つの点Rが前記外側衣服の輪郭上の開口オブジェクトによって含まれず、前記2つの交差点PおよびQによって境界付けられた前記外側衣服の輪郭の部分上に開口オブジェクトの1つの終点Eがある場合、前記第1および/または第2の衣服の幾何学的データを調整することは、前記終点Eの近傍の前記内側衣服の輪郭上の輪郭点R’を決定することと、前記点Rおよび前記輪郭点R’によって境界付けられた前記内側衣服の輪郭の部分および/または前記点Rおよび前記終点Eによって境界付けられた前記外側衣服の輪郭の部分を調整することと、を含む、請求項5から7のいずれか一項に記載の方法。
  9. 前記モデルデータが二次元幾何学的データを含む場合、前記内側衣服および前記外側衣服のオーバーラップセクションオブジェクトはそれぞれ、前記内側衣服および前記外側衣服の輪郭上の2つの交差点PおよびQによって境界付けられ、
    前記2つの交差点PおよびQによって境界付けられた前記外側衣服の輪郭の部分上に少なくとも1つの開口オブジェクトの終点のシーケンスSがある場合、前記第1および/または前記第2の衣服の幾何学的データを調整することは、前記内側衣服の輪郭上の輪郭点のシーケンスS’を決定することであって、前記シーケンスS’の各輪郭点は前記シーケンスSの対応する終点の近傍にある、決定することと、前記シーケンスS’の輪郭点のうちの2つによって境界付けられ、開口オブジェクトに関連付けられていない前記内側衣服の輪郭のそのような部分、および/または前記シーケンスSの前記終点のうちの2つによって境界付けられ、開口オブジェクトを含まない、前記内側衣服の輪郭のそのような部分を調整することと、を含む、請求項5から8のいずれか一項に記載の方法。
  10. 輪郭および/または輪郭の一部を調整することは、それぞれの輪郭に関連する点または頂点およびその近傍の点または頂点を調整することを含む、請求項5から9のいずれか一項に記載の方法。
  11. 前記モデルデータが三次元幾何学的データを含む場合、それぞれの衣服の各オーバーラップセクションオブジェクトは、それぞれの衣服の交差点のサイクルのうちの1つによって境界付けられたそれぞれのメッシュの表面の一部であり、前記内側衣服の表面は前記外側衣服の内部を離れ、それぞれのメッシュの表面の一部は交差点のサイクルのうちの1つのみによって境界付けられるか、またはさらに、それぞれの衣服の交差点のサイクルのうちのさらなる1つによって境界付けられ、前記内側衣服の表面は前記外側衣服の内部に再び入る、請求項5から10のいずれか一項に記載の方法。
  12. 前記コンピュータシステムにおいて、前記セットの衣服が着用されるアバターのアバターモデルデータを記憶することであって、前記アバターモデルデータは前記アバターに関連するメッシュを定義する2次元または3次元幾何学的データを含み、前記アバターの制限オブジェクトは、前記幾何学的データの少なくとも一部によって定義され、前記アバターの内部と外部との間の分離を構成する、記憶することと、
    前記コンピュータシステムにおいて、前記アバターのための交差オブジェクトと、前記セットの最内側衣服のための交差オブジェクトとを決定することであって、前記交差オブジェクトは、前記アバターの前記制限オブジェクトと前記最内側衣服の前記制限オブジェクトとの間の1つ以上の交差を定義する、決定することと、
    前記コンピュータシステムにおいて、前記アバターと前記最内側衣服のために、前記制限オブジェクトの一部を、前記アバターと前記衣服の前記交差オブジェクトのうちの1つ以上によって境界付けられるオーバーラップセクションオブジェクトとして決定することと、
    前記コンピュータシステムにおいて、前記アバターおよび/または前記最内側衣服の前記幾何学的データを、それぞれのオーバーラップセクションオブジェクトに対して調整することと、をさらに含む、請求項1から11のいずれか一項に記載の方法。
  13. 前記コンピュータシステムにおいて、前記セットの第3の衣服の第3のモデルデータを記憶することであって、前記第3のモデルデータは前記第3の衣服に関連するメッシュを定義する二次元または三次元幾何学的データを含み、前記第3の衣服の制限オブジェクトは、前記幾何学的データの少なくとも一部によって定義され、前記第3の衣服の内部と外部との間の分離を構成する、記憶することと、
    前記コンピュータシステムにおいて、前記第3の衣服のための少なくとも1つの開口オブジェクトを記憶することであって、各開口オブジェクトは、前記第3の衣服の制限オブジェクトの一部として定義され、前記第3の衣服の内部と外部との間のアイテム、特に衣服またはアバターのための遷移を構成する、記憶することと、
    前記コンピュータシステムにおいて、前記第3の衣服のための交差オブジェクトを決定することであって、前記交差オブジェクトは、前記第3の衣服の制限オブジェクトと前記第1および前記第2の衣服のうちの1つの制限オブジェクトとの間の1つ以上の交差を定義する、決定することと、
    前記コンピュータシステムにおいて、それぞれの衣服の各々について、前記制限オブジェクトの部分をそれぞれの衣服の交差オブジェクトのうちの1つ以上によって境界付けられたオーバーラップセクションオブジェクトとして決定することと、および
    前記コンピュータシステムにおいて、前記オーバーラップセクションオブジェクトに対するそれぞれの衣服の幾何学的データを調整することと、をさらに含む、請求項1から12のいずれか一項に記載の方法。
  14. 衣服のセットのモデルデータを処理するためのコンピュータプログラム製品であって、非一時的なコンピュータ可読記憶媒体と、コンピュータシステムが請求項1から13のいずれか一項に記載の方法を実行することを可能にする、そこに記憶されたコンピュータプログラム命令とを含む、コンピュータプログラム製品。
JP2022517286A 2019-09-30 2020-09-25 衣服のセットのモデルデータを処理するための方法およびコンピュータプログラム製品 Pending JP2022550695A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19200619.5 2019-09-30
EP19200619.5A EP3798990B1 (en) 2019-09-30 2019-09-30 Method and computer program product for processing model data of a set of garments
PCT/EP2020/076907 WO2021063829A1 (en) 2019-09-30 2020-09-25 Method and computer program product for processing model data of a set of garments

Publications (1)

Publication Number Publication Date
JP2022550695A true JP2022550695A (ja) 2022-12-05

Family

ID=68426066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022517286A Pending JP2022550695A (ja) 2019-09-30 2020-09-25 衣服のセットのモデルデータを処理するための方法およびコンピュータプログラム製品

Country Status (5)

Country Link
US (1) US11972528B2 (ja)
EP (1) EP3798990B1 (ja)
JP (1) JP2022550695A (ja)
ES (1) ES2936486T3 (ja)
WO (1) WO2021063829A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102568058B1 (ko) * 2020-09-22 2023-08-22 (주)클로버추얼패션 부분 시뮬레이션 방법 및 장치
JP2024008557A (ja) * 2022-07-08 2024-01-19 株式会社Nttデータ 画像処理装置、画像処理方法、及びプログラム
CN115601466B (zh) * 2022-10-20 2023-06-16 钰深(北京)科技有限公司 服装裁片数字化二维剖分方法、电子设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07320089A (ja) * 1994-05-26 1995-12-08 Oki Electric Ind Co Ltd 図形の隠線化編集システム
JP2002117414A (ja) * 2000-10-11 2002-04-19 Toyobo Co Ltd 衣服衝突処理方法および衣服衝突処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2015215763A (ja) * 2014-05-09 2015-12-03 セーレン株式会社 重ね着画像処理装置及び方法
US20170161948A1 (en) * 2017-02-15 2017-06-08 StyleMe Limited System and method for three-dimensional garment mesh deformation and layering for garment fit visualization

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130166591A1 (en) * 2011-11-09 2013-06-27 Styloot Inc. Systems and Methods for Searching for Items of Fashion and other Items of Creation
ES2765277T3 (es) 2014-12-22 2020-06-08 Reactive Reality Gmbh Método y sistema para generar datos de modelo de prenda

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07320089A (ja) * 1994-05-26 1995-12-08 Oki Electric Ind Co Ltd 図形の隠線化編集システム
JP2002117414A (ja) * 2000-10-11 2002-04-19 Toyobo Co Ltd 衣服衝突処理方法および衣服衝突処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2015215763A (ja) * 2014-05-09 2015-12-03 セーレン株式会社 重ね着画像処理装置及び方法
US20170161948A1 (en) * 2017-02-15 2017-06-08 StyleMe Limited System and method for three-dimensional garment mesh deformation and layering for garment fit visualization

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HIROKI YAMADA: "Image-Based Virtual Fitting System with Garment Image Reshaping", 2014 INTERNATIONAL CONFERENCE ON CYBERWORLDS, JPN7023002186, 15 December 2014 (2014-12-15), pages 47 - 54, ISSN: 0005078984 *

Also Published As

Publication number Publication date
EP3798990B1 (en) 2022-11-02
EP3798990A1 (en) 2021-03-31
ES2936486T3 (es) 2023-03-17
US20220215631A1 (en) 2022-07-07
WO2021063829A1 (en) 2021-04-08
US11972528B2 (en) 2024-04-30

Similar Documents

Publication Publication Date Title
JP2022550695A (ja) 衣服のセットのモデルデータを処理するための方法およびコンピュータプログラム製品
CN109196561B (zh) 用于针对试衣可视化进行三维衣服网格变形和分层的系统和方法
JP7370527B2 (ja) 衣服の3次元モデルデータを生成するための方法およびコンピュータプログラム
JP6302132B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
Robson et al. Context-aware garment modeling from sketches
Kort Computer aided inbetweening
US20220267938A1 (en) Method and apparatus for 3d clothing draping simulation
KR20180069786A (ko) 3d 신체 모델에 대한 3d 의복 모델의 이미지 파일을 생성하기 위한 방법 및 시스템
US10810794B2 (en) Method and apparatus for 3D clothing draping simulation
Li et al. Modeling 3D garments by examples
JP3574202B2 (ja) 図形入出力装置
WO2012096907A1 (en) Mesh animation
Zheng et al. Image-based clothes changing system
Pan et al. Automatic rigging for animation characters with 3D silhouette
Zell et al. ElastiFace: Matching and blending textured faces
Cardona et al. Hybrid-space localized stylization method for view-dependent lines extracted from 3D models.
JP2017188071A (ja) 柄替えシミュレーション装置、柄替えシミュレーション方法、及びプログラム
Nam et al. SPACESKETCH: Shape modeling with 3D meshes and control curves in stereoscopic environments
Cheng et al. A 3D virtual show room for online apparel retail shop
JP6545847B2 (ja) 画像処理装置、画像処理方法及びプログラム
Zheng et al. Sketching-based skeleton generation
WO2019129472A1 (en) Garment pattern optimization system and method
EP4083918A1 (en) Method and computer program product for performing at least one measurement on a 3d reconstruction of a body
KR20230026291A (ko) 재봉 시뮬레이션 방법 및 장치
JP2023081701A (ja) 画像処理システム、及び画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220513

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231226