JP2020109630A - 3d表面メッシュから切断マスクを作成するための方法及びシステム - Google Patents

3d表面メッシュから切断マスクを作成するための方法及びシステム Download PDF

Info

Publication number
JP2020109630A
JP2020109630A JP2019222694A JP2019222694A JP2020109630A JP 2020109630 A JP2020109630 A JP 2020109630A JP 2019222694 A JP2019222694 A JP 2019222694A JP 2019222694 A JP2019222694 A JP 2019222694A JP 2020109630 A JP2020109630 A JP 2020109630A
Authority
JP
Japan
Prior art keywords
mesh
template
cutting
cut
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019222694A
Other languages
English (en)
Other versions
JP2020109630A5 (ja
JP7326141B2 (ja
Inventor
ラジャ・バーラ
Bala Raja
ヴィジャイ・クマール・バイカンバティ・ゴパルクリシュナ
Kumar Baikampady Gopalkrishna Vijay
チャマン・シン・ヴェルマ
Singh Verma Chaman
スコット・ケイ・スタンリー
K Stanley Scott
アンドリュー・ピー・ラパチ
P Rapach Andrew
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Palo Alto Research Center Inc
Original Assignee
Palo Alto Research Center Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Palo Alto Research Center Inc filed Critical Palo Alto Research Center Inc
Publication of JP2020109630A publication Critical patent/JP2020109630A/ja
Publication of JP2020109630A5 publication Critical patent/JP2020109630A5/ja
Application granted granted Critical
Publication of JP7326141B2 publication Critical patent/JP7326141B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/002Masks for cosmetic treatment of the face
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61KPREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K8/00Cosmetics or similar toiletry preparations
    • A61K8/02Cosmetics or similar toiletry preparations characterised by special physical form
    • A61K8/0212Face masks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205Re-meshing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2207/00Methods of manufacture, assembly or production
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2207/00Methods of manufacture, assembly or production
    • A61M2207/10Device therefor
    • AHUMAN NECESSITIES
    • A62LIFE-SAVING; FIRE-FIGHTING
    • A62BDEVICES, APPARATUS OR METHODS FOR LIFE-SAVING
    • A62B18/00Breathing masks or helmets, e.g. affording protection against chemical agents or for use at high altitudes or incorporating a pump or compressor for reducing the inhalation effort
    • A62B18/02Masks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Abstract

【課題】3D表面から切断マスクを作成するための方法及びシステムを提供する。【解決手段】3Dマスクを自動的に生成するための例示的なプロセスは、入力データセットを多数の切断テンプレート切断メッシュと比較する。各々の切断テンプレート切断メッシュは、メッシュの境界に対応する1つ以上の切断経路を含む。次に、入力データセットと最も近い一致を作製するテンプレート切断メッシュを識別し、識別されたテンプレート切断メッシュに大域幾何学的変換を適用して、入力データセットに当てはまるようにテンプレート切断メッシュをワープする。更に、テンプレート切断メッシュから入力データセットへの境界点及びランドマーク点のセットを精緻化及び投影し、入力データセットの切断経路を画定する。次に、システムは、切断経路を入力データセットに適用して、切断及びトリミングされたメッシュを作製する。【選択図】図2

Description

本開示は、一般に3Dマスクの作成分野に関する。より具体的には、本開示は、3D表面から切断マスクを作成するための方法及びシステムに関する。
関連技術
3D製造技術の最近の発展により、多数の新しい用途及び製品が作成されてきた。例えば、内面にスキンケア製品塗布剤を含有した個人向けのフェイスマスクの生成が可能になった。このようなマスクを着用すると、製品が顔の皮膚と直接接触するので、非常に効果的なトリートメントが可能となる。
3Dマスクを作成するプロセスは、多くの場合、3D走査画像を有するコンピュータグラフィックス技術を使用することを伴うが、これらのプロセスは、それでもなお、人間の入力及び操作を必要とすることが多く、労力がかかり、高コストとなり得る。したがって、3Dマスクの作成における人間の入力及び介入の量を低減することが有益である。
本明細書に記載される実施形態は、対象表面に適合する特注品を生成するためのシステムを提供する。このシステムは、切断経路を画定するためのデジタルツールであり得る。動作中、システムは、対象表面の3D入力メッシュを表す入力データセットを受信する。この入力データセットは、対象表面の走査データであり得る。次いで、システムは、入力データセットを1つ以上の切断テンプレートメッシュ(テンプレート切断経路、テンプレートメッシュ、テンプレートマスク、又はテンプレートとも称される)と比較し、対応する切断テンプレートメッシュは、特注品の所望の境界又は外周に対応する1つ以上の切断経路と、任意選択的に、特注品の所望の開口部に対応する1つ以上の開口部とを含む。次に、システムは、入力データセットと最も近い一致を作製するテンプレートメッシュを識別する。システムは、続いて、識別されたテンプレートメッシュに大域幾何学的変換を適用して、入力データセットからの入力メッシュに当てはまるようにテンプレートメッシュをワープする。システムは、テンプレートメッシュから入力データセットへの境界点及びランドマーク点のセットを更に精緻化及び投影し、入力データセットの1つ以上の切断経路を画定する。次に、システムは、画定された1つ以上の切断経路を入力データセットに適用して、切断及びトリミングされたメッシュを作製し、切断及びトリミングされたメッシュに基づいて特注品を作製する。
この実施形態の変形では、対象表面は人体の一部である。
更なる変形では、対象表面はヒトの顔である。
この実施形態の変形では、特注品はフェイスマスクである。
更なる変形では、切断及びトリミングされたメッシュに基づいて特注品を作製する間に、システムは、切断及びトリミングされたメッシュに基づく特注品のために、レーザ、はさみ、又は他の除去加工法を使用することができる。更なる変形では、付加アプローチ(例えば、3D印刷)を製造に使用することができ、切断及びトリミングされたメッシュを使用してカスタムアプリケータを直接作製することができる。いくつかの実施形態では、付加加工法と除去加工法との組み合わせも使用できる。
この実施形態の変形では、システムは更に、特注品を作製する前に、画定された切断経路の手動編集を可能にする。
この実施形態の変形では、システムは更に、最終の切断及びトリミングされたメッシュと、現在のテンプレートメッシュのライブラリとの間に十分な差違があると判定し、切断及びトリミングされたメッシュをテンプレートメッシュのライブラリに追加する。
この実施形態の変形では、入力データセットと最も近い一致を作製するテンプレートメッシュを識別している間に、システムは、各々のテンプレートメッシュと入力データセットとの間で大域アフィン変換を実行する。
この実施形態の変形では、テンプレートメッシュから入力データセットへの境界点及びランドマーク点を精緻化及び投影する間に、システムは、大域幾何学的変換の結果としてのテンプレート切断メッシュと入力データセットとの間の対応関係に基づいて、各ランドマーク点で局所的に変化するアフィン変換を実行する。
特許又は出願ファイルには、カラーで作成された少なくとも1つの図面が含まれている。本特許又は特許出願公開のカラー図面の写しは、その請求に応じて、必要な料金を支払うことにより、特許庁から提供されることとなる。
本出願の一実施形態による、3Dマスクを自動的に生成するための例示的なプロセスを示す。 本発明の一実施形態による、3Dマスクを自動的に生成するための例示的なシステムを示す。 本発明の一実施形態による、民族及び年齢が異なるプロファイルの9つの女性の正面テンプレートマスクの例示的なライブラリを示す。 本発明の一実施形態による、赤丸で示される事前印付けされたランドマーク及び境界点を有する例示的なテンプレートマスクの拡大図を示す。 本発明の一実施形態による、切断経路の例示的な手動編集を示す。 本発明の一実施形態による、3Dマスク生成システムによって生成され、未加工の入力データにオーバーレイされた例示的な出力切断経路を示す。 本発明の一実施形態による、3Dマスクの自動生成を容易にする例示的なコンピュータシステムを示す。
図面において、同様の参照番号は、同様の図要素を指す。
以下の説明は、当業者が実施形態を作製及び使用することを可能にするために提示され、特定の用途及びその要件に関連して提供される。開示される実施形態に対する様々な修正は、当業者には容易に明らかとなり、本明細書に定義される一般原理は、本開示の趣旨及び範囲から逸脱することなく、他の実施形態及び用途に適用され得る。したがって、本明細書に記載される実施形態は、示される実施形態に限定されるものではなく、本明細書に開示される原理及び特徴と一致する最も広い範囲を与えられるものである。
本明細書に記載される実施形態は、走査されたデータから未加工の3Dメッシュを自動的にトリミング及び切断して、ヒトの顔などの輪郭表面に適合できる切断マスクを作製するという問題を解決する。走査された3D対象表面を表す未加工のデータを受信した後、システムは、それを既定のテンプレートマスクのライブラリと比較し、最も類似するテンプレートマスクを識別することができる。続いて、システムは、幾何学的変換を使用して最も類似したテンプレートマスクから受信した入力データセット3Dメッシュに既存の切断経路を移動させ、受信した入力データセット3Dメッシュに対応する切断マスクを作製することができる。本方法を使用して、任意の対象表面に適合する任意の特注品を作製することができる。結果として、3D切断マスク又は機械切断物品を作成するプロセスは、生産性及び拡張性の向上により利益を得ることができる。
現在、内部にスキンケア製品の塗布剤を含有する個人向けのフェイスマスクを生成することが可能である。このようなマスクを着用すると、製品が顔の皮膚と直接接触するので、非常に効果的なトリートメントが可能となる。個人向けマスクの作成は、通常、3Dスキャナで対象者の顔を走査し、得られた3D点群を凝集性メッシュに融合することから始まる多段階プロセスである。この3Dメッシュが、入力3Dメッシュを使用可能な3Dマスクに変更するプロセスを経ることが理想的である。このプロセスには、通常、メッシュの境界をトリミングして所望の対象領域外のポイント(髪の領域、耳、及び任意選択で首の領域に対応するエリアなど)を除去し、境界を快適で審美的にもよい境界線となるように滑らかにし、目、鼻孔、及び口の穴を切り取る様々な工程が含まれる。このプロセスにより、トリミング及び切断されたマスクができあがる。次いで、トリミングされ切断されたマスクは、例えば、3Dプリンタを使用して製造され、その後、スキンケア塗布剤でコーティングされ、消費者に出荷され得る。
未加工の3Dメッシュを最終の切断マスクに変換するプロセスは、従来、人間のオペレータによって実行されるため、時間、労力、及びコストがかかり、大量生産用に、経済的な規模が拡大されない。図1は、本出願の一実施形態による、3Dマスクを自動的に生成するための例示的なプロセスを示す。3Dアレイなどの様々なデータ構造で表され得る未加工の入力3Dメッシュ102は、自動マスク生成モジュール106に入力される。その後、自動マスク生成モジュール106は、後で詳細に説明するように、入力3Dメッシュ102に対していくつかのプロセスを実行して、トリミング及び切断された3Dマスク104を作製する。トリミング及び切断された3Dマスク104は、目、鼻孔、及び口の切り抜き部を含むことができるランドマーク切り抜き部110、並びにトリミングされた境界108を含むことができる。
図2は、本発明の一実施形態による、3Dマスクを自動的に生成するための例示的なシステムを示す。この例では、自動3Dマスク生成システム200は、テンプレートマスクライブラリ216と、テンプレート一致モジュール202と、ランドマーク及び境界精緻化モジュール204と、境界トリム及びランドマーク切断モジュール206と、任意選択の手動編集モジュール208と、ライブラリテンプレート比較モジュール212とを含むことができる。テンプレートマスクライブラリ216は、1つ以上の予め定義されたテンプレートメッシュ(この場合、テンプレートマスクとすることができる)を記憶する。これらのテンプレートメッシュ、又はテンプレートマスクは、図3に示されるように、外部境界及び内部切り抜き部に沿ったランドマーク点のセットで事前にトリミング、切断、及び事前印付けされ得る。
動作中、テンプレート一致モジュール202は、入力3D顔メッシュ201をテンプレートマスクライブラリ216内のテンプレートマスクと比較する。任意選択的に、テンプレート一致モジュール202はまた、入力3Dメッシュ201上の特定のランドマーク点を識別するユーザ指定のランドマーク点203も入力として採用する。結果として、テンプレート一致モジュール202は、入力3Dメッシュ201に最も近いテンプレートマスクを識別することができる。
続いて、ランドマーク及び境界精緻化モジュール204は、その入力として、最も一致するテンプレートマスクを採用し、このテンプレートマスクとその関連するランドマーク及び境界点とをワープして、入力3Dメッシュ201への最適な適合を作製する。このワーピング処理は、一連の幾何学的変換によって行うことができる。次いで、ワープされたランドマーク及び境界点は、入力3Dメッシュ201に投影される。結果として、ランドマーク及び境界精緻化モジュール204は、入力3Dメッシュ201を切断及びトリミングするための「シザー経路」のセットを作製することができる。
任意選択的に、ランドマーク及び境界精緻化モジュール204によって作製されたシザー経路は、手動編集モジュール208に供給され得、それにより、人間のオペレータは、グラフィカルユーザインターフェースを使用して、シザー経路を手動で調節できる。これらのシザー経路(手動編集の有無にかかわらず)は、最終の出力3Dマスク210を作製できる境界トリム及びランドマーク切断モジュール206によって、入力3Dメッシュ201と共に入力として採用される。次いで、出力3Dマスク210をマスク作製モジュール211に供給し、3D製造方法(3D印刷など)又は他の方法を使用して物理3Dマスクを作製できる。いくつかの実施形態では、マスク作製モジュール211は、レーザ、はさみ、又は他の物理的切断技術を使用して、除去加工でマスクの作製材料を選択的に除去することができる。
いくつかの実施形態では、ライブラリテンプレート比較モジュール212は、出力3Dマスクをテンプレートマスクライブラリ216に記憶された1つ以上のテンプレートマスクと比較することができる(ステップ214)。出力3Dマスクの幾何学的特性(形状やサイズなど)がライブラリ内のテンプレートマスクのいずれかと十分に異なる場合、出力3Dマスクはライブラリに追加され、別のテンプレートマスクになる。
このシステムの目標の1つは、入力メッシュを高い確立でテンプレートマスクのうちの1つにかなり近く一致させることができるように、トリミングされたマスクのライブラリを作成することであることに留意されたい。一実施形態では、テンプレートマスクは、所与の人口統計学グループ(例えば、年齢群、民族プロファイル、性別など)に合わせて調整することができ、又は堅牢性を確保するために可能な限り多様なまま維持することができる。いくつかの実施形態では、人口統計データ、顔の形状データ、肌の状態などのテンプレートマッチングを支援する追加の工程として、任意のユーザデータをモジュール202に入力することもできる。図3は、本発明の一実施形態による、民族及び年齢プロファイルが異なる9つの女性の正面テンプレートマスクの例示的なライブラリを示す。図4は、本発明の一実施形態による、赤丸で示される事前印付けされたランドマーク及び境界点を有する例示的なテンプレートマスクの拡大図を示す。
図2に戻って参照すると、最も一致するテンプレートマスクを見つけるために、一実施形態では、テンプレート一致モジュール202は、入力3Dメッシュ201とライブラリ216のテンプレートメッシュ(テンプレートマスク)との間の最適な大域アフィン変換を取得することができる。一実施形態では、テンプレート一致モジュール202は、アフィン変換を導出し、適用するために、反復最近傍点(ICP)一致法を実行することができる。ICP一致法に関する更なる詳細は、P.Besl and N.McKay,「A Method for Registration of 3−D Shapes,」IEEE Trans.Pattern Analysis and Machine Intelligence,vol.14,pp.239−256,1992において確認することができ、これは参照により本明細書に組み込まれる。更なる実施形態では、ユーザは、任意選択的に、入力3Dメッシュ上の顔のランドマーク(例えば、目、鼻、及び口など)に特定の制御点203を供給してもよく、これは、対応するテンプレートマスクのランドマーク点と共に、アフィン変換を導出するために使用することができる。アフィンフィッティングエラーが最小のテンプレートマスクが、最も近い一致として選択される。
最も近い一致のテンプレートマスクが見つかった後、テンプレート一致モジュール202は、このテンプレートマスクとその関連するランドマーク及び境界点とにアフィン変換を適用する。入力3Dメッシュ201の頂点とテンプレートマスクとの間の対応も保持される。その結果、テンプレート一致モジュール202は、大域でワープされたテンプレートマスクを出力する。
テンプレート一致モジュール202によって作製されたランドマーク及び境界点を有する大域でワープされたテンプレートは、入力3Dメッシュ201の表面に近いが、一致しない可能性がある。その後の精緻化工程で、ランドマーク及び境界精緻化モジュール204は、非線形局所的ワーピング法を適用して、テンプレートマスクのランドマーク及び境界点を、入力3Dメッシュ201上の正しい対応する位置により正確にマッピングできる。一実施形態では、局所的に変化するアフィン変換は、テンプレート一致モジュール202によって識別される点対応に関する局所的に重み付けされた線形回帰を使用して、各ランドマーク及び境界点で導出される。あるいは、局所的な点対応を確立するための異なる方法、例えば、表面法線ベクトル、局所的な曲率、又は3D表面の他の構造的及び幾何学的特性のマッチングを使用してもよい。最終工程として、例えば、極座標系又は球面座標系を使用して、ワープされた境界経路を入力3Dメッシュ201上に投影することができる。
加えて、本発明の実施形態は、ノイズの多い領域(例えば、生え際)、及び3D走査プロセス中に作成される穴を回避する様式で、外面の境界を見つけて精緻化するためのより洗練された方法を使用することができる。この方法に関する更なる詳細は、C.Mineo,S.G.Pierce,and R.Summan,「Novel algorithms for 3D surface point cloud boundary detection and edge reconstruction,」Journal of Computational Design and Engineering,2018において確認することができ、これは参照により本明細書に組み込まれる。先に述べたように、ランドマーク及び境界精緻化モジュール204の出力は、外側アプリケータの周囲、及び任意選択的な、目、鼻孔、及び口のための内部切り抜き部との両方における境界上のシザー経路のセットである。
所与の入力3Dメッシュ201及びシザー経路が、ランドマーク及び境界精緻化モジュール204によって見いだされると、境界トリム及びランドマーク切断モジュール206は、不要な頂点を全て削除することにより仮想切断を実行し、必要に応じて、入力3Dメッシュ201上の保持された頂点を再三角測量し、滑らかな切断境界を確保する。この目的においては、塗りつぶしなどの3D計算幾何学の切断方法が使用できる。これらの方法に関する更なる詳細は、R.W.Noack,「A Direct Cut Approach for Overset Hole Cutting」(AIAA Computational Fluid Dynamics Conference,Miami,2007)において確認することができ、これは参照により本明細書に組み込まれる。
前述の工程で作製された切断マスクで満足のいく結果が得られない場合は、人間のオペレータがマスクを編集及び精緻化することが望ましい場合がある。一実施形態では、手動編集モジュール208は、グラフィカルインターフェース内の入力メッシュ及び境界経路を使用してユーザに提示することができる。ユーザは、境界(又はランドマーク)上の1つ以上の点を指定し、その点を移動させることができる対象位置を指定することができる。次いで、境界(又はランドマーク)は、新たな対象位置を円滑に移動するように調整される。図5は、本発明の一実施形態による、切断経路の例示的な手動編集を示す。この実施例では、ガウス重み付けを使用して、単一点シフトを考慮した円滑な局所的ワーピング法を実行する。黒線は元の切断経路であり、赤線は手動で編集された経路である。矢印は、入力メッシュ境界付近の穴(すなわち、入力データがない領域)を回避するために移動される点の位置をマークする。
前述したように、多様かつ代表的なテンプレートマスクライブラリを維持するために、出力切断マスク210をテンプレートマスクの各々と比較し、新たな切断マスクが全てのテンプレートマスクと十分に異なる場合にはライブラリに追加することができる。テンプレートマスクの類似性(又は差違)を測定するための任意の方法は、例えば、アフィンフィッティングエラー法を使用することができる。
図6は、本発明の一実施形態による、3Dマスク生成システムによって生成され、未加工の入力データにオーバーレイされた例示的な出力切断経路を示す。
本明細書に記載される実施例は、フェイスマスクの作成に関連して記載されているが、本システムは、特注の外周と任意選択的に除去された内部領域で対象3D表面に適合する特注品の作製が生成され得ることに留意されたい。
図7は、本発明の一実施形態による、3Dマスクの自動生成を容易にする例示的なコンピュータシステムを示す。この例において、コンピュータシステム700は、プロセッサ702、メモリデバイス704、及び記憶デバイス708を含む。更に、コンピュータシステム700は、ディスプレイデバイス710、キーボード712、及びポインティングデバイス714に連結することができる。記憶デバイス708は、オペレーティングシステム716、3Dマスク生成システム718、及びデータ736のコードを記憶することができる。
3Dマスク生成システム718は、プロセッサ702によって実行されると、コンピュータシステム700に本開示に記載される方法及び/又はプロセスを実行させることができる命令を含むことができる。具体的には、3Dマスク生成システム718は、テンプレートマスクライブラリ720、テンプレート一致モジュール722、ランドマーク及び境界精緻化モジュール724、境界トリム及びランドマーク切断モジュール726、手動編集モジュール728、並びにライブラリテンプレート比較モジュール730を実施するための命令を含むことができる。
発明を実施するための形態において記載されるデータ構造及びコードは、典型的には、コンピュータ可読記憶媒体上に記憶され、コンピュータシステムによって使用されるコード及び/又はデータを記憶することができる任意のデバイス又は媒体であってもよい。コンピュータ可読記憶媒体としては、揮発性メモリ、不揮発性メモリ、ディスク、磁気テープ、CD(compact disc、コンパクトディスク)、DVD(digital versatile disc、デジタル多用途ディスク、又はdigital video disc、デジタルビデオディスク)などの磁気及び光学ストレージデバイス、又は現在知られている若しくは今後開発されるコンピュータ可読メディア媒体を記憶できるその他の媒体が挙げられるが、これらに限定されない。
「発明を実施するための形態」セクションに記載される方法及び処理は、上記のようにコンピュータ可読記憶媒体に記憶され得るコード及び/又はデータとして具体化することができる。コンピュータシステムが、コンピュータ可読記憶媒体上に記憶されたコード及び/又はデータを読み取って実行すると、コンピュータシステムは、データ構造及びコードとして具体化され、コンピュータ可読記憶媒体内に記憶された方法及び処理を実行する。
更に、上述の方法及びプロセスは、ハードウェアモジュールに含めることができる。例えば、図2に記載のモジュールは、ハードウェア、又はハードウェアとソフトウェアとの組み合わせで実装でき、特定用途向け集積回路(application−specific integrated circuit、ASIC)チップ、フィールドプログラマブルゲートアレイ(field−programmable gate array、FPGA)、及び現在知られている又は今後開発される他のプログラム可能論理デバイスを含むことができるが、これらに限定されない。ハードウェアモジュールが起動されると、ハードウェアモジュールは、ハードウェアモジュール内に含まれる方法及びプロセスを実行する。
本明細書に記載される前述の実施形態は、例示及び説明のみを目的として提示されている。これらは、網羅的であること、又は本明細書に記載される実施形態を開示される形態に限定することを意図するものではない。したがって、多くの修正及び変形が、当業者には明らかであろう。加えて、上記の開示は、本明細書に記載される実施形態を限定することを意図するものではない。本明細書に記載される実施形態の範囲は、添付の特許請求の範囲によって定義される。

Claims (20)

  1. 対象表面に適合する特注品を生成するための方法であって、
    前記対象表面の3D入力メッシュを表す入力データセットを受信することと、
    前記入力データセットを多数のテンプレート切断メッシュと比較することであって、各々のテンプレート切断メッシュが、前記メッシュの境界に対応する1つ以上の切断経路を含む、比較することと、
    前記入力データセットと最も近い一致を作製するテンプレート切断メッシュを識別することと、
    前記識別されたテンプレート切断メッシュに大域幾何学的変換を適用して、前記入力データセットに当てはまるよう前記テンプレート切断メッシュをワープすることと、
    前記テンプレート切断メッシュから前記入力データセットへの境界点及びランドマーク点のセットを精緻化及び投影し、前記入力データセットの1つ以上の切断経路を画定することと、
    前記画定された1つ以上の切断経路を前記入力データセットに適用して、切断及びトリミングされたメッシュを作製することと、を含む、方法。
  2. 前記対象表面がヒトの顔である、請求項1に記載の方法。
  3. 前記特注品がフェイスマスクである、請求項1に記載の方法。
  4. レーザ、はさみ、又は他の物理的切断技術を使用して、前記切断及びトリミングされたメッシュに基づいて、前記特注品用に選択された材料を選択的に除去することを更に含む、請求項1に記載の方法。
  5. 前記特注品を作製する前に、前記画定された切断経路の手動編集を可能にすることを更に含む、請求項1に記載の方法。
  6. 前記切断及びトリミングされたメッシュと、前記識別されたテンプレート切断メッシュとの間に十分な差違があると判定することと、
    前記切断及びトリミングされたメッシュをテンプレート切断メッシュのライブラリに追加することと、を更に含む、請求項1に記載の方法。
  7. 前記入力データセットと最も近い一致を作製する前記テンプレート切断メッシュを識別することが、各々のテンプレート切断メッシュと前記入力データセットとの間で大域アフィン変換を実行することを含む、請求項1に記載の方法。
  8. 前記テンプレート切断メッシュから前記入力データセットへの前記境界点及びランドマーク点を精緻化及び投影することが、前記大域幾何学的変換の結果としての前記テンプレート切断メッシュと前記入力データセットとの間の対応関係に基づいて、各ランドマーク点で局所的に変化するアフィン変換を実行することを含む、請求項1に記載の方法。
  9. 前記1つ以上の切断経路が、前記境界内の1つ以上の開口部に更に対応する、請求項1に記載の方法。
  10. 対象表面に適合する特注品を生成するためのシステムであって、
    前記対象表面の3D入力メッシュを表す入力データセットを受信するように構成されている、入力モジュールと、
    テンプレート一致モジュールであって、
    前記入力データセットを多数のテンプレート切断メッシュと比較することであって、
    各々の切断テンプレート切断メッシュが、メッシュの境界に対応する1つ以上の切断経路を含む、比較することと、
    前記入力データセットと最も近い一致を作製するテンプレート切断メッシュを識別することと、
    前記識別されたテンプレート切断メッシュに大域幾何学的変換を適用して、前記入力データセットに当てはまるよう前記テンプレート切断メッシュをワープすることと、を行うように構成されている、テンプレート一致モジュールと、
    前記テンプレート切断メッシュから前記入力データセットへの境界点及びランドマーク点のセットを精緻化及び投影し、前記入力データセットの1つ以上の切断経路を画定するように構成されている、境界及びランドマーク精緻化モジュールと、
    前記画定された1つ以上の切断経路を前記入力データセットに適用して、切断及びトリミングされたメッシュを作製するように構成されている、切断及びトリムモジュールと、を含む、システム。
  11. 前記対象表面がヒトの顔である、請求項10に記載のシステム。
  12. 前記特注品がフェイスマスクである、請求項10に記載のシステム。
  13. レーザ、はさみ、又は他の物理的切断技術を使用して、前記切断及びトリミングされたメッシュに基づいて、前記特注品用に選択された材料を選択的に除去するように構成されている作製モジュールを更に含む、請求項10に記載のシステム。
  14. 前記特注品を作製する前に、前記画定された切断経路の手動編集を可能にするように構成されている手動編集モジュールを更に含む、請求項10に記載のシステム。
  15. 前記切断及びトリミングされたメッシュと、前記識別されたテンプレート切断メッシュとの間に十分な差違があると判定し、
    前記切断及びトリミングされたメッシュをテンプレート切断メッシュのライブラリに追加するように構成されている、テンプレート比較モジュールを更に含む、請求項10に記載のシステム。
  16. 前記入力データセットと最も近い一致を作製する前記テンプレート切断メッシュを識別する間に、前記テンプレート一致モジュールが、各々のテンプレート切断メッシュと前記入力データセットとの間で大域アフィン変換を実行するように更に構成されている、請求項10に記載のシステム。
  17. 前記テンプレート切断メッシュから前記入力データセットへの前記ランドマーク点を精緻化及び投影する間に、前記境界及びランドマーク精緻化モジュールが、前記大域幾何学的変換の結果としての前記テンプレート切断メッシュと前記入力データセットとの間の対応関係に基づいて、各ランドマーク点で局所的に変化するアフィン変換を実行するように更に構成されている、請求項10に記載のシステム。
  18. 前記1つ以上の切断経路が、前記境界内の1つ以上の開口部に更に対応する、請求項10に記載のシステム。
  19. 命令を記憶するコンピュータ可読記憶媒体であって、コンピュータシステムによって実行されると、前記コンピュータシステムに、対象表面に適合する特注品を生成するための方法を実行させ、前記方法が、
    前記対象表面の3D入力メッシュを表す入力データセットを受信することと、
    前記入力データセットを多数のテンプレート切断メッシュと比較することであって、各々の切断テンプレート切断メッシュが、前記メッシュの境界に対応する1つ以上の切断経路を含む、比較することと、
    前記入力データセットと最も近い一致を作製するテンプレート切断メッシュを識別することと、
    前記識別されたテンプレート切断メッシュに大域幾何学的変換を適用して、前記入力データセットに当てはまるよう前記テンプレート切断メッシュをワープすることと、
    前記テンプレート切断メッシュから前記入力データセットへの境界点及びランドマーク点のセットを精緻化及び投影し、前記入力データセットの1つ以上の切断経路を画定することと、
    前記画定された1つ以上の切断経路を前記入力データセットに適用して、切断及びトリミングされたメッシュを作製することと、を含む、コンピュータ可読記憶媒体。
  20. 前記特注品がフェイスマスクである、請求項19に記載のコンピュータ可読記憶媒体。
JP2019222694A 2018-12-31 2019-12-10 3d表面メッシュから切断マスクを作成するための方法及びシステム Active JP7326141B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/237,386 US11544424B2 (en) 2018-12-31 2018-12-31 Method and system for creating a cut mask from a 3D surface mesh
US16/237,386 2018-12-31

Publications (3)

Publication Number Publication Date
JP2020109630A true JP2020109630A (ja) 2020-07-16
JP2020109630A5 JP2020109630A5 (ja) 2022-12-20
JP7326141B2 JP7326141B2 (ja) 2023-08-15

Family

ID=69055797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019222694A Active JP7326141B2 (ja) 2018-12-31 2019-12-10 3d表面メッシュから切断マスクを作成するための方法及びシステム

Country Status (3)

Country Link
US (1) US11544424B2 (ja)
EP (1) EP3675065A1 (ja)
JP (1) JP7326141B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11127166B2 (en) * 2019-03-01 2021-09-21 Tencent America LLC Method and apparatus for enhanced patch boundary identification for point cloud compression

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9508197B2 (en) * 2013-11-01 2016-11-29 Microsoft Technology Licensing, Llc Generating an avatar from real time image data
US9799096B1 (en) * 2014-07-08 2017-10-24 Carnegie Mellon University System and method for processing video to provide facial de-identification
KR102433392B1 (ko) * 2016-03-04 2022-08-17 한국전자통신연구원 3d 볼륨 마스크 모델정보 생성 장치 및 그 방법
WO2018002915A1 (en) 2016-06-26 2018-01-04 Technion Research & Development Foundation Ltd. Process and system for generating personalized facial masks
US20180043122A1 (en) 2016-08-11 2018-02-15 MetaMason, Inc. Customized CPAP Masks and Related Modeling Algorithms
US10528801B2 (en) * 2016-12-07 2020-01-07 Keyterra LLC Method and system for incorporating contextual and emotional visualization into electronic communications
EP3833424A1 (en) * 2018-08-07 2021-06-16 The Procter & Gamble Company Method of evaluating and visualizing fit of an applicator

Also Published As

Publication number Publication date
US20200210540A1 (en) 2020-07-02
US11544424B2 (en) 2023-01-03
JP7326141B2 (ja) 2023-08-15
EP3675065A1 (en) 2020-07-01

Similar Documents

Publication Publication Date Title
Egger et al. Occlusion-aware 3d morphable models and an illumination prior for face image analysis
US20210012090A1 (en) Face reenactment
KR101635730B1 (ko) 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
JP6986654B1 (ja) 機械学習及び画像処理アルゴリズムを用いて医用画像の血管を自動的にセグメンテーションする方法及びシステム
US9652890B2 (en) Methods and systems of generating an anatomically-constrained local model for performance capture
US9639737B2 (en) Methods and systems of performing performance capture using an anatomically-constrained local model
US20180024726A1 (en) Personified Emoji
JP6874772B2 (ja) 画像生成装置、画像生成方法、およびプログラム
CN107507217B (zh) 证件照的制作方法、装置及存储介质
US10217275B2 (en) Methods and systems of performing eye reconstruction using a parametric model
US10217265B2 (en) Methods and systems of generating a parametric eye model
US20230085468A1 (en) Advanced Automatic Rig Creation Processes
US11157773B2 (en) Image editing by a generative adversarial network using keypoints or segmentation masks constraints
JP2016057775A (ja) 似顔絵生成装置、似顔絵生成方法
JP2023527853A (ja) 3dオブジェクトの形状変形の制約方法及び装置
JP7326141B2 (ja) 3d表面メッシュから切断マスクを作成するための方法及びシステム
KR102207855B1 (ko) 3d 물체 생성 장치 및 그 방법
Vonikakis et al. Morphset: Augmenting categorical emotion datasets with dimensional affect labels using face morphing
Tena et al. Fabricating 3D figurines with personalized faces
JP5639499B2 (ja) 顔画像処理装置
JP7218769B2 (ja) 画像生成装置、画像生成方法、およびプログラム
CN112802031B (zh) 一种基于三维人头跟踪的实时虚拟试发方法
RU2703327C1 (ru) Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя
WO2020195810A1 (ja) 重みマスク生成装置、重みマスク生成方法及びプログラム
Egger et al. Probabilistic morphable models

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191212

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221212

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230802

R150 Certificate of patent or registration of utility model

Ref document number: 7326141

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150