JP2022036023A - ３ｄモデルを出力する変分オートエンコーダ - Google Patents

３ｄモデルを出力する変分オートエンコーダ Download PDF

Info

Publication number
JP2022036023A
JP2022036023A JP2021131065A JP2021131065A JP2022036023A JP 2022036023 A JP2022036023 A JP 2022036023A JP 2021131065 A JP2021131065 A JP 2021131065A JP 2021131065 A JP2021131065 A JP 2021131065A JP 2022036023 A JP2022036023 A JP 2022036023A
Authority
JP
Japan
Prior art keywords
value
output
neural network
model
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021131065A
Other languages
English (en)
Inventor
ベルトラン ニコラ
Bertrand Nicolas
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dassault Systemes SE
Original Assignee
Dassault Systemes SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dassault Systemes SE filed Critical Dassault Systemes SE
Publication of JP2022036023A publication Critical patent/JP2022036023A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Pure & Applied Mathematics (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】本発明は、機械学習のコンピュータによって実行される方法に関連する。【解決手段】方法は、２Ｄスケッチおよびランダム変数を入力として見なし、２Ｄスケッチによって表される３Ｄモデルを出力するように構成された、ニューラルネットワークについての変分オートエンコーダ（ＶＡＥ）アーキテクチャを設けるステップを含む。機械学習の方法はまた、ニューラルネットワークを学習するステップを含む。【選択図】図７

Description

本開示は、コンピュータプログラムおよびコンピュータシステムの分野に関し、特に、２Ｄスケッチを入力として見なし、２Ｄスケッチによって表される３Ｄモデルを出力するように構成された、ニューラルネットワークに関連する方法、プログラム、データ構造、およびシステムに関する。
オブジェクトの設計、エンジニアリング、および製造のために、いくつかのシステムおよびプログラムが市場に供給されている。ＣＡＤは、コンピュータ支援設計についての頭文字であり、例えば、オブジェクトを設計するためのソフトウェアソリューションに関する。ＣＡＥは、コンピュータ支援エンジニアリングの頭文字であり、例えば、後の製品の物理的振る舞いをシミュレートするためのソフトウェアソリューションに関する。ＣＡＭは、コンピュータ支援製造についての頭文字であり、例えば、製造工程およびオペレーションを定義するためのソフトウェアソリューションに関する。そのようなコンピュータ支援設計システムでは、グラフィカルユーザインタフェースは、技術の効率性に関して重要な役割を果たす。それらの技術は、製品ライフサイクル管理（ＰＬＭ）システムに組み込まれることがある。ＰＬＭは、製品データを共有し、共通工程を適用し、拡張企業の概念にわたって、構想からそれらの寿命の終わりまで製品の開発のための企業知識を活用するよう企業を支援するビジネス戦略を指す。Ｄａｓｓａｕｌｔ Ｓｙｓｔｅｍｓによって提供されるＰＬＭソリューション（商標「ＣＡＴＩＡ」、「ＥＮＯＶＩＡ」、および「ＤＥＬＭＩＡ」の下の）は、製品エンジニアリング知識を構成するエンジニアリングハブ、製造エンジニアリング知識を管理する製造ハブ、ならびにエンジニアリングハブおよび製造ハブの両方への企業統合および接続を可能にするエンタープライズハブを提供する。システムは共に、動的な知識に基づく製品作成、ならびに最適化された製品定義、製造準備、制作、およびサービスを駆り立てる決定のサポートを可能にするよう、製品、工程、リソースを結び付けるオープンオブジェクトモデルを生み出す。
このコンテキストでは、研究者は、入力２Ｄスケッチによって表される３Ｄモデルを計算するためのソリューションを探索してきた。これは、入力２Ｄスケッチについて選択された視野角（view angle）に応じて複雑な問題であり、ユーザが意図する３Ｄモデルを発見することが困難であることがある。例えば、矩形の２Ｄスケッチは、３Ｄ円筒（正面からの）または立方体（いずれかの典型的な視野（canonical view）からの）のいずれかの表現であることがある。更に、２Ｄスケッチは、そのラインが平坦でなく、もしくは直線でないことがあるように不正確に描かれることがあり、またはその全体像（perspective）は、真実に忠実でないことがある。それらの不正確さは、この問題を解決することをより困難にする。
DELANOY et al., 3D Sketching using Multi-View Deep Volumetric Prediction, Proceedings of the ACM on Computer Graphics and Interactive Techniques 1.1, 2018, pages 1-22 WAILY and BOUSSEAU, Sketch-Based Modeling of Parametric Shapes, ACM/EG Expressive Symposium - Posters, Demos, and Artworks, 2019 LI et al., SweepCanvas: Sketch-based 3D prototyping on an RGB-D image, 2017, pages 387-399 EITZ et al., Sketch-Based Shape Retrieval, ACM Transactions on Graphics (Proc. SIGGRAPH), 2012, Vol. 31, No. 4, pages 31:1 - 31:10
従来技術では、この問題を解決する異なるアプローチが存在する。
非特許文献１は、１つまたは複数の描画から３Ｄ形状を再構築するよう、深層畳み込みニューラルネットワーク（ＣＮＮ）を学習することによるデータドリブンアプローチを提案している。ＣＮＮは、ライン描画からボクセル格子の占有を予測し、ユーザが所望の形状の単一描画を完了するとすぐに初期の３Ｄ再構築をもたらす。この単一視点ネットワークは、新規な観点から作成された形状の新たな描画を仮定して、既存の予測を精緻化するアップデータＣＮＮにより補完される。
非特許文献２は、パラメトリック形状のスケッチを解釈するよう、深層畳み込みネットワークを使用するスケッチに基づいたモデリングシステムを提案している。提案された方法は、スケッチの解釈のために２つのタイプの深層畳み込みネットワークに依存する単純形状（立方体、円筒、円錐、球形、錐体）の作成に焦点を当てている。最初に、分類ネットワークは、どの形状が描かれているかを認識する。次いで、パラメータ推定ネットワークは、認識された形状の位置および寸法を予測する。異なるカテゴリが異なるパラメータを有するので、形状カテゴリごとに１つのそのようなネットワークが存在する。更に、方法が地面に対して形状の昇降の曖昧性をなくすことを可能にするために、上から照明を当てられるときの各々の形状が地上面に投じられる影がレンダリングされ、深層ネットワークに提供される。
非特許文献３は、画像に関する３Ｄモデルを作成する方式をエンドユーザに供給するよう、ＲＧＢＤ画像の最上部での探索的３Ｄモデリングについてのスケッチに基づいた対話ツールを提案している。ツールは、ユーザストロークのペアを入力と見なし、１つのストロークをその他のストロークに従ってスイープすることによって、湾曲３Ｄ表面を即座に生成する、スケッチに基づいたモデリングインタフェースを含む。提案された方法は、ストロークを位置付けおよびスイープするよう、コンテキストから空間平面のペアを抽出するＭａｒｋｏｖ確率場（ＭＲＦ）に基づいた最適化手順を適用する。
非特許文献４は、オブジェクトのコンピュータにより生成されたライン描画に対してｂａｇ－ｏｆ－ｆｅａｔｕｒｅｓ（ＢＯＦ）アプローチを使用して、入力としてスケッチされた特徴ラインに基づいた３Ｄオブジェクト検索についての方法を提案している。方法は、幾何学的類似性に基づいてデータセットからユーザへの一致モデルの集合を提案している。
このコンテキスト内では、入力２Ｄスケッチから、２Ｄスケッチによって表される３Ｄモデルを出力する改善されたソリューションに対する必要性がなおも存在する。
したがって、機械学習のコンピュータによって実行される方法が提供される。方法は、２Ｄスケッチおよびランダム変数を入力として見なし、２Ｄスケッチによって表される３Ｄモデルを出力するように構成された、ニューラルネットワークについての変分オートエンコーダ（ＶＡＥ）アーキテクチャを設けるステップを含む。機械学習の方法はまた、ニューラルネットワークを学習するステップを含む。
機械学習の方法は、
－ニューラルネットワークが、２Ｄスケッチおよびランダム変数を入力として見なし、それぞれの出力を提供するように構成された第１の部分と、第１の部分のそれぞれの出力を入力として見なし、３Ｄモデルを出力するように構成された第２の部分と、を含むことと、
－第１の部分が、２Ｄスケッチを入力として見なし、第１の潜在ベクトルを出力するように構成された第１の下位部分と、第１の潜在ベクトルおよびランダム変数を入力として見なし、ランダム変数により第１の潜在ベクトルを第２の潜在ベクトルに再パラメータ化するように構成された第２の下位部分と、を含むことと、
－第２の下位部分が、以下の演算、
Figure 2022036023000002
を実行するように構成され、ｏｕｔｐｕｔが、第２の潜在ベクトルを表し、εが、ランダム変数を表し、μが、第２の潜在ベクトルの条件付き平均を表し、δが、第２の潜在ベクトルの条件付き標準偏差を表す、ことと、
－ランダム変数が、平均および標準偏差によって定義された法則に従った確率分布に準拠し、ランダム変数が、平均についてのそれぞれの値および標準偏差についてのそれぞれの値を有し、学習するステップが、損失を含む目的関数を最適化することを含み、損失が、μおよびδによって定義された法則に従った確率分布と、平均についてのランダム変数のそれぞれの値および標準偏差についてのランダム変数のそれぞれの値によって定義された法則に従った確率分布と、の間の相違点にペナルティを課す、ことと、
－３Ｄモデルが、セクションおよび押出によって定義され、セクションが、位置パラメータのリストによって定義され、ニューラルネットワークが、リストについての値を出力するように構成された回帰型ニューラルネットワーク（ＲＮＮ）を含む、ことと、
－ニューラルネットワークが、ＲＮＮの最終状態に基づいて、押出についての値を出力するように更に構成されている、ことと、
－セクションが、セクションのタイプを表す数によって更に定義され、ニューラルネットワークが、数についての確率分布を表すベクトルを出力するように更に構成され、任意選択で、押出についての値および／または位置パラメータのリストについての値の出力が、確率分布を表すベクトルに基づいている、ことと、
－３Ｄモデルが、１つまたは複数のパラメータの第１のサブセットおよび１つまたは複数のパラメータの第２のサブセットから構成されたパラメータのセットによって定義されたパラメータ化された３Ｄモデルであり、ニューラルネットワークが、選択的に、セットについて値を出力し、ユーザからの第１のサブセットについての値を入力として見なし、第２のサブセットについての値を出力する、ように構成されている、ことと、
－アーキテクチャが、ベクトルを含み、ニューラルネットワークが、セットについての値を選択的に出力するために、第１のサブセットについての確率分布を表すベクトルについての第１の値を生成し、確率分布を表すベクトルのａｒｇｍａｘに対応する第１のサブセットについての値を出力し、更に、ベクトルについての第１の値に基づいて、第２のサブセットについての値を出力し、選択的に、ユーザからの第１のサブセットについての値を入力として見なし、第２のサブセットの値を出力するために、第１のサブセットについての値に対応する座標についての１の値および全ての他の座標についての０の値を有するベクトルについての第２の値を生成する、ように構成され、ニューラルネットワークが、ベクトルについての第２の値に基づいて、第２のサブセットについての値を出力するように構成されている、ことと、
－ニューラルネットワークが、２Ｄスケッチおよびランダム変数を入力として見なし、それぞれの潜在ベクトルを出力として提供するように構成された第１の部分と、第１の部分のそれぞれの潜在ベクトルを入力として見なすように構成された第２の部分と、を含み、第２の部分が、確率分布を表すベクトルを出力するように構成された第１の下位部分と、それぞれの潜在ベクトルと確率分布を表すベクトルとの連結を入力として見なし、第２のサブセットを出力するように構成された第２の下位部分と、を含む、ことと、
のうちの１つまたは複数を含んでもよい。
３Ｄ設計のコンピュータによって実行される方法が更に提供される。３Ｄ設計の方法は、学習されたニューラルネットワークを設けるステップと、２Ｄスケッチによって表される３Ｄモデルを出力するよう、２Ｄスケッチおよびランダム変数にニューラルネットワークを適用するステップと、を含む。
命令を含むコンピュータプログラムが更に提供され、命令は、コンピュータシステム上で実行されるとき、コンピュータシステムに、方法を実行させる。
学習されたニューラルネットワークを表すデータ構造が更に提供される。
コンピュータプログラムおよび／またはデータ構造を記憶したメモリを含むデバイスが更に提供される。デバイスは代わりに、非一時的コンピュータ可読媒体、もしくはメモリに結合されたプロセッサを含むコンピュータシステムを形成し、または非一時的コンピュータ可読媒体もしくはコンピュータシステムとしての役割を果たしてもよい。
ここで、非限定的な例として、および添付図面を参照して、実施形態が説明される。
システムの実施例を示す。 システムのグラフィカルユーザインタフェースの実施例を示す。 方法を示す。 方法を示す。 方法を示す。 方法を示す。 方法を示す。 方法を示す。 方法を示す。 方法を示す。 方法を示す。 方法を示す。 方法を示す。
以下では、機械学習のコンピュータにより実行される方法が提案される。機械学習の方法は、ニューラルネットワークについてのアーキテクチャを設けることを含む。ニューラルネットワークは、２Ｄスケッチを入力として見なし、２Ｄスケッチによって表される３Ｄモデルを出力するように構成されている。機械学習の方法はまた、ニューラルネットワークを学習することを含む。ニューラルネットワークは、１つの２Ｄスケッチによって表される３Ｄモデルを出力するように構成されている。これは、単一の対応する２Ｄスケッチに基づいて３Ｄモデルを推論する、すなわち、計算するよう、ユーザについての高い人間工学（ergonomics）を表す。
機械学習の分野から既知であるように、ニューラルネットワークは、アーキテクチャに従った演算を含む関数であり、各々の演算は、重み値を含むデータによって定義される。ニューラルネットワークのアーキテクチャは、各々の演算のオペランドおよび重み値の間の関係を定義する。よって、ニューラルネットワークの学習は、そのような学習に対して構成されたデータセットに基づいて、重みの値を決定することを含む。そのことについて、データセットは、各々がそれぞれの訓練サンプルを形成するデータ片（data piece）を含む。訓練サンプルは、学習の後にニューラルネットワークが使用されることになる状況の多様性（diversity）を表す。本明細書で言及されるいずれかのデータセットは、１０００、１００００、１０００００、または１００００００よりも多い、いくつかの訓練サンプルを含んでもよい。
機械学習の方法は、「データセット形成方法」と称されてもよい、そのようなデータセットを形成するコンピュータによって実行される方法を含む機械学習工程の一部であってもよい。データセット形成方法は、機械学習の方法の前に実行されてもよく、または代わりに、機械学習の方法と組み合わされてもよい。データセット形成方法は、１つまたは複数の３Ｄモデルを提供すること（例えば、合成すること）を含む。データセット形成方法は更に、各々がそれぞれの３Ｄモデルを表す１つまたは複数のそれぞれの２Ｄスケッチを決定すること（例えば、合成すること）（例えば、生成された３Ｄモデルに基づいて）、データセットに１つまたは複数の訓練サンプルを挿入することを含み、１つまたは複数の訓練サンプルの各々は、（例えば、合成された）３Ｄモデルおよびそれぞれの（例えば、合成された）２Ｄスケッチを含む。
ニューラルネットワーク方法の学習は、実施例では、データセット形成方法の後に、データセット形成方法によって形成されたデータセットに少なくとも部分的に基づいて実行されてもよい。そのような機械学習工程は特に効率的であり、改善された精度をもたらす。
代わりに、機械学習工程は、データセット形成方法と、データセットに基づいて、ニューラルネットワークを学習するいずれかの他のコンピュータによって実行される方法（提案される学習方法以外の）を実行することと、を含んでもよい。また代わりに、機械学習工程は、そのようにしてデータセットを形成し、またはデータセットを取り出す別の方法など、いずれかの他のコンピュータによって実行される方法（提案されるデータセット形成方法以外の）によって提供されるデータセットに対して学習方法を実行することを含んでもよい。
３Ｄ設計のコンピュータによって実行される方法も提案される。３Ｄ設計の方法は、機械学習方法に従って学習されたニューラルネットワークを設けることを含む。３Ｄ設計の方法はまた、２Ｄスケッチを提供することを含む。３Ｄ設計の方法は次いで、２Ｄスケッチによって表される３Ｄモデルを出力するために、２Ｄスケッチにニューラルネットワークを適用することを含む。３Ｄ設計工程は、少なくとも３Ｄモデルを精巧に作る工程の一部である、いずれかのアクションまたは一連のアクションを指定する。よって、方法は、ゼロから３Ｄモデルを作成することを含んでもよい。方法は最終的に、ユーザが２Ｄスケッチを入力すること、および１つまたは複数の３Ｄモデルを出力することを可能にし、１つまたは複数の３Ｄモデルは、３Ｄ設計を実行するための人間工学方式である。
３Ｄ設計方法は、ＣＡＤ設計についての改善されたソリューションを形成する。特に、学習されたニューラルネットワークは、２ＤスケッチをソリッドＣＡＤに変換するために使用可能である。ＣＡＤのコンテキストでは、学習されたニューラルネットワークによりそのような変換を実行することは、高速な実行またはリアルタイムな実行、面倒な従前の手動的なプログラミング／コーディングの要件がないこと、および結果の精度が高いことなど、機械学習の分野によってもたらされる利点を達成することを可能にする。本明細書において、精度は、例えば、任意選択で３Ｄモデル（例えば、その特徴的エッジ）の２Ｄ投影と２Ｄスケッチとの間で評価される２Ｄ類似性の値として測定された、３Ｄモデルと、２Ｄスケッチをスケッチするときにユーザが意図した３Ｄ形状との間で評価された３Ｄ類似性の値を指す。よって、学習方法は、３Ｄ設計のコンテキストにおいて人間工学を改善する。
３Ｄ設計の方法は、１つの単一の３Ｄモデルまたは３Ｄモデルについてのいくつか命題（proposition）をユーザに出力することができる。後者のケースでは、ユーザは、設計工程におけるユーザの意図に従って１つを選択することができる。実施例では、３Ｄ設計の方法は、２Ｄスケッチによって表される１つまたは複数の３Ｄモデルの３Ｄグラフィカル表現を表示することを含んでもよい。
３Ｄ設計の方法は、繰り返されてもよい。そのようなケースでは、３Ｄ設計の方法は、ニューラルネットワークを設けること、および２Ｄスケッチを反復して提供すること、２Ｄスケッチによって表される新たな３Ｄモデルを毎回（例えば、自動で）出力するために、ニューラルネットワークを各々の２Ｄスケッチに適用することを含む。方法は、新たに取得された各々の３Ｄモデルを現在の設計に追加し、それによって、出力される個々の３Ｄモデルオブジェクトに含まれる（最終的な）３Ｄモデルオブジェクトを繰り返して／増加的に構築することを含んでもよい。各々が２Ｄスケッチを提供することは、例えば、スケッチすることによって（例えば、タッチスクリーンまたはタッチパッドなどのタッチ技術を介して）ユーザによって実行されてもよい。最終的な３Ｄモデルオブジェクトは、以下で更に説明されるように、機械アセンブリの機械部品を表すことができる。
３Ｄ設計の方法は、機械学習の方法を含んでもよく、またはそれは、例えば、機械学習工程の一部として、その後実行されてもよい。
モデル化されたオブジェクトは、例えば、データベースに記憶されたデータによって定義されたいずれかのオブジェクトである。拡張によって、表現「モデル化されたオブジェクト」は、データ自体を指定する。モデル化されたオブジェクトを指定するために使用されるシステムのタイプに従って、モデル化されたオブジェクトは、異なる種類のデータによって定義されてもよい。ＣＡＤのコンテキストでは、モデル化されたオブジェクトは典型的には、例えば、部品、部品のアセンブリ、または場合によっては製品のアセンブリなどの製品を表す、３Ｄモデル化されたオブジェクト（または、３Ｄモデル）であってもよい。３Ｄモデルは、個体の３Ｄ表現、例えば、現実世界オブジェクトから成り立つ材料の３Ｄ空間分布を形成する、モデル化されたオブジェクトである。現実世界オブジェクトは、機械設計工程における、機械部品、部品のアセンブリ、または場合によっては製品のアセンブリであってもよい。３Ｄ表現は、全ての角度から部品を見ることを可能にする。例えば、３Ｄモデルは、表現が表示されるスクリーン内でその軸のいずれかの周りで、またはいずれかの軸の周りで操作および転回されてもよい。３Ｄモデルは、個体のスキン（すなわち、外部表面）を表すことができる。３Ｄモデルは、ユーザに表示されるため、および／またはユーザが３Ｄモデルに対して１つもしくは複数のＣＡＤ設計演算を実行するために、ＣＡＤシステムに提供されてもよい。これは特に、３Ｄモデル化されていない２Ｄアイコンを排除する。３Ｄ表現の表示は、設計を促進する（すなわち、設計者がそれらのタスクを統計的に達成する速度を増大させる）。これは、製品の設計が製造工程の一部であるので、産業における製造工程を加速化する。
システムは実際に、ＣＡＤシステム、ＣＡＥシステム、ＣＡＭシステム、ＰＤＭシステム、および／またはＰＬＭシステムのいずれかの組み合わせであってもよい。それらの異なるシステムでは、モデル化されたオブジェクトは、対応するデータによって定義される。したがって、１つは、ＣＡＤオブジェクト、ＰＬＭオブジェクト、ＰＤＭオブジェクト、ＣＡＥオブジェクト、ＣＡＭオブジェクト、ＣＡＤデータ、ＰＬＭデータ、ＰＤＭデータ、ＣＡＭデータ、ＣＡＥデータを言うことができる。しかしながら、それらのシステムのいずれかの組み合わせに対応するデータによってモデル化されたオブジェクトを定義することができるので、それらのシステムは、その他の１つを排除しない。よって、システムは良好に、ＣＡＤシステムおよびＰＬＭシステムの両方であってもよい。
ＣＡＤシステムによって、それは加えて、ＣＡＴＩＡなどのモデル化されたオブジェクトのグラフィカル表現に基づいてモデル化されたオブジェクトを設計するように少なくとも適合されたいずれかのシステムを意味する。このケースでは、モデル化されたオブジェクトを定義したデータは、モデル化されたオブジェクトの表現を可能にするデータを含む。ＣＡＤシステムは、例えば、面または表面を有する特定のケースでは、エッジまたはラインを使用してＣＡＤモデル化されたオブジェクトの表現を提供してもよい。ライン、エッジ、または表面は、様々な方式において、例えば、非一様有理Ｂスプライン（ＮＵＲＢＳ）において表されてもよい。特に、ＣＡＤファイルは、仕様を含んでもよく、仕様から、ジオメトリを生成することができ、ジオメトリは次いで、表現が生成されることを可能にする。モデル化されたオブジェクトの仕様は、単一のＣＡＤファイルまたは複数のＣＡＤファイルに記憶されてもよい。ＣＡＤシステムにおけるモデル化されたオブジェクトを表すファイルの典型的なサイズは、部品ごとに１メガバイトの範囲にあり、モデル化されたオブジェクトは典型的には、数千個の部品のアセンブリであってもよい。ＣＡＤのコンテキストでは、モデル化されたオブジェクトは典型的には、例えば、部品、部品のアセンブリ、または場合によっては製品のアセンブリなどの製品を表す、モデル化されたオブジェクトであってもよい。
２Ｄスケッチは、２Ｄ平面上で３Ｄモデルを表す２Ｄ画像である。２Ｄスケッチは、ユーザによって確立されていてもよい。特に、２Ｄスケッチは、手書きのスケッチであってもよい。代わりに、２Ｄスケッチは、合成されていてもよく、すなわち、コンピュータシステムによって人工的にかつ自動で合成されていてもよい。特に、データセット形成方法における手書き描画は、合成的であってもよい。よって、２Ｄスケッチは、そこから３Ｄ形状が視認可能であるそれぞれの観点から３Ｄ形状を表す１つまたは複数の（２Ｄ平面）ストロークを含む２Ｄ画像データ構造である。１つまたは複数のストロークは、同一の平面内で定義され、それぞれの観点からの３Ｄ形状の全体像を表す。各々のストロークは、平面内で定義された連続した曲面、または実質的に連続した曲面である。
実施例では、本明細書におけるいずれかの２Ｄスケッチについて、２Ｄ画像の背景は、単色であってもよく、または代わりに単色でなくてもよい。背景は、例えば、写真であってもよく、その上にユーザがストロークを加えることができる。ストロークは、例えば、予め定められた閾値よりも高い写真の残り部分とのコントラストに基づいて識別可能であってもよい。機械学習工程では、背景は、第１の色の単色背景と置き換えられてもよく、２Ｄスケッチの識別されたストロークは、第２の色においてレンダリングされてもよい。実施例では、第１の色は、黒であってもよく、第２の色は、白であってもよい。他の実施例では、第１の色は、白であってもよく、第２の色は、黒であってもよい。機械学習方法、データセット形成方法、および３Ｄ設計の方法を含む機械学習工程の方法の全ては、同一の第１の色および第２の色を使用してもよい。代わりに、機械学習工程の方法および３Ｄ設計の方法は、それらのそれぞれの入力および出力の一貫性を維持するよう、１つまたは複数の変換ステップとの組み合わせで異なる第１の色および／または第２の色を使用してもよい。
実施例では、本明細書におけるいずれかの２Ｄスケッチについて、１つまたは複数の（例えば、全ての）ストロークは各々、例えば、予め定められた閾値、例えば、１０ミリメートルまたは５ミリメートルよりも短い、別のストロークからの（例えば、別のストロークの端点（extremity point）からの）距離を有する端点を有してもよい。実施例では、本明細書におけるいずれかの２Ｄスケッチについて、ストロークは、自由な３Ｄ形状を表す。これは、いずれかの順序において、かつ予め定義された制約なしに（必然的に並列なストロークおよび／または直交するストロークを有するなど）ストロークを定義することができ、それらがクラスタ（例えば、距離に基づいて取得可能な）において構成されず、クラスタの各々が固体の平面を表すことを意味する。実施例では、本明細書におけるいずれかの２Ｄスケッチは代わりにまたは加えて、例えば、ストロークに関連付けられたいずれのラベル（例えば、作成、押出（extrusion）、屈折（bending）などのアクションの注釈）をも有さず、および／またはいずれの追加のデータ（例えば、ピクチャ、並列ラインのユーザ定義、深度画像）をも有さない、未加工フォーマットにおいて提供されてもよい。
２Ｄスケッチをスケッチすることは、ストロークを定義したスクリーンの一連の画素を順次（例えば、実質的に連続して）活性化することによって、コンピュータのスクリーンとのグラフィカル対話により実行されてもよい。活性化は、マウス（例えば、ストロークを定義したカーソル移動）など、画素に対して作用する触覚デバイスを介して、またはタッチスクリーンもしくはタッチパッドとのユーザ対話（例えば、タッチスクリーンもしくはタッチパッドに対するストロークの物理的なタッチ描画を含む対話）を介して実行されてもよい。これは、スケッチ設計またはストローク設計としてＣＡＤの分野において公知である。代わりに、紙にスケッチされた描画のスキャンまたはいずれかの他の画像のスキャンが推論方法に入力されてもよい。また代わりに、例えば、別のユーザによって生成され、および／または前に説明された技術のいずれかによって生成された手書き描画がメモリから取り出されてもよく、または遠隔のコンピュータシステムから受信されてもよい。
本明細書におけるいずれかの方法は、製造工程に含まれてもよく、製造工程は、方法を実行した後に、モデル化されたオブジェクトに対応する物理製品を作成することを含んでもよい。いずれかのケースでは、方法によって設計されたモデル化されたオブジェクトは、製造オブジェクトを表すことができる。よって、モデル化されたオブジェクトは、モデル化された固体（すなわち、固体を表すモデル化されたオブジェクト）であってもよい。製造オブジェクトは、部品または部品のアセンブリなどの製品であってもよい。方法がモデル化されたオブジェクトの設計を改善することを理由に、方法は、製品の製造をも改善し、よって、製造工程の生産性を増大させる。
本明細書におけるいずれかの３Ｄ形状は、（例えば、機械）部品もしくは部品のアセンブリ（または、方法の観点から部品自体として部品のアセンブリを見ることができ、もしくはアセンブリの各々の部品に方法を独立して適用することができるので、同等に部品のアセンブリ）など、現実世界において製造されることになる製品のジオメトリを表してもよく、あるいはより一般的に、いずれかの剛体アセンブリ（例えば、可動機構）を表してもよい。製品は、航空宇宙、アーキテクチャ、建築、消費者製品、ハイテクデバイス、産業機器、輸送、海事、および／もしくは海洋石油／ガス生成、または輸送を含む、様々なかつ無制限の産業分野における製品の１つであってもよい。よって、３Ｄ形状は、産業製品を表してもよく、産業製品は、地上車両の部品（例えば、自動車機器、軽トラック機器、レーシングカー機器、オートバイ機器、トラック機器、動力機器、トラック、バス、および電車を含む）、航空車両の部品（例えば、機体機器、航空宇宙機器、推進機器、防衛製品、航空会社機器、宇宙機器を含む）、軍艦車両の部品（例えば、海軍機器、商用船、沖合機器、ヨット機器、作業艇機器、および海事機器を含む）一般的な機械部品（例えば、産業製造マシン、重作業マシンもしくは機器、据付機器、産業機器製品、加工済み金属製品、タイヤ製造製品を含む）、電気機械部品または電気部品（例えば、消費者電化製品、セキュリティ製品、制御製品、および／もしくは計測製品、計算機器および通信機器、半導体デバイスおよび機器、医療デバイスおよび機器を含む）、消費者製品（例えば、家具、家庭製品、菜園製品、レジャーグッズ、ファッション製品、ハードグッズリテーラの製品、ソフトグッズリテーラの製品を含む）パッケージング（例えば、食品、飲料、たばこ、美容、健康、家事製品のパッケージングを含む）などのいずれかの機械部品であってもよい。
方法のいずれかは、コンピュータによって実行される。これは、方法のステップ（または、実質的に全てのステップ）が、少なくとも１つのコンピュータ、または同様のいずれかのシステムによって実行されることを意味する。よって、方法のステップは、場合によっては完全に自動で、または半自動でコンピュータによって実行される。実施例では、方法のステップの少なくとも一部をトリガすることは、ユーザ－コンピュータ対話を通じ実行される。必要とされるユーザ－コンピュータ対話のレベルは、予想される自動化のレベルに応じてもよく、ユーザの要求を実装するための必要性とのバランスをとってもよい。実施例では、このレベルは、ユーザによって定義されてもよく、および／または予め定義されてもよい。
また、コンピュータシステム（すなわち、メモリに結合されたプロセッサを有するシステム）上で実行されるとき、コンピュータシステムに方法のいずれかを実行させる命令を含むコンピュータプログラムが提案される。コンピュータプログラムは、コンピュータによって実行可能な命令を含んでもよく、命令は、上記システムに方法を実行させる手段を含む。プログラムは、システムのメモリを含むいずれかのデータ記憶媒体に記録可能であってもよい。プログラムは、例えば、デジタル電子回路、またはコンピュータハードウェア、ファームウェア、ソフトウェア、もしくはそれらの組み合わせにおいて実装されてもよい。プログラムは、装置、例えば、プログラム可能プロセッサによる実行のために機械可読記憶装置において有形的に具体化された製品として実装されてもよい。方法ステップは、入力データに対して動作し、出力を生成することによって、方法の関数を実行するよう命令のプログラムを実行するプログラム可能プロセッサによって実行されてもよい。よって、プロセッサは、データ記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信し、データ記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスにデータおよび命令を送信するようにプログラム可能であり、そのように結合されてもよい。アプリケーションプログラムは、必要に応じて、高レベル手続型プログラミング言語もしくはオブジェクト指向プログラミング言語において、またはアセンブリ言語もしくは機械言語において実装されてもよい。いずれかのケースでは、言語は、コンパイル言語またはインタプリタ言語であってもよい。プログラムは、完全インストールプログラムまたは更新プログラムであってもよい。システム上のプログラムのアプリケーションは、いずれかのケースでは、方法を実行する命令をもたらす。
また、機械学習の方法および／または３Ｄ設計の方法に従って学習されたニューラルネットワークを表すデータ構造が提案される。
また、コンピュータプログラムおよび／またはデータ構造を記憶したメモリを含むデバイスが提案される。デバイスは、ＳａａＳ（ソフトウェアアズアサービス）、別のサーバ、またはクラウド方式プラットフォームなどの上で非一時的コンピュータ可読媒体を形成してもよく、または非一時的コンピュータ可読媒体としての役割を果たしてもよい。代わりに、デバイスは、メモリに結合されたプロセッサを含んでもよい。よって、デバイスは、システムを全体的に、または部分的に形成してもよい（例えば、デバイスは、システム全体のサブシステムである）。システムは更に、プロセッサに結合されたグラフィカルユーザインタフェースを含んでもよい。
コンピュータシステムは、メモリに結合されたプロセッサおよびグラフィカルユーザインタフェース（ＧＵＩ）を含んでもよく、メモリは、方法を実行するための命令を含む、コンピュータプログラムを記憶している。メモリは、データベースをも記憶してもよい。メモリは、場合によってはいくつかの物理的な別個の部分（例えば、プログラムに対して１つ、および場合によってはデータベースに対して１つ）を含む、そのような記憶に対して適合されたいずれかのハードウェアである。
図１は、コンピュータシステムの実施例を示す。
実施例のクライアントコンピュータは、内部通信バス１０００に接続された中央処理装置（ＣＰＵ）１０１０、それもバスに接続されたランダムアクセスメモリ（ＲＡＭ）を含む。クライアントコンピュータは更に、バスに接続されたビデオランダムアクセスメモリ１１００と関連付けられたグラフィカルプロセシングユニット（ＧＰＵ）１１１０が設けられる。ビデオＲＡＭ１１００も、フレームバッファとして本分野において既知である。大規模記憶装置コントローラ１０２０は、ハードドライブ１０３０などの大規模メモリデバイスへのアクセスを管理する。コンピュータプログラム命令およびデータを有形的に具体化するために適切な大規模メモリデバイスは、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスなどの半導体メモリデバイス、内蔵ハードディスクおよび着脱可能ディスクなどの磁気ディスク、磁気光学ディスク、ならびにＣＤ－ＲＯＭディスク１０４０を含む、全ての形式の不揮発性メモリを含む。上述したもののいずれかは、特に設計されたＡＳＩＣ（特定用途向け集積回路）によって補完されてもよく、またはＡＳＩＣに組み込まれてもよい。ネットワークアダプタ１０５０は、ネットワーク１０６０へのアクセスを管理する。クライアントコンピュータはまた、カーソル制御デバイスまたはキーボードなどの触覚デバイス１０９０を含んでもよい。カーソル制御デバイスは、ディスプレイ１０８０上のいずれかの所望の位置においてユーザがカーソルを選択的に位置付けることを可能にするためにクライアントコンピュータにおいて使用される。加えて、カーソル制御デバイスは、ユーザが様々なコマンドおよび入力制御信号を選択することを可能にする。カーソル制御デバイスは、システムに制御信号を入力するためのいくつかの信号生成デバイスを含む。典型的には、カーソル制御デバイスは、マウスであってもよく、マウスのボタンは、信号を生成するために使用される。代わりにまたは加えて、クライアントコンピュータシステムは、感圧パッドおよび／または感圧スクリーンを含んでもよい。
図２は、本明細書におけるいずれかのシステムのＧＵＩの実施例を示し、システムは、ＣＡＤシステムである。
ＧＵＩ２１００は、標準的なメニューバー２１１０、２１２０と共に底部ツールバー２１４０およびサイドツールバー２１５０を有する、典型的なＣＡＤのようなインタフェースであってもよい。そのようなメニューバーおよびツールバーは、ユーザ選択可能アイコンのセットを含み、各々のアイコンは、本分野において既知であるように、１つまたは複数の演算または関数と関連付けられる。それらのアイコンの一部は、ＧＵＩ２１００に表示された３Ｄモデル化されたオブジェクト２０００を編集し、および／または３Ｄモデル化されたオブジェクト２０００に対して作用するように適合されたソフトウェアツールと関連付けられている。ソフトウェアツールは、ワークベンチにグループ化されてもよい。各々のワークベンチは、ソフトウェアツールのサブセットを含む。特に、ワークベンチの１つは、モデル化された製品２０００の幾何学的特徴の編集するために適切な、編集ワークベンチである。演算では、設計者は、例えば、オブジェクト２０００の一部を事前に選択してもよく、次いで、演算を開始してもよく（例えば、寸法、色などを変更する）、または適切なアイコンを選択することによって幾何学的制約を編集してもよい。例えば、典型的なＣＡＤ演算は、スクリーン上に表示された３Ｄモデル化されたオブジェクトをパンチすることまたは折り畳むことである。ＧＵＩは、例えば、表示された製品２０００に関連するデータ２５００を表示してもよい。図の実施例では、「特徴ツリー」として表示されたデータ２５００、およびそれらの３Ｄ表現２０００は、ブレーキキャリパおよびブレーキディスクを含むブレーキアセンブリに関連する。ＧＵＩは更に、例えば、オブジェクトの３Ｄ方位を促進し、編集された製品の演算のシミュレーションをトリガし、または表示された製品２０００の様々な属性をレンダリングするための、様々なタイプのグラフィックツール２１３０、２０７０、２０８０を示してもよい。カーソル２０６０は、ユーザがグラフィックツールと対話することを可能にするよう、触覚デバイスによって制御されてもよい。
ここで、機械学習方法および３Ｄ設計方法の態様が議論される。
第１の態様に従って、機械学習の方法では、ニューラルネットワークについて設けられるアーキテクチャは、変分オートエンコーダ（ＶＡＥ）アーキテクチャである。そのようなケースでは、ニューラルネットワークは、ランダム変数を追加の入力として見なすように構成されている。これは、入力２Ｄスケッチから、入力２Ｄスケッチによって表される３Ｄモデルを出力するための、改善されたソリューションを形成する。
特に、入力されたランダム変数を含む変分オートエンコーダは、ニューラルネットワークの入力データにおける不正確さに関して学習方法のロバスト性を改善する。実際に、入力２Ｄスケッチは、正確でないことがあり（例えば、２Ｄスケッチがストロークの間でギャップを含むとき、または２Ｄスケッチが手書きであるとき）、ＶＡＥの特徴は、不正確な入力データにより３Ｄモデルを出力する方法の能力を改善する。
第１の態様に従って、３Ｄ設計の方法では、第１の態様に従って学習されたニューラルネットワークは、２Ｄスケッチによって表される３Ｄモデルを出力するために、２Ｄスケッチおよびランダム変数に適用される。この特徴は、入力された２Ｄスケッチが何らかの不正確さを有するとき、または入力された２Ｄスケッチが不完全であるとき（例えば、ユーザが３Ｄモデルをより高速に計算することを意図しているときおよび／またはユーザが現在描画しているとき）、３Ｄモデルを正確に出力する設計方法の能力を改善するように、３Ｄ設計方法の人間工学を改善する。
ＶＡＥにランダム変数を入力することは、第１の態様に従った３Ｄ設計の方法が、単一の２Ｄスケッチから複数の３Ｄモデルを出力することも可能にする。各々の出力された３Ｄモデルは、１つのランダム変数に対応する。これは、入力２Ｄスケッチから、ユーザに提案された複数の３Ｄモデルの中でユーザによって選択される２Ｄスケッチによって表される３Ｄモデルを出力するための改善されたソリューションを形成する。これは特に、入力された２Ｄスケッチが何らかの不正確さを有するとき、入力された２Ｄスケッチが不完全であるとき、または２Ｄスケッチ１つの単一の３Ｄモデルを明確に表さないときに効率的である。図３を参照して、ＶＡＥは、正規化された潜在空間（regularized latent space）を取得すること、および出力にランダム性を導入することを可能にする。前に言及されたように、２Ｄ矩形は、正面からの３Ｄ円筒を表すことができ、またはいずれかの典型的な視野からの３Ｄボックスを表すことができ、よって、方法はむしろ、円筒およびボックスの両方を提案することができる。図は、正規化された潜在空間３１０および正規化されていない潜在空間３２０の表示を示す。正規化に関する更なる詳細が以下に提供される。１つは、正規化されていない潜在空間３２０と比較して、正規化された潜在空間３１０内で、色領域が相互により近いことを観察することができる。よって、青領域３１２（例えば、円筒を表す）の近くの潜在ベクトルを選択することは、緑領域（例えば、ボックスを表す）における潜在ベクトルを与えることができる。対照的に、青領域３２２の近くの潜在ベクトルは、緑領域３２４における潜在ベクトルを与えないことがある。よって、２Ｄスケッチが不確かである場合、ＶＡＥ方法は、複数の異なるソリューション、すなわち、正規化された潜在空間３１０内の異なる領域に対応する３Ｄモデル、例えば、領域３１２に対応する１つの３Ｄモデルおよび領域３１４に対応する別の３Ｄモデルを提案することができる。
第２の態様に従って、３Ｄモデルは、パラメータのセットによって定義されたパラメータ化された３Ｄモデルである。パラメータのセットは、１つまたは複数のパラメータの第１のサブセットおよび１つまたは複数のパラメータの第２のサブセットから構成される。第２の態様に従って、機械学習の方法では、ニューラルネットワークは、選択的に、（１）セットについての値を出力し、（２）ユーザからの第１のサブセットについての値を入力として見なし、第２のサブセットについての値を出力するように構成されている（言い換えると、ニューラルネットワークは代わりに、オプション（１）またはオプション（２）に従って選択的に使用されてもよい）。これは、入力２Ｄスケッチから、２Ｄスケッチによって表される３Ｄモデルを出力するための改善されたソリューションを形成する。
メッシュ表現、ボクセル占有格子、またはポイントクラウドのような３Ｄモデルの固定された表現とは異なり、２Ｄスケッチの（例えば、完全に）パラメータ化された３Ｄモデルは、いくつかのパラメータを修正することによって容易に編集可能である。実施例では、３Ｄモデルをパラメータ化するためのパラメータの数は、そのモザイク式メッシュ（tessellated mesh）の面の数、そのボクセル格子の占有された格子の数、またはそのポイントクラウド内のマーク付けされたポイントの数よりも、５よりも多い（例えば、１０よりも多い）係数だけ少ない。各々のパラメータ化された３Ｄモデルは、１００よりも少ない（例えば、５０よりも少ない）いくつかのパラメータによって定義されてもよい。よって、パラメータ化機構は、コンパクトかつ編成された方式において３Ｄモデルを表す。また、ＣＡＤの分野において既知であるように、単一のパラメータに対して作用することは、全体的な影響をもたらすことができると共に、メッシュ、ボクセル格子、またはポイントクラウドのケースでは、単一の幾何学的エンティティに対して作用することは、局所的な影響をもたらすにすぎない。例えば、本明細書におけるいずれかの３Ｄモデルは、多数のメッシュトライアングルを移動させること／増加させることとは反対に、５未満（例えば、３未満）のいくつかのパラメータ値を修正することによって、その占有された体積を拡スケールアップするように構成されてもよい。加えて、パラメータ化された３Ｄモデルは、メッシュ、ボクセル格子、またはポイントクラウドよりもユーザに対してより意味的に有用である。
第２の態様に従って、ユーザは、出力される３Ｄモデルを定義したデータの部分を選択的に修正（fix）することができる。よって、１つまたは複数のパラメータの第１のサブセットについての特定の値を有することに特徴付けられた特定のタイプの３Ｄモデルを出力するために、ニューラルネットワークを効率的に学習することができる。これは、学習を改善する。
実施例では、３Ｄモデルは、例えば、１つまたは複数の境界ポイント（bounding point）（例えば、３Ｄモデルがプリズムを表しているときのコーナポイント（corner point））についての１つまたは複数の位置付けパラメータ（positioning parameter）（例えば、３Ｄ座標）を含む、１つまたは複数の形状パラメータによってパラメータ化されてもよい。形状パラメータは加えてまたは代わりに、１つまたは複数の次元に対応する１つまたは複数の長さ（例えば、立方体についてのエッジの長さおよび／またはプリズムの高さ）を含んでもよい。本明細書におけるいずれかの３Ｄモデルは代わりにまたは加えて、タイプパラメータ（例えば、３Ｄモデルがプリズムを表すときにセクションのタイプ）によって定義されてもよい。本明細書におけるいずれかの３Ｄモデルは代わりにまたは加えて、任意選択で、１つまたは複数の位置付けパラメータ（例えば、３Ｄモデルがプリズムを表しているときのセクションのコーナポイントの３Ｄ座標）を含む、そのタイプに応じた追加の形状パラメータによって定義されてもよい。３Ｄモデルのそのようなパラメータ化は特に、ユーザが編集するための人間工学である。
以下では、パラメータのセットについての値は、第１のサブセットについての値および第２のサブセットについての値から構成される。セットについての値を選択的に出力することは、ユーザが、（全体的な）パラメータのセットについての値を出力するか、またはパラメータの第１のサブセットについての値を入力としてニューラルネットワークに与えるかのいずれかを選択することができることを意味する。後者のケースでは、第１のサブセットについての値および第２のサブセットについての値は、ユーザによって入力されないが、両方ともニューラルネットワークによって（自動で）計算される。このケースでは、２Ｄスケッチは、ニューラルネットワークへの入力であるにすぎず、第１のサブセットについての出力される値および第２のサブセットについての出力される値は、ニューラルネットワークによって計算される。後者のケースでは、３Ｄモデルの第１のパラメータのセットの入力された値は、第２のサブセットについての値を出力するためにニューラルネットワークによって使用されてもよい。
実施例では、１つまたは複数のパラメータの第１のサブセットは、タイプパラメータのうちの１つまたは複数から構成されてもよく、１つまたは複数のパラメータの第２のサブセットは、形状パラメータのうちの１つまたは複数から構成されてもよい。よって、ユーザは、ニューラルネットワークの出力を特定のタイプ（例えば、三角形セクションを有するプリズム）に制限することができると共に、ニューラルネットワークが、形状を自由に計算させることができる。
第２の態様に従って、３Ｄ設計の方法では、１つまたは複数のパラメータの第２のサブセットについての値を出力するために、１つまたは複数のパラメータの第１のサブセットについての値が選択的に提供される。よって、ユーザは、３Ｄモデルを定義したパラメータの部分をモデルの入力として設定し、残りのパラメータを取得することが可能である。この特徴は、ユーザが特定のカテゴリの３Ｄモデルを出力することを可能にすることによって、すなわち、カテゴリを特徴付ける１つまたは複数のパラメータのいくつかの予め定義されたセットにより、３Ｄ設計方法の人間工学を改善する。３Ｄ設計の方法の実施例では、ユーザは、第１のサブセットの１つまたは複数のパラメータについての値についての決定を既に行っていることがあり、またはそれらを選択するいくつかの実用上の制約が存在する。
第３の態様に従って、機械学習の方法では、３Ｄモデルは、セクションおよび押出から構成されたパラメータのセットによって定義されたパラメータ化された３Ｄモデルである。これは、３Ｄモデルの単純かつコンパクトな編集可能なパラメータ化をもたらし、入力２Ｄスケッチから、２Ｄスケッチによって表される３Ｄモデルを出力するための改善されたソリューションを形成する。
実施例では、パラメータのセットは、３Ｄモデルの異なるカテゴリの中で共通であり、各々のカテゴリは、パラメータのセットの１つまたは複数のパラメータによって特徴付けられてもよい。第３の態様に従った機械学習は、単一のネットワークを学習し、ネットワークは次いで、いくつかのカテゴリの３Ｄモデルを生成するために使用される。単一のネットワークによって、それは、演算の単一のセットおよびニューラルネットワークの重み値が機械学習方法における異なるカテゴリの３Ｄモデルに対して共に学習されることを意味する。言い換えると、学習することは、場合によってはミニバッチごとに（mini-batch by mini-batch）、例えば、単一の確率的勾配降下法（stochastic gradient descent）である場合でさえ、単一の損失の単一の最小化（single minimization of a single loss）を含む。よって、単一のネットワークは、いくつかのニューラルネットワークの組み合わせとは異なり、ニューラルネットワークの各々は、それぞれのカテゴリについてのセレクタによって共に結合された、１つまたは複数のカテゴリの３Ｄモデルに対して学習されてもよい。
実施例では、セクションは、幾何学的タイプのセクションを表すタイプパラメータおよび１つまたは複数の（例えば、２つ以上の）形状パラメータによって定義されてもよい。形状パラメータは、位置パラメータのリストであってもよい。実施例では、押出は、３Ｄ空間内のラインによって定義されてもよい。実施例では、押出ラインは、直線ラインまたは湾曲ラインであってもよい。直線ラインは、セクションに垂直であってもよく、よって、押出は、押出長さによって表されてもよい。
第３の態様に従って、３Ｄ設計の方法では、学習されたニューラルネットワークは、セクションおよび押出から構成されたパラメータのセットの値を出力するために、２Ｄスケッチに適用される。この特徴は、ユーザに３Ｄモデルの単純かつコンパクトな編集可能なパラメータ化をもたらすように、３Ｄ設計方法の人間工学を改善する。
方法の異なる態様が共に組み合わされてもよい。
例えば、第１の態様は、第２の態様と組み合わされてもよい。そのようなケースでは、３Ｄモデルは、１つまたは複数のパラメータの第１のサブセットおよび１つまたは複数のパラメータの第２のサブセットから構成されたパラメータのセットによって定義され、ニューラルネットワークは、ＶＡＥアーキテクチャを有する。ニューラルネットワークは、ランダム変数を追加の入力として見なすように構成されている。ニューラルネットワークは、選択的に、セットについての値を選択的に出力し、ユーザからの第１のサブセットについての値を入力として見なし、第２のサブセットについての値を出力するように更に構成されている。これは、入力２Ｄスケッチから、２Ｄスケッチによって表される３Ｄモデルを出力するための改善されたソリューションを形成する。
結果として、３Ｄ設計の方法は、２Ｄスケッチによって表される３Ｄモデルを出力するために、２Ｄスケッチおよびランダム変数に適用され、１つまたは複数のパラメータの第２のサブセットについての値を出力するために、１つまたは複数のパラメータの第１のサブセットについての値が選択的に提供される。そのような選択では、ニューラルネットワークのＶＡＥアーキテクチャは、第１のサブセットについての入力された値に基づいた、条件付きＶＡＥになることができる。そのようなアーキテクチャは、条件付き変分オートエンコーダ（ＣＶＡＥ）として既知である。
別の実施例として、第２の態様は、第３の態様と組み合わされてもよい。そのようなケースでは、３Ｄモデルは、セクションおよび押出によって定義され、セクションおよび押出は、１つまたは複数のパラメータの第１のサブセットおよび１つまたは複数のパラメータの第２のサブセットから構成されたパラメータのセットによって定義される。第１のサブセットは次いで、セクションのタイプを表す数から構成されてもよい。実施例では、数は、セクションを形成するサイドを表す数を表すことができる。各々のサイドは、直線ライン（セグメント）または湾曲ライン（円弧）のいずれかであってもよい。第２のサブセットは、押出を定義したパラメータおよび／またはセクションを更に定義したパラメータを含んでもよい。
更なる別の実施例として、第１の態様は、第３の態様と組み合わされてもよい。そのようなケースでは、３Ｄモデルは、セクションおよび押出から構成されたパラメータのセットによって定義されたパラメータ化された３Ｄモデルである。３Ｄ設計の方法は、場合によっては異なるタイプのセクションを有する１つまたは複数の３Ｄモデルを出力する。
最後に、第１の態様、第２の態様、および第３の態様が共に組み合わされてもよい。そのようなケースでは、３Ｄ設計の方法は、２Ｄスケッチによって表される３Ｄモデルを出力するために、２Ｄスケッチおよびランダム変数に適用され、押出についての値および／またはセクションを更に定義したパラメータを出力するために、セクションのタイプが選択的に提供される。
第１のサブセットは次いで、セクションのタイプを表す数から構成されてもよい。実施例では、数は、セクションを形成するサイドを表す数を表すことができる。各々のサイドは、直線ライン（セグメント）または湾曲ライン（円弧）のいずれかであってもよい。第２のサブセットは、押出を定義したパラメータおよび／またはセクションを更に定義したパラメータを含んでもよい。
ここで、データセット形成方法の実施例が議論される。
実施例では、データセット形成方法は、訓練サンプルのうちの１つまたは複数についてのランダム値を生成することを含んでもよい。訓練サンプルのうちの１つまたは複数に対応するランダム値の生成は、学習方法の一部であってもよく、例えば、ランダム値は、「オンザフライ（on the fly）」で生成されてもよい。ランダム値は、確率分布に従って（例えば、正規分布）、場合によっては予め定義されたパラメータにより（例えば、標準正規分布）選択されてもよい。
実施例では、３Ｄモデルは、１つまたは複数のパラメータの第１のサブセットおよび１つまたは複数のパラメータの第２のサブセットから構成されたパラメータのセットによって定義されたパラメータ化された３Ｄモデルであってもよい。データセット形成方法は、１つまたは複数のパラメータの第１のサブセットに対応する１つまたは複数のパラメータドメインの第１の離散サブセットおよび１つまたは複数のパラメータの第２のサブセットに対応する１つまたは複数のパラメータドメインの第２の離散サブセットを含む、初期データを提供することを含んでもよい。３Ｄモデルを合成することは、それらのそれぞれのパラメータドメインにおける第１のサブセットおよび／または第２のサブセットの選択値に基づいているそのような初期データに基づいて実行されてもよい。
３Ｄモデルを合成するときに実行されるいずれかの選択は、（例えば、ランダムな）サンプリングを介して実行されてもよい。これは、相対的に良好な現実状況の多様性を表すデータを生成することを可能にする。よって、これは、最終的に正確な学習につながる。いずれかの（例えば、ランダムな）サンプリングは、選択されることになる変数が値を取るセット内での一様（例えば、ランダムな）サンプリングを含んでもよい（例えば、ランダムな一様サンプリングは、一様確率分布に従ったランダムなサンプリングである）。代わりに、サンプリングは、いくつかの値を選択する確率がその他よりも高いランダムな非一様サンプリングを含んでもよい。より高い確率は、３Ｄ設計方法の適用においてより多く出現する値に帰属してもよい。
特定の実施例では、データセット形成方法は、セクションタイプの離散セットからのセクションタイプ、およびセクションタイプと共に、１つまたは複数の形状パラメータについての１つまたは複数のパラメータドメインのそれぞれの離散セットを含む初期データを提供することを含んでもよい。３Ｄモデルを合成することは、そのような初期データに基づいて実行されてもよい。特に、データセットの合成は、セクションのタイプを表す整数を生成すること、および数に基づいて、位置パラメータのリストおよび押出についての値を生成することを含んでもよい。よって、３Ｄモデルが完全に定義される。
第３の態様に従ったデータセット形成方法の効率的な実施例では、方法は、セクションのタイプについての値（例えば、トライアングルに対応する値）、選択されたセクションのタイプについての位置パラメータについての１つまたは複数の値（例えば、三角形セクションコーナの３Ｄ座標）、およびセクションに垂直な押出長さについての値を選択してもよい。この実施例のいくつかのオプションでは、セクションの位置パラメータは、セクションのコーナに対応してもよく、単位円（unit circle）に対して選択されてもよい。この実施例の他のオプションでは、セクションの位置パラメータおよび押出長さについての値は、それらの位置パラメータのセットに対応する最大３Ｄモデルおよび単位球面（unit sphere）における押出適合（extrusion fitting）を取得するよう選択されてもよい。特に、スケーリングのために、３Ｄモデルの境界ボックスは、座標系（（０，０，０））の方位において再度中心に置かれてもよい。３Ｄモデルは次いで、単位球面における最大３Ｄモデル適合を取得するために、スケーリング比により再スケーリングされる。モデルを再スケーリングするために、単純に、スケーリング比により３Ｄモデルの各々のポイントのノルムを乗算する。そのようなデータセットのスケーリングは、学習を改善する。
実施例では、データセット形成方法は、ランダムな回転を適用することによって、単一の３Ｄモデルからいくつかの２Ｄスケッチを有するデータセットをポピュレート（populate）してもよい。他の実施例では、３Ｄモデルは代わりに、固定されたままであってもよく、方法は、単位球面上の選択されたポイントからその中心までのベクトルによって表される、ランダムな視野方向からのいくつかの２Ｄスケッチを取得してもよい。両方の実施例では、２Ｄスケッチは次いで、視野方向に垂直な平面に対して計算されてもよい（例えば、投影される）。実施例では、計算された２Ｄスケッチは、黒および白にレンダリングされてもよく、レンダリングされたエッジは、黒であってもよく（例えば、２５６個の画素のうちのサイズ２５６個の画素の写真に）、データセットに挿入されてもよい。実施例では、挿入された２Ｄスケッチの色は、黒の背景および白のラインを取得するよう反転されてもよい。これは、ニューラルネットワークの入力された２Ｄスケッチにおけるゼロの値の数を最大にする。よって、これは、学習を改善する。レンダリングされたスケッチの値は、標準［０，２５５］から［０，１］に再スケーリングされてもよい。
実施例では、方法は、スケッチのラインに何らかのランダムノイズ（random noise）を追加してもよい。方法は、スケッチの各々のラインを定義した１つまたは複数のパラメータに、および／または各々のラインのエンドポイントにノイズを追加してもよい。そのような実施例は、入力された２Ｄスケッチの不正確さに対してそのようなデータセットに関して学習されたニューラルネットワークのロバスト性を改善する。
ここで、学習方法の実施例が議論される。
学習方法は、ＣＡＤ設計のための改善されたソリューションを形成する。特に、学習されたニューラルネットワークは、２Ｄスケッチを３Ｄモデルに変換するために使用可能である。ＣＡＤのコンテキストでは、これは、既に議論されたものとして特に有用である。学習は、データセットに少なくとも部分的に基づいた、教師あり訓練を含んでもよい。そのようなケースでは、データセットの少なくとも一部は、２Ｄスケッチごとに、２Ｄスケッチにより（ラベル付けされた）訓練サンプルを形成するそれぞれの３Ｄモデルを含む。データセットの少なくとも一部は、例えば、データセット形成方法に従って形成されるいずれかの方法に従って設けられてもよい。
特に効率的な実施例では、学習方法は、データセット形成方法によって形成されるデータセットに基づいた教師あり訓練を含んでもよい。機械学習の分野から既知であるように、各々の訓練は、例えば、ミニバッチごとに、それぞれのデータセットを反復して処理し、反復処理に従ってニューラルネットワークの重み値を修正することを含んでもよい。これは、確率的勾配降下法に従って実行されてもよい。重み値は、各々の訓練に対していずれかの方式において初期化されてもよい。重み値は、いずれかの任意の方式において初期化されてもよく、例えば、ランダムに、または各々がゼロの値に初期化されてもよい。
機械学習方法の第１の態様に従った実施例では、ニューラルネットワークは、２Ｄスケッチおよびランダム変数を入力として見なすように構成されている。学習方法は、確率分布（例えば、Ｎ（０，１））に従って、入力されたランダム変数についての値を生成するステップを含んでもよい。学習方法は、訓練のサンプルの各々の１つに対して学習工程においてランダム数を「オンザフライで」生成してもよい。
学習は、損失関数を最小にすることを含んでもよく、損失関数は、訓練サンプルのそれぞれの２Ｄスケッチから、訓練サンプルセットの３Ｄモデルの各々とニューラルネットワークによって出力される３Ｄモデルとの間の不一致（disparity）を表す。
実施例では、機械学習方法の第２の態様および第３の態様に従って、損失は、訓練サンプルの各々の３Ｄモデルを定義したパラメータとニューラルネットワークによって計算されたそれぞれのパラメータとの間の不一致にペナルティを課してもよい（penalize）。特に正確な実施例では、機械学習方法の第３の態様に従って、不一致は、訓練サンプルの各々の３Ｄモデルのセクションを定義した位置パラメータ（例えば、ポイントの座標）とそれらのそれぞれの予測値との間の平均二乗誤差、および／または訓練サンプルの各々の３Ｄモデルの押出パラメータ（例えば、押出長さ）とそのそれぞれの予測値との間の平均二乗誤差を含んでもよい。特に正確な別の実施例では、機械学習方法の第３の態様に従って、不一致は、方法によって計算された、訓練サンプルの各々の３Ｄモデルのセクションのタイプとタイプとの間の差異におけるメトリック、または各々のタイプの確率値を含んでもよい。
実施例では、機械学習方法、ニューラルネットワークの第１の態様に従って、損失関数は、ランダム変数（ε）の確率分布（例えば、Ｎ（０，１））と平均（μ）および標準偏差（δ）によって定義された確率分布（例えば、Ｎ（μ，δ））との間の不一致にペナルティを課す項を有する正則化損失（regularization loss）を含んでもよい。学習方法は、学習の開始時に、平均および標準偏差についての値を初期化してもよい。学習方法は、学習の工程の間に、平均および標準偏差についての値を計算してもよい。損失関数は、異なる距離および／または２つの確率分布の間の拡散（divergence）を使用して不一致を測定してもよい。特に効率的な実施例では、確率分布の間の不一致は、ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ拡散損失である。
図３に戻り、Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ拡散損失の正則化効果を観察することができる。正規化されていない潜在空間３２０では、異なる計算された平均および／または標準偏差に対応する異なる領域は、完全に分離されてもよい。よって、第１の態様に従った方法は、最小再構築損失を有する領域以外の領域から３Ｄモデルを提案する可能性を失うことがある。再構築損失は、提案された３Ｄモデルにおける誤差、例えば、３Ｄモデルを定義したパラメータを表すことができる。Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ拡散損失を目的関数に含めることは、再構築損失の間の平衡、および入力データにおけるランダム性を考慮するよう、ニューラルネットワークを実施することができる。更に、Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ拡散損失を目的関数に含めることは、予測平均を約ゼロに再グループ化し、標準偏差が約１になることを推奨する。それらの効果は、正規化された潜在空間３１０内で異なる領域が相互に近くになることにつながることがある。
ここで、方法の第１の態様が議論される。
第１の態様に従って、ニューラルネットワークは、第１の部分および第２の部分を含んでもよい。第１の部分は、２Ｄスケッチおよびランダム変数を入力として見なし、それぞれの出力を提供するように構成されてもよい。第２の部分は、第１の部分のそれぞれの出力を入力として見なし、３Ｄモデルを出力するように構成されてもよい。本明細書で、ニューラルネットワークの部分は、ニューラルネットワークのアーキテクチャおよび対応する重みの仮想グループ化を意味する。
エンコーダを含む第１の部分においてランダム変数を入力として見なすように構成されることは、１つまたは複数のデコーダによる復号ステージ前のランダム変数の導入と比較して、出力するための改善されたソリューションを形成することができる。これは、全てのデコーダが同一の潜在ベクトルを復号するように、復号ステージにおいて入力されたスケッチの一貫性を維持することを理由とする。また、これは、デコーダごとに復号される最終的な潜在ベクトルを固定する。
第１の部分は、第１の下位部分および第２の下位部分を含んでもよい。第１の下位部分は、２Ｄスケッチを入力として見なし、第１の潜在ベクトルを出力するように構成されてもよい。第２の下位部分は、第１の潜在ベクトルおよびランダム変数εを入力として見なし、ランダム変数により第１の潜在ベクトルを第２の潜在ベクトルに再パラメータ化するように構成されてもよい。潜在ベクトルは、それぞれの入力からのニューラルネットワークの出力を計算する工程における中間結果としての役割を果たす、ニューラルネットワークのデータのブロックを意味する。潜在ベクトルは、アクセス可能でなくてもよく、または直接出力されなくてもよい。第１の態様の特に効率的な実施例では、第１の下位部分は、畳み込みニューラルネットワーク（ＣＮＮ）であってもよい。
第２の下位部分は、第２の潜在ベクトルの「条件付き平均」μおよび「条件付き標準偏差」δを計算するように構成されてもよい。条件付き平均および条件付き標準偏差はそれぞれ、平均についてのベクトルおよび標準偏差についてのベクトルを意味する。本明細書において、再パラメータ化は、いわゆる「再パラメータ化トリック（re-parameterization trick）」を行うことを意味し、第２の下位部分の出力、すなわち、第２の潜在ベクトルは、式（１）に従ってランダムにサンプリングすることによって計算されてもよく、
Figure 2022036023000003
出力は、第２の潜在ベクトルを表す。よって、標準偏差の要素のいずれかは、第２の潜在ベクトルを取得するよう、オフセットとしてランダム変数と乗算されてもよく、平均に加算されてもよい。第２の潜在ベクトルを取得するためのそのような式は、μおよびδに関して微分可能である。この微分可能性は、例えば、最急降下法によりニューラルネットワークを訓練することを可能にする。
この第１の態様に従って、ランダム変数εは、平均および標準偏差によって定義された法則に従って確率分布（Ｎ（．，．））に準拠することができ、ランダム変数は、平均についてのそれぞれの値（例えば、０）および標準偏差についてのそれぞれの値（例えば、１）を有する。実施例では、法則は、正規分布の法則であってもよい。理想的に学習されたニューラルネットワークでは、すなわち、ニューラルネットワークのそれぞれの学習された重みにおいて誤差が存在しないとき、条件付き平均および条件付き標準偏差は、ランダム変数εの分布と同一の分布を表すはずであり、実施例では、Ｎ（μ，δ）＝Ｎ（０，１）である。よって、この第１の態様に従って、学習は、それらの２つの確率分布の間の損失を含む目的関数を最適化することを含んでもよい。そのような損失項を含むことは、潜在空間を正則化することを支援するように、目的関数を最適化することにおける正則化効果を有する。この正則化効果は、ネットワークの大きな重みにペナルティを課すために機械学習領域において広く使用される「Ｌ2－正則化」損失の効果と比較されることがある。全ての正規化された重みがゼロになることを回避するために、正則化効果による損失項の関連係数は、相対的に小さいように選択されてもよい。この態様に従った学習の実施例は、後に議論される。
ここで、方法の第２の態様が議論される。
第２の態様に従って、アーキテクチャは、データ片（piece of data）を含んでもよい。ニューラルネットワークは、データ片についての第１の値を生成し、データ片についての第１の値に基づいて、第１のサブセットについての値を判定し、データ片についての第１の値に基づいて、第２のサブセットについての値を更に判定するよう、セットについての値を選択的に出力するように構成されてもよい。ニューラルネットワークは、第１のサブセットについての値に基づいて、データ片についての第２の値を生成し、データ片についての第２の値に基づいて、第２のサブセットについての値を出力するよう、選択的にユーザからの第１のサブセットについての値を入力として見なし、第２のサブセットの値を出力するように構成されてもよい。
データ片は、データの１つもしくは複数の演算および／またはデータの１つもしくは複数のブロックを含む、ニューラルネットワークまたはニューラルネットワークの１つもしくは複数の層におけるデータのブロックを表すことができる。データ片についての第１の値および第２の値は、データのブロックがどのようにポピュレートされるかを表し、ニューラルネットワークは、その実行の間に計算によってデータ片についての第１の値を自動でポピュレートすることができ、第２の値は、ニューラルネットワークの実行とは独立したユーザ対話を介してポピュレートされる。
更に、第２の態様に従って、ニューラルネットワークは、演算、すなわち、関数を含んでもよい。関数は、例えば、予め定められてもよく、例えば、定数であってもよく、ニューラルネットワークの実行の間であってもよい。セットについての値を選択的に出力するために、第１のサブセットについての値は、第１の値に基づいて生成され、第１のサブセットについての値は、データ片についての第１の値の関数の像（image）に対応する。選択的にユーザからの第１のサブセットについての値を入力として見なし、第２のサブセットの値を出力するために、第２の値は、関数に従った第１のサブセットについての値の原像（preimage）である。概して、関数に従った値の１つよりも多い原像が存在することがあるので、第２の値は、基準に従った許容可能な原像の１つとして選択される。基準は、最大ベクトル無限ノルム（largest vector infinity-norm）を有する原像を選択することであってもよい。よって、関数（例えば、後に説明されるように、ａｒｇｍａｘ関数）は、第１のサブセットについてのユーザからの入力された値を第２の値に変換するための推論時間において使用されてもよい。第２の値は、第２のサブセットを計算するためにニューラルネットワークによって使用される。
第２の態様に従って、データ片は、第１のサブセットについての確率分布を表すベクトルであってもよく、関数は、ａｒｇｍａｘ関数であってもよい。更に、データ片の第２の値は、第１のサブセットについての値に対応する座標についての１の値、および全ての他の座標についての０の値を有するベクトルであってもよい。
第２の態様に従った３Ｄ設計の方法の実施例では、ユーザが第１のサブセットについての値を提供する前に、ニューラルネットワークは、セットについての各々の１つまたは複数のそれぞれの値を出力するために２Ｄスケッチに適用されてもよく、１つまたは複数の３Ｄモデルは、ユーザに表示されてもよい。ユーザは、１つまたは複数の３Ｄモデルが表示される間に、第１のサブセットについての値を提供することができる。
ここで、方法の第３の態様が議論される。
この態様では、３Ｄモデルは、押出ラインに沿ったセクションを押し出し、すなわち、スイープすることによって定義されたパラメータ化されたモデルである。幾何学的タイプのセクションは、数によって表される。ニューラルネットワークは、数についての確率分布を表すベクトルを出力するように構成されている。
セクションは、２Ｄ、すなわち、平面であってもよく、２つ以上のサイドから構成され、各々のサイドは、直線ライン（セグメント）または湾曲ライン（円弧）のいずれかである。よって、セクションのタイプの代表的な数は、セクションを形成するサイド（セグメントまたは円弧）の数（ｎｂＳｉｄｅｓ）を表すことができる。湾曲ラインは、様々な形式、例えば、スプラインまたは非一様有理Ｂスプライン（ＮＵＲＢＳ）において表されてもよい。
セクションは、位置パラメータのリストによって更に定義されてもよい。位置パラメータの数は、セクションのサイドの数と等しくてもよい。各々の位置パラメータは任意選択で、１対の３Ｄポイントを含んでもよい。代わりに、１つまたは複数の位置パラメータは、１つの単一の３Ｄポイントを含んでもよい。セクションは、幾何学的タイプのセクションを表す数および位置パラメータのリストによって完全に定義されてもよい。セクションは、それぞれのサイドがセグメントまたは円弧であるかどうかを表すよう、各々の予測された対のポイントに関連付けられたフラグによって更に定義されてもよい。
この態様に従って、ニューラルネットワークのアーキテクチャは、リストについての値を出力するように構成された回帰型ニューラルネットワーク（ＲＮＮ）を含んでもよい。ＲＮＮは、リストの要素のいずれかをリストの既に計算された要素と関連して計算することができるので、順次リストの値を計算するにおいて非常に効率的である。
ＲＮＮは、１つまたは複数の長・短期記憶（ＬＳＴＭ）セルを含んでもよい。ＬＳＴＭセルの数は、リストの要素の数と等しくてもよい。代わりに、アーキテクチャは、静的であってもよく、ＬＳＴＭセルの数は、異なるタイプのセクションに対して固定されてもよい。ＬＳＴＭセルの数は、異なるタイプのセクションを定義するために必要とされる位置パラメータの最大数と等しくてもよい。静的アーキテクチャを有することは、訓練の計算時間を改善することができる。各々のＬＳＴＭセルは、リストの要素の１つに帰属することができ、その要素の値を出力するように構成されてもよい。実施例では、ＲＮＮは、完全結合（ＦＣ）層と置き換えられてもよい。
ニューラルネットワークは、ＲＮＮの最終状態に基づいて、押出についての値を出力するように更に構成されてもよい。押出ラインは、直線ラインまたは湾曲ラインによって表されてもよい。湾曲ラインは、様々な形式、例えば、スプラインまたは非一様有理Ｂスプライン（ＮＵＲＢＳ）において表されてもよい。実施例では、湾曲ラインは、位置パラメータの第２のリストによって定義されてもよく、各々の位置パラメータは任意選択で、１対の３Ｄポイントを含む。ニューラルネットワークは、第２のリストについての値を出力するように構成された第２のＲＮＮを含んでもよい。実施例では、押出のラインは、セクションに垂直な直線ラインであってもよく、よって、それは、押出長さ（ｈ）のスカラパラメータによって表されてもよい。実施例では、各々の位置パラメータは、セクションの境界に位置するポイントを表す１つの３Ｄポイントまたは１対の３Ｄポイントのいずれかである。
この態様の好ましい実施例では、３Ｄモデルは、セクションに直交する押出を有する円筒またはプリズムのいずれかである。
ここで、異なる態様の組み合わせが議論される。
実施例では、第１の態様および第２の態様に従った機械学習の方法は、組み合わされてもよい。そのような組み合わせは、２つの部分を含むニューラルネットワークを含んでもよい。第１の部分は、２Ｄスケッチおよびランダム変数を入力として見なし、それぞれの潜在ベクトルを出力として提供するように構成されてもよく、第２の部分は、第１の部分のそれぞれの潜在ベクトルを入力として見なすように構成されてもよい。第１の部分は、第１の態様に従った第１の部分と同一であってもよい。潜在ベクトルは、第１の態様に従った第２の潜在ベクトルと同一であってもよい。第２の部分は、確率分布を表すベクトルを出力するように構成された第１の下位部分、ならびにそれぞれの潜在ベクトルおよび確率分布を表すベクトルの連結を入力として見なし、第２のサブセットを出力するように構成された第２の下位部分を含んでもよい。第１の下位部分は、完全結合（ＦＣ）層であってもよい。第２の態様の特徴に従って、第１の下位部分は任意選択で、ユーザからの第１のサブセットについての値を入力として見なしてもよい。実施例では、ニューラルネットワークは、第１のサブセットについての値に対応する座標についての１の値および全ての他の座標についての０の値を有するベクトルについての第２の値を生成するように構成されてもよい。
実施例では、第１の態様および第３の態様に従った機械学習の方法は、組み合わされてもよい。そのような実施例では、ＲＮＮの最終状態および少なくとも確率分布を表すベクトルを連結するベクトルを入力として見なし、押出についての値を出力するように構成されたニューラルネットワークの部分が存在してもよい。実施例では、確率分布を表すベクトルは、第２の潜在ベクトルである。部分は、ＦＣ層であってもよい。
第２の態様と第３の態様との組み合わせでは、１つまたは複数のパラメータの第１のサブセットは、セクションのタイプを表す数から構成されてもよい。この数は、データ片の確率分布のベクトルへのａｒｇｍａｘ関数の適用に帰属してもよい。更に、関数に従った値の原像は、タイプを表す数についての値に対応する座標についての１の値、および全ての他の座標についての０の値を有するベクトルと一致するように選択される。更に、第２のサブセットは、押出を定義したパラメータおよび／またはセクションを更に定義した位置パラメータのリストを含んでもよい。
ここで、図４～１２を参照して、方法の実装態様が議論される。それらの実装態様は、単純かつパラメトリックな３Ｄプリミティブ：パラメータ化された円筒、ボックス、および正規プリズムに焦点を当てられる。図４は、そのようなプリミティブの実施例を示す。３Ｄプリミティブのいずれかの３Ｄモデルは、スイープ表現によって表され、その結果、３Ｄ平面セクションおよびセクションに垂直な３Ｄ直線押出ラインによって、各々の３Ｄモデルを定義することができる。
それらの実装態様の考えられる変形例は、スイープ表現によって表されるより複雑な３Ｄ形状を網羅することを可能にすることができる。それらの３Ｄ形状では、セクションは、非正規であってもよく、および／もしくはセグメントと円弧との組み合わせであってもよく、ならびに／または押出ラインは、スプライン、すなわち、３Ｄポイントのセットによって表される曲線であってもよい。
ユーザの２Ｄスケッチから３Ｄモデルを予測するために、方法の実装態様は、ニューラルネットワーク深層学習アルゴリズムを使用する。アルゴリズムは、単一の２Ｄスケッチから複数のパラメータ化された３Ｄモデルを生成することを可能にする。ニューラルネットワークはまた、予測されたモデルのタイプを制約するよう、入力においてユーザフィードバックを受けることができる。
それらの実装態様では、ニューラルネットワークは、ｖａｎｉｌｌａモデルであり、２Ｄスケッチからの１つの単一の３Ｄモデルを返す。しかしながら、変形例は、例えば、出力されることになる３Ｄモデルの数を表す入力パラメータをニューラルネットワークが含む場合、２Ｄスケッチからのいくつかの３Ｄモデルを返すことを可能にすることができる。
それらの実装態様では、ニューラルネットワークは、ＶＡＥモデルであり、２Ｄスケッチの単一の入力から１つまたは複数の命題を生成するよう、１つまたは複数のランダム変数を入力として見なすように構成されている。各々の入力されたランダム変数は、各々の提案された３Ｄモデルに対応する。ランダム変数は、正規ガウス分布Ｎ（０，１）からサンプリングされる。
それらの実装態様のオプションでは、ニューラルネットワークは特に、ＣＶＡＥモデルであり、３Ｄモデルのタイプを賦課するための条件変数を含む。ＣＶＡＥモデルは、２Ｄスケッチから、所望の賦課されたタイプの１つまたは複数の３Ｄモデルを返す。言い換えると、ニューラルネットワークは、ＶＡＥまたはＣＶＡＥのいずれかとして使用されてもよい。
それらの実装態様では、各々の３Ｄモデルは、以下によって完全に記述されてもよい。
－セクションを定義したポイントの数に対応するサイドの数（ｎｂＳｉｄｅｓ）。それは、プリミティブのタイプとしても見なすことができる。実施例では、サイドの最大数は、５に制限される。更に、２～５のサイドの数は、円筒、三角形プリズム、ボックスまたはキューブ、および五角形プリズムのそれぞれに帰属する。
－セクションのポイントを定義した３Ｄポイントの最大で５対のリストとしての３Ｄポイント（ｐｏｉｎｔ）のセット。例えば、ポイント＝［｛（Ｘ1，Ｙ1，Ｚ1），（Ｘ´1，Ｙ´1，Ｚ´1）｝，…，｛（Ｘ5，Ｙ5，Ｚ5），（Ｘ´5，Ｙ´5，Ｚ´5）｝］である。実施例では、２つのポイントの対は、セクションの湾曲サイド、例えば、円筒を記述するために使用される。表記ポイント［ｉ］［０］およびポイント［ｉ］［１］は、３Ｄポイントの各々の対における第１の要素および第２の要素に対して使用される。
－それぞれのサイドがセグメントまたは円弧であるかどうかを表すための、ポイントの各々の対に関連付けられたフラグ。０に等しいフラグは、セグメントを表し、１に等しいフラグは、円弧を表す。円筒のポイントの全ての対についてのフラグは１であり、ボックスおよび正規プリズムのポイントの全ての対についてのフラグは０である。
３Ｄモデルの構築は、図５Ａおよび図５Ｂを参照して説明される。
最初に、セクションを定義したポイント、すなわち、［０，ｎｂＳｉｄｅｓ］におけるｉについてのポイント［ｉ］が３Ｄ空間において考慮される。概して、それらのポイントが同一の２Ｄ平面に存在しないことが起こることがあり、よって、ポイントの平均平面（mean plane）が計算される。ポイントのセットに対応する平均平面は、ポイントの各々へのその距離の合計を最小にする平面を意味する。平均平面は、本分野におけるいずれかの既知の方法によって計算されてもよい。それらのポイントは、角度の昇順でソートされる。各々のポイント［ｉ］への帰属した角度は、平均平面上のポイント［ｉ］および参照ポイントを接続するセグメントと、平均平面上にあり、参照ポイントを渡す参照ラインとの間の角度として、平均平面に対して定義されてもよい。ポイントの各々は、この平面に直交して投影される。投影されたポイントの各々は、元のポイントと同一の表記、ポイント［ｉ］によって提示されてもよい。次いで、ポイント［ｉ］の対応するフラグがセグメントを表す場合、すなわち、０に等しい場合、閉じられた平面セクションは、［０，ｎｂＳｉｄｅｓ］におけるｉについてのポイント［ｉ］［０］の各々とポイント［（ｉ＋１）％ｎｂＳｉｄｅｓ］［０］の各々との間でラインを描くことによって取得される。２つの整数ａおよびｂ（ｂがゼロでないとき）についての表記ａ％ｂは、数ａの数ｂでの除算の余りを表す。ポイント［ｉ］の対応するフラグが円弧を表す場合、すなわち、１に等しい場合、湾曲ラインは、［０，ｎｂＳｉｄｅｓ］におけるｉについてのポイント［ｉ］［１］を通過するように、ポイント［ｉ］［０］の各々とポイント［（ｉ＋１）％ｎｂＳｉｄｅｓ］［０］との間で描かれる。セクションについての結果として生じる曲線は、円形または楕円形である。更に、押出は、平均平面に対する垂直方向（ｎ）における押出長さ（ｈ）により計算される。
図６を参照して、湾曲押出ラインに沿ってセクションが押し出される、それらの実装態様の変形例が議論される。セクションは、円弧およびセグメントの両方を含み、４つの位置パラメータ［｛（Ｘ1，Ｙ1，Ｚ1），（Ｘ´1，Ｙ´1，Ｚ´1）｝，（Ｘ2，Ｙ2，Ｚ2），（Ｘ3，Ｙ3，Ｚ3），（Ｘ4，Ｙ4，Ｚ4）］のリストによって表され、位置パラメータの第１の位置パラメータは、パラメータの対から構成され、リストの各々のパラメータは、３Ｄにおけるセクションの境界のポイントのデカルト座標を表す。押出ラインは、パラメータのリスト［（Ｘh,1，Ｙh,1，Ｚh,1），（Ｘh,2，Ｙh,2，Ｚh,2），（Ｘh,3，Ｙh,3，Ｚh,3），（Ｘh,4，Ｙh,4，Ｚh,4）］によって定義された、任意選択で３度未満のスプラインによって表される。
それらの実装態様の別の変形例では、０と１よりも大きいｎとの間の整数値を取るためのフラグを一般化することができる。フラグの各々の値は、湾曲ライン（円弧、スプライン、またはＮＵＲＢＳ）のセグメントまたはタイプのいずれかを示す。
実施例から、パラメータｎｂＳｉｄｅｓのセット、ポイント、およびｈは、３Ｄプリミティブの３Ｄモデルをパラメータ化および構築するのに十分であることが明白である。
ここで、図７を参照して、パラメータのこの特定の選択についてのデータセットを形成する実施例が議論される。
データセット形成方法の実施例では、セクションのサイドの数に対してランダムなサンプリングが行われ、ｎｂＳｉｄｅｓは、間隔［２，５］において整数から一様確率分布に従ってサンプリングされる。この実施例の変形例では、ｎｂＳｉｄｅｓは、間隔［２，５］において整数から非一様確率分布に従ってサンプリングされる。円筒およびボックスが実際の３Ｄ設計においてより多く出現するので、非一様確率分布は、ｎｂＳｉｄｅｓについての他の値と比較して、円筒（ｎｂＳｉｄｅｓ＝２）およびボックス（ｎｂＳｉｄｅｓ＝４）についてより大きな値を有する。一様サンプリングは、間隔［ｈmin，ｈmax］の最大値と最小値との間にある押出長さ（ｈ）に対して行われる。値ｈminおよびｈmaxは、例えば、１および１０のそれぞれに、ユーザによって設定され、またはデータセット形成方法によって自動でデフォルトに設定される。更に、例えば、一様距離において円形上のポイントのｎｂＳｉｄｅｓ数を選択することによって、ｎｂＳｉｄｅｓ＝３または５であるときのプリズムについての正規セクションを取得するよう、パラメータポイントが計算される。選択されたポイントは次いで、極座標系においてそれらの対応する角度の昇順でソートされる。他のプリズムについての正規セクションを取得した後のボックス、ｎｂＳｉｄｅｓ＝４について、間隔［ｒmin，ｒmax］の最大値と最小値との間の、２つのサイドの間の長さの比率に対応して、新たなランダムパラメータ（ｒ）が一様にサンプリングされる。値ｒminおよびｒmaxは、例えば、１および１０のそれぞれに、ユーザによって設定され、またはデータセット形成方法によって自動でデフォルトに設定される。データセット形成方法のオプションでは、方法は、例えば、単位円板（unit disc）の内部のポイントのｎｂＳｉｄｅｓ数を選択することによって、ｎｂＳｉｄｅｓ＝３、４、または５のときの３Ｄモデルについての非正規セクションを生成する。選択されたポイントは次いで、極座標系においてそれらの対応する角度の昇順でソートされる。
プリミティブ３Ｄモデルは、ランダムな回転を模倣するよう、起点に対してランダムな回転がプリミティブ３Ｄモデルに適用された後、言及されたサンプリングのクロス積からサンプリングされる。実施例では、ランダムな回転は、Ｘ軸およびＺ軸に対して適用され、その値は、Ｘ軸に対して間隔［１０°，８０°］およびＺ軸に対して間隔［０°，１８０°］から一様にサンプリングされる。次いで、プリミティブ３Ｄモデルは、単位球面の内部で適合するように、再スケーリングパラメータを選択し、全ての方向において３Ｄモデルをスケーリングすることによって再スケーリングされる。このステップは、学習を改善する。次いで、３Ｄモデルは、サイズ２５６×２５６のモデルの写真を取得するよう、２Ｄ平面上で固定された観点から投影される。スケッチのラインにランダムノイズが適用され、何らかのランダムに選択された頂点は、ランダム値または予め定義された値だけランダムな方向または予め定義された方向に移動する。このステップは、不正確な入力された２Ｄスケッチに適用される３Ｄ設計方法を改善する。
次いで、結果として生じるスケッチの境界正方形（bounding square）が計算され、２５６×２５６の大きさに変更される。このスケッチは黒および白であると共に、レンダリングされたエッジは黒である。画像の色は、黒の背景および白のラインを取得するよう反転される。このステップは、ニューラルネットワークの入力された２Ｄスケッチにおけるゼロの値を増大させ、学習を改善する。レンダリングされたスケッチの値は、標準間隔［０，２５５］から～［０，１］に再スケーリングされてもよい。
実施例におけるニューラルネットワークの訓練は、議論されたデータセット形成方法によって形成されたデータセットの一部に対して実行される。実施例では、３Ｄモデルは、プリミティブの１つであってもよく、ニューラルネットワークの訓練は、損失（Ｌ）を最小にすることを含む教師あり訓練を含んでもよい。損失は、以下の項のうちの１つまたは複数の総和にペナルティを課してもよい。
－予測された押出高さおよび３Ｄモデルの押出高さの不一致を表すタイプの項
Figure 2022036023000004
を有する押出損失。ここで、ｈnは、それぞれの押出長さを指定し、
Figure 2022036023000005
は、それぞれの予測されたｈnを指定する。
－３Ｄモデルのセクションのポイントの予測された座標およびそれらの対応する予測された値の不一致を表すタイプの項
Figure 2022036023000006
を有するポイント損失。ここで、ｉは、ポイントを指定し、各々のｐn,iは、それぞれの３Ｄモデルのグラウンドトゥルースポイント［ｉ］［０］またはポイント［ｉ］［１］のそれぞれの座標ｎを指定し、
Figure 2022036023000007
は、それぞれの予測されたｐn,iを指定する。更に、ＳＨＩＦＴs（ａｒｒａｙ）は、ａｒｒａｙの各々の要素を右にｓ回シフトするための関数を指定する。この関数は、ポイントの予測されたセットの循環置換にペナルティを課さないことを可能にする。
－３Ｄモデルのセクションのポイントの３Ｄモデルの予測された座標のタイプおよびそれらの対応する予測された値の不一致を表すタイプの項
Figure 2022036023000008
を有するサイドの数。ここで、ｎｂＳｉｄｅｓnは、ｎ番目の標本についてのｎｂＳｉｄｅｓグラウンドトゥルースである。更に、
Figure 2022036023000009
Figure 2022036023000010
は、それぞれの３Ｄモデルがタイプｋの３Ｄモデルである予測された確率を指定する。更に、ｎｂＳｉｄｅｓn＝＝ｋは、ｋがｎｂＳｉｄｅｓnまたは０に等しいときに１を与える関数を指定する。
Figure 2022036023000011
として
Figure 2022036023000012
および
Figure 2022036023000013
によって定義された正規確率分布ならびに標準正規分布Ｎ（０，１）の不一致を表すタイプの項
Figure 2022036023000014
を有する
Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ拡散損失。ここで、
Figure 2022036023000015
は、予測された条件付き平均を指定し、
Figure 2022036023000016
は、予測された条件付き標準偏差を指定する。
ここで、Ｎは、訓練サンプルの数を指定し、ｎは、訓練サンプルの３Ｄモデルの各々を指す。更に、λ1，λ2，λ3は、変動性（variability）とターゲットの再構築信頼性との間のバランスを設定するために必要な重みを指定する。λ3の大きさを選択することは（λ1およびλ2と比較して）、生成された３Ｄモデルの変動性に特権を与え、サイド誤差、ポイント誤差、および押出誤差における損失誤差の観点からより大きな予測誤差を認可する。実施例では、（λ1，λ2，λ3）は、（４．０，１．０，００１）として設定されてもよい。
ここで、図８を参照して、ＶＡＥアーキテクチャを使用した機械学習の実施例が議論される。２Ｄスケッチおよびランダム変数がニューラルネットワークに入力され、パラメータの３つのサブセット：ポイントのリスト、押出長さ、および予測された数のサイドについての確率のベクトル、を含むパラメータのセットが出力される。入力されたスケッチは、第１の潜在ベクトルを生成するようＣＮＮエンコーダによって処理される。第１の潜在ベクトルは、平均および標準偏差ならびに入力されたランダム変数によって再パラメータ化トリックを介して第２の潜在ベクトルに変換される。演算子についての表記＋＊は、演算出力＝μ＋δ＊εを表す。予測された数のサイドについてのベクトル確率を出力するためにＦＣ層が使用される。予測された数のサイドについての確率のベクトルは、ＲＮＮデコーダに入力されることになる第２の潜在ベクトルと連結され、ＲＮＮデコーダでは、各々のＬＳＴＭセルは、１対のポイントを予測する。ＲＮＮデコーダの最終状態は、ＦＣ層を使用して押出長さを出力するよう、ＲＮＮデコーダへの入力されたベクトルと連結して使用される。
ここで、図９を参照して、第１の態様および第２の態様を組み合わせた（すなわち、ＣＶＡＥアーキテクチャを使用する）機械学習方法の実施例が議論される。議論されたＶＡＥアーキテクチャと比較して、ｎｂＳｉｄｅｓの予測層が除去されている。実施例では、確率のベクトルは、ユーザの選択に基づいて生成される。例えば、円筒であることは、確率のベクトルにおける第３の座標に帰属し、よって、円筒を賦課するために、入力は、［０．，０．，１．，０．，０．，０．］であってもよい。この入力は、ＶＡＥアーキテクチャにおいて予測されたベクトルと一貫している。実施例では、ＣＶＡＥアーキテクチャは、別個に訓練されず、ＶＡＥアーキテクチャからの同一の学習された重みが使用される。
実装態様の変形例に関連する機械学習方法の実施例では、ニューラルネットワークは、第２のＲＮＮを使用して押出ラインのスプラインを定義したポイントのセットを計算してもよい。ニューラルネットワークは、セグメントの部分または円弧の部分のいずれかを指すセクションを定義したポイントの各々の対についてのフラグを予測してもよい。更に、ｎｂＳｉｄｅｓ確率ベクトルを予測する代わりに、ニューラルネットワークは、予測されたポイントの各々の対と関連付けられたＳＴＯＰフラグを予測してもよい。フラグは、関連付けられたポイントの対がセクションを最も定義しないポイント（last couple of points defining the section）の対である確率を表す。ｎｂＳｉｄｅｓは、＞０．５の確率を有する第１のＳＴＯＰフラグの発生によって判定されてもよい。
図１０を参照して、３Ｄ設計方法の実施例が議論される。ランダム変数を入力することなく、触覚デバイスを使用してユーザによって２Ｄスケッチが提供される。方法は、境界正方形を計算し、それを２５６×２５６にサイズ変更する。スケッチの色は、白の描画および黒の背景を取得するよう反転される。更に、スケッチの値は、［０，２５５］から［０，１］に再スケーリングされる。いくつかの最確３Ｄモデルは、その結果として、ｖａｎｉｌｌａアーキテクチャを使用して計算され、ユーザに提示される。ユーザは、ユーザの設計意図に従って提供されたモデルの１つを選択することができる。ユーザが意図された設計目的についての提案された３Ｄモデルにおける変形を生成することを望む場合、ユーザは、ＶＡＥアーキテクチャを使用して、同一のスケッチ、および分布Ｎ（０，１）から自動でサンプリングされたランダム変数から新たな３Ｄモデルを生成することができる。提案された３Ｄモデルにおける変形を増大させるために、ユーザは、分布の標準偏差を増大させることができ、ランダム変数は、分布Ｎ（０，２）からサンプリングされてもよい。ユーザはまた、同一のスケッチおよび自動でサンプリングされたランダム変数を仮定して、３Ｄモデルのタイプをボックスであるように賦課することができ、賦課されたタイプの新たな３Ｄモデルを生成することができる。
ユーザはまた、同一のスケッチ、および任意選択でランダム変数を仮定して、３Ｄモデルのタイプを賦課することによって、新たな３Ｄモデルを生成することができる。これは、図１１を参照して議論される。ユーザは、ＧＵＩ内の入力ウインドウにそれらの対応するＮｂＳｉｄｅｓを入力するか、または触覚デバイスを介してＧＵＩにおいて意図したタイプを選択するかのいずれかによって、立方体タイプの円筒タイプを賦課することができる。賦課されたタイプのいくつかの最確３Ｄモデルは、その結果として、ＣＶＡＥアーキテクチャを使用して、計算され、ユーザに視覚的に提示される。
図１２を参照して、３Ｄ設計方法の別の実施例が議論される。この実施例では、方法は、３Ｄモデルを推論するために、完了されたスケッチを待たない。ＣＮＮエンコーダは、３Ｄモデルを定義したデータに２Ｄスケッチを符号化するために、部分的情報（不完全なスケッチからの）および学習されたパターンを使用する。この実施例では、ユーザが描画している間に、異なる３Ｄモデルがユーザに提案される。更に、ユーザは、ＶＡＥアーキテクチャを使用して、同一のスケッチ、およびＮ（０，１）から自動でサンプリングされたランダム変数から提案された３Ｄモデルにおける変形を生成することができる。加えてまたは代わりに、ユーザはまた、ＣＶＡＥアーキテクチャを使用して、同一のスケッチを仮定して、３Ｄモデルのタイプを賦課することによって、新たな３Ｄモデルを生成することができる。

Claims (14)

  1. 機械学習のコンピュータによって実行される方法であって、
    －２Ｄスケッチおよびランダム変数を入力として見なし、前記２Ｄスケッチによって表される３Ｄモデルを出力するように構成された、ニューラルネットワークについての変分オートエンコーダ（ＶＡＥ）アーキテクチャを設けるステップと、
    －前記ニューラルネットワークを学習するステップと、
    を備えたことを特徴とする方法。
  2. 前記ニューラルネットワークは、
    －前記２Ｄスケッチおよび前記ランダム変数を入力として見なし、それぞれの出力を提供するように構成された第１の部分と、
    －前記第１の部分の前記それぞれの出力を入力として見なし、前記３Ｄモデルを出力するように構成された第２の部分と、
    を含む、ことを特徴とする請求項１に記載の機械学習の方法。
  3. 前記第１の部分は、
    －前記２Ｄスケッチを入力として見なし、第１の潜在ベクトルを出力するように構成された第１の下位部分と、
    －前記第１の潜在ベクトルおよび前記ランダム変数を入力として見なし、前記ランダム変数により前記第１の潜在ベクトルを第２の潜在ベクトルに再パラメータ化するように構成された第２の下位部分と、
    を含む、ことを特徴とする請求項２に記載の機械学習の方法。
  4. 前記第２の下位部分は、以下の演算、
    Figure 2022036023000017
     を実行するように構成され、
    －ｏｕｔｐｕｔは、前記第２の潜在ベクトルを表し、
    －εは、前記ランダム変数を表し、
    －μは、前記第２の潜在ベクトルの条件付き平均を表し、
    －δは、前記第２の潜在ベクトルの条件付き標準偏差を表す、
    ことを特徴とする請求項３に記載の機械学習の方法。
  5. －前記ランダム変数は、平均および標準偏差によって定義された法則に従った確率分布（Ｎ（．，．））に準拠し、前記ランダム変数は、前記平均についてのそれぞれの値（０）および前記標準偏差についてのそれぞれの値（１）を有し、
    －前記学習するステップは、損失を含む目的関数を最適化することを含み、前記損失は、
    －μおよびδによって定義された前記法則に従った確率分布（Ｎ（μ，δ））と、
    －前記平均についての前記ランダム変数の前記それぞれの値および前記標準偏差についての前記ランダム変数の前記それぞれの値によって定義された前記法則に従った確率分布Ｎ（０，１））と、の間の相違点にペナルティを課す、
    ことを特徴とする請求項４に記載の機械学習の方法。
  6. 前記３Ｄモデルは、セクションおよび押出によって定義され、前記セクションは、位置パラメータのリストによって定義され、前記ニューラルネットワークは、前記リストについての値を出力するように構成された回帰型ニューラルネットワーク（ＲＮＮ）を含む、ことを特徴とする請求項１乃至５のいずれか一項に記載の機械学習の方法。
  7. 前記ニューラルネットワークは、前記ＲＮＮの最終状態に基づいて、前記押出についての値を出力するように更に構成されている、ことを特徴とする請求項６に記載の機械学習の方法。
  8. 前記セクションは、前記セクションのタイプを表す数によって更に定義され、前記ニューラルネットワークは、前記数についての確率分布を表すベクトルを出力するように更に構成され、任意選択で、前記押出についての前記値および／または前記位置パラメータのリストについての前記値の出力は、前記確率分布を表す前記ベクトルに更に基づいている、ことを特徴とする請求項７に記載の機械学習の方法。
  9. 前記３Ｄモデルは、１つまたは複数のパラメータの第１のサブセットおよび１つまたは複数のパラメータの第２のサブセットから構成されたパラメータのセットによって定義されたパラメータ化された３Ｄモデルであり、前記ニューラルネットワークは、選択的に、
    －前記セットについて値を出力し、
    －ユーザからの前記第１のサブセットについての値を入力として見なし、前記第２のサブセットについての値を出力する、
    ように構成されている、ことを特徴とする請求項１乃至８のいずれか一項に記載の機械学習の方法。
  10. 前記アーキテクチャは、ベクトルを含み、前記ニューラルネットワークは、
    －前記セットについての値を選択的に出力するために、前記第１のサブセットについての確率分布を表す前記ベクトルについての第１の値を生成し、前記確率分布を表す前記ベクトルのａｒｇｍａｘに対応する前記第１のサブセットについての前記値を出力し、更に、前記ベクトルについての前記第１の値に基づいて、前記第２のサブセットについての前記値を出力し、
    －選択的に、前記ユーザからの前記第１のサブセットについての値を入力として見なし、前記第２のサブセットの前記値を出力するために、前記第１のサブセットについての前記値に対応する座標についての１の値および全ての他の座標についての０の値を有する前記ベクトルについての第２の値を生成する、ように構成され、前記ニューラルネットワークは、前記ベクトルについての前記第２の値に基づいて、前記第２のサブセットについての前記値を出力するように構成されている、
    ことを特徴とする請求項９に記載の機械学習の方法。
  11. 前記ニューラルネットワークは、
    －前記２Ｄスケッチおよび前記ランダム変数を入力として見なし、それぞれの潜在ベクトルを出力として提供するように構成された第１の部分と、
    －前記第１の部分の前記それぞれの潜在ベクトルを入力として見なすように構成された第２の部分と、を含み、前記第２の部分は、
    －前記確率分布を表す前記ベクトルを出力するように構成された第１の下位部分と、
    －前記それぞれの潜在ベクトルと前記確率分布を表す前記ベクトルとの連結を入力として見なし、前記第２のサブセットを出力するように構成された第２の下位部分と、を含む、
    ことを特徴とする請求項１０に記載の機械学習の方法。
  12. ３Ｄ設計のコンピュータによって実行される方法であって、
    請求項１乃至１１のいずれか一項に記載の方法に従って学習されたニューラルネットワークを設けるステップと、
    前記２Ｄスケッチによって表される３Ｄモデルを出力するよう、前記２Ｄスケッチおよびランダム変数に前記ニューラルネットワークを適用するステップと、
    を備えた、ことを特徴とするコンピュータによって実行される方法。
  13. 命令を含むコンピュータプログラムであって、前記命令は、コンピュータシステム上で実行されるとき、前記コンピュータシステムに、請求項１乃至１２のいずれか一項に記載の方法を実行させる、ことを特徴とするコンピュータプログラム。
  14. 請求項１３に記載のコンピュータプログラムに記載のデータ構造を記憶したメモリを含む、ことを特徴とするデバイス。
JP2021131065A 2020-08-20 2021-08-11 ３ｄモデルを出力する変分オートエンコーダ Pending JP2022036023A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20305938.1 2020-08-20
EP20305938.1A EP3958182A1 (en) 2020-08-20 2020-08-20 Variational auto-encoder for outputting a 3d model

Publications (1)

Publication Number Publication Date
JP2022036023A true JP2022036023A (ja) 2022-03-04

Family

ID=72517191

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021131065A Pending JP2022036023A (ja) 2020-08-20 2021-08-11 ３ｄモデルを出力する変分オートエンコーダ

Country Status (4)

Country Link
US (1) US12002157B2 (ja)
EP (1) EP3958182A1 (ja)
JP (1) JP2022036023A (ja)
CN (1) CN114078169A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3675063A1 (en) * 2018-12-29 2020-07-01 Dassault Systèmes Forming a dataset for inference of solid cad features
CN114944945B (zh) * 2022-05-09 2024-09-17 江苏易安联网络技术有限公司 一种基于变分自编码器和属性的动态访问控制方法
US12094073B2 (en) 2022-05-31 2024-09-17 Snap Inc. Cross-modal shape and color manipulation
WO2023235110A1 (en) * 2022-05-31 2023-12-07 Snap Inc. Cross-modal shape and color manipulation
CN115937033B (zh) * 2022-12-19 2024-02-02 北京字跳网络技术有限公司 图像生成方法、装置及电子设备

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912293B1 (en) * 1998-06-26 2005-06-28 Carl P. Korobkin Photogrammetry engine for model construction
US6628279B1 (en) * 2000-11-22 2003-09-30 @Last Software, Inc. System and method for three-dimensional modeling
WO2003021394A2 (en) * 2001-08-31 2003-03-13 Solidworks Corporation Simultaneous use of 2d and 3d modeling data
US7880737B2 (en) * 2005-03-22 2011-02-01 Vijayvardhan Elchuri Graphical method and system for making drawings directly in three-dimensions on a computer monitor or other display device
KR100957760B1 (ko) * 2005-11-30 2010-05-13 후지쯔 마이크로일렉트로닉스 가부시키가이샤 3차원 그래픽 장치, 3차원 그래픽 방법, 3차원 그래픽 프로그램을 기록한 컴퓨터 판독 기록매체
US20080036771A1 (en) * 2006-02-21 2008-02-14 Seok-Hyung Bae Pen-based drawing system
US8334869B1 (en) * 2009-03-23 2012-12-18 Adobe Systems Incorporated Method and apparatus for modeling 3-D shapes from a user drawn curve
US8914259B2 (en) * 2010-10-12 2014-12-16 Autodesk, Inc. Passive associativity in three-dimensional (3D) modeling
US8947429B2 (en) * 2011-04-12 2015-02-03 Autodesk, Inc. Gestures and tools for creating and editing solid models
US8902222B2 (en) * 2012-01-16 2014-12-02 Autodesk, Inc. Three dimensional contriver tool for modeling with multi-touch devices
US9182882B2 (en) * 2011-04-12 2015-11-10 Autodesk, Inc. Dynamic creation and modeling of solid models
US9977840B2 (en) * 2012-08-29 2018-05-22 Prem Makeig Computer-implemented methods for generating 3D models suitable for 3D printing
EP2811463B1 (en) * 2013-06-04 2018-11-21 Dassault Systèmes Designing a 3d modeled object with 2d views
CN104574515B (zh) * 2013-10-09 2017-10-17 华为技术有限公司 一种三维物体重建的方法、装置和终端
US10437938B2 (en) * 2015-02-25 2019-10-08 Onshape Inc. Multi-user cloud parametric feature-based 3D CAD system
US20180158239A1 (en) * 2016-11-01 2018-06-07 Purdue Research Foundation Sketch-based 3d modeling system
US10515479B2 (en) * 2016-11-01 2019-12-24 Purdue Research Foundation Collaborative 3D modeling system
US10572773B2 (en) * 2017-05-05 2020-02-25 Intel Corporation On the fly deep learning in machine learning for autonomous machines
US11403531B2 (en) * 2017-07-19 2022-08-02 Disney Enterprises, Inc. Factorized variational autoencoders
US10628997B2 (en) * 2017-08-24 2020-04-21 Emilio Santos Method for generating three-dimensional models from constrained sketches and an instruction set
US10679129B2 (en) * 2017-09-28 2020-06-09 D5Ai Llc Stochastic categorical autoencoder network
US11443079B2 (en) * 2018-02-08 2022-09-13 Snaptrude Inc. System and method for generating and visualizing an interior design in a three-dimensional representation
EP3766019A1 (en) * 2018-03-11 2021-01-20 President and Fellows of Harvard College Hybrid quantum-classical generative modes for learning data distributions
WO2019213857A1 (en) * 2018-05-09 2019-11-14 Hewlett-Packard Development Company, L.P. 3-dimensional model identification
US11537719B2 (en) * 2018-05-18 2022-12-27 Deepmind Technologies Limited Deep neural network system for similarity-based graph representations
WO2019225734A1 (ja) * 2018-05-24 2019-11-28 株式会社 Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ レンダリング装置、学習装置、レンダリング方法及びプログラム
US11468206B2 (en) * 2018-08-20 2022-10-11 Sri International Machine learning system for building renderings and building information modeling data
US10937211B2 (en) * 2018-11-09 2021-03-02 Autodesk, Inc. Automated parametrization of floor-plan sketches for multi-objective building optimization tasks
US10650581B1 (en) * 2018-11-09 2020-05-12 Adobe Inc. Sketch-based 3D fluid volume generation using a machine learning system
US11010896B2 (en) * 2018-12-17 2021-05-18 Bodygram, Inc. Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation
EP3671660A1 (en) * 2018-12-20 2020-06-24 Dassault Systèmes Designing a 3d modeled object via user-interaction
EP3675063A1 (en) 2018-12-29 2020-07-01 Dassault Systèmes Forming a dataset for inference of solid cad features
EP3675061A1 (en) * 2018-12-29 2020-07-01 Dassault Systèmes Forming a dataset for inference of editable feature trees
EP3675062A1 (en) 2018-12-29 2020-07-01 Dassault Systèmes Learning a neural network for inference of solid cad features
EP3674870A1 (en) * 2018-12-29 2020-07-01 Dassault Systèmes Learning a neural network for inference of editable feature trees
US11120255B2 (en) * 2019-02-06 2021-09-14 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for a multifactor user identification and authentication framework for in-air-handwriting with hand geometry and deep hashing
US20220237905A1 (en) * 2019-05-28 2022-07-28 Toyota Motor Europe Method and system for training a model for image generation
US11048932B2 (en) * 2019-08-26 2021-06-29 Adobe Inc. Transformation of hand-drawn sketches to digital images
US11537898B2 (en) * 2019-10-02 2022-12-27 Samsung Electronics Co., Ltd. Generative structure-property inverse computational co-design of materials
US11037341B1 (en) * 2020-01-15 2021-06-15 Adobe Inc. Generative shape creation and editing
US11972353B2 (en) * 2020-01-22 2024-04-30 Electronic Arts Inc. Character controllers using motion variational autoencoders (MVAEs)
US11354792B2 (en) * 2020-02-07 2022-06-07 Adobe Inc. System and methods for modeling creation workflows
US11698998B2 (en) * 2020-03-24 2023-07-11 Autodesk, Inc. Computer aided design (CAD) model connection propagation
US11164069B1 (en) * 2020-07-08 2021-11-02 NotCo Delaware, LLC Controllable formula generation
US20220019932A1 (en) * 2020-07-14 2022-01-20 Sap Se Automatic generation of odata services from sketches using deep learning
US20220027528A1 (en) * 2020-07-27 2022-01-27 Prem Makeig Computer device for generating a three-dimensional cad solid model suitable for 3d printing
EP3945495B1 (en) * 2020-07-30 2024-02-14 Dassault Systèmes Method for segmenting an object in an image
EP3958162A1 (en) * 2020-08-20 2022-02-23 Dassault Systèmes Neural network for outputting a parameterized 3d model
US11915362B2 (en) * 2020-08-24 2024-02-27 Autodesk, Inc. UV mapping on 3D objects with the use of artificial intelligence
US20220114698A1 (en) * 2020-10-08 2022-04-14 Nvidia Corporation Image generation using one or more neural networks
US20220156987A1 (en) * 2020-11-16 2022-05-19 Disney Enterprises, Inc. Adaptive convolutions in neural networks
US20220180602A1 (en) * 2020-12-03 2022-06-09 Nvidia Corporation Generating images of virtual environments using one or more neural networks
US20220198079A1 (en) * 2020-12-23 2022-06-23 BLNG Corporation Systems and Methods for Generating Jewelry Designs and Models using Machine Learning
US11397478B1 (en) * 2021-02-26 2022-07-26 Logitech Europe S.A. Systems, devices, and methods for physical surface tracking with a stylus device in an AR/VR environment
US20230021338A1 (en) * 2021-07-07 2023-01-26 International Business Machines Corporation Conditionally independent data generation for training machine learning systems
US20230072255A1 (en) * 2021-08-18 2023-03-09 Sap Se Prior adjusted variational autoencoder
US20230144662A1 (en) * 2021-11-09 2023-05-11 Nvidia Corporation Techniques for partitioning neural networks
US20230162042A1 (en) * 2021-11-24 2023-05-25 International Business Machines Corporation Creativity metrics and generative models sampling
KR102410047B1 (ko) * 2021-12-30 2022-06-16 주식회사 리콘랩스 비정형 스케치 기반 3차원 모델링 방법 및 시스템
EP4266306A1 (en) * 2022-04-22 2023-10-25 Papercup Technologies Limited A speech processing system and a method of processing a speech signal
EP4293627A1 (en) * 2022-06-16 2023-12-20 Dassault Systèmes Method for inferring a 3d geometry onto a 2d sketch
US20230419075A1 (en) * 2022-06-24 2023-12-28 Mitsubishi Electric Research Laboratories, Inc. Automated Variational Inference using Stochastic Models with Irregular Beliefs

Also Published As

Publication number Publication date
US20220058865A1 (en) 2022-02-24
EP3958182A1 (en) 2022-02-23
US12002157B2 (en) 2024-06-04
CN114078169A (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
JP7464387B2 (ja) ３ｄモデル化オブジェクト推定のための機械学習
JP7491685B2 (ja) ニューラルネットワークのセット
JP7473335B2 (ja) ソリッドｃａｄフィーチャを推測するためのニューラルネットワークの学習
JP7473336B2 (ja) ソリッドｃａｄフィーチャを推測するためのニューラルネットワークの学習
JP2022036024A (ja) パラメータ化された３ｄモデルを出力するニューラルネットワーク
JP7509537B2 (ja) 編集可能なフィーチャツリーの推測のためのデータ集合を形成すること
JP7428516B2 (ja) 編集可能なフィーチャツリーの推測のためにニューラルネットワークを学習すること
JP2022036023A (ja) ３ｄモデルを出力する変分オートエンコーダ
JP7431028B2 (ja) ユーザインタラクションを介した３ｄモデルオブジェクトのデサイニング
US11893687B2 (en) Segmenting a 3D modeled object representing a mechanical assembly
CN113205609A (zh) 变形基础学习
EP4266257A1 (en) 3d reconstruction from images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240801