CN111354074A - 经由用户交互来设计3d建模对象 - Google Patents

经由用户交互来设计3d建模对象 Download PDF

Info

Publication number
CN111354074A
CN111354074A CN201911346243.XA CN201911346243A CN111354074A CN 111354074 A CN111354074 A CN 111354074A CN 201911346243 A CN201911346243 A CN 201911346243A CN 111354074 A CN111354074 A CN 111354074A
Authority
CN
China
Prior art keywords
modeled object
decoder
applying
potential vector
potential
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911346243.XA
Other languages
English (en)
Inventor
E·梅尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dassault Systemes SE
Original Assignee
Dassault Systemes SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dassault Systemes SE filed Critical Dassault Systemes SE
Publication of CN111354074A publication Critical patent/CN111354074A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Abstract

本发明尤其涉及一种用于经由用户交互来设计3D建模对象的计算机实现的方法。该方法包括提供3D建模对象和机器学习解码器。机器学习解码器是一种微分函数，它在潜在空间中获取值，并在3D建模对象空间中输出值。该方法还包括由用户定义针对3D建模对象的一部分的变形约束。该方法还包括确定最优矢量。最优矢量使能量最小化。能量探索潜在的矢量。能量包括项，该项对于每个探索的潜在矢量，通过将解码器应用于探索的潜在矢量的结果来惩罚对变形约束的不遵守。该方法还包括将解码器应用于最优潜在矢量。这构成了用于经由用户交互来设计3D建模对象的改进方法。

Description

经由用户交互来设计3D建模对象
技术领域
本发明涉及计算机程序和系统领域，并且更具体地，涉及用于经由用户交互来设计3D建模对象的方法、系统和程序。
背景技术
市场上提供了许多用于对象的设计、工程和制造的系统和程序。CAD是计算机辅助设计的缩写，例如，它涉及用于设计对象的软件解决方案。CAE是计算机辅助工程的缩写，例如，它涉及用于模拟未来产品物理行为的软件解决方案。CAM是计算机辅助制造的缩写，例如，它涉及用于定义制造过程和操作的软件解决方案。在这种计算机辅助设计系统中，图形用户界面在技术效率方面起着重要作用。这些技术可以嵌入产品生命周期管理(PLM)系统中。PLM是指一种业务战略，可帮助企业在扩展企业的整个概念中共享产品数据、应用通用流程以及利用企业知识来从概念到使用寿命结束的对产品的开发。DassaultSystèmes(商标为CATIA、ENOVIA和DELMIA)提供的PLM解决方案提供了工程中心(用于组织产品工程知识)、制造中心(用于管理制造工程知识)以及企业中心(实现到工程和制造中心二者的企业集成和连接)。该系统共同提供了一个开放的对象模型，该模型将产品、过程、资源链接在一起，以实现基于动态的知识产品创建和决策支持，从而推动优化的产品定义、制造准备、生产和服务。
在这种情况下和其他情况下，机器学习，尤其是自动编码器和/或流形学习正变得越来越重要。
以下是与该领域相关的论文，在下文中涉及：
[1]:“Stacked Denoising Autoencoders:Learning Useful Representationsin a Deep Network with a Local Denoising Criterion”,P.Vincent,H.Larcohelle,I.Lajoie,Y.Bengio,P.Manzagol,in The Journal of Machine Learning Research,2010.
[2]:“Reducing the Dimensionality of Data with Neural Networks”,G.E.Hinton,R.R.Salakhutdinov,in Science,2006.
[3]:“Learning Deep Architectures for AI”,Y.Bengio,in Foundations andTrends in Machine Learning,2009.
[4]:“Generative Adversarial Nets”,I.Goodfellow,J.Pouget-Abadie,M.Mirza,B.Xu,D.Warde-Farley,S.Ozair,A.Courville,Y.Bengio,in Advances inNeural Information Processing Systems,2014.
[5]:“Generative Visual Manipulation on the Natural Image Manifold”,J-Y Zhu,P.
Figure BDA0002333435900000021
E.Shechtman,A.A.Efros,in ECCV 2016.
[6]:“Neural Photo Editing with Introspective Adversarial Networks”,A.Brock,T.Lim,J.M.Ritchie,in ICLR 2017.
给定表示来自同一类别的样本的数据集，例如椅子图像的数据集或汽车的3D模型的数据集，自动编码器(在[1,2]中进行了解释)旨在学习此数据集的原始输入空间和低维空间(通常称为潜在空间)之间的映射。此外，自动编码器还会学习从潜在空间到原始输入空间的反向映射。它们可用于在原始空间中进行逼真的非线性插值，提取数据中有意义的特征，将数据压缩为紧凑的表示等。
论文[4]介绍了一种生成对抗网络，该模型学习解码器，但同时在潜在空间上设置概率先验以学习数据的分布。为此，他们训练解码器以欺骗鉴别器，而鉴别器则被训练为在真实数据和合成数据之间进行分类。人们还可以使用自动编码器等重构错误，来学习编码器，将数据投影到潜在空间上。
论文[5]学习了图像上的生成对抗网络。最终，这些修改利用光流最终重新定位到原始图像上。论文[6]也提出了一种到图像的编辑系统，通过学习内省对抗网络，变分自动编码器和生成对抗网络之间的混合，但是它们利用掩蔽技术而不是光流来对用户修改进行重定向。
但是，在(例如3D)设计环境中使用机器学习技术仍然是一种不常见且相对未知的方法。
在这种情况下，仍然需要一种用于经由用户交互来设计3D建模对象的改进方法。
发明内容
因此，提供了一种用于经由用户交互来设计3D建模对象的计算机实现的方法。该方法包括提供3D建模对象和机器学习解码器。机器学习解码器是一种微分函数，它在潜在空间中获取值，并在3D建模对象空间中输出值。该方法还包括由用户定义针对3D建模对象的一部分的变形约束。该方法还包括确定最优矢量。最优矢量使能量最小化。能量探索潜在的矢量。能量包括项，该项对每个探索的潜在矢量通过将解码器应用于探索的潜在矢量，惩罚对变形约束的不遵守。该方法还包括将解码器应用于最优潜在矢量。
这样的方法构成用于经由用户交互来设计3D建模对象的改进方法。
值得注意的是，该方法在经由用户交互设计3D建模对象的上下文中利用机器学习解码器。
此外，用户定义针对3D建模对象的一部分的变形约束。换句话说，用户提供了旨在使3D建模对象变形的设计意图。然后，该方法确定最优潜在矢量，该矢量是使能量最小化的矢量，该矢量惩罚了对潜在矢量空间上的变形约束的不遵守。换句话说，所确定的最优潜在矢量是倾向于遵守变形约束的潜在空间的矢量。在示例中，最优潜在矢量遵守(例如，最优地)变形约束。然后，将最优潜在矢量解码为3D建模对象空间的元素。换句话说，该方法找到倾向于遵守(例如，最优地)由用户提供的变形约束的3D建模对象。因此，该方法允许找到倾向于遵守(例如遵守)用户的设计意图的3D建模对象。
此外，由于用户提供了变形约束，因此可以自动地执行最优潜在矢量的确定以及将解码器应用于最优潜在矢量，因此不涉及用户动作。因此，该方法不仅输出倾向于遵守用户设计意图的3D建模对象，而且该方法在很少进行人机交互的情况下也是如此。因此，该方法是有效且符合人体工程学的。
而且，解码器可能仅输出可能的3D建模对象，因为解码器可能已经通过机器学习来这样做。例如，3D建模对象空间可以是合理的3D建模对象的空间。换句话说，该方法可以输出合理的3D建模对象，该3D建模对象倾向于以人体工程学和有效的方式遵守用户的设计意图。
该方法可以包括以下一项或多项：
变形约束定义了几何形状，并且该项惩罚了将解码器应用于探索的潜在矢量的结果与几何形状之间的差异。
差异涉及将解码器应用于探索的潜在矢量的结果的导数与几何形状之间的距离；
几何形状定义在3D空间中，而导数是将解码器应用于探索的潜在矢量的结果；
几何形状定义在2D平面中，而导数是将解码器应用于探索的潜在矢量的结果的投影；
差异是距离的单调函数；
3D建模对象是3D网格，并且当几何形状在3D空间中定义并且导数是将解码器应用于探索的潜在矢量的结果时，则该项的类型为：
Figure BDA0002333435900000041
其中
z是探索的潜在矢量；
g(z)是将解码器应用于探索的潜在矢量的结果；
v1,v2,…,vk是表示3D建模对象部分的g(z)的k个顶点的索引；
M是3D建模对象的采样大小；
ρ是非负且非递增的函数；
y是几何形状；
3D建模对象是3D网格，并且几何形状在2D平面中定义并且导数是将解码器应用于探索的潜在矢量的结果的投影时，则该术语的类型为：
Figure BDA0002333435900000042
其中
z是探索的潜在矢量；
M是3D建模对象的采样大小；
S是一组几何形状的像素坐标；
g(z)是将解码器应用于探索的潜在矢量的结果；
P是投影；
从将解码器应用于3D建模对象到潜在空间上的投影的结果到将解码器应用于优化的潜在矢量的结果，计算变形操作，并将变形操作应用于3D建模对象。
机器学习解码器是还包括编码器的自动编码器的解码器；
最优潜在矢量的确定奖励了将解码器应用于探索的潜在矢量的结果与3D建模对象之间的相似性；
从第一探索的潜在矢量开始迭代地对最优潜在矢量的确定，第一探索的潜在矢量是将编码器应用于3D建模对象的结果；
能量包括另一项，该项奖励在探索的潜在矢量和将编码器应用于3D建模对象的结果之间的相似性；
另一项涉及探索的潜在矢量与将编码器应用于3D建模对象的结果之间的距离；以及/或
能量包括另一项，该项奖励潜在空间上探索的潜在矢量的可能性。
还提供了一种计算机程序，其包括用于执行该方法的指令。
还提供了一种其上记录有计算机程序的计算机可读存储介质。
还提供了一种系统，该系统包括耦合到存储器和图形用户界面的处理器，该存储器上记录有计算机程序。
附图说明
现在将通过非限制性示例并参考附图来描述本发明的实施例，其中：
图1示出了该方法的示例的流程图；
图2至图13示出了该方法；
图14示出了系统的图形用户界面的示例；以及
图15示出了系统的示例。
具体实施方式
参照图1的流程图，提出了一种用于经由用户交互来设计3D建模对象的计算机实现的方法。该方法包括提供S10 3D建模对象和机器学习解码器。机器学习解码器是微分函数，它在潜在空间中获取值，并在3D建模对象空间中输出值。该方法还包括由用户定义S30针对3D建模对象的一部分的变形约束。该方法进一步包括确定S40最优矢量。最优矢量使能量最小化。能量探索潜在的矢量。能量包括项，该项对于每个探索的潜在矢量，惩罚通过将解码器应用于探索的潜在矢量，而对变形约束的不遵守。该方法还包括将解码器应用于S50最优潜在矢量。
该方法是计算机实现的。这意味着该方法的步骤(或基本上所有步骤)由至少一台计算机或任何类似系统执行。因此，该方法的步骤可以由计算机执行，可能是全自动执行，或者是半自动执行。在示例中，可以通过用户-计算机交互来执行该方法的至少一些步骤的触发。所需的用户-计算机交互级别可能取决于预见的自动级别，并与实现用户意愿的需求保持平衡。在示例中，该级别可以是用户定义的和/或预定义的。
方法的计算机实现的典型示例是使用适用于此目的的系统来执行该方法。该系统可以包括耦合到存储器和图形用户界面(GUI)的处理器，该存储器上记录有计算机程序，该计算机程序包括用于执行该方法的指令。存储器还可以存储数据库。存储器是适合于这种存储的任何硬件，可能包括几个物理上不同的部分(例如，一个部分用于程序，以及可能一个部分用于数据库)。
该方法通常操纵建模对象。建模对象是由存储在例如数据库中的数据定义的任何对象。通过扩展，表达“建模对象”表示数据本身。根据系统的类型，可以通过不同种类的数据来定义建模对象。该系统确实可以是CAD系统、CAE系统、CAM系统、PDM系统和/或PLM系统的任何组合。在那些不同的系统中，建模对象由相对应的数据定义。因此，可以提到CAD对象、PLM对象、PDM对象、CAE对象、CAM对象、CAD数据、PLM数据、PDM数据、CAM数据、CAE数据。但是，这些系统并不是彼此排斥的，因为可以通过与这些系统的任何组合相对应的数据来定义建模对象。从下面提供的这种系统的定义将显而易见的是，系统因此可以很好地是CAD和PLM系统二者。
通过CAD系统，另外意味着至少适于基于建模对象的图形表示来设计建模对象的任何系统，诸如CATIA。在这种情况下，定义建模对象的数据包括允许表示建模对象的数据。CAD系统可以例如使用边或线(在某些情况下具有面或表面)来提供CAD建模对象的表示。线、边或表面可以以各种方式表示，例如非均匀有理B样条曲线(NURBS)。具体而言，CAD文件包含可以从中生成几何图形从而可以生成表示的规范。建模对象的规范可以存储在单个CAD文件中，也可以存储在多个CAD文件中。表示CAD系统中建模对象的文件的典型大小在每零件1MB的范围内。并且建模对象通常可以是数千个零件的组件。
在方法中涉及的“3D建模对象”的概念现在讨论。
在CAD的上下文中，建模对象通常可以是3D建模对象，其例如表示产品，诸如零件或零件组件、或者可能是产品组件。通过“3D建模对象”，它是指通过允许其3D表示的数据建模的任何对象。3D表示允许从各个角度查看零件。例如，当3D建模对象被3D表示时，可以处理3D建模对象并围绕其任何轴或围绕显示该表示的屏幕中的任何轴来旋转它们。特别是，这不包括未3D建模的2D图标。3D表示的显示有助于设计(即，提高设计人员统计完成任务的速度)。由于产品的设计是制造过程的一部分，因此可以加快工业制造过程。
在方法的上下文中，3D建模对象可以表示在完成其虚拟设计后，使用例如CAD软件解决方案或CAD系统(诸如(例如，机械)零件或零件的组件(或等效地是零件的组件，因为从方法的角度来看，零件的组件可以看作是零件本身，或者该方法可以独立地应用于组件的每个零件)，或更通用而言，任何刚体组件(例如，移动机制)在现实世界中制造的产品的集合图形。CAD软件解决方案允许在各种以及无限的工业领域中设计产品，所述工业领域包括：航空航天、建筑、构造、消费品、高科技设备、工业装备、运输、船舶和/或海上油气生产或运输。因此，通过该方法设计的3D建模对象可以表示工业产品，该工业产品可以是任何机械零件，诸如陆地车辆(包括例如汽车和轻型卡车装备、赛车、摩托车、卡车和电机装备、卡车和公共汽车、火车)的一部分、空中飞行器(包括例如机身装备、航空航天装备、推进装备、国防产品、航空装备、太空装备)的一部分、海军车辆(包括例如海军装备、商业船舶、海上装备、游艇和作业船、船舶装备)的一部分、通用机械零件(包括例如工业制造机械、重型移动机械或装备、安装的装备、工业装备产品、金属制品、轮胎制造产品)、机电或电子零件(包括例如消费类电子产品、安全和/或控制和/或仪表产品、计算和通信装备、半导体、医疗设备和装备)、消费品(包括例如家具、家庭和花园产品、休闲用品、时尚产品、硬商品零售商的产品、软商品零售商的产品)、包装(包括例如食品和饮料和烟草、美容和个人护理、家用产品包装)。
在示例中，通过该方法设计和/或参与该方法的任何3D建模对象都可以表示机械零件，该机械零件是模制零件(即通过模制制造过程制造的零件)，机加工零件(即通过机加工制造过程制造的零件)，钻孔零件(即通过钻孔制造过程制造的零件)，车削零件(即通过车削制造过程制造的零件)，锻造零件(即通过加工制造的零件)锻件制造过程)，冲压零件(即通过冲压制造过程制造的零件)和/或折叠零件(即通过折叠制造过程制造的零件)。
通过该方法设计和/或包含在该方法中的任何3D建模对象可以是合理的(例如，现实的)3D建模对象。合理的3D建模对象可以指定表示合理的(例如，现实的)机械零件的3D建模对象。合理的机械零件可以指定在现实世界的工业制造过程中可实际制造的机械零件。合理的机械零件可以指的是一种机械零件，该零件遵守了在实际的工业制造过程中实际制造该机械零件所必须遵守的所有约束条件。约束可以包括以下各项中的一种或任何可能的组合：机械约束(例如，由经典力学定律得出的约束)，功能约束(例如，与一旦制造后由机械零件执行的一种或多种机械功能有关的约束)，制造约束(例如，与用于制造机械零件的一个或多个制造过程中将一种或多种制造工具应用于机械零件的能力有关的约束)，结构约束(例如，与机械零件的强度和/或阻力有关的约束))和/或装配约束(例如，定义如何将机械零件与一个或多个其他机械零件组装在一起的约束)。
“设计3D建模对象”指定任何动作或一系列动作，这些动作或一系列动作至少是精心制作3D建模对象的过程的一部分。因此，该方法可以包括从头开始创建3D建模对象。可替代地，该方法可以包括提供先前创建的3D建模对象，然后修改3D建模对象。
该方法可以被包括在制造过程中，该制造过程可以包括在执行该方法之后，产生与建模对象相对应的物理产品。在任何情况下，通过该方法设计的建模对象都可以代表制造对象。因此，建模对象可以是建模实体(即表示实体的建模对象)。制造对象可以是产品，例如零件或零件组件。因为该方法改善了建模对象的设计，所以该方法还改善了产品的制造，从而提高了制造过程的生产率。
现在讨论3D建模对象的提供S10。
3D建模对象的提供可以包括在诸如CAD系统的计算机的显示器上显示3D建模对象。3D建模对象的提供可能源于用户的动作，例如用户和计算机之间的交互。在示例中，该3D建模对象可能已经由另一用户在另一台计算机上设计并且可选地存储在存储器中和/或被发送到(例如，通过网络)到计算机。3D建模对象的提供可以包括从存储器中取回3D建模对象。在示例中，用户和另一用户是不同的，并且计算机和另一计算机是不同的。在这些示例中，计算机和另一台计算机可以通过网络连接。在示例中，用户和另一用户相同，并且计算机和另一台计算机相同。
可以提供S10 3D建模对象作为网格或点云。可替换地，提供S10可以包括以任何格式(例如，作为CAD文件)提供3D建模对象，以及对3D建模对象进行网格化和/或从(例如，网格化的)3D建模对象确定(例如，推断，例如，提取，例如，计算)表示3D建模对象的点云。
现在讨论机器学习解码器。
机器学习解码器是一种微分函数。该函数是机器学习的。该函数获得潜在空间中的值。潜在空间是矢量空间。该函数在3D建模对象空间即包含3D建模对象(例如由3D建模对象构成)中输出值。换句话说，将该函数应用于潜在空间的矢量(以下称为“潜在矢量”)将输出3D建模对象。换句话说，通过该函数的每个潜在矢量的图像是3D建模对象空间的3D建模对象。该函数的潜在空间的图像可以是3D建模对象空间或3D建模对象空间的严格子集。解码潜在矢量意味着将解码器应用于潜在矢量。解码的结果因此可以被称为“解码的潜在矢量”。在示例中，潜在空间具有概率先验特征。换句话说，可以在潜在空间上给出概率先验，其在下面可以表示为p(z)，z是潜在空间的矢量的符号。在这些示例中，先验可以是先验概率分布，该先验概率分布表示潜在矢量如何在潜在空间上分布。先验意味着可以在不完全了解潜在空间的情况下确定(例如计算，建立)概率分布。例如，可以根据3D建模对象在3D建模对象空间上的现有(例如概率)分布来推断(例如推导)潜在空间上的先验，从而使得先验表达潜在矢量在潜在空间上的分布，其(例如基本上)对应于3D建模对象在3D建模对象空间上的分布。
机器学习解码器可以是自动编码器的解码器。在该方法的上下文中，可以将自动编码器定义为两个前馈深度神经网络的组成(请参见[3])
Figure BDA0002333435900000101
和
Figure BDA0002333435900000102
由权重w和w′参数化，其中p＜＜m。fw是编码器，gw′是解码器。
Figure BDA0002333435900000103
是潜在空间，即编码器fw输出其值并且解码器gw′取其值的矢量空间。p是潜在空间的尺寸。
Figure BDA0002333435900000104
是编码器fw获取其值并且解码器gw′输出其值的空间。
Figure BDA0002333435900000105
可以被称为“原始输入空间”。m是原始输入空间的尺寸。在该方法提供的机器学习解码器的情况下，原始输入空间可以是3D建模对象空间。可替换地，3D建模对象空间可以是原始输入空间的子集。换句话说，编码器fw(x)在原始输入空间中获取其值，但是解码器gw′的潜在空间的图像，即该方法上下文中的3D建模对象空间，可能是原始输入空间的子集。矢量z＝fw(x)可以被称为“潜在矢量”或“隐藏矢量”。自动编码器gw′°fw(x)也可以称为“重构”。重构将原始输入空间的第一元素(例如3D建模对象空间的第一3D建模对象)作为输入，将其映射到潜在矢量空间的潜在矢量上，然后通过输出来自潜在矢量的原始输入空间的第二元素(例如3D建模对象空间的第二3D建模对象)来反转映射。第二元素可以被称为第一元素的“重构”。在示例中，这意味着第二元素代表第一元素的近似值。在示例中，如果x是3D建模对象，则3D建模对象gw′°fw(x)可以被称为重构的3D建模对象。x也可以称为输入，而gw′°fw(x)也称为重构输入。在该方法的上下文中，可以例如通过最小化重构误差，对编码器fw和解码器gw进行机器学习(例如，分别或同时进行学习)。对对象进行编码意味着将编码器应用于该对象。编码的结果因此可以被称为“编码对象”。解码潜在矢量意味着将解码器应用于潜在矢量。解码的结果因此可以被称为“解码的潜在矢量”。
现在讨论机器学习解码器的提供S10。
机器学习解码器的提供S10可以包括从数据库取回机器学习解码器。换句话说，机器学习解码器可能先前已经被学习并存储在数据库中以供以后使用。在示例中，机器学习解码器的提供S10可以由访问数据库中的解码器的用户执行。附加地或替代地，提供S10可以包括从头开始学习解码器并使该解码器可供该方法使用。
现在讨论3D建模对象空间。
3D建模对象空间通常是指由3D建模对象构成的空间。3D建模对象空间可以被包括在矢量空间中。在示例中，3D建模对象空间是矢量空间的流形，例如连接的流形。在示例中，3D建模对象空间由3D建模对象的相同类别的3D建模对象组成。一类3D建模对象可以对应于矢量空间的连接流形。附加地或替代地，一类3D建模对象可以指定具有以下属性的一组3D建模对象：该组中的任何第一3D建模对象类似于该组的第二3D建模对象，例如具有至少类似于其的形状。
在示例中，该类3D建模对象由代表表示机械零件的3D建模对象构成，该机械零件与该类别相关(即相对应)，其均遵守以下条件中的任何一种或任意组合：
·相对于类别的机械零件全部在相同的制造过程中或以制造过程的相同的组合制造；
·与类别相关的机械零件都是合理的机械零件；
·与该类别相关的机械零件均来自相同的技术和/或行业领域；
·与该类别相关的机械零件均具有相同的机械功能；
·与该类别相关的机械零件，其每一个均由3D建模对象表示，该3D建模对象的形状与该类别的至少一个其他3D建模对象相似(因此表示与该类别相关的另一机械零件)；和/或
·与该类别相关的机械零件均要遵循(例如，满足，例如，遵守，例如，验证)相同的机械约束、功能约束、制造约束、结构约束和/或装配约束。
在示例中，所提供的3D建模对象和(例如，基本上)3D建模对象空间的所有3D建模对象是同一类3D建模对象的3D建模对象。在这些示例中，解码器可能已经基于所述相同类别的3D建模对象的数据集进行了机器学习。例如，解码器可能已经机器学习以将任何潜在矢量映射到所述相同类别的3D建模对象上。在示例中，解码器可以是自动编码器的解码器，该自动编码器还包括编码器，该解码器和编码器都基于所述相同类别的3D建模对象的数据集而机器学习。在这些示例中，编码器可以进行机器学习以将所述相同类的任何3D对象映射到潜在空间的潜在矢量上。在这些示例中，解码器可以进行机器学习以将任何潜在矢量映射到所述相同类别的3D建模对象上。在示例中，3D建模对象空间中的所有建模对象都是合理的3D建模对象。
图2示出了形成该方法的3D建模对象的集合20的示例的一类3D建模对象。3D建模对象是椅子。椅子形成一类3D建模对象，因为它们都执行相同的机械功能，从而支撑重量(例如人的体重)。执行这一机械功能还意味着所有椅子都必须遵循相同的机械约束、功能约束和结构约束。图2的椅子是合理的机械零件，因为它们遵守机械约束、功能约束、制造约束和结构约束，从而允许通过一个或多个制造过程在现实世界中进行制造。
图3示出了形成该方法的3D建模对象的集合30的示例的一类3D建模对象。3D建模对象是具有四只脚的(每个)椅子。具有四只脚的椅子形成一类3D建模对象，因为它们都执行相同的机械功能，从而支撑重量(例如人的体重)，并且由于具有四只脚的机械功能也意味着椅子全部遵循相同的机械约束、功能约束和结构约束。图3的椅子是合理的机械零件，因为它们遵守机械约束、功能约束、制造约束和结构约束，从而允许通过一个或多个制造过程在现实世界中进行其制造。
3D建模对象空间可以是由诸如网格和/或点云之类的3D建模对象的离散表示构成的空间。换句话说，3D建模对象空间由该空间的3D建模对象的各个离散表示(例如网格和/或点云)组成。在这种情况下，为简单起见，3D建模对象空间的元素仍可以称为3D建模对象本身，而不是其各自的离散表示形式。
在示例中，该方法包括将3D建模对象投影S20到潜在空间上。在这些示例中，机器学习解码器可以是还包括机器学习编码器的机器学习自动编码器的解码器。投影S20 3D建模对象可以包括将编码器应用于3D建模对象，将编码器应用于3D建模对象产生潜在矢量。潜在矢量可以称为3D建模对象在潜在空间上的投影。可替换地，3D建模对象的提供S10可以包括：除了提供3D建模对象之外，还提供潜在矢量，该潜在矢量是将编码器应用于3D建模对象的结果。在任何情况下，投影S20可导致作为3D建模对象到潜在空间上的投影的潜在矢量可用于该方法中的进一步使用，如下文所述。
现在讨论3D建模对象的一部分。
在示例中，可以将通过该方法设计或该方法中涉及的任何3D建模对象划分为多个部分。对于表示机械零件的3D建模对象，该3D建模对象的一部分可以指定机械零件的材料的布局，该材料的布局执行机械功能。换句话说，表示机械零件的3D建模对象可以被划分为每个表示机械零件的材料的相应布局的零件，材料的相应布局执行相应的机械功能。在本发明的上下文中，由机械零件的材料布局执行的功能可以是支撑功能、加强功能、阻力功能、其他材料布局之间的连接功能、质量减少功能、空间预留功能、固定装置功能、密封功能、调节功能、定位功能、机械接头功能、冷却功能、空间预留功能、旋转或圆柱机械接头功能、装配功能、加强功能、定位销功能、旋转或圆柱机械接头功能和/或所有机加工和钻孔突起的支撑功能中的一种或可能的组合。
例如，椅子的腿，例如图2或图3中表示的椅子中的任何一个的腿，都可以执行支撑功能的椅子的材料的布局。换句话说，椅子的腿(例如以及其他腿)参与执行支撑形成椅子的其他材料的重量以及坐在椅子上的人的重量的功能。
另一例子是(例如弯曲的)椅子靠背，例如图2或图3中所表示的椅子中的任何一个的椅子靠背。椅子靠背是执行支撑功能的椅子的材料的布局。换句话说，椅子靠背涉及执行支撑坐在椅子上的人的椅背的功能。
另一例子是椅子座位，例如图2或图3中表示的椅子中的任何一个的椅子座位。椅子座位是执行支撑功能的椅子的材料布局。换句话说，椅子座位涉及执行支撑形成椅子的其他材料的重量以及坐在椅子上的人的重量的功能。椅子座位还执行连接功能，因为它连接椅子的其他部分，例如椅子靠背和/或椅子腿。
现在讨论3D建模对象的其他示例。
该方法涉及的任何3D建模对象都可以表示汽车。在这种情况下，3D建模对象的一部分可以代表汽车的车轮(执行支撑功能以及滚动和/或转弯功能)或车身的一部分(执行连接功能和//或阻力功能和/或加固功能)，例如门、引擎盖或甲板盖。汽车可能构成一类3D建模对象。替代地或附加地，方法中涉及的任何3D建模对象都可以表示平面。在这种情况下，3D建模对象的一部分可以表示飞机的机翼(执行在流体中移动时产生升力的功能)或飞机的引擎(执行用于移动飞机的力产生的功能)或飞机的机身(执行连接功能和/或阻力功能和/或加固功能)。平面可以形成一类3D建模对象。
现在讨论针对3D建模对象的部分的变形约束的定义S30。
变形约束由用户定义(S30)，即可以由用户动作引起。变形约束可以指定一组(例如几何)规范，这些规范确定3D建模对象的一部分的几何形状到另一种几何形状(以下可以称为“新的几何形状”)的变形。换句话说，变形可能不是由用户直接定义的，而是用户动作导致迫使变形的规范。在示例中，这意味着用户例如通过使用键盘和/或触摸和/或触觉设备提供(例如，声明，例如，指定)该组规范。可替换地，可以从对3D建模对象(例如，其一部分)的用户动作(例如，自动地)取回该组规范。替代地，可以从包括3D建模对象的屏幕上的用户的绘图中(例如，自动地)取回该组规范。因此，由变形约束定义的变形可以通过将部分的几何形状变形为新的几何形状来将3D建模对象变形为变形的3D建模对象。
在示例中，变形约束的定义S30由用户与3D建模对象的一部分的图形交互产生。图形交互可以包括点击3D建模对象，例如，使用触觉设备(例如鼠标)或用附属物(例如手指)触摸3D建模对象。图形交互还可以包括例如通过执行拖放操作来移动被点击或触摸的3D建模对象。例如，用户在3D建模对象的一部分上选择一个或多个点，例如通过使用触觉设备(例如鼠标)单击一个或多个点，然后通过拖放操作移动它们(例如，一个接一个地移动它们或通过一键式拖放操作来移动它们)，如本领域已知的。移动的一个或多个点的相应一个或多个位置确定(例如形成，例如导致)3D建模对象的部分的新几何形状。换句话说，在提供S10步骤中，3D建模对象具有给定的几何形状，并且用户通过移动点来定义新的几何形状。因此，给定几何形状到新几何形状的变形受到用户移动的一个或多个点的相应一个或多个位置的约束。换句话说，移动一个或多个点定义了部分的新几何形状，而部分的新几何形状定义了变形约束。
可替换地，用户可以通过绘制(例如，通过使用触觉设备)定义2D图(例如，在显示器上)来定义变形约束，该2D图表示3D建模对象的该部分的新几何形状，该3D模型对象在提供S10处具有给定的几何形状。因此，给定的几何形状到新的几何形状的变形受到用户的绘制的限制。换句话说，用户的绘制定义了部分的新几何形状，部分的新几何形状定义了变形约束。
现在讨论最优潜在矢量的确定S40。
最优潜在矢量使能量最小。因此，潜在矢量的确定S40可以包括使能量最小化，最优潜在矢量是最小化的结果。能量探索潜在的矢量。在示例中，这意味着能量是表示潜在矢量的至少一个变量的函数，即，至少一个变量属于潜在空间或潜在空间的子空间。使能量最小化可以迭代地进行，即通过迭代地访问潜在空间的至少一个子空间的潜在矢量，直到找到(例如，近似)使能量最小化的潜在矢量(即最优潜在矢量)。最小化能量可以在定义S30变形约束时自动进行。可以通过运行任何最小化算法(例如迭代地加权最小二乘算法)来执行使能量最小化。
能量包括项，该项对于每个探索的潜在矢量，惩罚通过将解码器应用于探索的潜在矢量而对变形约束的不遵守。在能量是表示潜在矢量的至少一个变量的函数的示例中，该项可能取决于该至少一个变量，并且可以提供通过将解码器应用于至少一个变量的结果而不遵守变形约束的度量(例如，量化)。在这些示例中，惩罚可能意味着该项是度量的规模的增加函数。
因此，该方法通过探索的潜在矢量并验证解码的潜在矢量(即，将解码器应用于所探索的潜在矢量的结果)来确定遵守还是不遵守变形约束的最优潜在矢量。不遵守将受到惩罚，使得解码器最优潜在矢量趋向于遵守(例如，遵守)变形约束。解码的潜在矢量可以是合理的3D建模对象，使得在这种情况下，该方法输出合理的并且倾向于遵守(例如，遵守)变形约束的3D建模对象。所有解码的探索的潜在矢量也可能是合理的3D建模对象。换句话说，该方法可以确定在多个合理的3D建模对象中倾向于(例如，遵守，例如，最好地遵守)变形约束的合理的3D建模对象。此外，3D建模对象空间可以是3D建模对象的类别，使得在这种情况下，该方法可以确定在该类的多个合理的3D建模对象中倾向于遵守(例如，遵守，例如最好地遵守)变形约束的该类合理的3D建模对象。此外，该方法可以自动地这样做，使得在这些示例中，该方法是有效且符合人体工程学的。
在示例中，变形约束定义了几何形状。在这些示例中，该项惩罚了将解码器应用于探索的潜在矢量的结果与几何形状之间的差异。
由变形约束定义的变形可以将3D建模对象的一部分的形状变形为3D建模对象的一部分的新的几何形状。结果，变形还可以通过使部分的几何形状变形来将整个3D建模对象变形为新的3D建模对象(也可以称为变形输入)。换句话说，新的3D建模对象可能与提供的3D建模对象不同，因为部分的几何形状会变形。因此，由变形约束定义的几何形状可以指定新的3D建模对象。在解码器是自动编码器的解码器的示例中，可以从重构的3D建模对象计算新的3D建模对象。即，将自动编码器应用于3D建模对象，从而输出重构的3D建模对象，并且通过将由变形约束定义的变形应用于重构的3D建模对象来计算新的3D建模对象。可替代地，由变形约束定义的几何形状可以指定3D建模对象的部分的新的几何形状。
将解码器应用于探索的潜在矢量的结果与几何形状之间的差异可以是相对于将解码器应用于探索的潜在矢量的结果和由变形约束定义的几何形状之间的差异或误差的量(例如，作为函数)。换句话说，几何形状由变形约束定义，并且差异可以是通过将解码器应用于探索的潜在矢量的结果来提供不遵守变形约束的度量(例如，量化)的量。在这些示例中，惩罚可能意味着量是度量的增加的函数。
在该方法中涉及的3D建模对象是合理的3D建模对象的示例中，该方法因此访问了合理的3D建模对象(即已解码的探索的潜在矢量)，并且惩罚访问的合理的3D建模对象与变形约束定义的几何形状之间的差异性，直到确定差异可接受(例如受罚程度较小)的3D建模对象(解码的最优潜在矢量)。换句话说，该方法确定其几何形状与由变形约束定义的几何形状(例如，最优)相符的合理的3D建模对象。
在示例中，差异涉及将解码器应用于探索的潜在矢量的结果的导数与几何形状之间的距离。
将解码器应用于探索的潜在矢量的结果的导数可以是从将解码器应用于探索的潜在矢量的结果获得的数学量，例如，通过应用一个或多个数学公式。换句话说，将解码器应用于探索的潜在矢量的结果的导数可以是将解码器应用于探索的潜在矢量的结果的函数。差异涉及将解码器应用于探索的潜在矢量的结果的导数与几何形状之间的距离。在示例中，这意味着差异是距离的函数。
使用将解码器应用于所探索的潜在矢量的结果的导数与几何形状之间的距离是用于测量(例如，量化)不遵守变形约束的简单而有效的方式。因此，在这些示例中，该方法是有效的。
在示例中，差异是距离的单调函数。
因此，在这些示例中，该方法有效地测量了对变形约束的不遵守：越不遵守变形约束，距离越大，并且差异越大。相反，对变形约束的不遵守越少，距离越小，并且差异越小。该方法因此是有效的。
在示例中，几何形状是在3D空间中定义的，并且导数是将解码器应用于探索的潜在矢量的结果。在这些示例中，几何形状因此可以表示3D建模对象的新几何形状，即，在3D建模对象的一部分已经经历了与变形约束相对应的变形之后的3D建模对象的几何形状。
可替代地，可以在2D平面中定义几何形状，并且导数可以是将解码器应用于探索的潜在矢量的结果的投影。因此，在示例中，几何形状可以是用户的2D绘图，其表示3D建模对象的部分的新几何形状。
在示例中，3D建模对象是3D网格。在这些示例中，3D建模对象空间是由3D网格组成的空间。因此，机器学习解码器获取潜在空间中的值并输出3D网格。
在这些示例中，当几何形状在3D空间中定义并且导数是将解码器应用于探索的潜在矢量的结果时，该术语可以是以下类型：
Figure BDA0002333435900000171
在公式(1)中，z是探索的潜在矢量，g是提供的解码器，g(z)是将解码器应用于探索的潜在矢量的结果。v1,v2,…,vk是表示3个建模对象g(z)的k个顶点的索引。换句话说，3D建模对象是3D网格，3D建模对象的一部分是3D网格的子网格，g(z)也是3D网格(因为3D建模对象空间是3D网格空间)而v1,v2,…,vk是表示3D网格的子网格的g(z)的k个顶点的索引。表示可能意味着近似，使得索引为v1,v2,…,vk的子网格是g(z)的子网格，它近似于3D建模对象的最优部分(例如，最接近)。M是3D建模对象的采样大小，例如3D网格的许多点。ρ是非负且不递增的函数。例如，ρ被紧凑地支持。y是几何形状。公式(1)具有L2范数类型的范数的平方，即类型
Figure BDA0002333435900000181
的项。必须理解的是，为清楚起见，将这样的范数放在公式(1)中是示例。然而，该范数可以被任何其他范数或距离代替。
可替换地，当几何形状在2D平面中定义并且导数是将解码器应用于探索的潜在矢量的结果的投影时，该术语可以是以下类型：
Figure BDA0002333435900000182
在公式(2)中，z是探索的潜在矢量，M是3D建模对象的采样大小，S是几何形状的一组像素坐标，g(z)是将解码器应用于探索的潜在矢量的结果，而P是投影。在示例中，用户通过在3D建模对象上绘制草图来绘制变形约束。因此，在这些示例中，几何形状是由用户的草图定义的一组像素。P可以是从3D建模对象空间到由像素坐标定义的对象的2D空间上的投影。再一次，应当理解，为清楚起见，公式(2)的L2范数类型的范数放在公式中是示例。然而，该范数可以被任何其他范数或距离代替。
现在讨论将解码器应用于S50最优潜在矢量。
将解码器S50应用于最优潜在矢量输出3D建模对象。3D建模对象是从最优潜在矢量推导的。换句话说，该方法输出与能量的最小值相对应的3D建模对象，即作为倾向于遵守(例如，遵守，例如最佳地遵守)变形约束的3D建模对象。因此，在方法中涉及的3D建模对象是合理的3D建模对象的示例中，该方法因此输出了在(例如，一类)倾向于几个合理的3D建模对象当中遵守(例如遵守，例如最好地遵守)变形约束的(例如，一类)合理的3D建模对象。
在示例中，该方法进一步包括从将解码器应用于3D建模对象在潜在空间上的投影的结果到将解码器应用S50于优化的潜在矢量的结果，计算S60变形操作。在这些示例中，该方法进一步包括将变形操作应用于S70 3D建模对象。
从将解码器应用于3D建模对象在潜在空间上的投影的结果到将解码器应用于优化的潜在矢量的结果计算S60变形操作意味着找到该变形操作。变形操作对将解码器应用于3D建模对象在潜在空间上的投影的结果转换为将解码器应用于S50优化的潜在矢量的结果进行变形。在将3D建模对象投影到潜在空间意味着将还包括机器学习解码器的自动编码器的编码器应用于3D建模对象的示例中，该方法因此计算S60变形，该变形将重构的3D建模对象转换为对应于最小能量的3D建模对象，即倾向于遵守(例如遵守，例如最佳地遵守)变形约束的3D建模对象。因此，将变形操作应用于S70 3D建模对象，从而将3D建模对象变形为倾向于(例如，遵守，例如，例如最佳地遵守)变形约束的另一3D建模对象。这样的变形可以保留3D建模对象的细节(例如，拓扑)。
在该方法中涉及的3D建模对象是合理的3D建模对象的示例中，该方法因此可以计算变形，该变形将3D建模对象转换为合理且倾向于遵守(例如，遵守，例如最佳地遵守)变形约束的3D建模对象。换句话说，在提供变形约束时，该方法因此可以将3D建模对象自动变形为合理的并且在(例如，一类)多个其他合理的对象当中倾向于遵守(例如遵守，例如最佳地遵守)变形约束的(例如该类)3D建模对象。而且，使3D建模对象变形允许保留3D建模对象的细节(例如，拓扑)，该细节可能是解码的最优潜在矢量可能不具有的。换句话说，单独输出解码的潜在矢量可以提供倾向于遵守(例如，遵守)变形约束的合理的3D建模对象，但是另外输出将3D建模对象到解码的潜在矢量的变形允许输出倾向于遵守(例如遵守)变形约束的合理的3D建模对象以及所提供的3D建模对象的拓扑细节。因此，该方法是有效、准确和符合人体工程学的。
现在讨论确定S40的示例。
在示例中，机器学习解码器可以是还包括编码器的(例如，机器学习)自动编码器的解码器。在这些示例中，最优潜在矢量的确定S40可以奖励将解码器应用于探索的潜在矢量的结果与3D建模对象之间的相似性。
奖励通常可能意味着能量的最小化倾向于趋于接近3D建模对象在潜在空间上的投影的结果(即最优潜在矢量)。奖励相似性可包括(例如相对地)接近于3D建模对象在潜在空间上的投影的探索潜在矢量。例如，可以迭代地执行对潜在矢量的探索(也就是说，逐个探索的潜在矢量，直到找到最优的潜在矢量)，并且可以从第一潜在矢量开始，该第一潜在矢量是3D建模对象在潜在空间上的投影。替代地或附加地，可以通过考虑能量来执行奖励相似性，所述能量包括量，所述量是将解码器应用于探索的潜在矢量的结果和3D建模对象之间的误差的递增函数。
奖励相似性允许奖励与提供的3D建模对象相似的3D建模对象(即，解码的潜在矢量)。因此，解码的最优潜在矢量不仅是适合变形约束的3D建模对象，而且还是与所提供的3D建模对象相似的3D建模对象。在示例中，该方法因此允许确定(例如，一类)合理的3D建模对象，该合理的3D建模对象在(例如，该类)其他合理的3D建模对象中，适合(例如，最佳地)由用户定义的变形约束和提供的3D建模对象的形状。该方法因此是有效和准确的。
在这些示例中，从第一探索的潜在矢量开始迭代地执行最优潜在矢量的确定S40，第一探索的潜在矢量是将编码器应用于3D建模对象的结果。开始此第一探索的潜在矢量是一种特别有效的方法，可通过相对接近编码的3D建模对象的最优潜在矢量来最小化能量，因为潜在矢量的探索是在编码的3D建模对象附近进行的。
附加地或替代地，能量可以包括奖励所探索的潜在矢量与将编码器应用于3D建模对象的结果之间的相似性的另一项。奖励探索的潜在矢量和将编码器应用于3D建模对象的结果之间的相似性，允许避免探索与编码的3D建模对象相距太远的潜在矢量。
在示例中，另一项涉及探索的潜在矢量与将编码器应用于3D建模对象的结果之间的距离。距离是一种用于测量和奖励潜在矢量与编码的3D建模对象之间的接近度的有效方法。
奖励探索的潜在矢量与将编码器应用于3D建模对象的结果之间的相似性可能意味着另一项是探索的潜在矢量与将编码器应用于3D建模对象的结果之间的距离的增加函数。
在示例中，能量包括另一项，该项奖励探索的潜在矢量在潜在空间上的可能性。在对潜在空间给出先验概率p(z)的示例中，z是代表潜在矢量的变量，该项可以衡量p(z)的大小。该项例如可以是p(z)的递减函数。因此，当p(z)接近1时，即当潜在矢量具有大的可能性时，该项很小。最优潜在矢量的可能性以及解码后的最优潜在矢量的可能性因此被最大化。
现在讨论该方法的两个示例。在第一示例中，现在讨论，几何形状是在3D空间中定义的，并且导数是将解码器应用于探索的潜在矢量的结果。在第二示例中，几何形状在2D平面中定义，并且导数是将解码器应用于探索的潜在矢量的结果的投影。图4-图9示出了第一示例。图10-13示出了第二示例。
在两个示例中，用户提供S10 3D建模对象，该3D建模对象是3D网格x，它是提供的3D建模对象的离散化。换句话说，提供的3D建模对象是3D网格。还提供S10了机器学习自动编码器g°f，其中g是机器学习解码器，并且其中f是机器学习编码器。g(f(x))是代表提供的3D建模对象的重构网格，令M为其点的数量(即其采样大小)的表示法。在示例中，在潜在空间上给出了概率先验p(z)。在不是这种情况的示例中，在出现p(z)的所有等式中，对应于统一先验，p(z)可以简单地用p(z)＝1代替。在示例中，该方法包括通过计算z0＝f(x)将S20 x投影到潜在空间上。
在第一示例中，使用3D兴趣点查找合适的位置，网格x在特征位置包括控制点a1,…,an。用户通过拉动(例如通过拖放操作)表示为a1,…,ak的一个或几个控制点来定义S30变形约束，以使3D网格的一部分变形。定义变形约束后，使a′1,…,a′n为控制点的坐标。可以利用径向基函数(RBF)插值来计算相对于变形约束的变形(即，由于施加变形约束而导致的变形)。该方法可以通过精心选择的函数
Figure BDA0002333435900000213
来考虑RBF。该方法可以通过求解r,s和t的以下三个线性系统，拟合变形场
Figure BDA0002333435900000211
Figure BDA0002333435900000212
Figure BDA0002333435900000221
Figure BDA0002333435900000222
图4示出了网格x的示例。网格表示具有四个腿的合理的椅子40，例如图3的椅子中的一个。将椅子网格化，并且该网格包括控制点a1。如图5所示，用户拉动点a1以使椅子40的腿(其为椅子的一部分)变形。图5示出了变形后的控制点a1’。
在该第一示例中，v1,…,vk是重构的3D网格g(z)到a1,…,ak的最接近顶点的索引。在该示例中，y＝g(z0)+δ(g(z0))是在变形场δ下的变形的重构3D网格。换句话说，y是由变形约束定义的新几何形状。图6示出了3D网格化的椅子40的重构物60，而图7示出了变形的重构3D网格70。
通过最小化能量确定S40最优潜在矢量，其形式为：
Figure BDA0002333435900000223
其中ρ是非负非递增函数，例如紧凑的支撑。ρ用于仅在用户已拉动控制点的位置使重构拟合于用户变形，以便惩罚通过g(z)而对变形约束的不遵守。该方法可以从z0开始优化潜在矢量z，以修改重构的输入g(z)，以使其拟合用户给出的变形。
能量可以包括另一项
Figure BDA0002333435900000224
在示例中，γ等于零，使得另一项不包括在能量中。在其他示例中，γ不等于零，使得另一项包含在能量中。另一项是平滑度项，它是探索的潜在矢量z与将编码器应用于3D建模对象的结果z0之间的距离。另一项防止优化将z割离z0太远，从而在适合用户定义的变形场的同时，尽可能地保持与原始输入接近。
-βlog(p(z))是另一项，其奖励探索的潜在矢量z在潜在空间上的可能性，p(z)是在潜在空间上给出的概率先验。另一项用于最大化优化的形状的可能性。在示例中，β等于零，使得另一项不包括在能量中。在其他示例中，β严格为正，从而使另一项包含在能量中。
E的最小化(即，确定最优潜在矢量)可以包括应用迭代加权的最小二乘法，这意味着在每次优化迭代中，该方法更新最小二乘权重
Figure BDA0002333435900000225
Figure BDA0002333435900000237
但认为它们在优化步骤中是固定的。
图8示出了在第一示例的情况下将解码器应用于优化的潜在矢量的结果。椅子80是代表拟合由用户定义的变形约束的合理椅子的网格。该方法可以进一步包括计算从重构椅子60到拟合该变形约束的椅子80的变形。将变形应用于椅子40的结果是图9的合理的椅子90，其同时考虑了椅子40的变形约束和初始形状。
现在将进一步讨论在第一示例的情况下计算和应用变形的实现。
根据第一示例的能量的最小化导致优化的潜在矢量
Figure BDA0002333435900000231
其尽可能接近原始输入，同时拟合由控制点或草图给出的用户约束。然而，该优化的形状是从重构g(z0)(椅子80所示)开始计算的，这不一定是具有完美精度的精确重构。特别地，重构不必具有相同的拓扑(例如，椅子横档的数量)，并且输入的3D建模对象40的局部细节不必包括在重构中。为了在拟合用户约束的同时尽可能接近原始椅子40的样式，该方法可以将g(z0)(由椅子80表示)和
Figure BDA0002333435900000232
(由椅子70表示)之间到原始椅子x的变形进行重定向。该方法可以使用RBF插值来计算g(z0)和
Figure BDA0002333435900000233
之间的变形场θ。该技术可能与先前讨论的RBF插值相同，不同之处在于该方法可能不使用任何控制点，而是可以直接使用重构的顶点(或这些顶点的特征子集)来计算变形场。
因此，要推导
Figure BDA0002333435900000234
该方法可以求解线性系统
Figure BDA0002333435900000235
Figure BDA0002333435900000236
最终编辑的网格90可以简单地由应用于原始网格x的变形字段给出：
x+θ(x)
请注意，也可以使用其他重定向方法来计算变形场，使得进行非刚性配准(请参阅“Global Correspondence Optimization for Non-Rigid Registration of DepthScans.“H.Li,R.Sumner,and M.Pauly,in Comput.Graph.Forum 27(5):1421-1430,2008)，或内核回归。
在第二示例中，用户在选定的视图中对3D建模对象x上绘制。图10示出了3D建模对象x的示例，该对象是具有四个腿的椅子100，例如图10的椅子。图10示出了椅子100的正视图。令P为与所选择的视图相关联的投影。P可以是从椅子所属的3D建模对象空间到屏幕上像素坐标的2D空间的投影。用户通过在屏幕上绘制形状102来定义变形约束。令S为绘制草图的像素坐标，或此草图的子采样版本。
通过最小化能量确定S40最优潜在矢量，其形式为：
Figure BDA0002333435900000241
该方法可以从z0开始优化潜在矢量z，以修改重构的输入g(z)，以使其拟合由用户给出的草图。
能量可以包括另一项
Figure BDA0002333435900000242
在示例中，γ等于零，使得另一项不包括在能量中。在其他示例中，γ不等于零，使得另一项包含在能量中。另一项是平滑度项，它是探索的潜在矢量z与将编码器应用于3D建模对象的结果z0之间的距离。另一项防止优化将z割离z0太远，从而在拟合用户定义的变形场的同时，尽可能地接近原始输入。
-βlog(p(z))是另一项，其奖励探索的潜在矢量z在潜在空间上的可能性，p(z)是在潜在空间上给出的概率先验。该另一项用于最大化优化的形状的可能性。在示例中，β等于零，使得另一项不包括在能量中。在其他示例中，β严格为正，以使另一项不包含在能量中。
图12示出了将解码器应用于S50优化的潜在矢量的结果的示例。椅子120是代表拟合由用户定义的变形约束的合理椅子的网格。该方法可以进一步包括计算S60从图11的重构椅子110到拟合变形约束的椅子120的变形。将变形应用于S70椅子100的结果是合理的椅子130，其同时遵守椅子100的变形约束和初始形状。
现在进一步讨论在第二示例的情况下计算S60和应用S70变形的实现。
根据第二示例，能量的最小化导致优化的潜在矢量
Figure BDA0002333435900000243
该潜在矢量尽可能接近原始输入，同时拟合由控制点或草图给出的用户约束。然而，从重构g(z0)(由椅子100示出)开始计算该优化的形状，这不一定是具有完美精度的精确重构。特别地，重构不必具有相同的拓扑(例如，椅子横档的数量)，并且输入3D建模对象100的局部细节不必包括在重构中。为了在拟合用户约束的同时尽可能接近原始椅子100的样式，该方法可以将g(z0)(椅子100所示)和
Figure BDA0002333435900000251
(例如椅子120)到原始椅子x的变形重定向。该方法可以使用RBF插值来计算g(z0)和
Figure BDA0002333435900000252
之间的变形场θ。该技术可能与先前讨论的RBF插值相同，不同之处在于该方法可能不使用任何控制点，而是可以直接使用重构顶点(或这些顶点的特征子集)来计算变形场。
因此，要推导
Figure BDA0002333435900000253
该方法可以求解线性系统
Figure BDA0002333435900000254
Figure BDA0002333435900000255
最终编辑的网格130可以简单地由应用于原始网格x的变形场给出：
x+θ(x)
请注意，也可以使用其他重定向方法来计算变形场，例如进行非刚性配准(请参阅(请参阅“Global Correspondence Optimization for Non-Rigid Registration ofDepth Scans.“H.Li,R.Sumner,and M.Pauly,in Comput.Graph.Forum 27(5):1421-1430,2008)，或内核回归。
图14示出了系统的GUI的示例，其中该系统是CAD系统。
GUI 2100可以是典型的类似于CAD的界面，具有标准菜单栏2110、2120，以及底部和侧面工具栏2140、2150。此类菜单和工具栏包含一组用户可选图标，每个图标与如本领域中已知的一种或多种操作或功能相关联。这些图标中的一些与软件工具相关联，适于编辑和/或在GUI 2100中显示的3D建模对象2000上工作。软件工具可以被分组为工作台。每个工作台均包含软件工具的子集。特别地，工作台之一是适用于编辑建模产品2000的几何特征的版本工作台。在操作中，设计人员可以例如预先选择对象2000的一部分，然后启动操作(例如更改尺寸、颜色等)或通过选择适当的图标来编辑几何约束。例如，典型的CAD操作是对显示在屏幕上的3D建模对象的打孔或折叠进行建模。GUI可以例如显示与所显示的产品2000有关的数据2500。在该图的示例中，显示为“特征树”的数据2500及其3D表示2000涉及包括制动钳和盘的制动组件。GUI可以进一步示出各种类型的图形工具2130、2070、2080，例如，用于促进对象的3D定向，用于触发对编辑产品的操作的仿真或渲染所显示产品2000的各种属性。光标2060可以由触觉设备控制以允许用户与图形工具进行交互。
图15示出了该系统的示例，其中该系统是客户端计算机系统，例如用户的工作站。
该示例的客户端计算机包括连接到内部通信总线1000的中央处理单元(CPU)1010、还连接到总线(BUS)的随机存取存储器(RAM)1070。客户端计算机还被提供有图形处理单元(GPU)1110，其与连接到总线的视频随机存取存储器1100相关联。视频RAM 1100在本领域中也称为帧缓冲器。大容量存储设备控制器1020管理对大容量存储设备(诸如硬盘驱动器1030)的访问。适于有形地体现计算机程序指令和数据的大容量存储设备包括所有形式的非易失性存储器，包括例如半导体存储器设备(诸如EPROM、EEPROM和闪存设备)；磁盘(诸如内部硬盘和可移动磁盘)；磁光盘；和CD-ROM盘1040。上述内容中的任何内容都可以通过专门设计的ASIC(专用集成电路)进行补充或合并。网络适配器1050管理对网络1060的访问。客户端计算机还可以包括触觉设备1090，诸如光标控制设备、键盘等。在客户端计算机中使用光标控制设备以允许用户将光标选择性地定位在显示器1080上的任何期望位置。此外，光标控制设备允许用户选择各种命令并输入控制信号。光标控制设备包括多个信号生成设备，用于将控制信号输入到系统。通常，光标控制设备可以是鼠标，该鼠标的按钮用于生成信号。替代地或附加地，客户端计算机系统可以包括敏感垫和/或敏感屏幕。
该计算机程序可以包括可由计算机执行的指令，该指令包括用于使上述系统执行该方法的单元。该程序能够记录在任何数据存储介质上，包括系统的存储器。该程序可以例如以数字电子电路或计算机硬件、固件、软件或它们的组合来实现。该程序可以被实现为有形地体现在机器可读存储设备中以由可编程处理器执行的装置(例如产品)。方法步骤可以通过执行指令程序的可编程处理器来执行，以通过对输入数据进行操作并生成输出来执行该方法的功能。因此，处理器可以是可编程的并且被耦合以从数据存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，以及向数据存储系统、至少一个输入设备和至少一个输出设备传输数据和指令。如果需要，可以以高级过程或面向对象的编程语言或汇编或机器语言来实现应用程序。在任何情况下，该语言都可以是编译语言或解释语言。该程序可以是完整的安装程序或更新程序。在任何情况下，程序在系统结构上的应用都会生成执行该方法的指令。

Claims (15)

1.一种用于经由用户交互来设计3D建模对象的计算机实现的方法，所述方法包括：
提供(S10)：
所述3D建模对象；以及
机器学习解码器，其是可微函数，在潜在空间中获取值并且在3D建模对象空间中输出值；
由用户定义(S30)针对所述3D建模对象的一部分的变形约束；
确定(S40)使能量最小化的最优潜在矢量，所述能量探索的潜在矢量并且包括项，所述项对于每个探索的潜在矢量，惩罚通过将所述解码器应用于所述探索的潜在矢量的结果而对所述变形约束的不遵守；以及
将所述解码器应用于(S50)所述最优潜在矢量。
2.根据权利要求1所述的方法，其中，所述变形约束定义几何形状，并且所述项惩罚将所述解码器应用于所述探索的潜在矢量的结果与所述几何形状之间的差异。
3.根据权利要求2所述的方法，其中，所述差异涉及将所述解码器应用于所述探索的潜在矢量的结果的导数与所述几何形状之间的距离。
4.根据权利要求3所述的方法，其中：
所述几何形状定义在3D空间中，并且所述导数是将所述解码器应用于所述探索的潜在矢量的结果；或者
所述几何形状在2D平面中定义，并且所述导数是将所述解码器应用于所述探索的潜在矢量的结果的投影。
5.根据权利要求3或4所述的方法，其中，所述差异是所述距离的单调函数。
6.根据权利要求4或5所述的方法，其中，所述3D建模对象是3D网格，并且：
当所述几何形状在所述3D空间中定义并且所述导数是将所述解码器应用于所述探索的潜在矢量的结果时，所述项的类型为：
Figure FDA0002333435890000021
其中
z是所述探索的潜在矢量；
g(z)是将所述解码器应用于所述探索的潜在矢量的结果；
v1,v2,…,vk是表示所述3D建模对象的部分的g(z)的k个顶点的索引；
M是所述3D建模对象的采样大小；
ρ是非负且非递增的函数；
y是所述几何形状；或者
当所述几何形状在所述2D平面中定义并且所述导数是将所述解码器应用于所述探索的潜在矢量的结果的投影时，所述项的类型为：
Figure FDA0002333435890000022
其中
z是所述探索的潜在矢量；
M是所述3D建模对象的采样大小；
S是所述几何形状的一组像素坐标；
g(z)是将所述解码器应用于所述探索的潜在矢量的所述结果；
P是所述投影。
7.根据权利要求1至6中任一项所述的方法，还包括
从将所述解码器应用于所述3D建模对象在所述潜在空间上的投影的结果到将所述解码器(S50)应用于所述优化的潜在矢量的结果，计算(S60)变形操作；以及
将所述变形操作应用于(S70)所述3D建模对象。
8.根据权利要求1至7中任一项所述的方法，其中，所述机器学习解码器是还包括编码器的自动编码器的解码器，并且其中，所述最优潜在矢量的确定(S40)奖励将所述解码器应用于所述探索的潜在矢量的结果与所述3D建模对象之间的相似性。
9.根据权利要求8所述的方法，其中，从作为将所述编码器应用于所述3D建模对象的结果的第一探索的潜在矢量开始，迭代地执行所述最优潜在矢量的确定(S40)。
10.根据权利要求8或9所述的方法，其中，所述能量包括另一项，所述另一项奖励所述探索的潜在矢量与将所述编码器应用于所述3D建模对象的结果之间的相似性。
11.根据权利要求10所述的方法，其中，所述另一项涉及所述探索的潜在矢量与将所述编码器应用于所述3D建模对象的结果之间的距离。
12.根据权利要求1至11中任一项所述的方法，其中，所述能量包括另一项，所述另一项奖励所述探索的潜在矢量在所述潜在空间上的可能性。
13.一种计算机程序，包括用于执行根据权利要求1至12中任一项所述的方法的指令。
14.一种计算机可读存储介质，其上记录了根据权利要求13所述的计算机程序。
15.一种计算机，包括耦合到存储器和显示器的处理器，所述存储器在其上记录了根据权利要求13所述的计算机程序。
CN201911346243.XA 2018-12-20 2019-12-20 经由用户交互来设计3d建模对象 Pending CN111354074A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18306758.6A EP3671660A1 (en) 2018-12-20 2018-12-20 Designing a 3d modeled object via user-interaction
EP18306758.6 2018-12-20

Publications (1)

Publication Number Publication Date
CN111354074A true CN111354074A (zh) 2020-06-30

Family

ID=65228302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911346243.XA Pending CN111354074A (zh) 2018-12-20 2019-12-20 经由用户交互来设计3d建模对象

Country Status (4)

Country Link
US (1) US11556678B2 (zh)
EP (1) EP3671660A1 (zh)
JP (1) JP7431028B2 (zh)
CN (1) CN111354074A (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3675063A1 (en) * 2018-12-29 2020-07-01 Dassault Systèmes Forming a dataset for inference of solid cad features
EP3675062A1 (en) 2018-12-29 2020-07-01 Dassault Systèmes Learning a neural network for inference of solid cad features
DE102020209994A1 (de) 2020-08-06 2022-02-10 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und computerimplementiertes Verfahren zum maschinellen Lernen
EP3958182A1 (en) * 2020-08-20 2022-02-23 Dassault Systèmes Variational auto-encoder for outputting a 3d model
EP4012386B1 (en) * 2020-12-09 2023-07-05 Fundació Institut de Ciències Fotòniques Identifying 3d objects
DE102022108379A1 (de) 2022-04-07 2023-10-12 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren, System und Computerprogrammprodukt zum optimierten Konstruieren und/oder Designen einer technischen Komponente
WO2023235110A1 (en) * 2022-05-31 2023-12-07 Snap Inc. Cross-modal shape and color manipulation
CN115953484B (zh) * 2023-03-13 2023-07-04 福思(杭州)智能科技有限公司 探测设备的参数标定方法和装置、存储介质及电子装置

Family Cites Families (184)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4821214A (en) * 1986-04-17 1989-04-11 Brigham Young University Computer graphics method for changing the shape of a geometric model using free-form deformation
US5796400A (en) * 1995-08-07 1998-08-18 Silicon Graphics, Incorporated Volume-based free form deformation weighting
EP1086412A4 (en) * 1998-06-08 2008-05-07 Microsoft Corp COMPRESSION OF TIME-DEPENDENT GEOMETRY
US20040068187A1 (en) * 2000-04-07 2004-04-08 Krause Norman M. Computer-aided orthopedic surgery
US7113185B2 (en) * 2002-11-14 2006-09-26 Microsoft Corporation System and method for automatically learning flexible sprites in video layers
US7275023B2 (en) * 2003-01-29 2007-09-25 Ford Motor Company System and method of interactively generating a family of mesh models
GB0414328D0 (en) * 2004-06-25 2004-07-28 Imp College Innovations Ltd Method of correlating internal tissue movement
KR100754387B1 (ko) * 2004-12-06 2007-08-31 삼성전자주식회사 그래픽 컨텐츠 제작장치와 방법 및 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록매체
US8139067B2 (en) * 2006-07-25 2012-03-20 The Board Of Trustees Of The Leland Stanford Junior University Shape completion, animation and marker-less motion capture of people, animals or characters
US20080162090A1 (en) * 2006-12-27 2008-07-03 Ernest Clay Perry System, methods, and computer readable media, for product design using t-spline deformation
US20080275677A1 (en) * 2007-03-19 2008-11-06 Optimal Solutions Software, Llc System, methods, and computer readable media, for product design using coupled computer aided engineering models
US20160328998A1 (en) * 2008-03-17 2016-11-10 Worcester Polytechnic Institute Virtual interactive system for ultrasound training
US8737721B2 (en) * 2008-05-07 2014-05-27 Microsoft Corporation Procedural authoring
BRPI0917864A2 (pt) * 2008-08-15 2015-11-24 Univ Brown aparelho e método para estimativa da forma corporal
US9024938B2 (en) * 2011-07-29 2015-05-05 Adobe Systems Incorporated Methods and apparatus for sweep-based freeform deformation of 3-D models
US8994736B2 (en) * 2011-09-23 2015-03-31 Adobe Systems Incorporated Methods and apparatus for freeform deformation of 3-D models
US8666119B1 (en) * 2011-11-29 2014-03-04 Lucasfilm Entertainment Company Ltd. Geometry tracking
US9779546B2 (en) * 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US11521223B2 (en) * 2012-10-23 2022-12-06 Protolabs, Inc. Automated fabrication price quoting and fabrication ordering for computer-modeled structures
RU2530220C1 (ru) * 2013-03-18 2014-10-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ для автоматической регистрации анатомических точек в объемных медицинских изображениях
US10943037B2 (en) * 2013-04-30 2021-03-09 Dassault Systemes Simulia Corp. Generating a CAD model from a finite element mesh
US10068334B2 (en) * 2013-05-29 2018-09-04 Capsovision Inc Reconstruction of images from an in vivo multi-camera capsule
US9378576B2 (en) * 2013-06-07 2016-06-28 Faceshift Ag Online modeling for real-time facial animation
US9406142B2 (en) * 2013-10-08 2016-08-02 The Trustees Of The University Of Pennsylvania Fully automatic image segmentation of heart valves using multi-atlas label fusion and deformable medial modeling
WO2015061914A1 (en) * 2013-11-04 2015-05-07 The University Of British Columbia Methods and systems for generating polycube segmentations from input meshes of objects
US9710964B2 (en) * 2014-01-23 2017-07-18 Max-Planck-Gesellschaft Zur Foerderung Der Wissenschaften E.V. Method for providing a three dimensional body model
US9524582B2 (en) * 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
US20170143494A1 (en) * 2014-07-10 2017-05-25 Mohamed R. Mahfouz Bone Reconstruction and Orthopedic Implants
US10540536B2 (en) * 2014-08-01 2020-01-21 Katholieke Universiteit Leuven, K.U.Leuven R&D System for interpretation of image patterns in terms of anatomical or curated patterns
EP3314577A1 (en) * 2015-06-24 2018-05-02 Max-Planck-Gesellschaft zur Förderung der Wissenschaften Skinned multi-person linear model
US11127163B2 (en) * 2015-06-24 2021-09-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Skinned multi-infant linear body model
US10474950B2 (en) * 2015-06-29 2019-11-12 Microsoft Technology Licensing, Llc Training and operation of computational models
US9928663B2 (en) * 2015-07-27 2018-03-27 Technische Universiteit Delft Skeletal joint optimization for linear blend skinning deformations utilizing skeletal pose sampling
WO2017027957A1 (en) 2015-08-17 2017-02-23 Side Effects Software Inc. Physically based simulation methods for modeling and animating two- and three-dimensional deformable objects
US10521902B2 (en) * 2015-10-14 2019-12-31 The Regents Of The University Of California Automated segmentation of organ chambers using deep learning methods from medical imaging
CN108603922A (zh) * 2015-11-29 2018-09-28 阿特瑞斯公司 自动心脏体积分割
CN105447872A (zh) * 2015-12-03 2016-03-30 中山大学 一种在超声影像中自动识别肝脏肿瘤类型的方法
EP3188033B1 (en) 2015-12-31 2024-02-14 Dassault Systèmes Reconstructing a 3d modeled object
EP3188039A1 (en) * 2015-12-31 2017-07-05 Dassault Systèmes Recommendations based on predictive model
US10262448B2 (en) * 2016-01-19 2019-04-16 Dreamworks Animation L.L.C. Repurposing existing animated content
US10628537B2 (en) * 2016-04-12 2020-04-21 Dassault Systemes Simulia Corp. Simulation augmented reality system for emergent behavior
US10395372B2 (en) * 2016-06-28 2019-08-27 University Of Cincinnati Systems, media, and methods for pre-processing and post-processing in additive manufacturing
EP3264286B1 (en) * 2016-06-28 2020-11-18 Dassault Systèmes Querying a database with morphology criterion
CN110392903A (zh) * 2016-08-19 2019-10-29 莫维迪厄斯有限公司 矩阵操作的动态剔除
US20190333284A1 (en) * 2016-09-14 2019-10-31 Mixed Dimensions Inc. 3d model validation and optimization system and method thereof
US10460511B2 (en) * 2016-09-23 2019-10-29 Blue Vision Labs UK Limited Method and system for creating a virtual 3D model
US20180093419A1 (en) * 2016-09-30 2018-04-05 Velo3D, Inc. Three-dimensional objects and their formation
US10902343B2 (en) * 2016-09-30 2021-01-26 Disney Enterprises, Inc. Deep-learning motion priors for full-body performance capture in real-time
EP4008526A1 (en) * 2016-11-25 2022-06-08 Dassault Systèmes Orientation of a real object for 3d printing
US10943342B2 (en) * 2016-11-30 2021-03-09 Capsovision Inc. Method and apparatus for image stitching of images captured using a capsule camera
EP3340085B1 (en) * 2016-12-23 2021-11-03 Dassault Systèmes B-rep of the result of a two-axis 3d printing process
CN106960459B (zh) * 2016-12-26 2019-07-26 北京航空航天大学 角色动画中基于扩展位置动力学的蒙皮技术及权重重定位的方法
US10163003B2 (en) 2016-12-28 2018-12-25 Adobe Systems Incorporated Recognizing combinations of body shape, pose, and clothing in three-dimensional input images
US10902598B2 (en) * 2017-01-27 2021-01-26 Arterys Inc. Automated segmentation utilizing fully convolutional networks
US10810793B2 (en) * 2017-03-13 2020-10-20 Technion Research & Development Foundation Limited Microstructures and porous geometry modeling
US10475165B2 (en) * 2017-04-06 2019-11-12 Disney Enterprises, Inc. Kernel-predicting convolutional neural networks for denoising
EP3599575B1 (en) * 2017-04-27 2023-05-24 Dassault Systèmes Learning an autoencoder
EP3416103A1 (en) * 2017-06-16 2018-12-19 Dassault Systèmes Dataset for learning a function taking images as inputs
US10783393B2 (en) * 2017-06-20 2020-09-22 Nvidia Corporation Semi-supervised learning for landmark localization
WO2019018693A2 (en) * 2017-07-19 2019-01-24 Altius Institute For Biomedical Sciences METHODS OF ANALYZING MICROSCOPIC IMAGES USING AUTOMATIC LEARNING
EP3444735A1 (en) * 2017-08-17 2019-02-20 Universität Stuttgart Method and module for transforming a shape of an object
US10943171B2 (en) * 2017-09-01 2021-03-09 Facebook, Inc. Sparse neural network training optimization
US11144812B2 (en) * 2017-09-01 2021-10-12 Facebook, Inc. Mixed machine learning architecture
US11132604B2 (en) * 2017-09-01 2021-09-28 Facebook, Inc. Nested machine learning architecture
US20190073580A1 (en) * 2017-09-01 2019-03-07 Facebook, Inc. Sparse Neural Network Modeling Infrastructure
EP3460760B1 (en) * 2017-09-26 2021-05-19 Dassault Systèmes Generating a 2d drawing representing a mechanical part
EP3467717A1 (en) * 2017-10-04 2019-04-10 Prowler.io Limited Machine learning system
EP3474185B1 (en) * 2017-10-18 2023-06-28 Dassault Systèmes Classification of 2d images according to types of 3d arrangement
EP3483755B1 (en) * 2017-11-09 2022-07-13 Dassault Systèmes Additive manufacturing of a 3d part
US11080886B2 (en) * 2017-11-15 2021-08-03 Qualcomm Incorporated Learning disentangled invariant representations for one shot instance recognition
US11170301B2 (en) * 2017-11-16 2021-11-09 Mitsubishi Electric Research Laboratories, Inc. Machine learning via double layer optimization
US11403813B2 (en) * 2019-11-26 2022-08-02 Sdc U.S. Smilepay Spv Systems and methods for constructing a three-dimensional model from two-dimensional images
US11443178B2 (en) * 2017-12-15 2022-09-13 Interntional Business Machines Corporation Deep neural network hardening framework
US11145291B2 (en) * 2018-01-31 2021-10-12 Microsoft Technology Licensing, Llc Training natural language system with generated dialogues
US10861440B2 (en) * 2018-02-05 2020-12-08 Microsoft Technology Licensing, Llc Utterance annotation user interface
US20190251744A1 (en) * 2018-02-12 2019-08-15 Express Search, Inc. System and method for searching 3d models using 2d images
US10719742B2 (en) * 2018-02-15 2020-07-21 Adobe Inc. Image composites using a generative adversarial neural network
WO2019162346A1 (en) * 2018-02-23 2019-08-29 Asml Netherlands B.V. Methods for training machine learning model for computation lithography
US11133001B2 (en) * 2018-03-20 2021-09-28 Microsoft Technology Licensing, Llc Generating dialogue events for natural language system
US10755215B2 (en) * 2018-03-22 2020-08-25 International Business Machines Corporation Generating wastage estimation using multiple orientation views of a selected product
CA3095109A1 (en) * 2018-03-23 2019-09-26 Memorial Sloan Kettering Cancer Center Deep encoder-decoder models for reconstructing biomedical images
EP3756139A1 (en) * 2018-04-12 2020-12-30 DeepMind Technologies Limited Graph neural networks representing physical systems
US11244484B2 (en) * 2018-04-23 2022-02-08 Accenture Global Solutions Limited AI-driven design platform
WO2019207176A1 (es) * 2018-04-25 2019-10-31 Seddi, Inc. Modelado de dinámica de tejido blando no lineal para avatares interactivos
US10810460B2 (en) * 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
US11100633B2 (en) * 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
US10984606B1 (en) * 2018-06-21 2021-04-20 Dassault Systemes Solidworks Corporation Graphical user interface tool for orienting computer-aided design model
US10909746B1 (en) * 2018-06-22 2021-02-02 Imbellus, Inc. Systems and methods for asset generation in immersive cognitive assessments
US11756160B2 (en) * 2018-07-27 2023-09-12 Washington University ML-based methods for pseudo-CT and HR MR image estimation
US10861225B2 (en) * 2018-08-10 2020-12-08 Intel Corporation Neural network processing for multi-object 3D modeling
US11568864B2 (en) * 2018-08-13 2023-01-31 Carnegie Mellon University Processing speech signals of a user to generate a visual representation of the user
US10664979B2 (en) * 2018-09-14 2020-05-26 Siemens Healthcare Gmbh Method and system for deep motion model learning in medical images
US11109065B2 (en) * 2018-09-26 2021-08-31 Google Llc Video encoding by providing geometric proxies
WO2020081442A1 (en) * 2018-10-15 2020-04-23 University Of Louisville Research Foundation, Inc. Computer aided diagnostic systems and methods for detection of cancer
US11126915B2 (en) * 2018-10-15 2021-09-21 Sony Corporation Information processing apparatus and information processing method for volume data visualization
US20200139631A1 (en) * 2018-11-07 2020-05-07 Velo3D, Inc. Data assurance in three-dimensional forming
US10916054B2 (en) * 2018-11-08 2021-02-09 Adobe Inc. Three-dimensional mesh deformation using deep learning neural networks
EP3881225A1 (en) * 2018-11-15 2021-09-22 Qualcomm Incorporated Coordinate estimation on n-spheres with spherical regression
US10803987B2 (en) * 2018-11-16 2020-10-13 Elekta, Inc. Real-time motion monitoring using deep neural network
US11457871B2 (en) * 2018-11-21 2022-10-04 Enlitic, Inc. Medical scan artifact detection system and methods for use therewith
US11074751B2 (en) * 2018-12-04 2021-07-27 University Of Southern California 3D hair synthesis using volumetric variational autoencoders
US11501172B2 (en) * 2018-12-13 2022-11-15 Sap Se Accurately identifying members of training data in variational autoencoders by reconstruction error
US20200202622A1 (en) * 2018-12-19 2020-06-25 Nvidia Corporation Mesh reconstruction using data-driven priors
US10915680B2 (en) * 2018-12-21 2021-02-09 Dassault Systemes Simulia Corp. Local control of design patterns on surfaces for enhanced physical properties
US11720766B2 (en) * 2018-12-28 2023-08-08 Packsize Llc Systems and methods for text and barcode reading under perspective distortion
TWI697010B (zh) * 2018-12-28 2020-06-21 國立成功大學 醫療矢面影像的取得方法、神經網路的訓練方法及計算機裝置
EP3675062A1 (en) * 2018-12-29 2020-07-01 Dassault Systèmes Learning a neural network for inference of solid cad features
EP3674983A1 (en) * 2018-12-29 2020-07-01 Dassault Systèmes Machine-learning for 3d modeled object inference
EP3675061A1 (en) * 2018-12-29 2020-07-01 Dassault Systèmes Forming a dataset for inference of editable feature trees
EP3675063A1 (en) * 2018-12-29 2020-07-01 Dassault Systèmes Forming a dataset for inference of solid cad features
EP3674984A1 (en) * 2018-12-29 2020-07-01 Dassault Systèmes Set of neural networks
US20200226407A1 (en) * 2019-01-16 2020-07-16 Rok Mobile International Ltd. Delivery of digital content customized using images of objects
WO2020155522A1 (en) * 2019-01-31 2020-08-06 Huawei Technologies Co., Ltd. Three-dimension (3d) assisted personalized home object detection
US11321918B2 (en) * 2019-02-27 2022-05-03 3Shape A/S Method for manipulating 3D objects by flattened mesh
CN109993825B (zh) * 2019-03-11 2023-06-20 北京工业大学 一种基于深度学习的三维重建方法
US10692277B1 (en) * 2019-03-21 2020-06-23 Adobe Inc. Dynamically estimating lighting parameters for positions within augmented-reality scenes using a neural network
US11388416B2 (en) * 2019-03-21 2022-07-12 Qualcomm Incorporated Video compression using deep generative models
US11049308B2 (en) * 2019-03-21 2021-06-29 Electronic Arts Inc. Generating facial position data based on audio data
CN109961507B (zh) * 2019-03-22 2020-12-18 腾讯科技（深圳）有限公司 一种人脸图像生成方法、装置、设备及存储介质
US11288857B2 (en) * 2019-04-04 2022-03-29 Google Llc Neural rerendering from 3D models
US11062502B2 (en) * 2019-04-09 2021-07-13 Facebook Technologies, Llc Three-dimensional modeling volume for rendering images
KR102191007B1 (ko) * 2019-04-19 2020-12-14 한국과학기술원 3 차원 이미지 생성 방법 및 장치
US10818043B1 (en) * 2019-04-24 2020-10-27 Adobe Inc. Texture interpolation using neural networks
US20200342968A1 (en) * 2019-04-24 2020-10-29 GE Precision Healthcare LLC Visualization of medical device event processing
US11238586B2 (en) * 2019-05-02 2022-02-01 Align Technology, Inc. Excess material removal using machine learning
US20200349482A1 (en) * 2019-05-02 2020-11-05 Autodesk, Inc. Techniques for workflow analysis and design task optimization
US10504005B1 (en) * 2019-05-10 2019-12-10 Capital One Services, Llc Techniques to embed a data object into a multidimensional frame
US11080884B2 (en) * 2019-05-15 2021-08-03 Matterport, Inc. Point tracking using a trained network
US11367188B2 (en) * 2019-10-18 2022-06-21 Retrace Labs Dental image synthesis using generative adversarial networks with semantic activation blocks
US11670001B2 (en) * 2019-05-17 2023-06-06 Nvidia Corporation Object pose estimation
US10769848B1 (en) * 2019-05-24 2020-09-08 Adobe, Inc. 3D object reconstruction using photometric mesh representation
US11030772B2 (en) * 2019-06-03 2021-06-08 Microsoft Technology Licensing, Llc Pose synthesis
US11790213B2 (en) * 2019-06-12 2023-10-17 Sri International Identifying complex events from hierarchical representation of data set features
US10922877B2 (en) * 2019-07-01 2021-02-16 Samsung Electronics Co., Ltd. Higher-order function networks for learning composable three-dimensional (3D) object and operating method thereof
US11551038B2 (en) * 2019-07-01 2023-01-10 Adobe Inc. Unified shape representation
KR20210003514A (ko) * 2019-07-02 2021-01-12 한국전자통신연구원 오디오의 고대역 부호화 방법 및 고대역 복호화 방법, 그리고 상기 방법을 수하는 부호화기 및 복호화기
EP3764269A1 (en) * 2019-07-07 2021-01-13 Dassault Systèmes Modelling operations on functional structures
US20210012486A1 (en) * 2019-07-09 2021-01-14 Shenzhen Malong Technologies Co., Ltd. Image synthesis with generative adversarial network
US11704853B2 (en) * 2019-07-15 2023-07-18 Disney Enterprises, Inc. Techniques for feature-based neural rendering
US11475275B2 (en) * 2019-07-18 2022-10-18 International Business Machines Corporation Recurrent autoencoder for chromatin 3D structure prediction
CN113096234B (zh) * 2019-12-23 2022-09-06 复旦大学 利用多张彩色图片生成三维网格模型的方法及装置
US20210026355A1 (en) * 2019-07-25 2021-01-28 Nvidia Corporation Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications
US11062495B2 (en) * 2019-08-09 2021-07-13 Disney Enterprises, Inc. Systems and methods for partitioning an animatable model
US11954610B2 (en) * 2019-08-09 2024-04-09 GE Precision Healthcare LLC Active surveillance and learning for machine learning model authoring and deployment
WO2021030414A1 (en) * 2019-08-12 2021-02-18 Nvidia Corporation Automatic high beam control for autonomous machine applications
US10949715B1 (en) * 2019-08-19 2021-03-16 Neon Evolution Inc. Methods and systems for image and voice processing
US10803646B1 (en) * 2019-08-19 2020-10-13 Neon Evolution Inc. Methods and systems for image and voice processing
KR20190106867A (ko) * 2019-08-27 2019-09-18 엘지전자 주식회사 가구의 배치 위치를 가이드하는 인공 지능 장치 및 그의 동작 방법
KR20190106855A (ko) * 2019-08-27 2019-09-18 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
US11100643B2 (en) * 2019-09-11 2021-08-24 Nvidia Corporation Training strategy search using reinforcement learning
KR20210035381A (ko) * 2019-09-23 2021-04-01 삼성에스디에스 주식회사 의료 진단 방법 및 장치
US11069131B2 (en) * 2019-09-26 2021-07-20 Amazon Technologies, Inc. Predictive personalized three-dimensional body models
US11574353B2 (en) * 2019-10-09 2023-02-07 Target Brands, Inc. Compatibility based furniture recommendations
US11294996B2 (en) * 2019-10-15 2022-04-05 Assa Abloy Ab Systems and methods for using machine learning for image-based spoof detection
US20210133990A1 (en) * 2019-11-05 2021-05-06 Nvidia Corporation Image aligning neural network
US11724401B2 (en) * 2019-11-13 2023-08-15 Nvidia Corporation Grasp determination for an object in clutter
US11663746B2 (en) * 2019-11-15 2023-05-30 Intel Corporation Systolic arithmetic on sparse data
US11676310B2 (en) * 2019-11-16 2023-06-13 Uatc, Llc System and methods for encoding octree structured point cloud data using an entropy model
US11055616B2 (en) * 2019-11-18 2021-07-06 UMNAI Limited Architecture for an explainable neural network
US20210146531A1 (en) * 2019-11-20 2021-05-20 Nvidia Corporation Guided uncertainty-aware policy optimization: combining model-free and model-based strategies for sample-efficient learning
US11282218B2 (en) * 2019-11-25 2022-03-22 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for providing medical guidance using a patient depth image
US11735306B2 (en) * 2019-11-25 2023-08-22 Dentsply Sirona Inc. Method, system and computer readable storage media for creating three-dimensional dental restorations from two dimensional sketches
US10691133B1 (en) * 2019-11-26 2020-06-23 Apex Artificial Intelligence Industries, Inc. Adaptive and interchangeable neural networks
WO2021113408A1 (en) * 2019-12-03 2021-06-10 Augustus Intelligence Inc. Synthesizing images from 3d models
EP3859610A1 (en) * 2020-01-30 2021-08-04 Dassault Systèmes Deformations basis learning
US11967015B2 (en) * 2020-02-06 2024-04-23 Apple Inc. Neural rendering
EP3872771A1 (en) * 2020-02-25 2021-09-01 Dassault Systèmes Determining a 3d modeled object deformation
EP4115606A4 (en) * 2020-03-05 2023-09-06 Magic Leap, Inc. SYSTEMS AND METHODS FOR END-TO-END SCENE RECONSTRUCTION FROM MULTI-VIEW IMAGES
US10937237B1 (en) * 2020-03-11 2021-03-02 Adobe Inc. Reconstructing three-dimensional scenes using multi-view cycle projection
US11783198B2 (en) * 2020-04-03 2023-10-10 Baidu Usa Llc Estimating the implicit likelihoods of generative adversarial networks
US20210350620A1 (en) * 2020-05-07 2021-11-11 Imperial College Innovations Limited Generative geometric neural networks for 3d shape modelling
US11348314B2 (en) * 2020-05-08 2022-05-31 Dreamworks Animation Llc Fast and deep facial deformations
US11443484B2 (en) * 2020-05-15 2022-09-13 Microsoft Technology Licensing, Llc Reinforced differentiable attribute for 3D face reconstruction
US11485308B2 (en) * 2020-06-29 2022-11-01 Nvidia Corporation In-cabin hazard prevention and safety control system for autonomous machine applications
US20220005150A1 (en) * 2020-07-02 2022-01-06 Korea Advanced Institute Of Science And Technology Unsupervised deformable image registration method using cycle-consistent neural network and apparatus therefor
US11645813B2 (en) * 2020-07-06 2023-05-09 Disney Enterprises, Inc. Techniques for sculpting digital faces based on anatomical modeling
US11164069B1 (en) * 2020-07-08 2021-11-02 NotCo Delaware, LLC Controllable formula generation
US11335062B2 (en) * 2020-08-14 2022-05-17 Accenture Global Solutions Limited Automated apparel design using machine learning
US20220051094A1 (en) * 2020-08-14 2022-02-17 Nvidia Corporation Mesh based convolutional neural network techniques
US20200402243A1 (en) * 2020-09-03 2020-12-24 Intel Corporation Video background estimation using spatio-temporal models
US10930066B1 (en) * 2020-09-11 2021-02-23 Mythical, Inc. Systems and methods for using natural language processing (NLP) to automatically generate three-dimensional objects in a virtual space
US11924445B2 (en) * 2020-09-25 2024-03-05 Qualcomm Incorporated Instance-adaptive image and video compression using machine learning systems
US11409633B2 (en) * 2020-10-16 2022-08-09 Wipro Limited System and method for auto resolution of errors during compilation of data segments
US11308657B1 (en) * 2021-08-11 2022-04-19 Neon Evolution Inc. Methods and systems for image processing using a learning engine

Also Published As

Publication number Publication date
US11556678B2 (en) 2023-01-17
JP2020102215A (ja) 2020-07-02
JP7431028B2 (ja) 2024-02-14
US20200202045A1 (en) 2020-06-25
EP3671660A1 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
JP7464387B2 (ja) ３ｄモデル化オブジェクト推定のための機械学習
CN111354074A (zh) 经由用户交互来设计3d建模对象
CN108099203B (zh) 用于3d打印的真实对象的定向
US11256832B2 (en) Replica selection
US10719549B2 (en) Querying a database based on a parametric view function
US11636395B2 (en) Modelling operations on functional structures
CN111382541A (zh) 神经网络的集合
JP7473335B2 (ja) ソリッドｃａｄフィーチャを推測するためのニューラルネットワークの学習
JP7473336B2 (ja) ソリッドｃａｄフィーチャを推測するためのニューラルネットワークの学習
JP2022036024A (ja) パラメータ化された３ｄモデルを出力するニューラルネットワーク
US20220101105A1 (en) Deep-learning generative model
JP2022036023A (ja) ３ｄモデルを出力する変分オートエンコーダ
JP2020115340A (ja) 弱型定義を用いるモデリング
JP2021131854A (ja) 変形の基礎学習
US20220207212A1 (en) Topology optimization with reaction-diffusion equations
US11941325B2 (en) 3D modeled object of a physical prototype of a product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination