CN114092615A - 使用人工智能在3d物体上进行uv映射 - Google Patents

使用人工智能在3d物体上进行uv映射 Download PDF

Info

Publication number
CN114092615A
CN114092615A CN202110957845.XA CN202110957845A CN114092615A CN 114092615 A CN114092615 A CN 114092615A CN 202110957845 A CN202110957845 A CN 202110957845A CN 114092615 A CN114092615 A CN 114092615A
Authority
CN
China
Prior art keywords
model
seam
seams
predicted
predictions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110957845.XA
Other languages
English (en)
Inventor
J·S·卡萨拉斯·苏亚雷斯
S·莱普雷特雷
S·G·维沃纳
J·大卫·麦克唐纳
B·维尔纳夫
V·B·塔卡
B·罗伊
H·M·兰格
F·泰穆拉兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autodesk Inc
Original Assignee
Autodesk Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autodesk Inc filed Critical Autodesk Inc
Publication of CN114092615A publication Critical patent/CN114092615A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了使用人工智能在3D物体上进行UV映射。本各种实施方案阐述了用于生成用于3D模型的接缝的系统和技术。所述技术包括：基于所述3D模型来生成用于一个或多个经训练的机器学习模型的一个或多个输入；将所述一个或多个输入提供到所述一个或多个经训练的机器学习模型；从所述一个或多个经训练的机器学习模型接收基于所述一个或多个输入生成的接缝预测数据；以及基于所述接缝预测数据来将一个或多个预测接缝放置在所述3D模型上。

Description

使用人工智能在3D物体上进行UV映射
背景
各种实施方案的领域
本发明涉及垃圾处理领域，具体而言涉及垃圾焚烧发电应急排放监管系统，分析系统、用户终端设备。
相关技术描述
三维(3D)图形应用使用户能够为各种应用设计并生成3D模型，包括基于3D模型的视频游戏、特殊效果、设计可视化以及打印物理物品。通常经由UV映射过程使用一个或多个2D图像对3D模型进行纹理化。UV映射过程通常涉及限定一组接缝，在该一组接缝处，3D模型应被分割或划分成一个或多个部分。将一个或多个部分展开或展平为单个2D图像(二维UV空间)，以便可在2D图像上绘制纹理。以这种方式，将2D图像上的纹理应用或“映射”到3D模型。
在UV映射中，接缝在3D模型上的不当放置可能会导致几个问题。特别地，如果针对给定的3D模型限定太多的接缝、太少的接缝或错误放置的接缝，那么产生的2D纹理图像可能包含几个问题。如下面详细地描述，这些问题包括布局效率低、失真、视觉伪影以及未位于语义边界处的接缝。
关于布局效率低，当3D模型被展平时，展平的片段被排列在单个2D图像中。每个展平片段的大小和形状会影响展平的片段如何在2D图像上布局。根据排列，排列在2D图像上的展平片段周围将保留一定量的空白空间。然而，大量的空白空间以及因此对2D图像上的空间的非最佳使用是不合期望的。特别地，2D图像越大，用于存储2D图像的计算机存储空间就越多，用于传输2D图像的网络带宽就越多，并且在计算装置用纹理渲染3D模型时利用的存储器就越多。因此，将2D图像中的空白空间最小化的有效布局将是更合期望的。
关于失真，当将2D图像上的纹理应用于3D模型时，可能会拉伸或压缩2D图像。例如，如果将世界地图的图像放置在球体上，单个矩形片段将导致图像沿着赤道拉伸并沿着两极压缩。添加的接缝越多，产生的片段越多，从而减少在应用2D图像时的失真量。然而，使用很多的附加片段会影响2D图像的布局效率，并且因此通常不是减少失真的最佳解决方案。参考球体示例，与将3D模型划分成若干非矩形片段相比，将3D模型划分成单个矩形片段将在2D图像中导致更少的空白空间。
关于视觉伪影，当将2D图像上的纹理应用于3D模型时，接缝所在的位置周围可能会存在视觉伪影或视觉不连续。因此，在视觉上明显的区域放置接缝是不合期望的。例如，当将世界地图的图像放置在球体上时，在2D图像的边缘连结在一起的位置可能会存在线条、失真或其他视觉伪影。添加附加的接缝以减少失真将增加此类视觉伪影很明显的地方的数量。
另外，接缝将3D模型划分成一个或多个展平片段。放置接缝使得将3D模型划分成逻辑部分(即，沿着语义边界)使艺术家能够识别并编辑模型的不同部分的纹理。例如，对于人体模型，将模型划分成与手臂、腿部、头部和躯干相对应的片段将允许艺术家识别并编辑身体的每个部分的纹理。然而，不正确或不合期望的接缝放置可能导致3D模型被划分成太多片段、具有一个以上逻辑语义对应关系的片段或者与3D模型没有逻辑语义对应关系的片段。参考人体模型示例，虽然将模型划分成附加的片段可能会导致更少的失真，但附加的片段可能在语义上不对应于人体的基础3D模型。因此，艺术家将难以确定身体的哪些部分应放在哪些片段上，或者放在每个片段上的哪个位置并且应在哪个取向上绘制身体部分。
如前所述，本领域需要用于为3D模型生成UV映射接缝的更有效和稳健的技术。
发明内容
本申请的一个实施方案阐述了一种用于生成用于三维(3D)模型的一组接缝预测的计算机实现的方法。所述方法包括：基于所述3D模型来生成所述3D模型的一个或多个表示以作为一个或多个经训练的机器学习模型的输入；通过将所述一个或多个经训练的机器学习模型应用于所述3D模型的所述一个或多个表示来生成与所述3D模型相关联的一组接缝预测，其中所述一组接缝预测中包括的每个接缝预测识别能够沿其切割所述3D模型的不同接缝；以及基于所述一组接缝预测来将一个或多个接缝放置在所述3D模型上。
与先前方法相比，所公开的技术的至少一个优点在于不同于先前方法，计算机系统自动地生成用于3D模型的接缝，所述接缝在最小化失真和减少保护语义边界所需的片段数量的同时考虑到语义边界和接缝位置。另外，使用经训练的机器学习模型允许计算机系统基于学习到的最佳实践(即，基于在机器学习模型训练过程期间提取的难以察觉的标准)来生成接缝。
附图说明
为了能够详细地理解各种实施方案的上述特征，可参考各种实施方案来更具体地描述以上简要地概述的发明构思，这些实施方案中的一些在附图中示出。然而，应注意，附图仅示出了本发明构思的典型实施方案，并且因此决不应被认为是对范围的限制，并且存在其他同等有效的实施方案。
图1是示出被配置为实现本公开的一个或多个方面的计算系统的示意图。
图2是根据本公开的各种实施方案的图1的3D建模应用和机器学习模型的更详细图示。
图3是根据本公开的各种实施方案的由图1的3D建模应用执行的预测接缝生成的方法步骤的流程图。
图4是根据本公开的各种实施方案的由图1的3D建模应用执行的使用2D图像的预测接缝生成的方法步骤的流程图。
图5是根据本公开的各种实施方案的由图1的3D建模应用执行的使用图表示的预测接缝生成的方法步骤的流程图。
图6是根据本公开的各种实施方案的使用2D图像的预测接缝生成过程的图示。
图7是根据本公开的各种实施方案的使用图表示的预测接缝生成过程的图示。
具体实施方式
在以下描述中，阐述许多具体细节以提供对各种实施方案的更透彻的理解。然而，对本领域的技术人员将明显的是，可在没有这些具体细节中的一者或多者的情况下实践本发明构思。
图1示出了被配置为实现本公开的一个或多个方面的计算装置100。如图所示，计算装置100包括互连(总线)112，该互连(总线)连接一个或多个处理单元102、耦合到一个或多个输入/输出(I/O)装置108的输入/输出(I/O)装置接口104、存储器116、存储设备114以及连接到网络110的网络接口106。
计算装置100包括服务器计算机、台式计算机、膝上型计算机、智能电话、个人数字助理(PDA)、平板计算机或者被配置为接收输入、处理数据和任选地显示图像的任何其他类型的计算装置，并且适于实践一个或多个实施方案。本文所描述的计算装置100是说明性的，并且任何其他技术上可行的配置都落在本公开的范围内。
处理单元102包括被实现为以下项的任何合适的处理器：中央处理单元(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、诸如张量处理单元(TPU)的人工智能(AI)加速器、任何其他类型的处理单元、或者不同处理单元的组合，诸如被配置为与GPU结合操作的CPU。一般来说，处理单元102可为能够处理数据和/或执行软件应用的任何技术上可行的硬件单元。此外，在本公开的上下文中，计算装置100中示出的计算元件可对应于物理计算系统(例如，数据中心中的系统)，或者可为在计算云内执行的虚拟计算实施方案。
在一个实施方案中，I/O装置108包括能够提供输入的装置，诸如键盘、鼠标、触敏屏等，以及能够提供输出的装置，诸如显示装置。另外，I/O装置108可包括能够接收输入和提供输出两者的装置，诸如触摸屏、通用串行总线(USB)端口等。I/O装置108可被配置为从计算装置100的终端用户(例如，设计者)接收各种类型的输入，并且还将各种类型的输出提供给计算装置100的终端用户，诸如所显示的数字图像或数字视频或文本。在一些实施方案中，I/O装置108中的一个或多个被配置为将计算装置100耦合到网络110。
网络110包括允许在计算装置100与外部实体或装置(诸如web服务器或另一个联网计算装置)之间交换数据的任何技术上可行的通信网络类型。例如，网络110可包括广域网(WAN)、局域网(LAN)、无线(WiFi)网络和/或互联网等。
存储设备114包括用于应用和数据的非易失性存储设备，并且可包括固定或可移动磁盘驱动器、快闪存储器装置以及CD-ROM、DVD-ROM、蓝光光盘、HD-DVD、或者其他磁性、光学或固态存储装置。3D建模应用118和机器学习模型120可存储在存储设备114中并且在执行时加载到存储器116中。
存储器116包括随机存取存储器(RAM)模块、快闪存储器单元、或者任何其他类型的存储器单元或其组合。处理单元102、I/O装置接口104和网络接口106被配置为从存储器116读取数据和将数据写入该存储器。存储器116包括可由处理单元102执行的各种软件程序和与所述软件程序相关联的应用数据，包括3D建模应用118和机器学习模型120。下面关于图2进一步详细地描述3D建模应用118和机器学习模型120。
图2是根据本公开的各种实施方案的图1的3D建模应用118和机器学习模型120的更详细图示。如图所示，3D建模应用118包括但不限于3D模型220、预处理引擎222、接缝可视化引擎224、后处理引擎226以及图形用户界面228。
3D建模应用118使用机器学习模型120的一个或多个模型自动地生成用于3D模型220的一组一个或多个预测接缝。每个预测的接缝指示可沿着其切割和展平3D模型220的可能接缝。在一些实施方案中，3D建模应用118还包括用于生成或修改3D模型(诸如3D模型220)的工具和特征件。在其他实施方案中，3D建模应用118可为与用于生成或修改3D模型220的应用分开的应用或工具，并且可接收3D模型220用于生成预测接缝。
在操作中，预处理引擎222基于3D模型220来生成3D模型数据230，并且将3D模型数据230作为输入数据提供到机器学习模型120。在一些实施方案中，3D模型数据230包括3D模型220的一个或多个表示。
在一个或多个实施方案中，预处理引擎222通过基于3D模型220渲染一组2D图像来生成3D模型数据230。该一组2D图像中的每个2D图像描绘3D模型220的不同视角。3D模型的不同视角可为3D模型的不同缩放比例、观察角度、观察位置、3D模型姿态和/或空间变形的任何组合。另外，对于3D模型220的在所描绘的视角中可见的那部分，每个2D图像可对应于与3D模型220相关的不同类型的信息。不同类型的3D模型信息可为例如法向量、3D位置、线框、高斯曲率、形状指数、弯曲度、球度比或者模型几何形状的任何其他类型的本征量度。
对应于法向量信息的2D图像以红绿蓝(RGB)值表示从2D图像的视角可见的3D模型220的每个顶点的法向量。在2D图像中插值3D模型上的在顶点之间的位置。对应于3D位置信息的2D图像以RGB值表示从2D图像的视角的3D模型的所渲染的每个像素的3D位置。对应于线框信息的2D图像以灰度值表示对应于从2D图像的视角可见的3D模型220的边缘的线。对应于主曲率的2D图像以色调饱和度值(HSV)值表示3D模型的表面在每个点处的极值(即，局部最小值和最大值)弯曲。另外，可从主曲率值导出高斯曲率、形状指数、弯曲度和球度比。对应于高斯曲率信息的2D图像以色调饱和度值(HSV)值表示在最小化失真的同时映射到平面的可能性。对应于形状指数信息的2D图像以HSV值表示五个独特的局部曲率族。对应于弯曲度信息的2D图像以HSV值表示基于加权邻域的纯局部曲率。对应于球度比信息的2D图像以HSV值表示局部曲率与球体的接近程度。
在一个或多个实施方案中，预处理引擎222通过生成3D模型220的图表示来生成3D模型数据230。图表示包括对应于3D模型220的顶点的一组顶点和对应于3D模型220的边的一组边。在一些实施方案中，图表示的每个顶点包括与3D模型220的对应顶点相关的附加信息，诸如对应顶点的法向量、对应顶点的3D位置信息以及在最小化失真的同时对应顶点被映射到平面的可能性。
在一些实施方案中，预处理引擎222将3D模型220划分成多个组。每个组不遮挡该多个组中的其他组或与其交叉。例如，汽车的3D模型可分成包括汽车车轮的第一组和包括汽车车身的第二组。预处理引擎222使用以上讨论的任何技术来生成用于多个组中的每个组的相应3D模型数据230。
在实施方案中，预处理引擎222通过将3D模型220分成连接分量的集合(c)来将3D模型220划分成多个组。连接分量可包括3D模型220的彼此连接的一组顶点和边。例如，对于汽车的3D模型，形成汽车的右前轮的边和顶点将相互连接，但不会连接到形成汽车的左前轮的边和顶点或形成汽车的车身的边和顶点。预处理引擎222可将汽车的3D模型划分成五个连接分量：汽车的右前轮、左前轮、右后轮、左后轮以及车身。
对于集合c中的每个连接分量c[i]，预处理引擎222将该分量添加到新的组G。对于集合c中的每个剩余分量c[j]，预处理引擎222确定c[i]和c[j]是否交叉并且c[i]和c[j]是否彼此遮挡。如果c[i]和c[j]不交叉并且不彼此遮挡，则预处理引擎222将分量c[j]添加到组G并从集合c移除分量c[j]。对集合c中的每个剩余分量重复该过程，直到该集合为空为止。
机器学习模型120从3D建模应用118接收3D模型数据230，并且基于3D模型数据230来生成指示用于3D模型220的一个或多个预测接缝的预测接缝数据240。如果3D模型数据230对应于3D模型220的特定部分和/或3D模型220的特定视角，那么由机器学习模型120生成的预测接缝对应于3D模型220的特定部分和/或3D模型220的特定视角。
机器学习模型120包括一个或多个经训练的机器学习模型，诸如模型210(1)和模型210(2)。尽管图2中示出了两个机器学习模型，但机器学习模型120可包括任意数量的机器学习模型。机器学习模型120中的每个机器学习模型可为任何技术上可行的机器学习模型。在一些实施方案中，机器学习模型120包括递归神经网络(RNN)、卷积神经网络(CNN)、深度神经网络(DNN)、深度卷积网络(DCN)、深度信念网络(DBN)、受限玻尔兹曼机(RBM)、长短期记忆(LSTM)单元、门控循环单元(GRU)、生成对抗网络(GAN)、自组织映射(SOM)和/或其他类型的人工神经网络或人工神经网络的部件。在其他实施方案中，机器学习模型120包括执行聚类、主成分分析(PCA)、潜在语义分析(LSA)、Word2vec和/或另一种无监督、半监督、强化或自监督学习技术的功能。在一些实施方案中，机器学习模型120包括神经网络(浅层或深度)、回归模型、支持向量机、决策树、随机森林、梯度提升树、朴素贝叶斯分类器、贝叶斯网络、分层模型和/或组合模型。
在一些实施方案中，机器学习模型120包括被训练来接收3D模型的2D图像并生成指示2D图像上的预测接缝的数据的经训练机器学习模型。例如，数据可指示2D图像的哪些像素对应于预测接缝。
在一些实施方案中，机器学习模型120包括被训练来接收对应于3D模型的图表示并生成指示图表示的哪些顶点和/或边对应于预测接缝的数据的经训练机器学习模型。
在一些实施方案中，机器学习模型120包括被训练来接收对应于3D模型的体积表示并生成指示体积表示的哪些体素对应于预测接缝的数据的经训练机器学习模型。
在一些实施方案中，机器学习模型120包括被训练来接收3D模型的点云数据并生成指示点云表示中的哪些点对应于预测接缝的数据的经训练机器学习模型。
在一些实施方案中，机器学习模型120包括被训练来接收对应于3D模型的参数表示并生成指示参数表示中的哪些参数值对应于预测接缝的数据的经训练机器学习模型。
另外，在一些实施方案中，机器学习模型120包括一个或多个经训练机器学习模型，一个或多个经训练机器学习模型接收模型数据，该模型数据包括初始的一组预测接缝，并且例如通过以下方式来生成改善或调整的一组预测接缝：移除不满足阈值概率值的预测接缝、将预测接缝减小到指定的厚度、连接两个或更多个预测接缝以填充间隙、使预测接缝平滑、移除孤立的顶点、或者基于模型对称性来调整预测接缝。
在一些实施方案中，由机器学习模型120生成的输出数据包括与预测接缝相关联的概率值。概率值可指示像素、顶点、边、体素或点对应于3D模型220的接缝的可能性。例如，概率值0可与像素、顶点或边相关联，以指示像素、顶点、边、体素或点不太可能对应于接缝，而概率值1可与像素、顶点、边、体素或点相关联，以指示像素、顶点、边、体素或点可能对应于接缝。在一些实施方案中，概率值可为两个二进制值之一，例如指示接缝或不是接缝。在一些实施方案中，概率值可为值的范围，例如以指示百分比可能性。
机器学习模型120的模型可被训练来接收不同类型的输入数据、生成不同类型的输出数据，和/或可用不同的模型和训练超参数和权重进行训练。作为示例，模型210(1)可被训练来接收描绘3D模型的视图的2D图像并且生成指示用于2D图像中描绘的3D模型的视图的预测接缝的输出。模型210(2)可被训练来接收对应于3D模型的图数据并且生成指示图的哪些边被预测为对应于接缝的输出。作为另一个示例，模型210(1)可被训练来接收对应于3D模型的模型数据并且生成指示预测接缝的输出，而模型210(2)可被训练来接收对应于用于3D模型的一个或多个预测接缝的预测接缝数据并且生成指示用于3D模型的一个或多个改善的预测接缝的输出。在一些实施方案中，基于从3D建模应用118接收到的输入类型来选择机器学习模型120的一个或多个模型。
在一些实施方案中，使用不同的训练数据集来训练机器学习模型120的模型。每个训练数据集可对应于不同风格的3D模型，诸如有机、人造、人类、汽车、动物或者其他类别或模型类型。可基于3D模型220的风格来选择机器学习模型120的一个或多个模型。
在一些实施方案中，使用由用户提供的训练数据来训练机器学习模型120的一个或多个模型。例如，用户可提供用户先前创建并为其限定接缝的3D模型的训练集。因此，一个或多个模型被训练来基于从用户的先前工作中学到的偏好和其他标准来生成预测接缝。可基于用户使用3D建模应用118来选择机器学习模型120的一个或多个模型。
在一些实施方案中，机器学习模型120的多个模型接收由3D建模应用118提供的相同输入。因此，机器学习模型120可基于单个输入来生成多组预测接缝。
接缝可视化引擎224接收由机器学习模型120生成的预测接缝数据240并且处理预测接缝数据240。在一些实施方案中，处理预测接缝数据240包括聚合或组合多组预测接缝数据。在一些实施方案中，多组预测接缝数据对应于3D模型220的相同部分或3D模型220的相同视角。例如，提供到机器学习模型120的多个输入可对应于3D模型220的相同视角，但包括与3D模型220相关的不同信息。可基于每个输入来生成相应的一组预测接缝数据。作为另一个示例，机器学习模型120可针对由3D建模应用118提供的每个输入生成多组预测接缝数据。接缝可视化引擎224聚合多组预测接缝数据，以针对3D模型220的部分或在该视角处的3D模型220生成单组预测接缝。在一个或多个实施方案中，接缝可视化引擎224通过识别在多组预测接缝数据之间相同或在彼此的阈值距离内的预测接缝或者移除不属于阈值数量的组的预测接缝数据的预测接缝来聚合多组预测接缝数据。
在一些实施方案中，多组预测接缝数据对应于3D模型220的不同部分或3D模型220的不同视角。接缝可视化引擎224组合多组预测接缝数据。在一个或多个实施方案中，组合多组预测接缝数据包括识别并合并在多组预测接缝数据之间重叠或连接的预测接缝，以生成用于3D模型220的单组预测接缝。在生成单组预测接缝之后，将预测接缝放置在3D模型220上。在一个或多个实施方案中，组合多组预测接缝数据包括针对每组预测接缝数据，基于该组预测接缝数据而将一个或多个预测接缝放置在3D模型220上。接缝可视化引擎224可以类似于以下讨论的方式将预测接缝放置在3D模型220上。在来自多组预测接缝数据的预测接缝放置在3D模型220上之后，3D模型220包括单组预测接缝。
在一些实施方案中，处理预测接缝数据240包括基于预测接缝数据240而将一个或多个预测接缝放置在3D模型220上。在一些实施方案中，预测接缝数据240指示3D模型220上的可放置接缝的位置。接缝可视化引擎224基于由预测接缝数据240指示的位置来将一个或多个预测接缝放置到3D模型220上。在一些实施方案中，预测接缝数据240指示3D模型220的被预测为对应于接缝的一个或多个边和/或一个或多个顶点。接缝可视化引擎224基于一个或多个边和/或一个或多个顶点来将一个或多个预测接缝放置到3D模型220上。
在一些实施方案中，3D模型220的每个边和/或顶点与指示边或顶点对应于接缝的可能性的概率值相关联。将一个或多个预测接缝放置到3D模型220上包括基于预测接缝数据240来更新3D模型220的一个或多个边和/或一个或多个顶点的概率值。
在一些实施方案中，预测接缝数据240包括与3D模型220的图表示的每个顶点相关联的相应概率值。将一个或多个预测接缝放置到3D模型220上包括针对图表示的每个顶点，确定3D模型220的对应顶点并且基于与图表示的顶点相关联的概率值来更新3D模型220的对应顶点的概率值。
在一些实施方案中，预测接缝数据240包括与3D模型220的图表示的每个边相关联的相应概率值。将一个或多个预测接缝放置到3D模型220上包括针对图表示的每个边，确定3D模型220的对应边并且基于与图表示的边相关联的概率值来更新3D模型220的对应边的概率值。
在一些实施方案中，预测接缝数据240包括描绘3D模型220的多个2D图像，并且对于多个2D图像中的每个2D图像，指示2D图像上的预测接缝。接缝可视化引擎224基于在多个2D图像中指示的预测接缝来将预测接缝投射到3D模型220上。
在一些实施方案中，为了将预测接缝投射到3D模型220上，接缝可视化引擎224将概率值q[w]＝0分派到3D模型220的每个顶点w。在一些实施方案中，每个2D图像对应于由相机位置k[v]捕获到的3D模型220的视角v，并且图像的每个像素[i,j]表示该像素对应于3D模型220上的接缝的概率(例如，概率p[i,j]＝＝0不对应于接缝，而概率p[i,j]＝＝1对应于接缝)。
对于每个像素[i,j]，接缝可视化引擎224计算源自相机位置k[v]并穿过该像素的向量。接缝可视化引擎224然后计算向量与3D模型220之间的交点t,n(如果有的话)，其中t表示交点的位置并且n表示交点的法线。
如果在向量与3D模型220之间存在交点，那么接缝可视化引擎224确定3D模型220的最接近该交点的顶点w，并且将该顶点的概率值q[w]更新为概率p[i,j]和q[w]的平均值。在一些实施方案中，接缝可视化引擎224用交点法线n和交点距离|t–k[v]|对概率值q[w]进行加权。在已经基于多个2D图像更新了3D模型220的顶点的概率值之后，接缝可视化引擎224基于与边的顶点相关联的概率值(例如，p[wi]和p[wj])来向3D模型的每个边[wi,wj]分配概率值。在一个实施方案中，分配给边的概率值是分配给边的顶点的概率值中的较大者。
一旦预测接缝已经放置到3D模型上，后处理引擎226就诸如通过以下方式来改善或调整预测接缝：移除不满足阈值概率值的预测接缝、将预测接缝减小到指定的厚度、连接两个或更多个预测接缝以填充间隙、使预测接缝平滑、移除孤立的顶点以及基于模型对称性来调整预测接缝。
在一些实施方案中，为了移除不满足阈值概率值的预测接缝，后处理引擎226确定3D模型220的顶点或边缘是否与低于阈值概率值的概率值相关联。如果顶点或边与低于阈值概率值的概率值相关联，则后处理引擎226将该概率值更新为指示边或顶点不对应于接缝的值，例如概率值零。
在一些实施方案中，为了基于模型对称性来调整预测接缝，后处理引擎226分析3D模型220以识别左右对称地匹配的顶点，例如左手侧和右手侧是对称的。对于任何一对对称的顶点，后处理引擎226用两个概率值的平均值来替换与每个顶点相关联的概率值。
在一些实施方案中，为了填充或减少预测接缝中的间隙，后处理引擎226识别预测接缝的一部分，其中与预测接缝的该部分中的顶点相关联的概率值低于阈值概率值。后处理引擎226将预测接缝的该部分中的顶点的概率值调整为阈值概率值。
在一些实施方案中，预测接缝有多个边厚，例如包括3D模型220的多个平行边。后处理引擎226调整预测接缝，使得它只有单个边厚。例如，如果预测接缝包括三个平行边，则后处理引擎226将与边中的两个相关联的概率值调整为零，以从预测接缝移除所述边。另外，后处理引擎226还可从预测接缝中移除将剩余边连接到被移除的边的任何边。在一些实施方案中，后处理引擎226选择在一组平行边的中间的边作为剩余边。在其他实施方案中，后处理引擎226选择与最高概率值相关联的边作为剩余边。
在一些实施方案中，后处理引擎226从该一组预测接缝移除杂散或孤立的顶点。后处理引擎226识别概率值大于阈值概率值但如果被移除也不会影响连接的接缝的拓扑的顶点。后处理引擎226将与孤立顶点相关联的概率值调整为零，以将它们从该一组预测接缝移除。
在一些实施方案中，为了使预测接缝平滑，后处理引擎226将预测接缝中的一个或多个顶点移动到邻近的顶点。在一些实施方案中，如果移动会减小预测接缝中的连续边之间的角度，则后处理引擎226将顶点移动到邻近的顶点。减小预测接缝中的边之间的角度会将接缝更改为仍紧密接近预测接缝的原始路径的更平滑型式。
在一些实施方案中，后处理引擎226使用机器学习模型120来调整或改善预测接缝。后处理引擎226基于预测接缝来生成3D模型数据230，并且将3D模型数据230提供到机器学习模型120。在一个实施方案中，后处理引擎226生成3D模型220的包括一组预测接缝的图表示。后处理引擎226将图表示提供到机器学习模型120。机器学习模型120调整并改善图表示中的该一组预测接缝。例如，图表示的每个边可与指示边是接缝的可能性的概率值相关联。机器学习模型120通过调整与图表示的边相关联的概率值来调整或改善该一组预测接缝。
图形用户界面228显示3D模型220。在一些实施方案中，图形用户界面228包括用于旋转、放大和缩小以及以其他方式从不同视角查看3D模型220的控件。在一个或多个预测接缝被放置在3D模型220上之后，图形用户界面228进行更新以显示具有其预测接缝的3D模型220。
在一些实施方案中，每个预测接缝与概率值相关联。图形用户界面228显示与每个预测接缝相关联的概率值的视觉指示。例如，图形用户界面228可使用一系列颜色来对应于一定范围的概率值，并且使用对应于与预测接缝相关联的概率值的颜色来显示每个预测接缝。作为另一个示例，当用户将光标放在预测接缝上或选择预测接缝时，图形用户界面228可显示与该预测接缝相关联的概率值。
在一些实施方案中，图形用户界面228包括使用户能够调整一个或多个预测接缝的图形控件。在一些实施方案中，图形用户界面228包括允许用户向3D模型220添加接缝、修改预测接缝、移除预测接缝或者合并两个或更多个预测接缝的工具和控件。在一些实施方案中，在用户已经调整一个或多个预测接缝之后，具有经调整接缝的3D模型220被存储或以其他方式提供到机器学习模型120，以用于训练额外的机器学习模型或改善经训练的机器学习模型。
在一些实施方案中，图形用户界面228包括允许用户改变与预处理引擎222、机器学习模型120、接缝可视化引擎224和/或后处理引擎226相关联的配置设置的工具和控件。作为示例，图形用户界面228可包括用于调整由预处理引擎222生成的输入的图形控件，诸如输入的数量、输入的类型、与在生成输入时使用的3D模型220相关的信息、或者是否将3D模型220划分成多个组。作为另一个示例，图形用户界面228可包括用于从多个3D模型样式中选择3D模型样式的图形控件。每个3D模型样式可对应于不同的机器学习模型，诸如有机、人造、人类、汽车、动物或者用于训练不同机器学习模型的其他样式的3D模型。
在一些实施方案中，图形用户界面228基于改变的配置设置如何影响预测接缝来更新在3D模型220上显示的预测接缝。例如，图形用户界面228可包括用于指定或调整阈值概率值的控件。后处理引擎226可隐藏、丢弃或移除与高于阈值概率值的概率值不相关联的预测接缝。在使用图形用户界面228调整阈值概率值之后，后处理引擎226基于调整的阈值概率值来更新用于3D模型220的预测接缝。图形用户界面228用更新的一组预测接缝来更新3D模型220的显示。
图3是根据本公开的各种实施方案的由图1的3D建模应用118执行的预测接缝生成的方法步骤的流程图。尽管结合图1和图2的系统描述方法步骤，但本领域技术人员将理解，被配置为以任何次序执行方法步骤的任何系统都落入本公开的范围内。
在步骤302中，预处理引擎222处理3D模型220以生成用于机器学习模型120的一个或多个输入。以与上文关于预处理引擎222所公开的方式类似并且如下文关于图4和图5进一步描述的方式来执行生成一个或多个输入。
在一些实施方案中，预处理引擎222通过基于3D模型220渲染一组2D图像来生成一个或多个输入。该一组2D图像中的每个2D图像描绘3D模型220的不同视角。3D模型的不同视角可为不同缩放比例、观察角度、观察位置和/或3D模型姿态的任何组合。另外，对于3D模型220的在所描绘的视角中可见的那部分，每个2D图像可对应于与3D模型220相关的不同类型的信息。
在一些实施方案中，预处理引擎222通过生成3D模型220的图表示来生成一个或多个输入。图表示包括对应于3D模型220的顶点的一组节点和对应于3D模型220的边的一组边。在一些实施方案中，图表示的每个节点包括与3D模型220的对应顶点相关的附加信息，诸如对应顶点的法向量、对应顶点的3D位置信息以及在最小化失真的同时对应顶点被映射到平面的可能性。
在一些实施方案中，预处理引擎222将3D模型220划分成多个组。每个组不遮挡该多个组中的其他组或与其交叉。例如，汽车的3D模型可分成包括汽车车轮的第一组和包括汽车车身的第二组。作为另一个示例，人类的3D模型可分成包括头的组、包括四肢的组以及包括躯干的组。预处理引擎222使用以上讨论的任何技术来生成用于多个组中的每个组的相应3D模型数据230。
在步骤304中，3D建模应用118将机器学习模型120应用于一个或多个输入。在一些实施方案中，应用机器学习模型120包括将一个或多个输入提供到机器学习模型120的一个或多个模型。机器学习模型120接收一个或多个输入，并且基于该一个或多个输入而生成指示用于3D模型220的一个或多个预测接缝的输出数据。如果3D模型数据230对应于3D模型220的特定部分和/或3D模型220的特定视角，那么预测接缝对应于3D模型220的特定部分和/或3D模型220的特定视角。
在步骤306中，3D建模应用118从机器学习模型120接收输出数据。输出数据基于在步骤304中提供到机器学习模型120的一个或多个输入来指示用于3D模型220的一个或多个预测接缝。在一些实施方案中，一个或多个输入包括3D模型220的2D图像，并且从机器学习模型120接收到的输出数据指示2D图像上的预测接缝。在一些实施方案中，一个或多个输入包括对应于3D模型220的图表示，并且从机器学习模型120接收到的输出数据指示图表示的哪些边对应于预测接缝。
在步骤308中，接缝可视化引擎224处理输出数据以生成用于3D模型220的一组预测接缝。以与上文关于接缝可视化引擎224所公开的方式类似并且如下文关于图4和图5进一步描述的方式来执行处理输出数据。在一些实施方案中，处理输出数据包括聚合或组合多组输出数据以生成用于3D模型220的一组组合的预测接缝。在一些实施方案中，处理输出数据包括基于输出数据来将一个或多个接缝放置到3D模型220上。
在一些实施方案中，输出数据指示3D模型220上的被预测为对应于接缝的位置。接缝可视化引擎224基于由输出数据指示的位置来将一个或多个预测接缝放置到3D模型220上。例如，输出数据可指示在描绘3D模型220的2D图像上的预测接缝，并且接缝可视化引擎224基于2D图像将预测接缝投射到3D模型220上。作为另一个示例，输出数据可指示3D模型220的被预测为接缝的部分的一个或多个边和/或一个或多个顶点，并且接缝可视化引擎224基于一个或多个边和/或一个或多个顶点来将一个或多个预测接缝放置到3D模型220上。
在步骤310中，后处理引擎226改善该一组预测接缝。以与上文关于后处理引擎226所公开的方式类似并且如下文关于图4和图5进一步描述的方式来执行改善该一组预测接缝。在一些实施方案中，后处理引擎226通过以下方式来改善该一组预测接缝：移除不满足阈值概率值的预测接缝、将预测接缝减小到指定的厚度、连接两个或更多个预测接缝以填充间隙、使预测接缝平滑、移除孤立的顶点、或者基于模型对称性来调整预测接缝。
在一些实施方案中，后处理引擎226通过使用机器学习模型120来改善该一组预测接缝。后处理引擎226基于预测接缝来生成输入数据，并且将输入数据提供到机器学习模型120。作为示例，后处理引擎226可生成3D模型220的包括一组预测接缝的图表示。后处理引擎226将图表示提供到机器学习模型120。机器学习模型120调整并改善图表示中的该一组预测接缝。
在步骤312中，3D建模应用118将预测接缝应用于3D模型220。在一些实施方案中，响应于经由图形用户界面228接收到接受预测接缝的用户输入，3D建模应用118应用预测接缝。
在一些实施方案中，将预测接缝应用于3D模型220包括沿着预测接缝分割3D模型，并且将3D模型220的所得片段展平为2D纹理图像。在其他实施方案中，将预测接缝应用于3D模型220包括存储具有预测接缝的3D模型220和/或将具有预测接缝的3D模型220提供到执行2D纹理图像生成的不同应用或工具。
图4是根据本公开的各种实施方案的由图1的3D建模应用执行的使用2D图像的预测接缝生成的方法步骤的流程图。尽管结合图1和图2的系统描述方法步骤，但本领域技术人员将理解，被配置为以任何次序执行方法步骤的任何系统都落入本公开的范围内。
在步骤402中，预处理引擎222将3D模型220渲染为一组2D图像。以与上文关于预处理引擎222所公开的方式类似的方式执行将3D模型220渲染为一组2D图像。在一些实施方案中，该一组2D图像中的每个2D图像描绘3D模型220的不同视角。3D模型的不同视角可为不同缩放比例、观察角度、观察位置和/或3D模型姿态的任何组合。另外，对于3D模型220的在所描绘的视角中可见的那部分，每个2D图像可对应于与3D模型220相关的不同类型的信息。在一些实施方案中，预处理引擎222将3D模型220划分成不遮挡且不交叉的多个组。预处理引擎222针对该多个组中的每个组生成相应的一组2D图像。
在步骤404中，3D建模应用118将机器学习模型120应用于该一组2D图像中的2D图像。在一些实施方案中，将机器学习模型120应用于2D图像包括将2D图像提供到机器学习模型120的一个或多个模型。机器学习模型120从3D建模应用118接收2D图像并且基于2D图像来生成指示2D图像上的用于3D模型220的预测接缝的输出数据。
在步骤406中，3D建模应用118从机器学习模型120接收指示2D图像上的预测接缝的输出数据。例如，对于2D图像中的每个像素，输出数据可指示该像素是否被预测为对应于3D模型220上的接缝。
在步骤408中，接缝可视化引擎224基于2D图像来将预测接缝放置在3D模型220上。以与上文关于接缝可视化引擎224所公开的方式类似的方式执行基于2D图像来将预测接缝放置在3D模型220上。在实施方案中，接缝可视化引擎224通过将在2D图像中指示的预测接缝投射到3D模型220上来将预测接缝放置在3D模型上。例如，3D模型220的每个顶点可与指示该顶点是接缝的部分的概率的概率值相关联。对于2D图像的每个像素，接缝可视化引擎224确定3D模型220的对应于该像素的顶点并且基于与该像素相关联的概率值来更新与该顶点相关联的概率值。
针对该一组2D图像中的每个2D图像，重复以上步骤404-408。在针对该一组2D图像执行步骤404-408之后，3D模型220包括对应于该一组2D图像的预测接缝。
在步骤410中，后处理引擎226改善放置在3D模型220上的预测接缝。以与上文关于后处理引擎226所公开的方式类似的方式来执行改善预测接缝。在一些实施方案中，后处理引擎226例如通过以下方式来改善3D模型220上的预测接缝：移除不满足阈值概率值的预测接缝、将预测接缝减小到指定的厚度、连接两个或更多个预测接缝以填充间隙、使预测接缝平滑、移除孤立的顶点、以及基于模型对称性来调整预测接缝。
在一些实施方案中，后处理引擎226使用机器学习模型120来调整或改善预测接缝。后处理引擎226基于预测接缝来生成3D模型数据230，并且将3D模型数据230提供到机器学习模型120。在一个实施方案中，后处理引擎226生成3D模型220的包括一组预测接缝的图表示。后处理引擎226将图表示提供到机器学习模型120。机器学习模型120调整并改善图表示中的该一组预测接缝。例如，图表示的每个边可与指示边是接缝的可能性的概率值相关联。机器学习模型120通过调整与图表示的边相关联的概率值来调整或改善该一组预测接缝。
图5是根据本公开的各种实施方案的由图1的3D建模应用执行的使用图表示的预测接缝生成的方法步骤的流程图。尽管结合图1和图2的系统描述方法步骤，但本领域技术人员将理解，被配置为以任何次序执行方法步骤的任何系统都落入本公开的范围内。
在步骤502中，预处理引擎222处理3D模型220以生成3D模型220的图表示。以与上文关于预处理引擎222所公开的方式类似的方式执行生成3D模型220的图表示。在一些实施方案中，图表示包括对应于3D模型220的顶点的一组顶点和对应于3D模型220的边的一组边。另外，在一些实施方案中，图表示的每个顶点包括与3D模型220的对应顶点相关的附加信息，诸如对应顶点的法向量、对应顶点的3D位置信息以及在最小化失真的同时对应顶点被映射到平面的可能性。
在一些实施方案中，预处理引擎222将3D模型220划分成不遮挡且不交叉的多个组。预处理引擎222针对该多个组中的每个组生成相应的图表示。
在步骤504中，3D建模应用118将机器学习模型120应用于图表示。在一些实施方案中，将机器学习模型120应用于图表示包括将图表示提供到机器学习模型120的一个或多个模型。机器学习模型120从3D建模应用118接收图表示并且基于图表示来生成指示对应于图表示的预测接缝的输出数据。例如，输出数据可指示图表示的一个或多个顶点和/或一个或多个边是否被预测为3D模型220上的接缝的部分。
在步骤506中，3D建模应用118从机器学习模型120接收指示图表示的哪些边和/或顶点对应于3D模型220上的接缝或接缝的部分的输出数据。例如，对于图表示的每个边或顶点，输出数据可指示该边或顶点是否被预测为对应于3D模型220上的接缝。
在步骤508中，接缝可视化引擎224基于输出数据来将一个或多个预测接缝放置在3D模型220上。以与上文关于接缝可视化引擎224所公开的方式类似的方式执行基于输出数据来将预测接缝放置在3D模型220上。在实施方案中，接缝可视化引擎224基于由输出数据指示为对应于接缝的图表示的边和/或顶点来放置一个或多个预测接缝。在一些实施方案中，3D模型220的每个顶点或边可与指示该边或顶点是接缝的部分的概率的概率值相关联。接缝可视化引擎224基于与图表示中的对应边或顶点相关联的概率值来更新每个边或顶点的概率值。
在步骤510中，后处理引擎226改善放置在3D模型220上的预测接缝。以与上文关于后处理引擎226所公开的方式类似的方式来执行改善预测接缝。在一些实施方案中，后处理引擎226例如通过以下方式来改善3D模型220上的预测接缝：移除不满足阈值概率值的预测接缝、将预测接缝减小到指定的厚度、连接两个或更多个预测接缝以填充间隙、使预测接缝平滑、移除孤立的顶点、以及基于模型对称性来调整预测接缝。
在一些实施方案中，后处理引擎226使用机器学习模型120来调整或改善预测接缝。后处理引擎226基于预测接缝来生成3D模型数据230，并且将3D模型数据230提供到机器学习模型120。在一个实施方案中，后处理引擎226生成3D模型220的包括一组预测接缝的图表示。后处理引擎226将图表示提供到机器学习模型120。机器学习模型120调整并改善图表示中的该一组预测接缝。例如，图表示的每个边可与指示边是接缝的可能性的概率值相关联。机器学习模型120通过调整与图表示的边相关联的概率值来调整或改善该一组预测接缝。
图6是根据本公开的各种实施方案的预测接缝生成过程的图示。在图6中，3D模型示出了使用3D建模应用118生成或提供到3D建模应用118的示例3D模型220。
在步骤610中，预处理引擎222基于3D模型来生成一组2D图像。2D图像(1)、2D图像(2)和2D图像(3)示出了由预处理引擎222从3D模型渲染的示例2D图像。如图6所示，每个2D图像描绘3D模型的不同视角。尽管图中未示出，但每个2D图像也可基于与3D模型相关的不同信息。尽管图6中示出了三个2D图像，但可从3D模型渲染任意数量的2D图像。在一些实施方案中，预处理引擎222渲染多个2D图像，使得在至少一个2D图像中描绘3D模型的每个部分。
在步骤620中，3D建模应用118将该一组2D图像提供到机器学习模型120。机器学习模型120接收该一组2D图像，并且针对该一组2D图像中的每个2D图像生成用于3D模型的一个或多个预测接缝。预测接缝(1)、预测接缝(2)和预测接缝(3)分别示出了由机器学习模型120基于2D图像(1)、2D图像(2)和2D图像(3)生成的预测接缝的示例。例如，机器学习模型120接收2D图像(1)并且基于2D图像(1)来生成指示用于在2D图像(1)中描绘的3D模型的视图的一个或多个预测接缝的预测接缝(1)。尽管图6示出了对应于每个2D图像的单个预测接缝，但机器学习模型120可针对由3D建模应用118提供的每个2D图像生成多个预测接缝。
在步骤630中，机器学习模型120将该一组预测接缝(预测接缝(1)、预测接缝(2)和预测接缝(3))提供到3D建模应用118。
在步骤640中，接缝可视化引擎224将该一组预测接缝放置到3D模型上。更新的3D模型示出了由接缝可视化引擎224放置在3D模型上的预测接缝的示例。
图7是根据本公开的各种实施方案的预测接缝生成过程的图示。在图7中，3D模型示出了使用3D建模应用118生成或提供到3D建模应用118的示例3D模型220。
在步骤710中，预处理引擎222基于3D模型来生成图表示。
在步骤720中，3D建模应用118将图表示提供到机器学习模型120。机器学习模型120接收图表示并且生成指示用于3D模型的一个或多个预测接缝的带注释的图表示。带注释的图表示包括指示对于图表示中的每个顶点和/或边，该顶点和/或边是否被预测为用于3D模型的接缝的部分的数据。
在步骤730中，机器学习模型120将带注释的图表示提供到3D建模应用118。
在步骤740中，接缝可视化引擎224基于带注释的图表示来将一个或多个预测接缝放置在3D模型上。更新的3D模型示出了由接缝可视化引擎224放置在3D模型上的预测接缝的示例。
如上文关于图形用户界面228所讨论，图形用户界面显示3D模型和更新的3D模型。在一些实施方案中，图形用户界面228包括使用户能够旋转、缩放和平移更新的3D模型以查看放置在3D模型上的预测接缝的图形控件。在一些实施方案中，图形用户界面228包括使用户能够向更新的3D模型添加接缝、修改放置在更新的3D模型上的预测接缝、移除预测接缝或者合并两个或更多个预测接缝的工具和控件。
在一些实施方案中，3D建模应用118评估用于3D模型的预测接缝和/或由将预测接缝应用于3D模型所产生的UV映射。
在一些实施方案中，验证或评估预测接缝包括例如确定将UV映射应用于3D模型是否导致最小可见失真；UV映射是否被包含在UV空间中的最少数量的壳层内；预测接缝是否放置在3D模型上的隐藏位置或不太可见的位置；或者UV映射是否被限定在优化的UV空间内。
将失真量最小化会最小化在将纹理从2D图像映射到3D模型上时发生的压缩量或拉伸量。在一些实施方案中，确定将UV映射应用于3D模型是否导致最小可见失真可包括确定在将纹理映射到3D模型上时发生了多少压缩或拉伸。确定将UV映射应用于3D模型是否导致最小可见失真还可包括确定压缩量或拉伸量是否在阈值量内。
最小化壳层的数量可保护3D模型的语义边界。在一些实施方案中，确定UV映射是否被包含在UV空间中的最小数量的壳层内包括确定在应用接缝时UV映射中产生多少壳层。确定UV映射是否被包含在UV空间中的最小数量的壳层内还可包括例如基于3D模型中的物体类型、由机器学习模型基于3D模型指示的量或者由用户指示的最大数量的壳层来确定壳层的数量是否在阈值量内。
在一些实施方案中，确定预测接缝是否放置在3D模型上的隐藏位置或不太可见位置包括确定从一个或多个相机位置是否可见预测接缝。一个或多个相机位置可基于3D模型将如何被可视化。例如，如果将从高空视角查看3D模型，那么一个或多个相机位置包括一个或多个高空相机位置。
将UV映射限定在优化的UV空间内减少了存储和处理UV映射所需要的资源量，例如，计算机存储空间、计算机存储器使用和网络带宽。在一些实施方案中，确定UV映射是否被限定在优化的UV空间内包括确定UV映射的大小。确定UV映射是否被限定在优化的UV空间内还可包括确定该大小是否在阈值尺寸内。在一些实施方案中，确定UV映射是否被限定在优化的UV空间内包括与对应于3D模型的空间量相比，确定UV映射中的空的空间量。
在一些实施方案中，评估预测接缝可包括生成与预测接缝相关联的一个或多个验证值。验证值可指示例如该一组预测接缝是正确的置信水平、该一组预测接缝是否满足以上讨论的标准中的一个或多个、预测接缝是用于3D模型的似真接缝的可能性、该一组预测接缝与用于3D模型的一组提供的接缝(例如，先前由用户创建)有多紧密匹配。可在图形用户界面228中向用户显示一个或多个验证值。例如，3D建模应用118可生成并显示指示一个或多个验证值的分析报告。
在一些实施方案中，生成一个或多个验证值包括生成与预测接缝相关联的置信区间。基于一组验证样本来评估机器学习模型120的准确性。可基于用于生成预测接缝的机器学习模型120的特定机器学习模型的准确性来生成置信区间。置信区间指示机器学习模型对预测接缝的子集的置信度。
在一些实施方案中，生成一个或多个验证值包括将预测接缝与为3D模型提供的一组接缝进行比较。该一组提供的接缝可为例如先前由用户或由其他机器学习模型针对3D模型的创建的接缝。基于比较(诸如失真差异、壳层数量差异、真位置率、假位置率或假阴性率)来生成一个或多个验证值。
在一些实施方案中，生成一个或多个验证值包括将预测接缝提供到一个或多个经训练的机器学习模型，所述经训练的机器学习模型被训练来接收指示一组预测接缝的输入并且生成指示该一组预测接缝的准确性的输出。一个或多个经训练的机器学习模型可为用于评估由生成预测接缝的对应机器学习模型产生的结果的判别模型。
在一些实施方案中，基于评估预测接缝，具有预测接缝的3D模型被存储或以其他方式提供到机器学习模型120，以用于训练额外的机器学习模型或改善经训练的机器学习模型。例如，如果评估指示预测接缝不满足以上讨论的标准，则可改善预测接缝或者可将3D模型提供给一个或多个用户以手动限定一组接缝。具有改善或手动限定的接缝的3D模型作为训练输入提供到机器学习模型120。使用评估结果来重新训练机器学习模型的一个优点在于，机器学习模型可从与先前用于训练机器学习模型的3D模型不一致的3D模型(诸如具有不常见形状或描绘新的物体类型的3D模型)中学习。
总之，计算机系统为3D模型生成一组接缝，该一组接缝指示3D模型可如何展开和展平为2D图像以应用纹理。计算机系统处理3D模型以生成提供到经训练的神经网络的一个或多个输入。
经训练的神经网络被配置为接收一个或多个输入并且生成指示用于3D模型的一个或多个预测接缝的输出。计算机系统进一步改善一个或多个预测接缝以例如提高对称性、拉直接缝线并减少失真。另外，计算机系统使用户能够经由GUI来查看3D模型上的一个或多个预测接缝、修改参数以改善预测接缝、以及选择指示接受哪些预测接缝的概率阈值。
在一种方法中，为了生成用于经训练的神经网络的一个或多个输入，计算机系统将3D模型渲染成一组2D图像，其中每个2D图像从不同的视角描绘3D模型。经训练的神经网络接收每个2D图像，并且基于该2D图像生成每个2D图像上的预测接缝的指示。基于2D图像上的预测接缝的位置和2D图像所描绘的视角，计算机系统将预测接缝放置到3D模型上的对应位置。
在另一种方法中，为了生成用于经训练的神经网络的一个或多个输入，计算机系统生成3D模型的图表示。图表示作为输入提供到经训练的神经网络，并且经训练的神经网络生成指示图表示的每个边或顶点是否被预测为接缝或接缝的部分的输出。基于3D模型的被预测为接缝或接缝的部分的边，计算机系统将预测接缝放置到3D模型上的对应边处。
在另一种方法中，使用第一经训练的神经网络来生成第一组预测接缝。计算机系统处理第一组预测接缝以生成用于第二经训练的神经网络的输入。第二经训练的神经网络被配置为接收第一组预测接缝，并且例如通过提高对称性、拉直接缝线以及减少失真来改善第一组预测接缝以生成第二组预测接缝。可使用以上讨论的任何方法来生成提供到第一经训练神经网络和第二经训练神经网络的输入。例如，可通过将3D模型的一组2D图像提供到第一经训练的神经网络来生成第一组预测接缝。在计算机系统将第一组预测接缝放置到3D模型上之后，计算机系统生成包括第一组预测接缝的3D模型的图表示。图表示作为输入提供到第二经训练的神经网络。
与先前方法相比，所公开的技术的至少一个优点在于不同于先前方法，计算机系统自动地生成用于3D模型的接缝，所述接缝在最小化失真和布局效率低的同时考虑到语义边界和接缝位置。这些技术优点提供优于现有技术方法的一个或多个技术进步。
1.在一些实施方案中，一种用于自动地生成用于三维(3D)模型的接缝的方法包括：基于所述3D模型来生成所述3D模型的一个或多个表示以作为一个或多个经训练的机器学习模型的输入；通过将所述一个或多个经训练的机器学习模型应用于所述3D模型的所述一个或多个表示来生成与所述3D模型相关联的一组接缝预测，其中所述一组接缝预测中包括的每个接缝预测识别能够沿其切割所述3D模型的不同接缝；以及基于所述一组接缝预测来将一个或多个接缝放置在所述3D模型上。
2.如条款1所述的方法，所述方法还包括：将所述3D模型划分成多个组；以及针对所述多个组中的每个组，生成所述3D模型的相应的一个或多个表示以作为所述一个或多个经训练的机器学习模型的输入。
3.如条款1和2中任一项所述的方法，其中所述3D模型的所述一个或多个表示包括一个或多个2D图像，其中所述一组接缝预测指示对于所述一个或多个2D图像中的每个2D图像，所述2D图像中的相应的一个或多个接缝预测。
4.如条款1-3中任一项所述的方法，其中将所述一个或多个接缝放置在所述3D模型上包括对于所述一个或多个2D图像中的每个2D图像，将所述2D图像中的所述相应的一个或多个接缝预测投射到所述3D模型上。
5.如条款1-4中任一项所述的方法，其中所述3D模型的所述一个或多个表示包括所述3D模型的图表示，其中所述一组接缝预测指示所述图表示的被预测为接缝的部分的一个或多个边。
6.如条款1-5中任一项所述的方法，其中将所述一个或多个接缝放置在所述3D模型上包括：针对所述图表示的被预测为接缝的部分的所述一个或多个边中的每个边，确定所述3D模型的对应边；以及将接缝的边放置在所述3D模型的所述对应边处。
7.如条款1-6中任一项所述的方法，其中所述3D模型的所述一个或多个表示包括所述3D模型的图表示，其中所述一组接缝预测指示所述图表示的被预测为接缝的部分的一个或多个顶点。
8.如条款1-7中任一项所述的方法，其中将所述一个或多个接缝放置在所述3D模型上包括：针对所述图表示的被预测为接缝的部分的所述一个或多个顶点中的每个顶点，确定所述3D模型的对应顶点；以及将接缝的顶点放置在所述3D模型的所述对应顶点处。
9.如条款1-8中任一项所述的方法，其中所述3D模型包括多个边，其中每个边与指示所述边对应于接缝的可能性的相应接缝概率值相关联，其中将所述一个或多个接缝放置在所述3D模型上包括：确定所述多个边中的与所述一个或多个接缝相关联的一个或多个边；以及针对所述一个或多个边中的每个边，更新与所述边相关联的所述相应接缝概率值。
10.如条款1-9中任一项所述的方法，其中所述3D模型包括多个顶点，其中每个顶点与指示所述顶点对应于接缝的可能性的相应接缝概率值相关联，其中将所述一个或多个接缝放置在所述3D模型上包括：确定所述多个顶点中的与所述一个或多个接缝相关联的一个或多个顶点；以及针对所述一个或多个顶点中的每个顶点，更新与所述顶点相关联的所述相应接缝概率值。
11.如条款1-10中任一项所述的方法，所述方法还包括通过至少评估所述一组接缝预测的接缝预测的子集来生成与所述一组接缝预测相关联的验证值。
12.如条款1-11中任一项所述的方法，所述方法还包括改善所述一个或多个接缝，其中改善所述一个或多个接缝包括以下一者或多者：移除所述一个或多个接缝中的一个或多个特定接缝；减小所述一个或多个接缝中的一个或多个特定接缝的厚度；连接所述一个或多个接缝中的两个或更多个特定接缝；使所述一个或多个接缝中的一个或多个特定接缝平滑；移除一个或多个接缝顶点；基于所述3D模型的对称性来调整所述一个或多个接缝中的一个或多个特定接缝。
13.如条款1-12中任一项所述的方法，所述方法还包括改善所述一个或多个接缝，其中改善所述一个或多个接缝包括：基于所述一个或多个接缝来生成所述3D模型的图表示；通过将所述一个或多个经训练的机器学习模型应用于所述3D模型的所述图表示来生成与所述3D模型相关联的一组改善的接缝预测；以及基于所述一组改善的接缝预测来更新所述一个或多个接缝。
14.在一些实施方案中，一种非暂时性计算机可读介质存储程序指令，所述程序指令在由一个或多个处理器执行时使所述一个或多个处理器执行以下步骤：基于三维(3D)模型来生成所述3D模型的一个或多个表示以作为一个或多个经训练的机器学习模型的输入；通过将所述一个或多个经训练的机器学习模型应用于所述3D模型的所述一个或多个表示来生成与所述3D模型相关联的一组接缝预测，其中所述一组接缝预测中包括的每个接缝预测识别能够沿其切割所述3D模型的不同接缝；以及基于所述一组接缝预测来将一个或多个接缝放置在所述3D模型上。
15.如条款14所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质还包括指令，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行以下步骤：将所述3D模型划分成多个组；以及针对所述多个组中的每个组，生成所述3D模型的相应的一个或多个表示以作为所述一个或多个经训练的机器学习模型的输入。
16.如条款14和15中任一项所述的非暂时性计算机可读介质，其中所述3D模型的所述一个或多个表示包括一个或多个2D图像，其中所述一组接缝预测指示对于所述一个或多个2D图像中的每个2D图像，所述2D图像中的相应的一个或多个接缝预测，其中将所述一个或多个接缝放置在所述3D模型上包括对于所述一个或多个2D图像中的每个2D图像，将所述2D图像中的所述相应的一个或多个接缝预测投射到所述3D模型上。
17.如条款14-16中任一项所述的非暂时性计算机可读介质，其中所述3D模型的所述一个或多个表示包括所述3D模型的图表示，其中所述一组接缝预测指示所述图表示的被预测为接缝的部分的一个或多个边，其中将所述一个或多个接缝放置在所述3D模型上包括：针对所述图表示的被预测为接缝的部分的所述一个或多个边中的每个边，确定所述3D模型的对应边；以及将接缝的边放置在所述3D模型的所述对应边处。
18.如条款14-17中任一项所述的非暂时性计算机可读介质，其中所述3D模型的所述一个或多个表示包括所述3D模型的图表示，其中所述一组接缝预测指示所述图表示的被预测为接缝的部分的一个或多个顶点，并且其中将所述一个或多个接缝放置在所述3D模型上包括：针对所述图表示的被预测为接缝的部分的所述一个或多个顶点中的每个顶点，确定所述3D模型的对应顶点；以及将接缝的顶点放置在所述3D模型的所述对应顶点处。
19.如条款14-18中任一项所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质还包括指令，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行以下步骤：基于所述一个或多个接缝来生成所述3D模型的图表示；通过将所述一个或多个经训练的机器学习模型应用于所述3D模型的所述图表示来生成与所述3D模型相关联的一组改善的接缝预测；以及基于所述一组改善的接缝预测来更新所述一个或多个接缝。
20.在一些实施方案中，一种系统包括：存储器，所述存储器存储一个或多个软件应用；以及处理器，所述处理器在执行所述一个或多个软件应用时被配置为执行以下步骤：基于三维(3D)模型来生成所述3D模型的一个或多个表示以作为一个或多个经训练的机器学习模型的输入；通过将所述一个或多个经训练的机器学习模型应用于所述3D模型的所述一个或多个表示来生成与所述3D模型相关联的一组接缝预测，其中所述一组接缝预测中包括的每个接缝预测识别能够沿其切割所述3D模型的不同接缝；以及基于所述一组接缝预测来将一个或多个接缝放置在所述3D模型上。
任何权利要求中阐述的任何权利要求要素和/或本申请中描述的任何要素以任何方式进行的任何和所有组合都落在本发明和保护的设想范围内。
已经出于说明的目的呈现了对各种实施方案的描述，但这些描述并非意图是详尽的或限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下，许多修改和变化对本领域的普通技术人员将是明显的。
本发明实施方案的各方面可体现为系统、方法或计算机程序产品。因此，本公开的各方面可采用全硬件实施方案、全软件实施方案(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施方案的形式，所述软件和硬件方面在本文中可全部概括地称为“模块”、“系统”或“计算机”。另外，本公开中描述的任何硬件和/或软件技术、过程、功能、部件、引擎、模块或系统都可被实现为电路或一组电路。此外，本公开的各方面可采用体现在一个或多个计算机可读介质中的计算机程序产品的形式，该一个或多个计算机可读介质具有在其上体现的计算机可读程序代码。
可利用一个或多个计算机可读介质的任何组合。计算机可读介质可为计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可为例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置、或者前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下项：具有一条或多条接线的电气连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置、或者前述的任何合适的组合。在本文档的背景下，计算机可读存储介质可为可包含或存储由或结合指令执行系统、设备或装置使用的程序的任何有形介质。
以上参考根据本公开的实施方案的方法、设备(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应理解，可通过计算机程序指令来实现流程图和/或框图中的每个框以及流程图和/或框图中的框组合。这些计算机程序指令可提供到通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器。指令在经由计算机或其他可编程数据处理设备的处理器执行时使得实现流程图和/或框图的一个或多个框中指定的功能/动作。这样的处理器可为但不限于通用处理器、专用处理器、应用特定的处理器或现场可编程门阵列。
附图中的流程图和框图示出了根据本公开的各种实施方案的系统、方法和计算机程序产品的可能的实现方式的架构、功能和操作。就这一点而言，流程图或框图中的每个框都可表示代码的模块、片段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。还应注意，在一些替代实现方式中，框中指出的功能可按附图中指出的次序以外的次序发生。例如，连续示出的两个框实际上可基本上同时执行，或者所述框有时可按相反的次序执行，这取决于所涉及的功能。还应注意，框图和/或流程图中的每个框以及框图和/或流程图中的框组合可由执行指定功能或动作的基于专用硬件的系统、或专用硬件和计算机指令的组合来实现。
虽然前述内容针对本公开的实施方案，但是在不脱离本公开的基本范围的情况下可设想本公开的其他和另外的实施方案，并且本公开的范围由所附权利要求确定。

Claims (20)

1.一种用于自动地生成用于三维(3D)模型的接缝的方法，所述方法包括：
基于所述3D模型来生成所述3D模型的一个或多个表示以作为一个或多个经训练的机器学习模型的输入；
通过将所述一个或多个经训练的机器学习模型应用于所述3D模型的所述一个或多个表示来生成与所述3D模型相关联的一组接缝预测，其中所述一组接缝预测中包括的每个接缝预测识别能够沿其切割所述3D模型的不同接缝；以及
基于所述一组接缝预测来将一个或多个接缝放置在所述3D模型上。
2.如权利要求1所述的方法，所述方法还包括：
将所述3D模型划分成多个组；以及
针对所述多个组中的每个组，生成所述3D模型的相应的一个或多个表示以作为所述一个或多个经训练的机器学习模型的输入。
3.如权利要求1所述的方法，其中所述3D模型的所述一个或多个表示包括一个或多个2D图像，其中所述一组接缝预测指示对于所述一个或多个2D图像中的每个2D图像，所述2D图像中的相应的一个或多个接缝预测。
4.如权利要求3所述的方法，其中将所述一个或多个接缝放置在所述3D模型上包括对于所述一个或多个2D图像中的每个2D图像，将所述2D图像中的所述相应的一个或多个接缝预测投射到所述3D模型上。
5.如权利要求1所述的方法，其中所述3D模型的所述一个或多个表示包括所述3D模型的图表示，其中所述一组接缝预测指示所述图表示的被预测为接缝的部分的一个或多个边。
6.如权利要求5所述的方法，其中将所述一个或多个接缝放置在所述3D模型上包括：
针对所述图表示的被预测为接缝的部分的所述一个或多个边中的每个边，确定所述3D模型的对应边；以及
将接缝的边放置在所述3D模型的所述对应边处。
7.如权利要求1所述的方法，其中所述3D模型的所述一个或多个表示包括所述3D模型的图表示，其中所述一组接缝预测指示所述图表示的被预测为接缝的部分的一个或多个顶点。
8.如权利要求7所述的方法，其中将所述一个或多个接缝放置在所述3D模型上包括：
针对所述图表示的被预测为接缝的部分的所述一个或多个顶点中的每个顶点，确定所述3D模型的对应顶点；以及
将接缝的顶点放置在所述3D模型的所述对应顶点处。
9.如权利要求1所述的方法，其中所述3D模型包括多个边，其中每个边与指示所述边对应于接缝的可能性的相应接缝概率值相关联，其中将所述一个或多个接缝放置在所述3D模型上包括：
确定所述多个边中的与所述一个或多个接缝相关联的一个或多个边；以及
针对所述一个或多个边中的每个边，更新与所述边相关联的所述相应接缝概率值。
10.如权利要求1所述的方法，其中所述3D模型包括多个顶点，其中每个顶点与指示所述顶点对应于接缝的可能性的相应接缝概率值相关联，其中将所述一个或多个接缝放置在所述3D模型上包括：
确定所述多个顶点中的与所述一个或多个接缝相关联的一个或多个顶点；以及
针对所述一个或多个顶点中的每个顶点，更新与所述顶点相关联的所述相应接缝概率值。
11.如权利要求1所述的方法，所述方法还包括通过至少评估所述一组接缝预测的接缝预测的子集来生成与所述一组接缝预测相关联的验证值。
12.如权利要求1所述的方法，所述方法还包括改善所述一个或多个接缝，其中改善所述一个或多个接缝包括以下一者或多者：移除所述一个或多个接缝中的一个或多个特定接缝；减小所述一个或多个接缝中的一个或多个特定接缝的厚度；连接所述一个或多个接缝中的两个或更多个特定接缝；使所述一个或多个接缝中的一个或多个特定接缝平滑；移除一个或多个接缝顶点；基于所述3D模型的对称性来调整所述一个或多个接缝中的一个或多个特定接缝。
13.如权利要求1所述的方法，所述方法还包括改善所述一个或多个接缝，其中改善所述一个或多个接缝包括：
基于所述一个或多个接缝来生成所述3D模型的图表示；
通过将所述一个或多个经训练的机器学习模型应用于所述3D模型的所述图表示来生成与所述3D模型相关联的一组改善的接缝预测；以及
基于所述一组改善的接缝预测来更新所述一个或多个接缝。
14.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括指令，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行以下步骤：
基于三维(3D)模型来生成所述3D模型的一个或多个表示以作为一个或多个经训练的机器学习模型的输入；
通过将所述一个或多个经训练的机器学习模型应用于所述3D模型的所述一个或多个表示来生成与所述3D模型相关联的一组接缝预测，其中所述一组接缝预测中包括的每个接缝预测识别能够沿其切割所述3D模型的不同接缝；以及
基于所述一组接缝预测来将一个或多个接缝放置在所述3D模型上。
15.如权利要求14所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质还包括指令，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行以下步骤：
将所述3D模型划分成多个组；以及
针对所述多个组中的每个组，生成所述3D模型的相应的一个或多个表示以作为所述一个或多个经训练的机器学习模型的输入。
16.如权利要求14所述的非暂时性计算机可读介质，其中所述3D模型的所述一个或多个表示包括一个或多个2D图像，其中所述一组接缝预测指示对于所述一个或多个2D图像中的每个2D图像，所述2D图像中的相应的一个或多个接缝预测，其中将所述一个或多个接缝放置在所述3D模型上包括对于所述一个或多个2D图像中的每个2D图像，将所述2D图像中的所述相应的一个或多个接缝预测投射到所述3D模型上。
17.如权利要求14所述的非暂时性计算机可读介质，其中所述3D模型的所述一个或多个表示包括所述3D模型的图表示，其中所述一组接缝预测指示所述图表示的被预测为接缝的部分的一个或多个边，其中将所述一个或多个接缝放置在所述3D模型上包括：
针对所述图表示的被预测为接缝的部分的所述一个或多个边中的每个边，确定所述3D模型的对应边；以及
将接缝的边放置在所述3D模型的所述对应边处。
18.如权利要求14所述的非暂时性计算机可读介质，其中所述3D模型的所述一个或多个表示包括所述3D模型的图表示，其中所述一组接缝预测指示所述图表示的被预测为接缝的部分的一个或多个顶点，并且其中将所述一个或多个接缝放置在所述3D模型上包括：
针对所述图表示的被预测为接缝的部分的所述一个或多个顶点中的每个顶点，确定所述3D模型的对应顶点；以及
将接缝的顶点放置在所述3D模型的所述对应顶点处。
19.如权利要求14所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质还包括指令，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行以下步骤：
基于所述一个或多个接缝来生成所述3D模型的图表示；
通过将所述一个或多个经训练的机器学习模型应用于所述3D模型的所述图表示来生成与所述3D模型相关联的一组改善的接缝预测；以及
基于所述一组改善的接缝预测来更新所述一个或多个接缝。
20.一种系统，所述系统包括：
存储器，所述存储器存储一个或多个软件应用；以及
处理器，所述处理器在执行所述一个或多个软件应用时被配置为执行以下步骤：
基于三维(3D)模型来生成所述3D模型的一个或多个表示以作为一个或多个经训练的机器学习模型的输入；
通过将所述一个或多个经训练的机器学习模型应用于所述3D模型的所述一个或多个表示来生成与所述3D模型相关联的一组接缝预测，其中所述一组接缝预测中包括的每个接缝预测识别能够沿其切割所述3D模型的不同接缝；以及
基于所述一组接缝预测来将一个或多个接缝放置在所述3D模型上。
CN202110957845.XA 2020-08-24 2021-08-19 使用人工智能在3d物体上进行uv映射 Pending CN114092615A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/000,856 2020-08-24
US17/000,856 US11915362B2 (en) 2020-08-24 2020-08-24 UV mapping on 3D objects with the use of artificial intelligence

Publications (1)

Publication Number Publication Date
CN114092615A true CN114092615A (zh) 2022-02-25

Family

ID=77431260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110957845.XA Pending CN114092615A (zh) 2020-08-24 2021-08-19 使用人工智能在3d物体上进行uv映射

Country Status (4)

Country Link
US (2) US11915362B2 (zh)
EP (1) EP3961573A3 (zh)
JP (1) JP7129529B2 (zh)
CN (1) CN114092615A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3958182A1 (en) * 2020-08-20 2022-02-23 Dassault Systèmes Variational auto-encoder for outputting a 3d model
US11816793B2 (en) * 2021-01-06 2023-11-14 Eagle Technology, Llc Geospatial modeling system providing 3D geospatial model update based upon iterative predictive image registration and related methods
US11636649B2 (en) 2021-01-06 2023-04-25 Eagle Technology, Llc Geospatial modeling system providing 3D geospatial model update based upon predictively registered image and related methods
US11978149B2 (en) * 2021-06-21 2024-05-07 The Weather Company, Llc UV map using weight painting
US20230039397A1 (en) * 2021-08-04 2023-02-09 International Business Machines Corporation Using artificial intelligence to optimize seam placement on 3d models
CN116977530B (zh) * 2023-07-11 2024-08-27 优酷网络技术（北京）有限公司 三维模型的处理方法、装置、电子设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2584960A1 (en) 2004-10-21 2006-05-04 Charles L. Niblett Methods and materials for conferring resistance to pests and pathogens of plants
US10755145B2 (en) 2017-07-07 2020-08-25 Carnegie Mellon University 3D spatial transformer network
KR101966732B1 (ko) 2018-10-29 2019-04-08 한국지질자원연구원 석회석 광산 갱내의 디지털 사진 자료를 이용한 암상 분석 방법
US10489683B1 (en) 2018-12-17 2019-11-26 Bodygram, Inc. Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
JP7067709B1 (ja) 2022-02-28 2022-05-16 株式会社ワコール スキンモデルから骨格に基づく体長を統計的に分析するプログラム、装置及び方法

Also Published As

Publication number Publication date
US20220058859A1 (en) 2022-02-24
EP3961573A2 (en) 2022-03-02
JP7129529B2 (ja) 2022-09-01
US11915362B2 (en) 2024-02-27
EP3961573A3 (en) 2022-03-30
JP2022036918A (ja) 2022-03-08
US20240169661A1 (en) 2024-05-23

Similar Documents

Publication Publication Date Title
US11915362B2 (en) UV mapping on 3D objects with the use of artificial intelligence
CN108389251B (zh) 基于融合多视角特征的投影全卷积网络三维模型分割方法
Guney et al. Displets: Resolving stereo ambiguities using object knowledge
Le et al. Interactive boundary prediction for object selection
Zhu et al. Reda: reinforced differentiable attribute for 3d face reconstruction
Matuszewski et al. Minimal annotation training for segmentation of microscopy images
CA3137297C (en) Adaptive convolutions in neural networks
KR20230097157A (ko) 개인화된 3d 헤드 모델 변형을 위한 방법 및 시스템
JP7462120B2 (ja) ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム
JP7294788B2 (ja) ３ｄ配置のタイプに応じた２ｄ画像の分類
US11769309B2 (en) Method and system of rendering a 3D image for automated facial morphing with a learned generic head model
EP4404148A1 (en) Image processing method and apparatus, and computer-readable storage medium
US20230100427A1 (en) Face image processing method, face image processing model training method, apparatus, device, storage medium, and program product
KR20230110787A (ko) 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들
CN116385667B (zh) 三维模型的重建方法、纹理重构模型的训练方法以及装置
US20220301348A1 (en) Face reconstruction using a mesh convolution network
Li et al. Multi-attribute regression network for face reconstruction
US20240029358A1 (en) System and method for reconstructing 3d garment model from an image
CN118262034A (zh) 从图像重建可动画化的三维人类头部模型的系统和方法
CN111489373A (zh) 一种基于深度学习的遮挡物体分割方法
CN115841546A (zh) 一种场景结构关联的地铁站多视矢量仿真渲染方法及系统
Chen et al. Deep learning framework-based 3D shape reconstruction of tanks from a single RGB image
CN118521699B (zh) 一种虚拟人三维头发丝发型的生成方法及系统
CN114331827B (zh) 风格迁移方法、装置、设备和存储介质
US20240303983A1 (en) Techniques for monocular face capture using a perceptual shape loss

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination