CN116051705A - 模型训练方法、3d服装渲染方法、电子设备及存储介质 - Google Patents
模型训练方法、3d服装渲染方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116051705A CN116051705A CN202211149809.1A CN202211149809A CN116051705A CN 116051705 A CN116051705 A CN 116051705A CN 202211149809 A CN202211149809 A CN 202211149809A CN 116051705 A CN116051705 A CN 116051705A
- Authority
- CN
- China
- Prior art keywords
- texture map
- clothing
- texture
- mapping
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000009877 rendering Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 title claims abstract description 25
- 238000013508 migration Methods 0.000 claims abstract description 93
- 230000005012 migration Effects 0.000 claims abstract description 93
- 238000013507 mapping Methods 0.000 claims abstract description 72
- 239000013598 vector Substances 0.000 claims abstract description 71
- 230000009466 transformation Effects 0.000 claims abstract description 13
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 239000000463 material Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000001465 metallisation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
Abstract
本申请实施例提供了一种模型训练方法、3D服装渲染方法、电子设备及存储介质，涉及模型渲染领域，纹理贴图生成模型的训练方法包括：通过映射网络将随机参数映射为隐空间数据，根据隐空间数据进行仿射变换得到纹理贴图风格向量，并将纹理贴图风格向量输入至多个迁移层中；将卷积层的输出向量叠加随机参数，并将叠加随机参数后的输出向量输入至迁移层，并将迁移层输出的数据作为下一卷积层的输入，并根据最后一层迁移层的输出，生成预测服装纹理贴图；将预测服装纹理贴图以及真实服装纹理贴图输入判别器中，通过判别器输出预测服装纹理贴图以及真实服装纹理贴图分别对应的判别结果；根据判别结果调整纹理贴图生成模型以训练纹理贴图生成模型。
Description
技术领域
本申请实施例涉及模型渲染领域，尤其涉及一种模型训练方法、3D服装渲染方法、电子设备及存储介质。
背景技术
在设计领域，纹理贴图作为3D模型的渲染素材十分重要。尤其随着元宇宙的兴起，人们对3D模型的服装等也存在着多样化的需求。
然而，一般情况下，每个适用于3D模型的服装都需要专门的服装设计人员进行设计，并由相关的工作人员根据设计结果生成应用于3D模型的服装纹理贴图，并基于服装纹理贴图进行渲染，才可以将设计出的服装应用至3D模型上并进行呈现，过程极为繁琐且所需要的人工成本较高，无法满足元宇宙等用户日益增长的服装多样性的需求。
发明内容
有鉴于此，本申请实施例提供一种模型训练方案，以至少部分解决上述问题。
根据本申请实施例的第一方面，提供了一种纹理贴图生成模型的训练方法，其中，所述纹理贴图生成模型包括映射网络和生成网络，所述生成网络包括多层间隔设置的卷积层以及迁移层，所述方法包括：通过所述映射网络将随机参数映射为隐空间数据，根据所述隐空间数据进行仿射变换得到纹理贴图风格向量，并将所述纹理贴图风格向量输入至多个迁移层中；针对多层间隔设置的所述卷积层以及所述迁移层，将卷积层的输出向量叠加所述随机参数，并将叠加所述随机参数后的所述输出向量输入至迁移层，通过迁移层按照所述纹理贴图风格向量进行风格迁移，并将输出的数据作为下一卷积层的输入，并根据最后一层迁移层的输出，生成预测服装纹理贴图；将所述预测服装纹理贴图以及用于3D服装模型的真实服装纹理贴图输入判别器中，通过所述判别器输出所述预测服装纹理贴图以及所述真实服装纹理贴图分别对应的判别结果；根据所述预测服装纹理贴图以及所述真实服装纹理贴图分别对应的判别结果，调整所述纹理贴图生成模型以及所述判别器的参数以训练所述纹理贴图生成模型，训练后的所述纹理贴图生成模型用于根据所述随机参数生成用于3D服装模型的服装纹理贴图。
根据本申请实施例的第二方面，提供了一种3D服装渲染方法，包括：通过训练后的纹理贴图生成模型，根据随机参数生成用于3D服装模型的服装纹理贴图，其中，所述纹理贴图生成模型根据如上第一方面所述的纹理贴图生成模型的训练方法训练得到；根据所述服装纹理贴图进行3D服装渲染。
根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上所述方法对应的操作。
根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上第一方面或者第二方面所述的方法。
本申请实施例提供的模型训练方案中，纹理贴图生成模型包括映射网络和生成网络，生成网络包括多层间隔设置的卷积层以及迁移层，在训练纹理贴图生成模型的过程中，可以通过映射网络将随机参数映射为隐空间数据，根据隐空间数据进行仿射变换得到纹理贴图风格向量，并将纹理贴图风格向量输入至多个迁移层中；针对多层间隔设置的卷积层以及迁移层，将卷积层的输出向量叠加随机参数，并将叠加随机参数后的所述输出向量输入至迁移层，通过迁移层按照纹理贴图风格向量进行风格迁移，并将输出的数据作为下一卷积层的输入，并根据最后一层迁移层的输出，生成预测服装纹理贴图；将预测服装纹理贴图以及用于3D服装模型的真实服装纹理贴图输入判别器中，通过判别器输出预测服装纹理贴图以及真实服装纹理贴图分别对应的判别结果；根据预测服装纹理贴图以及真实服装纹理贴图分别对应的判别结果，调整纹理贴图生成模型以及判别器的参数以训练纹理贴图生成模型，训练后的纹理贴图生成模型用于根据随机参数生成用于3D服装模型的服装纹理贴图。通过本实施例提供的方案训练出的纹理贴图生成模型，可以直接根据随机参数生成服装纹理贴图，极大地节省了设计成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为适用本申请实施例的方法的示例性系统的示意图；
图2A为根据本申请实施例一的一种模型结构示意图；
图2B为图2A所示实施例中的一种模型训练方法的步骤流程图；
图2C为根据本申请实施例一的一种服装纹理贴图示意图；
图3A为根据本申请实施例二的一种模型结构示意图；
图3B为根据本申请实施例二的一种模型训练方法的步骤流程图；
图4为根据本申请实施例三的一种3D服装渲染方法的流程示意图；
图5A为根据本申请实施例四的一种3D服装渲染方法的流程示意图；
图5B为根据本申请实施例四的一种根据服装纹理贴图进行3D服装渲染的流程示意图；
图5C为图5A所示实施例中的场景示意图；
图6为根据本申请实施例五的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
图1示出了一种适用本申请实施例的模型训练方法或者渲染方法的示例性系统。如图1所示，该系统100可以包括云服务端102、通信网络104和/或一个或多个用户设备106，图1中示例为多个用户设备。
云服务端102可以是用于存储信息、数据、程序和/或任何其他合适类型的内容的任何适当的设备，包括但不限于分布式存储系统设备、服务器集群、计算云服务端集群等。在一些实施例中，云服务端102可以执行任何适当的功能。例如，在一些实施例中，云服务端102可以用于进行纹理贴图生成模型的训练。作为可选的示例，在一些实施例中，云服务端102可以被用于通过训练后的纹理贴图生成模型根据随机参数生成服装纹理贴图。作为另一示例，在一些实施例中，云服务端102可以用于将渲染后的3D服装模型发送至用户设备。
在一些实施例中，通信网络104可以是一个或多个有线和/或无线网络的任何适当的组合。例如，通信网络104能够包括以下各项中的任何一种或多种：互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字订户线路(DSL)网络、帧中继网络、异步转移模式(ATM)网络、虚拟专用网(VPN)和/或任何其它合适的通信网络。用户设备106能够通过一个或多个通信链路(例如，通信链路112)连接到通信网络104，该通信网络104能够经由一个或多个通信链路(例如，通信链路114)被链接到云服务端102。通信链路可以是适合于在用户设备106和云服务端102之间传送数据的任何通信链路，诸如网络链路、拨号链路、无线链路、硬连线链路、任何其它合适的通信链路或此类链路的任何合适的组合。
用户设备106可以包括适合于呈现渲染前后的3D服装模型的任何一个或多个用户设备。在一些实施例中，用户设备106可以包括任何合适类型的设备。例如，在一些实施例中，用户设备106可以包括移动设备、平板计算机、膝上型计算机、台式计算机、可穿戴计算机、游戏控制台、媒体播放器、车辆娱乐系统和/或任何其他合适类型的用户设备。
基于上述系统，本申请实施例提供了一种纹理贴图生成模型的训练方法，以下通过多个实施例进行说明。
参见图2A，示出了一种纹理贴图生成模型的结构示意图，如图2A所示，纹理贴图生成模型包括映射网络和生成网络，生成网络包括多层间隔设置的卷积层以及迁移层。在训练过程中，纹理贴图生成模型与判别器组成对抗生成网络。
参见图2B，示出了一种纹理贴图生成模型的训练方法的流程示意图，用于训练图2A示出的纹理贴图生成模型，如图2B所示，方法包括：
S201、通过映射网络将随机参数映射为隐空间数据，根据隐空间数据进行仿射变换得到纹理贴图风格向量，并将纹理贴图风格向量输入至多个迁移层中。
随机参数可以通过任意随机数生成方法确定，在此不再赘述。
映射网络(Mapping network)用于将随机向量映射为隐空间数据，实现随机向量的特征解耦。隐空间数据可以包括多维，不同维度的数据可以对应于不同的纹理贴图风格向量。纹理贴图风格向量可以例如服装复杂度、服装花纹、服装质感等。
仿射变换，又称仿射映射，是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。本实施例中，可以根据隐空间数据进行仿射变换，从而将隐空间数据变换得到纹理贴图风格向量。当隐空间数据存在多维时，得到的纹理贴图风格向量也可以为一个或者多个。
如图2A所示，纹理贴图生成模型的生成网络中包括多层间隔设置的卷积层以及迁移层，本实施例中，纹理贴图风格向量可以输入至多个迁移层中，以使得迁移层能够根据纹理贴图风格向量来调整生成的预测服装纹理贴图的样式信息。
S202、针对多层间隔设置的卷积层以及迁移层，将卷积层的输出向量叠加随机参数，并将叠加随机参数后的输出向量输入至迁移层，通过迁移层按照纹理贴图风格向量进行风格迁移，并将输出的数据作为下一卷积层的输入，并根据最后一层迁移层的输出，生成预测服装纹理贴图。
具体的，多层间隔设置的卷积层以及迁移层如图2A所示，其中，卷积层的数量可以少于迁移层的数量。迁移层具体可以为风格迁移层(Adaptive Instance Normalization，AdaIN)。
具体地，第一层迁移层输入的可以为叠加有随机参数的常量，常量可以通过常量限定符const生成。第一层迁移层可以按照纹理贴图风格向量进行风格迁移，即将纹理贴图风格向量对应的风格信息迁移至叠加有随机参数的常量上并输出。
第一层迁移层的输出可以输入至卷积层进行卷积处理，卷积层的输出向量可以叠加随机参数，并输入至第二层迁移层，使得第二层迁移层可以按照纹理贴图风格向量再次进行风格迁移，即将纹理贴图风格向量对应的风格信息迁移至卷积层的输出向量上并输出，第二层迁移层的输出可以再次输入至下一层卷积层，直至输入至最后一层迁移层。
最后一层迁移层的输出即为作为生成网络的输出，根据最后一层迁移层的输出可以生成预测服装纹理贴图。示例地，可以通过解码器等根据最后一层迁移层的输出生成预测服装纹理贴图。
若需要针对不同的分辨率进行风格迁移，可以对迁移层的输出进行上采样或下采样来调整尺寸，具体可以在迁移层和下一个卷积层之间增加用于进行上采样或者下采样的采样层。不同分辨率可以对应不同细节的风格，例如，分辨率较低的可以对应整体花纹风格，分辨率较高的可以对应花纹细节，通过针对不同的分辨率进行风格迁移，可以针对不同细节的风格进行针对性迁移，提高迁移效果。
S203、将预测服装纹理贴图以及用于3D服装模型的真实服装纹理贴图输入判别器中，通过判别器输出预测服装纹理贴图以及真实服装纹理贴图分别对应的判别结果。
纹理贴图又称UV贴图，纹理贴图中每个点都对应有UV坐标，U和V分别是图片在水平、垂直方向上的坐标。本实施例中，预测服装纹理贴图和真实服装纹理贴图中各个点的UV坐标与3D服装模型相关联，来决定该点在3D服装模型表面的位置，通过UV坐标，可以将多个点精确对应到3D服装模型的表面，从而完成3D服装模型的渲染。
可选地，本实施例中，真实服装纹理贴图包括以下至少之一：真实服装颜色贴图、真实服装法线贴图、真实服装粗糙度贴图、真实服装金属度贴图。
示例地，可以预先采集服装的图案、色彩、材质等已经设计完成的若干个3D服装模型的服装，并根据服装提取出对应的真实服装纹理贴图，提取出的真实服装纹理贴图也可以包括多类，具体可以包括但不限于真实服装颜色贴图、真实服装法线贴图、真实服装粗糙度贴图、真实服装金属度贴图。
真实服装颜色(Base Color)贴图可以为剔除3D服装模型的光影变化后得到的基础的颜色的贴图。
真实服装法线贴图用于存储3D服装模型的表面的法线方向，表示3D服装模型表面的凹凸。示例地，法线贴图中可以通过RGB三个颜色通道的值表示法线方向，其中B通道表示法线方向的斜率；R通道表示左右切线方向的斜率；G通道表示切线方向向上或向下的斜率。
真实服装粗糙度贴图(又可称为真实服装光滑度贴图)，用于记录3D服装模型水平表面的粗糙度。如果物体表面松散，例如麻布材质，表面粗糙度较高，反射就会弱。如果表面接近，例如丝绸材质，表面较为光滑，反射就会强。
真实服装金属度贴图用于记录3D服装模型中采用的金属材料，金属度主要影响反射系数和高光以及漫反射颜色。金属度越高，对应的漫反射越低、直接反射越强、高光越高。
判别器的具体结构可参考对抗生成网络的相关技术，在此不再赘述。
S204、根据预测服装纹理贴图以及真实服装纹理贴图分别对应的判别结果，调整纹理贴图生成模型以及判别器的参数以训练纹理贴图生成模型，训练后的纹理贴图生成模型用于根据随机参数生成用于3D服装模型的服装纹理贴图。
本实施例中，通过将预测服装纹理贴图以及真实服装纹理贴图输入判别器中，可以通过判别器输出预测服装纹理贴图是否为真的判别结果，以及真实服装纹理贴图是否为真的判别结果，从而可以根据判别结果对纹理贴图生成模型以及判别器进行对抗训练，并可以得到训练后的纹理贴图生成模型。训练后的纹理贴图生成模型可以用于根据随机参数生成用于3D服装模型的服装纹理贴图。
参见图2C，示出了一种3D服装模型及其部分区域的真实服装纹理贴图的示意图，如图所示，3D服装模型以及真实服装纹理贴图中均包括网格，网格的交点可以对应有UV坐标，3D服装模型上的网格交点与真实服装纹理贴图中的网格交点一一对应。在进行3D服装模型的渲染过程中，可以将真实服装纹理贴图按照网格中各个网格交点对应的UV坐标渲染到3D服装模型的对应位置，从而完成3D服装模型的渲染。
本实施例提供的方案中，纹理贴图生成模型包括映射网络和生成网络，生成网络包括多层间隔设置的卷积层以及迁移层，在训练纹理贴图生成模型的过程中，可以通过映射网络将随机参数映射为隐空间数据，根据隐空间数据进行仿射变换得到纹理贴图风格向量，并将纹理贴图风格向量输入至多个迁移层中；针对多层间隔设置的卷积层以及迁移层，将卷积层的输出向量叠加随机参数，并将叠加随机参数后的输出向量输入至迁移层，通过迁移层按照纹理贴图风格向量进行风格迁移，并将输出的数据作为下一卷积层的输入，并根据最后一层迁移层的输出，生成预测服装纹理贴图；将预测服装纹理贴图以及用于3D服装模型的真实服装纹理贴图输入判别器中，通过判别器输出预测服装纹理贴图以及真实服装纹理贴图分别对应的判别结果；根据预测服装纹理贴图以及真实服装纹理贴图分别对应的判别结果，调整纹理贴图生成模型以及判别器的参数以训练纹理贴图生成模型，训练后的纹理贴图生成模型用于根据随机参数生成用于3D服装模型的服装纹理贴图。通过本实施例提供的方案训练出的纹理贴图生成模型，可以直接根据随机参数生成服装纹理贴图，极大地节省了设计成本。
实施例二
参见图3A，示出了一种纹理贴图生成模型的结构示意图，如图3A所示，其包括映射网络、生成网络以及UV轮廓提取网络，生成网络包括多层间隔设置的卷积层以及迁移层。在训练过程中，纹理贴图生成模型与判别器组成对抗生成网络。
参见图3B，示出了一种纹理贴图生成模型的训练方法的流程示意图，用于训练图3A示出的纹理贴图生成模型，如图3B所示，方法包括：
S301、通过UV轮廓提取网络提取真实服装纹理贴图的3D服装轮廓数据，得到轮廓掩膜。
轮廓掩膜(轮廓mask)用于表征3D服装模型中存在的轮廓，可以为根据轮廓点确定的mask区域。由于真实服装纹理贴图对应有网格，而网格是根据3D服装模型的表面结构生成的，不同的表面对应不同形状或者密度的网格，例如，平整表面对应的网格可以为较为均匀的四边形，有凸起的表面对应的网格可以为三角形。因此，本实施例中，通过UV轮廓提取网络提取真实服装纹理贴图的3D服装轮廓数据，得到轮廓掩膜。
本实施例中，UV轮廓提取网络可以为任意的特征提取网络，例如编码器等，本实施例对此不进行限定。
S302、通过映射网络将随机参数映射为隐空间数据，根据隐空间数据进行仿射变换得到纹理贴图风格向量。
本步骤的具体实现方式参考上述步骤S201，在此不再赘述。
S303、将轮廓掩膜与纹理贴图风格向量叠加后输入至多个迁移层中。
通过提取得到轮廓掩膜，并将轮廓掩膜与纹理贴图风格向量叠加后输入至多个迁移层中，可以使得迁移层将轮廓掩膜作为风格迁移的一部分依据，进而使得纹理贴图生成模型可以沿着轮廓掩膜指示的3D服装轮廓进行生成，提高了生成结果的可控性。
S304、针对多层间隔设置的卷积层以及迁移层，将卷积层的输出向量叠加随机参数，并将叠加随机参数后的输出向量输入至迁移层，通过迁移层按照叠加的轮廓掩膜与纹理贴图风格向量进行风格迁移，并将输出的数据作为下一卷积层的输入，并根据最后一层迁移层的输出，生成预测服装纹理贴图。
本步骤的具体实现方式可参考上述实施例中的步骤S202，在此不再赘述。
S305、将预测服装纹理贴图以及用于3D服装模型的真实服装纹理贴图输入判别器中，通过判别器输出预测服装纹理贴图以及真实服装纹理贴图分别对应的判别结果。
可选地，本申请实施例中，方法还包括：对真实服装纹理贴图进行区域提取，得到贴图于3D服装模型的真实贴图区域，则步骤S305包括：将真实服装纹理贴图对应的真实贴图区域输入判别器中，通过判别器输出真实服装纹理贴图对应的判别结果；将所述预测服装纹理贴图输入所述判别器中，通过所述判别器输出所述预测服装纹理贴图对应的判别结果。
本实施例中，参见图2C，3D服装模型如图2C左侧的矩形框所示，真实服装纹理贴图如图2C右侧的矩形框所示，真实服装纹理贴图中会包括多个形状不规则的真实贴图区域，除真实贴图区域之外的一般为背景填充。为此，本实施例中，可以对真实服装纹理贴图进行区域识别，得到贴图于3D服装模型的真实贴图区域，并对除真实贴图区域之外的背景进行遮罩，由此，可以根据真实贴图区域对预测服装纹理贴图进行约束，将模型注意力专注到轮廓掩膜指定的区域，提高了生成结果的可控性。
S306、根据预测服装纹理贴图以及真实服装纹理贴图分别对应的判别结果，调整纹理贴图生成模型以及判别器的参数。
本步骤的具体实现方式参考上述实施例中的步骤S204，在此不再赘述。
本实施例中，通过将预测服装纹理贴图以及真实服装纹理贴图输入判别器中，通过判别器输出预测服装纹理贴图对应的判别结果，以及真实服装纹理贴图对应的判别结果，从而可以根据判别结果对纹理贴图生成模型以及判别器进行对抗训练，并可以得到训练后的纹理贴图生成模型。
S307、根据预测服装纹理贴图与真实服装纹理贴图之间的3D服装轮廓数据的差异，调整纹理贴图生成模型。
本实施例中，由于步骤S303中，将轮廓掩膜与纹理贴图风格向量叠加后输入至多个迁移层中，因此，本步骤中，针对提取轮廓掩膜的真实服装纹理贴图，可以计算真实服装纹理贴图与生成的预测服装纹理贴图之间的3D服装轮廓数据的差异，并根据差异调整纹理贴图生成模型，具体可以调整生成网络以及UV轮廓提取网络的参数。
本实施例中，通过步骤S306和S307训练得到的纹理贴图生成模型用于根据随机参数生成用于3D服装模型的服装纹理贴图。
本实施例提供的方案中，通过提取轮廓掩膜并将轮廓掩膜与纹理贴图风格向量叠加后输入至多个迁移层中，以及根据生成的预测服装纹理贴图以及用于提取轮廓掩膜的真实服装纹理贴图之间的3D服装轮廓数据的差异，调整纹理贴图生成模型，可以使得调整后的纹理贴图生成模型能够按照轮廓生成服装纹理贴图，使得生成结果更加可控；另外，本实施例中判别器根据贴图于3D服装模型的真实贴图区域进行判别，可以根据真实贴图区域对预测服装纹理贴图进行约束，也提高了生成结果的可控性。
实施例三
参见图4，示出了一种3D服装渲染方法的流程示意图，如图所示，方法包括：
S401、通过训练后的纹理贴图生成模型，根据随机参数生成用于3D服装模型的服装纹理贴图。
本实施例中，纹理贴图生成模型根据如上述任一实施例提供的方法训练得到。
S402、根据服装纹理贴图进行3D服装渲染。
通过本实施例提供的方案训练出的纹理贴图生成模型，可以直接根据随机参数生成服装纹理贴图，并进行3D服装渲染，极大地节省了设计成本。
实施例四
参见图5A，示出了另一种3D服装渲染方法的流程示意图，本实施例中的纹理贴图生成模型的结构如图2A所示，包括映射网络、生成网络，生成网络包括多层间隔设置的卷积层以及迁移层，如图5A所示，3D服装渲染方法包括：
S501、提取3D服装模型的服装轮廓数据，得到轮廓掩膜；
当然，若如图3A所示，纹理贴图生成模型中包括UV轮廓提取网络，也可以将3D服装模型输入至纹理贴图生成模型中，由纹理贴图生成模型中包括的UV轮廓提取网络提取3D服装模型的服装轮廓数据，得到轮廓掩膜，这也在本申请的保护范围内。
S502、通过训练后的纹理贴图生成模型中的映射网络，将随机参数映射为隐空间数据，根据隐空间数据进行仿射变换得到纹理贴图风格向量。
S503、将轮廓掩膜与纹理贴图风格向量叠加后输入至多个迁移层中。
S504、针对多层间隔设置的卷积层以及迁移层，将卷积层的输出向量叠加随机参数，并将叠加随机参数后的输出向量输入至迁移层，通过迁移层按照叠加后的轮廓掩膜与纹理贴图风格向量进行风格迁移，并将输出的数据作为下一卷积层的输入，并根据最后一层迁移层的输出，生成用于3D服装模型的服装纹理贴图。
S505、根据服装纹理贴图进行3D服装渲染。
可选地，参见图5B，根据服装纹理贴图进行3D服装渲染可以包括：
S5051、将服装纹理贴图输入至法线生成模型，通过法线生成模型生成服装纹理贴图对应的法线贴图。
法线生成模型可以为任意的生成器，例如任意对抗生成网络中的生成器，本实施例对此不进行限定。
S5052、为3D服装模型叠加服装纹理贴图以及法线贴图，完成3D服装渲染。
如上述实施例，法线贴图用于存储3D服装模型的表面的法线方向，表示3D服装模型表面的凹凸。因此，通过根据服装纹理贴图来生成法线贴图，可以为3D服装模型增加表面的微细节，提高渲染质量。
参见图5C，示出了一种使用场景示意图，如图所示，本实施例中，可以先确定设计好基本形状的3D服装模型，并可以通过UV轮廓提取网络根据3D服装模型展开后的UV提取得到轮廓掩膜。
之后可以将轮廓掩膜和随机参数输入至纹理贴图生成模型中，来生成对应的服装纹理贴图。
本实施中，纹理贴图生成模型的数量可以有多个，用于生成多种服装纹理贴图。示例地，纹理贴图生成模型可以包括三种，分别用于生成服装颜色贴图、服装粗糙度贴图、服装金属度贴图等，多个纹理贴图生成模型可以输入同一轮廓掩膜，以及不同的随机参数。
可以将一个或者多个服装纹理贴图输入至法线生成模型，通过法线生成模型生成法线贴图，多个纹理贴图生成模型分别生成的多个服装纹理贴图可以先叠加至3D服装模型上，之后再叠加法线贴图来补充3D服装模型的细节，以提高渲染质量。之后可以根据不同的随机向量重复通过纹理贴图生成模型，来生成不同的服装纹理贴图，从而更换渲染后的3D服装模型。
实施例五
参照图6，示出了根据本申请实施例五的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。
如图6所示，该电子设备可以包括：处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。
其中：
处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。
通信接口604，用于与其它电子设备或服务器进行通信。
处理器602，用于执行程序610，具体可以执行上述方法实施例中的相关步骤。
具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。
处理器602可能是CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序610具体可以用于使得处理器602执行前述多个方法实施例中任一实施例所描述的方法对应的操作。
程序610中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，并具有相应的有益效果，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本申请实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述多个方法实施例中的任一方法对应的操作。
本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一方法对应的操作。
需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。
Claims (10)
1.一种纹理贴图生成模型的训练方法，其特征在于，所述纹理贴图生成模型包括映射网络和生成网络，所述生成网络包括多层间隔设置的卷积层以及迁移层，所述方法包括：
通过所述映射网络将随机参数映射为隐空间数据，根据所述隐空间数据进行仿射变换得到纹理贴图风格向量，并将所述纹理贴图风格向量输入至多个迁移层中；
针对多层间隔设置的所述卷积层以及所述迁移层，将卷积层的输出向量叠加所述随机参数，并将叠加所述随机参数后的所述输出向量输入至迁移层，通过迁移层按照所述纹理贴图风格向量进行风格迁移，并将输出的数据作为下一卷积层的输入，并根据最后一层迁移层的输出，生成预测服装纹理贴图；
将所述预测服装纹理贴图以及用于3D服装模型的真实服装纹理贴图输入判别器中，通过所述判别器输出所述预测服装纹理贴图以及所述真实服装纹理贴图分别对应的判别结果；
根据所述预测服装纹理贴图以及所述真实服装纹理贴图分别对应的判别结果，调整所述纹理贴图生成模型以及所述判别器的参数以训练所述纹理贴图生成模型，训练后的所述纹理贴图生成模型用于根据所述随机参数生成用于3D服装模型的服装纹理贴图。
2.根据权利要求1所述的方法，其特征在于，所述真实服装纹理贴图包括以下至少之一：真实服装颜色贴图、真实服装法线贴图、真实服装粗糙度贴图、真实服装金属度贴图。
3.根据权利要求1所述的方法，其特征在于，所述纹理贴图生成模型还包括UV轮廓提取网络，所述方法还包括：
通过所述UV轮廓提取网络提取所述真实服装纹理贴图的3D服装轮廓数据，得到轮廓掩膜；
所述将所述纹理贴图风格向量输入至多个迁移层中，包括：
将所述轮廓掩膜与所述纹理贴图风格向量叠加后输入至所述多个迁移层中。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
根据所述预测服装纹理贴图与所述真实服装纹理贴图之间的3D服装轮廓数据的差异，调整所述纹理贴图生成模型。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
对所述真实服装纹理贴图进行区域提取，得到贴图于所述3D服装模型的真实贴图区域；
所述将所述预测服装纹理贴图以及用于3D服装模型的真实服装纹理贴图输入判别器中，通过所述判别器输出所述预测服装纹理贴图以及所述真实服装纹理贴图分别对应的判别结果，包括：
将所述真实服装纹理贴图对应的所述真实贴图区域输入所述判别器中，通过所述判别器输出所述真实服装纹理贴图对应的判别结果；
将所述预测服装纹理贴图输入所述判别器中，通过所述判别器输出所述预测服装纹理贴图对应的判别结果。
6.一种3D服装渲染方法，其特征在于，包括：
通过训练后的纹理贴图生成模型，根据随机参数生成用于3D服装模型的服装纹理贴图，其中，所述纹理贴图生成模型根据如权利要求1-5任一项所述的方法训练得到；
根据所述服装纹理贴图进行3D服装渲染。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
提取所述3D服装模型的服装轮廓数据，得到轮廓掩膜；
所述通过训练后的纹理贴图生成模型，根据随机参数生成用于3D服装模型的服装纹理贴图，包括：
通过训练后的所述纹理贴图生成模型中的映射网络，将所述随机参数映射为隐空间数据，根据所述隐空间数据进行仿射变换得到纹理贴图风格向量；
将所述轮廓掩膜与所述纹理贴图风格向量叠加后输入至所述多个迁移层中；
针对多层间隔设置的卷积层以及迁移层，将所述卷积层的输出向量叠加所述随机参数，并将叠加所述随机参数后的所述输出向量输入至所述迁移层，通过所述迁移层按照叠加后的所述轮廓掩膜与所述纹理贴图风格向量进行风格迁移，并将输出的数据作为下一所述卷积层的输入，并根据最后一层所述迁移层的输出，生成用于所述3D服装模型的所述服装纹理贴图。
8.根据权利要求6所述的方法，其特征在于，所述根据所述服装纹理贴图进行3D服装渲染包括：
将所述服装纹理贴图输入至法线生成模型，通过所述法线生成模型生成所述服装纹理贴图对应的法线贴图；
为所述3D服装模型叠加所述服装纹理贴图以及所述法线贴图，完成所述3D服装渲染。
9.一种电子设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-8中任一项所述的方法对应的操作。
10.一种计算机存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211149809.1A CN116051705B (zh) | 2022-09-21 | 2022-09-21 | 模型训练方法、3d服装渲染方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211149809.1A CN116051705B (zh) | 2022-09-21 | 2022-09-21 | 模型训练方法、3d服装渲染方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116051705A true CN116051705A (zh) | 2023-05-02 |
| CN116051705B CN116051705B (zh) | 2023-10-27 |
Family
ID=86114194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211149809.1A Active CN116051705B (zh) | 2022-09-21 | 2022-09-21 | 模型训练方法、3d服装渲染方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116051705B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495995A (zh) * | 2023-10-26 | 2024-02-02 | 神力视界(深圳)文化科技有限公司 | 材质贴图的生成方法、模型训练方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111524216A (zh) * | 2020-04-10 | 2020-08-11 | 北京百度网讯科技有限公司 | 生成三维人脸数据的方法和装置 |
| CN111860041A (zh) * | 2019-04-26 | 2020-10-30 | 北京陌陌信息技术有限公司 | 人脸转换模型训练方法、装置、设备及介质 |
| CN113256778A (zh) * | 2021-07-05 | 2021-08-13 | 爱保科技有限公司 | 生成车辆外观部件识别样本的方法、装置、介质及服务器 |
| WO2022135013A1 (zh) * | 2020-12-24 | 2022-06-30 | 百果园技术(新加坡)有限公司 | 一种人脸属性编辑方法、系统、电子设备及存储介质 |
-
2022
- 2022-09-21 CN CN202211149809.1A patent/CN116051705B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860041A (zh) * | 2019-04-26 | 2020-10-30 | 北京陌陌信息技术有限公司 | 人脸转换模型训练方法、装置、设备及介质 |
| CN111524216A (zh) * | 2020-04-10 | 2020-08-11 | 北京百度网讯科技有限公司 | 生成三维人脸数据的方法和装置 |
| WO2022135013A1 (zh) * | 2020-12-24 | 2022-06-30 | 百果园技术(新加坡)有限公司 | 一种人脸属性编辑方法、系统、电子设备及存储介质 |
| CN113256778A (zh) * | 2021-07-05 | 2021-08-13 | 爱保科技有限公司 | 生成车辆外观部件识别样本的方法、装置、介质及服务器 |
Non-Patent Citations (1)
| Title |
|---|
| 谢小红;陆建波;李文韬;刘春霞;黄华梅;: "基于迁移学习的服装图像分类模型研究", 计算机应用与软件, no. 09 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495995A (zh) * | 2023-10-26 | 2024-02-02 | 神力视界(深圳)文化科技有限公司 | 材质贴图的生成方法、模型训练方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116051705B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7446457B2 (ja) | 画像最適化方法及びその装置、コンピュータ記憶媒体、コンピュータプログラム並びに電子機器 | |
| CN109409335A (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
| CN105122311B (zh) | 用于渲染关于复杂三维对象的矢量数据的平滑叠加层 | |
| CN109771951B (zh) | 游戏地图生成的方法、装置、存储介质和电子设备 | |
| US10726599B2 (en) | Realistic augmentation of images and videos with graphics | |
| CN109215123B (zh) | 基于cGAN的无限地形生成方法、系统、存储介质和终端 | |
| CN112950775A (zh) | 一种基于自监督学习的三维人脸模型重建方法及系统 | |
| CN107248169B (zh) | 图像定位方法及装置 | |
| CN111583381B (zh) | 游戏资源图的渲染方法、装置及电子设备 | |
| CN111402124B (zh) | 一种纹理图像和合成图像的生成方法和装置 | |
| CN112288665A (zh) | 图像融合的方法、装置、存储介质及电子设备 | |
| CN103279936A (zh) | 基于画像的人脸伪照片自动合成及修正方法 | |
| CN116051705B (zh) | 模型训练方法、3d服装渲染方法、电子设备及存储介质 | |
| CN115239861A (zh) | 人脸数据增强方法、装置、计算机设备和存储介质 | |
| JP2024004444A (ja) | ３次元顔再構成モデルトレーニング、３次元顔イメージ生成方法及び装置 | |
| KR101854612B1 (ko) | 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법 | |
| JP6852224B2 (ja) | 全視角方向の球体ライトフィールドレンダリング方法 | |
| CN112734900A (zh) | 阴影贴图的烘焙方法、装置、设备及计算机可读存储介质 | |
| CN112381929A (zh) | 一种三维电力设备模型建模方法 | |
| CN108053464A (zh) | 粒子特效处理方法及装置 | |
| CN112308955A (zh) | 基于图像的纹理填充方法、装置、设备及存储介质 | |
| CN115375847B (zh) | 材质恢复方法、三维模型的生成方法和模型的训练方法 | |
| CN111275610A (zh) | 一种人脸变老图像处理方法及系统 | |
| CN113064539B (zh) | 特效控制方法、装置、电子设备及存储介质 | |
| CN115222578A (zh) | 图像风格迁移方法、程序产品、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |