CN117495995A - 材质贴图的生成方法、模型训练方法、装置、设备及介质 - Google Patents

材质贴图的生成方法、模型训练方法、装置、设备及介质 Download PDF

Info

Publication number
CN117495995A
CN117495995A CN202311408797.4A CN202311408797A CN117495995A CN 117495995 A CN117495995 A CN 117495995A CN 202311408797 A CN202311408797 A CN 202311408797A CN 117495995 A CN117495995 A CN 117495995A
Authority
CN
China
Prior art keywords
map
texture
mapping
ground color
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311408797.4A
Other languages
English (en)
Inventor
武延豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenli Vision Shenzhen Cultural Technology Co ltd
Original Assignee
Shenli Vision Shenzhen Cultural Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenli Vision Shenzhen Cultural Technology Co ltd filed Critical Shenli Vision Shenzhen Cultural Technology Co ltd
Priority to CN202311408797.4A priority Critical patent/CN117495995A/zh
Publication of CN117495995A publication Critical patent/CN117495995A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)

Abstract

本申请提供一种材质贴图的生成方法、模型训练方法、装置、设备及介质，在材质贴图的生成方法中，通过获取3D白模的材质描述信息，该材质描述信息包括底色信息和纹理信息，将底色信息输入底色贴图生成模型，获取底色贴图生成模型输出的底色贴图，并将纹理信息输入纹理贴图生成模型，获取纹理贴图生成模型输出的纹理贴图。最后，将底色贴图和纹理贴图进行融合，生成3D白模的目标材质贴图。本技术方案将生成材质贴图的任务拆分成生成底色贴图和生成纹理贴图的两个子任务，生成的纹理贴图更精细，满足写实场景的应用要求。

Description

材质贴图的生成方法、模型训练方法、装置、设备及介质
技术领域
本申请涉及计算机技术，尤其涉及一种材质贴图的生成方法、模型训练方法、装置、设备及介质。
背景技术
随着娱乐产业的不断发展，电影、电视剧、动漫、游戏等娱乐活动占据人们越来越多的休闲时间，与其相关的三维(3-Dimension，3D)内容以及3D资产的需求也日渐增多。
3D模型的材质贴图制作一直是3D模型制作流程中的重要工序，直接影响模型在最终渲染时与光的交互结果。目前，主要是通过材质生成工具生成3D模型的材质贴图。然而，由于材质生成工具生成的材质贴图的精细度较差，往往无法达到写实场景的应用要求。
发明内容
本申请提供一种材质贴图的生成方法、模型训练方法、装置、设备及介质，用以解决现有材质生成工具生成的材质贴图的精细度较差，无法达到写实场景的应用要求的问题。
第一方面，本申请提供一种材质贴图的生成方法，包括：
获取3D白模的材质描述信息，所述材质描述信息包括底色信息和纹理信息；
将所述底色信息输入底色贴图生成模型，获取所述底色贴图生成模型输出的底色贴图，所述底色贴图生成模型是基于多个带标签的样本底色贴图训练得到的，每个样本底色贴图的标签用于表征所述样本底色贴图的底色信息；
将所述纹理信息输入纹理贴图生成模型，获取所述纹理贴图生成模型输出的纹理贴图，所述纹理贴图生成模型是基于多个带标签的样本纹理贴图训练得到的，每个样本纹理贴图的标签用于表征所述样本纹理贴图的纹理信息；
将所述底色贴图和所述纹理贴图进行融合，生成所述3D白模的目标材质贴图。
在一种可能的实现方式中，所述将所述底色贴图和所述纹理贴图进行融合，生成所述3D白模的目标材质贴图，包括：
将所述底色贴图作为底层贴图，将所述纹理贴图作为上层贴图，对所述底色贴图和所述纹理贴图进行融合，生成所述目标材质贴图。
在一种可能的实现方式中，所述将所述底色贴图作为底层贴图，将所述纹理贴图作为上层贴图，对所述底色贴图和所述纹理贴图进行融合，生成所述目标材质贴图，包括：
通过公式(1)：f1(A1,B1)＝α×A1+(1-α)×B1生成所述目标材质贴图；其中，f1(A1,B1)为所述目标材质贴图，A1为底层贴图，B1为上层贴图，α为透明度；
或，
通过公式(2)：生成所述目标材质贴图；其中，f2(A2,B2)为所述目标材质贴图，A2为归一化后的底层贴图，B2为归一化后的上层贴图。
在一种可能的实现方式中，所述3D白模的材质描述信息还包括破损信息，在所述获取3D白模的材质描述信息之后，所述方法还包括：
将所述破损信息输入破损贴图生成模型，获取所述破损贴图生成模型输出的破损贴图，所述破损贴图生成模型是基于多个带标签的样本破损贴图训练得到的，每个样本破损贴图的标签用于表征所述样本破损贴图的破损信息；
相应的，所述将所述底色贴图和所述纹理贴图进行融合，生成所述3D白模的目标材质贴图，包括：
将所述底色贴图、所述纹理贴图和所述破损贴图进行融合，生成所述3D白模的目标材质贴图。
在一种可能的实现方式中，所述3D白模的材质描述信息还包括脏迹信息，在所述获取3D白模的材质描述信息之后，所述方法还包括：
将所述脏迹信息输入脏迹贴图生成模型，获取所述脏迹贴图生成模型输出的脏迹贴图，所述脏迹贴图生成模型是基于多个带标签的样本脏迹贴图训练得到的，每个样本脏迹贴图的标签用于表征所述样本脏迹贴图的脏迹信息；
相应的，所述将所述底色贴图、所述纹理贴图和所述破损贴图进行融合，生成所述3D白模的目标材质贴图，包括：
将所述底色贴图、所述纹理贴图、所述破损贴图和所述脏迹贴图进行融合，生成所述3D白模的目标材质贴图。
在一种可能的实现方式中，所述将所述底色贴图、所述纹理贴图、所述破损贴图和所述脏迹贴图进行融合，生成所述3D白模的目标材质贴图，包括：
将所述底色贴图作为底层贴图，将所述纹理贴图作为上层贴图，对所述底色贴图和所述纹理贴图进行融合，生成第一材质贴图；
将所述第一材质贴图作为底层贴图，将所述破损贴图作为上层贴图，对所述第一材质贴图和所述破损贴图进行融合，生成第二材质贴图；
将所述第二材质贴图作为底层贴图，将所述脏迹贴图作为上层贴图，对所述第二材质贴图和所述脏迹贴图进行融合，生成所述目标材质贴图。
第二方面，本申请提供一种模型训练方法，包括：
获取底色训练集，所述底色训练集包括多个带标签的样本底色贴图，每个样本底色贴图的标签用于表征所述样本底色贴图的底色信息；
根据所述底色训练集进行模型训练，获取底色贴图生成模型，所述底色贴图生成模型用于根据3D白模的底色信息生成所述3D白模的底色贴图。
第三方面，本申请提供一种模型训练方法，包括：
获取纹理训练集，所述纹理训练集包括多个带标签的样本纹理贴图，每个样本纹理贴图的标签用于表征所述样本纹理贴图的纹理信息；
根据所述纹理训练集进行模型训练，获取纹理贴图生成模型，所述纹理贴图生成模型用于根据3D白模的纹理信息生成所述3D白模的纹理贴图。
第四方面，本申请提供一种模型训练方法，包括：
获取破损训练集，所述破损训练集包括带标签的样本破损贴图，每个样本破损贴图的标签用于表征所述样本破损贴图的破损信息；
根据所述破损训练集进行模型训练，获取破损贴图生成模型，所述破损贴图生成模型用于根据3D白模的破损信息生成所述3D白模的破损贴图。
第五方面，本申请提供一种模型训练方法，包括：
获取脏迹训练集，所述脏迹训练集包括带标签的样本脏迹贴图，每个样本脏迹贴图的标签用于表征所述样本脏迹贴图的脏迹信息；
根据所述脏迹训练集进行模型训练，获取脏迹贴图生成模型，所述脏迹贴图生成模型用于根据3D白模的脏迹信息生成所述3D白模的脏迹贴图。
第六方面，本申请提供一种材质贴图的生成装置，包括：
获取模块，用于获取3D白模的材质描述信息，所述材质描述信息包括底色信息和纹理信息；
输入模块，用于将所述底色信息输入底色贴图生成模型，获取所述底色贴图生成模型输出的底色贴图，所述底色贴图生成模型是基于多个带标签的样本底色贴图训练得到的，每个样本底色贴图的标签用于表征所述样本底色贴图的底色信息；
所述输入模块，还用于将所述纹理信息输入纹理贴图生成模型，获取所述纹理贴图生成模型输出的纹理贴图，所述纹理贴图生成模型是基于多个带标签的样本纹理贴图训练得到的，每个样本纹理贴图的标签用于表征所述样本纹理贴图的纹理信息；
融合模块，用于将所述底色贴图和所述纹理贴图进行融合，生成所述3D白模的目标材质贴图。
在一种可能的实现方式中，所述融合模块，具体用于：
将所述底色贴图作为底层贴图，将所述纹理贴图作为上层贴图，对所述底色贴图和所述纹理贴图进行融合，生成所述目标材质贴图。
在一种可能的实现方式中，所述融合模块，具体用于：
通过公式(1)：f1(A1,B1)＝α×A1+(1-α)×B1生成所述目标材质贴图；其中，f1(A1,B1)为所述目标材质贴图，A1为底层贴图，B1为上层贴图，α为透明度；
或，
通过公式(2)：生成所述目标材质贴图；其中，f2(A2,B2)为所述目标材质贴图，A2为归一化后的底层贴图，B2为归一化后的上层贴图。
在一种可能的实现方式中，所述3D白模的材质描述信息还包括破损信息，在所述获取3D白模的材质描述信息之后，所述输入模块，还用于：
将所述破损信息输入破损贴图生成模型，获取所述破损贴图生成模型输出的破损贴图，所述破损贴图生成模型是基于多个带标签的样本破损贴图训练得到的，每个样本破损贴图的标签用于表征所述样本破损贴图的破损信息；
相应的，所述融合模块，具体用于：
将所述底色贴图、所述纹理贴图和所述破损贴图进行融合，生成所述3D白模的目标材质贴图。
在一种可能的实现方式中，所述3D白模的材质描述信息还包括脏迹信息，在所述获取3D白模的材质描述信息之后，所述输入模块，还用于：
将所述脏迹信息输入脏迹贴图生成模型，获取所述脏迹贴图生成模型输出的脏迹贴图，所述脏迹贴图生成模型是基于多个带标签的样本脏迹贴图训练得到的，每个样本脏迹贴图的标签用于表征所述样本脏迹贴图的脏迹信息；
相应的，所述融合模块，具体用于：
将所述底色贴图、所述纹理贴图、所述破损贴图和所述脏迹贴图进行融合，生成所述3D白模的目标材质贴图。
在一种可能的实现方式中，所述融合模块，具体用于：
将所述底色贴图作为底层贴图，将所述纹理贴图作为上层贴图，对所述底色贴图和所述纹理贴图进行融合，生成第一材质贴图；
将所述第一材质贴图作为底层贴图，将所述破损贴图作为上层贴图，对所述第一材质贴图和所述破损贴图进行融合，生成第二材质贴图；
将所述第二材质贴图作为底层贴图，将所述脏迹贴图作为上层贴图，对所述第二材质贴图和所述脏迹贴图进行融合，生成所述目标材质贴图。
第七方面，本申请提供一种模型训练装置，包括：
第一训练模块、第二训练模块、第三训练模块以及第四训练模块；
所述第一训练模块用于执行第二方面所述的方法；
所述第二训练模块用于执行第三方面所述的方法；
所述第三训练模块用于执行第四方面所述的方法；
所述第四训练模块用于执行第五方面所述的方法。
第八方面，本申请提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备执行如第一方面、第二方面、第三方面、第四方面、第五方面及各可能实现方式所示的方法。
第九方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面、第二方面、第三方面、第四方面、第五方面及各可能实现方式所示的方法。
本申请提供的材质贴图的生成方法、模型训练方法、装置、设备及介质，在材质贴图的生成方法中，通过获取3D白模的材质描述信息，该材质描述信息包括底色信息和纹理信息，将底色信息输入底色贴图生成模型，获取底色贴图生成模型输出的底色贴图，并将纹理信息输入纹理贴图生成模型，获取纹理贴图生成模型输出的纹理贴图。最后，将底色贴图和纹理贴图进行融合，生成3D白模的目标材质贴图。其中，底色贴图生成模型是基于多个带标签的样本底色贴图训练得到的，每个样本底色贴图的标签用于表征样本底色贴图的底色信息，纹理贴图生成模型是基于多个带标签的样本纹理贴图训练得到的，每个样本纹理贴图的标签用于表征样本纹理贴图的纹理信息。在本技术方案中，将生成材质贴图的任务拆分成生成底色贴图和生成纹理贴图的两个子任务，由于底色贴图生成模型和纹理贴图生成模型的参数较少且较可控，因此能够生成精细度较高的底色贴图和纹理贴图，以使将底色贴图和纹理贴图进行融合得到的纹理贴图更精细，满足写实场景的应用要求。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为一种3D建模场景的示意图；
图2为本申请实施例提供的材质贴图的生成方法实施例一的流程示意图；
图3为本申请实施例提供的材质贴图的生成方法实施例二的流程示意图；
图4为本申请实施例提供的贴有材质贴图的3D模型示意图；
图5为本申请实施例提供的模型训练方法实施例一的流程示意图；
图6为本申请实施例提供的模型训练方法实施例二的流程示意图；
图7为本申请实施例提供的模型训练方法实施例三的流程示意图；
图8为本申请实施例提供的模型训练方法实施例四的流程示意图；
图9为本申请实施例提供的材质贴图的生成装置的结构示意图；
图10为本申请实施例提供的模型训练装置实施例一的结构示意图；
图11为本申请实施例提供的模型训练装置实施例二的结构示意图；
图12为本申请实施例提供的模型训练装置实施例三的结构示意图；
图13为本申请实施例提供的模型训练装置实施例四的结构示意图；
图14为本申请实施例提供的一种电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户属性信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
为了清楚地描述本申请实施例的技术方案，首先对本申请涉及的名词进行解释说明。
基于物理的渲染(Physically Based Rendering，PBR)：一种现代的渲染技术，基于物理规律模拟光线的行为，达到更真实的渲染效果。
材质贴图(英文：Texture Map)：一种用于模拟物体表面细节的二维图像。它可以包含颜色信息、光照信息、反射率信息等，用于渲染物体的外观。本申请所说的材质，可以是指材料和质感的结合。示例性的，材料例如可以为：木质、塑料、皮质等任意一种材料。质感例如可以是物体的颜色、纹理、透明度、反光度、粗糙程度等多种特性的视觉表现。相同的材质贴图的材料与质感均相同。材料，和/或，质感中存在不同的两个材质贴图为两个不同的材质贴图。
颜色贴图(英文：Color Map)：一种包含物体表面颜色信息的贴图。它定义了物体不同部分的颜色，用于给物体上色。
法线贴图(英文：Normal Map)：一种用于模拟物体表面细节的贴图。它通过改变每个像素的法线方向，来模拟物体的凹凸表面，从而增加物体的细节和真实感。
粗糙度贴图(英文：Roughness Map)：一种用于模拟物体表面粗糙程度的贴图。它定义了物体表面不同区域的光滑程度，用于模拟不同材质的反射光照效果。
白模：未匹配材质贴图的模型。
深度学习文本到图像生成模型(Stable Diffusion，SD):深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像，也可以应用于其他任务，如内补绘制、外补绘制，以及在提示词指导下产生图生图的翻译。
接下来，对本申请涉及的应用场景进行解释说明。
随着3D技术的不断发展，越来越多的互联网应用以3D的方式呈现给用户，包括网络视讯、电子阅读、网络游戏、虚拟社区、电子商务以及远程教育等等。甚至对于旅游业来说，景点、雕塑以及古董等也可以通过3D的方式呈现给用户。3D技术还广泛应用于虚拟拍摄等领域，例如为虚拟拍摄提供虚拟场景，虚拟场景渲染至屏幕可作为拍摄背景，与屏幕前的实景和演员一起被拍摄后，可得到虚实融合的拍摄画面，减少了后期制作的工作量，提高了拍摄效率和效果。与2D模型相比，3D模型能够为用户带来更真实、更沉浸、更震撼的体验。
示例性的，图1为一种3D建模场景的示意图。如图1所示，电子设备可以响应用户触发的建模操作，通过3D建模软件构建一个3D白模，然后，电子设备可以通过该建模软件对该3D白模赋予材质贴图，使得3D模型具有与该材质贴图相应的颜色、纹理、粗糙程度等视觉表现。
3D模型的材质贴图制作一直是3D模型制作流程中的重要工序，其直接影响了3D模型在最终渲染时与光的交互结果。
目前，制作3D模型的材质贴图主要是通过模型师手动绘制实现。但人工制作需要耗费大量的时间，针对影视级的3D模型材质贴图的制作时间可能会和白模的制作时间相等，甚至更长，制作效率较低。
以搭建3D古装场景为例，3D古装场景中存在大量的古建筑相关的模型搭建工作，比如很多重复的瓦片、椽木、柱子、梁枋等组件，如果每个独立3D模型都让模型师手动绘制贴图，那每个特定风格的建筑都将消耗大量时间在制作材质贴图上。
为了解决上述技术问题，现有技术还提出了一种基于材质生成工具生成3D模型的材质贴图的方式。现有的材质生成工具可以根据输入的与3D白模材质相关的描述信息，生成该3D白模对应的材质贴图。
然而，现有的材质生成工具涉及大量复杂的可调整的参数，导致材质贴图的生成过程的可控性较差，生成的材质贴图的精细度和真实度较低，无法满足写实场景的应用需求。
基于上述技术问题，本申请的技术构思如下：由于现有的材质生成工具涉及多种参数，导致材质生成工具过于复杂，不能很好的泛化数据。发明人在对相关领域研究时发现，由于材质生成工具中的参数可以分为四类，分别为与底色相关的参数、与纹理相关的参数、与破损相关的参数以及与脏迹相关的参数。如果根据参数的类型将用于生成材质贴图的任务拆分成4个子贴图生成任务，通过这4个子贴图生成任务生成3D白模的底色贴图、纹理贴图、破损贴图以及脏迹贴图，后续只需要将这4个贴图进行融合就能够得到3D白模的材质贴图。由于各子贴图生成任务的参数简单且效果可控，能够有效保证各子贴图生成任务输出贴图的精细度，进而保证材质贴图的精细度，满足写实场景的应用要求。
应理解，本申请对该材质贴图的生成方法的应用场景并不进行限定。例如，该材质贴图的生成方法可以用于建模服务，作为建模过程中的一部分。例如通过该材质贴图的生成方法生成的材质贴图可以用于图1所示场景。或者，该材质贴图也可以用于对2D模型框架进行渲染，得到2D模型。再或者，上述该材质贴图的生成方法还可以用于除了建模服务之外的任意一种可以使用材质贴图的场景。例如，该材质贴图的生成方法可以应用于材质贴图提供服务。该材质贴图提供服务，可以根据用户提供的目标图像，输出与该目标图像的材质匹配的材质贴图。
下面，通过具体实施例对本申请的技术方案进行详细说明。
需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2为本申请实施例提供的材质贴图的生成方法实施例一的流程示意图。如图2所示，该材质贴图的生成方法可以包括如下步骤：
S21、获取3D白模的材质描述信息。
本申请实施例的执行主体为电子设备，该电子设备可以为终端设备，例如手机、台式电脑、笔记本等，还可以是服务器。在实际应用中，该电子设备具体为终端设备还是服务器可以根据实际情况确定，本申请实施例对此不进行具体限制。
在本步骤中，材质描述信息包括底色信息和纹理信息。示例性的，底色信息可以为白色、黑色、紫色等相关颜色。纹理信息可以为具体的纹理，例如木纹、大理石纹、花纹等，还可以为3D白模的名称，比如木头、陶、石质、花岗岩等。
在一种可能的实现方式中，可以通过应用程序编程接口(ApplicationProgramming Interface，API)，或者，图形用户界面(Graphical User Interface，GUI)等接收用户输入的上述3D白模的材质描述信息。
在另一种可能的实现方式中，可以从存储有上述3D白模的材质描述信息的服务器或者数据库中获取该3D白模的材质描述信息。
在另一种可能的实现方式中，该3D白模的材质描述信息还可以是预先存储在电子设备的本地存储空间的数据，电子设备可以直接从本地存储空间中获取该3D白模的材质描述信息。
进一步的，可以通过上述三种方式直接获取该3D白模的材质描述信息，还可以先获取该3D白模的初始材质描述信息，对其进行进一步解析，从而获取3D白模的材质描述信息。应理解，获取3D白模的初始材质描述信息的方式可以参照上述三种获取3D白模的材质描述信息的方式，此处不再赘述。
示例性的，3D白模的初始材质描述信息包括3D白模的材料子类、所处环境湿度、新旧程度、使用痕迹等等。在获取3D白模的初始材质描述信息后，可以对3D白模的初始材质描述信息进行解析，提取3D白模的初始材质描述信息中与底色相关的底色信息，和与纹理相关的纹理信息，从而获取3D白模的材质描述信息。
S22、将底色信息输入底色贴图生成模型，获取底色贴图生成模型输出的底色贴图。
在本步骤中，底色贴图生成模型是基于多个带标签的样本底色贴图训练得到的，每个样本底色贴图的标签用于表征样本底色贴图的底色信息。该底色贴图生成模型包含的与底色相关的模型参数的数量较少，效果较可控，可以根据底色信息生成较精细的底色贴图。
其中，底色贴图还包括对应的子粗糙度贴图、子颜色贴图以及子法线贴图。
S23、将纹理信息输入纹理贴图生成模型，获取纹理贴图生成模型输出的纹理贴图。
在本步骤中，纹理贴图生成模型是基于多个带标签的样本纹理贴图训练得到的，每个样本纹理贴图的标签用于表征样本纹理贴图的纹理信息。该纹理贴图生成模型包含的与纹理相关的模型参数的数量较少，效果较可控，可以根据纹理信息生成较精细的纹理贴图。
其中，纹理贴图还包括对应的子粗糙度贴图、子颜色贴图以及子法线贴图。
应理解，S22和S23不存在先后执行顺序。也就是说，可以先执行S22再执行S23，也可以执行S23再执行S22，也可以同时执行S22和S23。
S24、将底色贴图和纹理贴图进行融合，生成3D白模的目标材质贴图。
在本步骤中，在获取底色贴图和纹理贴图后，需要基于物体的真实情况，将二者进行融合，以获取3D白模的目标材质贴图。
在实际生活中，物体的纹理通常是在底色的上方。因此在将底色贴图和纹理贴图进行融合时，需要将底色贴图作为底层贴图，将纹理贴图作为上层贴图，从而对底色贴图和纹理贴图进行融合，生成目标材质贴图。这样生成的目标材质贴图才会更贴近真实的生活场景，提高目标材质贴图的真实度。
在一种可能的方式中，可以通过公式(1)：f1(A1,B1)＝α×A1+(1-α)×B1生成目标材质贴图；其中，f1(A1,B1)为目标材质贴图，A1为底层贴图，B1为上层贴图，α为透明度。
在该方式中，透明度可以是根据3D白模的材质描述信息确定的，可以是用户预先设定的，也可以是在生成底色贴图和纹理贴图后响应于用户的设定操作进行设定的。通过调整底色贴图和纹理贴图的透明度，进一步使得生成的目标材质贴图更符合实际情况。
在另一种可能的方式中，通过公式(2)： 生成目标材质贴图；其中，f2(A2,B2)为目标材质贴图，A2为归一化后的底层贴图，B2为归一化后的上层贴图
应理解，在实际应用中，可以通过上述任一种方式对底色贴图和纹理贴图进行融合，也可以同时使用上述两种方式对底色贴图和纹理贴图进行融合，获取两种方式对应的目标材质贴图，以供用户进行选择。其中，具体使用上述哪种方式对底色贴图和纹理贴图进行融合，可以是预先设定的，还可以是根据3D白模的材质描述信息确定的，对此不进行具体限定。
进一步的，在融合底色贴图和纹理贴图时，可以对两者的子粗糙度贴图、子颜色贴图以及子法线贴图进行分别融合，从而获取融合得到的目标粗糙度贴图、目标颜色贴图以及目标法线贴图，目标粗糙度贴图、目标颜色贴图以及目标法线贴图即为3D白模的目标材质贴图。
以子粗糙度贴图为例，可以将底色贴图的子粗糙度贴图作为底层贴图，将纹理贴图的子粗糙度贴图作为上层贴图，对底色贴图的子粗糙度贴图和纹理贴图的子粗糙度贴图进行融合，从而生成目标粗糙度贴图。
应理解，对子颜色贴图和子法线贴图的融合过程，可以参照上述对子粗糙度贴图的融合过程，此处不再赘述。
应理解，可以通过上述公式(1)或公式(2)对底色贴图的子粗糙度贴图和纹理贴图的子粗糙度贴图进行融合，从而获取目标粗糙度贴图。具体的原理和实现过程可以参照公式(1)或公式(2)的相关内容，此处不再赘述。
其中，该目标材质贴图即为3D白模的整套基础PBR材质贴图。
本申请实施例提供的材质贴图的生成方法，通过获取3D白模的材质描述信息，该材质描述信息包括底色信息和纹理信息，将底色信息输入底色贴图生成模型，获取底色贴图生成模型输出的底色贴图，并将纹理信息输入纹理贴图生成模型，获取纹理贴图生成模型输出的纹理贴图。最后，将底色贴图和纹理贴图进行融合，生成3D白模的目标材质贴图。其中，底色贴图生成模型是基于多个带标签的样本底色贴图训练得到的，每个样本底色贴图的标签用于表征样本底色贴图的底色信息，纹理贴图生成模型是基于多个带标签的样本纹理贴图训练得到的，每个样本纹理贴图的标签用于表征样本纹理贴图的纹理信息。在本技术方案中，将生成材质贴图的任务拆分成生成底色贴图和生成纹理贴图的两个子任务，由于底色贴图生成模型和纹理贴图生成模型的参数较少且较可控，因此能够生成精细度较高的底色贴图和纹理贴图，以使将底色贴图和纹理贴图进行融合得到的纹理贴图更精细，满足写实场景的应用要求。
基于上述实施例，在实际生活中，物体在使用过程中还会存在破损的情况。因此，3D白模的材质描述信息还可以包括破损信息。在3D白模的材质描述信息包括破损信息时，在获取3D白模的材质描述信息之后，还可以将破损信息输入破损贴图生成模型，获取破损贴图生成模型输出的破损贴图。其中，破损贴图生成模型是基于多个带标签的样本破损贴图训练得到的，每个样本破损贴图的标签用于表征样本破损贴图的破损信息。
应理解，与底色贴图和纹理贴图一样，破损贴图也包括对应的子粗糙度贴图、子颜色贴图以及子法线贴图。
这样，在生成破损贴图之后，还可以将底色贴图、纹理贴图和破损贴图进行融合，生成3D白模的目标材质贴图。
具体的，由于物体的破损一般都是在使用过程中生成的，因此破损贴图应该处于底色贴图和纹理贴图的上方。可以将底色贴图作为底层贴图，将纹理贴图作为上层贴图，从而对底色贴图和纹理贴图进行融合，生成第一材质贴图。之后，将第一材质贴图作为底层贴图，将破损图像作为上层贴图，从而对第一材质贴图和破损贴图进行融合，从而获取3D白模的目标材质贴图。
应理解，上述将底层贴图和上层贴图进行融合的方式可以参照S24中的公式(1)和公式(2)此处不在赘述。
在对底色贴图、纹理贴图和破损贴图三者进行融合的过程中，可以对三者的子粗糙度贴图、子颜色贴图以及子法线贴图进行分别融合，从而获取融合得到的目标粗糙度贴图、目标颜色贴图以及目标法线贴图，目标粗糙度贴图、目标颜色贴图以及目标法线贴图即为3D白模的目标材质贴图。具体的融合过程可以参照S24中的相关内容，此处不再赘述。
通过破损贴图生成模型获取3D白模的破损贴图，从而生成具有破损效果的纹理贴图，使得纹理贴图更贴近生活，满足写实场景的要求。
基于上述任一实施例，在实际生活中物体在使用过程中还会存在脏污的情况。因此，3D白模的材质描述信息还包括脏迹信息。在获取3D白模的材质描述信息之后，还可以将脏迹信息输入脏迹贴图生成模型，获取脏迹贴图生成模型输出的脏迹贴图。其中，脏迹贴图生成模型是基于多个带标签的样本脏迹贴图训练得到的，每个样本脏迹贴图的标签用于表征样本脏迹贴图的脏迹信息。
与底色贴图、纹理贴图和破损贴图一样，脏迹贴图也包括对应的子粗糙度贴图、子颜色贴图以及子法线贴图。
这样，在生成脏迹贴图之后，还可以将底色贴图、纹理贴图和脏迹贴图进行融合，生成3D白模的目标材质贴图，以使生成的目标材质贴图具有脏污效果，更贴合实际生活。
具体的，由于物体的脏迹一般都是在使用过程中生成的，因此脏迹贴图应该处于底色贴图和纹理贴图的上方。可以将底色贴图作为底层贴图，将纹理贴图作为上层贴图，从而对底色贴图和纹理贴图进行融合，生成第一材质贴图。之后，将第一材质贴图作为底层贴图，将脏迹图像作为上层贴图，从而对第一材质贴图和脏迹贴图进行融合，从而获取3D白模的目标材质贴图。
应理解，上述将底层贴图和上层贴图进行融合的方式可以参照S24中的公式(1)和公式(2)此处不在赘述。
在对底色贴图、纹理贴图和脏迹贴图三者进行融合的过程中，可以对三者的子粗糙度贴图、子颜色贴图以及子法线贴图进行分别融合，从而获取融合得到的目标粗糙度贴图、目标颜色贴图以及目标法线贴图，目标粗糙度贴图、目标颜色贴图以及目标法线贴图即为3D白模的目标材质贴图。具体的融合过程可以参照S24中的相关内容，此处不再赘述。
可选地，在实际应用中，由于脏污和破损都是用户使用物品的过程中造成的，通常情况下会同时存在于物体表面。因此，还可以将底色贴图、纹理贴图、破损贴图和脏迹贴图进行融合，生成3D白模的目标材质贴图，以使该目标材质贴图更贴近实际生活情况，使得物体的使用痕迹更真实。
具体的，将底色贴图作为底层贴图，将纹理贴图作为上层贴图，对底色贴图和纹理贴图进行融合，生成第一材质贴图；将第一材质贴图作为底层贴图，将破损贴图作为上层贴图，对第一材质贴图和破损贴图进行融合，生成第二材质贴图；将第二材质贴图作为底层贴图，将脏迹贴图作为上层贴图，对第二材质贴图和脏迹贴图进行融合，生成目标材质贴图。
应理解，上述将底层贴图和上层贴图进行融合的方式可以参照S24中的公式(1)和公式(2)此处不在赘述。
在对底色贴图、纹理贴图、破损贴图和脏迹贴图四者进行融合的过程中，可以对四者的子粗糙度贴图、子颜色贴图以及子法线贴图进行分别融合，从而获取融合得到的目标粗糙度贴图、目标颜色贴图以及目标法线贴图，目标粗糙度贴图、目标颜色贴图以及目标法线贴图即为3D白模的目标材质贴图。具体的融合过程可以参照S24中的相关内容，此处不再赘述。
应理解，可以根据实际情况灵活选择想要使用的模型，通过融合不同模型输出的贴图，实现对目标纹理贴图效果的控制，灵活度较高。且，多个模型之间不存在先后执行顺序，可以并行运行，因此有效提高了纹理贴图的生成效率。
可选地，基于上述任一实施例生成的目标材质贴图为3D白模的2D纹理贴图。进一步的，还可以将上述目标材质贴图映射回3D白模。
基于上述任一实施例提供的材质贴图的生成方法，接下来通过一个具体的示例对其进行解释说明。
图3为本申请实施例提供的材质贴图的生成方法实施例二的流程示意图。如图3所示，该材质贴图的生成方法可以包括如下步骤：
步骤1、构建已知材料的3D白模。
步骤2、获取3D白模的材质描述信息。
其中，该3D白模的材质描述信息包括底色信息、纹理信息、破损信息以及脏迹信息。
在一种可能的实现方式中，电子设备可以通过浏览器或者应用程序向用户展示多个选项，上述多个选项可以为材料子类、环境湿度、新旧程度以及使用痕迹。用户可以根据对3D白模的纹理需求，对每个选项进行设定。电子设备则响应于用户对上述多个选项的设定操作，获取3D白模的材质描述信息。
其中，上述选项中与底色相关的选项为：材料子类、环境湿度和新旧程度；与纹理相关的选项为：材料子类；与破损相关的选项为：新旧程度和使用痕迹；与脏迹相关的选项为：环境湿度和新旧程度。
步骤3、将底色信息输入底色贴图生成模型，获取底色贴图生成模型输出的底色贴图；将纹理信息输入纹理贴图生成模型，获取纹理贴图生成模型输出的纹理贴图；将破损信息输入破损贴图生成模型，获取破损贴图生成模型输出的破损贴图；将脏迹信息输入脏迹贴图生成模型，获取脏迹贴图生成模型输出的脏迹贴图。
步骤4、将底色贴图、纹理贴图、破损贴图和脏迹贴图进行融合，生成3D白模的目标材质贴图。
步骤5、对目标材质贴图进行后处理，对3D白模赋予处理后的目标材质贴图。
示例性的，后处理可以包括确定投射方式、将不同视角下的目标材质贴图的纹理调整至一致、去除不同视角下的目标材质贴图的纹理接缝。
示例性的，图4为本申请实施例提供的贴有材质贴图的3D模型示意图。如图4所示，目标材质贴图包括目标粗糙度贴图、目标颜色贴图和目标法线贴图，该目标材质贴图可以基于上述任一实施例中相关内容生成的。将该目标材质贴图赋予3D白模，并在赋予后进行渲染，从而得到贴有材质贴图的3D模型。
上述任一实施例提供的材质贴图的生成方法能够有效提高纹理贴图的精细度，减少人工绘制纹理贴图耗费的时间，提升制作效率以及场景搭建效率。
在使用上述底色贴图生成模型、纹理贴图生成模型、破损贴图生成模型以及脏污贴图生成模型之前，还需要对其进行模型训练，以优化其的模型参数。下面结合具体地实施例对模型训练过程进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
具体实现时，该模型训练方法的执行主体也可以为终端设备或者服务器等具有处理能力的电子设备。应理解，执行材质贴图的生成方法的电子设备，与，执行模型训练方法的电子设备可以是同一设备，也可以是不同设备。
图5为本申请实施例提供的模型训练方法实施例一的流程示意图。如图5所示，该材模型训练方法可以包括如下步骤：
S51、获取底色训练集。
在本步骤中，底色训练集包括多个带标签的样本底色贴图，每个样本底色贴图的标签用于表征样本底色贴图的底色信息。
其中，可以从存储有样本底色贴图的服务器或数据库中获取样本底色贴图，并响应于用户对样本底色贴图的打标操作，确定样本底色贴图的标签，从而生成带标签的样本底色贴图。还可以从存储有样本底色贴图的服务器或数据库中获取带标签的样本底色贴图。应理解，带标签的样本底色贴图还可以存储在用户的本地存储空间中，电子设备可以直接从本地存储空间中获取带标签的样本底色贴图。
应理解，本实施例不对底色训练集中包含的样本底色贴图的数量进行限定，其可以根据实际情况确定。
S52、根据底色训练集进行模型训练，获取底色贴图生成模型。
在本步骤中，通过底色训练集对图像生成模型进行模型训练，以使对图像生成模型中的模型参数进行微调，从而获取底色贴图生成模型，该底色贴图生成模型能够根据3D白模的底色信息生成3D白模的底色贴图。
可选地，底色贴图生成模型的内部参数包括底色比例、色相、饱和度。
图6为本申请实施例提供的模型训练方法实施例二的流程示意图。如图6所示，该材模型训练方法可以包括如下步骤：
S61、获取纹理训练集。
在本步骤中，纹理训练集包括多个带标签的样本纹理贴图，每个样本纹理贴图的标签用于表征样本纹理贴图的纹理信息。
其中，可以从存储有样本纹理贴图的服务器或数据库中获取样本纹理贴图，并响应于用户对样本纹理贴图的打标操作，确定样本纹理贴图的标签，从而生成带标签的样本纹理贴图。还可以从存储有样本纹理贴图的服务器或数据库中获取带标签的样本纹理贴图。应理解，带标签的样本纹理贴图还可以存储在用户的本地存储空间中，电子设备可以直接从本地存储空间中获取带标签的样本纹理贴图。
应理解，本实施例不对纹理训练集中包含的样本纹理贴图的数量进行限定，其可以根据实际情况确定。
S62、根据纹理训练集进行模型训练，获取纹理贴图生成模型。
在本步骤中，通过纹理训练集对图像生成模型进行模型训练，以使对图像生成模型中的模型参数进行微调，从而获取纹理贴图生成模型，该纹理贴图生成模型能够根据3D白模的纹理信息生成3D白模的纹理贴图。
可选地，纹理贴图生成模型的内部参数包括不同子类纹理变化参数。
图7为本申请实施例提供的模型训练方法实施例三的流程示意图。如图7所示，该材模型训练方法可以包括如下步骤：
S71、获取破损训练集。
在本步骤中，破损训练集包括带标签的样本破损贴图，每个样本破损贴图的标签用于表征样本破损贴图的破损信息。
其中，可以从存储有样本破损贴图的服务器或数据库中获取样本破损贴图，并响应于用户对样本破损贴图的打标操作，确定样本破损贴图的标签，从而生成带标签的样本破损贴图。还可以从存储有样本破损贴图的服务器或数据库中获取带标签的样本破损贴图。应理解，带标签的样本破损贴图还可以存储在用户的本地存储空间中，电子设备可以直接从本地存储空间中获取带标签的样本破损贴图。
应理解，本实施例不对破损训练集中包含的样本破损贴图的数量进行限定，其可以根据实际情况确定。
S72、根据破损训练集进行模型训练，获取破损贴图生成模型。
在本步骤中，通过破损训练集对图像生成模型进行模型训练，以使对图像生成模型中的模型参数进行微调，从而获取破损贴图生成模型，该破损贴图生成模型能够根据3D白模的破损信息生成3D白模的破损贴图。
可选地，破损贴图生成模型的内部参数包括破损类型、程度以及位置。
图8为本申请实施例提供的模型训练方法实施例四的流程示意图。如图8所示，该材模型训练方法可以包括如下步骤：
S81、获取脏迹训练集。
在本步骤中，训练集包括带标签的样本贴图，每个样本贴图的标签用于表征样本贴图的信息。
其中，可以从存储有样本脏迹贴图的服务器或数据库中获取样本脏迹贴图，并响应于用户对样本脏迹贴图的打标操作，确定样本脏迹贴图的标签，从而生成带标签的样本脏迹贴图。还可以从存储有样本脏迹贴图的服务器或数据库中获取带标签的样本脏迹贴图。应理解，带标签的样本脏迹贴图还可以存储在用户的本地存储空间中，电子设备可以直接从本地存储空间中获取带标签的样本脏迹贴图。
应理解，本实施例不对脏迹训练集中包含的样本脏迹贴图的数量进行限定，其可以根据实际情况确定。
S82、根据脏迹训练集进行模型训练，获取贴图生成模型。
在本步骤中，通过脏迹训练集对图像生成模型进行模型训练，以使对图像生成模型中的模型参数进行微调，从而获取脏迹贴图生成模型，该脏迹贴图生成模型能够根据3D白模的信息生成3D白模的贴图。
可选地，脏迹贴图生成模型的内部参数包括脏污类型、程度以及位置。
应理解，上述模型训练方法的实施例中，图像生成模型可以是相同的模型，也可以是不同的。
应理解，上述模型训练方法的实施例的执行主体可以是同一电子设备，也可以为不同的电子设备。
在上述实施例中，从底色、纹理、破损、脏迹四个方向出发，分别获取各方向下的训练集，以使基于训练集进行模型训练，从而获取底色贴图生成模型、纹理贴图生成模型、破损贴图生成模型以及脏迹贴图生成模型，为后续基于上述四个模型生成纹理贴图奠定了基础。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图9为本申请实施例提供的材质贴图的生成装置的结构示意图。如图9所示，该材质贴图的生成装置90包括：
获取模块91，用于获取3D白模的材质描述信息，材质描述信息包括底色信息和纹理信息。
输入模块92，用于将底色信息输入底色贴图生成模型，获取底色贴图生成模型输出的底色贴图，底色贴图生成模型是基于多个带标签的样本底色贴图训练得到的，每个样本底色贴图的标签用于表征样本底色贴图的底色信息。
输入模块92，还用于将纹理信息输入纹理贴图生成模型，获取纹理贴图生成模型输出的纹理贴图，纹理贴图生成模型是基于多个带标签的样本纹理贴图训练得到的，每个样本纹理贴图的标签用于表征样本纹理贴图的纹理信息。
融合模块93，用于将底色贴图和纹理贴图进行融合，生成3D白模的目标材质贴图。
在一种可能的实现方式中，融合模块93，具体用于：
将底色贴图作为底层贴图，将纹理贴图作为上层贴图，对底色贴图和纹理贴图进行融合，生成目标材质贴图。
在一种可能的实现方式中，融合模块93，具体用于：
通过公式(1)：f1(A1,B1)＝α×A1+(1-α)×B1生成目标材质贴图；其中，f1(A1,B1)为目标材质贴图，A1为底层贴图，B1为上层贴图，α为透明度；
或，
通过公式(2)：生成目标材质贴图；其中，f2(A2,B2)为目标材质贴图，A2为归一化后的底层贴图，B2为归一化后的上层贴图。
在一种可能的实现方式中，3D白模的材质描述信息还包括破损信息，在获取3D白模的材质描述信息之后，输入模块92，还用于：
将破损信息输入破损贴图生成模型，获取破损贴图生成模型输出的破损贴图，破损贴图生成模型是基于多个带标签的样本破损贴图训练得到的，每个样本破损贴图的标签用于表征样本破损贴图的破损信息。
相应的，融合模块93，具体用于：
将底色贴图、纹理贴图和破损贴图进行融合，生成3D白模的目标材质贴图。
在一种可能的实现方式中，3D白模的材质描述信息还包括脏迹信息，在获取3D白模的材质描述信息之后，输入模块92，还用于：
将脏迹信息输入脏迹贴图生成模型，获取脏迹贴图生成模型输出的脏迹贴图，脏迹贴图生成模型是基于多个带标签的样本脏迹贴图训练得到的，每个样本脏迹贴图的标签用于表征样本脏迹贴图的脏迹信息。
相应的，融合模块93，具体用于：
将底色贴图、纹理贴图、破损贴图和脏迹贴图进行融合，生成3D白模的目标材质贴图。
在一种可能的实现方式中，融合模块93，具体用于：
将底色贴图作为底层贴图，将纹理贴图作为上层贴图，对底色贴图和纹理贴图进行融合，生成第一材质贴图。
将第一材质贴图作为底层贴图，将破损贴图作为上层贴图，对第一材质贴图和破损贴图进行融合，生成第二材质贴图。
将第二材质贴图作为底层贴图，将脏迹贴图作为上层贴图，对第二材质贴图和脏迹贴图进行融合，生成目标材质贴图。
本申请实施例提供的材质贴图的生成装置，可用于执行上述任一实施例中的材质贴图的生成方法，其实现原理和技术效果类似，在此不再赘述。
图10为本申请实施例提供的模型训练装置实施例一的结构示意图。如图10所示，该模型训练装置100包括第一训练模块101。
其中，第一训练模块101用于：
获取底色训练集，底色训练集包括多个带标签的样本底色贴图，每个样本底色贴图的标签用于表征样本底色贴图的底色信息。
根据底色训练集进行模型训练，获取底色贴图生成模型，底色贴图生成模型用于根据3D白模的底色信息生成3D白模的底色贴图。
本申请实施例提供的模型训练装置，可用于执行上述任一实施例中的底色贴图生成模型侧的模型训练方法，其实现原理和技术效果类似，在此不再赘述。
图11为本申请实施例提供的模型训练装置实施例二的结构示意图。如图11所示，该模型训练装置110包括第二训练模块111。
其中，第二训练模块111用于：
获取纹理训练集，纹理训练集包括多个带标签的样本纹理贴图，每个样本纹理贴图的标签用于表征样本纹理贴图的纹理信息。
根据纹理训练集进行模型训练，获取纹理贴图生成模型，纹理贴图生成模型用于根据3D白模的纹理信息生成3D白模的纹理贴图。
本申请实施例提供的模型训练装置，可用于执行上述任一实施例中的纹理贴图生成模型侧的模型训练方法，其实现原理和技术效果类似，在此不再赘述。
图12为本申请实施例提供的模型训练装置实施例三的结构示意图。如图12所示，如图12所示，该模型训练装置120包括第三训练模块121。
其中，第三训练模块121用于：
获取破损训练集，破损训练集包括带标签的样本破损贴图，每个样本破损贴图的标签用于表征样本破损贴图的破损信息。
根据破损训练集进行模型训练，获取破损贴图生成模型，破损贴图生成模型用于根据3D白模的破损信息生成3D白模的破损贴图。
本申请实施例提供的模型训练装置，可用于执行上述任一实施例中的破损色贴图生成模型侧的模型训练方法，其实现原理和技术效果类似，在此不再赘述。
图13为本申请实施例提供的模型训练装置实施例四的结构示意图。如图13所示，如图13所示，如图13所示，该模型训练装置130包括第四训练模块131。
获取脏迹训练集，脏迹训练集包括带标签的样本脏迹贴图，每个样本脏迹贴图的标签用于表征样本脏迹贴图的脏迹信息。
根据脏迹训练集进行模型训练，获取脏迹贴图生成模型，脏迹贴图生成模型用于根据3D白模的脏迹信息生成3D白模的脏迹贴图。
本申请实施例提供的模型训练装置，可用于执行上述任一实施例中的脏迹贴图生成模型侧的模型训练方法，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。此外，这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
图14为本申请实施例提供的一种电子设备的结构示意图。如图14所示，本实施例的电子设备可以包括：
至少一个处理器141；以及
与所述至少一个处理器通信连接的存储器142；
其中，所述存储器142存储有可被所述至少一个处理器141执行的指令，所述指令被所述至少一个处理器141执行，以使所述电子设备执行如上述任一实施例所述的方法。
可选地，存储器142既可以是独立的，也可以跟处理器141集成在一起。
本实施例提供的电子设备的实现原理和技术效果可以参见前述各实施例，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现前述任一实施例所述的方法。
本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述任一实施例所述的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的部分步骤。
应理解，上述处理器可以是处理单元(Central Processing Unit，简称CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种材质贴图的生成方法，其特征在于，包括：
获取3D白模的材质描述信息，所述材质描述信息包括底色信息和纹理信息；
将所述底色信息输入底色贴图生成模型，获取所述底色贴图生成模型输出的底色贴图，所述底色贴图生成模型是基于多个带标签的样本底色贴图训练得到的，每个样本底色贴图的标签用于表征所述样本底色贴图的底色信息；
将所述纹理信息输入纹理贴图生成模型，获取所述纹理贴图生成模型输出的纹理贴图，所述纹理贴图生成模型是基于多个带标签的样本纹理贴图训练得到的，每个样本纹理贴图的标签用于表征所述样本纹理贴图的纹理信息；
将所述底色贴图和所述纹理贴图进行融合，生成所述3D白模的目标材质贴图。
2.根据权利要求1所述的方法，其特征在于，所述将所述底色贴图和所述纹理贴图进行融合，生成所述3D白模的目标材质贴图，包括：
将所述底色贴图作为底层贴图，将所述纹理贴图作为上层贴图，对所述底色贴图和所述纹理贴图进行融合，生成所述目标材质贴图。
3.根据权利要求2所述的方法，其特征在于，所述将所述底色贴图作为底层贴图，将所述纹理贴图作为上层贴图，对所述底色贴图和所述纹理贴图进行融合，生成所述目标材质贴图，包括：
通过公式(1)：f1(A1,B1)＝α×A1+(1-α)×B1生成所述目标材质贴图；其中，f1(A1,B1)为所述目标材质贴图，A1为底层贴图，B1为上层贴图，α为透明度；
或，
通过公式(2)：生成所述目标材质贴图；其中，f2(A2,B2)为所述目标材质贴图，A2为归一化后的底层贴图，B2为归一化后的上层贴图。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述3D白模的材质描述信息还包括破损信息，在所述获取3D白模的材质描述信息之后，所述方法还包括：
将所述破损信息输入破损贴图生成模型，获取所述破损贴图生成模型输出的破损贴图，所述破损贴图生成模型是基于多个带标签的样本破损贴图训练得到的，每个样本破损贴图的标签用于表征所述样本破损贴图的破损信息；
相应的，所述将所述底色贴图和所述纹理贴图进行融合，生成所述3D白模的目标材质贴图，包括：
将所述底色贴图、所述纹理贴图和所述破损贴图进行融合，生成所述3D白模的目标材质贴图。
5.根据权利要求4所述的方法，其特征在于，所述3D白模的材质描述信息还包括脏迹信息，在所述获取3D白模的材质描述信息之后，所述方法还包括：
将所述脏迹信息输入脏迹贴图生成模型，获取所述脏迹贴图生成模型输出的脏迹贴图，所述脏迹贴图生成模型是基于多个带标签的样本脏迹贴图训练得到的，每个样本脏迹贴图的标签用于表征所述样本脏迹贴图的脏迹信息；
相应的，所述将所述底色贴图、所述纹理贴图和所述破损贴图进行融合，生成所述3D白模的目标材质贴图，包括：
将所述底色贴图、所述纹理贴图、所述破损贴图和所述脏迹贴图进行融合，生成所述3D白模的目标材质贴图。
6.根据权利要求5所述的方法，其特征在于，所述将所述底色贴图、所述纹理贴图、所述破损贴图和所述脏迹贴图进行融合，生成所述3D白模的目标材质贴图，包括：
将所述底色贴图作为底层贴图，将所述纹理贴图作为上层贴图，对所述底色贴图和所述纹理贴图进行融合，生成第一材质贴图；
将所述第一材质贴图作为底层贴图，将所述破损贴图作为上层贴图，对所述第一材质贴图和所述破损贴图进行融合，生成第二材质贴图；
将所述第二材质贴图作为底层贴图，将所述脏迹贴图作为上层贴图，对所述第二材质贴图和所述脏迹贴图进行融合，生成所述目标材质贴图。
7.一种模型训练方法，其特征在于，包括：
获取底色训练集，所述底色训练集包括多个带标签的样本底色贴图，每个样本底色贴图的标签用于表征所述样本底色贴图的底色信息；
根据所述底色训练集进行模型训练，获取底色贴图生成模型，所述底色贴图生成模型用于根据3D白模的底色信息生成所述3D白模的底色贴图。
8.一种模型训练方法，其特征在于，包括：
获取纹理训练集，所述纹理训练集包括多个带标签的样本纹理贴图，每个样本纹理贴图的标签用于表征所述样本纹理贴图的纹理信息；
根据所述纹理训练集进行模型训练，获取纹理贴图生成模型，所述纹理贴图生成模型用于根据3D白模的纹理信息生成所述3D白模的纹理贴图。
9.一种模型训练方法，其特征在于，包括：
获取破损训练集，所述破损训练集包括带标签的样本破损贴图，每个样本破损贴图的标签用于表征所述样本破损贴图的破损信息；
根据所述破损训练集进行模型训练，获取破损贴图生成模型，所述破损贴图生成模型用于根据3D白模的破损信息生成所述3D白模的破损贴图。
10.一种模型训练方法，其特征在于，包括：
获取脏迹训练集，所述脏迹训练集包括带标签的样本脏迹贴图，每个样本脏迹贴图的标签用于表征所述样本脏迹贴图的脏迹信息；
根据所述脏迹训练集进行模型训练，获取脏迹贴图生成模型，所述脏迹贴图生成模型用于根据3D白模的脏迹信息生成所述3D白模的脏迹贴图。
11.一种材质贴图的生成装置，其特征在于，包括：
获取模块，用于获取3D白模的材质描述信息，所述材质描述信息包括底色信息和纹理信息；
输入模块，用于将所述底色信息输入底色贴图生成模型，获取所述底色贴图生成模型输出的底色贴图，所述底色贴图生成模型是基于多个带标签的样本底色贴图训练得到的，每个样本底色贴图的标签用于表征所述样本底色贴图的底色信息；
所述输入模块，还用于将所述纹理信息输入纹理贴图生成模型，获取所述纹理贴图生成模型输出的纹理贴图，所述纹理贴图生成模型是基于多个带标签的样本纹理贴图训练得到的，每个样本纹理贴图的标签用于表征所述样本纹理贴图的纹理信息；
融合模块，用于将所述底色贴图和所述纹理贴图进行融合，生成所述3D白模的目标材质贴图。
12.一种模型训练装置，其特征在于，包括：
第一训练模块、第二训练模块、第三训练模块以及第四训练模块；
所述第一训练模块用于执行权利要求7所述的方法；
所述第二训练模块用于执行权利要求8所述的方法；
所述第三训练模块用于执行权利要求9所述的方法；
所述第四训练模块用于执行权利要求10所述的方法。
13.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备执行权利要求1-10任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-10任一项所述的方法。
CN202311408797.4A 2023-10-26 2023-10-26 材质贴图的生成方法、模型训练方法、装置、设备及介质 Pending CN117495995A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311408797.4A CN117495995A (zh) 2023-10-26 2023-10-26 材质贴图的生成方法、模型训练方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311408797.4A CN117495995A (zh) 2023-10-26 2023-10-26 材质贴图的生成方法、模型训练方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN117495995A true CN117495995A (zh) 2024-02-02

Family

ID=89681952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311408797.4A Pending CN117495995A (zh) 2023-10-26 2023-10-26 材质贴图的生成方法、模型训练方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117495995A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926832A (zh) * 2022-05-13 2022-08-19 每平每屋(上海)科技有限公司 特征提取模型训练、材质贴图处理方法、装置及电子设备
CN115375813A (zh) * 2022-08-11 2022-11-22 网易（杭州）网络有限公司 虚拟模型的渲染方法、装置、存储介质及电子装置
CN115761098A (zh) * 2022-11-22 2023-03-07 网易（杭州）网络有限公司 虚拟场景渲染方法、装置、设备及存储介质
CN116051705A (zh) * 2022-09-21 2023-05-02 北京数字力场科技有限公司 模型训练方法、3d服装渲染方法、电子设备及存储介质
WO2023098358A1 (zh) * 2021-12-05 2023-06-08 北京字跳网络技术有限公司 一种模型渲染方法、装置、计算机设备及存储介质
CN116246001A (zh) * 2023-02-21 2023-06-09 网易（杭州）网络有限公司 污渍纹理的渲染方法、装置、电子设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023098358A1 (zh) * 2021-12-05 2023-06-08 北京字跳网络技术有限公司 一种模型渲染方法、装置、计算机设备及存储介质
CN114926832A (zh) * 2022-05-13 2022-08-19 每平每屋(上海)科技有限公司 特征提取模型训练、材质贴图处理方法、装置及电子设备
CN115375813A (zh) * 2022-08-11 2022-11-22 网易（杭州）网络有限公司 虚拟模型的渲染方法、装置、存储介质及电子装置
CN116051705A (zh) * 2022-09-21 2023-05-02 北京数字力场科技有限公司 模型训练方法、3d服装渲染方法、电子设备及存储介质
CN115761098A (zh) * 2022-11-22 2023-03-07 网易（杭州）网络有限公司 虚拟场景渲染方法、装置、设备及存储介质
CN116246001A (zh) * 2023-02-21 2023-06-09 网易（杭州）网络有限公司 污渍纹理的渲染方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN109377546B (zh) 虚拟现实模型渲染方法及装置
US11551404B2 (en) Photorealistic three dimensional texturing using canonical views and a two-stage approach
CN108292358A (zh) 用于识别系统的合成三维对象图像的生成
CN113674389B (zh) 场景渲染方法、装置、电子设备及存储介质
CN107798725B (zh) 基于Android的二维住房户型识别和三维呈现方法
Dirksen Learning Three. js–the JavaScript 3D Library for WebGL
CN105184730A (zh) 向图形处理系统中的区片分配图元
CN105321140A (zh) 向图形处理系统中的区片分配图元
AU2018201472A1 (en) System and method of rendering a surface
CN111583381B (zh) 游戏资源图的渲染方法、装置及电子设备
CN104243952A (zh) 图像处理设备、图像处理方法、程序、印刷介质和印刷介质套件
US9176662B2 (en) Systems and methods for simulating the effects of liquids on a camera lens
Yu et al. Artificial intelligence for Dunhuang cultural heritage protection: the project and the dataset
Ganovelli et al. Introduction to computer graphics: A practical learning approach
CN109712226A (zh) 虚拟现实的透明模型渲染方法及装置
KR20200136723A (ko) 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치
JP2024508457A (ja) ３ｄモデリングを強化するために一時的なテクスチャアプリケーションを提供する方法及びシステム
CN106447756A (zh) 用于生成用户定制的计算机生成动画的方法和系统
CN110428504A (zh) 文本图像合成方法、装置、计算机设备和存储介质
CN114820292A (zh) 图像合成方法、装置、设备及存储介质
JP2023525945A (ja) モバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法
US20210241539A1 (en) Broker For Instancing
CN117456076A (zh) 一种材质贴图生成方法及相关设备
CN117495995A (zh) 材质贴图的生成方法、模型训练方法、装置、设备及介质
CN108171784B (zh) 一种渲染方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination