CN115063645A - 模型训练方法、贴图确定方法、装置、设备 - Google Patents
模型训练方法、贴图确定方法、装置、设备 Download PDFInfo
- Publication number
- CN115063645A CN115063645A CN202210488281.4A CN202210488281A CN115063645A CN 115063645 A CN115063645 A CN 115063645A CN 202210488281 A CN202210488281 A CN 202210488281A CN 115063645 A CN115063645 A CN 115063645A
- Authority
- CN
- China
- Prior art keywords
- map
- image
- target object
- vector
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000002372 labelling Methods 0.000 claims abstract description 76
- 239000000463 material Substances 0.000 claims abstract description 57
- 238000013507 mapping Methods 0.000 claims abstract description 55
- 238000009877 rendering Methods 0.000 claims abstract description 43
- 239000013598 vector Substances 0.000 claims description 152
- 230000006870 function Effects 0.000 claims description 87
- 238000002310 reflectometry Methods 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 16
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 101100409308 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) adv-1 gene Proteins 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本公开提供的一种模型训练方法、贴图确定方法、装置、设备，涉及图形渲染技术，包括：获取训练数据集；训练数据集中包括多组训练数据，每组训练数据中包括目标对象的第一图像和多张第二图像，以及标注贴图；将第一图像和多张第二图像输入至预设模型中，得到目标对象的预测贴图；根据目标对象的标注贴图和预测贴图，调整预设模型中的参数，得到贴图预测模型。本方案可基于目标对象的一张在环境光下的图像和多张在点光源下的图像构成的训练数据，得到贴图预测模型；该贴图预测模型在使用时，输入对象的一张在环境光下的图像(包含材质颜色信息)和一张在点光源下的图像(包含材质的反射率信息)，输出对象的贴图。过曝区域信息不会丢失。
Description
技术领域
本公开涉及图形渲染技术，尤其涉及一种模型训练方法、贴图确定方法、装置、设备。
背景技术
增强现实(Augmented Reality，AR)，是指透过摄影机影像的位置及角度精算并加上图像分析技术，让屏幕上的虚拟世界能够与现实世界场景进行结合与交互的技术。随着计算机图形学和渲染引擎相关技术的发展，AR的应用场景也从娱乐扩展至工业、医疗、教育等领域，这对应用的真实感和沉浸感提出了更高的要求。AR应用的真实感和沉浸感来自于虚拟物体的精确定位和真实渲染。渲染引擎在渲染虚拟物体时，需要物体的几何和颜色信息、光照信息，使用光照模型计算结果。建立逼真的虚拟物体要靠几何建模和材质建模，其中对物体材质的高效建模、存储和使用至关重要。
现有技术中，通过自编码算法(AutoEncoder)、生成对抗网络(GenerativeAdversarial Network，GAN)等基于卷积神经网络(Convolutional Neural Networks，CNN)构建的深度卷积神经网络可以从材质图像估计基于物理的渲染(Physically BasedRendering，PBR)方法需要的空间变化的双向反射分布函数(Spatially-varyingBidirectional Reflectance Distribution Function，SVBRDF)材质参数。现有的深度神经网络估计材质参数的方法多数是将单张点光源图像作为输入生成材质参数。
但是，这种方式，存在过曝区域信息丢失的问题。
发明内容
本公开提供了一种模型训练方法、贴图确定方法、装置、设备，过曝区域信息不会丢失。
根据本公开第一方面，提供了一种模型训练方法，所述方法包括：
获取训练数据集；所述训练数据集中包括多组训练数据，每组所述训练数据中包括目标对象的第一图像和多张第二图像，以及所述目标对象的标注贴图；其中，所述标注贴图为预先标注的所述目标对象的贴图；所述第一图像用于表征所述目标对象在环境光下的图像，所述第二图像用于表征所述目标对象在点光源下的图像；其中，贴图用于表征所述目标对象的材质参数；
将所述目标对象的第一图像和多张第二图像输入至预设模型中，得到所述目标对象的预测贴图；
根据所述目标对象的标注贴图和预测贴图，调整所述预设模型中的参数，得到贴图预测模型，所述贴图预测模型用于根据对象的图像确定所述对象的贴图。
根据本公开第二方面，提供了一种贴图确定方法，所述方法包括：
获取目标对象的第一图像和第二图像；其中，所述第一图像用于表征所述目标对象在环境光下的图像；所述第二图像用于表征所述目标对象在点光源下的图像；
将所述目标对象的第一图像和第二图像，输入至预设的贴图预测模型，得到与所述目标对象对应的贴图；其中，贴图用于表征所述目标对象的材质参数；
其中，所述贴图识别模型是使用训练数据集训练得到的，所述训练数据集中包括多组训练数据，每组训练数据中包括用于模型训练的目标对象的第一图像和多张第二图像，以及所述目标对象的标注贴图。
根据本公开第三方面，提供了一种模型训练装置，所述装置包括：
获取单元，用于获取训练数据集；所述训练数据集中包括多组训练数据，每组所述训练数据中包括目标对象的第一图像和多张第二图像，以及所述目标对象的标注贴图；其中，所述标注贴图为预先标注的所述目标对象的贴图；所述第一图像用于表征所述目标对象在环境光下的图像，所述第二图像用于表征所述目标对象在点光源下的图像；其中，贴图用于表征所述目标对象的材质参数；
训练单元，用于将所述目标对象的第一图像和多张第二图像输入至预设模型中，得到所述目标对象的预测贴图；
训练单元，还用于根据所述目标对象的标注贴图和预测贴图，调整所述预设模型中的参数，得到贴图预测模型，所述贴图预测模型用于根据对象的图像确定所述对象的贴图。
根据本公开第四方面，提供了一种贴图确定装置，所述装置包括：
获取单元，用于获取目标对象的第一图像和第二图像；其中，所述第一图像用于表征所述目标对象在环境光下的图像；所述第二图像用于表征所述目标对象在点光源下的图像；其中，贴图用于表征所述目标对象的材质参数；
确定单元，用于将所述目标对象的第一图像和第二图像，输入至预设的贴图预测模型，得到与所述目标对象对应的贴图；
其中，所述贴图识别模型是使用训练数据集训练得到的，所述训练数据集中包括多组训练数据，每组训练数据中包括用于模型训练的目标对象的第一图像和多张第二图像，以及所述目标对象的标注贴图。
根据本公开第五方面，提供了一种电子设备，包括存储器和处理器；其中，
所述存储器，用于存储计算机程序；
所述处理器，用于读取所述存储器存储的计算机程序，并根据所述存储器中的计算机程序执行如第一方面、第二方面所述的方法。
根据本公开第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面或第二方面所述的方法。
根据本公开第七方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现如第一方面或第二方面所述的方法。
本公开提供的模型训练方法、贴图确定方法、装置、设备，包括：获取训练数据集；训练数据集中包括多组训练数据，每组训练数据中包括目标对象的第一图像和多张第二图像，以及目标对象的标注贴图；其中，标注贴图为预先标注的目标对象的贴图；第一图像用于表征目标对象在环境光下的图像，第二图像用于表征目标对象在点光源下的图像；其中，贴图用于表征目标对象的材质参数；将目标对象的第一图像和多张第二图像输入至预设模型中，得到目标对象的预测贴图；根据目标对象的标注贴图和预测贴图，调整预设模型中的参数，得到贴图预测模型，贴图预测模型用于根据对象的图像确定对象的贴图。本方案提供的模型训练方法、贴图确定方法、装置、设备中，可以基于目标对象的一张在环境光下的图像和多张在点光源下的图像构成的训练数据，得到贴图预测模型；该贴图预测模型在使用时，输入对象的一张在环境光下的图像和一张在点光源下的图像，输出对象的贴图，环境光下的图像中包含材质颜色信息，点光源下的图像包含材质的反射率信息，通过这种方式能够解决现有技术中生成对象贴图时存在的过曝区域信息丢失的问题。
附图说明
图1为本公开一示例性实施例示出的模型训练方法的流程示意图；
图2为本公开另一示例性实施例示出的模型训练方法的流程示意图；
图3为本公开一示例性实施例示出的原始数据集中数据示意图；
图4为本公开一示例性实施例示出的预测贴图及第三图像示意图；
图5为本公开一示例性实施例示出的掩膜收敛结果示意图；
图6为本公开一示例性实施例示出的贴图确定方法的流程示意图；
图7为本公开一示例性实施例示出的不同第二图像作为模型输入的效果示意图；
图8为本公开一示例性实施例示出的获取重渲染图像的过程示意图；
图9为本公开一示例性实施例示出的模型训练装置的结构图；
图10为本公开一示例性实施例示出的贴图确定装置的结构图；
图11为本公开一示例性实施例示出的电子设备的结构图。
具体实施方式
增强现实(Augmented Reality，AR)，是指透过摄影机影像的位置及角度精算并加上图像分析技术，让屏幕上的虚拟世界能够与现实世界场景进行结合与交互的技术。随着计算机图形学和渲染引擎相关技术的发展，AR的应用场景也从娱乐扩展至工业、医疗、教育等领域，这对应用的真实感和沉浸感提出了更高的要求。AR应用的真实感和沉浸感来自于虚拟物体的精确定位和真实渲染。渲染引擎在渲染虚拟物体时，需要物体的几何和颜色信息、光照信息，使用光照模型计算结果。建立逼真的虚拟物体要靠几何建模和材质建模，其中对物体材质的高效建模、存储和使用至关重要。现有技术中，获取材质参数的传统方法通常为人工制作、光度计测量等，或通过材质合成方法生成。但随着深度学习理论的发展及应用的普及，通过AutoEncoder、GAN等基于CNN构建的深度卷积神经网络可以从材质图像估计PBR方法需要的SVBRDF材质参数。
但是，现有的深度神经网络估计材质参数的方法多数是将单张点光源图像作为输入，存在过曝区域信息丢失的问题；少数采用多张材质图像作为输入并优化生成材质参数的方法耗时较长，并需要苛刻的拍摄条件。
为了解决上述技术问题，本公开提供的方案中，可以基于目标对象的一张在环境光下的图像和多张在点光源下的图像构成的训练数据，得到贴图预测模型；该贴图预测模型在使用时，输入对象的一张在环境光下的图像和一张在点光源下的图像，输出对象的贴图。解决了现有技术中将单张点光源图像作为输入，存在过曝区域信息丢失的问题；且本方案较现有技术中采用多张材质图像作为输入的方法耗时短，无需苛刻的拍摄条件。
图1为本公开一示例性实施例示出的模型训练方法的流程示意图。
如图1所示，本实施例提供的模型训练方法包括：
步骤101，获取训练数据集；训练数据集中包括多组训练数据，每组训练数据中包括目标对象的第一图像和多张第二图像，以及目标对象的标注贴图；其中，标注贴图为预先标注的目标对象的贴图；第一图像用于表征目标对象在环境光下的图像，第二图像用于表征目标对象在点光源下的图像；其中，贴图用于表征目标对象的材质参数。
其中，本公开提供的方法可以由具备计算能力的电子设备来执行，比如可以是计算机等设备。该电子设备能够获取训练数据集。
具体的，多张第二图像可以表征目标对象在不同点光源下的图像。
其中，环境光指颜色会叠加在场景中所有物体的颜色上。环境光创建后会应用到全局中去，环境光没有特别的来源方向，通常不能将其作为场景中的唯一的光源，因为他会将场景中的所有物体渲染为相同的颜色，在场景中再去引入其他的光源的目的就是弱化阴影。
其中，点光源指空间中一点向所有方向发射光源(不会产生阴影，因为点光源会朝所有的方向发射光线)，点光源是一种单点发光，照亮所有方向的光源，例如，夜空中的照明弹。
其中，材质，是指物体看起来是什么质地，材质可以看成是材料和质感的结合。材质在渲染程式中，它是表面各可视属性的结合，这些可视属性是指表面的色彩、纹理、光滑度、透明度、反射率、折射率、发光度等。这些可视属性值即为材质参数。
具体的，可以将目标对象的材质参数以图像的形式保存，这样就得到了贴图。
其中，将目标对象的标注材质参数以图像的形式保存，该图像即为标注贴图。
步骤102，将目标对象的第一图像和多张第二图像输入至预设模型中，得到目标对象的预测贴图。
其中，预设模型为预先设置的网络模型。该网络模型是基于卷积神经网络设置的。
预设模型可以对目标对象的第一图像和多张第二图像进行处理，输出该目标对象的预测贴图。其中，预测贴图用于表征目标对象的预测材质参数。
步骤103，根据目标对象的标注贴图和预测贴图，调整预设模型中的参数，得到贴图预测模型，贴图预测模型用于根据对象的图像确定对象的贴图。
具体的，可以将目标对象的标注贴图作为目标对象的预测贴图的标签，对预设模型进行训练，优化预设模型中的参数。使得预测贴图与标注贴图越来越接近。当达到预设条件，比如预测贴图与标注贴图的相同度达到百分之八十时，停止训练，得到贴图预测模型。
进一步的，可以根据预测贴图与标注贴图构建损失函数，再基于损失函数进行梯度回传，从而调整预设模型中的参数，使得预设模型输出的预测贴图与标注贴图越来越接近。
本公开提供的模型训练方法，包括：获取训练数据集；训练数据集中包括多组训练数据，每组训练数据中包括目标对象的第一图像和多张第二图像，以及目标对象的标注贴图；其中，标注贴图为预先标注的目标对象的贴图；第一图像用于表征目标对象在环境光下的图像，第二图像用于表征目标对象在点光源下的图像；其中，贴图用于表征目标对象的材质参数；将目标对象的第一图像和多张第二图像输入至预设模型中，得到目标对象的预测贴图；根据目标对象的标注贴图和预测贴图，调整预设模型中的参数，得到贴图预测模型，贴图预测模型用于根据对象的图像确定对象的贴图。本公开采用的方法中，可以基于目标对象的一张在环境光下的图像和多张在点光源下的图像构成的训练数据，得到贴图预测模型；该贴图预测模型在使用时，输入对象的一张在环境光下的图像和一张在点光源下的图像，输出对象的贴图。本公开提供的方法，不存在过曝区域信息丢失的问题；且得到对象贴图的耗时短，也无需苛刻的拍摄条件。
图2为本公开另一示例性实施例示出的模型训练方法的流程示意图。
如图2所示，本实施例提供的模型训练方法包括：
步骤201，获取原始数据集；原始数据集中包括目标对象的标注贴图；利用预设的环境光图像对标注贴图进行渲染处理，得到第一图像，和/或，利用预设点光源参数对标注贴图进行渲染处理，得到第二图像；其中，标注贴图为预先标注的目标对象的贴图；其中，贴图用于表征目标对象的材质参数。
具体的，步骤201之后，可以执行步骤202A，或者步骤202B。
其中，预设点光源参数为根据实际情况预先设置的点光源参数，其中，点光源参数可以包括点光源的方向、距离和强度信息等。
其中，环境光图像指任一环境光下的图像。具体的，可以从网络上获取环境光图像。具体的，环境光图像可以为高动态范围图像(即360度全景图)。
其中，模型是用严格定义的语言或者数据结构对于三维物体的描述，它包括几何、视点、纹理以及照明信息。渲染是将三维场景中的模型，按照设定好的环境、灯光、材质及渲染参数，二维投影成数字图像的过程。
其中，例如可以通过VRay渲染器对标注贴图进行渲染。
具体的，可以利用预先设置的环境光图像对标注贴图进行渲染处理，得到目标对象的第一图像。其中，第一图像用于表征目标对象在环境光下的图像。
具体的，可以利用预设点光源参数对标注贴图进行渲染处理，得到目标对象的第二图像。进一步的，利用不同的预设点光源参数对标注贴图进行渲染处理，可以得到目标对象的多张第二图像。其中，第二图像用于表征目标对象在预设点光源下的图像。
在一种可实现方式中，标注贴图包括标注法线贴图、标注漫反射贴图、标注粗糙度贴图、标注反射率贴图。
其中，法线贴图就是在目标对象的原物体的凹凸表面的每个点上均作法线，通过RGB颜色通道来标记法线的方向，可以把它理解成与原凹凸表面平行的另一个不同的表面，但实际上它又只是一个光滑的平面。对于视觉效果而言，它的效率比原有的凹凸表面更高，若在特定位置上应用光源，可以让细节程度较低的表面生成高细节程度的精确光照方向和反射效果。
其中，红色(red，R)、绿色(green，G)、蓝色(blue，B)称为三原色光。RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是运用最广的颜色系统之一。
其中，漫反射贴图也称为颜色贴图。它可以表现出物体被光照射到而显出的颜色和强度。
其中，粗糙度贴图为一张黑白图，用于控制模型微表面粗糙程度。图中像素越白的地方，微表面越粗糙，单个像素的反射光线的方向范围就越分散，将周围环境映射到模型表面就显得越不清晰。
其中，反射率贴图为一种黑白的图像，像素越白的地方镜面反射越强，越黑的地方镜面反射越弱，用来表现模型表面反光程度(塑料>木头>皮肤>布料)，从而区分不同材质。
如图3所示，为原始数据集中数据的示例。图3中的每行从左到右分别表示目标对象在点光源下的图像、以及目标对象的标注法线贴图、标注漫反射贴图、标注粗糙度贴图、标注反射率贴图。
具体的，可以从预设的环境光图像中提取环境光参数。
利用环境光参数对标注法线贴图、标注漫反射贴图、标注粗糙度贴图、标注反射率贴图进行渲染，得到第一图像。
具体的，可以基于图像的光照(Image Based Lighting，IBL)方法，利用提取的环境光参数对标注法线贴图、标注漫反射贴图、标注粗糙度贴图、标注反射率贴图进行渲染，得到第一图像。
具体的，可以先将预设的环境光图像经过漫反射和镜面反射预滤波得到相应的环境光贴图，然后经过重要性采样得到双向反射分布函数(Bidirectional ReflectanceDistribution Function，BRDF)积分查找表，然后对标注法线贴图、标注漫反射贴图、标注粗糙度贴图、标注反射率贴图根据光照模型进行渲染，得到的渲染结果即为目标对象的第一图像。
其中，BRDF用于描述反射光与入射光的关系，即为给定入射的光线数量和方向，计算出指定方向的出射光亮度。
根据预设旋转角度分别旋转标注法线贴图、标注漫反射贴图、标注粗糙度贴图、标注反射率贴图，根据预设截取位置分别在旋转后的标注法线贴图、标注漫反射贴图、标注粗糙度贴图、标注反射率贴图中截取图像，得到局部材质贴图；局部材质贴图包括局部法线贴图、局部漫反射贴图、局部粗糙度贴图、局部反射率贴图。
其中，预设旋转角度为预先设置的旋转角度。可以使用相同的预设旋转角度分别转标注法线贴图、标注漫反射贴图、标注粗糙度贴图、标注反射率贴图。
其中，预设截取位置为预设设置的截取位置。可以使用相同的截取位置分别在旋转后的标注法线贴图、标注漫反射贴图、标注粗糙度贴图、标注反射率贴图中截取图像，得到局部材质贴图。
具体的，可以利用如下公式在旋转后的标注法线贴图的居中位置截取图像，得到局部法线贴图；
s～U(1，1.3)
其中，l表示局部法线贴图的高度；H表示标注法线贴图的像素尺寸；s表示缩放系数，其中s是1到1.3的均匀分布；A表示旋转角度，且A∈[0，2π)；符号
表示向下取整。
类似的，可以在旋转后的标注漫反射贴图中截取图像，得到局部漫反射贴图；在旋转后的标注粗糙度贴图中截取图像，得到局部粗糙度贴图；在旋转后的标注反射率贴图中截取图像，得到局部反射率贴图。
具体的，同一个局部材质贴图包括的局部法线贴图、局部漫反射贴图、局部粗糙度贴图、局部反射率贴图，可以使用相同的缩放系数和旋转角度获得；不同局部材质贴图可以使用不同的缩放系数和不同的旋转角度获得。
利用预设点光源参数对局部材质贴图进行渲染，得到第二图像。
具体的，可以利用预设点光源参数对局部法线贴图、局部漫反射贴图、局部粗糙度贴图、局部反射率贴图进行渲染处理，得到第二图像。
具体的，可以利用不同的点光源参数对不同的局部材质贴图进行渲染，得到多个第二图像。
步骤202A，利用预设模型中的第一编码模块对第一图像进行编码，得到目标对象的第一向量。
具体的，步骤202A之后可以执行步骤203。
具体的，第一编码模块可以将第一图像进行卷积生成目标对象的第一向量。
具体的，第一编码模块可以为基于条件对抗生成网络的双通道材质生成深度神经网络。第一编码模块每一层的卷积模块可以由卷积层-线性整流单元-实例规范化组成。第一编码模块的输入图像分辨率可以为256×256。第一编码模块可以由8个卷积模块组成，通道数可以分别为64-128-256-512-512-512-512-512，每个通道特征图维度(宽度与高度相等)可以为128-64-32-16-8-4-2-1。
步骤202B，利用预设模型中的第二编码模块对第二图像进行编码，得到目标对象的第二向量。
具体的，第二编码模块可以将第二图像进行卷积生成目标对象的第二向量。
具体的，第二编码模块可以为基于条件对抗生成网络的双通道材质生成深度神经网络。第二编码模块每一层的卷积模块可以由卷积层-线性整流单元-实例规范化组成。第二编码模块的输入图像分辨率可以为128×128。第二编码模块可以由7个卷积模块组成，通道数可以分别为64-128-256-512-512-512-512-512，每个通道特征图维度(宽度与高度相等)可以为64-32-16-8-4-2-1。
步骤203，根据第一向量以及多个第二向量，确定目标对象的目标向量。
具体的，可以将第一向量和多个第二向量进行处理，得到处理后的向量，将处理后的向量确定为目标对象的目标向量。
在一种可实现方式中，第二向量为N维向量；预设模型的参数中还包括当前掩模向量，当前掩模向量为N维向量；确定当前掩膜向量和第二向量之间的乘积，得到多个第四向量，并将多个第四向量的平均值确定为目标对象的第三向量；
具体的，当前掩模向量中每一维度数据的取值均为0或者1。
具体的，当前掩膜向量和第二向量之间的乘积指将当前掩膜向量与第二向量的相同维度数据相乘。
连接第一向量与第三向量，得到目标对象的目标向量。
具体的，将第一向量与第三向量拼接为一个向量，得到目标对象的目标向量。
一种可选的实现方式中，预设模型中可以设置单独的模块，用于执行步骤203，也可以由第一编码模块或第二编码模块执行步骤203。
步骤204，利用预设模型中的解码模块对目标向量进行解码，得到目标对象的预测贴图。
具体的，步骤204之后，可以执行步骤205A，或者205B，或者步骤205C，或者步骤205D。
具体的，解码模块可以将目标向量进行转置卷积生成目标对象的预测贴图。
在一种可实现方式中，解码模块包括第一解码器和第二解码器；目标对象的预测贴图包括预测法线贴图、预测粗糙度贴图、预测漫反射贴图、预测反射率贴图；其中，法线贴图用于表征目标对象的法线参数；漫反射贴图用于表征目标对象的漫反射参数；粗糙度贴图用于表征目标对象的粗糙度参数；反射率贴图用于表征目标对象的反射率参数；利用第一解码器对目标向量进行解码，得到目标对象的预测法线贴图和预测粗糙度贴图；
利用第二解码器对目标向量进行解码，得到目标对象的预测漫反射贴图和预测反射率贴图。
具体的，解码模块每一层的卷积模块可以由转置卷积层-线性整流单元-实例规范化组成。解码模块输出预测贴图的分辨率可以为256×256。解码模块可以由8个卷积模块组成；其中，第一解码器的通道数可以为512-512-512-512-256-128-64-4，第二解码器的通道数可以为512-512-512-512-256-128-64-6，每个通道特征图维度(宽度与高度相等)可以为2-4-8-16-32-64-128-256。解码模块中的卷积模块<块2～块8>可以与第一编码模块的对应卷积模块<块7～块1>的输出连接，构成跳连。卷积核大小可以为4，卷积步长可以为2。
具体的，第一解码器和第二解码器的输入都为目标向量。
步骤205A，根据标注贴图、预测贴图，确定第一损失函数和/或第二损失函数。
在一种可实现方式中，第一损失函数的公式为：
Lp＝‖P-Pgt‖1
其中，P表示目标对象的预测贴图；Pgt为目标对象的标注贴图；‖‖1表示L1范数，相当于求差值的绝对值；
第二损失函数的公式为：
Ladv1＝E[logDis(Xgt)]+E[log(1-Dis(X))]
其中，X表示预测贴图；Xgt表示标注贴图；Dis表示判别器运算；E表示求期望符号。
具体的，预测贴图包括预测法线贴图、预测粗糙度贴图、预测漫反射贴图、预测反射率贴图；标注贴图包括标注法线贴图、标注粗糙度贴图、标注漫反射贴图、标注反射率贴图。
通过上式，当预测贴图为预测法线贴图，标注贴图为标注法线贴图时，可以得到第二损失函数A；当预测贴图为预测粗糙度贴图，标注贴图为标注粗糙度贴图时，可以得到第二损失函数B；当预测贴图为预测漫反射贴图，标注贴图为标注漫反射贴图时，可以得到第二损失函数C；当预测贴图为预测反射率贴图，标注贴图为标注反射率贴图时，可以得到第二损失函数D；因此总共可以得到四个第二损失函数。
具体的，预设模型还可以包括判别器。具体的，预设模型可以包括4个参数判别器(分别用于获取四个第二损失函数)和1个重渲染判别器(用于获取第四损失函数)，具有相同结构。每个判别器每一层的卷积模块由转置卷积层-线性整流单元-实例规范化组成。可以令贴图作为判别器的输入，其中贴图的分辨率可以为256×256。每个判别器都可以由5个卷积模块组成，通道数可以分别为64-128-256-1024-1，每个通道特征图维度(宽度与高度相等)可以为128-64-32-30-14；卷积核大小可以为4，卷积步长可以为2。在倒数第二个卷积模块，第二向量可以作为先验条件输入与判别器的原输入串联输入。
步骤205B，根据标注贴图、预测贴图、随机点光源参数，确定第三损失函数和/或第四损失函数。
具体的，可以由相同的分布随机生成点光源参数，得到随机点光源参数。
具体的，可以利用随机点光源参数分别对标注贴图和预测贴图进行渲染，并根据渲染结果确定第三损失函数和/或第四损失函数。
在一种可实现方式中，利用随机点光源参数对预测贴图进行渲染处理，得到目标对象的第三图像；
利用随机点光源参数对标注贴图进行渲染处理，得到目标对象的第四图像。
具体的，同一目标对象的第三图像和第四图像可以利用相同的点光源参数进行渲染得到。不同目标对象可以利用不同的点光源参数进行渲染，得到第三图像或者第四图像。
根据第三图像与第四图像的差值的绝对值，确定第三损失函数；和/或，基于下式确定第四损失函数：
Ladv2＝E[logDis(Ygt)]+E[log(1-Dis(Y))]
其中，Y表示第三图像；Ygt表示第四图像；Dis表示判别器运算；E表示求期望符号。
如图4所示，每行的第一个图像中的大图为目标对象的第一图像，小图为目标对象的第二图像；每行中第二个图像到第五个图像分别为目标对象的预测法线贴图、预测粗糙度贴图、预测漫反射贴图、预测反射率贴图；每行的最后一个图像为目标对象的第三图像。
步骤205C，根据目标对象的多个第二向量中的各维度数据，确定与目标对象对应的目标掩模向量，并根据目标掩模向量与当前掩模向量的差值的绝对值，确定第五损失函数。
其中，目标掩模向量中每一维度数据的取值均为0或者1。
具体的，可以将当前掩模向量设置为一个维护梯度信息的变量，初始值可以设为全1。
在一种可实现方式中，第二向量为N维向量；目标掩模向量为N维向量；根据目标对象的多个第二向量，确定每一维度数据的方差；
对方差进行排序得到排序结果，根据排序结果确定与每一维度数据对应的中间值；组合中间值得到目标对象的中间向量；
具体的，中间值的取值为0或者1。例如，可以将排序结果中靠前的百分之五十的方差对应的中间值确定为0，后百分之五十的方差对应的中间值确定为1。
可选的，将排序结果中，前K个方差对应中间值确定为0；
将排序结果中后(N-K)个方差对应的中间值确定为1；其中，K小于等于N。
根据多个目标对象的中间向量，确定每一维度数据对应的数据均值；
比对均值与预设值得到比对结果，根据比对结果确定与每一维度数据对应的目标掩膜值；组合目标掩膜值得到目标对象的目标掩膜向量。
其中，预设值为根据实际情况预先设置的数值，比如可以为0.25。
可选的，若均值大于或者等于预设值，则将与均值对应的目标掩模值，确定为1；
若均值小于预设值，则将与均值对应的目标掩模值，确定为0。
步骤205D，根据第三向量、第二向量、当前掩模向量，确定第六损失函数。
第六损失函数的公式为：
其中，zp表示第三向量；
表示第二向量第i维度数据；i小于等于N；M表示当前掩模向量；符号⊙表示相乘；‖‖1表示L1范数，相当于求差值的绝对值；(1-M)表示对M取反。
步骤206，根据第一损失函数、第二损失函数、第三损失函数、第四损失函数、第五损失函数、第六损失函数中至少一种方式，调整预设模型中的参数，得到贴图预测模型；贴图预测模型用于根据对象的图像确定对象的贴图。
可选的，可以使用多阶段训练方式，保证预设模型的网络各部分训练互不干扰稳定进行。
比如，第一阶段，可以对整个网络进行预训练，仅使用第一损失函数作为损失值。网络权重初始值可以为随机初始化得到，预训练阶段可以使网络权重去随机化，使隐空间具有一定维度上的稳定性。其中，隐空间是第一向量和第二向量所在的高维空间。
第二阶段，可以使用第一损失函数、第二损失函数、第三损失函数、第四损失函数、第五损失函数，优化网络并使维度掩模收敛。此阶段掩模并未完全优化，判别器不使用第二向量作为先验条件。
第三阶段，使用第一损失函数、第二损失函数、第三损失函数、第四损失函数、第六损失函数，优化整个网络权重及隐空间，使得到的预测贴图的损失逐步减小。
在一种可实现方式中，在第一阶段，可以仅使用第一损失函数作为损失值，训练50000次迭代；将1张第二图像和第一图像作为预设模型的输入，分别由第二编码模块和第一编码模块生成两个隐向量(即第二向量和第一向量)，将二者串联输入进解码模块，生成预测贴图，计算参数损失，可以使用Python中的反向传播计算梯度(backward)函数计算梯度，可以使用Python中的更新网络权重(step)函数更新网络权重；可以不使用判别器；其中，Python是一个开源的神经网络框架。
在第二阶段，可以使用第一损失函数、第二损失函数、第三损失函数、第四损失函数、第五损失函数作为损失值，训练50000次迭代；可以将8张第二图像和第一图像作为预设模型的输入，分别由第二编码模块和第一编码模块生成8个第二向量和1个第一向量；根据8个第二向量计算得到目标对象的中间向量，计算掩模损失，使用随机梯度下降(StochasticGradient Descent，SGD)优化器更新掩模值。将8个第二向量取均值并与当前掩膜向量计算乘积，将乘积和第一向量串联输入进解码模块，生成预测贴图，计算参数损失；使用材质判别器(第二损失函数中的判别器)和渲染判别器(第四损失函数中的判别器)计算对抗损失，可以使用backward函数计算梯度，可以使用step函数更新网络权重；在本阶段掩模的收敛结果如图5所示。
在第三阶段，使用第一损失函数、第二损失函数、第三损失函数、第四损失函数、第六损失函数作为损失值，训练400000次迭代。将8张第二图像和第一图像作为预设模型的输入，分别由第二编码模块和第一编码模块生成8个第二向量和1个第一向量；将8个第二向量取均值并与当前掩模向量计算乘积，将乘积和第一向量串联输入进解码模块，生成预测贴图，计算参数损失；将第二向量作为先验条件输入判别器，使用材质判别器(第二损失函数中的判别器)和渲染判别器(第四损失函数中的判别器)计算对抗损失，可以使用backward函数计算梯度，可以使用step函数更新网络权重；三个阶段的batch_size均可以为4。其中，batch_size指一次训练所选取的样本数量(即目标对象个数)。
图6为本公开一示例性实施例示出的贴图确定方法的流程示意图。
如图6所示，本实施例提供的贴图确定方法包括：
步骤601，获取目标对象的第一图像和第二图像；其中，第一图像用于表征目标对象在环境光下的图像；第二图像用于表征目标对象在点光源下的图像。
具体的，可以用手机拍照的方式获取第一图像和第二图像。具体的，利用手机在环境光下拍摄的目标对象的图像作为第一图像；开启手机中的闪光灯，在闪光灯下拍摄的目标对象的图像作为第二图像。其中，可以将手机中的闪光灯作为点光源使用。
具体的，电子设备可以获取手机拍摄的第一图像和第二图像。
步骤602，将目标对象的第一图像和第二图像，输入至预设的贴图预测模型，得到与目标对象对应的贴图；其中，贴图用于表征目标对象的材质参数；其中，贴图识别模型是使用训练数据集训练得到的，训练数据集中包括多组训练数据，每组训练数据中包括用于模型训练的目标对象的第一图像和多张第二图像，以及目标对象的标注贴图。
具体的，贴图可以包括法线贴图、漫反射贴图、粗糙度贴图、反射率贴图。
如图7所示，每行的第一个图为目标对象的第二图像；第二个图为目标对象的一个第一图像A；第三个图为根据第二图像和第一图像A得到的贴图；第四个图为目标对象的一个第一图像B；第五个图为根据第二图像和第一图像B得到的贴图；第六个图为目标对象的一个第一图像C；第七个图为根据第二图像和第一图像C得到的贴图。
本公开提供的方法，可以利用一张第一图像和一张第二图像作为贴图预测模型的输入，贴图预测模型输出贴图。且单张第二图像可以提供足够的反射信息。
图8为本公开一示例性实施例示出的获取重渲染图像的过程示意图。
如图8所示，首先，可以根据原始数据集、预设点光源参数、预设的环境光图像，确定训练数据集。
然后，将训练数据集输入至预设模型中，预设模型利用训练数据集并经过第一阶段、第二阶段、第三阶段，这三个阶段的模型训练，最终得到贴图预测模型。
可以将目标对象的一张第一图像和一张第二图像作为贴图预测模型的输入，贴图预测模型输出贴图。利用点光源对贴图预测模型输出的贴图进行渲染，可以得到目标对象的重渲染图像。
图9为本公开一示例性实施例示出的模型训练装置的结构图。
如图9所示，本公开提供的模型训练装置900，包括：
获取单元910，用于获取训练数据集；训练数据集中包括多组训练数据，每组训练数据中包括目标对象的第一图像和多张第二图像，以及目标对象的标注贴图；其中，标注贴图为预先标注的目标对象的贴图；第一图像用于表征目标对象在环境光下的图像，第二图像用于表征目标对象在点光源下的图像；其中，贴图用于表征目标对象的材质参数；
训练单元920，用于将目标对象的第一图像和多张第二图像输入至预设模型中，得到目标对象的预测贴图；
训练单元920，还用于根据目标对象的标注贴图和预测贴图，调整预设模型中的参数，得到贴图预测模型，贴图预测模型用于根据对象的图像确定对象的贴图。
预设模型包括第一编码模块、第二编码模块、解码模块；训练单元920，具体用于利用第一编码模块对第一图像进行编码，得到目标对象的第一向量；
利用第二编码模块对第二图像进行编码，得到目标对象的第二向量；
根据第一向量以及多个第二向量，确定目标对象的目标向量；
利用解码模块对目标向量进行解码，得到目标对象的预测贴图。
第二向量为N维向量；预设模型的参数中还包括当前掩模向量，当前掩模向量为N维向量；训练单元920，具体用于确定当前掩膜向量和第二向量之间的乘积，得到多个第四向量，并将多个第四向量的平均值确定为目标对象的第三向量；
连接第一向量与第三向量，得到目标对象的目标向量。
解码模块包括第一解码器和第二解码器；目标对象的预测贴图包括预测法线贴图、预测粗糙度贴图、预测漫反射贴图、预测反射率贴图；其中，法线贴图用于表征目标对象的法线参数；漫反射贴图用于表征目标对象的漫反射参数；粗糙度贴图用于表征目标对象的粗糙度参数；反射率贴图用于表征目标对象的反射率参数；训练单元920，具体用于利用第一解码器对目标向量进行解码，得到目标对象的预测法线贴图和预测粗糙度贴图；
利用第二解码器对目标向量进行解码，得到目标对象的预测漫反射贴图和预测反射率贴图。
训练单元920，具体用于基于以下至少一种方式确定损失函数：
根据标注贴图、预测贴图，确定第一损失函数和/或第二损失函数；
根据标注贴图、预测贴图、随机点光源参数，确定第三损失函数和/或第四损失函数；
根据目标对象的多个第二向量中的各维度数据，确定与目标对象对应的目标掩模向量，并根据目标掩模向量与当前掩模向量的差值的绝对值，确定第五损失函数；
根据第三向量、第二向量、当前掩模向量，确定第六损失函数；
根据第一损失函数、第二损失函数、第三损失函数、第四损失函数、第五损失函数、第六损失函数中至少一种方式，调整预设模型中的参数，得到贴图预测模型。
第一损失函数的公式为：
Lp＝||P-Pgt||1
其中，P表示目标对象的预测贴图；Pgt为目标对象的标注贴图；‖‖1表示L1范数；
第二损失函数的公式为：
Ladv1＝E[logDis(Xgt)]+E[log(1-Dis(X))]
其中，X表示预测贴图；Xgt表示标注贴图；Dis表示判别器运算；E表示求期望符号。
训练单元920，具体用于利用随机点光源参数对预测贴图进行渲染处理，得到目标对象的第三图像；
利用随机点光源参数对标注贴图进行渲染处理，得到目标对象的第四图像；
根据第三图像与第四图像的差值的绝对值，确定第三损失函数；和/或，基于下式确定第四损失函数：
Ladv2＝E[logDis(Ygt)]+E[log(1-Dis(Y))]
其中，Y表示第三图像；Ygt表示第四图像；Dis表示判别器运算；E表示求期望符号。
第二向量为N维向量；目标掩模向量为N维向量；训练单元920，具体用于根据目标对象的多个第二向量，确定每一维度数据的方差；
对方差进行排序得到排序结果，根据排序结果确定与每一维度数据对应的中间值；组合中间值得到目标对象的中间向量；
根据多个目标对象的中间向量，确定每一维度数据对应的数据均值；
比对均值与预设值得到比对结果，根据比对结果确定与每一维度数据对应的目标掩膜值；
组合目标掩膜值得到目标对象的目标掩膜向量。
训练单元920，具体用于将排序结果中，前K个方差对应中间值确定为0；
将排序结果中后(N-K)个方差对应的中间值确定为1；其中，K小于等于N。
训练单元920，具体用于若均值大于或者等于预设值，则将与均值对应的目标掩模值，确定为1；
若均值小于预设值，则将与均值对应的目标掩模值，确定为0。
第六损失函数的公式为：
其中，zp表示第三向量；
表示第二向量第i维度数据；i小于等于N；M表示当前掩模向量；符号⊙表示相乘；‖‖1表示L1范数；(1-M)表示对M取反。
获取单元910，具体用于获取原始数据集；原始数据集中包括目标对象的标注贴图；
利用预设的环境光图像对标注贴图进行渲染处理，得到第一图像，和/或，利用预设点光源参数对标注贴图进行渲染处理，得到第二图像。
标注贴图包括标注法线贴图、标注漫反射贴图、标注粗糙度贴图、标注反射率贴图；获取单元910，具体用于根据预设的环境光图像确定环境光参数；
利用环境光参数对标注法线贴图、标注漫反射贴图、标注粗糙度贴图、标注反射率贴图进行渲染，得到第一图像；
根据预设旋转角度分别旋转标注法线贴图、标注漫反射贴图、标注粗糙度贴图、标注反射率贴图，根据预设截取位置分别在旋转后的标注法线贴图、标注漫反射贴图、标注粗糙度贴图、标注反射率贴图中截取图像，得到局部材质贴图；局部材质贴图包括局部法线贴图、局部漫反射贴图、局部粗糙度贴图、局部反射率贴图；
利用预设点光源参数对局部材质贴图进行渲染，得到第二图像。
图10为本公开一示例性实施例示出的贴图确定装置的结构图。
如图10所示，本公开提供的贴图确定装置1000，包括：
获取单元1010，用于获取目标对象的第一图像和第二图像；其中，第一图像用于表征目标对象在环境光下的图像；第二图像用于表征目标对象在点光源下的图像；
确定单元1020，用于将目标对象的第一图像和第二图像，输入至预设的贴图预测模型，得到与目标对象对应的贴图；其中，贴图用于表征目标对象的材质参数；
其中，贴图识别模型是使用训练数据集训练得到的，训练数据集中包括多组训练数据，每组训练数据中包括用于模型训练的目标对象的第一图像和多张第二图像，以及目标对象的标注贴图。
图11为本公开一示例性实施例示出的电子设备的结构图。
如图11所示，本实施例提供的电子设备包括：
存储器1101；
处理器1102；以及
计算机程序；
其中，计算机程序存储在存储器1101中，并配置为由处理器1102执行以实现如上的任一种方法。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现如上的任一种方法。
本实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现上述任一种方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种模型训练方法，其特征在于，所述方法包括：
获取训练数据集；所述训练数据集中包括多组训练数据，每组所述训练数据中包括目标对象的第一图像和多张第二图像，以及所述目标对象的标注贴图；其中，所述标注贴图为预先标注的所述目标对象的贴图；所述第一图像用于表征所述目标对象在环境光下的图像，所述第二图像用于表征所述目标对象在点光源下的图像；其中，贴图用于表征所述目标对象的材质参数；
将所述目标对象的第一图像和多张第二图像输入至预设模型中，得到所述目标对象的预测贴图；
根据所述目标对象的标注贴图和预测贴图，调整所述预设模型中的参数，得到贴图预测模型，所述贴图预测模型用于根据对象的图像确定所述对象的贴图。
2.根据权利要求1所述的方法，其特征在于，所述预设模型包括第一编码模块、第二编码模块、解码模块；所述预设模型的参数中还包括当前掩模向量；
所述将所述目标对象的第一图像和多张第二图像输入至预设模型中，得到所述目标对象的预测贴图，包括：
利用所述第一编码模块对所述第一图像进行编码，得到所述目标对象的第一向量；
利用所述第二编码模块对所述第二图像进行编码，得到所述目标对象的第二向量；
确定所述当前掩膜向量和所述第二向量之间的乘积，得到多个第四向量，并将多个所述第四向量的平均值确定为所述目标对象的第三向量；所述第二向量为N维向量；所述当前掩模向量为N维向量；
连接所述第一向量与所述第三向量，得到所述目标对象的目标向量；
利用所述解码模块对所述目标向量进行解码，得到所述目标对象的预测贴图。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标对象的标注贴图和预测贴图，调整所述预设模型中的参数，得到贴图预测模型，包括：
基于以下至少一种方式确定损失函数：
根据所述标注贴图、所述预测贴图，确定第一损失函数和/或第二损失函数；
根据所述标注贴图、所述预测贴图、随机点光源参数，确定第三损失函数和/或第四损失函数；
根据所述目标对象的多个第二向量中的各维度数据，确定与所述目标对象对应的目标掩模向量，并根据所述目标掩模向量与所述当前掩模向量的差值的绝对值，确定第五损失函数；
根据所述第三向量、所述第二向量、所述当前掩模向量，确定第六损失函数；
根据所述第一损失函数、所述第二损失函数、所述第三损失函数、所述第四损失函数、所述第五损失函数、所述第六损失函数中至少一种方式，调整所述预设模型中的参数，得到贴图预测模型。
4.根据权利要求3所述的方法，其特征在于，所述根据所述标注贴图、所述预测贴图、随机点光源参数，确定第三损失函数和/或第四损失函数，包括：
利用所述随机点光源参数对所述预测贴图进行渲染处理，得到所述目标对象的第三图像；
利用所述随机点光源参数对所述标注贴图进行渲染处理，得到所述目标对象的第四图像；
根据所述第三图像与所述第四图像的差值的绝对值，确定所述第三损失函数；和/或，基于下式确定所述第四损失函数：
Ladv2＝E[logDis(Ygt)]+E[log(1-Dis(Y))]
其中，Y表示第三图像；Ygt表示第四图像；Dis表示判别器运算；E表示求期望符号。
5.根据权利要求3所述的方法，其特征在于，所述第二向量为N维向量；所述目标掩模向量为N维向量；
所述根据所述目标对象的多个第二向量中的各维度数据，确定与所述目标对象对应的目标掩模向量，包括：
根据所述目标对象的多个第二向量，确定每一维度数据的方差；
对所述方差进行排序得到排序结果，根据所述排序结果确定与每一维度数据对应的中间值；组合所述中间值得到所述目标对象的中间向量；
根据多个目标对象的中间向量，确定每一维度数据对应的数据均值；
比对所述均值与预设值得到比对结果，若所述均值大于或者等于预设值，则将与所述均值对应的目标掩模值，确定为1；若所述均值小于预设值，则将与所述均值对应的目标掩模值，确定为0；
组合所述目标掩膜值得到所述目标对象的目标掩膜向量。
6.根据权利要求5所述的方法，其特征在于，所述根据所述排序结果确定与每一维度数据对应的中间值，包括：
将所述排序结果中，前K个方差对应中间值确定为0；
将所述排序结果中后(N-K)个方差对应的中间值确定为1；其中，K小于等于N。
7.根据权利要求1所述的方法，其特征在于，还包括：
获取原始数据集；所述原始数据集中包括目标对象的标注贴图；
利用预设的环境光图像对所述标注贴图进行渲染处理，得到所述第一图像，和/或，利用预设点光源参数对所述标注贴图进行渲染处理，得到所述第二图像。
8.根据权利要求7所述的方法，其特征在于，所述标注贴图包括标注法线贴图、标注漫反射贴图、标注粗糙度贴图、标注反射率贴图；
所述利用预设的环境光图像对所述标注贴图进行渲染处理，得到所述第一图像，包括：
根据预设的环境光图像确定环境光参数；
利用所述环境光参数对所述标注法线贴图、所述标注漫反射贴图、所述标注粗糙度贴图、所述标注反射率贴图进行渲染，得到所述第一图像；
所述利用预设点光源参数对所述标注贴图进行渲染处理，得到所述第二图像，包括：
根据预设旋转角度分别旋转所述标注法线贴图、所述标注漫反射贴图、所述标注粗糙度贴图、所述标注反射率贴图，根据预设截取位置分别在旋转后的所述标注法线贴图、所述标注漫反射贴图、所述标注粗糙度贴图、所述标注反射率贴图中截取图像，得到局部材质贴图；所述局部材质贴图包括局部法线贴图、局部漫反射贴图、局部粗糙度贴图、局部反射率贴图；
利用预设点光源参数对所述局部材质贴图进行渲染，得到所述第二图像。
9.一种贴图确定方法，其特征在于，所述方法包括：
获取目标对象的第一图像和第二图像；其中，所述第一图像用于表征所述目标对象在环境光下的图像；所述第二图像用于表征所述目标对象在点光源下的图像；
将所述目标对象的第一图像和第二图像，输入至预设的贴图预测模型，得到与所述目标对象对应的贴图；其中，贴图用于表征所述目标对象的材质参数；
其中，所述贴图识别模型是使用训练数据集训练得到的，所述训练数据集中包括多组训练数据，每组训练数据中包括用于模型训练的目标对象的第一图像和多张第二图像，以及所述目标对象的标注贴图。
10.一种电子设备，其特征在于，包括存储器和处理器；其中，
所述存储器，用于存储计算机程序；
所述处理器，用于读取所述存储器存储的计算机程序，并根据所述存储器中的计算机程序执行上述权利要求1-8或9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210488281.4A CN115063645A (zh) | 2022-05-06 | 2022-05-06 | 模型训练方法、贴图确定方法、装置、设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210488281.4A CN115063645A (zh) | 2022-05-06 | 2022-05-06 | 模型训练方法、贴图确定方法、装置、设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115063645A true CN115063645A (zh) | 2022-09-16 |
Family
ID=83196743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210488281.4A Pending CN115063645A (zh) | 2022-05-06 | 2022-05-06 | 模型训练方法、贴图确定方法、装置、设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115063645A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116894911A (zh) * | 2023-03-28 | 2023-10-17 | 网易（杭州）网络有限公司 | 三维重建方法、装置、电子设备及可读存储介质 |
| CN117853639A (zh) * | 2023-11-30 | 2024-04-09 | 北京易智时代数字科技有限公司 | 一种贴图和材质的自动化附着处理方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102096941A (zh) * | 2011-01-30 | 2011-06-15 | 北京航空航天大学 | 虚实融合环境下的光照一致性方法 |
| US20190347526A1 (en) * | 2018-05-09 | 2019-11-14 | Adobe Inc. | Extracting material properties from a single image |
| CN114049420A (zh) * | 2021-10-29 | 2022-02-15 | 马上消费金融股份有限公司 | 一种模型训练方法、图像渲染方法、装置和电子设备 |
-
2022
- 2022-05-06 CN CN202210488281.4A patent/CN115063645A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102096941A (zh) * | 2011-01-30 | 2011-06-15 | 北京航空航天大学 | 虚实融合环境下的光照一致性方法 |
| US20190347526A1 (en) * | 2018-05-09 | 2019-11-14 | Adobe Inc. | Extracting material properties from a single image |
| CN114049420A (zh) * | 2021-10-29 | 2022-02-15 | 马上消费金融股份有限公司 | 一种模型训练方法、图像渲染方法、装置和电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 路恩会;刘坚;王卫芳;易怀安;张航;: "粗糙度关联的图像特征指标性能评价方法研究", 仪器仪表学报, no. 08, 15 August 2017 (2017-08-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116894911A (zh) * | 2023-03-28 | 2023-10-17 | 网易（杭州）网络有限公司 | 三维重建方法、装置、电子设备及可读存储介质 |
| CN117853639A (zh) * | 2023-11-30 | 2024-04-09 | 北京易智时代数字科技有限公司 | 一种贴图和材质的自动化附着处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11037274B2 (en) | Denoising Monte Carlo renderings using progressive neural networks | |
| Chen et al. | Learning to predict 3d objects with an interpolation-based differentiable renderer | |
| US7889913B2 (en) | Automatic compositing of 3D objects in a still frame or series of frames | |
| CN115063645A (zh) | 模型训练方法、贴图确定方法、装置、设备 | |
| CN111723902A (zh) | 使用神经网络动态估计增强现实场景中位置的照明参数 | |
| CN107886552B (zh) | 贴图处理方法和装置 | |
| EP4064131A1 (en) | Image rendering method and apparatus | |
| CN114255313B (zh) | 镜面物体三维重建方法、装置、计算机设备和存储介质 | |
| CN112819941B (zh) | 渲染水体面的方法、装置、设备和计算机可读存储介质 | |
| KR102108480B1 (ko) | 영상 기반 모델의 재질 추정 방법 및 장치 | |
| Yao et al. | Multi‐image based photon tracing for interactive global illumination of dynamic scenes | |
| CN114549374A (zh) | 对使用蒙特卡罗绘制进行绘制的图像去噪 | |
| EP4095807A1 (en) | Image rendering using a plurality of machine learning models | |
| CN115100337A (zh) | 一种基于卷积神经网络的全身人像视频重照明方法和装置 | |
| CN115205439A (zh) | 图像渲染方法和设备 | |
| CN115526976A (zh) | 虚拟场景渲染方法、装置、存储介质和电子设备 | |
| Hao et al. | A multi‐illuminant synthetic image test set | |
| CN116091684B (zh) | 基于WebGL的图像渲染方法、装置、设备及存储介质 | |
| CN115953524A (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| Zhang et al. | An improved augmented-reality framework for differential rendering beyond the Lambertian-world assumption | |
| CN115205440A (zh) | 图像渲染方法和装置 | |
| CN117392353B (zh) | 一种增强现实光照估计方法、系统、设备及存储介质 | |
| CN118521699B (zh) | 一种虚拟人三维头发丝发型的生成方法及系统 | |
| EP4080462A1 (en) | Image rendering method and apparatus | |
| EP3276577A1 (en) | Hölder adaptive image synthesis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |