CN114842121B - 贴图生成模型训练和贴图生成方法、装置、设备及介质 - Google Patents

贴图生成模型训练和贴图生成方法、装置、设备及介质 Download PDF

Info

Publication number
CN114842121B
CN114842121B CN202210754478.8A CN202210754478A CN114842121B CN 114842121 B CN114842121 B CN 114842121B CN 202210754478 A CN202210754478 A CN 202210754478A CN 114842121 B CN114842121 B CN 114842121B
Authority
CN
China
Prior art keywords
map
sample image
texture
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210754478.8A
Other languages
English (en)
Other versions
CN114842121A (zh
Inventor
李�杰
赵晨
陈睿智
丁二锐
吴甜
王海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210754478.8A priority Critical patent/CN114842121B/zh
Publication of CN114842121A publication Critical patent/CN114842121A/zh
Application granted granted Critical
Publication of CN114842121B publication Critical patent/CN114842121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种贴图生成模型训练和贴图生成方法、装置、设备及介质，涉及增强现实、虚拟现实、计算机视觉和深度学习等人工智能技术领域，可应用于虚拟形象生成、元宇宙等场景。具体实现方案为：将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，得到样本图像对应的回归参数；基于贴图生成模型中的第二神经网络，根据样本图像和样本图像对应的回归参数，确定样本图像的高精纹理贴图；根据样本图像对应的球谐光照系数和相机内外参数，对样本图像对应的高精纹理贴图和对象材质贴图进行处理，得到光照效果图；根据样本图像和所述光照效果图，对贴图生成模型进行训练。通过上述方案，可精准获取图像中所包含对象的材质贴图。

Description

贴图生成模型训练和贴图生成方法、装置、设备及介质
技术领域
本公开涉及增强现实、虚拟现实、计算机视觉和深度学习等人工智能技术领域，可应用于虚拟形象生成、元宇宙等场景，具体涉及一种贴图生成模型训练和贴图生成方法、装置、设备及介质。
背景技术
随着人工智能技术的不断发展，超写实渲染技术逐渐兴起。由于写实逼真需求，需要对虚拟对象（比如虚拟数字人）的材质、光照模型等进行细粒度建模。在超写实渲染场景下，如何精准获取材质方面的贴图至关重要。
发明内容
本公开提供了一种贴图生成模型训练和贴图生成方法、装置、设备及介质。
根据本公开的一方面，提供了一种贴图生成训练方法，该方法包括：
将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，得到所述样本图像对应的回归参数；其中，所述样本图像对应的回归参数包括所述样本图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；
基于所述贴图生成模型中的第二神经网络，根据所述样本图像和所述样本图像对应的回归参数，确定所述样本图像的高精纹理贴图；
根据所述样本图像对应的球谐光照系数和相机内外参数，对所述样本图像对应的高精纹理贴图和对象材质贴图进行处理，得到光照效果图；
根据所述样本图像和所述光照效果图，对所述贴图生成模型进行训练。
根据本公开的另一方面，提供了一种贴图生成方法，该方法包括：
将包含目标对象的目标图像输入贴图生成模型中的第一神经网络，得到所述目标图像对应的回归参数；
基于所述贴图生成模型中的第二神经网络，根据所述目标图像和所述目标图像对应的回归参数，确定所述目标图像的高精纹理贴图；
其中，所述贴图生成模型基于本公开任一实施例所述的贴图生成模型训练方法训练得到。
根据本公开的另一方面，提供了一种电子设备，该电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述贴图生成模型训练方法，或者贴图生成方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本公开任一实施例所述的贴图生成模型方法，或者贴图生成方法。
根据本公开的技术，能够精准获取图像中所包含对象的材质贴图。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例提供的一种贴图生成模型训练方法的流程图；
图2是根据本公开实施例提供的另一种贴图生成模型训练方法的流程图；
图3是根据本公开实施例提供的又一种贴图生成模型训练方法的流程图；
图4是根据本公开实施例提供的又一种贴图生成模型训练方法的流程图；
图5是根据本公开实施例提供的再一种贴图生成模型训练方法的流程图；
图6是根据本公开实施例提供的一种贴图生成方法的流程图；
图7是根据本公开实施例提供的另一种贴图生成方法的流程图；
图8是根据本公开实施例提供的又一种贴图生成方法的流程图；
图9是根据本公开实施例提供的一种贴图生成模型训练装置的结构示意图；
图10是根据本公开实施例提供的一种贴图生成装置的结构示意图
图11是用来实现本公开实施例的贴图生成模型训练或贴图生成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。其次，本公开的说明书和权利要求书及上述附图中的术语“样本”、“目标”等是用于区别不同阶段的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
此外，还需要说明的是，本公开的技术方案中，所涉及的样本图像、目标图像等的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
图1是根据本公开实施例提供的一种贴图生成模型训练方法的流程图，该方法适用于在超写实渲染场景或获取不同光照图像场景等下，如何对贴图生成模型进行训练，以使配置训练好的贴图生成模型的设备可以精准获取图像中所包含对象的材质贴图的情况。材质用来指定对象的表面或数个面的特性，具体可用于决定这些面在着色时的特性，比如光亮程度。可选的，不同对象的材质不同；在图像中所包含的对象为人脸的情况下，材质指的是人脸表面皮肤的质地。材质贴图即为基于材质的纹理所构成的图像。
该方法可以由渲染网络训练装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于承载贴图生成模型训练功能的电子设备中。可选的，贴图生成模型包括两个神经网络，分别为第一神经网络和第二神经网络。如图1所示，本实施例的贴图生成模型训练方法可以包括：
S101，将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，得到样本图像对应的回归参数；其中，样本图像对应的回归参数包括样本图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数。
本实施例中，样本图像是用于对贴图生成模型进行训练的样本数据。可选的，每一样本图像中均包含一个样本对象。样本对象即为在贴图生成模型训练阶段所选择的需要进行材质估计的对象，比如人脸，人的胳膊，或者还可以是其他非人活性动物的脸部等。
可选的，可以用从互联网等中抓取大量的样本图像，来对贴图生成模型进行训练。考虑到实际场景中的图像存在室内拍摄和室外拍摄两种情况，为了使贴图生成模型能够同时适用于室内拍摄图像的材质估计场景，还适用于室外拍摄图像的材质估计场景，本实施例中的样本图像可为室内拍摄的图像，也可为室外拍摄的图像。
具体的，在获取到包含样本对象的样本图像之后，可以将样本图像输入至贴图生成模型中的第一神经网络，由贴图生成模型中的第一神经网络对样本图像进行参数回归，得到样本图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数。
其中，样本图像对应的对象几何信息即为构建样本图像中样本对象的三维虚拟形象所需的几何信息。可选的，在样本对象为人脸的情况下，对象几何信息可以包括人脸形状参数（即shape参数）和人脸表情参数（即expression参数）。
可选的，样本图像对应的对象材质贴图可以包括样本图像对应的法向贴图（即normal map）、漫反射贴图（即diffuse map）和镜面反射贴图（即specular map）。其中，漫反射贴图主要用来表现对象的基本质地，可以包括材质的特性和岁月在对象上留下的痕迹等；镜面反射贴图又可称为高光贴图或者反光贴图，具体可以是对象遇到强光时的反光效果，也就是说镜面反射贴图与光的方向强相关；法向贴图用于表征三维虚拟形象表面因为灯光而产生的细节，也就是说法向贴图与三维虚拟形象强相关。
进一步的，本实施例中的漫反射贴图、镜面反射贴图和法向贴图均与光照解耦，也就是说漫反射贴图、镜面反射贴图和法向贴图均不包含光照信息。
样本图像对应的球谐光照系数即为构建光照环境的一组参数；样本图像对应的粗糙纹理贴图即为不包含光照信息，且不包含样本对象纹理细节的一种贴图。比如，在样本对象为人脸的情况下，粗糙纹理贴图中不包含人脸上的痘痘、斑点等细节。
相机内外参数可以包括相机内参数和相机外参数。其中，相机内参数是与相机自身特性相关的参数，比如相机的焦距等；相机外参数是在世界坐标系中的参数，比如相机的位置、旋转方向等。
S102，基于贴图生成模型中的第二神经网络，根据样本图像和样本图像对应的回归参数，确定样本图像的高精纹理贴图。
本实施例中，第二神经网络即为用于生成高精纹理贴图的网络。与粗糙纹理贴图相比，本实施例中的高精纹理贴图包括更多的纹理细节。比如在样本对象为人脸的情况下，粗糙纹理贴图中不包含人脸上的痘痘、斑点等细节，而高精纹理贴图中包括人脸上的痘痘、斑点等细节。进一步的，本实施例中的高精纹理贴图也不具有光照信息。此外，还需指出的是，本实施例中的高精纹理贴图也是材质贴图的一种，在一定程度上可以反映样本对象的材质。比如样本对象为人脸，高精纹理贴图在一定程度上可以反映人脸的肤质（即人脸材质）。
在一可实施方式中，可以将样本图像和通过第一神经网络所回归的样本图像的回归参数一并输入至第二神经网络，经由第二神经网络处理，输出样本图像的高精纹理贴图。
S103，根据样本图像对应的球谐光照系数和相机内外参数，对样本图像对应的高精纹理贴图和对象材质贴图进行处理，得到光照效果图。
本实施例中，光照效果图即为对样本图像对应的高精纹理贴图和对象材质贴图进行渲染得到的渲染结果在图像空间中呈现的效果图。
具体的，可以结合样本图像对应的球谐光照系数，对样本图像对应的高精纹理贴图和对象材质贴图进行可微分渲染，并基于相机内外参数，将渲染结果投影至图像空间，即可得到光照效果图。
S104，根据样本图像和光照效果图，对贴图生成模型进行训练。
具体的，本实施例可以根据样本图像和光照效果图，确定训练损失，并采用训练损失，对贴图生成模型进行训练。
可选的，本实施例可以直接将样本图像和光照效果图输入到预先设定的损失函数中，得到训练损失。或者，还可以对样本图像和光照效果图进行进一步处理后再输入到预先设定的损失函数中，得到训练损失等，对此不进行限定。
进一步的，本实施例可以采用训练损失，对贴图生成模型进行训练，不断优化贴图生成模型中的网络参数。具体的，本实施例可基于上述方法对贴图生成模型进行多次迭代训练，直至达到预设的训练停止条件，则停止调整贴图生成模型的网络参数，得到经训练的贴图生成模型。训练停止条件可以包括：训练次数达到预设次数，或者训练损失收敛等。
进一步的，在贴图生成模型训练好之后，可以采用飞桨的推理引擎（即paddle-lite）对训练好的贴图生成模型进行处理，以实现模型的迁移和适配。
进一步的，训练好的贴图生成模型可以部署于移动端中，进而在移动端基于贴图生成模型，可精准获取图像中对象在材质方面的贴图，即法向贴图、镜面反射贴图、慢反射贴图和高精纹理贴图。之后，可以利用这些材质贴图，对所构建的三维虚拟形象进行渲染，使得渲染后的三维虚拟形象更为逼真，即与真实的对象更为相像；此外，还可以利用这些材质贴图，获取同一对象在不同光照条件下的光照效果图，如可以获取人脸在室内光照下的效果图，以及室外森林场景下光照的效果图等。
本公开实施例提供的技术方案，通过将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，由第一神经网络回归得到多种参数，即样本图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；之后，基于贴图生成模型中的第二神经网络，根据第一神经网络所回归的参数，来确定样本图像对应的高精纹理贴图；进而基于所确定的高精纹理贴图，来确定光照效果图，并根据样本图像和光照效果图对贴图生成模型进行训练。上述方案，提出了一种无监督训练贴图生成模型的方法，使用该方法所训练的贴图生成模型，不论输入的图像是室内拍摄图像，还是室外拍摄图像，均可以输出高质量的材质贴图。也就是说，本公开所提供的贴图生成模型不仅适用于室内拍摄情况下的材质估计，同样适用于室外拍摄情况下的材质估计。同时，使用本公开所训练的贴图生成模型，只需提供一张单视角的图像，即可获得高质量的材质贴图，相比于相关技术通过搭建多个视角结合不同光照来求解材质贴图的方案而言，降低了硬件成本和计算成本。此外，本方案具有较强的可扩展性，能够适配到具有材质估计需求的任一移动端中。
示例性的，在上述实施例的基础上，获取样本图像的一种可选方式是，对原始图像进行预处理，得到样本图像；其中，预处理包括裁剪处理和/或对齐处理。
例如，在原始图像中所包含的对象相比于背景而言，较小的情况下，可以对原始图像进行裁剪，以去除背景对后续处理操作的干扰，得到样本图像。进一步的，对原始图像进行裁剪之后，还可以对裁剪后的原始图像进行对齐处理，以确定图像中的对象尽可能居中，至此得到样本图像。
又如，如果原始图像中背景和对象之间的比例适中，可以对于原始图像进行对齐处理，以确保图像中的对象尽可能居中，得到样本图像。
进一步的，在一可选方式中，除了对原始图像进行裁剪处理和/或对齐处理，还可以对原始对象进行缩放处理等。
可以理解的是，本实施例引入裁剪操作，可避免样本图像中背景过大对后续操作存在干扰的现象；同时引入对齐操作，可确保样本图像中的样本对象尽可能居中，为通过第一神经网络能够回归到精准的参数提供了保障。
示例性的，本公开所提供的贴图生成模型中的第一神经网络可以包括两个子网络，分别为第一子网络和第二子网络。进一步的，第一子网络可以为三维可变形模型（3DMorphable Models，3DMM），第二子网络可以为反射率-三维可变形模型（即albedo-3DMM）。
可选的，第一子网络和第二子网络，可用于从样本图像中回归不同的参数。
示例性的，在上述实施例的基础上，将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，得到样本图像对应的回归参数的一种可选方式是：将包含样本对象的样本图像输入第一子网络，得到样本图像对应的对象几何信息、法向贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；将样本图像输入第二子网络，得到样本图像对应的漫反射贴图和镜面反射贴图。
具体的，将包含样本对象的样本图像分别输入第一子网络和第二子网络中，由第一子网络对样本图像进行参数回归，得到样本图像对应的对象几何信息、法向贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；以及由第二子网络对样本图像进行参数回归，得到样本图像对应的漫反射贴图和镜面反射贴图。
进一步的，为保证通过第一子网络和第二子网络所回归参数的准确性，本实施例中输入到第一子网络和第二子网络的样本图像优选为对原始图像进行预处理后的图像。
可以理解的是，本实施例通过引入第一子网络和第二子网络，分别对样本图像进行参数回归，可使得所回归的参数更加全面和精准。
示例性的，在上述实施例的基础上，基于贴图生成模型中的第二神经网络，根据样本图像和样本图像对应的回归参数，确定样本图像的高精纹理贴图的一种可选方式是，根据样本图像、样本图像对应的对象几何信息和相机内外参数，确定样本图像的像素级目标纹理贴图；基于贴图生成模型中的第二神经网络，根据样本图像对应的球谐光照系数，对样本图像对应的像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图进行处理，得到样本图像的高精纹理贴图。
本实施例中，样本图像的像素级目标纹理贴图即为图像像素级的目标纹理贴图，具体可以理解为从图像空间中所提取的纹理贴图。进一步的，本实施例中的像素级目标纹理贴图是不包含光照信息的纹理贴图。
可选的，可以基于样本图像对应的对象几何信息，构建样本图像中样本对象的三维虚拟形象；根据样本图像对应的相机内外参数和样本图像中像素点的颜色值（即RGB值），以及三维虚拟形象与纹理坐标贴图（即UV贴图）之间的映射关系，对所构建的三维虚拟形象进行处理，可得到一个纹理贴图；对该纹理贴图进行去光照处理，即可得到样本图像的像素级目标纹理贴图。
进一步的，在得到样本图像的像素级目标纹理贴图之后，可以将样本图像对应的球谐光照系数、像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图一并输入至第二神经网络，经由第二神经网络处理，输出样本图像的高精纹理贴图。或者，还可以根据样本图像对应的球谐光照系数，对样本图像对应的像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图进行处理，得到处理结果；将处理结果输入至第二神经网络，输出样本图像的高精纹理贴图。
可以理解的是，本实施例通过引入样本图像的像素级目标纹理贴图，并基于贴图生成模型中的第二神经网络，根据像素级目标纹理贴图和第一神经网络所回归的参数，来确定样本图像对应的高精纹理贴图，可使得所确定的高精纹理贴图更加精准。
图2是根据本公开实施例提供的另一种贴图生成模型训练方法的流程图，本公开实施例在上述实施例的基础上，进一步对“根据样本图像、样本图像对应的对象几何信息和相机内外参数，确定样本图像的像素级目标纹理贴图”进行详细解释说明。如图2所示，本实施例的贴图生成模型训练方法可以包括：
S201，将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，得到样本图像对应的回归参数；其中，样本图像对应的回归参数包括样本图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数。
S202，基于样本图像对应的对象几何信息，生成样本图像的三维虚拟形象。
本实施例中，样本图像的三维虚拟形象即为样本图像中样本对象的三维虚拟形象。比如样本对象为人脸，样本图像的三维虚拟形象即为人脸的三维虚拟形象。
可选的，可以基于预先设定的三维虚拟形象生成逻辑，对样本图像对应的对象几何信息进行处理，以生成三维虚拟形象。比如，可以将对象几何信息输入到预先训练好的三维模型生成网络中，由三维模型生成网络输出三维虚拟形象。或者，可以将对象几何信息，与预先设定的基底（即三维特征向量）进行线性求和，以得到三维虚拟形象。
例如，样本对象为人脸，对象几何信息可以包括人脸形状参数和人脸表情参数；进而可以基于人脸形状参数和人脸表情参数，构建人脸的三维虚拟形象。比如，可以将中性人脸的形状参数和表情参数作为基底，将样本图像对应的人脸形状参数和人脸表情参数，与基底进行线性求和，得到人脸的三维虚拟形象。
S203，根据样本图像和样本图像对应的相机内外参数，对样本图像的三维虚拟形象进行处理，得到样本图像的像素级初步纹理贴图。
本实施例中，像素级初步纹理贴图即为图像像素级的初步纹理贴图，具体可以理解为从图像空间中所提取的初步纹理贴图。进一步的，像素级初步纹理贴图是包含光照信息的纹理贴图。
可选的，可以基于样本图像对应的相机内外参数，将样本图像的三维虚拟形象投影至图像空间，建立三维虚拟形象的顶点与图像像素的映射；进而基于此映射，将样本图像中像素点的RGB值，赋值给三维虚拟形象上的顶点；之后，基于三维虚拟形象与UV贴图之间的映射，对赋值后的三维虚拟形象进行UV展开，以得到样本图像的像素级初步纹理贴图。
S204，对样本图像的像素级初步纹理贴图进行光照去除和特征对称处理，得到样本图像的像素级目标纹理贴图。
本实施例中的像素级目标纹理贴图是不包含光照信息的纹理贴图。
可选的，本实施例可以基于预先训练好的图像修补（即inpainting）纹理贴图生成网络，对样本图像的像素级初步纹理贴图进行光照去除和特征对称处理，以得到样本图像的像素级目标纹理贴图。
具体的，将样本图像的像素级初步纹理贴图和球谐光照系数，一并输入预先训练好的图像修补纹理贴图生成网络，由图像修补纹理贴图生成网络，基于球谐光照系数，对样本图像的像素级初步纹理贴图进行光照去除；同时图像修补贴图生成网络会基于对称一致性规则，对样本图像的像素级初步纹理贴图进行特征对称处理，以此来得到样本图像的像素级目标纹理贴图。
在一可实施方式中，图像修补纹理贴图生成网络可以是残差网络。进一步的，图像修补贴图生成网络基于对称一致性规则，对样本图像的像素级初步纹理贴图进行特征对称处理过程可以是，残差网络的底层结构对每个阶段性的残差块（即block）输出的特征张量均会进行翻转，并将输出的特征张量和翻转后的特征张量进行拼接。
需要说明的是，相比于像素级初步纹理贴图，像素级目标纹理贴图更为完整。比如，样本对象为人脸，在人脸存在遮挡的情况下，像素级初步纹理贴图将不包含遮挡部分的纹理；而本实施例通过对像素级初步纹理贴图进行特征对称处理，使得遮挡部分的人脸区域通过对称性，获得相关纹理，即像素级目标纹理贴图包括整个脸的纹理，也就是说，像素级目标纹理贴图中包含了遮挡部分的纹理。
S205，基于贴图生成模型中的第二神经网络，根据样本图像对应的球谐光照系数，对样本图像对应的像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图进行处理，得到样本图像的高精纹理贴图。
S206，根据样本图像对应的球谐光照系数和相机内外参数，对样本图像对应的高精纹理贴图和对象材质贴图进行处理，得到光照效果图。
S207，根据样本图像和光照效果图，对贴图生成模型进行训练。
本公开实施例提供的技术方案，通过将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，由第一神经网络回归得到多种参数，即样本图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；之后，基于样本图像对应的对象几何信息构建样本图像的三维虚拟形象，并基于样本图像和样本图像对应的相机内外参数，对所构建的三维虚拟形象进行处理，可得到样本图像的像素级初步纹理贴图，通过对所得到的像素级初步纹理贴图进行光照去除和特征对称处理，得到样本图像的像素级目标纹理贴图；进而基于贴图生成模型中的第二神经网络，根据像素级目标纹理贴图和第一神经网络所回归的参数，来确定样本图像对应的高精纹理贴图，基于所确定的高精纹理贴图，来确定光照效果图，并根据样本图像和光照效果图对贴图生成模型进行训练。上述方案，通过引入对像素级初步纹理贴图进行光照去除和特征对称处理，使得最终所获得的像素级目标纹理贴图更为精准，为后续获得精准的高精纹理贴图奠定了基础。
图3是根据本公开实施例提供的又一种贴图生成模型训练方法的流程图，本公开实施例在上述实施例的基础上，进一步对“基于贴图生成模型中的第二神经网络，根据样本图像对应的球谐光照系数，对样本图像对应的像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图进行处理，得到样本图像的高精纹理贴图”进行详细解释说明。如图3所示，本实施例的贴图生成模型训练方法可以包括：
S301，将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，得到样本图像对应的回归参数；其中，样本图像对应的回归参数包括样本图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数。
S302，根据样本图像、样本图像对应的对象几何信息和相机内外参数，确定样本图像的像素级目标纹理贴图。
S303，基于样本图像对应的球谐光照系数，采用可微分渲染器，对样本图像对应的粗糙纹理贴图、漫反射贴图和镜面反射贴图进行渲染，得到样本图像对应的初步对象纹理贴图。
在本实施例中，初步对象纹理贴图，即初步PBR（Physically Based Rendering，基于物理的渲染）面部纹理贴图；具体的，初步对象纹理贴图不具有光照信息，以及不具有纹理细节。比如，样本对象为人脸，初步对象纹理贴图中不包括人脸上的痘痘、斑点等细节。
可选的，基于样本图像对应的球谐光照系数，构建光照环境；在所构建的光照环境下，使用可微分渲染器，对样本图像对应的粗糙纹理贴图、漫反射贴图和镜面反射贴图进行可微分BRDF（Bidirectional Reflectance Distribution Function，双向反射分布函数）计算，得到样本图像的初步对象纹理贴图。
S304，根据样本图像的像素级目标纹理贴图和初步对象纹理贴图，确定样本图像的纹理细节信息。
在本实施例中，样本图像的纹理细节信息即为样本图像中样本对象的高频细节信息。比如，样本对象为人脸，样本图像的纹理细节信息可以包括但不限于人脸上的痘痘、斑点等细节。
可选的，可以对样本图像的像素级目标纹理贴图和初步对象纹理贴图进行做差计算，以得到样本图像中样本对象的纹理细节信息。
S305，基于贴图生成模型中的第二神经网络，对样本图像对应的粗糙纹理贴图、法向贴图和纹理细节信息进行处理，得到样本图像的高精纹理贴图。
具体的，可以将样本图像对应的粗糙纹理贴图、法向贴图和纹理细节信息一并输入至贴图生成模型中的第二神经网络，经第二神经网络处理，得到样本图像的高精纹理贴图。
S306，根据样本图像对应的球谐光照系数和相机内外参数，对样本图像对应的高精纹理贴图和对象材质贴图进行处理，得到光照效果图。
S307，根据样本图像和光照效果图，对贴图生成模型进行训练。
本公开实施例提供的技术方案，通过将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，由第一神经网络回归得到多种参数，即样本图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；之后，基于样本图像、样本图像对应的对象几何信息和相机内外参数，确定样本图像的像素级目标纹理贴图，并基于贴图生成模型中的第二神经网络，根据样本图像的像素级目标纹理贴图和第一神经网络所回归的参数，来确定样本图像对应的高精纹理贴图；进而基于所确定的高精纹理贴图，来确定光照效果图，并根据样本图像和光照效果图对贴图生成模型进行训练。上述方案，通过基于样本图像的像素级目标纹理贴图和初步对象纹理贴图，来提取样本图像中样本对象的纹理细节信息，并基于所提取的纹理细节信息来确定样本图像的高精纹理贴图，使得所确定的高精纹理贴图具有丰富的纹理，为后续获取更逼真的光照效果图奠定了基础。
图4是根据本公开实施例提供的又一种贴图生成模型训练方法的流程图，本公开实施例在上述实施例的基础上，进一步对“根据样本图像对应的球谐光照系数和相机内外参数，对样本图像对应的高精纹理贴图和对象材质贴图进行处理，得到光照效果图”进行详细解释说明。如图4所示，本实施例的贴图生成模型训练方法可以包括：
S401，将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，得到样本图像对应的回归参数；其中，样本图像对应的回归参数包括样本图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数。
S402，基于贴图生成模型中的第二神经网络，根据样本图像和样本图像对应的回归参数，确定样本图像的高精纹理贴图。
S403，基于样本图像对应的球谐光照系数，采用可微分渲染器，对样本图像对应的高精纹理贴图和对象材质贴图进行渲染，得到最终贴图。
本实施例中，将样本图像对应的高精纹理贴图、漫反射贴图、镜面反射贴图和法向贴图渲染到一张贴图上，并将该张贴图作为最终贴图。
可选的，基于样本图像对应的球谐光照系数，构建光照环境；在所构建的光照环境下，使用可微分渲染器，对样本图像对应的高精纹理贴图、漫反射贴图、镜面反射贴图和法向贴图进行可微分BRDF（Bidirectional Reflectance Distribution Function，双向反射分布函数）计算，得到样本图像的最终贴图。
S404，根据样本图像对应的相机内外参数，将最终贴图从纹理空间投影至图像空间，得到光照效果图。
具体的，根据样本图像对应的相机内外参数，将最终贴图从纹理空间投影至图像空间，即可得到光照效果图。
S405，根据样本图像和光照效果图，对贴图生成模型进行训练。
本公开实施例提供的技术方案，通过将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，由第一神经网络回归得到多种参数，即样本图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；之后，基于贴图生成模型中的第二神经网络，根据第一神经网络所回归的参数，来确定样本图像对应的高精纹理贴图；进而基于样本图像对应的球谐光照系数，采用可微分渲染器，对所确定的高精纹理贴图和第一神经网络所回归的对象材质贴图进行渲染，并基于第一神经网络所回归的相机内外参数，将渲染结果投影至图像空间，即可得到光照效果图，根据样本图像和光照效果图对贴图生成模型进行训练。上述方案，为获取更为逼真的光照效果图提供了一种优选方式。
图5是根据本公开实施例提供的再一种贴图生成模型训练方法的流程图，本公开实施例在上述实施例的基础上，进一步对“根据样本图像和光照效果图，对贴图生成模型进行训练”进行详细解释说明。如图5所示，本实施例的贴图生成模型训练方法可以包括：
S501，将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，得到样本图像对应的回归参数；其中，样本图像对应的回归参数包括样本图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数。
S502，基于贴图生成模型中的第二神经网络，根据样本图像和样本图像对应的回归参数，确定样本图像的高精纹理贴图。
S503，根据样本图像对应的球谐光照系数和相机内外参数，对样本图像对应的高精纹理贴图和对象材质贴图进行处理，得到光照效果图。
S504，根据样本图像和光照效果图，确定距离损失。
可选的，在本实施例中，可以计算样本图像和光照效果图之间的相似度，并将所计算的相似度，作为距离损失。其中，样本图像和光照效果图之间的相似度可以采用样本图像和光照效果图之间的欧式距离来表征。
S505，根据样本图像的特征表示和光照效果图的特征表示，确定感知损失。
本实施例中，样本图像的特征表示用于表征样本图像的特征，可以采用矩阵或向量形式来表示；相应的，光照效果图的特征表示用于表征光照效果图的特征，也可以采用矩阵或向量形式来表示。
可选的，可以基于特征网络，确定样本图像的特征表示，以及光照效果图的特征表示。具体的，可以将样本图像和光照效果图，分别输入至特征网络，经过特征网络处理，得到样本图像的特征表示，以及光照效果图的特征表示。
在一可实施方式中，本实施例中的特征网络可以为学习感知图像块相似度（Learned Perceptual Image Patch Similarity，LPIPS）网络。
进而，将样本图像和光照效果图，分别输入LPIPS网络，得到样本图像的特征表示，以及光照效果图的特征表示。之后，可以基于LPIPS网络中感知损失计算逻辑，根据样本图像的特征表示和光照效果图的特征表示，来定感知损失。
S506，确定样本图像和光照效果图之间的范数损失。
可选的，可以基于范数损失函数，来确定样本图像和光照效果图之间的范数损失。其中，范数损失函数可以是L1范数损失函数，用于计算样本图像和光照效果图两者在RGB空间的损失。
S507，根据距离损失、感知损失和范数损失，对贴图生成模型进行训练。
在一可实施方式中，可以将距离损失、感知损失和范数损失之和，作为训练损失，并采用训练损失，对贴图生成模型进行训练。
在又一可实施方式中，可以根据距离损失、感知损失和范数损失，以及预先确定的权重值，来确定训练损失。例如，可以将距离损失与第一权重值相乘，将感知损失与第二权重值相乘，将范数损失与第三权重值相乘，并将三者的相乘结果相加，作为训练损失。之后，采用训练损失，对贴图生成模型进行训练。
本公开实施例提供的技术方案，通过将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，由第一神经网络回归得到多种参数，即样本图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；之后，基于贴图生成模型中的第二神经网络，根据第一神经网络所回归的参数，来确定样本图像对应的高精纹理贴图；进而基于所确定的高精纹理贴图来确定光照效果图，并对样本图像和光照效果图进行不同维度分析，确定多种损失，基于所确定的多种损失对贴图生成模型进行训练。上述方案，对样本图像和光照效果图进行不同维度的分析，引入距离损失、感知损失和范数损失对贴图生成模型进行训练，使得贴图生成模型的精准更高。具体的，引入范数损失，可提高模型的收敛速度；引入感知损失，可使得模型学习到样本图像和光照效果图之间的更细微的差异，进而提升模型精度。
图6是根据本公开实施例提供的一种贴图生成方法的流程图。本实施例适用于如何精准获取图像中所包含对象的材质贴图的情况。该方法可以由贴图生成装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于承载贴图生成功能的电子设备中。进一步的，该电子设备中配置有基于上述任一实施例所提供的贴图生成模型训练方法训练得到的贴图生成模型。如图6所示，本实施例的贴图生成方法可以包括：
S601，将包含目标对象的目标图像输入贴图生成模型中的第一神经网络，得到目标图像对应的回归参数。
其中，目标图像对应的回归参数包括目标图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数。
本实施例中，目标图像可以是室内拍摄的单视角图像，也可以是室外拍摄的单视角图像。可选的，目标图像中包含一个目标对象。目标对象即为需要进行材质估计的对象，比如人脸。
具体的，在获取到包含目标对象的目标图像之后，可以将目标图像输入至贴图生成模型中的第一神经网络，由第一神经网络对目标图像进行参数回归，得到目标图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数。
其中，目标图像对应的对象几何信息即为构建目标图像中目标对象的三维虚拟形象所需的几何信息。可选的，在目标对象为人脸的情况下，对象几何信息可以包括人脸形状参数（即shape参数）和人脸表情参数（即expression参数）。目标图像对应的对象材质贴图可以包括目标图像对应的法向贴图（即normal map）、漫反射贴图（即diffuse map）和镜面反射贴图（即specular map）。进一步的，本实施例中的漫反射贴图、镜面反射贴图和法向贴图均与光照解耦，也就是说漫反射贴图、镜面反射贴图和法向贴图均不包含光照信息。
目标图像对应的球谐光照系数即为构建光照环境的一组参数；目标图像对应的粗糙纹理贴图即为不包含光照信息，且不包含目标对象纹理细节的一种贴图。比如，在目标对象为人脸的情况下，粗糙纹理贴图中不包含人脸上的痘痘、斑点等细节。
进一步的，为使得第一神经网络能够回归到精准的参数，本实施例在将目标图像输入至贴图生成模型中的第一神经网络之后，可以对目标图像进行裁剪和/或对齐等预处理。
S602，基于贴图生成模型中的第二神经网络，根据目标图像和目标图像对应的回归参数，确定目标图像的高精纹理贴图。
本实施例中的高精纹理贴图，也是材质贴图的一种，在一定程度上可以反映目标对象的材质。可选的，与S601中的粗糙纹理贴图相比，通过S602所获得的高精纹理贴图包括更多的纹理细节。比如在目标对象为人脸的情况下，粗糙纹理贴图中不包含人脸上的痘痘、斑点等细节，而高精纹理贴图中包括人脸上的痘痘、斑点等细节。进一步的，本实施例中的高精纹理贴图也不具有光照信息。
在一可实施方式中，可以将目标图像和通过第一神经网络所回归的目标图像的回归参数一并输入至第二神经网络，经由第二神经网络处理，输出目标图像的高精纹理贴图。
可选的，在获得目标图像中目标对象的漫反射贴图、镜面反射贴图、法向贴图和高精纹理贴图之后，可以利用这些材质贴图，对所构建的目标对象的三维虚拟形象型进行渲染，使得渲染后的三维虚拟形象更为逼真，即与真实的对象更为相像；此外，还可以利用这些材质贴图，获取目标对象在不同光照条件下的光照效果图，如可以获取人脸在室内光照下的效果图，以及室外森林场景下光照的效果图等。
本公开实施例提供的技术方案，通过将包含目标对象的目标图像输入贴图生成模型中的第一神经网络，由第一神经网络回归得到多种参数；之后，基于贴图生成模型中的第二神经网络，根据第一神经网络所回归的参数，来确定目标图像对应的高精纹理贴图。上述方案，在使用本公开所提供的贴图生成模型训练方法所训练得到的贴图生成模型的情况下，不论输入的图像是室内拍摄图像，还是室外拍摄图像，均可以输出高质量的材质贴图。使用本公开所训练的贴图生成模型，只需提供一张单视角的图像，即可获得高质量的材质贴图，相比于相关技术通过搭建多个视角结合不同光照来求解材质贴图的方案而言，降低了硬件成本和计算成本。
示例性的，本公开所提供的贴图生成模型中的第一神经网络可以包括两个子网络，分别为第一子网络和第二子网络。示例性的，在上述实施例的基础上，将包含目标对象的样本图像输入贴图生成模型中的第一神经网络，得到目标图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数的一种可选方式是：将包含目标对象的目标图像输入第一子网络，得到目标图像对应的对象几何信息、法向贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；将目标图像输入第二子网络，得到目标图像对应的漫反射贴图和镜面反射贴图。
示例性的，在上述实施例的基础上，基于贴图生成模型中的第二神经网络，根据目标图像和目标图像对应的回归参数，确定目标图像的高精纹理贴图的一种可选方式是，根据目标图像、目标图像对应的对象几何信息和相机内外参数，确定目标图像的像素级目标纹理贴图；基于贴图生成模型中的第二神经网络，根据目标图像对应的球谐光照系数，对目标图像对应的像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图进行处理，得到目标图像的高精纹理贴图。
本实施例中，目标图像的像素级目标纹理贴图即为图像像素级的目标纹理贴图，具体可以理解为从图像空间中所提取的纹理贴图。进一步的，本实施例中的像素级目标纹理贴图是不包含光照信息的纹理贴图。
可选的，可以基于目标图像对应的对象几何信息，构建目标图像中目标对象的三维虚拟形象；根据目标图像对应的相机内外参数和目标图像中像素点的RGB值，以及三维虚拟形象与UV贴图之间的映射关系，对所构建的三维虚拟形象进行处理，可得到一个纹理贴图；对该纹理贴图进行去光照处理，即可得到目标图像的像素级目标纹理贴图。
进一步的，在得到目标图像的像素级目标纹理贴图之后，可以将目标图像对应的球谐光照系数、像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图一并输入至第二神经网络，经由第二神经网络处理，输出目标图像的高精纹理贴图。或者，还可以根据目标图像对应的球谐光照系数，对目标图像对应的像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图进行处理，得到处理结果；将处理结果输入至第二神经网络，输出目标图像的高精纹理贴图。
可以理解的是，本实施例通过引入目标图像的像素级目标纹理贴图，并基于贴图生成模型中的第二神经网络，根据像素级目标纹理贴图和第一神经网络所回归的参数，来确定目标图像对应的高精纹理贴图，可使得所确定的高精纹理贴图更加精准。
图7是根据本公开实施例提供的另一种贴图生成方法的流程图。本实施例在上述实施例的基础上，进一步对“根据目标图像、目标图像对应的对象几何信息和相机内外参数，确定目标图像的像素级目标纹理贴图”。如图7所示，本实施例的贴图生成方法可以包括：
S701，将包含目标对象的目标图像输入贴图生成模型中的第一神经网络，得到目标图像对应的回归参数；其中，目标图像对应的回归参数包括目标图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数。
S702，基于目标图像对应的对象几何信息，生成目标图像的三维虚拟形象。
本实施例中，目标图像的三维虚拟形象即为目标图像中目标对象的三维虚拟形象。比如目标对象为人脸，目标图像的三维虚拟形象即为人脸的三维虚拟形象。
可选的，可以基于预先设定的三维模型生成逻辑，对目标图像对应的对象几何信息进行处理，以生成三维虚拟形象。比如，可以将对象几何信息输入到预先训练好的三维模型生成网络中，由三维模型生成网络输出三维虚拟形象。或者，可以将对象几何信息，与预先设定的基底进行线性求和，以得到三维虚拟形象。
S703，根据目标图像和目标图像对应的相机内外参数，对目标图像的三维虚拟形象进行处理，得到目标图像的像素级初步纹理贴图。
本实施例中，目标图像的像素级初步纹理贴图即为图像像素级的初步纹理贴图，具体可以理解为从图像空间中所提取的初步纹理贴图。进一步的，像素级初步纹理贴图是包含光照信息的纹理贴图。
可选的，可以基于目标图像对应的相机内外参数，将目标图像的三维虚拟形象影至图像空间，建立三维虚拟形象的顶点与图像像素的映射；进而基于此映射，将目标图像中像素点的RGB值，赋值给三维虚拟形象上的顶点；之后，基于三维虚拟形象与UV贴图之间的映射关系，对赋值后的三维虚拟形象进行UV展开，以得到目标图像的像素级初步纹理贴图。
S704，对目标图像的像素级初步纹理贴图进行光照去除和特征对称处理，得到目标图像的像素级目标纹理贴图。
本实施例中的像素级目标纹理贴图是不包含光照信息的纹理贴图。
可选的，本实施例可以基于预先训练好的图像修补（即inpainting）纹理贴图生成网络，对目标图像的像素级初步纹理贴图进行光照去除和特征对称处理，以得到目标图像的像素级目标纹理贴图。
具体的，将目标图像的像素级初步纹理贴图和球谐光照系数，一并输入预先训练好的图像修补纹理贴图生成网络，由图像修补纹理贴图生成网络，基于球谐光照系数，对目标图像的像素级初步纹理贴图进行光照去除；同时图像修补贴图生成网络会基于对称一致性规则，对目标图像的像素级初步纹理贴图进行特征对称处理，以此来得到目标图像的像素级目标纹理贴图。
需要说明的是，相比于通过S703获得的像素级初步纹理贴图，通过S704获得的像素级目标纹理贴图更为完整。比如，目标对象为人脸，在人脸存在遮挡的情况下，像素级初步纹理贴图将不包含遮挡部分的纹理；而本实施例通过对像素级初步纹理贴图进行特征对称处理，使得遮挡部分的人脸区域通过对称性，获得相关纹理，即像素级目标纹理贴图包括整个脸的纹理，也就是说，像素级目标纹理贴图中包含了遮挡部分的纹理。
S705，基于贴图生成模型中的第二神经网络，根据目标图像对应的球谐光照系数，对目标图像对应的像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图进行处理，得到目标图像的高精纹理贴图。
本公开实施例提供的技术方案，通过将包含目标对象的目标图像输入贴图生成模型中的第一神经网络，由第一神经网络回归得到多种参数，即目标图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；之后，基于目标图像对应的对象几何信息构建目标图像的三维虚拟形象，并基于目标图像和目标图像对应的相机内外参数，对所构建的三维虚拟形象进行处理，可得到目标图像的像素级初步纹理贴图，通过对所得到的像素级初步纹理贴图进行光照去除和特征对称处理，得到目标图像的像素级目标纹理贴图；进而基于贴图生成模型中的第二神经网络，根据像素级目标纹理贴图和第一神经网络所回归的参数，来确定目标图像对应的高精纹理贴图。上述方案，通过引入对像素级初步纹理贴图进行光照去除和特征对称处理，使得最终所获得的像素级目标纹理贴图更为精准，为后续获得精准的高精纹理贴图奠定了基础。
图8是根据本公开实施例提供的又一种贴图生成方法的流程图。本实施例在上述实施例的基础上，进一步对“基于贴图生成模型中的第二神经网络，根据目标图像对应的球谐光照系数，对目标图像对应的像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图进行处理，得到目标图像的高精纹理贴图”。如图8所示，本实施例的贴图生成方法可以包括：
S801，将包含目标对象的目标图像输入贴图生成模型中的第一神经网络，得到目标图像对应的回归参数；其中，目标图像对应的回归参数包括目标图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数。
S802，根据目标图像、目标图像对应的对象几何信息和相机内外参数，确定目标图像的像素级目标纹理贴图。
S803，基于目标图像对应的球谐光照系数，采用可微分渲染器，对目标图像对应的粗糙纹理贴图、漫反射贴图和镜面反射贴图进行渲染，得到目标图像对应的初步对象纹理贴图。
在本实施例中，初步对象纹理贴图，即初步PBR（Physically Based Rendering，基于物理的渲染）面部纹理贴图；具体的，初步对象纹理贴图不具有光照信息，以及不具有纹理细节。比如，目标对象为人脸，初步对象纹理贴图中不包括人脸上的痘痘、斑点等细节。
可选的，基于目标图像对应的球谐光照系数，构建光照环境；在所构建的光照环境下，使用可微分渲染器，对目标图像对应的粗糙纹理贴图、漫反射贴图和镜面反射贴图进行可微分BRDF（Bidirectional Reflectance Distribution Function，双向反射分布函数）计算，得到目标图像的初步对象纹理贴图。
S804，根据目标图像的像素级目标纹理贴图和初步对象纹理贴图，确定目标图像的纹理细节信息。
在本实施例中，目标图像的纹理细节信息即为目标图像中目标对象的高频细节信息。比如，目标对象为人脸，目标图像的纹理细节信息可以包括但不限于人脸上的痘痘、斑点等细节。
可选的，可以对目标图像的像素级目标纹理贴图和初步对象纹理贴图进行做差计算，以得到目标图像中目标对象的纹理细节信息。
S805，基于贴图生成模型中的第二神经网络，对目标图像对应的粗糙纹理贴图、法向贴图和纹理细节信息进行处理，得到目标图像的高精纹理贴图。
具体的，可以将目标图像对应的粗糙纹理贴图、法向贴图和纹理细节信息一并输入至贴图生成模型中的第二神经网络，经第二神经网络处理，得到目标图像的高精纹理贴图。
本公开实施例提供的技术方案，通过将包含目标对象的目标图像输入贴图生成模型中的第一神经网络，由第一神经网络回归得到多种参数，即目标图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；之后，基于目标图像、目标图像对应的对象几何信息和相机内外参数，确定目标图像的像素级目标纹理贴图，并基于贴图生成模型中的第二神经网络，根据目标图像的像素级目标纹理贴图和第一神经网络所回归的参数，来确定目标图像对应的高精纹理贴图。上述方案，通过基于目标图像的像素级目标纹理贴图和初步对象纹理贴图，来提取目标图像中目标对象的纹理细节信息，并基于所提取的纹理细节信息来确定目标图像的高精纹理贴图，使得所确定的高精纹理贴图具有丰富的纹理。
图9是根据本公开实施例提供的一种贴图生成模型训练装置的结构示意图。本实施例适用于在超写实渲染场景或获取不同光照图像场景等下，如何对贴图生成模型进行训练，以使配置训练好的贴图生成模型的设备可以精准获取图像中所包含对象的材质贴图的情况。该装置可以采用软件和/或硬件的方式实现，并可集成于承载贴图生成模型训练的训练功能的电子设备中。如图9所示，本实施例的贴图生成模型训练装置900可以包括：
样本参数获取模块901，用于将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，得到样本图像对应的回归参数；其中，样本图像对应的回归参数包括样本图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；
样本高精纹理确定模块902，用于基于贴图生成模型中的第二神经网络，根据样本图像和样本图像对应的回归参数，确定样本图像的高精纹理贴图；
光照效果图确定模块903，用于根据样本图像对应的球谐光照系数和相机内外参数，对样本图像对应的高精纹理贴图和对象材质贴图进行处理，得到光照效果图；
训练模块904，用于根据样本图像和光照效果图，对贴图生成模型进行训练。
本公开实施例提供的技术方案，通过将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，由第一神经网络回归得到多种参数，即样本图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；之后，基于贴图生成模型中的第二神经网络，根据第一神经网络所回归的参数，来确定样本图像对应的高精纹理贴图；进而基于所确定的高精纹理贴图，来确定光照效果图，并根据样本图像和光照效果图对贴图生成模型进行训练。上述方案，提出了一种无监督训练贴图生成模型的方法，使用该方法所训练的贴图生成模型，不论输入的图像是室内拍摄图像，还是室外拍摄图像，均可以输出高质量的材质贴图。也就是说，本公开所提供的贴图生成模型不仅适用于室内拍摄情况下的材质估计，同样适用于室外拍摄情况下的材质估计。同时，使用本公开所训练的贴图生成模型，只需提供一张单视角的图像，即可获得高质量的材质贴图，相比于相关技术通过搭建多个视角结合不同光照来求解材质贴图的方案而言，降低了硬件成本和计算成本。此外，本方案具有较强的可扩展性，能够适配到具有材质估计需求的任一移动端中。
示例性的，样本高精纹理确定模块902包括：
样本目标纹理确定单元，用于根据样本图像、样本图像对应的对象几何信息和相机内外参数，确定样本图像的像素级目标纹理贴图；
样本高精纹理确定单元，用于基于贴图生成模型中的第二神经网络，根据样本图像对应的球谐光照系数，对样本图像对应的像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图进行处理，得到样本图像的高精纹理贴图。
示例性的，样本目标纹理确定单元具体用于：
基于样本图像对应的对象几何信息，生成样本图像的三维虚拟形象；
根据样本图像和样本图像对应的相机内外参数，对样本图像的三维虚拟形象进行处理，得到样本图像的像素级初步纹理贴图；
对样本图像的像素级初步纹理贴图进行光照去除和特征对称处理，得到样本图像的像素级目标纹理贴图。
示例性的，样本图像对应的对象材质贴图包括样本图像对应的法向贴图、漫反射贴图和镜面反射贴图。
示例性的，样本高精纹理确定单元具体用于：
基于样本图像对应的球谐光照系数，采用可微分渲染器，对样本图像对应的粗糙纹理贴图、漫反射贴图和镜面反射贴图进行渲染，得到样本图像对应的初步对象纹理贴图；
根据样本图像的像素级目标纹理贴图和初步对象纹理贴图，确定样本图像的纹理细节信息；
基于贴图生成模型中的第二神经网络，对样本图像对应的粗糙纹理贴图、法向贴图和纹理细节信息进行处理，得到样本图像的高精纹理贴图。
示例性的，光照效果图确定模块903具体用于：
基于样本图像对应的球谐光照系数，采用可微分渲染器，对样本图像对应的高精纹理贴图和对象材质贴图进行渲染，得到最终贴图；
根据样本图像对应的相机内外参数，将最终贴图从纹理空间投影至图像空间，得到光照效果图。
示例性的，贴图生成模型中的第一神经网络包括第一子网络和第二子网络；
样本参数获取模块901具体用于：
将包含样本对象的样本图像输入第一子网络，得到样本图像对应的对象几何信息、法向贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；
将样本图像输入第二子网络，得到样本图像对应的漫反射贴图和镜面反射贴图。
示例性的，训练模块904具体用于：
根据样本图像和光照效果图，确定距离损失；
根据样本图像的特征表示和光照效果图的特征表示，确定感知损失；
确定样本图像和光照效果图之间的范数损失；
根据距离损失、感知损失和范数损失，对贴图生成模型进行训练。
示例性的，上述装置还包括：
预处理模块，用于对原始图像进行预处理，得到样本图像；其中，预处理包括裁剪处理和/或对齐处理。
图10是根据本公开实施例提供的一种贴图生成装置的结构示意图。本实施例适用于如何精准获取图像中所包含对象的材质贴图的情况。该装置可以采用软件和/或硬件的方式实现，并可集成于承载贴图生成的训练功能的电子设备中。如图10所示，本实施例的贴图生成装置1000可以包括：
目标参数获取模块1001，用于将包含目标对象的目标图像输入贴图生成模型中的第一神经网络，得到目标图像对应的回归参数；
目标高精纹理确定模块1002，用于基于贴图生成模型中的第二神经网络，根据目标图像和目标图像对应的回归参数，确定目标图像的高精纹理贴图；
其中，贴图生成模型基于本公开任一实施例所述的贴图生成模型训练方法训练得到。
本公开实施例提供的技术方案，通过将包含目标对象的目标图像输入贴图生成模型中的第一神经网络，由第一神经网络回归得到多种参数；之后，基于贴图生成模型中的第二神经网络，根据第一神经网络所回归的参数，来确定目标图像对应的高精纹理贴图。上述方案，在使用本公开所提供的贴图生成模型训练方法所训练得到的贴图生成模型的情况下，不论输入的图像是室内拍摄图像，还是室外拍摄图像，均可以输出高质量的材质贴图。使用本公开所训练的贴图生成模型，只需提供一张单视角的图像，即可获得高质量的材质贴图，相比于相关技术通过搭建多个视角结合不同光照来求解材质贴图的方案而言，降低了硬件成本和计算成本。
示例性的，目标图像对应的回归参数包括目标图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；
目标高精纹理确定模块1002包括：
目标像素级确定单元，用于根据目标图像、目标图像对应的对象几何信息和相机内外参数，确定目标图像的像素级目标纹理贴图；
目标高精纹理确定单元，用于基于贴图生成模型中的第二神经网络，根据目标图像对应的球谐光照系数，对目标图像对应的像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图进行处理，得到目标图像的高精纹理贴图。
示例性的，目标像素级确定单元具体用于：
基于目标图像对应的对象几何信息，生成目标图像的三维虚拟形象；
根据目标图像和目标图像对应的相机内外参数，对目标图像的三维虚拟形象进行处理，得到目标图像的像素级初步纹理贴图；
对目标图像的像素级初步纹理贴图进行光照去除和特征对称处理，得到目标图像的像素级目标纹理贴图。
示例性的，目标图像对应的对象材质贴图包括目标图像对应的法向贴图、漫反射贴图和镜面反射贴图。
示例性的，目标高精纹理确定单元具体用于：
基于目标图像对应的球谐光照系数，采用可微分渲染器，对目标图像对应的粗糙纹理贴图、漫反射贴图和镜面反射贴图进行渲染，得到目标图像对应的初步对象纹理贴图；
根据目标图像的像素级目标纹理贴图和初步对象纹理贴图，确定目标图像的纹理细节信息；
基于贴图生成模型中的第二神经网络，对目标图像对应的粗糙纹理贴图、法向贴图和纹理细节信息进行处理，得到目标图像的高精纹理贴图。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
其中，一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开任一所述的贴图生成模型训练方法，或者本公开任一所述的贴图生成方法。
图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图11所示，电子设备1100包括计算单元1101，其可以根据存储在只读存储器（ROM）1102中的计算机程序或者从存储单元1108加载到随机访问存储器（RAM）1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储电子设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出（I/O）接口1105也连接至总线1104。
电子设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许电子设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如贴图生成模型训练或贴图生成方法。例如，在一些实施例中，贴图生成模型训练或贴图生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到电子设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的贴图生成模型训练或贴图生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行贴图生成模型训练或贴图生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、复杂可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
云计算（cloud computing），指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (28)

1.一种贴图生成模型训练方法，包括：
将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，得到所述样本图像对应的回归参数；其中，所述样本图像对应的回归参数包括所述样本图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；
基于所述贴图生成模型中的第二神经网络，根据所述样本图像和所述样本图像对应的回归参数，确定所述样本图像的高精纹理贴图；
根据所述样本图像对应的球谐光照系数和相机内外参数，对所述样本图像对应的高精纹理贴图和对象材质贴图进行处理，得到光照效果图；
根据所述样本图像和所述光照效果图，对所述贴图生成模型进行训练；
其中，所述基于所述贴图生成模型中的第二神经网络，根据所述样本图像和所述样本图像对应的回归参数，确定所述样本图像的高精纹理贴图，包括：
根据所述样本图像、所述样本图像对应的对象几何信息和相机内外参数，确定所述样本图像的像素级目标纹理贴图；
基于所述贴图生成模型中的第二神经网络，根据所述样本图像对应的球谐光照系数，对所述样本图像对应的像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图进行处理，得到所述样本图像的高精纹理贴图。
2.根据权利要求1所述的方法，其中，所述根据所述样本图像、所述样本图像对应的对象几何信息和相机内外参数，确定所述样本图像的像素级目标纹理贴图，包括：
基于所述样本图像对应的对象几何信息，生成所述样本图像的三维虚拟形象；
根据所述样本图像和所述样本图像对应的相机内外参数，对所述样本图像的三维虚拟形象进行处理，得到所述样本图像的像素级初步纹理贴图；
对所述样本图像的像素级初步纹理贴图进行光照去除和特征对称处理，得到所述样本图像的像素级目标纹理贴图。
3.根据权利要求1所述的方法，其中，所述样本图像对应的对象材质贴图包括所述样本图像对应的法向贴图、漫反射贴图和镜面反射贴图。
4.根据权利要求3所述的方法，其中，所述基于所述贴图生成模型中的第二神经网络，根据所述样本图像对应的球谐光照系数，对所述样本图像对应的像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图进行处理，得到所述样本图像的高精纹理贴图，包括：
基于所述样本图像对应的球谐光照系数，采用可微分渲染器，对所述样本图像对应的粗糙纹理贴图、漫反射贴图和镜面反射贴图进行渲染，得到所述样本图像对应的初步对象纹理贴图；
根据所述样本图像的像素级目标纹理贴图和初步对象纹理贴图，确定所述样本图像的纹理细节信息；
基于所述贴图生成模型中的第二神经网络，对所述样本图像对应的粗糙纹理贴图、法向贴图和纹理细节信息进行处理，得到所述样本图像的高精纹理贴图。
5.根据权利要求1所述的方法，其中，所述根据所述样本图像对应的球谐光照系数和相机内外参数，对所述样本图像对应的高精纹理贴图和对象材质贴图进行处理，得到光照效果图，包括：
基于所述样本图像对应的球谐光照系数，采用可微分渲染器，对所述样本图像对应的高精纹理贴图和对象材质贴图进行渲染，得到最终贴图；
根据所述样本图像对应的相机内外参数，将所述最终贴图从纹理空间投影至图像空间，得到光照效果图。
6.根据权利要求3所述的方法，其中，所述贴图生成模型中的第一神经网络包括第一子网络和第二子网络；
所述将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，得到所述样本图像对应的回归参数，包括：
将包含样本对象的样本图像输入所述第一子网络，得到所述样本图像对应的对象几何信息、法向贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；
将所述样本图像输入所述第二子网络，得到所述样本图像对应的漫反射贴图和镜面反射贴图。
7.根据权利要求1所述的方法，其中，所述根据所述样本图像和所述光照效果图，对所述贴图生成模型进行训练，包括：
根据所述样本图像和所述光照效果图，确定距离损失；
根据所述样本图像的特征表示和所述光照效果图的特征表示，确定感知损失；
确定所述样本图像和所述光照效果图之间的范数损失；
根据所述距离损失、所述感知损失和所述范数损失，对所述贴图生成模型进行训练。
8.根据权利要求1所述的方法，还包括：
对原始图像进行预处理，得到所述样本图像；其中，所述预处理包括裁剪处理和/或对齐处理。
9.一种贴图生成方法，包括：
将包含目标对象的目标图像输入贴图生成模型中的第一神经网络，得到所述目标图像对应的回归参数；
基于所述贴图生成模型中的第二神经网络，根据所述目标图像和所述目标图像对应的回归参数，确定所述目标图像的高精纹理贴图；
其中，所述贴图生成模型基于权利要求1-8中任一所述的贴图生成模型训练方法训练得到。
10.根据权利要求9所述的方法，其中，所述目标图像对应的回归参数包括所述目标图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；
所述基于所述贴图生成模型中的第二神经网络，根据所述目标图像和所述目标图像对应的回归参数，确定所述目标图像的高精纹理贴图，包括：
根据所述目标图像、所述目标图像对应的对象几何信息和相机内外参数，确定所述目标图像的像素级目标纹理贴图；
基于所述贴图生成模型中的第二神经网络，根据所述目标图像对应的球谐光照系数，对所述目标图像对应的像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图进行处理，得到所述目标图像的高精纹理贴图。
11.根据权利要求10所述的方法，其中，所述根据所述目标图像、所述目标图像对应的对象几何信息和相机内外参数，确定所述目标图像的像素级目标纹理贴图，包括：
基于所述目标图像对应的对象几何信息，生成所述目标图像的三维虚拟形象；
根据所述目标图像和所述目标图像对应的相机内外参数，对所述目标图像的三维虚拟形象进行处理，得到所述目标图像的像素级初步纹理贴图；
对所述目标图像的像素级初步纹理贴图进行光照去除和特征对称处理，得到所述目标图像的像素级目标纹理贴图。
12.根据权利要求10所述的方法，其中，所述目标图像对应的对象材质贴图包括所述目标图像对应的法向贴图、漫反射贴图和镜面反射贴图。
13.根据权利要求12所述的方法，其中，所述基于所述贴图生成模型中的第二神经网络，根据所述目标图像对应的球谐光照系数，对所述目标图像对应的像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图进行处理，得到所述目标图像的高精纹理贴图，包括：
基于所述目标图像对应的球谐光照系数，采用可微分渲染器，对所述目标图像对应的粗糙纹理贴图、漫反射贴图和镜面反射贴图进行渲染，得到所述目标图像对应的初步对象纹理贴图；
根据所述目标图像的像素级目标纹理贴图和初步对象纹理贴图，确定所述目标图像的纹理细节信息；
基于所述贴图生成模型中的第二神经网络，对所述目标图像对应的粗糙纹理贴图、法向贴图和纹理细节信息进行处理，得到所述目标图像的高精纹理贴图。
14.一种贴图生成模型训练装置，包括：
样本参数获取模块，用于将包含样本对象的样本图像输入贴图生成模型中的第一神经网络，得到所述样本图像对应的回归参数；其中，所述样本图像对应的回归参数包括所述样本图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；
样本高精纹理确定模块，用于基于所述贴图生成模型中的第二神经网络，根据所述样本图像和所述样本图像对应的回归参数，确定所述样本图像的高精纹理贴图；
光照效果图确定模块，用于根据所述样本图像对应的球谐光照系数和相机内外参数，对所述样本图像对应的高精纹理贴图和对象材质贴图进行处理，得到光照效果图；
训练模块，用于根据所述样本图像和所述光照效果图，对所述贴图生成模型进行训练；
其中，所述样本高精纹理确定模块包括：
样本目标纹理确定单元，用于根据所述样本图像、所述样本图像对应的对象几何信息和相机内外参数，确定所述样本图像的像素级目标纹理贴图；
样本高精纹理确定单元，用于基于所述贴图生成模型中的第二神经网络，根据所述样本图像对应的球谐光照系数，对所述样本图像对应的像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图进行处理，得到所述样本图像的高精纹理贴图。
15.根据权利要求14所述的装置，其中，所述样本目标纹理确定单元具体用于：
基于所述样本图像对应的对象几何信息，生成所述样本图像的三维虚拟形象；
根据所述样本图像和所述样本图像对应的相机内外参数，对所述样本图像的三维虚拟形象进行处理，得到所述样本图像的像素级初步纹理贴图；
对所述样本图像的像素级初步纹理贴图进行光照去除和特征对称处理，得到所述样本图像的像素级目标纹理贴图。
16.根据权利要求14所述的装置，其中，所述样本图像对应的对象材质贴图包括所述样本图像对应的法向贴图、漫反射贴图和镜面反射贴图。
17.根据权利要求16所述的装置，其中，所述样本高精纹理确定单元具体用于：
基于所述样本图像对应的球谐光照系数，采用可微分渲染器，对所述样本图像对应的粗糙纹理贴图、漫反射贴图和镜面反射贴图进行渲染，得到所述样本图像对应的初步对象纹理贴图；
根据所述样本图像的像素级目标纹理贴图和初步对象纹理贴图，确定所述样本图像的纹理细节信息；
基于所述贴图生成模型中的第二神经网络，对所述样本图像对应的粗糙纹理贴图、法向贴图和纹理细节信息进行处理，得到所述样本图像的高精纹理贴图。
18.根据权利要求14所述的装置，其中，所述光照效果图确定模块具体用于：
基于所述样本图像对应的球谐光照系数，采用可微分渲染器，对所述样本图像对应的高精纹理贴图和对象材质贴图进行渲染，得到最终贴图；
根据所述样本图像对应的相机内外参数，将所述最终贴图从纹理空间投影至图像空间，得到光照效果图。
19.根据权利要求16所述的装置，其中，所述贴图生成模型中的第一神经网络包括第一子网络和第二子网络；
所述样本参数获取模块具体用于：
将包含样本对象的样本图像输入所述第一子网络，得到所述样本图像对应的对象几何信息、法向贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；
将所述样本图像输入所述第二子网络，得到所述样本图像对应的漫反射贴图和镜面反射贴图。
20.根据权利要求14所述的装置，其中，所述训练模块具体用于：
根据所述样本图像和所述光照效果图，确定距离损失；
根据所述样本图像的特征表示和所述光照效果图的特征表示，确定感知损失；
确定所述样本图像和所述光照效果图之间的范数损失；
根据所述距离损失、所述感知损失和所述范数损失，对所述贴图生成模型进行训练。
21.根据权利要求14所述的装置，还包括：
预处理模块，用于对原始图像进行预处理，得到所述样本图像；其中，所述预处理包括裁剪处理和/或对齐处理。
22.一种贴图生成装置，包括：
目标参数获取模块，用于将包含目标对象的目标图像输入贴图生成模型中的第一神经网络，得到所述目标图像对应的回归参数；
目标高精纹理确定模块，用于基于所述贴图生成模型中的第二神经网络，根据所述目标图像和所述目标图像对应的回归参数，确定所述目标图像的高精纹理贴图；
其中，所述贴图生成模型基于权利要求1-8中任一所述的贴图生成模型训练方法训练得到。
23.根据权利要求22所述的装置，其中，所述目标图像对应的回归参数包括所述目标图像对应的对象几何信息、对象材质贴图、粗糙纹理贴图、球谐光照系数和相机内外参数；
所述目标高精纹理确定模块包括：
目标像素级确定单元，用于根据所述目标图像、所述目标图像对应的对象几何信息和相机内外参数，确定所述目标图像的像素级目标纹理贴图；
目标高精纹理确定单元，用于基于所述贴图生成模型中的第二神经网络，根据所述目标图像对应的球谐光照系数，对所述目标图像对应的像素级目标纹理贴图、粗糙纹理贴图和对象材质贴图进行处理，得到所述目标图像的高精纹理贴图。
24.根据权利要求23所述的装置，其中，所述目标像素级确定单元具体用于：
基于所述目标图像对应的对象几何信息，生成所述目标图像的三维虚拟形象；
根据所述目标图像和所述目标图像对应的相机内外参数，对所述目标图像的三维虚拟形象进行处理，得到所述目标图像的像素级初步纹理贴图；
对所述目标图像的像素级初步纹理贴图进行光照去除和特征对称处理，得到所述目标图像的像素级目标纹理贴图。
25.根据权利要求23所述的装置，其中，所述目标图像对应的对象材质贴图包括所述目标图像对应的法向贴图、漫反射贴图和镜面反射贴图。
26.根据权利要求25所述的装置，其中，所述目标高精纹理确定单元具体用于：
基于所述目标图像对应的球谐光照系数，采用可微分渲染器，对所述目标图像对应的粗糙纹理贴图、漫反射贴图和镜面反射贴图进行渲染，得到所述目标图像对应的初步对象纹理贴图；
根据所述目标图像的像素级目标纹理贴图和初步对象纹理贴图，确定所述目标图像的纹理细节信息；
基于所述贴图生成模型中的第二神经网络，对所述目标图像对应的粗糙纹理贴图、法向贴图和纹理细节信息进行处理，得到所述目标图像的高精纹理贴图。
27.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的贴图生成模型训练方法，或者权利要求9-13中任一项所述的贴图生成方法。
28.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-8中任一项所述的贴图生成模型训练方法，或者权利要求9-13中任一项所述的贴图生成方法。
CN202210754478.8A 2022-06-30 2022-06-30 贴图生成模型训练和贴图生成方法、装置、设备及介质 Active CN114842121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210754478.8A CN114842121B (zh) 2022-06-30 2022-06-30 贴图生成模型训练和贴图生成方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210754478.8A CN114842121B (zh) 2022-06-30 2022-06-30 贴图生成模型训练和贴图生成方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114842121A CN114842121A (zh) 2022-08-02
CN114842121B true CN114842121B (zh) 2022-09-09

Family

ID=82573261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210754478.8A Active CN114842121B (zh) 2022-06-30 2022-06-30 贴图生成模型训练和贴图生成方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114842121B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375847B (zh) * 2022-08-25 2023-08-29 北京百度网讯科技有限公司 材质恢复方法、三维模型的生成方法和模型的训练方法
CN115809696B (zh) * 2022-12-01 2024-04-02 支付宝(杭州)信息技术有限公司 虚拟形象模型训练方法及装置
CN116012666B (zh) * 2022-12-20 2023-10-27 百度时代网络技术（北京）有限公司 图像生成、模型的训练、信息重建方法、装置及电子设备
CN116310659B (zh) * 2023-05-17 2023-08-08 中数元宇数字科技(上海)有限公司 训练数据集的生成方法及设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410309A (zh) * 2018-09-30 2019-03-01 深圳市商汤科技有限公司 重光照方法和装置、电子设备和计算机存储介质
CN110223370A (zh) * 2019-05-29 2019-09-10 南京大学 一种从单视点图片生成完整人体纹理贴图的方法
GB201917995D0 (en) * 2019-03-21 2020-01-22 Adobe Inc Dynamically estimating lighting parameters for the positions within augmented-reality scenes using a neural network
CN111652960A (zh) * 2020-05-07 2020-09-11 浙江大学 一种基于可微渲染器的从单幅图像求解人脸反射材质的方法
CN112419334A (zh) * 2020-11-18 2021-02-26 山东大学 基于深度学习的微表面材质重建方法及系统
CN112634156A (zh) * 2020-12-22 2021-04-09 浙江大学 基于便携式设备采集图像估计材质反射参数的方法
CN112950775A (zh) * 2021-04-27 2021-06-11 南京大学 一种基于自监督学习的三维人脸模型重建方法及系统
CN113298936A (zh) * 2021-06-01 2021-08-24 浙江大学 一种基于深度学习的多rgb-d全脸材质恢复方法
WO2021223134A1 (zh) * 2020-05-07 2021-11-11 浙江大学 一种基于微渲染器的从单幅图像求解人脸反射材质的方法
CN113838176A (zh) * 2021-09-16 2021-12-24 网易（杭州）网络有限公司 模型的训练方法、三维人脸图像生成方法及设备
WO2022005523A1 (en) * 2020-06-30 2022-01-06 Google Llc Generative latent textured proxies for object category modeling
CN114419335A (zh) * 2022-01-06 2022-04-29 百果园技术(新加坡)有限公司 一种纹理识别模型的训练、纹理迁移方法与相关装置
CN114429518A (zh) * 2021-12-28 2022-05-03 清华大学 人脸模型重建方法、装置、设备和存储介质
CN114581577A (zh) * 2022-02-10 2022-06-03 山东大学 物体材质微表面模型重构方法及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410309A (zh) * 2018-09-30 2019-03-01 深圳市商汤科技有限公司 重光照方法和装置、电子设备和计算机存储介质
GB201917995D0 (en) * 2019-03-21 2020-01-22 Adobe Inc Dynamically estimating lighting parameters for the positions within augmented-reality scenes using a neural network
CN110223370A (zh) * 2019-05-29 2019-09-10 南京大学 一种从单视点图片生成完整人体纹理贴图的方法
WO2021223134A1 (zh) * 2020-05-07 2021-11-11 浙江大学 一种基于微渲染器的从单幅图像求解人脸反射材质的方法
CN111652960A (zh) * 2020-05-07 2020-09-11 浙江大学 一种基于可微渲染器的从单幅图像求解人脸反射材质的方法
WO2022005523A1 (en) * 2020-06-30 2022-01-06 Google Llc Generative latent textured proxies for object category modeling
CN112419334A (zh) * 2020-11-18 2021-02-26 山东大学 基于深度学习的微表面材质重建方法及系统
CN112634156A (zh) * 2020-12-22 2021-04-09 浙江大学 基于便携式设备采集图像估计材质反射参数的方法
CN112950775A (zh) * 2021-04-27 2021-06-11 南京大学 一种基于自监督学习的三维人脸模型重建方法及系统
CN113298936A (zh) * 2021-06-01 2021-08-24 浙江大学 一种基于深度学习的多rgb-d全脸材质恢复方法
CN113838176A (zh) * 2021-09-16 2021-12-24 网易（杭州）网络有限公司 模型的训练方法、三维人脸图像生成方法及设备
CN114429518A (zh) * 2021-12-28 2022-05-03 清华大学 人脸模型重建方法、装置、设备和存储介质
CN114419335A (zh) * 2022-01-06 2022-04-29 百果园技术(新加坡)有限公司 一种纹理识别模型的训练、纹理迁移方法与相关装置
CN114581577A (zh) * 2022-02-10 2022-06-03 山东大学 物体材质微表面模型重构方法及系统

Also Published As

Publication number Publication date
CN114842121A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN114842121B (zh) 贴图生成模型训练和贴图生成方法、装置、设备及介质
CN108895981B (zh) 一种三维测量方法、装置、服务器和存储介质
CN115345980B (zh) 个性化纹理贴图的生成方法及装置
CN114820905B (zh) 虚拟形象生成方法、装置、电子设备及可读存储介质
CN114820906B (zh) 图像渲染方法、装置、电子设备及存储介质
CN114842123B (zh) 三维人脸重建模型训练和三维人脸形象生成方法及装置
CN114792359B (zh) 渲染网络训练和虚拟对象渲染方法、装置、设备及介质
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN114549612A (zh) 模型训练和图像处理方法、装置、设备及存储介质
CN115330940B (zh) 一种三维重建方法、装置、设备和介质
CN112489179B (zh) 目标模型的处理方法、装置、存储介质及计算机设备
CN114998490B (zh) 一种虚拟对象生成方法、装置、设备及存储介质
CN113870439A (zh) 用于处理图像的方法、装置、设备以及存储介质
CN115100337A (zh) 一种基于卷积神经网络的全身人像视频重照明方法和装置
CN112581573A (zh) 虚拟形象驱动方法、装置、设备、介质和程序产品
CN115578516A (zh) 一种三维成像方法、装置、设备和存储介质
CN114792355A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN109448123A (zh) 模型的控制方法及装置、存储介质、电子设备
CN115965735B (zh) 纹理贴图的生成方法和装置
EP4086853A2 (en) Method and apparatus for generating object model, electronic device and storage medium
CN115375847B (zh) 材质恢复方法、三维模型的生成方法和模型的训练方法
CN115359170B (zh) 场景数据的生成方法、装置、电子设备和存储介质
CN113706543A (zh) 一种三维位姿的构建方法、设备及存储介质
CN116012666B (zh) 图像生成、模型的训练、信息重建方法、装置及电子设备
CN114612540A (zh) 一种点云数据的生成方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant