CN116740261A - 图像重建方法和装置、图像重建模型的训练方法和装置 - Google Patents

Abstract

本申请涉及一种图像重建方法、装置、计算机设备、存储介质和计算机程序产品，可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。所述方法包括获取包含目标对象的至少一张原始图像；对所获取的每张原始图像分别进行隐式纹理提取，得到对应的纹理特征图；获取每张所述原始图像分别对应的光照信息、原始深度图和视角信息；根据每张所述原始图像对应的光照信息、原始深度图和视角信息，对相应纹理特征图进行引导解耦处理，得到每张所述原始图像分别对应的解耦特征图；基于每张所述原始图像对应的解耦特征图，对所述目标对象进行图像重建处理，得到目标图像。采用本方法能够提高图像重建的准确性。

Description

图像重建方法和装置、图像重建模型的训练方法和装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像重建方法、装置、计算机设备、存储介质和计算机程序产品，以及一种图像重建模型的训练方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着图像处理技术的发展，出现了图像重建技术，通过图像重建技术可以对图像进行重建，得到更清晰的图像。例如对不清晰的面部图像进行重建，以获得清晰的面部图像。

而传统的图像重建方法例如面部重建方法，通常需要利用面部扫描仪得到众多的带有自然表情的面部三维模型，随后利用注册算法将其变成拓扑结构一致的模型，从而通过已知的面部模型进行线性插值来重建得到带有自然表情的面部形状。

然而，传统的图像重建方式容易导致部分细节特征丢失，对图像细节信息的重建并不准确。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高准确性的图像重建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，以及一种能够提高准确性的图像重建模型的训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

本申请提供了一种图像重建方法。所述方法包括：

获取包含目标对象的至少一张原始图像；

对所获取的每张原始图像分别进行隐式纹理提取，得到对应的纹理特征图；

获取每张所述原始图像分别对应的光照信息、原始深度图和视角信息；

根据每张所述原始图像对应的光照信息、原始深度图和视角信息，对相应纹理特征图进行引导解耦处理，得到每张所述原始图像分别对应的解耦特征图；

基于每张所述原始图像对应的解耦特征图，对所述目标对象进行图像重建处理，得到目标图像。

本申请还提供了一种图像重建装置。所述装置包括：

图像获取模块，用于获取包含目标对象的至少一张原始图像；

提取模块，用于对所获取的每张原始图像分别进行隐式纹理提取，得到对应的纹理特征图；

信息获取模块，用于获取每张所述原始图像分别对应的光照信息、原始深度图和视角信息；

解耦模块，用于根据每张所述原始图像对应的光照信息、原始深度图和视角信息，对相应纹理特征图进行引导解耦处理，得到每张所述原始图像分别对应的解耦特征图；

重建模块，用于基于每张所述原始图像对应的解耦特征图，对所述目标对象进行图像重建处理，得到目标图像。

在一个实施例中，所述提取模块，还用于确定所获取的每张原始图像对应的当前姿态，并将每张所述原始图像从所述当前姿态转换为目标姿态；提取每张所述原始图像在所述目标姿态下的隐式纹理，得到每张所述原始图像分别对应的纹理特征图。

在一个实施例中，所述解耦模块，还用于基于每张所述原始图像对应的光照信息和原始深度图，生成每张所述原始图像分别对应的光影图，所述光影图表征相应原始图像的亮度信息；根据每张所述原始图像对应的原始深度图、视角信息和光影图，将相应纹理特征图投影至二维图像空间，以解耦得到每张所述原始图像在二维图像空间中分别对应的解耦特征图。

在一个实施例中，所述解耦模块，还用于根据每张所述原始图像的光影图对相应纹理特征图进行明暗处理，得到各自对应的中间特征图；基于每张所述原始图像的视角信息对相应原始深度图进行光栅化处理，得到每张所述原始深度图在二维图像空间下分别对应的目标深度图；基于每张所述原始深度图和对应的目标深度图，将相应中间特征图投影至二维图像空间，得到每张所述原始图像分别对应的解耦特征图。

在一个实施例中，所述解耦模块，还用于确定每张所述原始深度图和对应的目标深度图之间的映射关系，并基于所述映射关系对相应中间特征图进行采样处理，得到每张所述原始图像在二维图像空间下分别对应的解耦特征图。

在一个实施例中，所述提取模块，还用于在存在至少两张原始图像的情况下，将各所述原始图像对应的纹理特征图进行融合处理，得到第一联合特征图；

所述解耦模块，还用于根据每张所述原始图像对应的光照信息、原始深度图和视角信息，分别对所述原始联合特征图进行引导解耦处理，得到每张所述原始图像分别对应的第二联合特征图；

所述重建模块，还用于基于每张所述原始图像对应的解耦特征图和第二联合特征图，对所述目标对象进行图像重建处理，得到目标图像。

在一个实施例中，所述重建模块，还用于将每张所述原始图像对应的解耦特征图和第二联合特征图进行融合处理，得到融合特征图；基于所述融合特征图对所述目标对象进行几何重建和纹理重建，得到对应的目标图像。

在一个实施例中，所述装置还包括：

样本集获取模块，用于获取样本图像集，所述样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张所述样本图像对应的重构标签；

样本提取模块，用于通过待训练的图像重建模型对各所述样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图；

样本信息获取模块，用于获取各所述样本图像分别对应的样本光照信息、样本深度图和样本视角信息；

样本解耦模块，用于根据各所述样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张所述样本图像分别对应的样本解耦特征图；

样本重建模块，用于基于每张所述样本图像对应的样本解耦特征图，对所述样本对象进行图像重建处理，得到重建图像；

训练模块，用于基于所述重建图像和对应的重构标签之间的重构损失，对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型。

本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取包含目标对象的至少一张原始图像；

对所获取的每张原始图像分别进行隐式纹理提取，得到对应的纹理特征图；

获取每张所述原始图像分别对应的光照信息、原始深度图和视角信息；

根据每张所述原始图像对应的光照信息、原始深度图和视角信息，对相应纹理特征图进行引导解耦处理，得到每张所述原始图像分别对应的解耦特征图；

基于每张所述原始图像对应的解耦特征图，对所述目标对象进行图像重建处理，得到目标图像。

本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取包含目标对象的至少一张原始图像；

对所获取的每张原始图像分别进行隐式纹理提取，得到对应的纹理特征图；

获取每张所述原始图像分别对应的光照信息、原始深度图和视角信息；

根据每张所述原始图像对应的光照信息、原始深度图和视角信息，对相应纹理特征图进行引导解耦处理，得到每张所述原始图像分别对应的解耦特征图；

基于每张所述原始图像对应的解耦特征图，对所述目标对象进行图像重建处理，得到目标图像。

本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取包含目标对象的至少一张原始图像；

对所获取的每张原始图像分别进行隐式纹理提取，得到对应的纹理特征图；

获取每张所述原始图像分别对应的光照信息、原始深度图和视角信息；

根据每张所述原始图像对应的光照信息、原始深度图和视角信息，对相应纹理特征图进行引导解耦处理，得到每张所述原始图像分别对应的解耦特征图；

基于每张所述原始图像对应的解耦特征图，对所述目标对象进行图像重建处理，得到目标图像。

上述图像重建方法、装置、计算机设备、存储介质和计算机程序产品，通过获取包含目标对象的至少一张原始图像，对所获取的每张原始图像分别进行隐式纹理提取，以提取深层次的纹理信息，得到对应的纹理特征图。获取每张原始图像分别对应的光照信息、原始深度图和视角信息，以根据每张原始图像对应的光照信息、原始深度图和视角信息等三维信息，引导相应纹理特征图解耦出在二维图像空间中的更丰富的纹理信息，得到每张原始图像分别对应的解耦特征图，从而保证了解耦过程的可控性和鲁棒性。基于每张解耦特征图所包含的更丰富的纹理信息，对目标对象进行图像重建处理，能够更准确地重建目标对象的细节纹理信息，使得重建的纹理更真实自然，有效提高了图像重建的准确性。

本申请还提供了一种图像重建模型的训练方法。所述方法包括：

获取样本图像集，所述样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张所述样本图像对应的重构标签；

通过待训练的图像重建模型对各所述样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图；

获取各所述样本图像分别对应的样本光照信息、样本深度图和样本视角信息；

根据各所述样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张所述样本图像分别对应的样本解耦特征图；

基于每张所述样本图像对应的样本解耦特征图，对所述样本对象进行图像重建处理，得到重建图像；

基于所述重建图像和对应的重构标签之间的重构损失，对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；所述训练完成的图像重建模型用于对原始图像进行图像重建处理。

本申请还提供了一种图像重建模型的训练装置。所述装置包括：

样本集获取模块，用于获取样本图像集，所述样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张所述样本图像对应的重构标签；

样本提取模块，用于通过待训练的图像重建模型对各所述样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图；

样本信息获取模块，用于获取各所述样本图像分别对应的样本光照信息、样本深度图和样本视角信息；

样本解耦模块，用于根据各所述样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张所述样本图像分别对应的样本解耦特征图；

样本重建模块，用于基于每张所述样本图像对应的样本解耦特征图，对所述样本对象进行图像重建处理，得到重建图像；

训练模块，用于基于所述重建图像和对应的重构标签之间的重构损失，对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；所述训练完成的图像重建模型用于对原始图像进行图像重建处理。

在一个实施例中，所述样本提取模块，还用于将各所述样本纹理特征图进行融合处理，得到第一样本特征图；

所述样本解耦模块，还用于根据各所述样本图像对应的样本光照信息、样本深度图和样本视角信息，分别对所述第一样本特征图进行引导解耦处理，得到每张所述样本图像分别对应的第二样本特征图；

所述样本重建模块，还用于基于每张所述样本图像对应的样本解耦特征图和第二样本特征图，对所述样本对象进行图像重建处理，得到重建图像。

在一个实施例中，所述待训练的图像重建模型包括初始纹理预测结构、预训练的三维预测结构和初始重建结构，所述初始纹理预测结构用于提取所述样本图像的样本纹理特征图，所述预训练的三维预测结构用于预测所述样本图像的样本光照信息、样本深度图和样本视角信息，并对相应纹理特征图进行引导解耦处理；所述初始重建结构用于根据引导解耦处理得到的解耦特征图进行图像重建，所述训练停止条件包括第一停止条件、第二停止条件和第三停止条件；

所述训练模块，还用于对所述初始纹理预测结构和所述初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构；基于所述中间纹理预测结构和中间重建结构对所述预训练的三维预测结构进行再训练，直至满足第二停止条件时停止，得到中间三维预测结构；对中间纹理预测结构、中间三维预测结构和中间重建结构进行训练，直至满足第三停止条件时停止，以获得训练完成的图像重建模型。

在一个实施例中，所述样本提取模块，还用于通过所述初始纹理预测结构对所述重建图像进行隐式纹理提取，得到对应的预测纹理特征图；

所述训练模块，还用于确定所述预测纹理特征图和纹理标签之间的纹理损失；根据所述重构损失和所述纹理损失，构建目标损失函数；通过所述目标损失函数对所述初始纹理预测结构和所述初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

在一个实施例中，所述样本图像集中还包括所述样本图像对应的光照标签和几何标签；所述样本信息获取模块，还用于通过所述初始三维预测结构确定所述重建图像对应的预测光照信息和预测深度图；

所述训练模块，还用于确定预测光照信息和光照标签之间的光照损失，以及确定所述预测深度图和几何标签之间的几何损失；根据所述重构损失、所述光照损失和所述几何损失，构建目标损失函数；通过所述目标损失函数对所述初始纹理预测结构和所述初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

在一个实施例中，所述待训练的图像重建模型还包括生成对抗结构，所述样本图像集中还包括所述样本图像对应的对抗标签；所述装置还包括对抗模块；所述对抗模块，用于通过所述生成对抗网络对所述重建图像进行判别，得到对应的判别结果；

所述训练模块，还用于确定所述判别结果和所述对抗标签之间的对抗损失；根据所述重构损失和所述对抗损失，构建目标损失函数；通过所述目标损失函数对所述初始纹理预测结构和所述初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取样本图像集，所述样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张所述样本图像对应的重构标签；

通过待训练的图像重建模型对各所述样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图；

获取各所述样本图像分别对应的样本光照信息、样本深度图和样本视角信息；

根据各所述样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张所述样本图像分别对应的样本解耦特征图；

基于每张所述样本图像对应的样本解耦特征图，对所述样本对象进行图像重建处理，得到重建图像；

基于所述重建图像和对应的重构标签之间的重构损失，对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；所述训练完成的图像重建模型用于对原始图像进行图像重建处理。

本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取样本图像集，所述样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张所述样本图像对应的重构标签；

通过待训练的图像重建模型对各所述样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图；

获取各所述样本图像分别对应的样本光照信息、样本深度图和样本视角信息；

根据各所述样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张所述样本图像分别对应的样本解耦特征图；

基于每张所述样本图像对应的样本解耦特征图，对所述样本对象进行图像重建处理，得到重建图像；

基于所述重建图像和对应的重构标签之间的重构损失，对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；所述训练完成的图像重建模型用于对原始图像进行图像重建处理。

本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取样本图像集，所述样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张所述样本图像对应的重构标签；

通过待训练的图像重建模型对各所述样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图；

获取各所述样本图像分别对应的样本光照信息、样本深度图和样本视角信息；

根据各所述样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张所述样本图像分别对应的样本解耦特征图；

基于每张所述样本图像对应的样本解耦特征图，对所述样本对象进行图像重建处理，得到重建图像；

基于所述重建图像和对应的重构标签之间的重构损失，对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；所述训练完成的图像重建模型用于对原始图像进行图像重建处理。

上述图像重建模型的训练方法、装置、计算机设备、存储介质和计算机程序产品，通过本实施例中，获取样本图像集，样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张样本图像对应的重构标签；通过待训练的图像重建模型对各样本图像分别进行隐式纹理提取，以提取深层次的纹理信息，得到各自对应的样本纹理特征图。获取各样本图像分别对应的样本光照信息、样本深度图和样本视角信息，以根据各样本图像对应的样本光照信息、样本深度图和样本视角信息等三维信息，引导相应样本纹理特征图进行引导解耦出在二维图像空间中的更丰富的纹理信息，得到每张样本图像分别对应的样本解耦特征图，从而保证了解耦过程的可控性和鲁棒性。基于每张样本图像对应的样本解耦特征图，对样本对象进行图像重建处理，基于重建图像和对应的重构标签之间的差异，对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型，使得训练完成的图像重建模型能够更准确地重建目标对象的几何信息和细节纹理信息，使得重建的纹理更真实自然，有效提高了图像重建的准确性。

附图说明

图1为一个实施例中图像重建方法的应用环境图；

图2为一个实施例中图像重建方法的流程示意图；

图3为一个实施例中图像重建模型的架构图示意图；

图4为另一个实施例中三维预测结构的处理示意图；

图5为一个实施例中本申请的几何重建可视化结果和传统几何重建效果的对比示意图；

图6为一个实施例中本申请的纹理重建可视化结果和传统纹理重建效果的对比示意图；

图7为一个实施例中图像重建模型的训练方法的流程示意图；

图8为一个实施例中对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型的流程示意图；

图9为一个实施例中训练过程的一致性损失的示意图；

图10为一个实施例中图像重建装置的结构框图；

图11为一个实施例中图像重建模型的训练装置的结构框图；

图12为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。例如，可应用于人工智能(Artificial Intelligence，AI)技术领域，其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。本申请实施例提供的方案涉及人工智能的图像重建方法，具体通过如下各实施例进行说明。

本申请实施例提供的图像重建方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102和服务器104均可单独执行本申请实施例中提供的图像重建方法。终端102和服务器104也可协同用于执行本申请实施例中提供的图像重建方法。当终端102和服务器104协同用于执行本申请实施例中提供的图像重建方法时，终端102获取包含目标对象的至少一张原始图像，将所获取的原始图像发送至服务器104。服务器104对所获取的每张原始图像分别进行隐式纹理提取，得到对应的纹理特征图。服务器104获取每张原始图像分别对应的光照信息、原始深度图和视角信息，根据每张原始图像对应的光照信息、原始深度图和视角信息，对相应纹理特征图进行引导解耦处理，得到每张原始图像分别对应的解耦特征图。服务器104基于每张原始图像对应的解耦特征图，对目标对象进行图像重建处理，得到目标图像并返回至终端102。

其中，终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备、飞行器等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。该终端102上可运行应用程序，该应用程序可以是通信应用、音视频应用和图像重建应用等。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

需要说明的是，本申请各实施例中提及的“多个”等的数量均指代“至少两个”的数量。

在一个实施例中，图像重建模型的训练方法也可以应用于如图1所示的应用环境中。终端102和服务器104均可单独执行本申请实施例中提供的图像重建模型的训练方法。终端102和服务器104也可协同用于执行本申请实施例中提供的图像重建模型的训练方法。当终端102和服务器104协同用于执行本申请实施例中提供的图像重建模型的训练方法时，终端102获取样本图像集，样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张样本图像对应的重构标签，并将该图像样本集发送至服务器104。服务器104通过待训练的图像重建模型对各样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图，服务器104获取各样本图像分别对应的样本光照信息、样本深度图和样本视角信息，根据各样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张样本图像分别对应的样本解耦特征图。服务器104基于每张样本图像对应的样本解耦特征图，对样本对象进行图像重建处理，得到重建图像。服务器104基于重建图像和对应的重构标签之间的重构损失，对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；训练完成的图像重建模型用于对原始图像进行图像重建处理。训练完成的图像重建模型可运行于终端102或服务器104上。

在一个实施例中，如图2所示，提供了一种图像重建方法，以该方法应用于图1中的计算机设备(计算机设备可以是图1中的终端或服务器)为例进行说明，包括以下步骤：

步骤S202，获取包含目标对象的至少一张原始图像。

其中，原始图像是包含目标对象的、需要进行重建的图像，原始图像可以是RGB(Red、Green、Blue)图像、灰度图像、YUV图像中的Y分量所对应的图像等其中的任意一种，但不限于此。其中，YUV图像中的“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。目标对象是指需要的对象，可根据需要选择。目标对象如人、花、猫、狗、牛、蓝天、白云、背景等，目标对象具体还可以是人或动物的各部位，如面部、上半身、手等。目标对象可通过主体检测进行识别，主体检测(salient object detection)是指面对一个场景时，自动地对感兴趣区域进行处理而选择性的忽略不感兴趣区域。感兴趣区域称为主体区域，即目标对象所处区域。

具体地，计算机设备可从本地或其他设备或网络上获取包含目标对象的至少一张原始图像，或者通过终端的摄像头对目标对象进行拍摄以得到至少一张原始图像。原始图像还可以是从本地或其他设备或网络上获取的视频中包含目标对象的视频帧，或者通过终端摄像头拍摄的视频中包含目标对象的视频帧。

步骤S204，对所获取的每张原始图像分别进行隐式纹理提取，得到对应的纹理特征图。

其中，纹理表示目标对象表面呈现凹凸不平的沟纹，隐式纹理表示深层次的纹理特征，即隐层的纹理特征。纹理特征图表征原始图像中的目标对象的深层次的纹理特征信息。

具体地，计算机设备对所获取的每张原始图像分别进行隐式纹理提取，以分别提取每张原始图像的深层次的纹理特征，得到每张原始图像分别对应的纹理特征图。

本实施例中，计算机设备可对原始图像进行编码、解码处理，以提取隐式纹理，得到对应的纹理特征图。按照相同的处理方式，可得到每张原始图像分别对应的纹理特征图。

步骤S206，获取每张原始图像分别对应的光照信息、原始深度图和视角信息。

其中，光照信息是指在拍摄目标对象时，环境光照射目标对象的相关信息，例如光照方向、光照强度等。深度图即深度图像(depth image)也被称为距离影像(range image)，是指将从镜头到拍摄场景中各点的距离(深度)作为像素值的图像，直接反映了拍摄对象可见表面的几何形状。原始深度图是指从镜头到拍摄目标对象的场景中各点的深度作为像素值的图像，反映目标对象可见表面的几何形状。视角信息是指在拍摄目标对象时的镜头视角，镜头中心点到成像平面对角线两端所形成的夹角就是镜头视角。

具体地，计算机设备获取原始图像对应的光照信息、原始深度图和视角信息。

在一个实施例中，计算机设备可将每张原始图像输入三维预测网络，通过三维预测网络预测原始图像的光照信息、原始深度图和视角信息，以输出每张原始图像的光照信息、原始深度图和视角信息。

本实施例中，三维预测网络中包括光照预测分支、深度预测分支和视角预测分支，将原始图像分别输入光照预测分支、深度预测分支和视角预测分支，可得到光照预测分支输出的光照信息、深度预测分支输出的原始深度图、以及视角预测分支输出的视角信息。

步骤S208，根据每张原始图像对应的光照信息、原始深度图和视角信息，对相应纹理特征图进行引导解耦处理，得到每张原始图像分别对应的解耦特征图。

其中，引导解耦处理是指通过原始图像的光照信息、原始深度图和视角信息等三维信息，引导该原始图像的纹理特征图转换至二维图像空间，以解耦出纹理特征图在二维图像空间中的二维信息。该解耦特征图表征隐式纹理在二维图像空间中的二维信息。

具体地，计算机设备根据原始图像对应的光照信息、原始深度图和视角信息，对该原始图像的纹理特征图进行引导解耦处理，以从纹理特征图中解耦出在二维图像空间中的信息，得到表征在二维图像空间中的信息的解耦特征图。当存在多张原始图像时，计算机设备可根据每张原始图像对应的光照信息、原始深度图和视角信息，对相应纹理特征图进行引导解耦处理，以从相应纹理特征图中分离出表征二维图像空间中的信息的解耦特征图，从而得到每张原始图像分别对应的解耦特征图。

本实施例中，计算机设备根据原始图像对应的光照信息、原始深度图和视角信息，引导该原始图像的纹理特征图转换至二维图像空间，以解耦出纹理特征图在二维图像空间中的二维信息，得到表征该纹理特征图在二维图像空间中的二维信息的解耦特征图。

步骤S210，基于每张原始图像对应的解耦特征图，对目标对象进行图像重建处理，得到目标图像。

具体地，计算机设备根据原始图像对应的解耦特征图对目标对象进行图像重建处理，得到目标图像。进一步地，计算机设备基于解耦特征图对目标对象进行几何重建和纹理重建，得到对应的目标图像。其中，几何重建是指对目标对象的表面几何信息的重建，纹理重建是指对目标对象的纹理信息的重建。计算机设备可基于解耦特征图对目标对象进行几何重建，得到对应的三维模型，再基于解耦特征图对三维模型进行纹理重建，得到三维图像，将该三维图像作为目标图像。

在一个实施例中，当存在多张原始图像时，将多张原始图像对应的解耦特征图进行融合处理，基于融合处理所得到的特征进行几何重建和纹理重建，得到对应的目标图像。

在一个实施例中，计算机设备根据原始图像对应的解耦特征图对目标对象进行图像重建处理，得到不同姿态下的目标图像。进一步地，计算机设备基于解耦特征图对目标对象进行几何重建和纹理重建，得到在不同姿态下的目标图像。

本实施例中，获取包含目标对象的至少一张原始图像，对所获取的每张原始图像分别进行隐式纹理提取，以提取深层次的纹理信息，得到对应的纹理特征图。获取每张原始图像分别对应的光照信息、原始深度图和视角信息，以根据每张原始图像对应的光照信息、原始深度图和视角信息等三维信息，引导相应纹理特征图解耦出在二维图像空间中的更丰富的纹理信息，得到每张原始图像分别对应的解耦特征图，从而保证了解耦过程的可控性和鲁棒性。基于每张解耦特征图所包含的更丰富的纹理信息，对目标对象进行图像重建处理，能够更准确地重建目标对象的细节纹理信息，使得重建的纹理更真实自然，有效提高了图像重建的准确性。

在一个实施例中，对所获取的每张原始图像分别进行隐式纹理提取，得到对应的纹理特征图，包括：

确定所获取的每张原始图像对应的当前姿态，并将每张原始图像从当前姿态转换为目标姿态；提取每张原始图像在目标姿态下的隐式纹理，得到每张原始图像分别对应的纹理特征图。

其中，当前姿态是指原始图像中的目标对象所表现出的形态，可包括脸部形态和身体形态中的至少一种，例如正面朝向镜头的形态、侧面朝向镜头的形态、仰面朝向镜头的形态、俯面朝向镜头的形态、背面朝向镜头的形态等，但不限于此。目标姿态是指预先设置的形态，同样可包括脸部形态和身体形态中的至少一种。

具体地，计算机设备可确定原始图像中的目标对象所表现出的当前姿态，当该当前姿态不同于目标姿态时，将该原始图像从当前姿态转换为在二维图像空间中的目标姿态，得到对应目标姿态下的图像。例如，目标对象在原始图像中的当前姿态是侧脸朝向镜头，目标姿态是正面朝向镜头，则将该侧脸朝向镜头的原始图像转换为正脸朝向镜头的图像。图像空间即UV空间。计算机设备对目标姿态下的图像进行隐式纹理提取，以获取目标对象在二维图像空间中处于目标姿态下的深层次纹理特征，得到该原始图像对应的纹理特征图。

当存在多张原始图像时，可分别确定每张原始图像中的目标对象所体现的当前姿态，并分别将各原始图像从当前姿态转换为目标姿态，得到各自对应的目标姿态下的图像。计算机设备分别对各目标姿态下的图像进行隐式纹理提取，得到每张原始图像分别对应的纹理特征图。

在一个实施例中，计算机设备可对原始图像进行图像对齐处理，以将该原始图像从当前姿态转换为目标姿态，得到对应目标姿态下的图像。

在一个实施例中，计算机设备可确定当前姿态和目标姿态之间的转换关系，基于转换关系可将原始图像从当前姿态转换至目标姿态。进一步地，计算机设备可确定原始图像中的目标对象的目标关键点和各目标关键点对应的关键位置信息，并获取目标姿态所对应的各预设特征点分别对应的预设位置信息。计算机设备根据该目标对象的目标关键点对应的关键位置信息和各预设特征点的预设位置信息，确定该目标对象的当前姿态和目标姿态之间的转换关系，基于该转换关系，将原始图像从当前姿态转换至目标姿态，得到在目标姿态下的图像。可以理解的是，当存在多张原始图像时，可分别确定出每张原始图像中的目标对象的当前姿态和目标资源之间的转换关系，以基于各转换关系将相应原始图像从当前姿态转换至目标姿态，从而提取在目标姿态下的隐式纹理，得到对应的纹理特征图。

在一个实施例中，计算机设备可对各原始图像进行编解码处理，并在编解码处理过程中将原始图像从当前姿态转换至目标姿态，并提取在目标姿态下的隐式纹理，得到各原始图像分别对应的纹理特征图。

本实施例中，确定所获取的每张原始图像对应的当前姿态，并将每张原始图像从当前姿态转换为目标姿态，在目标姿态能够表现出目标对象更多的信息。提取每张原始图像在目标姿态下的隐式纹理，能够有效获得目标对象在目标姿态下的深层次纹理信息，使得所得到的纹理特征图包含更多目标对象的关键纹理信息。

在一个实施例中，根据每张原始图像对应的光照信息、原始深度图和视角信息，对相应纹理特征图进行引导解耦处理，得到每张原始图像分别对应的解耦特征图，包括：

基于每张原始图像对应的光照信息和原始深度图，生成每张原始图像分别对应的光影图，光影图表征相应原始图像的亮度信息；根据每张原始图像对应的原始深度图、视角信息和光影图，将相应纹理特征图投影至二维图像空间，以解耦得到每张原始图像在二维图像空间中分别对应的解耦特征图。

具体地，计算机设备获取原始图像的光照信息、原始深度图和视角信息后，根据原始图像对应的光照信息和原始深度图，生成该原始图像对应的光影图，该光影图能够体现原始图像的明暗信息，即表征该原始图像的亮度信息。进一步地，原始深度图表征深度信息，光照信息可表征照射到目标对象的光线，计算机设备可基于该深度信息确定对应的法向量，根据法向量和光线生成该原始图像对应的光影图。

在一个实施例中，计算机设备可通过lambertian公式生成光影图，如下：

其中，α表示环境光强度，β表示漫散射强度，α和β是由光照预测分支学习所确定的参数。N表示由深度信息转换成的法向量，有3个通道，分别表示x，y，z方向的分量。L表示光线，也是3个通道，分别表示x，y，z方向的分量。i表示通道。

计算机设备根据原始图像对应的原始深度图、视角信息和光影图，将该原始图像对应的纹理特征图投影至二维图像空间，以从纹理特征图中解耦在二维图像空间中的信息，得到对应的解耦特征图。

当存在多张原始图像时，可按照上述相同的处理方式，得到每张原始图像分别对应的解耦特征图。

本实施例中，光影图表征图像的亮度信息，而基于每张原始图像对应的光照信息和原始深度图，生成每张原始图像分别对应的光影图，能够通过光影图直接表现图像中哪些区域处于明亮区域，哪些区域处于暗区域。根据每张原始图像对应的原始深度图、视角信息和光影图，将相应纹理特征图投影至二维图像空间，从而能够基于深度图提供的表面几何信息、拍摄原始图像的视角信息和光影图提供的明暗信息，有效从纹理特征图中分离出在二维图像空间下的相关信息。并且，基于表面几何信息、视角和明暗信息等多种因素能够使得分离出来的二维图像空间下的相关信息更准确。

在一个实施例中，根据每张原始图像对应的原始深度图、视角信息和光影图，将相应纹理特征图投影至二维图像空间，以解耦得到每张原始图像在二维图像空间中分别对应的解耦特征图，包括：

根据每张原始图像的光影图对相应纹理特征图进行明暗处理，得到各自对应的中间特征图；基于每张原始图像的视角信息对相应原始深度图进行光栅化处理，得到每张原始深度图在二维图像空间下分别对应的目标深度图；基于每张原始深度图和对应的目标深度图，将相应中间特征图投影至二维图像空间，得到每张原始图像分别对应的解耦特征图。

其中，明暗处理(shading)也称着色处理，是指计算纹理特征图内每个像素的颜色的过程。把物体的数学描述以及与物体相关的颜色信息转换为屏幕上用于对应位置的像素及用于填充像素的颜色，这个过程称为光栅化(Rasterization)。中间特征图是经过明暗处理所得到的纹理特征图。

具体地，计算机设备根据原始图像的光影图对该原始图像的纹理特征图进行明暗处理，得到该原始图像对应的中间特征图。进一步地，计算机设备可确定光影图和纹理特征图中相互匹配的像素，将相互匹配的像素进行点乘处理得到目标像素，基于各目标像素即可生成目标深度图。

计算机设备根据原始图像的视角信息对原始深度图进行光栅化处理，以确定原始深度图中各像素在二维图像空间中对应位置的像素，以及各位置的像素分别对应的颜色信息。基于原始深度图中各像素在二维图像空间中对应位置的像素，以及各位置的像素分别对应的颜色信息，生成目标深度图。目标深度图是原始深度图投影到二维图像空间后的图像。计算机设备可根据投影前后的原始深度图和目标深度图，将对应的中间特征图投影至二维图像空间，以从中间特征图中解耦出在二维图像空间下的二维信息，得到表征该中间特征图在二维图像空间下的二维信息的解耦特征图。

可以理解的是，当存在多张原始图像时，可按照上述处理方式得到每张原始图像分别对应的解耦特征图。

本实施例中，根据每张原始图像的光影图对相应纹理特征图进行明暗处理，能够计算出每个纹理特征图内每个像素的颜色，得到各自对应的中间特征图，从而使得纹理特征图能够获得与原始图像对应的阴影效果。基于每张原始图像的视角信息对相应原始深度图进行光栅化处理，能够准确计算出＝原始深度图中各像素在二维图像空间中对应位置的像素，以及各位置的像素分别对应的颜色信息，从而准确生成每张原始深度图在二维图像空间下分别对应的目标深度图。基于各投影前后的原始深度图和目标深度图之间的关联，能够准确将相应中间特征图投影至二维图像空间，从而能够从中间特征图中准确分离出在二维图像空间下的二维信息，得到表征在二维图像空间下的二维信息的解耦特征图。

在一个实施例中，基于每张原始深度图和对应的目标深度图，将相应中间特征图投影至二维图像空间，得到每张原始图像分别对应的解耦特征图，包括：

确定每张原始深度图和对应的目标深度图之间的映射关系，并基于映射关系对相应中间特征图进行采样处理，得到每张原始图像在二维图像空间下分别对应的解耦特征图。

其中，采样处理可以是网格采样、均匀采样、几何采样和随机采样等。网格采样grid sampling，也称格点采样、格子采样cell sampling，是把三维空间用格点离散化，然后在每个格点里采样一个点。

具体地，对于原始图像对应的原始深度图和目标深度图，计算机设备计算该原始深度图和对应的目标深度图之间的映射关系，并基于该映射关系将该原始图像对应的中间特征图映射至二维图像空间，得到该中间特征图对应的解耦特征图，即该原始图像对应的解耦特征图。

本实施例中，计算机设备可对原始图像对应的中间特征图进行网络采样处理，得到各采样点，基于原始深度图和对应的目标深度图之间的映射关系将各采样点映射至二维图像空间，得到对应的解耦特征图。解耦特征图的尺寸与对应的原始图像的尺寸相同。

当存在多张原始图像时，可按照上述处理方式得到每张原始图像在二维图像空间下分别对应的解耦特征图。

本实施例中，确定每张原始深度图和对应的目标深度图之间的映射关系，并基于映射关系对相应中间特征图进行采样处理，从而能够基于投影前后的映射关系将中间特征图的采样点准确投影至二维图像空间，从而能够从中间特征图中准确分离出在二维图像空间下的二维信息，并且通过采样处理能够对部分采样点进行投影，提高处理效率。

在一个实施例中，该方法还包括：在存在至少两张原始图像的情况下，将各原始图像对应的纹理特征图进行融合处理，得到第一联合特征图；根据每张原始图像对应的光照信息、原始深度图和视角信息，分别对原始联合特征图进行引导解耦处理，得到每张原始图像分别对应的第二联合特征图；

基于每张原始图像对应的解耦特征图，对目标对象进行图像重建处理，得到目标图像，包括：基于每张原始图像对应的解耦特征图和第二联合特征图，对目标对象进行图像重建处理，得到目标图像。

其中，第一联合特征图是多张纹理特征图融合所得到的纹理特征图。第二联合特征图表征第一联合特征图在二维图像空间中的二维信息。

具体地，在存在至少两张目标对象的原始图像的情况下，计算机设备分别对每张原始图像进行隐式纹理提取，得到各自对应的纹理特征图。计算机设备将各纹理特征图进行融合处理，得到第一联合特征图。

对于每张原始图像，计算机设备根据同一原始图像对应的光照信息、原始深度图和视角信息，共同对第一联合特征图进行引导解耦处理，以从第一联合特征图中解耦出该原始图像的隐式纹理在二维图像空间中的信息，得到表征该原始图像的隐式纹理在二维图像空间中的信息的第二联合特征图，即原始图像对应的第二联合特征图。

按照相同的处理方式，根据每张原始图像对应的光照信息、原始深度图和视角信息等三维信息，分别对第一联合特征图进行引导解耦处理，即每张原始图像的三维信息分别对第一联合特征图进行引导解耦处理，得到每张原始图像分别对应的第二联合特征图。例如，存在5张原始图像，则有5张纹理特征图，将5张纹理特征图融合得到1张第一联合特征图。根据第1张原始图像的光照信息、原始深度图和视角信息，共同对第一联合特征图进行引导解耦处理，得到第1张原始图像对应的第二联合特征图。根据第2张原始图像的光照信息、原始深度图和视角信息，共同对第一联合特征图进行引导解耦处理，得到第2张原始图像对应的第二联合特征图，以此类推，直至得到第5张原始图像对应的第二联合特征图。

基于每张原始图像对应的解耦特征图和第二联合特征图，对目标对象进行几何重建和纹理重建，得到目标图像。

本实施例中，在存在至少两张原始图像的情况下，将各原始图像对应的纹理特征图进行融合处理，使得所得到的第一联合特征图中包含了每张原始图像的隐式纹理信息。根据每张原始图像对应的光照信息、原始深度图和视角信息，分别对第一联合特征图进行引导解耦处理，能够分别从同一张第一联合特征图中分离出每张原始图像的隐式纹理在二维图像空间中各自对应的二维信息。结合每张原始图像对应的解耦特征图和各第二联合特征图，对目标对象进行图像重建处理，使用联合特征图能够有效避免重建过程中对原始图像信息的过分依赖，从而能够提高图像重建的准确性。

在一个实施例中，该图像重建方法由图像重建模型执行，图像重建模型包括纹理预测结构、三维预测结构和重建结构。纹理预测结构可由隐式纹理建模网络构成，三维预测结构可由三维信息预测网络和引导子结构构成，三维信息预测网络用于预测光照信息、原始深度图和视角信息，引导子结构用于引导解耦处理，重建结构可由神经表观渲染器构成。如图3所示，为一个实施例中图像重建模型的架构图，计算机设备获取包含目标对象的至少一张原始图像并输入图像重建模型的隐式纹理建模网络和三维信息预测网络，通过隐式纹理建模网络对所获取的每张原始图像分别进行隐式纹理提取，得到对应的纹理特征图。在存在至少两张原始图像的情况下，通过隐式纹理建模网络将各原始图像对应的纹理特征图进行融合处理，得到第一联合特征图。各纹理特征图和第一联合特征图输入引导子结构。通过隐式纹理建模网络可获得对应的UV空间(即图像空间)中的纹理特征图，隐式纹理的通道数大于3，以获得比传统的RGB纹理更丰富的纹理信息。

通过三维信息预测网络对每张原始图像的三维信息进行预测，得到每张原始图像分别对应的光照信息、原始深度图和视角信息，并输入引导子结构。通过引导子结构据每张原始图像对应的光照信息、原始深度图和视角信息，分别对第一联合特征图和相应纹理特征图进行引导解耦处理，得到每张原始图像分别对应的第二联合特征图和解耦特征图。引导解耦处理是物理解耦的过程。将各第二联合特征图和各解耦特征图输入神经表观渲染器，通过神经表观渲染器输出恢复的目标图像。

如图4所示，为一个实施例中三维预测结构的处理示意图。三维预测结构处理主要思路是将3D图形学过程应用于图3中处理得到的隐式纹理(即纹理特征图)和联合隐式纹理(即第一联合特征图)上，以将显式的3D过程从神经渲染中解耦出来，降低了神经渲染器的学习难度，同时保证了渲染过程中3D控制的鲁棒性，降低了神经渲染器出现不一致结果的可能性。通过三维预测结构的三维信息预测网络获取每张原始图像分别对应的光照信息、原始深度图和视角信息。

利用三维信息预测网络预测得到的光照信息和原始深度图，可以由Lambertian方程计算得到原始图像对应的光影图。利用光影图，可以对对应的纹理特征图进行明暗处理(shading)，明暗处理即点乘处理，获得与原始图像对应的阴影效果，即得到中间特征图。并利用各个光影图，分别对第一联合特征图进行明暗处理，以得到不同光照产生的光影参考，即得到中间联合特征图，避免了对输入的原始图像的过分依赖。

对shading之后的中间特征图和中间联合特征图，需要利用视角信息和深度信息(即原始深度图)分别将其投影至2D空间。即基于每张原始图像的视角信息对相应原始深度图进行基于每张原始图像的视角信息对相应原始深度图进行光栅化处理，得到每张原始深度图在二维图像空间下分别对应的目标深度图处理，得到每张原始深度图在二维图像空间下分别对应的目标深度图。确定每张原始深度图和对应的目标深度图之间的映射关系，并基于映射关系对相应中间特征图、相应中间联合特征图分别进行网格采样处理，得到每张原始图像在二维图像空间下分别对应的解耦特征图和第二联合特征图，以将隐式纹理和联合隐式纹理即被投影至2D图像空间，与输入的原始图像对齐。经过shading和光栅化处理后，3D物理的图形学过程就在隐式纹理上进行完成。

在一个实施例中，基于每张原始图像对应的解耦特征图和第二联合特征图，对目标对象进行图像重建处理，得到目标图像，包括：

将每张原始图像对应的解耦特征图和第二联合特征图进行融合处理，得到融合特征图；基于融合特征图对目标对象进行几何重建和纹理重建，得到对应的目标图像。

具体地，计算机设备将每张原始图像对应的解耦特征图和第二联合特征图进行融合处理，得到融合特征图。进一步地，计算机设备可将每张原始图像对应的解耦特征图和各第二联合特征图在通道上进行拼接处理，得到融合特征图。计算机设备基于融合特征图对目标对象进行几何重建和纹理重建，得到对应的目标图像。

进一步地，计算机设备可基于各解耦特征图和各第二联合特征图对目标对象进行几何重建，得到对应的三维模型，再基于解耦特征图对三维模型进行纹理重建，得到三维图像，将该三维图像作为目标图像。

本实施例中，将每张原始图像对应的解耦特征图和第二联合特征图进行融合处理，以融合得到包含更多关键信息的特征图。几何重建是指对目标对象的表面几何信息的重建，纹理重建是指对目标对象的纹理信息的重建。基于融合特征图对目标对象进行几何重建和纹理重建，能够有效提高重建的准确性，从而重建得到更准确的目标图像。

在几何重建方面，本申请的图像重建方法在3DFAW数据库上获得了无3D监督情况下最优的效果：

表一

在Photoface数据库上，本申请的图像重建方法获得了有竞争力的几何重建效果：

表二

在纹理重建方面，本申请的图像重建方法获得了最优的图像质量和面部ID特征，相同的ID表示同一目标对象：

方法	ID特征余弦相似度	图像质量评分SSIM
			本申请	0.785	0.880
Unsup3D	0.622	0.514
			LAP	0.692	0.623
PIRender	0.651	0.603
			DFG	0.730	0.751

表三

如图5所示，为一个实施例中本申请的几何重建可视化结果和传统的几何重建效果的对比示意图。从图5中，本申请的几何重建可视化结果和多种传统的几何重建结果，可以明显看出本申请能够获得细节更加丰富的面部几何重建结果。而如图6所示，为一个实施例中本申请的纹理重建可视化结果和传统的纹理重建效果的对比示意图。从图6中可以看到本申请重建的纹理更为逼真，并且对于3D控制的鲁棒性更好。

在一个实施例中，该方法由图像重建模型执行，图像重建模型通过训练步骤得到，训练步骤包括：

获取样本图像集，样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张样本图像对应的重构标签；通过待训练的图像重建模型对各样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图；获取各样本图像分别对应的样本光照信息、样本深度图和样本视角信息；根据各样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张样本图像分别对应的样本解耦特征图；基于每张样本图像对应的样本解耦特征图，对样本对象进行图像重建处理，得到重建图像；基于重建图像和对应的重构标签之间的差异，对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；训练完成的图像重建模型用于对原始图像进行图像重建处理。

可以理解的是，本实施例中对图像重建模型的训练步骤的具体处理过程，可参见后续图像重建模型的训练方法的各个实施例，在此不再赘述。

在一个实施例中，提供了一直图像重建方法，应用于计算机设备，包括：

获取包含目标对象的至少一张原始图像，确定所获取的每张原始图像对应的当前姿态，并将每张原始图像从当前姿态转换为目标姿态。

提取每张原始图像在目标姿态下的隐式纹理，得到每张原始图像分别对应的纹理特征图。

可选地，在存在至少两张原始图像的情况下，将各原始图像对应的纹理特征图进行融合处理，得到第一联合特征图。

获取每张原始图像分别对应的光照信息、原始深度图和视角信息；

基于每张原始图像对应的光照信息和原始深度图，生成每张原始图像分别对应的光影图，该光影图表征相应原始图像的亮度信息。

根据每张原始图像的光影图对相应纹理特征图进行明暗处理，得到各自对应的中间特征图；

可选地，根据每张原始图像的光影图对第一联合特征图进行明暗处理，得到中间联合特征图。

基于每张原始图像的视角信息对相应原始深度图进行光栅化处理，得到每张原始深度图在二维图像空间下分别对应的目标深度图。

确定每张原始深度图和对应的目标深度图之间的映射关系，并基于映射关系对相应中间特征图进行采样处理，得到每张原始图像在二维图像空间下分别对应的解耦特征图。

可选地，基于各映射关系分别对中间联合特征图进行采样处理，得到每张原始图像在二维图像空间下分别对应的第二联合特征图。

基于每张原始图像对应的解耦特征图，对目标对象进行图像重建处理，得到目标图像。

可选地，将每张原始图像对应的解耦特征图和第二联合特征图进行融合处理，得到融合特征图；基于融合特征图对目标对象进行几何重建和纹理重建，得到对应的目标图像。

在一个实施例中，如图7所示，提供了一种图像重建模型的训练方法，以该方法应用于图1中的计算机设备(计算机设备可以是图1中的终端或服务器)为例进行说明，包括以下步骤：

步骤S702，获取样本图像集，样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张样本图像对应的重构标签。

其中，样本图像集中包括样本对象在不同姿态下的样本图像，以及每张样本图像分别对应的重构标签。样本图像是用于对待训练的图像重建模型进行训练的训练样本。

具体地，计算机设备可采集每个样本对象在不同姿态下的原始图像，例如从本地或其他设备或网络上获取包含样本对象的图像作为样本图像，或获取包含样本对象的视频，将包含样本对象的视频帧作为样本图像。还可以通过终端对样本对象进行图像拍摄或视频拍摄，将所拍摄的图像或视频帧作为样本图像。

步骤S704，通过待训练的图像重建模型对各样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图。

其中，纹理表示目标对象表面呈现凹凸不平的沟纹，隐式纹理表示深层次的纹理特征，即隐层的纹理特征。样本纹理特征图表征样本图像的深层次的纹理特征信息，进一步还可以表征样本图像中的样本对象的深层次的纹理特征信息。

具体地，计算机设备将各样本图像和重构标签输入待训练的图像重建模型。待训练的图像重建模型对每张样本图像分别进行隐式纹理提取，以分别提取每张样本图像的深层次的纹理特征，得到每张样本图像分别对应的样本纹理特征图。

本实施例中，待训练的图像重建模型可分别对样本图像进行编码、解码处理，以提取隐式纹理，得到每张样本图像分别对应的样本纹理特征图。

步骤S706，获取各样本图像分别对应的样本光照信息、样本深度图和样本视角信息。

其中，样本光照信息是指在拍摄样本对象时，环境光照射样本对象的相关信息，例如光照方向、光照强度等。样本深度图是指从镜头到拍摄样本对象的场景中各点的深度作为像素值的图像，反映样本对象可见表面的几何形状。样本视角信息是指在拍摄样本对象时的镜头视角。

具体地，待训练的图像重建模型可预测每张样本图像对应的光照信息、深度图和视角信息，以输出每张样本图像的样本光照信息、样本深度图和样本视角信息。

本实施例中，待训练的图像重建模型中可包括预训练的三维预测结构，通过预训练的三维预测结构可预测出每张样本图像的样本光照信息、样本深度图和样本视角信息。

进一步地，预训练的三维预测结构中包括光照预测分支、深度预测分支和视角预测分支，将样本图像分别输入光照预测分支、深度预测分支和视角预测分支，可得到光照预测分支输出的样本光照信息、深度预测分支输出的样本深度图、以及视角预测分支输出的样本视角信息。

步骤S708，根据各样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张样本图像分别对应的样本解耦特征图。

其中，引导解耦处理是指通过样本图像的样本光照信息、样本深度图和样本视角信息等三维信息，引导该样本图像的样本纹理特征图转换至二维图像空间，以解耦出样本纹理特征图在二维图像空间中的二维信息。该样本解耦特征图表征隐式纹理在二维图像空间中的二维信息。

具体地，待训练的图像重建模型根据样本图像对应的样本光照信息、样本深度图和样本视角信息，对该样本图像的样本纹理特征图进行引导解耦处理，以从样本纹理特征图中解耦出在二维图像空间中的信息，得到表征在二维图像空间中的信息的样本解耦特征图。按照相同的处理，待训练的图像重建模型可根据每张样本图像对应的光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，以从相应样本纹理特征图中分离出表征二维图像空间中的信息的样本解耦特征图，从而得到每张样本图像分别对应的样本解耦特征图。

可以理解的是待训练的图像重建模型对各样本纹理特征图的引导解耦处理可以同时进行，或依次进行，或每次处理部分样本纹理特征图，可根据需求设置。

本实施例中，计算机设备根据样本图像对应的样本光照信息、样本深度图和样本视角信息，引导该样本图像的纹理特征图转换至二维图像空间，以解耦出样本纹理特征图在二维图像空间中的二维信息，得到表征该样本纹理特征图在二维图像空间中的二维信息的样本解耦特征图。

步骤S710，基于每张样本图像对应的样本解耦特征图，对样本对象进行图像重建处理，得到重建图像。

具体地，待训练的图像重建模型根据各样本图像对应的样本解耦特征图对样本对象进行图像重建处理，得到重建图像。进一步地，待训练的图像重建模型基于样本解耦特征图对样本对象进行几何重建和纹理重建，得到对应的重建图像。其中，几何重建是指对样本对象的表面几何信息的重建，纹理重建是指对样本对象的纹理信息的重建。计算机设备可基于样本解耦特征图对样本对象进行几何重建，得到对应的样本三维模型，再基于样本解耦特征图对样本三维模型进行纹理重建，得到样本三维图像，将该样本三维图像作为重建图像。

在一个实施例中，待训练的图像重建模型可将多张样本图像对应的样本解耦特征图进行融合处理，基于融合处理所得到的样本特征进行几何重建和纹理重建，得到对应的重建图像。

步骤S712，基于重建图像和对应的重构标签之间的重构损失，对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；训练完成的图像重建模型用于对原始图像进行图像重建处理。

其中，满足训练停止条件可以是达到预设训练次数、预设迭代次数、损失值小于或等于损失阈值等。损失值可以是重构损失或者目标损失函数所计算出的目标损失。重构损失是指预测的重建图像和真实标签之间的损失。

具体地，计算机设备可计算重建图像和对应的重构标签之间的差异，即计算重建图像和对应的重构标签之间的重构损失。根据重构损失调整待训练的图像重建模型的参数并继续训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型。该训练完成的图像重建模型用于对原始图像进行图像重建处理。例如，当重构损失大于损失阈值时，调整待训练的图像重建模型的参数并继续训练，直至训练过程中的重构损失小于或等于损失阈值时停止训练，得到得到训练完成的图像重建模型。或者，根据重构损失调整待训练的图像重建模型的参数并继续训练，直至训练次数达到预设训练次数、或者训练过程中的图像重建模型的迭代次数达到预设迭代次数时停止，得到训练完成的图像重建模型。

本实施例中，用于计算重构损失的重构标签可以是该样本对象的任意一张样本图像所对应的重构标签。

本实施例中，获取样本图像集，样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张样本图像对应的重构标签；通过待训练的图像重建模型对各样本图像分别进行隐式纹理提取，以提取深层次的纹理信息，得到各自对应的样本纹理特征图。获取各样本图像分别对应的样本光照信息、样本深度图和样本视角信息，以根据各样本图像对应的样本光照信息、样本深度图和样本视角信息等三维信息，引导相应样本纹理特征图进行引导解耦出在二维图像空间中的更丰富的纹理信息，得到每张样本图像分别对应的样本解耦特征图，从而保证了解耦过程的可控性和鲁棒性。基于每张样本图像对应的样本解耦特征图，对样本对象进行图像重建处理，基于重建图像和对应的重构标签之间的差异，对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型，使得训练完成的图像重建模型能够更准确地重建目标对象的几何信息和细节纹理信息，使得重建的纹理更真实自然，有效提高了图像重建的准确性。

在一个实施例中，该方法还包括：将各样本纹理特征图进行融合处理，得到第一样本特征图；根据各样本图像对应的样本光照信息、样本深度图和样本视角信息，分别对第一样本特征图进行引导解耦处理，得到每张样本图像分别对应的第二样本特征图；

基于每张样本图像对应的样本解耦特征图，对样本对象进行图像重建处理，得到重建图像，包括：基于每张样本图像对应的样本解耦特征图和第二样本特征图，对样本对象进行图像重建处理，得到重建图像。

其中，第一样本特征图是多张样本纹理特征图融合所得到的纹理特征图。第二样本特征图表征第一样本特征图在二维图像空间中的二维信息。

具体地，计算机设备通过待训练的图像重建模型分别对每张样本图像进行隐式纹理提取，得到各自对应的样本纹理特征图。计算机设备将各样本纹理特征图进行融合处理，得到第一样本特征图。

对于每张样本图像，计算机设备通过待训练的图像重建模型根据同一样本图像对应的样本光照信息、样本深度图和样本视角信息，共同对第一样本特征图进行引导解耦处理，以从第一样本特征图中解耦出该样本图像的隐式纹理在二维图像空间中的信息，得到表征该样本图像的隐式纹理在二维图像空间中的信息的特征图，即样本图像对应的第二样本特征图。按照相同的处理方式，根据每张样本图像对应的样本光照信息、样本深度图和样本视角信息等样本三维信息，分别对第一样本特征图进行引导解耦处理，得到每张样本图像分别对应的第二样本特征图。待训练的图像重建模型基于每张样本图像对应的样本解耦特征图和第二样本特征图，对样本对象进行几何重建和纹理重建，得到重建图像。

本实施例中，待训练的图像重建模型将每张样本图像对应的样本解耦特征图和第二样本特征图进行融合处理，得到样本融合特征，基于样本融合特征对样本对象进行几何重建和纹理重建，得到重建图像。

本实施例中，将各样本纹理特征图进行融合处理，使得所得到的第一样本特征图中包含了每张样本图像的隐式纹理信息。根据每张样本图像对应的样本光照信息、样本深度图和样本视角信息，分别对第一样本特征图进行引导解耦处理，能够分别从同一张第一样本特征图中分离出每张样本图像的隐式纹理在二维图像空间中各自对应的二维信息。结合每张样本图像对应的样本解耦特征图和各第二样本特征图，对样本对象进行图像重建处理，使用第二样本特征图能够有效避免重建过程中对样本图像信息的过分依赖，并通过各第二样本特征图对图像重建提供更多有效信息，从而能够提高图像重建的准确性。

在一个实施例中，如图8所示，待训练的图像重建模型包括初始纹理预测结构、预训练的三维预测结构和初始重建结构，初始纹理预测结构用于提取样本图像的样本纹理特征图，预训练的三维预测结构用于预测样本图像的样本光照信息、样本深度图和样本视角信息，并对相应纹理特征图进行引导解耦处理；初始重建结构用于根据引导解耦处理得到的解耦特征图进行图像重建，训练停止条件包括第一停止条件、第二停止条件和第三停止条件；

对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型，包括步骤S802-步骤S806，其中：

步骤S802，对初始纹理预测结构和初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

具体地，待训练的图像重建模型包括初始纹理预测结构、预训练的三维预测结构和初始重建结构。通过初始纹理预测结构对各样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图。通过预训练的三维预测结构获取各样本图像分别对应的样本光照信息、样本深度图和样本视角信息，并根据各样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张样本图像分别对应的样本解耦特征图。通过初始重建结构基于每张样本图像对应的样本解耦特征图，对样本对象进行图像重建处理，得到重建图像。

得到重建图像后，计算机设备可确定重建图像和对应的重构标签之间的重构损失，基于重构损失对初始纹理预测结构和初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

在本实施例中，计算机设备可基于重构损失调整初始纹理预测结构的参数和初始重建结构的参数，并在调整参数后继续进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。其中，满足训练第一停止条件可以是初始纹理预测结构和初始重建结构的训练次数达到预设训练次数、初始纹理预测结构和初始重建结构的迭代次数达到预设迭代次数、训练过程中重构损失小于或等于损失阈值等。

步骤S804，基于中间纹理预测结构和中间重建结构对预训练的三维预测结构进行再训练，直至满足第二停止条件时停止，得到中间三维预测结构。

具体地，对初始纹理预测结构和初始重建结构的训练可作为第一训练阶段，对预训练的三维预测结构进行再训练可作为第二训练阶段，对对中间纹理预测结构、中间三维预测结构和中间重建结构进行训练可作为第三训练阶段。

在训练得到中间纹理预测结构和中间重建结构后，计算机设备可进入第二训练阶段。在第二训练阶段中，计算机设备可通过中间纹理预测结构对各样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图。通过预训练的三维预测结构获取各样本图像分别对应的样本光照信息、样本深度图和样本视角信息，并根据各样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张样本图像分别对应的样本解耦特征图。通过中间重建结构基于每张样本图像对应的样本解耦特征图，对样本对象进行图像重建处理，得到第二训练阶段中的重建图像。

得到第二训练阶段的重建图像后，计算机设备可确定该重建图像和对应的重构标签之间的重构损失，基于重构损失对预训练的三维预测结构进行再训练，直至满足第二停止条件时停止，得到中间三维预测结构。

在本实施例中，计算机设备可基于第二训练阶段中的重构损失调整预训练的三维预测结构的参数，并在调整参数后继续进行训练，直至满足第二停止条件时停止，得到中间三维预测结构。其中，满足训练第二停止条件可以是预训练的三维预测结构在第二训练阶段中的训练次数达到预设训练次数、预训练的三维预测结构在第二训练阶段中的迭代次数达到预设迭代次数、第二训练阶段中的重构损失小于或等于损失阈值等。

在第一训练阶段不调整预训练的三维预测结构的参数，在第二训练阶段不调整中间纹理预测结构的参数和中间重建结构的参数。

步骤S806，对中间纹理预测结构、中间三维预测结构和中间重建结构进行训练，直至满足第三停止条件时停止，以获得训练完成的图像重建模型。

具体地，在训练得到中间纹理预测结构、中间三维预测结构和中间重建结构后，计算机设备可进入第三训练阶段。在第三训练阶段中，计算机设备可通过中间纹理预测结构对各样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图。通过中间三维预测结构获取各样本图像分别对应的样本光照信息、样本深度图和样本视角信息，并根据各样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张样本图像分别对应的样本解耦特征图。通过中间重建结构基于每张样本图像对应的样本解耦特征图，对样本对象进行图像重建处理，得到第三训练阶段中的重建图像。

得到第三训练阶段的重建图像后，计算机设备可确定该重建图像和对应的重构标签之间的重构损失，基于重构损失对中间纹理预测结构、中间三维预测结构和中间重建结构进行联合训练，直至满足第三停止条件时停止，得到训练完成的纹理预测结构、三维预测结构和重建结构。训练完成的纹理预测结构、三维预测结构和重建结构构成训练完成的图像重建模型。

在本实施例中，计算机设备可基于第三训练阶段中的重构损失调整中间纹理预测结构的参数、中间三维预测结构的参数和中间重建结构的参数，并在调整参数后继续进行训练，直至满足第三停止条件时停止。其中，满足训练第三停止条件可以是第三训练阶段中的训练次数达到预设训练次数、第三训练阶段中的迭代次数达到预设迭代次数、第三训练阶段中的重构损失小于或等于损失阈值等。

可以理解的是，第一训练阶段、第二训练阶段和第三训练阶段中所使用的样本图像可以完全相同，也可部分相同，还可以完全不同，具体可根据需求设置。

在一个实施例中，第一训练阶段和第二训练阶段可交替进行，第一训练阶段和第二训练阶段的交替训练完成后，可进行第三训练阶段的训练。

本实施例中，待训练的图像重建模型包括初始纹理预测结构、预训练的三维预测结构和初始重建结构，对初始纹理预测结构、预训练的三维预测结构和初始重建结构进行三个阶段的训练，在第一训练阶段对初始纹理预测结构和初始重建结构进行训练，直至满足第一停止条件时停止，得到初步训练过的中间纹理预测结构和中间重建结构，初步提升中间纹理预测结构和中间重建结构的处理精度和准确性。第一训练阶段所得到的中间纹理预测结构能够准确提取样本图像的隐式纹理，通过预训练的三维预测结构预测样本图像的样本光照信息、样本深度图和样本视角信息，并对相应纹理特征图进行引导解耦处理，得到对应的样本解耦特征图，而中间重建结构能够基于所得到的样本解耦特征图准确进行图像重建，则在第二阶段训练中产生的重构损失主要是预训练的三维预测结构所导致的，则基于中间纹理预测结构和中间重建结构对预训练的三维预测结构进行再训练，直至满足第二停止条件时停止，使得所得到的中间三维预测结构的处理精度和准确性有所提升。而在第三训练阶段，对中间纹理预测结构、中间三维预测结构和中间重建结构进行联合训练，再次对各个结构的参数进行微调，直至满足第三停止条件时停止，能够进一步地提示各个结构的精度，从而使得所获得的图像重建模型的精度和准确性进一步提高。

在一个实施例中，样本图像集中还包括样本图像对应的纹理标签；对初始纹理预测结构和初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构，包括：

通过初始纹理预测结构对重建图像进行隐式纹理提取，得到对应的预测纹理特征图；确定预测纹理特征图和纹理标签之间的纹理损失；根据重构损失和纹理损失，构建目标损失函数；通过目标损失函数对初始纹理预测结构和初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

其中，纹理损失是预测纹理特征图和纹理标签在纹理上所产生的损失。

具体地，计算机设备通过初始纹理预测结构对重建图像进行隐式纹理提取，以分别提取重建图像的深层次的纹理特征，得到对应的预测纹理特征图。计算机设备可计算预测纹理特征图和对应的纹理标签之间的纹理损失，根据重构损失和纹理损失，构建目标损失函数。进一步地，计算机设备获取重构损失和纹理损失各自对应的权重，将重构损失、纹理损失和各自对应的权重进行加权求和处理，得到目标损失函数。

计算机设备根据目标损失函数所计算出的目标损失调整初始纹理预测结构的参数和初始重建结构的参数，并在调整参数后继续训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。例如，当通过目标损失函数所计算出的目标损失大于损失阈值时，调整初始纹理预测结构的参数和初始重建结构的参数，并在调整参数后继续训练，直至通过目标损失函数所计算出的目标损失小于或等于损失阈值时停止，得到中间纹理预测结构和中间重建结构。

本实施例中，用于计算纹理损失的纹理标签可以是该样本对象的任意一张样本图像所对应的纹理标签。

本实施例中，纹理损失能够体现重建图像和样本图像在纹理上的差异。通过初始纹理预测结构对重建图像进行隐式纹理提取，得到对应的预测纹理特征图，确定预测纹理特征图和纹理标签之间的纹理损失，能够结合重构损失和纹理损失构建目标损失函数，能够考虑到在图像纹理上的损失对模型产生的影响，将重构损失和纹理损失结合用于训练初始纹理预测结构和初始重建结构，能够提高纹理预测结构在纹理上预测的准确性，以及重建结构在图像重建上的准确性。

在一个实施例中，样本图像集中还包括样本图像对应的光照标签和几何标签；对初始纹理预测结构和初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构，包括：

通过初始三维预测结构确定重建图像对应的预测光照信息和预测深度图，并确定预测光照信息和光照标签之间的光照损失，以及确定预测深度图和几何标签之间的几何损失；根据重构损失、光照损失和几何损失，构建目标损失函数；通过目标损失函数对初始纹理预测结构和初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

其中，光照损失是指预测的重建图像和样本图像在光照一致性方面所产生的损失。几何损失是指预测的重建图像和样本图像在几何一致性方面所产生的损失，即在深度上所产生的损失。

具体地，计算机设备通过初始三维预测结构预测重建图像对应的光照信息和深度信息，得到对应的预测光照信息和预测深度图。计算机设备获取对应的光照标签，计算预测光照信息和光照标签之间的差异，即可得到光照损失。计算机设备获取对应的几何标签，计算预测深度图和几何标签之间的差异，即可得到几何损失。

计算机设备可根据重构损失、光照损失和几何损失，构建目标损失函数。进一步地，计算机设备可将重构损失、光照损失和几何损失求和，得到目标损失函数。或者，计算机设备获取重构损失、光照损失和几何损失各自对应的权重，将重构损失、光照损失、几何损失和各自对应的权重进行加权求和处理，得到目标损失函数。

计算机设备根据目标损失函数所计算出的目标损失调整初始纹理预测结构的参数和初始重建结构的参数，并在调整参数后继续训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

本实施例中，用于计算光照损失的光照标签可以是该样本对象的任意一张样本图像所对应的光照标签。用于计算几何损失的几何标签可以是该样本对象的任意一张样本图像所对应的几何标签。

本实施例中，重构损失能够体现重建图像和样本图像在整体上的差异，光照损失能够体现重建图像和样本图像在光照上的差异，几何损失能够体现重建图像和样本图像在深度上的差异。通过初始三维预测结构确定重建图像对应的预测光照信息和预测深度图，并确定预测光照信息和光照标签之间的光照损失，以及确定预测深度图和几何标签之间的几何损失，结合重构损失、光照损失和几何损失构建目标损失函数，能够考虑到图像整体损失、在光照上的损失和在深度信息上的损失等多个因素对模型产生的影响，从而结合多方面的损失用于训练初始纹理预测结构和初始重建结构，能够进一步提高纹理预测结构在纹理上预测的准确性，以及重建结构在图像重建上的准确性。

在一个实施例中，待训练的图像重建模型还包括生成对抗结构，样本图像集中还包括样本图像对应的对抗标签；对初始纹理预测结构和初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构，包括：

通过生成对抗网络对重建图像进行判别，得到对应的判别结果，并确定判别结果和对抗标签之间的对抗损失；根据重构损失和对抗损失，构建目标损失函数；通过目标损失函数对初始纹理预测结构和初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

其中，对抗损失对预测的重建图像进行真假判别时，判别结果和真实结果(即对抗标签)之间的差异。

具体地，待训练的图像重建模型还包括生成对抗结构，该生成对抗结构只用于训练过程中，训练完成的图像重建模型不包括生成对抗结构。通过生成对抗网络对重建图像进行真假判别，得到对应的判别结果。该判别结果为真或假。例如，生成对抗结构输出1表示重建图像为真，输出0表示重建图像为假，也可以根据需求设置。

计算机设备可计算判别结果和对抗标签之间的差异，即对抗损失，根据重构损失和对抗损失，构建目标损失函数。进一步地，计算机设备可将重构损失和对抗损失求和，得到目标损失函数。或者，计算机设备获取重构损失和对抗损失各自对应的权重，将重构损失、对抗损失和各自对应的权重进行加权求和处理，得到目标损失函数。

计算机设备根据目标损失函数所计算出的目标损失调整初始纹理预测结构的参数和初始重建结构的参数，并在调整参数后继续训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

本实施例中，用于计算对抗损失的对抗标签可以是该样本对象的任意一张样本图像所对应的对抗标签。

本实施例中，对抗损失能够体现模型重建的重建图像和期望重建的图像之间的差异。通过生成对抗网络对重建图像进行判别，得到对应的判别结果，并确定判别结果和对抗标签之间的对抗损失，以确定模型重建得到的图像是否符合真实情况，是否符合预期。结合重构损失和对抗损失构建目标损失函数，能够考虑到图像整体损失、模型生成的重建图像和期望重建的图像之间的损失等多个因素对模型产生的影响，从而结合多方面的损失用于训练初始纹理预测结构和初始重建结构，能够进一步提高纹理预测结构在纹理上预测的准确性，以及重建结构在图像重建上的准确性。

在一个实施例中，对初始纹理预测结构和初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构，包括：通过初始纹理预测结构对重建图像进行隐式纹理提取，得到对应的预测纹理特征图；确定预测纹理特征图和纹理标签之间的纹理损失；通过初始三维预测结构确定重建图像对应的预测光照信息和预测深度图，并确定预测光照信息和光照标签之间的光照损失，以及确定预测深度图和几何标签之间的几何损失；通过生成对抗网络对重建图像进行判别，得到对应的判别结果，并确定判别结果和对抗标签之间的对抗损失；根据重构损失、纹理损失、光照损失、几何损失和对抗损失，构建目标损失函数；通过目标损失函数对初始纹理预测结构和初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

如图9所示，为一个实施例中训练过程的一致性损失的示意图，一致性损失包括几何损失、纹理损失和光照损失。得到重建图像后，将图像进行旋转，得到旋转后的多张姿态不同的图像。然后计算旋转后的多张图像与样本图像在经过训练中的纹理预测结构所得到的隐式纹理之间的纹理误差，即纹理损失，以及在经过训练中的三维预测结构所得到的深度、光照之间的误差，即几何损失和光照损失，将这些误差作为损失函数能够约束重建结构在3D姿态操作时的鲁棒性。当使用了同一样本对象的多张样本图像时，可以选择样本对象的任意一张样本图像与旋转后的多张图像计算一致性损失。

在一个实施例中，提供了一种图像重建模型的训练方法，应用于计算机设备，待训练的图像重建模型包括初始纹理预测结构、预训练的三维预测结构和初始重建结构，该方法包括：

获取样本图像集，样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张样本图像对应的重构标签、纹理标签、光照标签、几何标签和对抗标签；

通过初始纹理预测结构对各样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图；将各样本纹理特征图进行融合处理，得到第一样本特征图；

通过预训练的三维预测结构获取各样本图像分别对应的样本光照信息、样本深度图和样本视角信息；根据各样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张样本图像分别对应的样本解耦特征图；

通过预训练的三维预测结构根据各样本图像对应的样本光照信息、样本深度图和样本视角信息，分别对第一样本特征图进行引导解耦处理，得到每张样本图像分别对应的第二样本特征图；

通过初始重建结构基于每张样本图像对应的样本解耦特征图和第二样本特征图，对样本对象进行图像重建处理，得到重建图像；确定重建图像和对应的重构标签之间的重构损失。

通过初始纹理预测结构对重建图像进行隐式纹理提取，得到对应的预测纹理特征图；确定预测纹理特征图和纹理标签之间的纹理损失；

通过初始三维预测结构确定重建图像对应的预测光照信息和预测深度图，并确定预测光照信息和光照标签之间的光照损失，以及确定预测深度图和几何标签之间的几何损失；

通过生成对抗网络对重建图像进行判别，得到对应的判别结果，并确定判别结果和对抗标签之间的对抗损失；

根据重构损失、纹理损失、光照损失、几何损失和对抗损失，构建目标损失函数；

通过目标损失函数对初始纹理预测结构和初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

基于样本图像集、中间纹理预测结构和中间重建结构对预训练的三维预测结构进行再训练，直至满足第二停止条件时停止，得到中间三维预测结构；

基于样本图像集对中间纹理预测结构、中间三维预测结构和中间重建结构进行训练，直至满足第三停止条件时停止，以获得训练完成的图像重建模型。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像重建方法的图像重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像重建装置实施例中的具体限定可以参见上文中对于图像重建方法的限定，在此不再赘述。

在一个实施例中，如图10所示，提供了一种图像重建装置1000，包括：图像获取模块1002、提取模块1004、信息获取模块1006、解耦模块1008和重建模块1010，其中：

图像获取模块1002，用于获取包含目标对象的至少一张原始图像。

提取模块1004，用于对所获取的每张原始图像分别进行隐式纹理提取，得到对应的纹理特征图。

信息获取模块1006，用于获取每张原始图像分别对应的光照信息、原始深度图和视角信息。

解耦模块1008，用于根据每张原始图像对应的光照信息、原始深度图和视角信息，对相应纹理特征图进行引导解耦处理，得到每张原始图像分别对应的解耦特征图。

重建模块1010，用于基于每张原始图像对应的解耦特征图，对目标对象进行图像重建处理，得到目标图像。

本实施例中，获取包含目标对象的至少一张原始图像，对所获取的每张原始图像分别进行隐式纹理提取，以提取深层次的纹理信息，得到对应的纹理特征图。获取每张原始图像分别对应的光照信息、原始深度图和视角信息，以根据每张原始图像对应的光照信息、原始深度图和视角信息等三维信息，引导相应纹理特征图解耦出在二维图像空间中的更丰富的纹理信息，得到每张原始图像分别对应的解耦特征图，从而保证了解耦过程的可控性和鲁棒性。基于每张解耦特征图所包含的更丰富的纹理信息，对目标对象进行图像重建处理，能够更准确地重建目标对象的细节纹理信息，使得重建的纹理更真实自然，有效提高了图像重建的准确性。

在一个实施例中，提取模块1004，还用于确定所获取的每张原始图像对应的当前姿态，并将每张原始图像从当前姿态转换为目标姿态；提取每张原始图像在目标姿态下的隐式纹理，得到每张原始图像分别对应的纹理特征图。

本实施例中，确定所获取的每张原始图像对应的当前姿态，并将每张原始图像从当前姿态转换为目标姿态，在目标姿态能够表现出目标对象更多的信息。提取每张原始图像在目标姿态下的隐式纹理，能够有效获得目标对象在目标姿态下的深层次纹理信息，使得所得到的纹理特征图包含更多目标对象的关键纹理信息。

在一个实施例中，解耦模块1008，还用于基于每张原始图像对应的光照信息和原始深度图，生成每张原始图像分别对应的光影图，光影图表征相应原始图像的亮度信息；根据每张原始图像对应的原始深度图、视角信息和光影图，将相应纹理特征图投影至二维图像空间，以解耦得到每张原始图像在二维图像空间中分别对应的解耦特征图。

本实施例中，光影图表征图像的亮度信息，而基于每张原始图像对应的光照信息和原始深度图，生成每张原始图像分别对应的光影图，能够通过光影图直接表现图像中哪些区域处于明亮区域，哪些区域处于暗区域。根据每张原始图像对应的原始深度图、视角信息和光影图，将相应纹理特征图投影至二维图像空间，从而能够基于深度图提供的表面几何信息、拍摄原始图像的视角信息和光影图提供的明暗信息，有效从纹理特征图中分离出在二维图像空间下的相关信息。并且，基于表面几何信息、视角和明暗信息等多种因素能够使得分离出来的二维图像空间下的相关信息更准确。

在一个实施例中，解耦模块1008，还用于根据每张原始图像的光影图对相应纹理特征图进行明暗处理，得到各自对应的中间特征图；基于每张原始图像的视角信息对相应原始深度图进行光栅化处理，得到每张原始深度图在二维图像空间下分别对应的目标深度图；基于每张原始深度图和对应的目标深度图，将相应中间特征图投影至二维图像空间，得到每张原始图像分别对应的解耦特征图。

本实施例中，根据每张原始图像的光影图对相应纹理特征图进行明暗处理，能够计算出每个纹理特征图内每个像素的颜色，得到各自对应的中间特征图，从而使得纹理特征图能够获得与原始图像对应的阴影效果。基于每张原始图像的视角信息对相应原始深度图进行光栅化处理，能够准确计算出＝原始深度图中各像素在二维图像空间中对应位置的像素，以及各位置的像素分别对应的颜色信息，从而准确生成每张原始深度图在二维图像空间下分别对应的目标深度图。基于各投影前后的原始深度图和目标深度图之间的关联，能够准确将相应中间特征图投影至二维图像空间，从而能够从中间特征图中准确分离出在二维图像空间下的二维信息，得到表征在二维图像空间下的二维信息的解耦特征图。

在一个实施例中，解耦模块1008，还用于确定每张原始深度图和对应的目标深度图之间的映射关系，并基于映射关系对相应中间特征图进行采样处理，得到每张原始图像在二维图像空间下分别对应的解耦特征图。

本实施例中，确定每张原始深度图和对应的目标深度图之间的映射关系，并基于映射关系对相应中间特征图进行采样处理，从而能够基于投影前后的映射关系将中间特征图的采样点准确投影至二维图像空间，从而能够从中间特征图中准确分离出在二维图像空间下的二维信息，并且通过采样处理能够对部分采样点进行投影，提高处理效率。

在一个实施例中，提取模块1004，还用于在存在至少两张原始图像的情况下，将各原始图像对应的纹理特征图进行融合处理，得到第一联合特征图；

解耦模块1008，还用于根据每张原始图像对应的光照信息、原始深度图和视角信息，分别对原始联合特征图进行引导解耦处理，得到每张原始图像分别对应的第二联合特征图；

重建模块1010，还用于基于每张原始图像对应的解耦特征图和第二联合特征图，对目标对象进行图像重建处理，得到目标图像。

本实施例中，在存在至少两张原始图像的情况下，将各原始图像对应的纹理特征图进行融合处理，使得所得到的第一联合特征图中包含了每张原始图像的隐式纹理信息。根据每张原始图像对应的光照信息、原始深度图和视角信息，分别对第一联合特征图进行引导解耦处理，能够分别从同一张第一联合特征图中分离出每张原始图像的隐式纹理在二维图像空间中各自对应的二维信息。结合每张原始图像对应的解耦特征图和各第二联合特征图，对目标对象进行图像重建处理，使用联合特征图能够有效避免重建过程中对原始图像信息的过分依赖，从而能够提高图像重建的准确性。

在一个实施例中，重建模块1010，还用于将每张原始图像对应的解耦特征图和第二联合特征图进行融合处理，得到融合特征图；基于融合特征图对目标对象进行几何重建和纹理重建，得到对应的目标图像。

本实施例中，将每张原始图像对应的解耦特征图和第二联合特征图进行融合处理，以融合得到包含更多关键信息的特征图。几何重建是指对目标对象的表面几何信息的重建，纹理重建是指对目标对象的纹理信息的重建。基于融合特征图对目标对象进行几何重建和纹理重建，能够有效提高重建的准确性，从而重建得到更准确的目标图像。

在一个实施例中，该装置还包括：

样本集获取模块，用于获取样本图像集，样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张样本图像对应的重构标签。

样本提取模块，用于通过待训练的图像重建模型对各样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图。

样本信息获取模块，用于获取各样本图像分别对应的样本光照信息、样本深度图和样本视角信息。

样本解耦模块，用于根据各样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张样本图像分别对应的样本解耦特征图。

样本重建模块，用于基于每张样本图像对应的样本解耦特征图，对样本对象进行图像重建处理，得到重建图像。

训练模块，用于基于重建图像和对应的重构标签之间的重构损失，对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像重建模型的训练方法的图像重建模型的训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像重建模型的训练装置实施例中的具体限定可以参见上文中对于图像重建模型的训练方法的限定，在此不再赘述。

在一个实施例中，如图11所示，提供了一种图像重建模型的训练装置1100，包括：样本集获取模块1102、样本提取模块1104、样本信息获取模块1106、样本解耦模块1108、样本重建模块1110和训练模块1112，其中：

样本集获取模块1102，用于获取样本图像集，样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张样本图像对应的重构标签。

样本提取模块1104，用于通过待训练的图像重建模型对各样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图。

样本信息获取模块1106，用于获取各样本图像分别对应的样本光照信息、样本深度图和样本视角信息。

样本解耦模块1108，用于根据各样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张样本图像分别对应的样本解耦特征图。

样本重建模块1110，用于基于每张样本图像对应的样本解耦特征图，对样本对象进行图像重建处理，得到重建图像。

训练模块1112，用于基于重建图像和对应的重构标签之间的重构损失，对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；训练完成的图像重建模型用于对原始图像进行图像重建处理。

本实施例中，获取样本图像集，样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张样本图像对应的重构标签；通过待训练的图像重建模型对各样本图像分别进行隐式纹理提取，以提取深层次的纹理信息，得到各自对应的样本纹理特征图。获取各样本图像分别对应的样本光照信息、样本深度图和样本视角信息，以根据各样本图像对应的样本光照信息、样本深度图和样本视角信息等三维信息，引导相应样本纹理特征图进行引导解耦出在二维图像空间中的更丰富的纹理信息，得到每张样本图像分别对应的样本解耦特征图，从而保证了解耦过程的可控性和鲁棒性。基于每张样本图像对应的样本解耦特征图，对样本对象进行图像重建处理，基于重建图像和对应的重构标签之间的差异，对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型，使得训练完成的图像重建模型能够更准确地重建目标对象的几何信息和细节纹理信息，使得重建的纹理更真实自然，有效提高了图像重建的准确性。

在一个实施例中，样本提取模块1104，还用于将各样本纹理特征图进行融合处理，得到第一样本特征图。

样本解耦模块1108，还用于根据各样本图像对应的样本光照信息、样本深度图和样本视角信息，分别对第一样本特征图进行引导解耦处理，得到每张样本图像分别对应的第二样本特征图。

样本重建模块1110，还用于基于每张样本图像对应的样本解耦特征图和第二样本特征图，对样本对象进行图像重建处理，得到重建图像。

本实施例中，将各样本纹理特征图进行融合处理，使得所得到的第一样本特征图中包含了每张样本图像的隐式纹理信息。根据每张样本图像对应的样本光照信息、样本深度图和样本视角信息，分别对第一样本特征图进行引导解耦处理，能够分别从同一张第一样本特征图中分离出每张样本图像的隐式纹理在二维图像空间中各自对应的二维信息。结合每张样本图像对应的样本解耦特征图和各第二样本特征图，对样本对象进行图像重建处理，使用第二样本特征图能够有效避免重建过程中对样本图像信息的过分依赖，并通过各第二样本特征图对图像重建提供更多有效信息，从而能够提高图像重建的准确性。

在一个实施例中，待训练的图像重建模型包括初始纹理预测结构、预训练的三维预测结构和初始重建结构，初始纹理预测结构用于提取样本图像的样本纹理特征图，预训练的三维预测结构用于预测样本图像的样本光照信息、样本深度图和样本视角信息，并对相应纹理特征图进行引导解耦处理；初始重建结构用于根据引导解耦处理得到的解耦特征图进行图像重建，训练停止条件包括第一停止条件、第二停止条件和第三停止条件；

训练模块1112，还用于对初始纹理预测结构和初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构；基于中间纹理预测结构和中间重建结构对预训练的三维预测结构进行再训练，直至满足第二停止条件时停止，得到中间三维预测结构；对中间纹理预测结构、中间三维预测结构和中间重建结构进行训练，直至满足第三停止条件时停止，以获得训练完成的图像重建模型。

本实施例中，待训练的图像重建模型包括初始纹理预测结构、预训练的三维预测结构和初始重建结构，对初始纹理预测结构、预训练的三维预测结构和初始重建结构进行三个阶段的训练，在第一训练阶段对初始纹理预测结构和初始重建结构进行训练，直至满足第一停止条件时停止，得到初步训练过的中间纹理预测结构和中间重建结构，初步提升中间纹理预测结构和中间重建结构的处理精度和准确性。第一训练阶段所得到的中间纹理预测结构能够准确提取样本图像的隐式纹理，通过预训练的三维预测结构预测样本图像的样本光照信息、样本深度图和样本视角信息，并对相应纹理特征图进行引导解耦处理，得到对应的样本解耦特征图，而中间重建结构能够基于所得到的样本解耦特征图准确进行图像重建，则在第二阶段训练中产生的重构损失主要是预训练的三维预测结构所导致的，则基于中间纹理预测结构和中间重建结构对预训练的三维预测结构进行再训练，直至满足第二停止条件时停止，使得所得到的中间三维预测结构的处理精度和准确性有所提升。而在第三训练阶段，对中间纹理预测结构、中间三维预测结构和中间重建结构进行联合训练，再次对各个结构的参数进行微调，直至满足第三停止条件时停止，能够进一步地提示各个结构的精度，从而使得所获得的图像重建模型的精度和准确性进一步提高。

在一个实施例中，样本提取模块1104，还用于通过初始纹理预测结构对重建图像进行隐式纹理提取，得到对应的预测纹理特征图；

训练模块1112，还用于确定预测纹理特征图和纹理标签之间的纹理损失；根据重构损失和纹理损失，构建目标损失函数；通过目标损失函数对初始纹理预测结构和初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

本实施例中，纹理损失能够体现重建图像和样本图像在纹理上的差异。通过初始纹理预测结构对重建图像进行隐式纹理提取，得到对应的预测纹理特征图，确定预测纹理特征图和纹理标签之间的纹理损失，能够结合重构损失和纹理损失构建目标损失函数，能够考虑到在图像纹理上的损失对模型产生的影响，将重构损失和纹理损失结合用于训练初始纹理预测结构和初始重建结构，能够提高纹理预测结构在纹理上预测的准确性，以及重建结构在图像重建上的准确性。

在一个实施例中，样本图像集中还包括样本图像对应的光照标签和几何标签；样本信息获取模块1106，还用于通过初始三维预测结构确定重建图像对应的预测光照信息和预测深度图；

训练模块1112，还用于确定预测光照信息和光照标签之间的光照损失，以及确定预测深度图和几何标签之间的几何损失；根据重构损失、光照损失和几何损失，构建目标损失函数；通过目标损失函数对初始纹理预测结构和初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

本实施例中，重构损失能够体现重建图像和样本图像在整体上的差异，光照损失能够体现重建图像和样本图像在光照上的差异，几何损失能够体现重建图像和样本图像在深度上的差异。通过初始三维预测结构确定重建图像对应的预测光照信息和预测深度图，并确定预测光照信息和光照标签之间的光照损失，以及确定预测深度图和几何标签之间的几何损失，结合重构损失、光照损失和几何损失构建目标损失函数，能够考虑到图像整体损失、在光照上的损失和在深度信息上的损失等多个因素对模型产生的影响，从而结合多方面的损失用于训练初始纹理预测结构和初始重建结构，能够进一步提高纹理预测结构在纹理上预测的准确性，以及重建结构在图像重建上的准确性。

在一个实施例中，待训练的图像重建模型还包括生成对抗结构，样本图像集中还包括样本图像对应的对抗标签；装置还包括对抗模块；对抗模块，用于通过生成对抗网络对重建图像进行判别，得到对应的判别结果；

训练模块1112，还用于确定判别结果和对抗标签之间的对抗损失；根据重构损失和对抗损失，构建目标损失函数；通过目标损失函数对初始纹理预测结构和初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

本实施例中，对抗损失能够体现模型重建的重建图像和期望重建的图像之间的差异。通过生成对抗网络对重建图像进行判别，得到对应的判别结果，并确定判别结果和对抗标签之间的对抗损失，以确定模型重建得到的图像是否符合真实情况，是否符合预期。结合重构损失和对抗损失构建目标损失函数，能够考虑到图像整体损失、模型生成的重建图像和期望重建的图像之间的损失等多个因素对模型产生的影响，从而结合多方面的损失用于训练初始纹理预测结构和初始重建结构，能够进一步提高纹理预测结构在纹理上预测的准确性，以及重建结构在图像重建上的准确性。

上述图像重建装置、图像重建模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端或服务器。以终端为例，其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像重建方法、图像重建模型的训练方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive RandomAccess Memory，MRAM)、铁电存储器(Ferroelectric RandomAccess Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(RandomAccess Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static RandomAccess Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccessMemory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (19)

1.一种图像重建方法，其特征在于，所述方法包括：

获取包含目标对象的至少一张原始图像；

对所获取的每张原始图像分别进行隐式纹理提取，得到对应的纹理特征图；

获取每张所述原始图像分别对应的光照信息、原始深度图和视角信息；

根据每张所述原始图像对应的光照信息、原始深度图和视角信息，对相应纹理特征图进行引导解耦处理，得到每张所述原始图像分别对应的解耦特征图；

基于每张所述原始图像对应的解耦特征图，对所述目标对象进行图像重建处理，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述对所获取的每张原始图像分别进行隐式纹理提取，得到对应的纹理特征图，包括：

确定所获取的每张原始图像对应的当前姿态，并将每张所述原始图像从所述当前姿态转换为目标姿态；

提取每张所述原始图像在所述目标姿态下的隐式纹理，得到每张所述原始图像分别对应的纹理特征图。

3.根据权利要求1所述的方法，其特征在于，所述根据每张所述原始图像对应的光照信息、原始深度图和视角信息，对相应纹理特征图进行引导解耦处理，得到每张所述原始图像分别对应的解耦特征图，包括：

基于每张所述原始图像对应的光照信息和原始深度图，生成每张所述原始图像分别对应的光影图，所述光影图表征相应原始图像的亮度信息；

根据每张所述原始图像对应的原始深度图、视角信息和光影图，将相应纹理特征图投影至二维图像空间，以解耦得到每张所述原始图像在二维图像空间中分别对应的解耦特征图。

4.根据权利要求3所述的方法，其特征在于，所述根据每张所述原始图像对应的原始深度图、视角信息和光影图，将相应纹理特征图投影至二维图像空间，以解耦得到每张所述原始图像在二维图像空间中分别对应的解耦特征图，包括：

根据每张所述原始图像的光影图对相应纹理特征图进行明暗处理，得到各自对应的中间特征图；

基于每张所述原始图像的视角信息对相应原始深度图进行光栅化处理，得到每张所述原始深度图在二维图像空间下分别对应的目标深度图；

基于每张所述原始深度图和对应的目标深度图，将相应中间特征图投影至二维图像空间，得到每张所述原始图像分别对应的解耦特征图。

5.根据权利要求4所述的方法，其特征在于，所述基于每张所述原始深度图和对应的目标深度图，将相应中间特征图投影至二维图像空间，得到每张所述原始图像分别对应的解耦特征图，包括：

确定每张所述原始深度图和对应的目标深度图之间的映射关系，并基于所述映射关系对相应中间特征图进行采样处理，得到每张所述原始图像在二维图像空间下分别对应的解耦特征图。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在存在至少两张原始图像的情况下，将各所述原始图像对应的纹理特征图进行融合处理，得到第一联合特征图；

根据每张所述原始图像对应的光照信息、原始深度图和视角信息，分别对所述原始联合特征图进行引导解耦处理，得到每张所述原始图像分别对应的第二联合特征图；

所述基于每张所述原始图像对应的解耦特征图，对所述目标对象进行图像重建处理，得到目标图像，包括：

基于每张所述原始图像对应的解耦特征图和第二联合特征图，对所述目标对象进行图像重建处理，得到目标图像。

7.根据权利要求6所述的方法，其特征在于，所述基于每张所述原始图像对应的解耦特征图和第二联合特征图，对所述目标对象进行图像重建处理，得到目标图像，包括：

将每张所述原始图像对应的解耦特征图和第二联合特征图进行融合处理，得到融合特征图；

基于所述融合特征图对所述目标对象进行几何重建和纹理重建，得到对应的目标图像。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法由图像重建模型执行，所述图像重建模型通过训练步骤得到，所述训练步骤包括：

获取样本图像集，所述样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张所述样本图像对应的重构标签；

通过待训练的图像重建模型对各所述样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图；

获取各所述样本图像分别对应的样本光照信息、样本深度图和样本视角信息；

根据各所述样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张所述样本图像分别对应的样本解耦特征图；

基于每张所述样本图像对应的样本解耦特征图，对所述样本对象进行图像重建处理，得到重建图像；

基于所述重建图像和对应的重构标签之间的重构损失，对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型。

9.一种图像重建模型的训练方法，其特征在于，所述方法包括：

获取样本图像集，所述样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张所述样本图像对应的重构标签；

通过待训练的图像重建模型对各所述样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图；

获取各所述样本图像分别对应的样本光照信息、样本深度图和样本视角信息；

根据各所述样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张所述样本图像分别对应的样本解耦特征图；

基于每张所述样本图像对应的样本解耦特征图，对所述样本对象进行图像重建处理，得到重建图像；

基于所述重建图像和对应的重构标签之间的重构损失，对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；所述训练完成的图像重建模型用于对原始图像进行图像重建处理。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

将各所述样本纹理特征图进行融合处理，得到第一样本特征图；

根据各所述样本图像对应的样本光照信息、样本深度图和样本视角信息，分别对所述第一样本特征图进行引导解耦处理，得到每张所述样本图像分别对应的第二样本特征图；

所述基于每张所述样本图像对应的样本解耦特征图，对所述样本对象进行图像重建处理，得到重建图像，包括：

基于每张所述样本图像对应的样本解耦特征图和第二样本特征图，对所述样本对象进行图像重建处理，得到重建图像。

11.根据权利要求9所述的方法，其特征在于，所述待训练的图像重建模型包括初始纹理预测结构、预训练的三维预测结构和初始重建结构，所述初始纹理预测结构用于提取所述样本图像的样本纹理特征图，所述预训练的三维预测结构用于预测所述样本图像的样本光照信息、样本深度图和样本视角信息，并对相应纹理特征图进行引导解耦处理；所述初始重建结构用于根据引导解耦处理得到的解耦特征图进行图像重建，所述训练停止条件包括第一停止条件、第二停止条件和第三停止条件；

所述对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型，包括：

对所述初始纹理预测结构和所述初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构；

基于所述中间纹理预测结构和中间重建结构对所述预训练的三维预测结构进行再训练，直至满足第二停止条件时停止，得到中间三维预测结构；

对中间纹理预测结构、中间三维预测结构和中间重建结构进行训练，直至满足第三停止条件时停止，以获得训练完成的图像重建模型。

12.根据权利要求11所述的方法，其特征在于，所述样本图像集中还包括所述样本图像对应的纹理标签；所述对所述初始纹理预测结构和所述初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构，包括：

通过所述初始纹理预测结构对所述重建图像进行隐式纹理提取，得到对应的预测纹理特征图；

确定所述预测纹理特征图和纹理标签之间的纹理损失；

根据所述重构损失和所述纹理损失，构建目标损失函数；

通过所述目标损失函数对所述初始纹理预测结构和所述初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

13.根据权利要求11所述的方法，其特征在于，所述样本图像集中还包括所述样本图像对应的光照标签和几何标签；所述对所述初始纹理预测结构和所述初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构，包括：

通过所述初始三维预测结构确定所述重建图像对应的预测光照信息和预测深度图，并确定预测光照信息和光照标签之间的光照损失，以及确定所述预测深度图和几何标签之间的几何损失；

根据所述重构损失、所述光照损失和所述几何损失，构建目标损失函数；

通过所述目标损失函数对所述初始纹理预测结构和所述初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

14.根据权利要求11所述的方法，其特征在于，所述待训练的图像重建模型还包括生成对抗结构，所述样本图像集中还包括所述样本图像对应的对抗标签；所述对所述初始纹理预测结构和所述初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构，包括：

通过所述生成对抗网络对所述重建图像进行判别，得到对应的判别结果，并确定所述判别结果和所述对抗标签之间的对抗损失；

根据所述重构损失和所述对抗损失，构建目标损失函数；

通过所述目标损失函数对所述初始纹理预测结构和所述初始重建结构进行训练，直至满足第一停止条件时停止，得到中间纹理预测结构和中间重建结构。

15.一种图像重建装置，其特征在于，所述装置包括：

图像获取模块，用于获取包含目标对象的至少一张原始图像；

提取模块，用于对所获取的每张原始图像分别进行隐式纹理提取，得到对应的纹理特征图；

信息获取模块，用于获取每张所述原始图像分别对应的光照信息、原始深度图和视角信息；

解耦模块，用于根据每张所述原始图像对应的光照信息、原始深度图和视角信息，对相应纹理特征图进行引导解耦处理，得到每张所述原始图像分别对应的解耦特征图；

重建模块，用于基于每张所述原始图像对应的解耦特征图，对所述目标对象进行图像重建处理，得到目标图像。

16.一种图像重建模型的训练装置，其特征在于，所述装置包括：

样本集获取模块，用于获取样本图像集，所述样本图像集中包括对应样本对象的不同姿态的样本图像，以及每张所述样本图像对应的重构标签；

样本提取模块，用于通过待训练的图像重建模型对各所述样本图像分别进行隐式纹理提取，得到各自对应的样本纹理特征图；

样本信息获取模块，用于获取各所述样本图像分别对应的样本光照信息、样本深度图和样本视角信息；

样本解耦模块，用于根据各所述样本图像对应的样本光照信息、样本深度图和样本视角信息，对相应样本纹理特征图进行引导解耦处理，得到每张所述样本图像分别对应的样本解耦特征图；

样本重建模块，用于基于每张所述样本图像对应的样本解耦特征图，对所述样本对象进行图像重建处理，得到重建图像；

训练模块，用于基于所述重建图像和对应的重构标签之间的重构损失，对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；所述训练完成的图像重建模型用于对原始图像进行图像重建处理。

17.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至14中任一项所述的方法的步骤。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至14中任一项所述的方法的步骤。

19.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至14中任一项所述的方法的步骤。