CN115147527A - 三维网格生成模型的构建方法、三维网格生成方法及装置 - Google Patents

Abstract

本申请提供了三维网格生成模型的构建方法、三维网格生成方法及装置。获取目标对象的多个不同视角的目标图像，根据目标图像获取目标对象的目标体素，分别获取各个视角的目标图像的目标深度特征，然后根据各个目标深度特征获取目标对象的目标三维网格。目标对象的各个视角的目标图像的目标深度特征可以是根据目标对象的各个视角的目标图像直接获取到的，因此，各个视角的目标图像的目标深度特征可以准确地体现各个视角的目标图像中的目标对象的深度信息，如此，使用各个视角的目标图像的目标深度特征直接地或间接地对目标对象的目标体素优化(例如微调或者精修等)，可以提高获取到的目标对象的目标三维网格的精准度。

Description

三维网格生成模型的构建方法、三维网格生成方法及装置

技术领域

本申请涉及计算机技术领域，特别是涉及一种三维网格生成模型的构建方法、一种三维网格生成模型的构建装置、一种三维网格生成方法及一种三维网格生成装置。

背景技术

三维重建目前在各行各业广泛应用，目标是通过拍摄的物体的图像对物体进行三维重建。

当前主要的三维重建方法包括：采集图像中的物体的体素，然后根据物体的体素重建物体的三维网格。

然而，发明人发现，在物体的体素的分辨率较低的情况下，根据物体的体素重建物体的三维网格的精准度低，导致三维网格无法满足实际需求。

发明内容

为了提高生成的三维网格的精准度，本申请示出了三维网格生成模型的构建方法、三维网格生成方法及装置。

第一方面，本申请示出了一种三维网格生成方法，所述方法包括：

获取目标对象的多个不同视角的目标图像；

根据所述目标对象的多个不同视角的目标图像获取所述目标对象的目标体素，以及，分别获取所述目标对象的各个视角的目标图像的目标深度特征；

根据所述目标对象的目标体素以及所述目标对象的各个视角的目标图像的目标深度特征获取所述目标对象的目标三维网格。

第二方面，本申请示出了一种三维网格生成模型的构建方法，所述方法包括：

获取至少一个样本数据集，样本数据集中包括：样本对象的多个不同视角的样本图像，以及，所述样本对象的标注三维网格；

构建三维网格生成模型的网络结构；

使用所述样本数据集对所述三维网格生成模型中的网络参数进行训练，直至所述网络参数收敛，得到所述三维网格生成模型；

其中，所述网络结构至少包括体素生成网络、深度特征提取网络以及三维网格生成网络；

所述体素生成网络用于根据所述样本对象的多个不同视角的样本图像获取所述样本对象的样本体素；

所述深度特征提取网络用于分别获取所述样本对象的各个视角的样本图像的样本深度特征；

所述三维网格生成网络用于根据所述样本对象的样本体素以及所述样本对象的各个视角的样本图像的样本深度特征获取所述样本对象的预测三维网格。

第三方面，本申请示出了一种三维网格生成装置，所述装置包括：

第一获取模块，用于获取目标对象的多个不同视角的目标图像；

第二获取模块，用于根据所述目标对象的多个不同视角的目标图像获取所述目标对象的目标体素，以及，第三获取模块，用于分别获取所述目标对象的各个视角的目标图像的目标深度特征；

第四获取模块，用于根据所述目标对象的目标体素以及所述目标对象的各个视角的目标图像的目标深度特征获取所述目标对象的目标三维网格。

第四方面，本申请示出了一种三维网格生成模型的构建装置，所述装置包括：

第五获取模块，用于获取至少一个样本数据集，样本数据集中包括：样本对象的多个不同视角的样本图像，以及，所述样本对象的标注三维网格；

构建模块，用于构建三维网格生成模型的网络结构；

训练模块，用于使用所述样本数据集对所述三维网格生成模型中的网络参数进行训练，直至所述网络参数收敛，得到所述三维网格生成模型；

其中，所述网络结构至少包括体素生成网络、深度特征提取网络以及三维网格生成网络；

所述体素生成网络用于根据所述样本对象的多个不同视角的样本图像获取所述样本对象的样本体素；

所述深度特征提取网络用于分别获取所述样本对象的各个视角的样本图像的样本深度特征；

所述三维网格生成网络用于根据所述样本对象的样本体素以及所述样本对象的各个视角的样本图像的样本深度特征获取所述样本对象的预测三维网格。

第五方面，本申请示出了一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行如第一方面所述的三维网格生成方法。

第六方面，本申请示出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的三维网格生成方法。

第七方面，本申请示出了一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的三维网格生成方法。

第八方面，本申请示出了一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行如第二方面所述的三维网格生成模型的构建方法。

第九方面，本申请示出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第二方面所述的三维网格生成模型的构建方法。

第十方面，本申请示出了一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行如第二方面所述的三维网格生成模型的构建方法。

与现有技术相比，本申请实施例包括以下优点：

在本申请中，获取目标对象的多个不同视角的目标图像，根据目标对象的多个不同视角的目标图像获取目标对象的目标体素，以及，分别获取目标对象的各个视角的目标图像的目标深度特征，然后根据目标对象的目标体素以及目标对象的各个视角的目标图像的目标深度特征获取目标对象的目标三维网格。

通过本申请，一方面，目标对象的各个视角的目标图像的目标深度特征可以是根据目标对象的各个视角的目标图像直接获取到的，目标对象的各个视角的目标图像的目标深度特征可以准确地体现各个视角的目标图像中的目标对象的深度信息，如此，使用目标对象的各个视角的目标图像的目标深度特征直接地或间接地对目标对象的目标体素优化(例如微调或者精修等)，可以提高获取到的目标对象的目标三维网格的精准度。

另一方面，如果某些目标图像中的目标对象存在被遮挡的情况(目标对象被遮挡住至少一部分，导致图像信息不完整)，在这种情况下，由于本申请是根据目标对象的多个不同视角的目标图像获取目标对象的目标体素，因此，可以从多个不同视角的目标图像中学习出目标对象的大量的图像特征，从而可以补全图像信息，解决由于遮挡而导致图像信息不完整的问题，从而可以避免由于遮挡问题而影响获取的目标对象的目标三维网格的精准度。

又一方面，在获取目标对象的目标三维网格时，可以根据目标对象的目标体素生成目标对象的待优化三维网格，然后根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格优化，得到目标三维网格。

可见，优化过程是对三维网格的优化，表示三维网格的数据的数据量较低，且往往低于表示体素的数据的数据量，因此，相比于直接对体素处理的方式，本申请中的“先根据目标对象的目标体素生成目标对象的待优化三维网格，后续直接对三维网格优化”的方式可以减少优化过程涉及的计算数据量，从而可以提高优化效率以及节省计算资源。

又一方面，在对待优化三维网格优化时，可以使用图卷积神经网络对待优化三维网格优化，借助图卷积神经网络的强大的图像处理能力，从而可以提高优化程度，进而可以进一步地提高获取的目标对象的目标三维网格的精准度。

又一方面，在对待优化三维网格优化时，可以根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格依次进行多轮优化，每一轮优化都可以对上一轮优化得到的三维网格继续进一步优化，从而实现对待优化三维网格由粗糙至精细的多层次优化，进而可以进一步地提高获取的目标对象的目标三维网格的精准度。

又一方面，由于本申请可以根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格优化，以提高三维网格的精准度，因此，可以支持在之前“根据目标对象的目标体素生成目标对象的待优化三维网格”时，可以生成精准度较低的待优化三维网格，由于支持生成精准度较低的待优化三维网格，从而可以支持在“根据目标对象的目标体素生成目标对象的待优化三维网格”时可以使用分辨率低的体素，表示分辨率低的体素的数据的数据量低，从而可以减少在“根据目标对象的目标体素生成目标对象的待优化三维网格”时涉及的计算数据量，从而可以提高生成目标对象的待优化三维网格的效率以及节省计算资源。

附图说明

图1是本申请示出的一种三维网格生成模型的构建方法的步骤流程图。

图2是本申请示出的一种三维网格生成模型的网络结构的示意图。

图3是本申请示出的一种三维网格生成模型的网络结构的示意图。

图4是本申请示出的一种三维网格生成模型的网络结构的示意图。

图5是本申请示出的一种三维网格生成模型的网络结构的示意图。

图6是本申请示出的一种三维网格生成模型的网络结构的示意图。

图7是本申请示出的一种三维网格生成模型的网络结构的示意图。

图8是本申请示出的一种三维网格生成方法的步骤流程图。

图9是本申请示出的一种三维网格生成模型的构建装置的结构框图。

图10是本申请示出的一种三维网格生成装置的结构框图。

图11是本申请示出的装置的结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

为了能够提高生成的三维网格的精准度，参照图1，示出了本发明实施例的一种三维网格生成模型的构建方法的步骤流程图，通过该方法可以构建三维网格生成模型，之后可以基于三维网格生成模型来根据对象的多个不同视角的图像生成对象的三维网格，以提高生成的三维网格的精准度。

其中，该方法应用于电子设备中，该方法具体可以包括如下步骤：

在步骤S101中，获取至少一个样本数据集，样本数据集中包括：样本对象的多个不同视角的样本图像，以及，样本对象的标注三维网格。

样本对象包括立体的物体等，例如，人物、沙发、车辆、树木以及建筑等。

样本数据集可以为多个，不同的样本数据集中可以包括不同样本对象的样本图像。同一个样本数据集中，各个样本图像中的样本对象的视角不同。

视角可以理解为观看/采集样本对象的方向或角度。例如，以车辆为例，以车辆正前方观看车辆为一个视角，以车辆的左侧观看车辆为一个视角，以车辆的右侧观看车辆为一个视角，以车辆的左前侧观看车辆为一个视角，以车辆的右前侧观看车辆为一个视角，以车辆的左后侧观看车辆为一个视角，以车辆的右后侧观看车辆为一个视角，以及，以车辆正后方观看车辆为一个视角等。

样本图像可以包括RGB图像等，样本图像中还可以包括样本对象对应的相机参数，其中，在采集样本对象的样本图像时，可以使用相机采集样本对象的样本图像，相机可以自行获取到相机与样本对象之间的相对位置关系，作为相机参数，在相机采集到样本对象的样本图像之后，可以将相机参数添加在样本图像中。

本申请中的三维网格可以包括三角形网格、四边形网格或五边形网格等等。通过三维网格可以模拟三维物体的表面等。

在步骤S102中，构建三维网格生成模型的网络结构。

参见图2，在本申请一个实施例中，三维网格生成模型的网络结构至少包括体素生成网络、深度特征提取网络以及三维网格生成网络。

深度特征提取网络可以包括MVSNet(Multiple View Stereo Net，多视角立体视觉网络)、CascadeMVSNet(Cascade Multiple View Stereo Net，层叠多视角立体视觉网络)或PointMVSNet(Point Multiple View Stereo Net，点多视角立体视觉网络)等，当然，也可以包括其他用于提取深度特征的网络，本申请对此不加以限定。

体素生成网络用于根据样本对象的多个不同视角的样本图像获取样本对象的样本体素。

深度特征提取网络用于分别获取样本对象的各个视角的样本图像的样本深度特征。

在一个实施例中，在获取样本对象的各个视角的样本图像的样本深度特征时，可以参考各个样本图像中的样本对象对应的相机参数等，以提高获取的样本对象的各个视角的样本图像的样本深度特征的准确度。

三维网格生成网络用于根据样本对象的样本体素以及样本对象的各个视角的样本图像的样本深度特征获取样本对象的预测三维网格。

其中，三维网格生成模型的输入端包括体素生成网络的输入端以及深度特征提取网络的输入端。

三维体素生成网络的输出端与三维网格生成网络的输入端连接。

深度特征提取网络的输出端与三维网格生成网络的输入端连接。

三维网格生成模型的输出端包括三维网格生成网络的输出端。

在本申请中，可以基于需求来构建三维网格生成模型的网络结构，构建的三维网格生成模型之后可能会应用到不同的应用场景中，不同的应用场景适用的三维网格生成模型的网络结构不同。

在本申请中，以图2～图7所述的三维网格生成模型的网络结构进行举例说明，但不作为对本申请保护范围的限制。

在步骤S103中，使用样本数据集对三维网格生成模型中的网络参数进行训练，直至网络参数收敛，得到三维网格生成模型。

在本申请中，在构建出三维网格生成模型的网络结构之后，就可以根据至少一个样本数据集对三维网格生成模型中的网络参数进行训练。

在训练过程中，可以在三维网格生成模型输入样本对象的多个不同视角的样本图像，以使三维网格生成模型中的体素生成网络根据样本对象的多个不同视角的样本图像获取样本对象的样本体素，然后将样本对象的样本体素输入三维网格生成网络；以及，以使三维网格生成模型中的深度特征提取网络用于分别获取样本对象的各个视角的样本图像的样本深度特征，然后将样本图像的样本深度特征输入三维网格生成网络。

之后三维网格生成模型中的三维网格生成网络可以根据样本对象的样本体素以及样本对象的各个视角的样本图像的样本深度特征获取样本对象的预测三维网格。

之后可以借助损失函数，并基于样本对象的预测三维网格与样本对象的标注三维网格调整三维网格生成模型中的网络结构中的网络参数，直至三维网格生成模型中的网络参数收敛，从而就可以完成训练，得到的三维网格生成模型即可上线使用。

在图2所示的实施例的基础之上，在本申请另一个实施例中，参见图3，体素生成网络包括：卷积神经网络、体素生成层以及体素融合层。

卷积神经网络用于分别获取样本对象的各个视角的样本图像的样本卷积特征。

体素生成层用于根据样本对象的各个视角的样本图像的样本卷积特征分别生成样本对象对应各个视角的视角体素。

在一个实施例中，在生成样本对象对应各个视角的视角体素时，可以参考各个样本图像中的样本对象对应的相机参数等，以提高生成的样本对象对应各个视角的视角体素的准确度。

体素融合层用于将样本对象对应各个视角的视角体素融合，得到样本对象的样本体素。

其中，体素生成网络的输入端包括卷积神经网络输入端。

卷积神经网络的输出端与体素生成层的输入端连接。

体素生成层的输出端与体素融合层的输入端连接。

体素生成网络的输出端包括体素融合层的输出端。

在图3所示的实施例的基础之上，在本申请另一个实施例中，参见图4，三维网格生成网络包括：三维网格生成层以及三维网格优化层。

三维网格生成层用于根据样本对象的样本体素生成样本对象的待优化三维网格。

三维网格优化层用于根据样本对象的各个视角的样本图像的样本深度特征对待优化三维网格优化，得到预测三维网格。

其中，三维网格生成层的输入端与体素生成层的输出端连接。

三维网格生成层的输出端与三维网格优化层的输入端连接。

三维网格优化层的输入端还与深度特征提取网络的输出端连接。

三维网格生成网络的输出端包括三维网格优化层的输出端。

在图4所示的实施例的基础之上，在本申请另一个实施例中，参见图5，三维网格优化层包括：图卷积神经网络(Graph Convolutional Network)以及对比深度特征提取网络。

对比深度特征提取网络用于获取待优化三维网格的深度特征与样本对象的各个视角的样本图像的样本深度特征之间的样本深度差异信息。

图卷积神经网络用于根据样本深度差异信息对待优化三维网格优化，得到预测三维网格。

其中，对比深度特征提取网络的输入端与三维网格生成网络的输出端连接。

对比深度特征提取网络的输入端还与深度特征提取网络的输出端连接。

对比深度特征提取网络的输出端与图卷积神经网络的输入端连接。

图卷积神经网络的输入端还与三维网格生成网络的输出端连接。

三维网格优化层的输出端包括图卷积神经网络的输出端。

在图5所示的实施例的基础之上，在本申请另一个实施例中，参见图6，对比深度特征提取网络包括：神经渲染器(Neural Renderer)以及对比深度特征提取器(ContrastiveFeature Extractor)。

神经渲染器用于获取待优化三维网格的各个视角的深度特征。

在一个实施例中，在获取待优化三维网格的各个视角的深度特征时，可以参考各个样本图像中的样本对象对应的相机参数等，以提高获取的待优化三维网格的各个视角的深度特征的准确度。

对比深度特征提取器用于分别获取相同视角的三维网格的深度特征与样本图像的样本深度特征之间的样本深度差异信息。

其中，神经渲染器的输入端与三维网格生成层的输出端连接。

神经渲染器的输出端与对比深度特征提取器的输入端连接。

对比深度特征提取器的输入端还与深度特征提取网络的输出端连接。

对比深度特征提取网络的输出端包括深度特征提取器的输出端。

在图4所示的实施例的基础之上，在本申请另一个实施例中，参见图7，三维网格优化层为多个，且多个三维网格优化层之间级联排列；

排列顺序为首位的三维网格优化层用于根据样本对象的各个视角的样本图像的样本深度特征对待优化三维网格优化；

其中，在级联排列的相邻的任意两个三维网格优化层中，排列顺序靠后的三维网格优化层用于根据样本对象的各个视角的样本图像的样本深度特征对排列顺序靠前的三维网格优化层输出的中间三维网格优化。

排列顺序为末位的三维网格优化层用于根据样本对象的各个视角的样本图像的样本深度特征对排列顺序为次末位(倒数第二位)输出的中间三维网格优化，得到预测三维网格。

其中，级联排列的相邻的任意两个三维网格优化层中，排列顺序靠前的三维网格优化层的输出端与排列顺序靠后的三维网格优化层的输入端连接；

三维网格生成层的输出端与排列顺序为首位的三维网格优化层的输入端连接；

各个三维网格优化层的输入端还分别与深度特征提取网络的输出端连接；

三维网格生成网络的输出端包括排列顺序为末位的三维网格优化层的输出端。

其中，通过图2～图7所示的实施例，可以分别构建多个不同的网络结构的三维网格生成模型，之后可以根据实际情况选择不同网络结构的三维网格生成模型来根据对象的多个不同视角的图像生成对象的三维网格。

通过本申请构建的三维网格生成模型，可以支持获取目标对象的多个不同视角的目标图像，根据目标对象的多个不同视角的目标图像获取目标对象的目标体素，以及，分别获取目标对象的各个视角的目标图像的目标深度特征，然后根据目标对象的目标体素以及目标对象的各个视角的目标图像的目标深度特征获取目标对象的目标三维网格。

如此，一方面，目标对象的各个视角的目标图像的目标深度特征可以是本申请构建的三维网格生成模型根据目标对象的各个视角的目标图像直接获取到的，目标对象的各个视角的目标图像的目标深度特征可以准确地体现各个视角的目标图像中的目标对象的深度信息，如此，本申请构建的三维网格生成模型使用目标对象的各个视角的目标图像的目标深度特征直接地或间接地对目标对象的目标体素优化(例如微调或者精修等)，可以提高获取到的目标对象的目标三维网格的精准度。

另一方面，如果某些目标图像中的目标对象存在被遮挡的情况(目标对象被遮挡住至少一部分，导致图像信息不完整)，在这种情况下，由于本申请是本申请构建的三维网格生成模型可以根据目标对象的多个不同视角的目标图像获取目标对象的目标体素，因此，本申请构建的三维网格生成模型可以从多个不同视角的目标图像中学习出目标对象的大量的图像特征，从而可以补全图像信息，解决由于遮挡而导致图像信息不完整的问题，从而可以避免由于遮挡问题而影响获取的目标对象的目标三维网格的精准度。

又一方面，在获取目标对象的目标三维网格时，本申请构建的三维网格生成模型可以根据目标对象的目标体素生成目标对象的待优化三维网格，然后根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格优化，得到目标三维网格。

可见，优化过程是对三维网格的优化，表示三维网格的数据的数据量较低，且往往低于表示体素的数据的数据量，因此，相比于直接对体素处理的方式，本申请中的“本申请构建的三维网格生成模型先根据目标对象的目标体素生成目标对象的待优化三维网格，后续直接对三维网格优化”的方式可以减少优化过程涉及的计算数据量，从而可以提高优化效率以及节省计算资源。

又一方面，在对待优化三维网格优化时，可以使用本申请构建的三维网格生成模型中的图卷积神经网络对待优化三维网格优化，借助图卷积神经网络的强大的图像处理能力，从而可以提高优化程度，进而可以进一步地提高获取的目标对象的目标三维网格的精准度。

又一方面，在对待优化三维网格优化时，本申请构建的三维网格生成模型可以根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格依次进行多轮优化，每一轮优化都可以对上一轮优化得到的三维网格继续进一步优化，从而实现对待优化三维网格由粗糙至精细的多层次优化，进而可以进一步地提高获取的目标对象的目标三维网格的精准度。

又一方面，由于本申请构建的三维网格生成模型可以根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格优化，以提高三维网格的精准度，因此，可以支持在之前“根据目标对象的目标体素生成目标对象的待优化三维网格”时，可以生成精准度较低的待优化三维网格，由于支持生成精准度较低的待优化三维网格，从而可以支持在“根据目标对象的目标体素生成目标对象的待优化三维网格”时可以使用分辨率低的体素，表示分辨率低的体素的数据的数据量低，从而可以减少在“根据目标对象的目标体素生成目标对象的待优化三维网格”时涉及的计算数据量，从而可以提高生成目标对象的待优化三维网格的效率以及节省计算资源。

在训练得到三维网格生成模型之后，就可以将训练得到的三维网格生成模型部署在线上应用，如此，如果电子设备需要根据目标对象的多个不同视角的目标图像生成目标对象的目标三维网格，则电子设备可以在将目标对象的多个不同视角的目标图像输入基于前述实施例训练出的三维网格生成模型中，以使三维网格生成模型根据目标对象的多个不同视角的目标图像生成目标对象的三维网格，并输出目标对象的三维网格，如此，电子设备就可以得到目标对象的三维网格。

具体地，三维网格生成模型根据目标对象的多个不同视角的目标图像生成目标对象的三维网格的具体过程可以参见图8所示的实施例，在此不做详述。

例如，参照图8，示出了本申请一种三维网格生成方法的流程示意图，该方法应用于电子设备中，该方法可以包括：

在步骤S201中，获取目标对象的多个不同视角的目标图像。

目标对象包括立体的物体等，例如，人物、沙发、车辆、树木以及建筑等。

各个目标图像中的目标对象的视角不同。

视角可以理解为观看/采集目标对象的方向或角度。例如，以车辆为例，以车辆正前方观看车辆为一个视角，以车辆的左侧观看车辆为一个视角，以车辆的右侧观看车辆为一个视角，以车辆的左前侧观看车辆为一个视角，以车辆的右前侧观看车辆为一个视角，以车辆的左后侧观看车辆为一个视角，以车辆的右后侧观看车辆为一个视角，以及，以车辆正后方观看车辆为一个视角等。

目标图像可以包括RGB图像等，目标图像中还可以包括目标对象对应的相机参数，其中，在采集目标对象的目标图像时，可以使用相机采集目标对象的目标图像，相机可以自行获取到相机与目标对象之间的相对位置关系，作为相机参数，在相机采集到目标对象的目标图像之后，可以将相机参数添加在目标图像中。

在步骤S202中，根据目标对象的多个不同视角的目标图像获取目标对象的目标体素，以及，分别获取目标对象的各个视角的目标图像的目标深度特征。

在本申请中，可以将目标对象的多个不同视角的目标图像输入三维网格生成模型中，以使三维网格生成模型使用其中包括的深度特征提取网络对目标对象的多个不同视角的目标图像进行多视角深度估计(Multi View Depth Estimation)，从而得到目标对象的各个视角的目标图像的目标深度特征。

在一个实施例中，在获取目标对象的各个视角的目标图像的目标深度特征时，可以参考各个目标图像中的目标对象对应的相机参数等，以提高获取的目标对象的各个视角的目标图像的目标深度特征的准确度。

深度特征提取网络可以包括MVSNet、CascadeMVSNet或PointMVSNet等，当然，也可以包括其他用于提取深度特征的网络，本申请对此不加以限定。

其中，三维网格生成模型可以使用其中包括的体素生成网络根据目标对象的多个不同视角的目标图像获取目标对象的目标体素。

具体地，在根据目标对象的多个不同视角的目标图像获取目标对象的目标体素时，可以通过如下流程实现，包括

11)、分别获取目标对象的各个视角的目标图像的目标卷积特征。

对于目标对象的任意一个视角的目标图像，可以将该目标图像输入三维网格生成模型中的、体素生成网络中的卷积神经网络中，以使卷积神经网络对该目标图像处理，得到该目标图像的目标卷积特征。

对于目标对象的其他每一个视角的目标图像，同样如此。

12)、根据目标对象的各个视角的目标图像的目标卷积特征分别生成目标对象对应各个视角的视角体素。

对于目标对象的任意一个视角的目标图像的目标卷积特征，可以将该目标卷积特征输入三维网格生成模型中的、体素生成网络中的体素生成层中，以使体素生成层对该目标卷积特征处理，得到目标对象对应该视角的视角体素，体素生成层对该目标卷积特征处理可以参见当前已经存在处理方式，本申请对此不加以限定。

对于目标对象的其他每一个视角的目标图像的目标卷积特征，同样如此。从而目标对象对应各个视角的视角体素。

在一个实施例中，在生成目标对象对应各个视角的视角体素时，可以参考各个目标图像中的目标对象对应的相机参数等，以提高生成的目标对象对应各个视角的视角体素的准确度。

13)、将目标对象对应各个视角的视角体素融合，得到目标对象的目标体素。

本申请对将多个视角体素融合的方法不做限定，在一个可选的例子中，假设目标对象对应各个视角的视角体素均为三维矩阵(其中包括多个元素，例如，包括多个特征向量等)，则可以在目标对象对应各个视角的视角体素中，将目标对象的相同位置对应的元素求和，从而实现将目标对象对应各个视角的视角体素融合。或者，计算目标对象的相同位置对应的元素的加权平均值，从而实现将目标对象对应各个视角的视角体素融合。

在步骤S203中，根据目标对象的目标体素以及目标对象的各个视角的目标图像的目标深度特征获取目标对象的目标三维网格。

本申请中的三维网格可以包括三角形网格、四边形网格或五边形网格等等。通过三维网格可以模拟三维物体的表面等。

其中，本步骤可以通过如下流程实现，包括：

2031、根据目标对象的目标体素生成目标对象的待优化三维网格。

在本申请中，可以对目标对象的目标体素进行立方体化(Cubified)操作，从而得到目标对象的待优化三维网格。例如，根据目标对象的目标体素占用概率以及预先设定的二值化体素阈值，然后通过立方体化操作，将融合后的体素转化为目标对象的待优化三维网格。

本申请对根据体素生成三维网格的具体生成方法不做限定，具体也可以参见当前已经存在的方法。

2032、根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格优化，得到目标三维网格。

在申请一个实施例中，步骤2032可以通过通过流程实现，包括：

11)、获取待优化三维网格的深度特征与目标对象的各个视角的目标图像的目标深度特征之间的目标深度差异信息。

例如，可以获取待优化三维网格的各个视角的深度特征。例如，可以根据神经渲染器获取待优化三维网格的各个视角的深度特征。在一个例子中，可以将待优化三维网格输入三维网格生成模型中的三维网格生成网络中的、三维网格优化层中的、对比深度特征提取网络中的神经渲染器，以使神经渲染器对待优化三维网格处理，得到待优化三维网格的各个视角的深度特征，待优化三维网格的各个视角的深度特征中的“各个视角”与目标对象的多个不同视角的目标图像中的“多个不同的视角”之间一一对应。

在一个实施例中，在获取待优化三维网格的各个视角的深度特征时，可以参考各个目标图像中的目标对象对应的相机参数等，以提高获取的待优化三维网格的各个视角的深度特征的准确度。

然后，可以分别获取相同视角的三维网格的深度特征与目标图像的目标深度特征之间的目标深度差异信息。例如，对于任意一个视角，可以根据对比深度特征提取器获取该视角的三维网格的深度特征与该视角的目标图像深度特征之间的目标深度差异信息，在一个例子中，可以将该视角的三维网格的深度特征与该视角的目标图像深度特征输入三维网格生成模型中的三维网格生成网络中的、三维网格优化层中的、对比深度特征提取网络中的对比深度特征提取器中，以使对比深度特征提取器对该视角的三维网格的深度特征与该视角的目标图像深度特征处理，得到该视角的三维网格的深度特征与该视角的目标图像深度特征之间的目标深度差异信息，对于其他每一个视角，同样如此。

12)、根据目标深度差异信息对待优化三维网格优化，得到目标三维网格。

在本申请中，可以根据目标深度差异信息使用图卷积神经网络对待优化三维网格优化，得到目标三维网格。

例如，在一个例子中，可以将目标差异深度信息输入三维网格生成模型中的三维网格生成网络中的、三维网格优化层中的图卷积神经网络中，以及将待优化三维网格输入三维网格生成模型中的三维网格生成网络中的、三维网格优化层中的图卷积神经网络中，以使图卷积神经网络对根据目标深度差异信息对待优化三维网格优化，得到目标三维网格，得到目标三维网格的精准度高于待优化三维网格的精准度。

在本申请另一个实施例中。在步骤S2023中，在对待优化三维网格优化时，可以根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格依次进行多轮优化，实现对待优化三维网格由粗糙至精细的多层次优化，进而可以进一步地提高获取的目标对象的目标三维网格的精准度。

具体地，根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格优化，得到第1中间三维网格；

根据目标对象的各个视角的目标图像的目标深度特征对第1中间三维网格优化，得到第2中间三维网格，依次类推，根据目标对象的各个视角的目标图像的目标深度特征对第N-1中间三维网格优化，得到第N中间三维网格；N为大于1的正整数；N的具体取值可以根据实际情况而定，本申请对此不加以限定。

根据目标对象的各个视角的目标图像的目标深度特征对第N中间三维网格优化，得到目标三维网格。

在本申请中，获取目标对象的多个不同视角的目标图像，根据目标对象的多个不同视角的目标图像获取目标对象的目标体素，以及，分别获取目标对象的各个视角的目标图像的目标深度特征，然后根据目标对象的目标体素以及目标对象的各个视角的目标图像的目标深度特征获取目标对象的目标三维网格。

通过本申请，一方面，目标对象的各个视角的目标图像的目标深度特征可以是根据目标对象的各个视角的目标图像直接获取到的，目标对象的各个视角的目标图像的目标深度特征可以准确地体现各个视角的目标图像中的目标对象的深度信息，如此，使用目标对象的各个视角的目标图像的目标深度特征直接地或间接地对目标对象的目标体素优化(例如微调或者精修等)，可以提高获取到的目标对象的目标三维网格的精准度。

另一方面，如果某些目标图像中的目标对象存在被遮挡的情况(目标对象被遮挡住至少一部分，导致图像信息不完整)，在这种情况下，由于本申请是根据目标对象的多个不同视角的目标图像获取目标对象的目标体素，因此，可以从多个不同视角的目标图像中学习出目标对象的大量的图像特征，从而可以补全图像信息，解决由于遮挡而导致图像信息不完整的问题，从而可以避免由于遮挡问题而影响获取的目标对象的目标三维网格的精准度。

又一方面，在获取目标对象的目标三维网格时，可以根据目标对象的目标体素生成目标对象的待优化三维网格，然后根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格优化，得到目标三维网格。

可见，优化过程是对三维网格的优化，表示三维网格的数据的数据量较低，且往往低于表示体素的数据的数据量，因此，相比于直接对体素处理的方式，本申请中的“先根据目标对象的目标体素生成目标对象的待优化三维网格，后续直接对三维网格优化”的方式可以减少优化过程涉及的计算数据量，从而可以提高优化效率以及节省计算资源。

又一方面，在对待优化三维网格优化时，可以使用图卷积神经网络对待优化三维网格优化，借助图卷积神经网络的强大的图像处理能力，从而可以提高优化程度，进而可以进一步地提高获取的目标对象的目标三维网格的精准度。

又一方面，在对待优化三维网格优化时，可以根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格依次进行多轮优化，每一轮优化都可以对上一轮优化得到的三维网格继续进一步优化，从而实现对待优化三维网格由粗糙至精细的多层次优化，进而可以进一步地提高获取的目标对象的目标三维网格的精准度。

又一方面，由于本申请可以根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格优化，以提高三维网格的精准度，因此，可以支持在之前“根据目标对象的目标体素生成目标对象的待优化三维网格”时，可以生成精准度较低的待优化三维网格，由于支持生成精准度较低的待优化三维网格，从而可以支持在“根据目标对象的目标体素生成目标对象的待优化三维网格”时可以使用分辨率低的体素，表示分辨率低的体素的数据的数据量低，从而可以减少在“根据目标对象的目标体素生成目标对象的待优化三维网格”时涉及的计算数据量，从而可以提高生成目标对象的待优化三维网格的效率以及节省计算资源。

通过本申请生成的三维网格可以应用于对象的三维展示场景，例如，应用于基于云端的展会中的对象的三维展示。在一个例子中，展会中具有展示对象，在一些用户无法亲身前往展会的情况下，可以将展会中的展示对象进行三维重构，得到展会中的展示对象的三维网格，并将展会中的展示对象的三维网格上传至云端中，进而使得用户可以从云端下载并查看展会中的展示对象的三维网格，以供用户可以看到展会中的展示对象的立体结构，以对展会中的展示对象进行了解。

通过本申请生成的三维网格还可以应用于AR(Augmented Reality，增强现实)看房场景或VR(Virtual Reality虚拟现实)看房场景。例如，可以构建房屋内的各个对象(家具家电等，或者，硬装软装等)的三维网格以及构建房屋的三维网格，以供用户可以看到房屋的立体结构以及房屋中的对象的立体结构，以带给用户更加真实的看房感受。

通过本申请生成的三维网格还可以应用于地图场景，例如，在用户查看某一区域地图时，可以生成该区域中的对象(道路、树木、山体、河流以及建筑等)的三维网格，以供用户可以在地图上看到该区域中的对象的立体结构，以带给用户更加贴近真实的查看地图的感受。

通过本申请生成的三维网格还可以应用于对象的3D打印、对象(例如古董等)的数字化保存、在大量对象中搜索对象(商品搜索或遗失人/物搜索等)、人的身份识别、对至少两个对象的形状或体积进行对比以及对已经遗失的对象(例如古董等)进行立体重构等。

在本申请中，图8所示的根据目标对象的多个不同视角的目标图像获取目标对象的目标三维网格的流程的触发条件可以是人工触发的。

例如，在用户需要使得电子设备生成目标对象的目标三维网格的情况下，用户可以在电子设备中输入生成操作，以使电子设备根据生成操作开始执行图2所示的实施例，以根据目标对象的多个不同视角的目标图像获取目标对象的目标三维网格。

其中，生成操作可以包括改变电子设备的姿态的改变操作、在电子设备的触摸屏上输入特定手势的输入操作、在电子设备中输入特定语音指令的输入操作、在电子设备上输入特定的面部表情动作的输入操作以及点击电子设备的触摸屏上显示的特定的虚拟按钮的点击操作等。

本申请提供的方法可以为电子设备(如手机、电脑、PAD等)中的某个应用程序的工作方法，相应的，本发明提供的存储器可以为电子设备的存储介质，该应用程序调用电子设备的摄像机、存储器、处理器等硬件，以实现上述方法。

参照图9，示出了本申请一种三维网格生成模型的构建装置的实施例的结构框图，具体可以包括如下模块：

第五获取模块11，用于获取至少一个样本数据集，样本数据集中包括：样本对象的多个不同视角的样本图像，以及，所述样本对象的标注三维网格；

构建模块12，用于构建三维网格生成模型的网络结构；

训练模块13，用于使用所述样本数据集对所述三维网格生成模型中的网络参数进行训练，直至所述网络参数收敛，得到所述三维网格生成模型；

其中，所述网络结构至少包括体素生成网络、深度特征提取网络以及三维网格生成网络；

所述体素生成网络用于根据所述样本对象的多个不同视角的样本图像获取所述样本对象的样本体素；

所述深度特征提取网络用于分别获取所述样本对象的各个视角的样本图像的样本深度特征；

所述三维网格生成网络用于根据所述样本对象的样本体素以及所述样本对象的各个视角的样本图像的样本深度特征获取所述样本对象的预测三维网格。

在一个可选的实现方式中，所述体素生成网络包括：卷积神经网络、体素生成层以及体素融合层；

所述卷积神经网络用于分别获取所述样本对象的各个视角的样本图像的样本卷积特征；

所述体素生成层用于根据所述样本对象的各个视角的样本图像的样本卷积特征分别生成所述样本对象对应各个视角的视角体素；

所述体素融合层用于将所述样本对象对应各个视角的视角体素融合，得到所述样本对象的样本体素。

在一个可选的实现方式中，所述三维网格生成网络包括：三维网格生成层以及三维网格优化层；

所述三维网格生成层用于根据所述样本对象的样本体素生成所述样本对象的待优化三维网格；

所述三维网格优化层用于根据所述样本对象的各个视角的样本图像的样本深度特征对所述待优化三维网格优化，得到所述预测三维网格。

在一个可选的实现方式中，所述三维网格优化层包括：图卷积神经网络以及对比深度特征提取网络；

所述对比深度特征提取网络用于获取所述待优化三维网格的深度特征与所述样本对象的各个视角的样本图像的样本深度特征之间的样本深度差异信息；

所述图卷积神经网络用于根据所述样本深度差异信息对所述待优化三维网格优化，得到所述预测三维网格。

在一个可选的实现方式中，所述对比深度特征提取网络包括：神经渲染器以及对比深度特征提取器；

所述神经渲染器用于获取所述待优化三维网格的各个视角的深度特征；

所述对比深度特征提取器用于分别获取相同视角的三维网格的深度特征与样本图像的样本深度特征之间的样本深度差异信息。

在一个可选的实现方式中，所述三维网格优化层为多个，且多个三维网格优化层之间级联排列；

排列顺序为首位的三维网格优化层用于根据所述样本对象的各个视角的样本图像的样本深度特征对所述待优化三维网格优化；

其中，在级联排列的相邻的任意两个三维网格优化层中，排列顺序靠后的三维网格优化层用于根据所述样本对象的各个视角的样本图像的样本深度特征对排列顺序靠前的三维网格优化层输出的中间三维网格优化；

排列顺序为末位的三维网格优化层用于根据所述样本对象的各个视角的样本图像的样本深度特征对排列顺序为次末位的三维网格优化层输出的中间三维网格优化，得到所述预测三维网格。

在一个可选的实现方式中，所述三维网格生成模型的输入端包括体素生成网络的输入端以及所述深度特征提取网络的输入端；

所述三维体素生成网络的输出端与三维网格生成网络的输入端连接；

所述深度特征提取网络的输出端与三维网格生成网络的输入端连接；

所述三维网格生成模型的输出端包括所述三维网格生成网络的输出端。

在一个可选的实现方式中，所述体素生成网络包括：卷积神经网络、体素生成层以及体素融合层；

所述体素生成网络的输入端包括所述卷积神经网络输入端；

所述卷积神经网络的输出端与所述体素生成层的输入端连接；

所述体素生成层的输出端与所述体素融合层的输入端连接；

所述体素生成网络的输出端包括所述体素融合层的输出端。

在一个可选的实现方式中，所述三维网格生成网络包括：三维网格生成层以及三维网格优化层；

所述三维网格生成层的输入端与所述体素生成层的输出端连接；

所述三维网格生成层的输出端与三维网格优化层的输入端连接；

所述三维网格优化层的输入端还与所述深度特征提取网络的输出端连接；

所述三维网格生成网络的输出端包括所述三维网格优化层的输出端。

在一个可选的实现方式中，所述三维网格优化层包括：图卷积神经网络以及对比深度特征提取网络；

所述对比深度特征提取网络的输入端与所述三维网格生成网络的输出端连接；

所述对比深度特征提取网络的输入端还与所述深度特征提取网络的输出端连接；

所述对比深度特征提取网络的输出端与所述图卷积神经网络的输入端连接；

所述图卷积神经网络的输入端还与所述三维网格生成网络的输出端连接；

所述三维网格优化层的输出端包括所述图卷积神经网络的输出端。

在一个可选的实现方式中，所述对比深度特征提取网络包括：神经渲染器以及对比深度特征提取器；

所述神经渲染器的输入端与所述三维网格生成层的输出端连接；

所述神经渲染器的输出端与所述对比深度特征提取器的输入端连接；

所述对比深度特征提取器的输入端还与所述深度特征提取网络的输出端连接；

所述对比深度特征提取网络的输出端包括所述深度特征提取器的输出端。

在一个可选的实现方式中，所述三维网格优化层为多个，且多个三维网格优化层之间级联排列；

其中，级联排列的相邻的任意两个三维网格优化层中，排列顺序靠前的三维网格优化层的输出端与排列顺序靠后的三维网格优化层的输入端连接；

所述三维网格生成层的输出端与排列顺序为首位的三维网格优化层的输入端连接；

各个三维网格优化层的输入端还分别与所述深度特征提取网络的输出端连接；

所述三维网格生成网络的输出端包括排列顺序为末位的三维网格优化层的输出端。

通过本申请构建的三维网格生成模型，可以支持获取目标对象的多个不同视角的目标图像，根据目标对象的多个不同视角的目标图像获取目标对象的目标体素，以及，分别获取目标对象的各个视角的目标图像的目标深度特征，然后根据目标对象的目标体素以及目标对象的各个视角的目标图像的目标深度特征获取目标对象的目标三维网格。

如此，一方面，目标对象的各个视角的目标图像的目标深度特征可以是本申请构建的三维网格生成模型根据目标对象的各个视角的目标图像直接获取到的，目标对象的各个视角的目标图像的目标深度特征可以准确地体现各个视角的目标图像中的目标对象的深度信息，如此，本申请构建的三维网格生成模型使用目标对象的各个视角的目标图像的目标深度特征直接地或间接地对目标对象的目标体素优化(例如微调或者精修等)，可以提高获取到的目标对象的目标三维网格的精准度。

另一方面，如果某些目标图像中的目标对象存在被遮挡的情况(目标对象被遮挡住至少一部分，导致图像信息不完整)，在这种情况下，由于本申请是本申请构建的三维网格生成模型可以根据目标对象的多个不同视角的目标图像获取目标对象的目标体素，因此，本申请构建的三维网格生成模型可以从多个不同视角的目标图像中学习出目标对象的大量的图像特征，从而可以补全图像信息，解决由于遮挡而导致图像信息不完整的问题，从而可以避免由于遮挡问题而影响获取的目标对象的目标三维网格的精准度。

又一方面，在获取目标对象的目标三维网格时，本申请构建的三维网格生成模型可以根据目标对象的目标体素生成目标对象的待优化三维网格，然后根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格优化，得到目标三维网格。

可见，优化过程是对三维网格的优化，表示三维网格的数据的数据量较低，且往往低于表示体素的数据的数据量，因此，相比于直接对体素处理的方式，本申请中的“本申请构建的三维网格生成模型先根据目标对象的目标体素生成目标对象的待优化三维网格，后续直接对三维网格优化”的方式可以减少优化过程涉及的计算数据量，从而可以提高优化效率以及节省计算资源。

又一方面，在对待优化三维网格优化时，可以使用本申请构建的三维网格生成模型中的图卷积神经网络对待优化三维网格优化，借助图卷积神经网络的强大的图像处理能力，从而可以提高优化程度，进而可以进一步地提高获取的目标对象的目标三维网格的精准度。

又一方面，在对待优化三维网格优化时，本申请构建的三维网格生成模型可以根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格依次进行多轮优化，每一轮优化都可以对上一轮优化得到的三维网格继续进一步优化，从而实现对待优化三维网格由粗糙至精细的多层次优化，进而可以进一步地提高获取的目标对象的目标三维网格的精准度。

又一方面，由于本申请构建的三维网格生成模型可以根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格优化，以提高三维网格的精准度，因此，可以支持在之前“根据目标对象的目标体素生成目标对象的待优化三维网格”时，可以生成精准度较低的待优化三维网格，由于支持生成精准度较低的待优化三维网格，从而可以支持在“根据目标对象的目标体素生成目标对象的待优化三维网格”时可以使用分辨率低的体素，表示分辨率低的体素的数据的数据量低，从而可以减少在“根据目标对象的目标体素生成目标对象的待优化三维网格”时涉及的计算数据量，从而可以提高生成目标对象的待优化三维网格的效率以及节省计算资源。

参照图10，示出了本申请一种三维网格生成装置的实施例的结构框图，具体可以包括如下模块：

第一获取模块21，用于获取目标对象的多个不同视角的目标图像；

第二获取模块22，用于根据所述目标对象的多个不同视角的目标图像获取所述目标对象的目标体素，以及，第三获取模块23，用于分别获取所述目标对象的各个视角的目标图像的目标深度特征；

第四获取模块24，用于根据所述目标对象的目标体素以及所述目标对象的各个视角的目标图像的目标深度特征获取所述目标对象的目标三维网格。

在一个可选的实现方式中，所述第二获取模块包括：

获取子模块，用于分别获取所述目标对象的各个视角的目标图像的目标卷积特征；

第一生成子模块，用于根据所述目标对象的各个视角的目标图像的目标卷积特征分别生成所述目标对象对应各个视角的视角体素；

融合子模块，用于将所述目标对象对应各个视角的视角体素融合，得到所述目标对象的目标体素。

在一个可选的实现方式中，所述第四获取模块包括：

第二生成子模块，用于根据所述目标对象的目标体素生成所述目标对象的待优化三维网格；

优化子模块，用于根据所述目标对象的各个视角的目标图像的目标深度特征对所述待优化三维网格优化，得到所述目标三维网格。

在一个可选的实现方式中，所述优化子模块包括：

获取单元，用于获取所述待优化三维网格的深度特征与所述目标对象的各个视角的目标图像的目标深度特征之间的目标深度差异信息；

第一优化单元，用于根据所述目标深度差异信息对所述待优化三维网格优化，得到所述目标三维网格。

在一个可选的实现方式中，所述获取单元包括：

第一获取子单元，用于获取所述待优化三维网格的各个视角的深度特征；

第二获取子单元，用于分别获取相同视角的三维网格的深度特征与目标图像的目标深度特征之间的目标深度差异信息。

在一个可选的实现方式中，所述第一获取子单元具体用于：根据神经渲染器获取所述待优化三维网格的各个视角的深度特征。

在一个可选的实现方式中，所述第二获取子单元具体用于：对于每一个视角，根据对比深度特征提取器获取所述视角的三维网格的深度特征与所述视角的目标图像深度特征之间的目标深度差异信息。

在一个可选的实现方式中，所述第一优化单元包括：

优化子单元，用于根据所述目标深度差异信息使用图卷积神经网络对所述待优化三维网格优化，得到所述目标三维网格。

在一个可选的实现方式中，所述优化子模块包括：

第二优化单元，用于根据所述目标对象的各个视角的目标图像的目标深度特征对所述待优化三维网格优化，得到第1中间三维网格；

第三优化单元，用于根据所述目标对象的各个视角的目标图像的目标深度特征对所述第1中间三维网格优化，得到第2中间三维网格，依次类推，根据所述目标对象的各个视角的目标图像的目标深度特征对第N-1中间三维网格优化，得到第N中间三维网格；N为大于1的正整数；

第四优化单元，用于根据所述目标对象的各个视角的目标图像的目标深度特征对第N中间三维网格优化，得到所述目标三维网格。

在本申请中，获取目标对象的多个不同视角的目标图像，根据目标对象的多个不同视角的目标图像获取目标对象的目标体素，以及，分别获取目标对象的各个视角的目标图像的目标深度特征，然后根据目标对象的目标体素以及目标对象的各个视角的目标图像的目标深度特征获取目标对象的目标三维网格。

通过本申请，一方面，目标对象的各个视角的目标图像的目标深度特征可以是根据目标对象的各个视角的目标图像直接获取到的，目标对象的各个视角的目标图像的目标深度特征可以准确地体现各个视角的目标图像中的目标对象的深度信息，如此，使用目标对象的各个视角的目标图像的目标深度特征直接地或间接地对目标对象的目标体素优化(例如微调或者精修等)，可以提高获取到的目标对象的目标三维网格的精准度。

另一方面，如果某些目标图像中的目标对象存在被遮挡的情况(目标对象被遮挡住至少一部分，导致图像信息不完整)，在这种情况下，由于本申请是根据目标对象的多个不同视角的目标图像获取目标对象的目标体素，因此，可以从多个不同视角的目标图像中学习出目标对象的大量的图像特征，从而可以补全图像信息，解决由于遮挡而导致图像信息不完整的问题，从而可以避免由于遮挡问题而影响获取的目标对象的目标三维网格的精准度。

又一方面，在获取目标对象的目标三维网格时，可以根据目标对象的目标体素生成目标对象的待优化三维网格，然后根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格优化，得到目标三维网格。

可见，优化过程是对三维网格的优化，表示三维网格的数据的数据量较低，且往往低于表示体素的数据的数据量，因此，相比于直接对体素处理的方式，本申请中的“先根据目标对象的目标体素生成目标对象的待优化三维网格，后续直接对三维网格优化”的方式可以减少优化过程涉及的计算数据量，从而可以提高优化效率以及节省计算资源。

又一方面，在对待优化三维网格优化时，可以使用图卷积神经网络对待优化三维网格优化，借助图卷积神经网络的强大的图像处理能力，从而可以提高优化程度，进而可以进一步地提高获取的目标对象的目标三维网格的精准度。

又一方面，在对待优化三维网格优化时，可以根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格依次进行多轮优化，每一轮优化都可以对上一轮优化得到的三维网格继续进一步优化，从而实现对待优化三维网格由粗糙至精细的多层次优化，进而可以进一步地提高获取的目标对象的目标三维网格的精准度。

又一方面，由于本申请可以根据目标对象的各个视角的目标图像的目标深度特征对待优化三维网格优化，以提高三维网格的精准度，因此，可以支持在之前“根据目标对象的目标体素生成目标对象的待优化三维网格”时，可以生成精准度较低的待优化三维网格，由于支持生成精准度较低的待优化三维网格，从而可以支持在“根据目标对象的目标体素生成目标对象的待优化三维网格”时可以使用分辨率低的体素，表示分辨率低的体素的数据的数据量低，从而可以减少在“根据目标对象的目标体素生成目标对象的待优化三维网格”时涉及的计算数据量，从而可以提高生成目标对象的待优化三维网格的效率以及节省计算资源。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。

本申请实施例提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中，所述电子设备包括服务器、网关、子设备等，子设备为物联网设备等设备。

本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的装置，该装置可包括服务器(集群)、终端设备如IoT设备等电子设备。

图11示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置1300。

对于一个实施例，图11示出了示例性装置1300，该装置具有一个或多个处理器1302、被耦合到(一个或多个)处理器1302中的至少一个的控制模块(芯片组)1304、被耦合到控制模块1304的存储器1306、被耦合到控制模块1304的非易失性存储器(NVM)/存储设备1308、被耦合到控制模块1304的一个或多个输入/输出设备1310，和被耦合到控制模块1306的网络接口1312。

处理器1302可包括一个或多个单核或多核处理器，处理器1302可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，装置1300能够作为本申请实施例中所述网关等服务器设备。

在一些实施例中，装置1300可包括具有指令1314的一个或多个计算机可读介质(例如，存储器1306或NVM/存储设备1308)和与该一个或多个计算机可读介质相合并被配置为执行指令1314以实现模块从而执行本公开中所述的动作的一个或多个处理器1302。

对于一个实施例，控制模块1304可包括任意适当的接口控制器，以向(一个或多个)处理器1302中的至少一个和/或与控制模块1304通信的任意适当的设备或组件提供任意适当的接口。

控制模块1304可包括存储器控制器模块，以向存储器1306提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。

存储器1306可被用于例如为装置1300加载和存储数据和/或指令1314。对于一个实施例，存储器1306可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，存储器1306可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。

对于一个实施例，控制模块1304可包括一个或多个输入/输出控制器，以向NVM/存储设备1308及(一个或多个)输入/输出设备1310提供接口。

例如，NVM/存储设备1308可被用于存储数据和/或指令1314。NVM/存储设备1308可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。

NVM/存储设备1308可包括在物理上作为装置1300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如，NVM/存储设备1308可通过网络经由(一个或多个)输入/输出设备1310进行访问。

(一个或多个)输入/输出设备1310可为装置1300提供接口以与任意其他适当的设备通信，输入/输出设备1310可以包括通信组件、拼音组件、传感器组件等。网络接口1312可为装置1300提供接口以通过一个或多个网络通信，装置1300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如WiFi、2G、3G、4G、5G等，或它们的组合进行无线通信。

对于一个实施例，(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。

在各个实施例中，装置1300可以但不限于是：服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，装置1300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，装置1300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。

本申请实施例提供了一种电子设备，包括：一个或多个处理器；和，其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行如本申请中一个或多个所述的三维网格生成模型的构建方法。

本申请实施例提供了一种电子设备，包括：一个或多个处理器；和，其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行如本申请中一个或多个所述的三维网格生成方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、和流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信息处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程信息处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程信息处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程信息处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例和落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的三维网格生成模型的构建方法、三维网格生成方法及装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (31)

1.一种三维网格生成方法，其特征在于，所述方法包括：

获取目标对象的多个不同视角的目标图像；

根据所述目标对象的多个不同视角的目标图像获取所述目标对象的目标体素，以及，分别获取所述目标对象的各个视角的目标图像的目标深度特征；

根据所述目标对象的目标体素以及所述目标对象的各个视角的目标图像的目标深度特征获取所述目标对象的目标三维网格。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标对象的多个不同视角的目标图像获取所述目标对象的目标体素，包括：

分别获取所述目标对象的各个视角的目标图像的目标卷积特征；

根据所述目标对象的各个视角的目标图像的目标卷积特征分别生成所述目标对象对应各个视角的视角体素；

将所述目标对象对应各个视角的视角体素融合，得到所述目标对象的目标体素。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述目标对象的目标体素以及所述目标对象的各个视角的目标图像的目标深度特征获取所述目标对象的目标三维网格，包括：

根据所述目标对象的目标体素生成所述目标对象的待优化三维网格；

根据所述目标对象的各个视角的目标图像的目标深度特征对所述待优化三维网格优化，得到所述目标三维网格。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标对象的各个视角的目标图像的目标深度特征对所述待优化三维网格优化，得到所述目标三维网格，包括：

获取所述待优化三维网格的深度特征与所述目标对象的各个视角的目标图像的目标深度特征之间的目标深度差异信息；

根据所述目标深度差异信息对所述待优化三维网格优化，得到所述目标三维网格。

5.根据权利要求4所述的方法，其特征在于，所述获取所述待优化三维网格的深度特征与所述目标对象的各个视角的目标图像的目标深度特征之间的目标深度差异信息，包括：

获取所述待优化三维网格的各个视角的深度特征；

分别获取相同视角的三维网格的深度特征与目标图像的目标深度特征之间的目标深度差异信息。

6.根据权利要求5所述的方法，其特征在于，所述获取所述待优化三维网格的各个视角的深度特征，包括：

根据神经渲染器获取所述待优化三维网格的各个视角的深度特征。

7.根据权利要求5所述的方法，其特征在于，所述分别获取相同视角的三维网格的深度特征与目标图像的目标深度特征之间的目标深度差异信息，包括：

对于每一个视角，根据对比深度特征提取器获取所述视角的三维网格的深度特征与所述视角的目标图像深度特征之间的目标深度差异信息。

8.根据权利要求4所述的方法，其特征在于，所述根据所述目标深度差异信息对所述待优化三维网格优化，得到所述目标三维网格，包括：

根据所述目标深度差异信息使用图卷积神经网络对所述待优化三维网格优化，得到所述目标三维网格。

9.根据权利要求3所述的方法，其特征在于，所述根据所述目标对象的各个视角的目标图像的目标深度特征对所述待优化三维网格优化，得到所述目标三维网格，包括：

根据所述目标对象的各个视角的目标图像的目标深度特征对所述待优化三维网格优化，得到第1中间三维网格；

根据所述目标对象的各个视角的目标图像的目标深度特征对所述第1中间三维网格优化，得到第2中间三维网格，依次类推，根据所述目标对象的各个视角的目标图像的目标深度特征对第N-1中间三维网格优化，得到第N中间三维网格；N为大于1的正整数；

根据所述目标对象的各个视角的目标图像的目标深度特征对第N中间三维网格优化，得到所述目标三维网格。

10.一种三维网格生成模型的构建方法，其特征在于，所述方法包括：

获取至少一个样本数据集，样本数据集中包括：样本对象的多个不同视角的样本图像，以及，所述样本对象的标注三维网格；

构建三维网格生成模型的网络结构；

使用所述样本数据集对所述三维网格生成模型中的网络参数进行训练，直至所述网络参数收敛，得到所述三维网格生成模型；

其中，所述网络结构至少包括体素生成网络、深度特征提取网络以及三维网格生成网络；

所述体素生成网络用于根据所述样本对象的多个不同视角的样本图像获取所述样本对象的样本体素；

所述深度特征提取网络用于分别获取所述样本对象的各个视角的样本图像的样本深度特征；

所述三维网格生成网络用于根据所述样本对象的样本体素以及所述样本对象的各个视角的样本图像的样本深度特征获取所述样本对象的预测三维网格。

11.根据权利要求10所述的方法，其特征在于，所述体素生成网络包括：卷积神经网络、体素生成层以及体素融合层；

所述卷积神经网络用于分别获取所述样本对象的各个视角的样本图像的样本卷积特征；

所述体素生成层用于根据所述样本对象的各个视角的样本图像的样本卷积特征分别生成所述样本对象对应各个视角的视角体素；

所述体素融合层用于将所述样本对象对应各个视角的视角体素融合，得到所述样本对象的样本体素。

12.根据权利要求10或11所述的方法，其特征在于，所述三维网格生成网络包括：三维网格生成层以及三维网格优化层；

所述三维网格生成层用于根据所述样本对象的样本体素生成所述样本对象的待优化三维网格；

所述三维网格优化层用于根据所述样本对象的各个视角的样本图像的样本深度特征对所述待优化三维网格优化，得到所述预测三维网格。

13.根据权利要求12所述的方法，其特征在于，所述三维网格优化层包括：图卷积神经网络以及对比深度特征提取网络；

所述对比深度特征提取网络用于获取所述待优化三维网格的深度特征与所述样本对象的各个视角的样本图像的样本深度特征之间的样本深度差异信息；

所述图卷积神经网络用于根据所述样本深度差异信息对所述待优化三维网格优化，得到所述预测三维网格。

14.根据权利要求13所述的方法，其特征在于，所述对比深度特征提取网络包括：神经渲染器以及对比深度特征提取器；

所述神经渲染器用于获取所述待优化三维网格的各个视角的深度特征；

所述对比深度特征提取器用于分别获取相同视角的三维网格的深度特征与样本图像的样本深度特征之间的样本深度差异信息。

15.根据权利要求12所述的方法，其特征在于，所述三维网格优化层为多个，且多个三维网格优化层之间级联排列；

排列顺序为首位的三维网格优化层用于根据所述样本对象的各个视角的样本图像的样本深度特征对所述待优化三维网格优化；

其中，在级联排列的相邻的任意两个三维网格优化层中，排列顺序靠后的三维网格优化层用于根据所述样本对象的各个视角的样本图像的样本深度特征对排列顺序靠前的三维网格优化层输出的中间三维网格优化；

排列顺序为末位的三维网格优化层用于根据所述样本对象的各个视角的样本图像的样本深度特征对排列顺序为次末位的三维网格优化层输出的中间三维网格优化，得到所述预测三维网格。

16.根据权利要求10所述的方法，其特征在于，

所述三维网格生成模型的输入端包括体素生成网络的输入端以及所述深度特征提取网络的输入端；

所述三维体素生成网络的输出端与三维网格生成网络的输入端连接；

所述深度特征提取网络的输出端与三维网格生成网络的输入端连接；

所述三维网格生成模型的输出端包括所述三维网格生成网络的输出端。

17.根据权利要求16所述的方法，其特征在于，所述体素生成网络包括：卷积神经网络、体素生成层以及体素融合层；

所述体素生成网络的输入端包括所述卷积神经网络输入端；

所述卷积神经网络的输出端与所述体素生成层的输入端连接；

所述体素生成层的输出端与所述体素融合层的输入端连接；

所述体素生成网络的输出端包括所述体素融合层的输出端。

18.根据权利要求16或17所述的方法，其特征在于，所述三维网格生成网络包括：三维网格生成层以及三维网格优化层；

所述三维网格生成层的输入端与所述体素生成层的输出端连接；

所述三维网格生成层的输出端与三维网格优化层的输入端连接；

所述三维网格优化层的输入端还与所述深度特征提取网络的输出端连接；

所述三维网格生成网络的输出端包括所述三维网格优化层的输出端。

19.根据权利要求18所述的方法，其特征在于，所述三维网格优化层包括：图卷积神经网络以及对比深度特征提取网络；

所述对比深度特征提取网络的输入端与所述三维网格生成网络的输出端连接；

所述对比深度特征提取网络的输入端还与所述深度特征提取网络的输出端连接；

所述对比深度特征提取网络的输出端与所述图卷积神经网络的输入端连接；

所述图卷积神经网络的输入端还与所述三维网格生成网络的输出端连接；

所述三维网格优化层的输出端包括所述图卷积神经网络的输出端。

20.根据权利要求19所述的方法，其特征在于，所述对比深度特征提取网络包括：神经渲染器以及对比深度特征提取器；

所述神经渲染器的输入端与所述三维网格生成层的输出端连接；

所述神经渲染器的输出端与所述对比深度特征提取器的输入端连接；

所述对比深度特征提取器的输入端还与所述深度特征提取网络的输出端连接；

所述对比深度特征提取网络的输出端包括所述深度特征提取器的输出端。

21.根据权利要求18所述的方法，其特征在于，所述三维网格优化层为多个，且多个三维网格优化层之间级联排列；

其中，级联排列的相邻的任意两个三维网格优化层中，排列顺序靠前的三维网格优化层的输出端与排列顺序靠后的三维网格优化层的输入端连接；

所述三维网格生成层的输出端与排列顺序为首位的三维网格优化层的输入端连接；

各个三维网格优化层的输入端还分别与所述深度特征提取网络的输出端连接；

所述三维网格生成网络的输出端包括排列顺序为末位的三维网格优化层的输出端。

22.一种三维网格生成装置，其特征在于，所述装置包括：

第一获取模块，用于获取目标对象的多个不同视角的目标图像；

第二获取模块，用于根据所述目标对象的多个不同视角的目标图像获取所述目标对象的目标体素，以及，第三获取模块，用于分别获取所述目标对象的各个视角的目标图像的目标深度特征；

第四获取模块，用于根据所述目标对象的目标体素以及所述目标对象的各个视角的目标图像的目标深度特征获取所述目标对象的目标三维网格。

23.根据权利要求22所述的装置，其特征在于，所述第四获取模块包括：

第二生成子模块，用于根据所述目标对象的目标体素生成所述目标对象的待优化三维网格；

优化子模块，用于根据所述目标对象的各个视角的目标图像的目标深度特征对所述待优化三维网格优化，得到所述目标三维网格。

24.根据权利要求23所述的装置，其特征在于，所述优化子模块包括：

获取单元，用于获取所述待优化三维网格的深度特征与所述目标对象的各个视角的目标图像的目标深度特征之间的目标深度差异信息；

第一优化单元，用于根据所述目标深度差异信息对所述待优化三维网格优化，得到所述目标三维网格。

25.一种三维网格生成模型的构建装置，其特征在于，所述装置包括：

第五获取模块，用于获取至少一个样本数据集，样本数据集中包括：样本对象的多个不同视角的样本图像，以及，所述样本对象的标注三维网格；

构建模块，用于构建三维网格生成模型的网络结构；

训练模块，用于使用所述样本数据集对所述三维网格生成模型中的网络参数进行训练，直至所述网络参数收敛，得到所述三维网格生成模型；

其中，所述网络结构至少包括体素生成网络、深度特征提取网络以及三维网格生成网络；

所述体素生成网络用于根据所述样本对象的多个不同视角的样本图像获取所述样本对象的样本体素；

所述深度特征提取网络用于分别获取所述样本对象的各个视角的样本图像的样本深度特征；

所述三维网格生成网络用于根据所述样本对象的样本体素以及所述样本对象的各个视角的样本图像的样本深度特征获取所述样本对象的预测三维网格。

26.根据权利要求25所述的装置，其特征在于，所述三维网格生成网络包括：三维网格生成层以及三维网格优化层；

所述三维网格生成层用于根据所述样本对象的样本体素生成所述样本对象的待优化三维网格；

所述三维网格优化层用于根据所述样本对象的各个视角的样本图像的样本深度特征对所述待优化三维网格优化，得到所述预测三维网格。

27.根据权利要求26所述的装置，其特征在于，所述三维网格优化层包括：图卷积神经网络以及对比深度特征提取网络；

所述对比深度特征提取网络用于获取所述待优化三维网格的深度特征与所述样本对象的各个视角的样本图像的样本深度特征之间的样本深度差异信息；

所述图卷积神经网络用于根据所述样本深度差异信息对所述待优化三维网格优化，得到所述预测三维网格。

28.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行如权利要求1-9任一项所述的三维网格生成方法。

29.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-9任一项所述的三维网格生成方法。

30.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行如权利要求10-21任一项所述的三维网格生成模型的构建方法。

31.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求10-21任一项所述的三维网格生成模型的构建方法。

Images