CN115661358A - 对象三维重建方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种对象三维重建方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：对目标对象图像进行图像特征的提取，得到多个目标特征图；基于多个目标特征图进行关键点的检测，得到目标对象的各关键点分别对应的二维位置热图；基于各关键点的二维位置热图和各目标特征图进行父向量预测，得到各关键点分别对应的各三维坐标轴下的父向量热图；基于各关键点分别对应的父向量热图和各目标特征图进行三维位置的预测，得到各关键点分别对应的三维位置信息；基于各关键点的三维位置信息进行三维重建，得到目标对象的三维对象模型。采用本方法能够提高三维重建的精度。

Description

对象三维重建方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种对象三维重建方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着计算机视觉技术领域的发展，各种人机交互设备的应用越来越广泛，从而推动了对象三维重建技术的发展。三维重建的对象可以是人体、人手或人脸等，例如，对图像或视频中的人手进行三维重建，得到重建的三维人手，进而可以根据三维人手准确识别出人手的手势动作，实现人机交互。

传统技术中，通常通过训练得到用于进行三维重建的三维重建模型，利用该三维重建模型进行三维重建。

然而，由于训练三维重建模型所需要的样本通常是稀缺的，从而使得训练三维重建模型所采用的样本数量是较少的，三维重建模型并不能得到充足的训练，从而在利用三维重建模型进行三维重建时，三维重建的精度较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高三维重建的精度的对象三维重建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种对象三维重建方法。所述方法包括：对目标对象图像进行图像特征的提取，得到多个目标特征图；所述目标对象图像是包括目标对象的图像；基于所述多个目标特征图进行关键点的检测，得到所述目标对象的各关键点分别对应的二维位置热图；基于各所述关键点的二维位置热图和各所述目标特征图进行父向量预测，得到各所述关键点分别对应的各三维坐标轴下的父向量热图；所述关键点对应的三维坐标轴下的父向量热图中的像素位置表征所述三维坐标轴下的向量分量，所述父向量热图中的像素位置处的像素值，为所述像素位置表征的向量分量属于父关键点向量的置信度，所述父关键点向量是指由所述关键点对应的父关键点的位置指向所述关键点的位置的向量；基于各所述关键点分别对应的父向量热图和各所述目标特征图进行三维位置的预测，得到各所述关键点分别对应的三维位置信息；基于各所述关键点的三维位置信息进行三维重建，得到所述目标对象的三维对象模型。

第二方面，本申请还提供了一种对象三维重建装置。所述装置包括：特征提取模块，用于对目标对象图像进行图像特征的提取，得到多个目标特征图；所述目标对象图像是包括目标对象的图像；关键点检测模块，用于基于所述多个目标特征图进行关键点的检测，得到所述目标对象的各关键点分别对应的二维位置热图；向量预测模块，用于基于各所述关键点的二维位置热图和各所述目标特征图进行父向量预测，得到各所述关键点分别对应的各三维坐标轴下的父向量热图；所述关键点对应的三维坐标轴下的父向量热图中的像素位置表征所述三维坐标轴下的向量分量，所述父向量热图中的像素位置处的像素值，为所述像素位置表征的向量分量属于父关键点向量的置信度，所述父关键点向量是指由所述关键点对应的父关键点的位置指向所述关键点的位置的向量；三维位置预测模块，用于基于各所述关键点分别对应的父向量热图和各所述目标特征图进行三维位置的预测，得到各所述关键点分别对应的三维位置信息；

三维重建模块，用于基于各所述关键点的三维位置信息进行三维重建，得到所述目标对象的三维对象模型。

在一些实施例中，所述向量预测模块还用于：基于各所述关键点的二维位置热图和各所述目标特征图进行融合处理，得到各所述关键点分别对应的融合特征图；利用各所述关键点分别对应的融合特征图进行父向量预测，得到各所述关键点分别对应的各三维坐标轴下的父向量热图。

在一些实施例中，所述各关键点包括根关键点；所述三维位置预测模块还用于：基于各所述关键点分别对应的父向量热图和各所述目标特征图进行根向量预测，得到各所述关键点分别对应的各三维坐标轴下的根向量热图；所述关键点对应的三维坐标轴下的根向量热图中的像素位置表征所述三维坐标轴下的向量分量，所述根向量热图中的像素位置处的像素值，为所述根向量热图中的像素位置表征的向量分量属于根关键点向量的置信度，所述根关键点向量是指由所述根关键点的位置指向所述关键点的位置的向量；基于各所述关键点分别对应的各三维坐标轴下的根向量热图，确定各所述关键点分别对应的三维位置信息。

在一些实施例中，在基于各所述关键点分别对应的各三维坐标轴下的根向量热图，确定各所述关键点分别对应的三维位置信息方面，所述三维位置预测模块具体用于：确定所述根关键点的位置，得到根关键点位置；针对每个所述关键点，根据所述关键点对应的各三维坐标轴下的根向量热图，确定所述关键点的根关键点向量；在所述根关键点位置的基础上偏移所述根关键点向量，得到所述关键点对应的三维位置信息。

在一些实施例中，所述各关键点包括根关键点；所述三维重建模块还用于：针对每个所述关键点，根据所述关键点的三维位置信息和所述根关键点的三维位置信息，确定所述关键点与所述根关键点之间的相对位置信息；根据所述关键点的三维位置信息和对应的父关键点的三维位置信息，确定所述关键点对应的父关键点指向关键点的方向向量；利用各所述关键点分别对应的相对位置信息和方向向量，确定所述目标对象的姿态信息；基于所述姿态信息进行三维重建，得到所述目标对象的三维对象模型。

在一些实施例中，在基于所述姿态信息进行三维重建，得到所述目标对象的三维对象模型方面，所述三维重建模块具体用于：基于各所述关键点的三维位置信息确定相邻关键点之间的骨骼长度；利用所述相邻关键点之间的骨骼长度确定所述目标对象的形状信息；基于所述姿态信息和所述形状信息进行三维重建，得到所述目标对象的三维对象模型。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述对象三维重建方法中的步骤。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述对象三维重建方法中的步骤。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述对象三维重建方法中的步骤。

上述对象三维重建方法、装置、计算机设备、存储介质和计算机程序产品，基于关键点的二维位置热图和目标特征图进行父向量预测，得到各关键点分别对应的各三维坐标轴下的父向量热图，从而基于二维的特征得到了到三维的特征，并且由于关键点对应的三维坐标轴下的父向量热图中包含父关键点向量，父关键点向量是指由关键点对应的父关键点的位置指向关键点的位置的向量，即父关键点向量提供了各关键点之间的相对位置关系，使得基于各关键点分别对应的父向量热图和各目标特征图，得到的各关键点分别对应的三维位置信息更加准确，使得基于各关键点的三维位置信息进行三维重建所得到的目标对象的三维对象模型的精度更高，从而提高了三维重建的精度。

附图说明

图1为一个实施例中对象三维重建方法的应用环境图；

图2为一个实施例中对象三维重建方法的流程示意图；

图3为一个实施例中对象三维重建方法的各任务阶段的流程示意图；

图4为一个实施例中父向量热图的示意图；

图5为一个实施例中确定姿态信息的示意图；

图6为另一个实施例中对象三维重建方法的流程示意图；

图7为一个实施例中对象三维重建装置的结构框图；

图8为一个实施例中计算机设备的内部结构图；

图9为另一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的对象三维重建方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。

具体地，服务器104可以存储目标对象图像，也可以获取终端102发送的目标对象图像。服务器104对目标对象图像进行图像特征的提取，得到多个目标特征图，基于多个目标特征图进行关键点的检测，得到目标对象的各关键点分别对应的二维位置热图，基于各关键点的二维位置热图和各目标特征图进行父向量预测，得到各关键点分别对应的各三维坐标轴下的父向量热图，服务器104基于各关键点分别对应的父向量热图和各目标特征图进行三维位置的预测，得到各关键点分别对应的三维位置信息，基于各关键点的三维位置信息进行三维重建，得到目标对象的三维对象模型。其中，目标对象图像是包括目标对象的图像。关键点对应的三维坐标轴下的父向量热图中的像素位置表征三维坐标轴下的向量分量，父向量热图中的像素位置处的像素值，为像素位置表征的向量分量属于父关键点向量的置信度，父关键点向量是指由关键点对应的父关键点的位置指向关键点的位置的向量。服务器104可以存储三维对象模型，也可以将三维对象模型发送至终端102。终端102可以接收三维对象模型，并利用三维对象模型实现人机交互，例如，目标对象为人手，三维对象模型为三维人手模型，终端102可以利用三维人手模型进行手势识别，实现人机交互。

其中，终端102可以但不限于是台式终端或移动终端，移动终端具体可以是手机、平板电脑、笔记本电脑和智能手表等中的至少一种。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一些实施例中，如图2所示，提供了一种对象三维重建方法，该方法可以由终端或服务器执行，还可以由终端和服务器共同执行，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：

步骤202，对目标对象图像进行图像特征的提取，得到多个目标特征图；目标对象图像是包括目标对象的图像。

其中，目标对象图像是包括目标对象的图像，目标对象是待进行三维重建的对象，目标对象可以是人手、人脚、人脸或人体中的任意一种，例如，目标对象可以是人手，目标对象图像为人手图像。目标特征图是对目标对象图像进行图像特征提取得到的，目标特征图有多个，多个是指至少两个。

具体地，服务器获取目标对象图像，然后对目标对象图像进行图像特征提取，得到多个目标特征图。服务器可以利用特征提取网络对目标对象图像进行特征提取，例如，如图3所示，目标对象图像为人手图像，在特征提取阶段，服务器可以将人手图像输入特征提取网络，输出得到人手图像的目标特征图，即特征图F。其中，特征提取网络可以是CNN(Convolutional Neural Network，卷积神经网络)

在一些实施例中，为了提高图像特征提取的效率，服务器可以利用步长为3、卷积核尺寸为7×7的卷积层对目标对象图像进行卷积处理，得到卷积结果，然后利用CRelu(Concatenated Rectified Linear Unit，级联修正线性单元)激活函数，对卷积结果进行特征激活，得到卷积激活特征。然后服务器可以将卷积激活特征输入特征提取网络进行图像特征提取，输出多个目标特征图。通过利用步长为3、卷积核尺寸为7×7的卷积层进行卷积处理，可以对目标对象图像进行快速的下采样，提升特征提取的速度；而利用CRelu激活函数可以消除卷积中的特征冗余，提高网络的泛化能力。其中，卷积结果是对目标对象图像进行卷积处理得到的，卷积激活特征是对卷积结果进行特征激活得到的，特征提取网络可以是深度可分离的卷积网络，例如，可以是mobileV2。

步骤204，基于多个目标特征图进行关键点的检测，得到目标对象的各关键点分别对应的二维位置热图。

其中，目标对象具有多个关键点，多个是指至少两个。关键点对应有关键点编号，关键点编号用于标识关键点在目标对象上的位置，例如，目标对象为人手，人手的关键点为21个，其中关键点编号为0的关键点即关键点0位于手腕处。多个关键点可以构成一个关键点树，关键点树中的关键点具有层级关系，关键点树中有一个根关键点，位于关键点树的顶层，距离根关键点的越远的关键点的层级越低。根关键点没有父关键点，根关键点之外的关键点分别对应有一个父关键点，父关键点的层级高于子关键点，且父关键点与对应的子关键点相邻。在关键点树中，父关键点可以带动子关键点的运动。

一个关键点对应一个二维位置热图，例如，目标对象为人手，人手的关键点为21个，则21个关键点对应21个二维位置热图。

热图即为置信度图，也称为热力图(heatmap)，热图中的像素位置处的像素值即置信度，像素值的取值范围为[0，1]。二维位置热图用于标识关键点的二维坐标，二维位置热图中的像素位置处的像素值，表征该像素位置为关键点的二维位置的置信度，即像素值最大的像素位置为关键点的二维位置。例如，关键点i对应的二维位置热图中，像素位置为(x，y)处的像素值最大，则该像素位置(x，y)即为关键点i的二维位置。

具体地，服务器基于多个目标特征图进行关键点的检测，得到目标对象的各关键点分别对应的二维位置热图。服务器可以利用已训练的关键点检测网络对目标特征图进行关键点的检测，得到目标对象的各关键点分别对应的二维位置热图，例如，如图3所示，目标对象图像为人手图像，在2D(two dimensional，二维)检测阶段，将目标特征图即特征图F输入已训练的关键点检测网络，输出得到人手的各关键点分别对应的二维位置热图，即热图H。其中，关键点检测网络用于检测目标对象图像中目标对象的关键点的位置。

在一些实施例中，服务器可以利用样本对象图像对待训练的关键点检测网络进行训练，得到已训练的关键点检测网络。服务器可以获取样本对象图像的样本特征图，然后将样本特征图输入待训练的关键点检测网络进行关键点检测，输出得到目标对象的各关键点分别对应的预测二维位置热图，然后基于各关键点分别对应的预测二维位置热图和二维位置热图标签得到第一损失值，基于第一损失值调整待训练的关键点检测网络，直到网络收敛，得到已训练的关键点检测网络。其中，样本对象图像为包括目标对象的图像，样本特征图是对样本对象图像进行图像特征提取得到的，样本对象图像对应有二维位置热图标签，二维位置热图标签用于表征样本对象图像中目标对象的各关键点的真实二维位置，第一损失值表征预测二维位置热图和二维位置热图标签之间的差异，第一损失值对应的损失函数可以是L2范数损失函数，L2范数即最小平方误差，具体如下所示：

L_H＝||H^GT－H||²；

其中，L_H为第一损失值，H^GT为样本对象图像的二维位置热图标签，H为关键点对应的预测二维位置热图。

步骤206，基于各关键点的二维位置热图和各目标特征图进行父向量预测，得到各关键点分别对应的各三维坐标轴下的父向量热图；关键点对应的三维坐标轴下的父向量热图中的像素位置表征三维坐标轴下的向量分量，父向量热图中的像素位置处的像素值，为像素位置表征的向量分量属于父关键点向量的置信度，父关键点向量是指由关键点对应的父关键点的位置指向关键点的位置的向量。

其中，父向量预测是对关键点对应的父关键点向量进行预测，父关键点向量是指由关键点对应的父关键点的位置指向关键点的位置的向量，各关键点对应的三维坐标轴下的父向量热图用于表征父关键点向量，三维坐标轴即x坐标轴、y坐标轴和z坐标轴，即一个关键点分别对应x坐标轴、y坐标轴和z坐标轴下的父向量热图，即一个关键点对应三个父向量热图，则一个关键点对应的二维位置热图对应三个父向量热图。关键点对应的三维坐标轴下的父向量热图中的像素位置表征该三维坐标轴下的向量分量。父向量热图中的像素位置处的像素值，为像素位置表征的向量分量属于父关键点向量的置信度。即像素值最大的像素位置表征的向量属于父关键点向量。父向量热图也可以称为delta图。x坐标轴下的父向量热图中，像素位置的横坐标代表关键点对应的父关键点在x坐标轴下的坐标，像素位置的纵坐标代表关键点在x坐标轴下的坐标。y坐标轴下的父向量热图中，像素位置的横坐标代表关键点对应的父关键点在y坐标轴下的坐标，像素位置的纵坐标代表关键点在y坐标轴下的坐标。z坐标轴下的父向量热图中，像素位置的横坐标代表关键点对应的父关键点在z坐标轴下的坐标，像素位置的纵坐标代表关键点在z坐标轴下的坐标。

举例说明，如图4所示，目标对象为人手，图4中的(a)为一个关键点对应的二维位置热图，图4中的(b)为该关键点对应的x坐标轴下的父向量热图，图4中的(c)为该关键点对应的y坐标轴下的父向量热图，图4中的(d)为该关键点对应的z坐标轴下的父向量热图。假设关键点k对应的x坐标轴下的父向量热图中，像素位置为(x_k-1，x_k)处的像素值最大；y坐标轴下的父向量热图中，像素位置为(y _k-1，y_k)处的像素值最大；z坐标轴下的父向量热图中，像素位置为(z _k-1，z_k)处的像素值最大，则关键点k对应的父关键点k-1指向关键点k的向量在x坐标轴、y坐标轴以及z坐标轴下的向量分量分别为x_k-x _k-1、y_k-y _k-1以及z_k-z _k-1，则(x_k-1，y _k-1，z _k-1)可以为关键点k对应的父关键点的三维位置，(x_k，y_k，z_k)可以为关键点k的三维位置，即关键点k对应的父关键点向量为位置(x _k-1，y _k-1，z _k-1)指向位置(x_k，y_k，z_k)的向量，可以表示为(x_k-x _k-1，y_k-y _k-1，z_k-z _k-1)。

具体地，服务器可以基于各关键点的二维位置热图和各目标特征图进行父向量预测，得到各关键点分别对应的各三维坐标轴下的父向量热图。服务器可以利用已训练的父向量预测网络，基于各关键点的二维位置热图和各目标特征图进行父向量预测。其中，父向量预测网络用于预测各关键点对应的父关键点向量。

在一些实施例中，服务器可以基于各关键点的二维位置热图和各目标特征图进行融合处理，得到各关键点分别对应的第一融合特征图，然后基于各第一融合特征图进行父向量预测，得到各关键点分别对应的各三维坐标轴下的父向量热图。服务器可以将第一融合特征图输入已训练的父向量预测网络进行父向量预测，得到各关键点分别对应的各三维坐标轴下的父向量热图。例如，如图3所示，在2D检测阶段，服务器可以将特征图F与热图H进行融合处理，得到第一融合特征图，然后将第一融合特征图输入已训练的父向量预测网络，输出得到各关键点分别对应的各三维坐标轴下的父向量热图，即delta图D。

在一些实施例中，服务器可以利用样本对象图像对待训练的父向量预测网络进行训练，得到已训练的父向量预测网络。服务器获取样本对象图像对应的样本融合特征图，将样本融合特征图输入待训练的父向量预测网络进行父向量预测，输出得到各关键点分别对应的各三维坐标轴下的预测父向量热图，然后基于预测父向量热图和父向量热图标签得到第二损失值，利用第二损失值调整待训练的父向量预测网络的参数，直到网络收敛，得到已训练的父向量预测网络。其中，样本融合特征图是对样本对象图像对应的目标特征图以及二维位置热图进行融合处理得到的，样本对象图像对应有父向量热图标签，父向量热图标签用于表征样本对象图像中目标对象的各关键点对应的父关键点向量，第二损失值表征预测父向量热图和父向量热图标签之间的差异，第二损失值对应的损失函数可以是L2损失函数，具体如下所示：

L_delta＝||H^GT×(D^GT－D)||²；

其中，L_delta为第二损失值，D^GT为样本对象图像对应的父向量热图标签，D为各关键点分别对应的各三维坐标轴下的预测父向量热图，H为关键点对应的预测二维位置热图，H^GT为作为掩码图像对delta的训练进行加权。

步骤208，基于各关键点分别对应的父向量热图和各目标特征图进行三维位置的预测，得到各关键点分别对应的三维位置信息。

其中，三维位置信息是指关键点在三维坐标轴下的三维坐标。

具体地，服务器可以基于各关键点分别对应的父向量热图和各目标特征图，得到各关键点分别对应的第二融合特征图，然后基于各关键点分别对应的第二融合特征图进行三维位置的预测，得到各关键点分别对应的三维位置信息。其中，第二融合特征图可以是基于各关键点分别对应的父向量热图和各目标特征图得到的。

在一些实施例中，服务器在基于各关键点对应的二维位置热图和各目标特征图进行融合处理，得到各关键点对应的第一融合特征图后，还可以基于各关键点对应的第一融合特征图和父向量热图进行融合处理，得到各关键点对应的第二融合特征图，然后对各关键点对应的第二融合特征图进行三维位置的预测。其中，第二融合特征图还可以是基于各关键点对应的第一融合特征图和父向量热图进行融合处理得到的。例如，如图3所示，在3D(three dimensional，三维)检测阶段，可以将各关键点对应的第一融合特征图和delta图进行融合处理，得到各关键点对应的第二融合特征图。

在一些实施例中，服务器可以基于各关键点分别对应的第二融合特征图进行根向量预测，得到各关键点分别对应的各三维坐标轴下的根向量热图，然后基于各关键点分别对应的各三维坐标轴下的根向量热图，确定各关键点分别对应的三维位置信息。其中，根向量预测是对关键点对应的根关键点向量进行预测，根关键点向量是指由根关键点的位置指向关键点的位置的向量，关键点对应的三维坐标轴下的根向量热图用于表征根关键点向量，三维坐标轴即x坐标轴、y坐标轴和z坐标轴，一个关键点分别对应x坐标轴、y坐标轴和z坐标轴下的根向量热图，即一个关键点对应三个根向量热图。关键点对应的三维坐标轴下的根向量热图中的像素位置表征三维坐标轴下的向量分量，根向量热图中的像素位置处的像素值，为根向量热图中的像素位置表征的向量分量属于根关键点向量的置信度，即像素值最大的像素位置表征的向量属于根关键点向量。

举例说明，一个关键点分别对应x坐标轴下的根向量热图、y坐标轴下的根向量热图和z坐标轴下的根向量热图，假设关键点k对应的x坐标轴下的根向量热图中，像素位置为(x_root，x_k)处的像素值最大，则x_k-x_root即为根关键点指向关键点的向量在x坐标轴方向的向量分量，即关键点k对应的根关键点向量在x坐标轴方向的向量分量。

步骤210，基于各关键点的三维位置信息进行三维重建，得到目标对象的三维对象模型。

其中，三维重建是将目标对象图像中的目标对象重建为三维对象模型的过程，三维对象模型是，例如，目标对象为人手，三维对象模型为三维人手模型，为三维网格(mesh)模型。

具体地，服务器可以基于关键点的三维位置信息，确定目标对象的姿态信息和形状信息，然后基于目标对象的姿态信息和形状信息，得到具有目标对象几何形状的三维网格模型，即目标对象的三维对象模型。其中，姿态信息是表征目标对象的姿态的向量序列，也称为pose参数；形状信息是表征目标对象的形状的向量序列，也称为shape参数，例如，目标对象为人手，人手对应有21个关键点，则姿态信息为21×3维度的向量序列，即一个关键点对应3个维度的值，表示关键点针对其对应的父关键点的旋转角度的轴角式表达，可以表征人手各关节的弯曲程度，形状信息为10维度的向量序列，每个维度的值对应人手的一个形状指标，比如人手的胖瘦等。

在一些实施例中，通常，服务器利用各关键点对应的三维位置信息构建三维骨架，从而基于三维骨架进行三维重建，得到目标对象的三维对象模型。然而，基于三维骨架进行三维重建的精度较低，无法得到高精度的目标对象的三维对象模型。而本申请的对象三维重建方法中，服务器可以基于关键点的三维位置信息确定目标对象的姿态信息和形状信息，从而利用目标对象的姿态信息和形状信息得到具有目标对象几何形状的三维网格模型，即目标对象的三维对象模型。如图3所示，目标对象为人手，在三维重建阶段，可以利用人手的姿态信息和形状信息得到具有人手几何形状的三维网格模型，即三维人手模型。

上述对象三维重建方法中，基于关键点的二维位置热图和目标特征图进行父向量预测，得到各关键点分别对应的各三维坐标轴下的父向量热图，从而基于二维的特征得到了到三维的特征，并且由于关键点对应的三维坐标轴下的父向量热图中包含父关键点向量，父关键点向量是指由关键点对应的父关键点的位置指向关键点的位置的向量，即父关键点向量提供了各关键点之间的相对位置关系，使得基于各关键点分别对应的父向量热图和各目标特征图，得到的各关键点分别对应的三维位置信息更加准确，使得基于各关键点的三维位置信息进行三维重建所得到的目标对象的三维对象模型的精度更高，从而提高了三维重建的精度。

在一些实施例中，如图3所示，对象三维重建方法可以分为4个阶段，分别为特征提取、2D检测、3D检测和三维重建，而各阶段对应的网络模型可以独立训练，例如，特征提取阶段的特征提取网络、2D检测阶段的关键点检测网络、3D检测阶段的父向量检测网络以及根向量检测网络，对各网络模型进行独立训练有助于模块化的研发和部署。

在一些实施例中，步骤204包括：基于各关键点的二维位置热图和各目标特征图进行融合处理，得到各关键点分别对应的融合特征图；利用各关键点分别对应的融合特征图进行父向量预测，得到各关键点分别对应的各三维坐标轴下的父向量热图。

其中，融合特征图是指第一融合特征图，第一融合特征图是基于各关键点的二维位置热图和各目标特征图进行融合处理得到的。

具体地，在目标特征图的数量与关键点的数量不相同的情况下，服务器可以对各目标特征图进行卷积处理，得到多个卷积特征图，卷积特征图的数量与目标对象的关键点的数量相同，服务器可以将卷积特征图与二维位置热图建立一一对应关系，针对每个关键点，可以将关键点对应的二维位置热图分别与对应的卷积特征图进行融合处理，得到该关键点对应的第一融合特征图。然后服务器可以将各关键点的第一融合特征图，输入已训练的父向量预测网络进行父向量预测，得到各关键点分别对应的各三维坐标轴下的父向量热图。其中，卷积特征图是对各目标特征图进行卷积处理得到的。

本实施例中，由于融合特征图是基于各关键点的二维位置热图和各目标特征图进行融合处理得到的，而目标特征图具有抽象语义特征，二维位置热图具有关键点的二维位置的特征，即关键点表征的低水平特征，故融合特征图中既具有抽象语义特征，又具有关键点表征的低水平特征，从而利用融合特征图进行父向量预测，得到的父向量热图更准确，从而提高了对象三维重建的精度。

在一些实施例中，各关键点包括根关键点；步骤206包括：基于各关键点分别对应的父向量热图和各目标特征图进行根向量预测，得到各关键点分别对应的各三维坐标轴下的根向量热图；关键点对应的三维坐标轴下的根向量热图中的像素位置表征三维坐标轴下的向量分量，根向量热图中的像素位置处的像素值，为根向量热图中的像素位置表征的向量分量属于根关键点向量的置信度，根关键点向量是指由根关键点的位置指向关键点的位置的向量；基于各关键点分别对应的各三维坐标轴下的根向量热图，确定各关键点分别对应的三维位置信息。

其中，根向量预测是对关键点对应的根关键点向量进行预测，根关键点向量是指由根关键点的位置指向关键点的位置的向量，关键点对应的三维坐标轴下的根向量热图用于表征根关键点向量，三维坐标轴即x坐标轴、y坐标轴和z坐标轴，一个关键点分别对应x坐标轴、y坐标轴和z坐标轴下的根向量热图，即一个关键点对应三个根向量热图。关键点对应的三维坐标轴下的根向量热图中的像素位置表征三维坐标轴下的向量分量，根向量热图中的像素位置处的像素值，为根向量热图中的像素位置表征的向量分量属于根关键点向量的置信度，即像素值最大的像素位置表征的向量属于根关键点向量。根向量热图也可以称为位置图。

具体地，服务器基于各关键点分别对应的父向量热图和各目标特征图进行融合处理，得到各关键点分别对应的第二融合特征图，然后基于各关键点分别对应的第二融合特征图进行根向量预测，得到各关键点分别对应的各三维坐标轴下的根向量热图。然后服务器基于各关键点分别对应的各三维坐标轴下的根向量热图，确定各关键点分别对应的三维位置信息。

在一些实施例中，服务器还可以基于各关键点对应的第一融合特征图和父向量热图进行融合处理，得到各关键点对应的第二融合特征图，然后利用已训练的根向量预测网络，基于第二融合特征图进行根向量预测，得到各关键点分别对应的各三维坐标轴下的根向量热图。例如，如图3所示，在3D检测阶段，可以将各关键点分别对应的第二融合特征图输入已训练的根向量预测网络，输出得到各关键点分别对应的各三维坐标轴下的根向量热图，即位置图L。

在一些实施例中，服务器可以利用样本对象图像对待训练的根向量预测网络进行训练，得到已训练的根向量预测网络。具体的训练过程与对待训练的父向量预测网络进行训练的过程相同，在此不再赘述。

本实施例中，通过基于各关键点分别对应的父向量热图和各目标特征图进行根向量预测，得到包含根关键向量的根向量热图，由于父向量热图中包含父关键点向量，即父向量热图能够对根向量预测提供各关键点之间的相对位置关系，使得到的根向量热图更准确，从而基于各关键点对应的根向量热图得到的三维位置信息更准确。

在一些实施例中，基于各关键点分别对应的各三维坐标轴下的根向量热图，确定各关键点分别对应的三维位置信息包括：确定根关键点的位置，得到根关键点位置；针对每个关键点，根据关键点对应的各三维坐标轴下的根向量热图，确定关键点的根关键点向量；在根关键点位置的基础上偏移根关键点向量，得到关键点对应的三维位置信息。

其中，根关键点位置是指根关键点在三维坐标轴下的三维坐标，例如，根关键点位置可以是(0，0，0)。x坐标轴下的根向量热图中，像素位置的横坐标代表根关键点在x坐标轴下的坐标，像素位置的纵坐标代表关键点在x坐标轴下的坐标。y坐标轴下的根向量热图中，像素位置的横坐标代表根关键点的在y坐标轴下的坐标，像素位置的纵坐标代表关键点在y坐标轴下的坐标。z坐标轴下的根向量热图中，像素位置的横坐标代表根关键点在z坐标轴下的坐标，像素位置的纵坐标代表关键点在z坐标轴下的坐标。

具体地，服务器可以基于关键点对应的x坐标轴、y坐标轴以及z坐标轴下的根向量热图中像素值最大的像素位置，确定该关键点的根关键点向量。例如，假设关键点k对应的x坐标轴下的根向量热图中，像素位置为(x_root，x_k)处的像素值最大；y坐标轴下的根向量热图中，像素位置为(y_root，y_k)处的像素值最大；z坐标轴下的根向量热图中，像素位置为(z_root，z_k)处的像素值最大，则关键点k的根关键点向量在x坐标轴、y坐标轴和z坐标轴的向量分量分别为x坐标轴方向上的分量x_k-x_root、y坐标轴方向上的分量y_k-y_root和z坐标轴方向上的分量z_k-z_root，则(x_root，y_root，z_root)可以为根关键点的三维位置，(x_k，y_k，z_k)可以为关键点k的三维位置，即关键点k对应的根关键点向量为位置(x_root，y_root，z_root)指向位置(x_k，y_k，z_k)的向量，可以表示为(x_k-x_root，y_k-y_root，z_k-z_root)。

在一些实施例中，服务器可以确定根关键点的位置，得到根关键点位置，然后在根关键点位置的基础上偏移根关键点向量，得到关键点对应的三维位置信息，例如，在进行三维重建的时候，可以将根关键点的三维位置信息初始化为(0，0，0)，假设关键点k对应的根关键点向量为(x_k-x_root，y_k-y_root，z_k-z_root)，在根关键点位置(0，0，0)的基础上偏移根关键点向量(x_k-x_root，y_k-y_root，z_k-z_root)，则关键点k的三维位置信息为(x_k-x_root，y_k-y_root，z_k-z_root)。

本实施例中，通过针对每个关键点，根据关键点对应的各三维坐标轴下的根向量热图，确定关键点的根关键点向量，在根关键点位置的基础上偏移根关键点向量，从而快速得到关键点对应的三维位置信息，从而能够基于各关键点对应三维位置信息进行三维重建，提高了三维重建的效率。

在一些实施例中，各关键点包括根关键点；步骤210还包括：针对每个关键点，根据关键点的三维位置信息和根关键点的三维位置信息，确定关键点与根关键点之间的相对位置信息；根据关键点的三维位置信息和对应的父关键点的三维位置信息，确定关键点对应的父关键点指向关键点的方向向量；利用各关键点分别对应的相对位置信息和方向向量，确定目标对象的姿态信息；基于姿态信息进行三维重建，得到目标对象的三维对象模型。

其中，三维位置信息可以用三维坐标表示，相对位置信息用于表征关键点相对于根关键点的相对位置，即三维坐标之间的差值，例如，根关键点的三维位置信息为(x_root，y_root，z_root)，关键点的三维位置信息为(x_k，y_k，z_k)，则关键点与根关键点之间的相对位置信息为(x_k-x_root，y_k-y_root，z_k-z_root)，即根关键点的位置(x_root，y_root，z_root)指向关键点的位置(x_k，y_k，z_k)的向量。关键点对应的父关键点指向关键点的方向向量，是基于关键点的三维位置信息和对应的父关键点的三维位置信息得到的。关键点对应的父关键点指向关键点的方向向量是以父关键点的三维位置为起点、且以关键点的三维位置为终点的向量，即关键点对应的父关键点指向关键点的方向向量的起点的坐标为父关键点的三维坐标、终点的坐标为关键点的三维坐标。姿态信息是表征目标对象的姿态的向量序列。

具体地，针对每个关键点，服务器可以根据关键点的三维位置信息和根关键点的三维位置信息，确定关键点与根关键点之间的相对位置信息，并根据关键点的三维位置信息与对应的父关键点的三维位置信息，确定关键点对应的父关键点指向关键点的方向向量，然后将关键点分别对应的相对位置信息和方向向量输入已训练的姿态预测网络进行姿态信息预测，输出得到目标对象的姿态信息。例如，如图5所示，目标对象为人手，各关键点与根关键点之间的相对位置信息，各关键点对应的父关键点指向关键点的方向向量，将各关键点对应的方向向量和相对位置信息输入已训练的姿态预测网络poseNet，得到人手的姿态信息，即pose参数。其中，姿态预测网络用于进行姿态信息预测，可以由7层全连接层组成。

本实施例中，通过基于根关键点、各关键点以及各关键点对应的父关键点分别对应的三维位置信息，得到各关键点分别对应的相对位置信息和方向向量，并基于各关键点分别对应的相对位置信息和方向向量得到目标队形的姿态信息，由于姿态信息是基于各关键点分别对应的相对位置信息和方向向量确定的，从而基于姿态信息进行三维重建，得到的目标对象的三维对象模型更加精确，从而提高了三维重建的精度。

在一些实施例中，基于姿态信息进行三维重建，得到目标对象的三维对象模型包括：基于各关键点的三维位置信息确定相邻关键点之间的骨骼长度；利用相邻关键点之间的骨骼长度确定目标对象的形状信息；基于姿态信息和形状信息进行三维重建，得到目标对象的三维对象模型。

其中，相邻关键点之间的骨骼长度是基于各关键点的三维位置信息确定的，是各关键点与对应的父关键点之间的距离。形状信息是表征目标对象的形状的向量序列。

具体地，服务器可以基于各关键点的三维位置信息，计算各关键点与对应的父关键点之间的距离，得到相邻关键点之间的骨骼长度，然后将相邻关键点之间的骨骼长度输入已训练的形状信息预测网络进行形状信息预测，输出得到目标队形的形状信息。其中，形状预测网络用于进行形状信息预测，可以由7层全连接层组成。

在一些实施例中，服务器可以将目标对象的姿态信息和形状信息输入到对象三维重建网络中进行三维重建，得到具有目标对象几何形状的三维网格模型，即三维对象模型，例如，如图3所示，在MANO参数估计阶段，在目标对象为人手，将人手的姿态信息和形状信息输入人手三维重建网络中，输出得到三维人手模型。其中，对象三维重建网络是利用目标对象的姿态信息和形状信息进行三维重建的网络，例如，可以是MANO参数模型。

在一些实施例中，通常可以通过对目标对象图像的各目标特征图进行处理，得到目标对象的姿态信息和形状信息，从而将目标对象的姿态信息和形状信息输入三维对象重建模型，得到目标对象的三维对象模型。而本申请的对象三维重建方法，是基于各关键点的三维位置信息和关键点之间的相对位置信息，确定目标对象的姿态信息和形状信息，既考虑了各关键点的三维位置信息又考虑了关键点与对应的父关键点之间的相对位置，可以有效提升对象三维重建的精度。

本实施例中，通过基于各关键点的三维位置信息，确定相邻关键点之间的骨骼长度，利用相邻关键点之间的骨骼长度确定目标对象的形状信息，从而可以基于目标对象的姿态信息和形状信息进行三维重建，得到三维对象模型，由于姿态信息和形状信息是基于各关键点的三维位置信息和关键点之间的相对位置信息确定的，提升了三维重建的精度。

在一些实施例中，如图6所示，提供了一种对象三维重建方法，以该方法应用于服务器为例进行说明，包括以下步骤：

步骤602，对目标对象图像进行图像特征的提取，得到多个目标特征图。

其中，目标对象图像是包括目标对象的图像；

步骤604，基于多个目标特征图进行关键点的检测，得到目标对象的各关键点分别对应的二维位置热图。

步骤606，基于各关键点的二维位置热图和各目标特征图进行融合处理，得到各关键点分别对应的第一融合特征图。

步骤608，利用各关键点分别对应的第一融合特征图进行父向量预测，得到各关键点分别对应的各三维坐标轴下的父向量热图。

其中，关键点对应的三维坐标轴下的父向量热图中的像素位置表征三维坐标轴下的向量分量，父向量热图中的像素位置处的像素值，为像素位置表征的向量分量属于父关键点向量的置信度，父关键点向量是指由关键点对应的父关键点的位置指向关键点的位置的向量。

步骤610，基于各关键点分别对应的第一融合特征图和各三维坐标轴下的父向量热图进行融合处理，得到各关键点分别对应的第二融合特征图。

步骤612，基于各关键点分别对应的第二融合特征图进行根向量预测，得到各关键点分别对应的各三维坐标轴下的根向量热图。

其中，关键点对应的三维坐标轴下的根向量热图中的像素位置表征三维坐标轴下的向量分量，根向量热图中的像素位置处的像素值，为根向量热图中的像素位置表征的向量分量属于根关键点向量的置信度，根关键点向量是指由根关键点的位置指向关键点的位置的向量。

步骤614，基于各关键点分别对应的各三维坐标轴下的根向量热图，确定各关键点分别对应的三维位置信息。

步骤616，针对每个关键点，基于关键点的三维位置信息和根关键点的三维位置信息，确定目标对象的姿态信息。

其中，各关键点包括根关键点。

步骤618，基于各关键点的三维位置信息确定目标对象的形状信息。

步骤620，基于姿态信息和形状信息进行三维重建，得到目标对象的三维对象模型。

本实施例中，通过基于关键点的第一融合特征进行父向量预测，得到各关键点分别对应的各三维坐标轴下的父向量热图，由于第一融合特征是基于各目标特征图和二维位置热图进行融合处理得到的，从而提高了父向量热图的准确度；并且由于关键点对应的三维坐标轴下的父向量热图中包含父关键点向量，父关键点向量是指由关键点对应的父关键点的位置指向关键点的位置的向量，即父关键点向量提供了各关键点之间的相对位置关系，使得基于各关键点分别对应的父向量热图和各目标特征图，得到的各关键点分别对应的三维位置信息更加准确；由于目标对象的姿态信息和形状信息，是基于各关键点的三维位置信息和关键点之间的相对位置信息确定的，使得基于目标对象的姿态信息和形状信息进行三维重建，得到的目标对象的三维对象模型的精度更高，从而提高了三维重建的精度。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的对象三维重建方法的对象三维重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个对象三维重建装置实施例中的具体限定可以参见上文中对于对象三维重建方法的限定，在此不再赘述。

在一些实施例中，如图7所示，提供了一种对象三维重建装置，包括：特征提取模块702、关键点检测模块704、向量预测模块706、三维位置预测模块708和三维重建模块710，其中：

特征提取模块702，用于对目标对象图像进行图像特征的提取，得到多个目标特征图；目标对象图像是包括目标对象的图像。

关键点检测模块704，用于基于多个目标特征图进行关键点的检测，得到目标对象的各关键点分别对应的二维位置热图。

向量预测模块706，用于基于各关键点的二维位置热图和各目标特征图进行父向量预测，得到各关键点分别对应的各三维坐标轴下的父向量热图；关键点对应的三维坐标轴下的父向量热图中的像素位置表征三维坐标轴下的向量分量，父向量热图中的像素位置处的像素值，为像素位置表征的向量分量属于父关键点向量的置信度，父关键点向量是指由关键点对应的父关键点的位置指向关键点的位置的向量。

三维位置预测模块708，用于基于各关键点分别对应的父向量热图和各目标特征图进行三维位置的预测，得到各关键点分别对应的三维位置信息。

三维重建模块710，用于基于各关键点的三维位置信息进行三维重建，得到目标对象的三维对象模型。

在一些实施例中，向量预测模块还用于：基于各关键点的二维位置热图和各目标特征图进行融合处理，得到各关键点分别对应的融合特征图；利用各关键点分别对应的融合特征图进行父向量预测，得到各关键点分别对应的各三维坐标轴下的父向量热图。

在一些实施例中，各关键点包括根关键点；三维位置预测模块还用于：基于各关键点分别对应的父向量热图和各目标特征图进行根向量预测，得到各关键点分别对应的各三维坐标轴下的根向量热图；关键点对应的三维坐标轴下的根向量热图中的像素位置表征三维坐标轴下的向量分量，根向量热图中的像素位置处的像素值，为根向量热图中的像素位置表征的向量分量属于根关键点向量的置信度，根关键点向量是指由根关键点的位置指向关键点的位置的向量；基于各关键点分别对应的各三维坐标轴下的根向量热图，确定各关键点分别对应的三维位置信息。

在一些实施例中，在基于各关键点分别对应的各三维坐标轴下的根向量热图，确定各关键点分别对应的三维位置信息方面，三维位置预测模块具体用于：确定根关键点的位置，得到根关键点位置；针对每个关键点，根据关键点对应的各三维坐标轴下的根向量热图，确定关键点的根关键点向量；在根关键点位置的基础上偏移根关键点向量，得到关键点对应的三维位置信息。

在一些实施例中，各关键点包括根关键点；三维重建模块还用于：针对每个关键点，根据关键点的三维位置信息和根关键点的三维位置信息，确定关键点与根关键点之间的相对位置信息；根据关键点的三维位置信息和对应的父关键点的三维位置信息，确定关键点对应的父关键点指向关键点的方向向量；利用各关键点分别对应的相对位置信息和方向向量，确定目标对象的姿态信息；基于姿态信息进行三维重建，得到目标对象的三维对象模型。

在一些实施例中，在基于姿态信息进行三维重建，得到目标对象的三维对象模型方面，三维重建模块具体用于：基于各关键点的三维位置信息确定相邻关键点之间的骨骼长度；利用相邻关键点之间的骨骼长度确定目标对象的形状信息；基于姿态信息和形状信息进行三维重建，得到目标对象的三维对象模型。

上述对象三维重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储对象三维重建方法所涉及的相关数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种对象三维重建方法。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种对象三维重建方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8和图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述对象三维重建方法中的步骤。

在一些实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述对象三维重建方法中的步骤。

在一些实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述对象三维重建方法中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种对象三维重建方法，其特征在于，所述方法包括：

对目标对象图像进行图像特征的提取，得到多个目标特征图；所述目标对象图像是包括目标对象的图像；

基于所述多个目标特征图进行关键点的检测，得到所述目标对象的各关键点分别对应的二维位置热图；

基于各所述关键点的二维位置热图和各所述目标特征图进行父向量预测，得到各所述关键点分别对应的各三维坐标轴下的父向量热图；所述关键点对应的三维坐标轴下的父向量热图中的像素位置表征所述三维坐标轴下的向量分量，所述父向量热图中的像素位置处的像素值，为所述像素位置表征的向量分量属于父关键点向量的置信度，所述父关键点向量是指由所述关键点对应的父关键点的位置指向所述关键点的位置的向量；

基于各所述关键点分别对应的父向量热图和各所述目标特征图进行三维位置的预测，得到各所述关键点分别对应的三维位置信息；

基于各所述关键点的三维位置信息进行三维重建，得到所述目标对象的三维对象模型。

2.根据权利要求1所述的方法，其特征在于，所述基于各所述关键点的二维位置热图和各所述目标特征图进行父向量预测，得到各所述关键点分别对应的各三维坐标轴下的父向量热图包括：

基于各所述关键点的二维位置热图和各所述目标特征图进行融合处理，得到各所述关键点分别对应的融合特征图；

利用各所述关键点分别对应的融合特征图进行父向量预测，得到各所述关键点分别对应的各三维坐标轴下的父向量热图。

3.根据权利要求1所述的方法，其特征在于，所述各关键点包括根关键点；所述基于各所述关键点分别对应的父向量热图和各所述目标特征图进行三维位置的预测，得到各所述关键点分别对应的三维位置信息包括：

基于各所述关键点分别对应的父向量热图和各所述目标特征图进行根向量预测，得到各所述关键点分别对应的各三维坐标轴下的根向量热图；所述关键点对应的三维坐标轴下的根向量热图中的像素位置表征所述三维坐标轴下的向量分量，所述根向量热图中的像素位置处的像素值，为所述根向量热图中的像素位置表征的向量分量属于根关键点向量的置信度，所述根关键点向量是指由所述根关键点的位置指向所述关键点的位置的向量；

基于各所述关键点分别对应的各三维坐标轴下的根向量热图，确定各所述关键点分别对应的三维位置信息。

4.根据权利要求3所述的方法，其特征在于，所述基于各所述关键点分别对应的各三维坐标轴下的根向量热图，确定各所述关键点分别对应的三维位置信息包括：

确定所述根关键点的位置，得到根关键点位置；

针对每个所述关键点，根据所述关键点对应的各三维坐标轴下的根向量热图，确定所述关键点的根关键点向量；

在所述根关键点位置的基础上偏移所述根关键点向量，得到所述关键点对应的三维位置信息。

5.根据权利要求1所述的方法，其特征在于，所述各关键点包括根关键点；所述基于各所述关键点的三维位置信息进行三维重建，得到所述目标对象的三维对象模型包括：

针对每个所述关键点，根据所述关键点的三维位置信息和所述根关键点的三维位置信息，确定所述关键点与所述根关键点之间的相对位置信息；

根据所述关键点的三维位置信息和对应的父关键点的三维位置信息，确定所述关键点对应的父关键点指向关键点的方向向量；

利用各所述关键点分别对应的相对位置信息和方向向量，确定所述目标对象的姿态信息；

基于所述姿态信息进行三维重建，得到所述目标对象的三维对象模型。

6.根据权利要求5所述的方法，其特征在于，所述基于所述姿态信息进行三维重建，得到所述目标对象的三维对象模型包括：

基于各所述关键点的三维位置信息确定相邻关键点之间的骨骼长度；

利用所述相邻关键点之间的骨骼长度确定所述目标对象的形状信息；

基于所述姿态信息和所述形状信息进行三维重建，得到所述目标对象的三维对象模型。

7.一种对象三维重建装置，其特征在于，所述装置包括：

特征提取模块，用于对目标对象图像进行图像特征的提取，得到多个目标特征图；所述目标对象图像是包括目标对象的图像；

关键点检测模块，用于基于所述多个目标特征图进行关键点的检测，得到所述目标对象的各关键点分别对应的二维位置热图；

向量预测模块，用于基于各所述关键点的二维位置热图和各所述目标特征图进行父向量预测，得到各所述关键点分别对应的各三维坐标轴下的父向量热图；所述关键点对应的三维坐标轴下的父向量热图中的像素位置表征所述三维坐标轴下的向量分量，所述父向量热图中的像素位置处的像素值，为所述像素位置表征的向量分量属于父关键点向量的置信度，所述父关键点向量是指由所述关键点对应的父关键点的位置指向所述关键点的位置的向量；

三维位置预测模块，用于基于各所述关键点分别对应的父向量热图和各所述目标特征图进行三维位置的预测，得到各所述关键点分别对应的三维位置信息；

三维重建模块，用于基于各所述关键点的三维位置信息进行三维重建，得到所述目标对象的三维对象模型。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images