CN115294277A - 一种物体的三维重建方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种物体的三维重建方法、装置、电子设备及存储介质，本发明无需采集物体的深度图像，在三维重建时无需使用3D卷积，同时，也不需要构建网格，因此，本发明相较于基于体素的物品三维重建算法，计算量更小，相比于基于点云的重建方式，设备成本更低，以及相对于基于网格的三维重建算法，误差更小。

Description

一种物体的三维重建方法、装置、电子设备及存储介质

技术领域

本发明属于三维重建技术领域，具体涉及一种物体的三维重建方法、装置、电子设备及存储介质。

背景技术

目前，基于图像对物体进行三维重建的主流算法主要分为以下三类：(1)基于体素的三维重建方法，其主要通过建立2D图形到3D体素模型的映射，完成基于体素的单视图/多视图的三维重建；(2)基于点云的三维重建方法，点云作为目前主要的表示三维物体的方式，具有统一的结构，更容易学习，并且点云在几何变换和变形时更容易操作，因为其连接性不需要更新；(3)基于网格的三维重建方法，网格是通过顶点、边和面来描述3D物体的，这正好与图卷积神经网络的三维特征相匹配，因此，网格的表示方法具有轻量、形状细节丰富的特点。

但是，前述三种方法各自存在以下不足，分别为：基于体素的三维重建方法在提升精度时，则需要提升分辨率，而分辨率的增加将大幅增加计算耗时(其是使用3D卷积对体素进行计算，一旦分辨率提高，相当于增加立次方的计算量)；点云重建中需要深度摄像头生成深度信息序列，深度摄像头的精度直接影响点云重建效果，设备成本过高；而网格三维重建方法中，网格信息不易与图像信息结合，简单的三维映射或者用图卷积网络来表示三维网格结构容易造成较大的误差；因此，提供一种计算量小、成本低，并且精度较高的三维重建方法迫在眉睫。

发明内容

本发明的目的是提供一种物体的三维重建方法、装置、电子设备及存储介质，用以解决现有技术中所存在的计算量大、成本高以及精度较差的问题。

为了实现上述目的，本发明采用以下技术方案：

第一方面，提供了一种物体的三维重建方法，包括：

获取目标物体在多视角下拍摄的二维图像；

基于所述目标物体，对每张二维图像进行图像配准，得出所述每张二维图像中的各个像素点与所述目标物体的各个部位之间的匹配关系；

对所述每张二维图像中的各个像素点进行三维转换，得到所述每张二维图像中各个像素点对应的3D点云数据，以利用每张二维图像中各个像素点对应的3D点云数据组成所述目标物体的3D点云数据集；

利用所述匹配关系，对3D点云数据集进行数据校正，以得到目标物体的校正点云数据集；

将所述校正点云数据集中的每个校正点云数据映射至每张二维图像中，以基于每个校正点云数据在每张二维图像中对应的二维坐标，得到每个校正点云数据的实际像素值；

利用校正点云数据集和每个校正点云数据的实际像素值，构建得到目标物体的三维模型。

基于上述公开的内容，本发明先获取目标物体在不同视角下的二维图像，然后对每张二维图像进行图像配准，以得到每张二维图像中各个像素点与目标物体上各部位之间的匹配关系，该步骤相当于得到了不同二维图像中用于表征目标物体同一部位的像素点；接着，再将每张二维图像中的各个像素点映射至三维空间中，得到各个像素点对应的3D点云数据，以利用3D点云数据组成3D点云数据集；其次，再利用前述得出的匹配关系，对3D点云数据集进行数据校正，该步骤相当于是对表征同一部位的点云数据进行校正，从而保证基于3D点云数据构建出的模型的准确性，同时，再将校正的点云数据映射至不同的二维图像中，以便基于二维图像中映射的坐标点，来得出校正的点云数据的实际像素值；最后，利用校正点云数据集进行三维重建，并利用每个校正点云数据的实际像素值进行着色，即可构建得到目标物体的三维模型。

通过上述设计，本发明无需采集物体的深度图像，在三维重建时无需使用3D卷积，同时，也不需要构建网格，因此，本发明相较于基于体素的物品三维重建算法，计算量更小，相比于基于点云的重建方式，设备成本更低，相对于基于网格的三维重建算法，误差更小。

在一个可能的设计中，对所述每张二维图像中的各个像素点进行三维转换，得到所述每张二维图像中各个像素点对应的3D点云数据，包括：

获取每张二维图像在拍摄时对应相机的相机参数，其中，所述相机参数包括相机内参数以及相机外参数；

根据每张二维图像对应的相机参数，计算出每张二维图像在拍摄时对应相机的投影矩阵；

基于每张二维图像在拍摄时对应相机的投影矩阵，以及所述每张二维图像中各个像素点的像素坐标，计算得到每张二维图像中各个像素点的三维坐标，以便将各个像素点的三维坐标，作为各个像素点的3D点云数据。

基于上述公开的内容，本发明公开了对各个像素点进行三维转换的具体步骤，即先获取每张二维图像在拍摄时相机的内外参数，然后基于内外参数构建得到每张二维图像对应相机的投影矩阵，最后，通过投影矩阵以及各个像素点的像素坐标来构建方程组，并通过求解方程组即可计算得出各个像素点的三维坐标，从而得出各个像素点的3D点云数据。

在一个可能的设计中，利用所述匹配关系，对3D点云数据集进行数据校正，以得到目标物体的校正点云数据集，包括：

利用所述匹配关系，对所述3D点云数据集进行误差修正，得到修正3D点云数据集；

对所述修正3D点云数据集进行离群点处理，以剔除所述修正3D点云数据集中的离群点云数据，并在离群点云数据剔除完毕后，得到校正点云数据集。

基于上述公开的内容，本发明设置有两次校正过程，其一是对3D点云数据集中的点云数据进行误差修正；其二是对修正后的点云数据进行离群点云数据的剔除；由此，经过前述两次校正，即可保证用于构建模型的3D点云数据的精确度，从而减少构建误差，提高模型精度。

在一个可能的设计中，对所述3D点云数据集进行误差修正，得到修正3D点云数据集，包括：

利用所述匹配关系，得出所述目标物体上各个部位对应的像素点，以便基于各个部位对应的像素点，从所述3D点云数据集中匹配出所述目标物体上各个部位对应的3D点云数据；

计算所述目标物体上各个部位对应的3D点云数据的平均值，以将各个部位对应的3D点云数据的平均值，作为所述目标物体上各个部位的修正3D点云数据；

利用所述目标物体的各个部位的修正3D点云数据，组成所述修正3D点云数据集。

基于上述公开的内容，本发明公开了误差修正的具体过程，由于前述就已阐明，匹配关系中包含有不同二维图像中用于表征目标物体同一部位的像素点，因此，即可基于匹配关系，得出目标物体上各个部位对应的像素点，从而基于各个部位对应的像素点，在3D点云数据集中匹配出各个部位对应的3D点云数据，最后，计算各个部位对应的3D点云数据的平均值，并将各部位的平均值，作为该部位的修正点云数据，由此，即可完成3D点云数据集的误差修正。

在一个可能的设计中，对所述修正3D点云数据集进行离群点处理，以剔除所述修正3D点云数据集中的离群点云数据，并在离群点云数据剔除完毕后，得到所述校正点云数据集，包括：

获取修正3D点云数据集中每个修正3D点云数据相邻的n个点云数据，其中，n为正整数；

计算每个修正3D点云数据与对应相邻的n个点云数据之间的距离，以利用每个修正3D点云数据与对应相邻的n个点云数据之间的距离，组成每个修正3D点云数据的距离集；

计算每个距离集的标准差以及平均值，以便基于每个距离集的标准差以及平均值得到第一离群点判断阈值以及第二离群点判断阈值；

对于任一修正3D点云数据，判断所述任一修正3D点云数据的距离集的标准差是否大于所述第二离群点判断阈值，和/或判断所述任一修正3D点云数据的距离集的平均值是否大于所述第一离群点判断阈值；

若是，则将任一修正3D点云数据作为离群点云数据，从所述修正3D点云数据集中剔除，并在把修正3D点云数据集中所有修正3D点云数据均判断完毕后，得到所述校正点云数据集。

基于上述公开的内容，本发明公开了离群点云数据的识别方法，以任一修正3D点云数据为例，即先计算该任一修正3D点云数据与其相邻的n个点云数据之间的距离，以组成该任一修正3D点云数据的距离集，接着，计算该距离集的标准差以及平均值，并以相同方法计算其余修正3D点云数据的距离集的标准差以及平均值，然后，将所有距离集的标准差的均值，作为第二离群点判断阈值，以及将所有距离集的平均值的均值，作为第一离群点判断阈值；最后，通过对比各个修正3D点云数据的距离集的标准差和平均值与前述两个阈值的大小关系，即可判断出各个修正3D点云数据是否为离群点云数据。

在一个可能的设计中，基于每个校正点云数据在每张二维图像中对应的二维坐标，得到每个校正点云数据的实际像素值，包括：

对于任一校正点云数据，将所述任一校正点云数据在每张二维图像中的二维坐标对应像素点的像素值，作为任一校正点云数据在每张二维图像中的像素值；

在任一校正点云数据的多个像素值中，筛选出出现次数最多的像素值，作为所述任一校正点云数据的实际像素值。

基于上述公开的内容，本发明公开了每个校正点云数据的实际像素值的获取过程，由于前述将各个校正点云数据映射到了每张二维图像中，因此，任一校正点云数据在每张二维图像中均对应有一二维坐标，由此，即可基于任一校正点云数据对应的各个二维坐标，确定出其在每张二维图像中的像素点，最后，在该任一校正点云数据对应像素点的像素值中，筛选出出现次数最多的像素值，即可作为该任一校正点云数据的实际像素值。

在一个可能的设计中，获取目标物体在多视角下拍摄的二维图像，包括：

获取目标物体的视频流，其中，所述视频流是围绕所述目标物体拍摄得到的；

对所述视频流进行逐帧处理，得到每帧对应的视频图像，以将每帧对应的视频图像作为所述目标物体在多视角下拍摄的二维图像。

第二方面，提供了一种物体的三维重建装置，包括：

获取单元，用于获取目标物体在多视角下拍摄的二维图像；

图像配准单元，用于基于所述目标物体，对每张二维图像进行图像配准，得出所述每张二维图像中的各个像素点与所述目标物体的各个部位之间的匹配关系；

映射单元，用于对所述每张二维图像中的各个像素点进行三维转换，得到所述每张二维图像中各个像素点对应的3D点云数据，以利用每张二维图像中各个像素点对应的3D点云数据组成所述目标物体的3D点云数据集；

校正单元，用于利用所述匹配关系，对3D点云数据集进行数据校正，以得到目标物体的校正点云数据集；

映射单元，用于将校正点云数据集中的每个校正点云数据映射至每张二维图像中，以基于每个校正点云数据在每张二维图像中对应的二维坐标，得到每个校正点云数据的实际像素值；

模型构建单元，用于利用校正点云数据集和每个校正点云数据的实际像素值，构建得到目标物体的三维模型。

第三方面，提供了另一种物体的三维重建装置，以装置为电子设备为例，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计的所述物体的三维重建方法。

第四方面，提供了一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意一种可能设计的所述物体的三维重建方法。

第五方面，提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意一种可能设计的所述物体的三维重建方法。

有益效果：

(1)本发明无需采集物体的深度图像，在三维重建时无需使用3D卷积，同时，也不需要构建网格，因此，本发明相较于基于体素的物品三维重建算法，计算量更小，相比于基于点云的重建方式，设备成本更低，以及相对于基于网格的三维重建算法，误差更小。

附图说明

图1为本发明实施例提供的物体的三维重建方法的步骤流程示意图；

图2为本发明实施例提供的物体的三维重建装置的结构示意图；

图3为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。

应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。

应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。

实施例：

参见图1所示，本实施例第一方面所提供的物体的三维重建方法，在进行三维重建时，无需采集物体深度图像、无需使用3D卷积以及无需构建网格，因此，本方法相比于传统的三维重建方法，计算量更小、成本更低以及精确度更高，适用于大规模推广与应用；其中，本实施例所提供的方法可以但不限于在三维重建端侧运行，可选的，所述三维重建端可以但不限于是个人电脑(personal computer，PC)、平板电脑、智能手机和/或个人数字助理(personal digital assistant，PDA)等，可以理解的，前述执行主体并不构成对本申请实施例的限定，相应的，本方法的运行步骤可以但不限于如下述步骤S1～S6所示。

S1.获取目标物体在多视角下拍摄的二维图像；具体应用时，可以但不限于通过拍摄目标物体来得到其多视角下的二维图像，其中，获取过程可以但不限于采用如下方法：获取目标物体的视频流，其中，所述视频流是围绕所述目标物体拍摄得到的；对所述视频流进行逐帧处理，得到每帧对应的视频图像，以将每帧对应的视频图像作为所述目标物体在多视角下拍摄的二维图像；在本实施例中，可将目标物体放置在放置台，然后将摄像机固定在旋转架上，并操作旋转架旋转，从而围绕目标物体拍摄得到视频流；更进一步的，目标物体用于表征需要进行三维重建的物体，其可根据实际需求而具体指定。

在得到目标物体在多视角下的二维图像后，即可进行三维重建，其中，本实施例是先对二维图像进行配准，获得每张二维图像中各个像素点与目标物体上各部位之间的匹配关系，然后，再对每张二维图像中的各个像素点进行三维映射，得到3D点云数据集；接着，再对3D点云数据集进行校正，并同时获取校正后点云数据的实际像素值；最后，基于校正点云数据以及对应的实际像素值，即可完成目标物体的三维重建，具体实施时，重建过程如下述步骤S2～S6所示。

S2.基于所述目标物体，对每张二维图像进行图像配准，得出所述每张二维图像中的各个像素点与所述目标物体的各个部位之间的匹配关系；具体应用时，步骤S2相当于得出了不同二维图像中用于表征目标物体同一部位的像素点；如假设目标物体为一铁塔，那么，可得出不同二维图像中用于表征塔尖、塔角等部位的像素点，如第一二维图像中坐标为(x1，y1)的像素点A1表征塔尖，第二二维图像中坐标为(x2，y2)的像素点B1也表征塔尖，因此，塔尖与像素点的匹配关系则是：塔尖对应像素点A1和像素点B1；当然，其余各个像素点与目标物体的各部分的匹配关系如上述举例一致，于此不再赘述。

可选的，在本实施例中，举例采用改进后的AKAZE算法对二维图像进行图像配准，其是图像处理领域的常用配准算法，主要分为4个步骤：(1)通过非线性滤波函数和快速显式扩散FED(Fast Explicit Diffusion)算法构造非线性尺度空间；(2)用不同尺度归一化的Hessian矩阵寻找局部极值点；(3)计算图像中特征点的主方向，然后用SIFT(尺度不变特征变换)算法提取SIFT特征；(4)利用Hamming距离作为特征匹配的相似性度量，对特征点进行度量和配准，从而得出多张图像中用于表征目标物体同一部位的像素点，以得到每张二维图像中各个像素点与目标物体的各个部位之间的匹配关系。

在得到每张二维图像中各个像素点与目标物体的各个部位之间的匹配关系后，即可将每张二维图像中的各个像素点映射至三维空间中，以便得到各个像素点对应的3D点云数据，其中，三维映射过程如下述步骤S3所示。

S3.对所述每张二维图像中的各个像素点进行三维转换，得到所述每张二维图像中各个像素点对应的3D点云数据，以利用每张二维图像中各个像素点对应的3D点云数据组成所述目标物体的3D点云数据集；具体应用时，本实施例是基于相机的投影矩阵来完成二维像素点至3D点云数据的映射，其中，映射过程如下述步骤S31～S33所示。

S31.获取每张二维图像在拍摄时对应相机的相机参数，其中，所述相机参数包括相机内参数以及相机外参数；具体应用时，相机的内参数以及外参数是相机本身的固有参数，为已知量，更进一步的，举例相机的内参数可以但不限于包括：相机的水平焦距、垂直焦距、水平方向中心点和垂直方向中心点(即相机的主点的实际位置)；同理，举例相机的外参数可以但不限于包括：相机在相机坐标系三个轴上的旋转参数以及三个轴上的平移参数；因此，在相机围绕目标物体拍摄时，每个拍摄角度都对应有不同的相机内外参数；在本实施例中，相机参数可预设至三维重建端。

在得到每张二维图像对应的相机参数后，即可基于相机参数，构建得到每张二维图像在拍摄时对应相机的投影矩阵，如下述步骤S2所示。

S32.根据每张二维图像对应的相机参数，计算出每张二维图像在拍摄时对应相机的投影矩阵；具体应用时，可利用通过建立相机成像的几何模型，来基于相机参数求解相机的投影矩阵，可选的，建立几何模型需建立世界坐标系、相机坐标系(原点位于镜头光心处、x和y轴分别与相机成像图片面的两边平行，z轴为镜头光轴，与像平面垂直)、像素坐标系(原点位于二维图像的左上角，x轴和y轴分别与图像的两边平行)以及图像坐标系(原点是相机光轴与相面的交点，一般位于图像中心，x轴与y轴分别与像素坐标系中的x轴和y轴平行)，在建立了前述坐标系后，即可基于世界坐标系到相机坐标系的转换关系、相机坐标系到图像坐标系的转换关系、图像坐标系到像素坐标系的转换关系来建立相机几何模型，接着，引入相机畸变参数，来建立相机投影矩阵求解方程，最后，利用最小二乘法法对方程求解，即可得到相机的投影矩阵。

在得到各个二维图像在拍摄时对应相机的投影矩阵后，即可基于投影矩阵来进行三维映射，也就是求解各个二维图像中每个像素点对应的三维坐标，其中，三维坐标求解过程如下述步骤S33所示。

S33.基于每张二维图像在拍摄时对应相机的投影矩阵，以及所述每张二维图像中各个像素点的像素坐标，计算得到每张二维图像中各个像素点的三维坐标，以便将各个像素点的三维坐标，作为各个像素点的3D点云数据；在具体应用时，根据相机映射原理可知，存在有一相机因子满足以下关系：

ω*(u,v,1)^T＝PX，式中，ω表示相机因子，u,v分别表示任一像素点的像素横坐标和像素纵坐标，P表示该任一像素点所在二维图像对应相机的投影矩阵，X＝(α，β，γ)，为任一像素点对应的三维坐标组成的矩阵，即α，β，γ分别表示三维坐标中的横坐标、纵坐标以及z轴的坐标，T表示矩阵转置运算。

因此，基于前述公式，可建立三维坐标的求解方程，如下所示：

上述式(1)中，p₁，p₂，p₃分别为该任一像素点所在二维图像对应相机的投影矩阵中的列向量，即P＝[p₁,p₂,p₃]^T。

因此，消除上述方程中的ω，即可求解出矩阵X，从而得出该任一像素点对应的三维坐标。

由此，基于上述公式，即可计算得到每张二维图像中各个像素点对应的三维坐标，从而作为各个像素点的3D点云数据，以组成目标物体的3D点云数据集。

完成每张二维图像中各个像素点的三维映射后，即可利用步骤S2中得出的匹配关系，对步骤S3得到的3D点云数据集进行数据校正，以减少映射得到的3D点云数据的误差，从而提高模型的构建精度，其中，校正过程如下述步骤S4所示。

S4.利用所述匹配关系，对3D点云数据集进行数据校正，以得到目标物体的校正点云数据集；具体应用时，本实施例设置有两次校正过程，第一次校正为：对3D点云数据集中的点云数据进行误差修正；第二次校正为：对修正后的点云数据进行离群点云数据的剔除，其中，校正过程可以但不限于如下述步骤S41和步骤S42所示。

S41.利用所述匹配关系，对所述3D点云数据集进行误差修正，得到修正3D点云数据集；具体应用时，步骤S41是对3D点云数据集中的点云数据进行误差修正，从而得出目标物体各个部件对应的修正3D点云数据，可选的，误差修正过程可以但不限于如下述步骤S41a～S41c所示。

S41a.利用所述匹配关系，得出所述目标物体上各个部位对应的像素点，以便基于各个部位对应的像素点，从所述3D点云数据集中匹配出所述目标物体上各个部位对应的3D点云数据；具体应用时，由于前述就已说明，匹配关系包含了不同二维图像中用于表征目标物体同一部位的像素点，也就是目标物体同一部位对应的各个像素点，因此，基于同一部位对应的各个像素点，联合3D点云数据集，即可得到同一部位对应的3D点云数据；下述还是在前述举例的基础上进行阐述：假设塔尖这一部位对应像素点的是A1和B1，那么，即可基于像素点A1，在3D点云数据集中，匹配出A1对应的3D点云数据(假设为A11)，同理，也可在3D点云数据集中，匹配出B1对应的3D点云数据(假设为B11)，由此，采用前述相同原理，即可基于匹配关系，确定出目标物体其余各个部位对应的3D点云数据。

在得到目标物体中各个部位对应的3D点云数据后，即可对各个部位的3D点云数据进行误差修正，其中，修正过程如下述步骤S41b所示。

S41b.计算所述目标物体上各个部位对应的3D点云数据的平均值，以将各个部位对应的3D点云数据的平均值，作为所述目标物体上各个部位的修正3D点云数据；具体应用时，还是在前述举例的基础上来阐述步骤S41b：前述目标物体为铁塔，其塔尖对应的3D点云数据为A11和B11，且前述也说明3D点云数据实质为塔尖在不同二维图像中像素点对应的三维坐标，因此，3D点云数据A11和B11平均值，则是两三维坐标的平均值(假设A11为(x1a、y1a，z1a)，B11为(x1b，y1b，z1b))，即A11和B11x轴坐标值的均值((x1a+x1b)/2)、y轴坐标值的均值((y1a+y1b)/2)以及z轴坐标值的均值((z1a+z1b)/2)，来组成一个新的三维坐标，从而将新的三维坐标作为塔尖的修正3D点云数据，同理，其余各个部位对应3D点云数据的误差修正过程与前述举例一致，于此不再赘述。

在完成目标物体各个部位对应3D点云数据的误差修正后，即可利用修正的3D点云数据来组成修正3D点云数据集，如下述步骤S41c所示。

S41c.利用所述目标物体的各个部位的修正3D点云数据，组成所述修正3D点云数据集。

在完成目标物体的3D点云数据的误差修正后，还需从误差修正得到的3D点云数据中剔除离群点云数据，以减少无效点云数据对模型构建的干扰，其中，离群点云数据的剔除过程如下述步骤S42所示。

S42.对所述修正3D点云数据集进行离群点处理，以剔除所述修正3D点云数据集中的离群点云数据，并在离群点云数据剔除完毕后，得到校正点云数据集；具体应用时，举例采用各个修正3D点云数据与其相邻的点云数据间距离的标准差以及平均值，来判断各个修正3D点云数据是否为离群点云数据，其中，判断过程如下述步骤S42a～S42e所示。

S42a.获取修正3D点云数据集中每个修正3D点云数据相邻的n个点云数据，其中，n为正整数；具体应用时，由于每个修正3D点云数据实质为三维坐标，因此，对于任一修正3D点云数据，通过坐标间的距离公式，即可计算出其与其余各个修正3D点云数据之间的距离，因此，从计算出的距离中，选取最小的前n个距离值对应的点云数据，即可作为相邻的点云数据；在本实施例中，n可以但不限于为3或5。

在得到每个修正3D点云数据各自相邻的n个点云数据后，即可基于各个修正3D点云数据与其相邻n个点云数据之间的距离，来组成各个修正3D点云数据的距离集，以便后续基于距离集来进行离群点云数据的判断，其中，距离集的组成过程如下述步骤S42b所示。

S42b.计算每个修正3D点云数据与对应相邻的n个点云数据之间的距离，以利用每个修正3D点云数据与对应相邻的n个点云数据之间的距离，组成每个修正3D点云数据的距离集；具体应用时，由于前述步骤S42a是基于距离来确定与任一修正3D点云数据相邻的点云数据，因此，任一修正3D点云数据与其相邻的点云数据之间的距离是已知的(即在步骤S42a中计算得出)，最后，用n个距离即可组成该任一修正3D点云数据的距离集；假设n取3，那么相当于是将任一修正3D点云数据与其相邻最近的3个点云数据之间的距离，来组成该任一修正3D点云数据的距离集。

在得到各个修正3D点云数据的距离集后，即可计算距离集的标准差以及平均值，从而基于标准差和平均值来计算得到第一和第二离群点判断阈值，其中，计算过程如下述步骤S42c所示。

S42c.计算每个距离集的标准差以及平均值，以便基于每个距离集的标准差以及平均值得到第一离群点判断阈值以及第二离群点判断阈值；下述以一个实例来阐述步骤S42c，假设任一修正3D点云数据的距离集J1包括距离J11、J12和J13，那么距离集J1的平均值为：J＝(J11+J12+J13)/3，其标准差计算过程为：基于距离集J1的平均值，先算距离集J1中每个距离的方差，如距离J11的方差为：(J11-J)^2，同理，距离集J1其余各个距离的方法计算原理与前述举例一致，于此不再赘述；然后，计算三个方差的平均方差，最后，对平均方差开方，即可得到距离集J1的标准差；当然，其余各个修正3D点云数据的距离集的标准差的计算原理也是如此，于此不再赘述。

在得到各个修正3D点云数据的距离集的标准差和平均值后，即可计算所有距离集的标准差的均值，以及平均值的均值，从而将标准差的均值作为第二离群点判断阈值，以及将平均值的均值作为第一离群点判断阈值。

在得到第一离群点判断阈值和第二离群点判断阈值后，即可基于各个修正3D点云数据的距离集的平均值与第一离群点判断阈值的大小关系，以及标准差与第二离群点判断阈值的大小关系，来得出各个修正3D点云数据是否为离群点云数据，其中，判断过程如下述步骤S43d所示。

S43d.对于任一修正3D点云数据，判断所述任一修正3D点云数据的距离集的标准差是否大于所述第二离群点判断阈值，和/或判断所述任一修正3D点云数据的距离集的平均值是否大于所述第一离群点判断阈值。

S43e.若是，则将任一修正3D点云数据作为离群点云数据，从所述修正3D点云数据集中剔除，并在把修正3D点云数据集中所有修正3D点云数据均判断完毕后，得到所述校正点云数据集；在本实施例中，只要任意修正3D点云数据的距离集的标准差大于第二离群点判断阈值和/或平均值大于第一离群点判断阈值，即可将该任一修正3D点云数据作为离群点云数据，以便从修正3D点云数据集中删除，采用前述步骤，将所有修正3D点云数据判断完毕后，即可得到校正点云数据集。

由此通过前述步骤S41和步骤S42所描述的两次校正过程，本发明可保证用于构建模型的3D点云数据的精确度，从而减少构建误差，提高模型精度。

在完成3D点云数据集的数据校正，得到校正点云数据后，还需得到每个校正点云数据的像素值，以便在模型构建时进行着色，其中，各个校正点云数据的像素值的确定过程如下述步骤S5所示。

S5.将所述校正点云数据集中的每个校正点云数据映射至每张二维图像中，以基于每个校正点云数据在每张二维图像中对应的二维坐标，得到每个校正点云数据的实际像素值；具体应用时，还是使用前述式(1)将每个校正点云数据映射至每张二维图像中，即相当于式(1)中的矩阵X已知，投影矩阵已知，反过来计算u和w，同时，只需代入不同二维图像对应相机的投影矩阵，即可得到同一校正点云数据在不同二维图像中的二维坐标，在本实施例中，其原理与前述三维坐标计算原理相同，于此不再赘述。

在得到每个校正点云数据在每张二维图像中的二维坐标后，相当于就完成了每个校正点云数据在不同二维图像中的映射，且在得到每个校正点云数据在每张二维图像中的二维坐标后，即可得到每个校正点云数据的实际像素值，其中，实际像素值的确定过程如下述步骤S51和步骤S52所示。

S51.对于任一校正点云数据，将所述任一校正点云数据在每张二维图像中的二维坐标对应像素点的像素值，作为任一校正点云数据在每张二维图像中的像素值。

S52.在任一校正点云数据的多个像素值中，筛选出出现次数最多的像素值，作为所述任一校正点云数据的实际像素值。

下述以一个实例来阐述前述步骤S51和步骤S52,：假设二维图像共计有12张，那么任一校正点云数据映射至12张二维图像中，则对应有12个二维坐标，因此，该任一校正点云数据则对应有12个像素点，由此，即可在这12个像素点对应的像素值中，选择出现次数最多的一个像素值(实质就是相同像素值最多的一个)，来作为该任一校正点云数据的实际像素值；当然，其余各个校正点云数据的实际像素值的确定过程与前述举例原理一致，于此不再赘述。

在得到各个校正点云数据对应的实际像素值后，即可进行目标物体的三维重建，如下述步骤S6所示。

S6.利用校正点云数据集和每个校正点云数据的实际像素值，构建得到目标物体的三维模型；具体应用时，可利用校正点云数据集中的各个校正点云数据进行三维重建，然后利用各个校正点云数据的实际像素值对点云数据进行着色，着色完成后，即可得到目标物体的三维模型。

由此通过前述步骤S1～S6所详细描述的物体的三维重建方法，本发明无需采集物体的深度图像，在三维重建时无需使用3D卷积，同时，也不需要构建网格，因此，本发明相较于基于体素的物品三维重建算法，计算量更小，相比于基于点云的重建方式，设备成本更低，以及相对于基于网格的三维重建算法，误差更小。

如图2所示，本实施例第二方面提供了一种实现实施例第一方面中所述的物体的三维重建方法的硬件装置，包括：

获取单元，用于获取目标物体在多视角下拍摄的二维图像。

图像配准单元，用于基于所述目标物体，对每张二维图像进行图像配准，得出所述每张二维图像中的各个像素点与所述目标物体的各个部位之间的匹配关系。

映射单元，用于对所述每张二维图像中的各个像素点进行三维转换，得到所述每张二维图像中各个像素点对应的3D点云数据，以利用每张二维图像中各个像素点对应的3D点云数据组成所述目标物体的3D点云数据集。

校正单元，用于利用所述匹配关系，对3D点云数据集进行数据校正，以得到目标物体的校正点云数据集。

映射单元，用于将校正点云数据集中的每个校正点云数据映射至每张二维图像中，以基于每个校正点云数据在每张二维图像中对应的二维坐标，得到每个校正点云数据的实际像素值。

模型构建单元，用于利用校正点云数据集和每个校正点云数据的实际像素值，构建得到目标物体的三维模型。

本实施例提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。

如图3所示，本实施例第三方面提供了另一种物体的三维重建装置，以装置为电子设备为例，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的物体的三维重建方法。

具体举例的，所述存储器可以但不限于包括随机存取存储器(random accessmemory，RAM)、只读存储器(Read Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output，FIFO)和/或先进后出存储器(First In Last Out，FILO)等等；具体地，处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现，同时，处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。

在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制，例如，所述处理器可以不限于采用型号为STM32F105系列的微处理器、精简指令集计算机(reduced instruction setcomputer,RISC)微处理器、X86等架构处理器或集成嵌入式神经网络处理器(neural-network processing units，NPU)的处理器；所述收发器可以但不限于为无线保真(WIFI)无线收发器、蓝牙无线收发器、通用分组无线服务技术(General Packet Radio Service，GPRS)无线收发器、紫蜂协议(基于IEEE802.15.4标准的低功耗局域网协议，ZigBee)无线收发器、3G收发器、4G收发器和/或5G收发器等。此外，所述装置还可以但不限于包括有电源模块、显示屏和其它必要的部件。

本实施例提供的电子设备的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。

本实施例第四方面提供了一种存储包含有实施例第一方面所述的物体的三维重建方法的指令的存储介质，即所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的物体的三维重建方法。

其中，所述存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

本实施例提供的存储介质的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。

本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的物体的三维重建方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种物体的三维重建方法，其特征在于，包括：

获取目标物体在多视角下拍摄的二维图像；

基于所述目标物体，对每张二维图像进行图像配准，得出所述每张二维图像中的各个像素点与所述目标物体的各个部位之间的匹配关系；

对所述每张二维图像中的各个像素点进行三维转换，得到所述每张二维图像中各个像素点对应的3D点云数据，以利用每张二维图像中各个像素点对应的3D点云数据组成所述目标物体的3D点云数据集；

利用所述匹配关系，对3D点云数据集进行数据校正，以得到目标物体的校正点云数据集；

将所述校正点云数据集中的每个校正点云数据映射至每张二维图像中，以基于每个校正点云数据在每张二维图像中对应的二维坐标，得到每个校正点云数据的实际像素值；

利用校正点云数据集和每个校正点云数据的实际像素值，构建得到目标物体的三维模型。

2.根据权利要求1所述的方法，其特征在于，对所述每张二维图像中的各个像素点进行三维转换，得到所述每张二维图像中各个像素点对应的3D点云数据，包括：

获取每张二维图像在拍摄时对应相机的相机参数，其中，所述相机参数包括相机内参数以及相机外参数；

根据每张二维图像对应的相机参数，计算出每张二维图像在拍摄时对应相机的投影矩阵；

基于每张二维图像在拍摄时对应相机的投影矩阵，以及所述每张二维图像中各个像素点的像素坐标，计算得到每张二维图像中各个像素点的三维坐标，以便将各个像素点的三维坐标，作为各个像素点的3D点云数据。

3.根据权利要求1所述的方法，其特征在于，利用所述匹配关系，对3D点云数据集进行数据校正，以得到目标物体的校正点云数据集，包括：

利用所述匹配关系，对所述3D点云数据集进行误差修正，得到修正3D点云数据集；

对所述修正3D点云数据集进行离群点处理，以剔除所述修正3D点云数据集中的离群点云数据，并在离群点云数据剔除完毕后，得到校正点云数据集。

4.根据权利要求3所述的方法，其特征在于，利用所述匹配关系，对所述3D点云数据集进行误差修正，得到修正3D点云数据集，包括：

利用所述匹配关系，得出所述目标物体上各个部位对应的像素点，以便基于各个部位对应的像素点，从所述3D点云数据集中匹配出所述目标物体上各个部位对应的3D点云数据；

计算所述目标物体上各个部位对应的3D点云数据的平均值，以将各个部位对应的3D点云数据的平均值，作为所述目标物体上各个部位的修正3D点云数据；

利用所述目标物体的各个部位的修正3D点云数据，组成所述修正3D点云数据集。

5.根据权利要求3所述的方法，其特征在于，对所述修正3D点云数据集进行离群点处理，以剔除所述修正3D点云数据集中的离群点云数据，并在离群点云数据剔除完毕后，得到所述校正点云数据集，包括：

获取修正3D点云数据集中每个修正3D点云数据相邻的n个点云数据，其中，n为正整数；

计算每个修正3D点云数据与对应相邻的n个点云数据之间的距离，以利用每个修正3D点云数据与对应相邻的n个点云数据之间的距离，组成每个修正3D点云数据的距离集；

计算每个距离集的标准差以及平均值，以便基于每个距离集的标准差以及平均值得到第一离群点判断阈值以及第二离群点判断阈值；

对于任一修正3D点云数据，判断所述任一修正3D点云数据的距离集的标准差是否大于所述第二离群点判断阈值，和/或判断所述任一修正3D点云数据的距离集的平均值是否大于所述第一离群点判断阈值；

若是，则将任一修正3D点云数据作为离群点云数据，从所述修正3D点云数据集中剔除，并在把修正3D点云数据集中所有修正3D点云数据均判断完毕后，得到所述校正点云数据集。

6.根据权利要求1所述的方法，其特征在于，基于每个校正点云数据在每张二维图像中对应的二维坐标，得到每个校正点云数据的实际像素值，包括：

对于任一校正点云数据，将所述任一校正点云数据在每张二维图像中的二维坐标对应像素点的像素值，作为任一校正点云数据在每张二维图像中的像素值；

在任一校正点云数据的多个像素值中，选择出现次数最多的像素值，作为所述任一校正点云数据的实际像素值。

7.根据权利要求1所述的方法，其特征在于，获取目标物体在多视角下拍摄的二维图像，包括：

获取目标物体的视频流，其中，所述视频流是围绕所述目标物体拍摄得到的；

对所述视频流进行逐帧处理，得到每帧对应的视频图像，以将每帧对应的视频图像作为所述目标物体在多视角下拍摄的二维图像。

8.一种物体的三维重建装置，其特征在于，包括：

获取单元，用于获取目标物体在多视角下拍摄的二维图像；

图像配准单元，用于基于所述目标物体，对每张二维图像进行图像配准，得出所述每张二维图像中的各个像素点与所述目标物体的各个部位之间的匹配关系；

映射单元，用于对所述每张二维图像中的各个像素点进行三维转换，得到所述每张二维图像中各个像素点对应的3D点云数据，以利用每张二维图像中各个像素点对应的3D点云数据组成所述目标物体的3D点云数据集；

校正单元，用于利用所述匹配关系，对3D点云数据集进行数据校正，以得到目标物体的校正点云数据集；

映射单元，用于将校正点云数据集中的每个校正点云数据映射至每张二维图像中，以基于每个校正点云数据在每张二维图像中对应的二维坐标，得到每个校正点云数据的实际像素值；

模型构建单元，用于利用校正点云数据集和每个校正点云数据的实际像素值，构建得到目标物体的三维模型。

9.一种电子设备，其特征在于，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～7任意一项所述的物体的三维重建方法。

10.一种存储介质，其特征在于，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7任意一项所述的物体的三维重建方法。

Images