CN112396703A - 一种单图像三维点云模型重建方法 - Google Patents

Abstract

本发明涉及一种单图像三维点云模型重建方法，首先预训练一个点云自编码器网络，得到一个点云特征向量；构建图像编码网络学习输入图像特征，编码成固定长度的图像特征向量，随后利用解码器网络将向量解码成点云表达形式；通过最小化两个特征向量的差异，使得输入图像特征分布逼近点云特征分布，从而可以重建出相似的真实点云模型，解决三维重建中的不确定性问题。此外，利用可微投影模块将初始重建点云从不同视角投影到二维平面，获取二值化投影图，通过最小化初始点云投影图与真实投影图的差异，优化初始重建点云，从而得到具有细节结构的点云模型。

Description

一种单图像三维点云模型重建方法

技术领域

本发明涉及计算机视觉和计算机图形学领域，特别是涉及一种基于单幅二维图像的三维重建方法。

背景技术

在现实世界中，相比于文本，图像等海量且易于获取的媒体数据，三维模型更能展现出物体的立体视觉感和细节质感，是一种更符合人类视觉系统的数据表达，此外，随着硬件扫描设备和专业建模软件的发展，三维数据日益丰富，以及计算机存储空间，计算能力的快速发展，三维模型被广泛地应用在工业设计、城市规划、影视教育等领域。但硬件扫描设备以及专业建模软件如3DS Max、MAYA等建模软件价格昂贵，使用门槛高，对广大爱好者不够友好，因此，研究便捷有效的三维模型重建方法是计算机图形学和计算机视觉领域的重要方向和热门话题。

由于图像可以低成本高效获取，三维模型的重建在学习现有二维图像数据特点的基础上，求解深度模型参数，目前主要依靠多张图像进行三维重建，并且通常是优化重建模型与真实模型的差距。由于图像的重复，纹理，反射等有不太确定性，因此需要设定一系列强假设约束，此外，三维数据集相对较难获取，因此基于多张图像的三维重建一定程度上受到限制。对单图像重建而言，利用深度网络强大的特征提取能力，对输入单幅图像进行分析和推理，结合先验知识，逼近其对应三维模型特征分布，实现生成符合语义约束的三维模型，可以很大程度上减轻对大规模3D数据集的需求，同时降低三维建模的难度，使普通爱好者用户也能获取所需三维模型。

根据实际场景应用的不同需求，目前主要有点云、网格和体素这三种表达方式。体素表示的方法是将空间分为多个小立方体，可以视为二维到三维的直接推广，但较于二维图像，由于计算和内存的限制，分辨率主要为32³、64³这类低分辨率上。针对这一问题，一些基于空间划分技术如八叉树的卷积神经网络被提出，将三维空间分割成一组不平衡八叉树，充分利用三维数据的稀疏性来分割三维空间。基于网格表示的方法使用图卷积网络提取特征，通过模板不断变形拟合新的模型，但是受限于给定初始网格拓扑关系不能生成一个具有各种拓扑的对象，且图像和网格之间的转换离散操作会阻碍反向传播，导致基于深度学习重建网格表示的三维模型面临不小的挑战。基于点云表示的方法使用离散点来描述物体表面信息的空间，由于不用考虑模型内部空间以及点之间的连接关系，且点云数据具有无序性和置换不变性等特点，可以方便地进行几何变换，计算量小，适合大场景以及高分辨模型的表达，因此广泛应用于自动驾驶，虚拟现实等领域。

发明内容

本发明主要解决的技术问题：针对目前基于图像重建主要依靠三维点云作为监督的方法，提供一种基于先验知识的三维点云模型重建方法，通过预训练三维点云模型的方法获取点云先验知识，不仅减少了重建过程中不确定点云的生成，而且结合多个二维投影图监督的方法，使重建的点云具有与输入一致的外观轮廓细节，本发明降低了对真实三维模型监督的依赖性，提高三维模型重建精度，使得三维模型重建更具有广泛性。

为解决上述技术问题，本发明采用的一个技术方案是：对物体的单张RGB图像进行处理，通过构建三维重建网络以及投影框架，联合点云先验知识特征分布约束，可得到与输入图像一致的具有精确细节的三维点云模型，缓解了现实中三维监督方法中三维数据的不足，其具体包括以下步骤：

(1)训练一个三维点云自编码器网络，使用深度卷积变分编码器学习输入点云的特征，将输入三维点云编码成一个固定长度的点云特征向量，然后解码成三维点云模型，通过最小化真实点云与重建点云距离，得到网络优化训练后表达三维点云特征分布的特征向量，获取三维点云数据先验知识；

(2)使用深度卷积变分编码器学习输入图像的特征，将得到的输入图像特征编码成与步骤1中点云特征向量相同长度的图像特征向量，得到编码结果；

(3)构建解码器网络将步骤2中的得到的图像特征向量解码成一个N×K点云模型，通过可微投影模块获取三维点云模型多张不同视角m×m二维投影图；

(4)使用二元交叉熵损失计算步骤3中得到的二维投影图与真实二维投影图之间的距离，联合步骤1中获取的点云特征向量与步骤2中获取的图像特征向量，使用L1 loss计算距离，通过最小化两种距离和来减少重建中的不确定性点云，预测与输入图像一致的具有精确细节的最优点云模型。

在步骤1中，深度卷积变分编码器包括五个多层感知层(MLP)，这五个网络层的特征输出维度分别为64、128、128、256、512；全连接层输出向量的固定长度为512；解码器网络判别器包括三个多层感知层，特征输出维度分别为64、128，6144，生成2048×3点云模型，使用Chamfer Distance作为损失函数；应用Adam梯度下降算法，优化自编码器中的所有参数，最小化重建点云与真实点云的距离，重复执行前三步直到总的损失函数收敛或循环达到最大迭代次数，以能生成准确的三维点云模型，从而得到网络优化训练后表达三维点云特征分布的特征向量，获取三维点云数据先验知识。

在步骤2中，所述深度卷积变分编码器包括十三个二维卷积层，其前十二个二维卷积层的卷积核均为3，最后一个卷积层为5，其中每三个卷积层的步长依次分别为1、1、2，最后一个卷积层步长为2；且每个卷积层后接一个激活层，激活函数为ReLu；深度卷积变分编码器的最后一层为全连接层，全连接层输出向量的固定长度为512。

在步骤3中，使用正交投影方法，从任意一个投影视角v将点云映射到一个二维平面，得到二值化投影图，变换视角，获取多张二维投影图，具体方法为通过相机参数，首先将重建点云转换为相机坐标，继而使用可微投影模块投影成二值化轮廓图。

在步骤4中，计算得到的重建点云二维投影图与真实二维投影图之间的距离，以此增加点云数据先验知识，减少重建中的不确定性点云，计算点云特征向量与输入图像特征向量L1距离，重建具有精确外观细节点云模型，通过最小化两种距离和，得到与输入图像一致的具有精确细节的最优点云模型。

本发明的有益效果是：本发明在点云模型重建过程中引入二维投影图像监督的方式，缓解了现实训练中三维数据集的不足，同时通过预训练三维点云模型的方法获取点云先验知识，减少了不确定重建模型的产生，得到与输入图像一致的具有精确细节的最优点云模型，实现了低成本，高实时三维模型重建。

附图说明

图1为本发明的单图像三维点云重建具体实现过程示意图；

图2为本发明中三维点云自编码器实现示意图；

图3为本发明中重建点云投影示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行描述。其中附图1描述了单图像三维点云重建具体实现过程示意图；附图2描述了点云自编码器实现过程。附图3按照投影方法将三维点云模型映射成多张投影图的过程。

如图1所示，本发明三维点云模型重建方法如下：

(1)本发明中的点云自编码器首先使用深度卷积变分编码器学习数据集中输入点云X_P潜在的数据分布特征，获取更多的先验知识。因此，首先训练一个点云编码解码网络，如图2所示，其中编码器选择PointNet相似网络结构，即由一维卷积层独立应用到每个点，为了实现点云在特征空间的旋转不变性，选用最大池化函数获得固定长度为512维的点云特征向量E_p，解码器端通过三层全连接层，其输出特征通道分别为成256，256，6144，最后映射成2048×3的点云模型

最小化重建点云

和真实点云X_P的距离，损失函数L_rec定义如下：

其中x，y分别代表输入点云模型和输出点云模型，d_chamfer为损失函数Chamferdistance，用于量化输入点云模型与输出点云模型之间的差异。

(2)输入图像首先使用深度卷积变分编码器学习其输入图像潜在的数据分布特征，如图3编码器部分，其包括十三个二维卷积层，前十二个二维卷积层的卷积核均为3，最后一个卷积层为5，其中每三个卷积层的步长依次分别为1、1、2，最后一个卷积层步长为2；且每个卷积层后接一个激活层，激活函数为ReLu；深度卷积变分编码器的最后一层为全连接层，全连接层输出图像特征向量E_I的固定长度为512。解码器端通过三层全连接层输出特征分别为成256，256，6144，接着映射成2048×3的点云模型。

(3)通过可微投影从步骤(2)获得的三维点云模型进行处理，使用正交投影方法，从任意一个投影视角v通过透视变换将点云映射到一个平面，根据相机内在参数，通过坐标转换将点云转换到统一坐标系，其表达形式为

其中K为相机标定参数，R，t为旋转，平移变换，N为点的数量，pn,

分别是输入，变换后的点云。通过在第v视角点云投影模块获取投影图

其中(i,j)是投影平面上对应坐标，投影图

可通过如下方式获得到：

其中tanh是正切函数，φ(.)是高斯核函数，

分别是点云中第n个点的位置，获取多张正交投影图M_l{l＝1,2,…,v}，每张投影图的大小为64×64；

(4)从步骤(3)获得的投影图，在多个不同投影角度的训练下，通过训练不断减小其与数据集中真实投影图的差异，投影图L_loss1定义如下：

其中M^v，

分别是第v个视角真实二值轮廓图和点云投影轮廓图，使用投影图像约束训练，得到的重建点云投影生成模型具有更精细的轮廓，更贴近真实三维物体。此外，最小化点云特征向量E_p与图像特征向量E_I差异L_loss2＝|E_I-E_P|，可以使得潜在数据空间逼近于真实数据分布，以得到相似的点云模型。联合两个距离，设置超参数α，具体的训练损失函数为L_loss＝L_loss1+αL_loss2，应用Adam梯度下降算法，优化图像编码器中的参数，直到损失函数收敛或循环达到最大迭代次数，得到最终训练模型的参数，以能生成与输入图像一致的具有精确细节的最优点云模型。

如图3所示，输入图像首先使用深度卷积变分编码器学习其输入图像潜在的数据分布特征，随后解码器端通过三层全连接层输出特征分别为成256，256，6144，接着映射成2048×3的初始点云，继而使用可微投影模块将初始点云进行投影，获取多个不同视角二维二值化投影轮廓图。与现有方法仅依靠重建点云和真实点云计算差异的方法不同，这一部分增加了多视角约束，从多个不同的视角衡量了重建初始点云和真实点云在外观几何上的不一致程度，让网络学习不同视角下物体的轮廓，通过保持预测点云和真实点云在不同视角上的几何一致性要求重建点云与输入图像语义相符，保证预测点云遵从图像物体的几何形状，以能生成与输入图像一致的具有精确细节的最优点云模型。此外，由于有三维点云预训练过程，本部分训练过程中不需要真实三维模型，从而使得训练过程加快。

Claims (5)

1.一种单图像三维点云模型重建方法，其特征在于，包括以下步骤：

步骤1：训练一个三维点云自编码器网络，使用深度卷积变分编码器学习输入点云的特征，将输入三维点云编码成一个固定长度的点云特征向量，然后解码成三维点云模型，通过最小化与真实三维点云与重建三维点云距离，得到网络优化训练后表达三维点云特征分布的特征向量，获取三维点云先验知识；

步骤2：使用深度卷积变分编码器学习输入图像的特征，将得到的输入图像特征编码成与步骤1中点云特征向量相同长度的图像特征向量，得到图像编码结果；

步骤3：构建解码器网络将步骤2中得到的图像特征向量解码成一个N×K的三维点云模型，其中N表示三维点云模型中点的数量，K表示为三维点云模型中点的属性维度；通过可微投影模块获取三维点云模型多张不同视角m×m二维影图；其中m为二维图像的大小；

步骤4：使用二元交叉熵损失计算步骤3中得到的二维投影图与真实二值化投影图之间的距离之间的距离，联合步骤1中获取的点云特征向量与步骤2中获取的图像特征向量，使用一维空间距离函数L1 loss计算距离，通过最小化两种距离和来减少重建中的不确定性点云，预测与输入图像一致的具有精确细节的最优点云模型。

2.根据权利要求1所述的一种单图像三维点云模型重建方法，其特征在于：所述步骤1中，所述点云自编码器网络需预先进行训练，具体训练方法如下：

(1)深度卷积变分编码器包括五个多层感知层(MLP)，所述五个网络层的特征输出维度分别为64、128、128、256、512；全连接层输出向量的固定长度为512；

(2)解码器网络包括三个多层感知层，特征输出维度分别为64、128，6144，生成N×K点云模型，其中N表示三维点云模型中点的数量，K表示为三维点云模型中点的属性维度如坐标，颜色等，使用Chamfer Distance作为损失函数；

(3)应用Adam梯度下降算法，优化自编码器中的所有参数，最小化重建点云与真实点云的距离，重复执行(1)-(3)；

(4)直到步骤(3)中的损失函数收敛或循环达到最大迭代次数，得到能表达输入点云特征分布的特征向量。

3.根据权利要求1所述的一种单图像三维点云模型重建方法，其特征在于：所述步骤2中，所述深度卷积变分编码器包括十三个二维卷积层，其前十二个二维卷积层的卷积核均为3，最后一个卷积层为5，其中每三个卷积层的步长依次分别为1、1、2，最后一个卷积层步长为2；且每个卷积层后接一个激活层，激活函数为ReLu；深度卷积变分编码器的最后一层为全连接层，全连接层输出向量的固定长度为512。

4.根据权利要求1所述的一种单图像三维点云模型重建方法，其特征在于：所述步骤3中，构建解码器网络为：将步骤2中得到的图像特征向量解码成一个N×K的三维点云模型，通过使用可微投影模块将三维点云转换到二维平面上，投影成多张不同视角的m×m大小的二值化投影图。

5.根据权利要求1所述的一种单图像三维点云模型重建方法，其特征在于：所述步骤4中，使用二元交叉熵计算点云投影图与真实投影图之间的距离的方法为：使用L1距离函数计算三维点云特征向量与图像特征向量的距离，应用Adam梯度下降算法，优化图像编码器中的所有参数，直到损失函数收敛或循环达到最大迭代次数，生成与输入图像一致的具有精确细节的最优点云模型。

Images