CN111899328A - 一种基于rgb数据与生成对抗网络的点云三维重建方法 - Google Patents

Abstract

本发明涉及一种基于RGB数据与生成对抗网络的点云三维重建方法，为了解决上述背景技术中出现的点云数据获取复杂、价格昂贵和三维重建技术操作复杂的问题，本发明设计一种单一RGB图像生成点云数据的方法，并完成深度学习点云三维重建。首先使用便宜的普通相机捕获二维图像，通过生成对抗网络从单个RGB图像生成深度图像估计。通过生成训练数据深度相机的参数生成深度图像估计，根据深度计算得到三维点云数据。通过球面映射得到粗略表面模型，最后使用判别器对模型判别以得到完整的三维模型。

Description

一种基于RGB数据与生成对抗网络的点云三维重建方法

技术领域

本发明属于点云数据处理研究领域，涉及一种基于RGB数据与生成对抗网络的点云三维重建方法，主要涉及到点云数据生成、深度学习、生成对抗网络(GAN)、三 维重建等技术。

背景技术

近年来，随着人工智能技术的发展，三维重建技术广泛应用于生活的方方面面，如：人脸识别、大型文物重建、地理测绘、自动驾驶、激光SLAM等。点云数据的获 取通常是三维重建中最关键的一步。

传统点云数据的获取通常是从激光扫描仪获得，但有时成本过高。因此，研究使用更廉价便捷的设备和方法获取点云数据极具现实意义。此外，对于三维重建技术而 言，传统点云三维重建技术需要多角度、多方位测量后进行配准、映射、拼接完成。 一些被测物体由于形状复杂存在遮挡等问题，导致三维重建效果不够好。

每个摄像机都有能够进行估算的内在参数。卷积神经网络(CNN)、人工神经网 络(ANN)、循环神经网络(RNN)、生成对抗网络(GAN)等深度学习网络的发展为点云数 据的获取及三维重建提供了新的方向。

CN111145453A公开了一种通过图像分割和网格特征点提取算法生成

3D点云的方法，该方法包括CT图像序列组合成3D图像；区域生长自动分割； 使用移动立方体方法进行三维重建，生成PLY格式的网格模型；用特征点提取算法从 PLY模型中提取特征点构成3D点云模型最后着色完成重建。但是该方法使用图像序 列点云生成及三维重建方法操作复杂，生成的模型表明粗糙。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于RGB数据与生成对抗网络的点云三维重建方法，使用点云数据生成、深度学习、生成对抗网络(GAN)、三维重 建等技术，提供一种RGB二维数据通过生成对抗网络生成三维点云数据的方法，并使 用深度学习技术，构建算法网络完成点云三维重建，以解决所述背景技术中提出的问 题。

技术方案

一种基于RGB数据与生成对抗网络的点云三维重建方法，其特征在于步骤如下：

步骤1、通过生成网络创建深度图像：对GAN网络中的pix2pixHD进行修改，将 RGB图像通过修改后的pix2pixHD转换为相应的深度图像；

所述修改后的pix2pixHD：生成器G包括三个组件：一个卷积前端，一组残差块 和一个转置的卷积后端；鉴别符D分解为两个子鉴别符D1和D2，其中判别器D1为 处理发生器生成的全分辨率合成图像，为深度图像的全局视图以引导生成器G创建全 局一致的图像；鉴别符D2为处理半比例合成图像，引导生成器G创建清晰而准确的 图像；

所述鉴别符D2采用minimax函数为给定RGB输入图像的深度图像的条件分布建模：

其中：L₁和L₂分别是公式2和公式3中定义的损失函数，其中L₁对应于条件GAN 的目标函数，而L₂定义了特征匹配损失函数，μ权重特征匹配损失，D_k表示次鉴别 器，属于鉴别符D2中的条件分布函数；在公式3中，D_k ⁽ⁱ⁾是鉴别器D_k的第i层特征 提取器，并且T和N_i分别表示鉴别器D_k中的层数和每层的元素数(鉴别器属于鉴别 符的一部分)；在公式3中选择L₁距离；

步骤2、从生成的深度图像中估计目标物体相应的三维点云：采用相机校准技术的方法，以拍摄相机的固有参数和二维位置Q处的深度，确定三维空间中的点P，将 步骤1得到的深度图像转换为相应的三维点云；

三维空间点云P(p_x，p_y，p_z)和对应的二维深度图像上的点Q(q_u，q_v)之间的 关系为：

其中，f_u，f_v；c_u和c_v代表深度相机的固有参数。f_u和f_v分别是相机沿u和v轴的 焦距，而c_u和c_v代表是图像平面的中心坐标；

通过公式4逆变换得到(q_u，q_v)处的像素转换后的三维点(p_x，p_y，p_z)

步骤3、将三维点云转换为点云球面，再投影转化为物体粗略三维表面信息：

采用立方体算法将三维点云转换为表面信息点云球面

f(p_x,p_y,p_z)＝a₀+a₁p_x+a₂p_y+a₃p_z+a₄p_xp_y+a₅p_yp_z+a₆p_zp_x+a₇p_xp_yp_z (5)

其中：P(p_x，p_y，p_z)是立方体中的任意一点，系数a_i(i＝0,1,2……7)代表立方体八个顶点的函数值；

当等值面阈值为c，则通过方程组公式6得到等值面与立体边界的交线：

将得到的表面信息通过单位球面的每个U轴和V轴投射到球体中心生成球面表示。

有益效果

本发明提出的一种基于RGB数据与生成对抗网络的点云三维重建方法，为了解决上述背景技术中出现的点云数据获取复杂、价格昂贵和三维重建技术操作复杂的问题， 本发明设计一种单一RGB图像生成点云数据的方法，并完成深度学习点云三维重建。 首先使用便宜的普通相机捕获二维图像，通过生成对抗网络从单个RGB图像生成深度 图像估计。通过生成训练数据深度相机的参数生成深度图像估计，根据深度计算得到 三维点云数据。通过球面映射得到粗略表面模型，最后使用判别器对模型判别以得到 完整的三维模型。

本方法使用普通相机采集二维RGB数据，通过深度学习神经网络算法完成点云数据生成及三维重建，操作方便，且系统对电脑硬件较低。不仅降低了成本，且能通过 二维图像完成三维重建。

本发明所采用的点云生成和点云三维重建方法数据采集方便，点云生成过程处理方便，硬件设备要求低等特点，为研究人员对三维点云数据生成及三维重建的深入研 究提供了方向。

附图说明

图1为系统整体框图；

图2为GAN点云生成神经网络框架图，属于图1中点云生成部分；

图3为坐标系和相机模型特征，属于图1中深度图像到点云转换部分。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

实施例技术方案

步骤1：通过生成网络创建深度图像。

为将RGB图像转换为相应的深度图像，GAN网络中生成网络部分使用修改后的pix2pixHD，使其从RGB图像创建高质量的合成深度图像，并降低计算机硬件要求。

将pix2pixHD模型使用单个全局生成器。其中生成器G包括三个组件：一个卷积 前端，一组残差块和一个转置的卷积后端。鉴别符D分解为两个子鉴别符D1和D2。 判别器D1处理发生器生成的全分辨率合成图像，而D2处理半比例合成图像。因此， 鉴别器D1提供深度图像的全局视图，以引导生成器G创建全局一致的图像，而鉴别 器D2引导生成器G创建清晰而准确的图像。使用对抗鉴别器D产生无法与地面真相 区分开的深度图像，该鉴别器D经过训练可以检测生成器G创建的合成深度图像。

此外，D2防止生成器G检索合成深度图像上的重复图案。使用以下minimax函 数为给定RGB输入图像的深度图像的条件分布建模：

其中L₁和L₂分别是公式(2)和(3)中定义的损失函数，其中L₁对应于条件GAN 的目标函数，而L₂定义了特征匹配损失函数，μ权重特征匹配损失，D_k表示次鉴别 器。在公式(3)中，D_k ⁽ⁱ⁾是鉴别器D_k的第i层特征提取器，并且T和N_i分别表示 鉴别器D_k中的层数和每层的元素数。在公式(3)中选择L₁距离。

最终目的是让G目标最小化，而对抗性D试图使目标最大化。

步骤2：从生成的深度图像中估计目标物体相应的三维点云。

基于相机校准技术的特性，我们能够将深度图像转换为相应的三维点云。使用拍摄相机的固有参数和二维位置Q处的深度，则可以精确确定三维空间中的点P。

三维空间点云P(p_x，p_y，p_z)和对应的二维深度图像上的点Q(q_u，q_v)之间的 关系见公式(4)。

其中，f_u，f_v；c_u和c_v代表深度相机的固有参数。f_u和f_v分别是相机沿u和v轴的 焦距，而c_u和c_v代表是图像平面的中心坐标。

通过公式(4)逆变换得到(q_u，q_v)处的像素转换后的三维点(p_x，p_y，p_z)。

步骤3：点云球面投影转化为物体粗略三维表面信息。

针对于前一步生成的点云数据，用立方体算法将它们转换成表面信息点云球面数据。

假设P(p_x，p_y，p_z)是立方体中的任意一点，根据线性插值，可得该处的函数值， 见公式(5)。

f(p_x,p_y,p_z)＝a₀+a₁p_x+a₂p_y+a₃p_z+a₄p_xp_y+a₅p_yp_z+a₆p_zp_x+a₇p_xp_yp_z (5)

其中系数a_i(i＝0,1,2……7)代表立方体八个顶点的函数值，如果等值面阈值为c， 则通过方程组公式(6)即可得到等值面与立体边界的交线。

将得到的表面信息通过单位球面的每个U轴和V轴投射到球体中心生成球面表示。

步骤4：判别器判别以得到最终完整三维模型。

判别器设置使用卷积层构成判别网络，并加入正则惩罚项，对合成的模型进行判别以提升模型的泛化能力。

具体实施例采用硬件：普通RGB相机做图像采集；GTX1060笔记本做整体计算， 操作系统Ubuntu16.04。

采用软件：Python，PyTorch0.4.0。

参照附图1-3对本发明做进一步的详细说明：

基于RGB数据GAN网络生成点云的三维重建方法包括以下步骤：

步骤1：训练二维数字图像，通过生成网络合成人工深度图像。

参照附图1中二维图像通过生成网络得到人工深度图像。使用普通相机，采集目标物体的二维RGB图像。设置分辨率为640×480像素的图像成训练集。

参照附图2模型，将深度图转化为点。将训练数据输入生成网络。每次迭代后， 我们都对网络G和D＝{D1,D2}进行微调，使得G和D准确率更高。训练后，我们使 用生成器G从单个RGB图像中检索深度图像。

步骤2：将深度图像转换为三维点云。

参照前文技术方案第二步和附图2，将得到的深度图像使用相机参数估计三维数据。前文公式(4)逆变换得到如下公式(1)

其中，参数d是相对于摄像机(q_u，q_v)位置的深度信息，而s是比例因子。

为确定点P在空间中的坐标，通过将深度d与比例因子s相乘来计算点P的z轴 值p_z，使用上述公式中的相应方程计算p_x和p_y。

最终得到P(p_x，p_y，p_z)三维点云数据。

步骤3：对生成的点云先进行粗略三维模型重建。

已知P(p_x，p_y，p_z)三维点云数据，使用前文立方体算法将点云转换成表面信息。 将得到的表面信息进行球面投影，使得单位球面的每个U轴和V轴投射到球体中心生 成球面表示。

步骤4：判别器判别以得到最终完整三维模型。

对生成的粗略模型进行判别，判别模块使用如下损失函数(2)，损失函数经过训练数值减小，以恢复更多三维信息。

Claims (1)

1.一种基于RGB数据与生成对抗网络的点云三维重建方法，其特征在于步骤如下：

步骤1、通过生成网络创建深度图像：对GAN网络中的pix2pixHD进行修改，将RGB图像通过修改后的pix2pixHD转换为相应的深度图像；

所述修改后的pix2pixHD：生成器G包括三个组件：一个卷积前端，一组残差块和一个转置的卷积后端；鉴别符D分解为两个子鉴别符D1和D2，其中判别器D1为处理发生器生成的全分辨率合成图像，为深度图像的全局视图以引导生成器G创建全局一致的图像；鉴别符D2为处理半比例合成图像，引导生成器G创建清晰而准确的图像；

所述鉴别符D2采用minimax函数为给定RGB输入图像的深度图像的条件分布建模：

其中：L₁和L₂分别是公式2和公式3中定义的损失函数，其中L₁对应于条件GAN的目标函数，而L₂定义了特征匹配损失函数，μ权重特征匹配损失，D_k表示次鉴别器，属于鉴别符D2中的条件分布函数；在公式3中，D_k ⁽ⁱ⁾是鉴别器D_k的第i层特征提取器，并且T和N_i分别表示鉴别器D_k中的层数和每层的元素数(鉴别器属于鉴别符的一部分)；在公式3中选择L₁距离；

步骤2、从生成的深度图像中估计目标物体相应的三维点云：采用相机校准技术的方法，以拍摄相机的固有参数和二维位置Q处的深度，确定三维空间中的点P，将步骤1得到的深度图像转换为相应的三维点云；

三维空间点云P(p_x，p_y，p_z)和对应的二维深度图像上的点Q(q_u，q_v)之间的关系为：

其中，f_u，f_v；c_u和c_v代表深度相机的固有参数；f_u和f_v分别是相机沿u和v轴的焦距，而c_u和c_v代表是图像平面的中心坐标；

通过公式4逆变换得到(q_u，q_v)处的像素转换后的三维点(p_x，p_y，p_z)

步骤3、将三维点云转换为点云球面，再投影转化为物体粗略三维表面信息：

采用立方体算法将三维点云转换为表面信息点云球面

f(p_x,p_y,p_z)＝a₀+a₁p_x+a₂p_y+a₃p_z+a₄p_xp_y+a₅p_yp_z+a₆p_zp_x+a₇p_xp_yp_z (5)

其中：P(p_x，p_y，p_z)是立方体中的任意一点，系数a_i代表立方体八个顶点的函数值；i＝0,1,2……7；

当等值面阈值为c，则通过方程组公式6得到等值面与立体边界的交线：

将得到的表面信息通过单位球面的每个U轴和V轴投射到球体中心生成球面表示。

Images