CN110070595B - 一种基于深度学习的单张图像3d对象重建方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的单张图像3D对象重建方法，包括：1、输入包含多对象的单彩色图像；2、利用预训练的RPN，输出指定类别的域候选的各个区域；3、将各区域并行送入形状‑姿态预测子网络；4、预测出原对象在三维空间中的形状参数和姿态参数；5、形状采样子网络根据形状参数解码出对应形状空间的点云模型；6、对生成的点云模型进行姿态参数进行刚性变换；7、输出该区域所包含对象的结构、姿态三维重建结果。本发明选取了点云模型作为与网络结构交互的三维数据表示，使得网络对3D数据具备更好的理解能力，同时利用“采样点数”而非“采样量化单元大小”进行精度控制，可以更好的控制复杂度，且保证了对象刚性运动中的不变性。

Description

一种基于深度学习的单张图像3D对象重建方法

技术领域

本发明涉及计算机视觉、计算机图形学、机器学习领域，具体涉及一种根据单张图像信息进行三维结构、姿态重建的方法。

背景技术

在当前的图形学技术下，根据给定对象的给定视角，计算机可以生成不同模拟光照环境下该3D对象的2D渲染图。而与其对应的反向过程——根据已有的2D渲染图对原3D对象进行结构恢复也在很多场景下，如自动驾驶，虚拟现实技术(VR)也有广阔的需求和深远的研究意义。

截至目前，基于图像的3D重建方法已经取得了较多的研究成果。概括起来可以分为三大类：1)根据RGB图像集合进行场景重建。根据多视点几何，理想情况下3D结构可以通过充足的2D图像通过匹配实现重建，如SfM和SLAM。2)根据单张RGB图像进行场景重建。3)根据RGBD图像进行场景重建。方法一在机器人对未知环境的探索与导航中取得了更好的效果，但它在初期准备时繁重的相机标定工作、算法中大量的复杂运算和技巧以至于难以实时重建。方法三经过RGBD摄像头问世后相关算法的提出、RGBD图像的数据集增多，也有了很大进展。但是在重建的鲁棒性、形状的恢复质量上，这些工作仍然存在诸多问题；另外在硬件成本上，深度摄像头高于普通设备。因此，在算法的复杂性与硬件上的不成熟，限制了上述两种方法在日常生活中活动场景下的使用；相比之下，方法二面向普通相机生成场景单张图像，如果结合当前数据驱动的学习方法，将会在实时性、低成本性、便捷性等众多方面胜出。然而这一方法在诸多方面同样存在亟待解决的难点：1)投影是非可逆变换，这一问题本身具有不适定性；2)众多三维对象表示方法各有利弊，必须根据问题确定合适的表示方法，并将现有的学习模型做适当改进以适应新的问题；3)在新问题下，必须设计新的损失函数，可以合理评估生成3D模型与目标之间的差异；4)在复杂场景中，提高模型的鲁棒性需要显著提升，才可以将方法真正投入使用。

发明内容

发明目的：为了解决现有技术存在的问题，本发明的目的是提供一种基于单目彩色相机的刚体动态三维重建方法，能够仅使用普通的彩色相机，实时对场景中预先指定类别的刚性对象进行结构、姿态的三维重建。

技术方案：一种基于深度学习的单张图像3D对象重建方法，包括如下步骤：

步骤1，输入包含多对象的单彩色图像；

步骤2，利用预训练的RPN，输出指定类别的域候选的各个区域；

步骤3，将各个区域作为输入，并行送入形状-姿态预测子网络；

步骤4，形状-姿态预测子网络根据输入区域，预测出原对象在三维空间中的形状参数和姿态参数；

步骤5，形状采样子网络根据形状参数，解码出对应形状空间的点云模型；

步骤6，按照步骤4输出的姿态参数，对生成的点云模型进行姿态参数进行刚性变换；

步骤7，输出该区域所包含对象的结构、姿态三维重建结果。

具体的，采用端到端的方式训练神经网络。

步骤1中，所述单张彩色图像包含在常见视角的一个或多个指定对象。

步骤5中，所述形状采样子网为先于步骤4中预测子网络进行训练的3D点云模型生成网络。所述形状采样子网在结构上采用了变分自编码器。在训练变分自编码器的过程中，在网络结构中引入对称函数、在损失计算中引入了倒角距离与推土机距离；

所述对称函数在对数据进行多层卷积之后，进行整个通道内取最大值的操作；

所述倒角距离的计算公式为：

其中，S₁，S₂为两个包含点数相同的点云集合，x，y分别为S₁，S₂中的三维点坐标；

所述推土机距离的计算公式如下：

其中，S₁，S₂为两个包含点数相同的点云集合，Φ是一个传输问题背景下，由S₁到S₂点集之间的一对一映射，该映射通过sinkhom算法得到。

有益效果：和现有技术相比，本发明在算法中选取了点云模型作为与网络结构交互的三维数据表示，这使得网络对3D数据具备更好的理解能力，同时利用“采样点数”而非“采样量化单元大小”进行精度控制，复杂度可以更好的控制且保证了对象刚性运动中的不变性。

附图说明

图1是本发明单图重建方法的流程图；

图2(a)-2(d)是以汽车这一特定类为例，在形状空间编码—解码器演示的预期训练效果；其中每张图的右侧为加载入网络的点云模型，左侧为训练过程中不同轮次的形状输出结构。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例

图1为本发明实施例的人体动态三维重建方法流程图，下面参照图1，详细说明各步骤。

步骤S110，输入包含多对象的单彩色图像。

单张图像是使用普通相机拍摄的，包含同一类别的一个或多个对象的RGB彩图。“同一类别”的限定是与后续采样子网络中的形状空间相对应的，在实施过程中，首先应当确定应用场景，即欲重建刚体对象所属的类，之后形状采样网络利用迁移学习的方法，利用该类的点云模型在预训练类的已有权重进行简单的迭代，即可获得该类对象对应的形状空间采样器。另外，输入图像也可以是RGBD图，本发明中的方法在信息增加时效果是更好的，只需要在后续神经网络的输入层加入额外通道即可。

步骤S120，训练的RPN(区域候选子网络)，输出指定类别的域候选的各个区域。

其中的“区域候选子网络”，参考了Faster RCNN中的RPN。相比于传统的SelectiveSearch，基于网络的区域选择用时更短，且很容易与后续的子网络相结合。为了可以向下继续使用，截取之后必须将局部区域统一Resize成相同大小。

步骤S130，将各个区域作为输入，并行送入形状-姿态预测子网络；预测出原对象在三维空间中的形状参数和姿态参数。

其中，形状-姿态预测子网络旨在从RoI中回归预测指定类的形状参数、姿态参数。形状参数可以用于恢复形状，是由下一步中形状解码器定义好的，可以理解为形状的多个主成分，而上一步在Resize过程中已经对RoI中包含的形状信息进行了畸变，因此需要根据RoI在原图中的相对位置、初始尺寸，估计出一个“RoI相机”的投影矩阵。设全局图像由一个相加拍摄，其内参矩阵为k_C，RoI相机的内参矩内参矩阵为k_r，则二者形式类似，如下：

其中，f_x，f_y为相机的焦距，f_w，f_h为Resize之后的RoI宽度、高度，r_w，r_h为Resize之前的RoI在原图中的宽度、高度。

而全局到RoI过程中，由于RoI未必在整幅图像的中心，则必须通过一个旋转变换，将其转换为中心投影，这一操作的实质是将RoI中心投影对齐到z(深度)轴投影，设对齐矩阵为R_C，对齐操作为Φ，则

C是RoI中心相对于原图中心的相对旋转量，可以用下面的方法估计：

其中，(x_C，y_c)是原图中心的坐标，(x_r，y_r)RoI在原图中的左上角坐标，(w_r，h_r)是RoI在原图中的宽度、高度。

对于两个同维列向量，设外积r＝p×q，则可以定义对齐操作Φ如下：

之后即有q＝Φ*p；

有了上述定义，网络在获取到RoI之后，只需要对RoI进行一个由下面公式定义的相机视角变换，即：

实践过程中，利用网络学习出的H_∞对其进行结构校正，将RoI中的原始结构信息重新恢复。

姿态参数这里包含刚性对象相对于自身坐标系三个轴的相对旋转量，即：

v＝[θ，φ，ψ]

这一旋转量将被用于对步骤S150的姿态刚性变换。

在训练过程中，采用端到端的方式进行，在使用时无须对输入对象进行预处理，直接变换到指定大小后，即可送入网络进行分析。同时，训练过程中采集了在不同光照、不同角度以及与相机不同距离的图像及其对应的3D对象形状模型和姿态参数，并加入不同类型的噪声对数据进行增强，以增加后续各个子模块神经网络的鲁棒性和学习泛化能力，符合“端到端”思想。

步骤S140，形状采样子网络根据形状参数，在训练好的解码器中恢复出形状点云模型。这一步的恢复依赖于良好的解码过程。过程中使用的VAE可以保证采样过程中的鲁棒性。形状采样子网在结构上采用了变分自编码器(Auto-Encoding Variational Bayes)，通过编码-解码，算法可以将指定点数的某类集合“压缩”到一个低维的隐空间(latentspace)中，在保证信息量尽可能少损失的前提下，使用更少的数据去表示制定类的点云模型。之后，可以通过解码器恢复原模型的隐空间坐标，及原模型的编码，将作为步骤S130的输出之一。在训练变分自编码器过程中，需要监督重构点云模型与初始点云模型之间的差异。相比于图像，点云的数据点坐标不具备顺序性，因此我们在网络结构中引入了对称函数、而在损失计算中引入了倒角距离(Chamfer Distance)与推土机距离(Earth Mover’sdistance)。

对称函数在对数据进行多层卷积之后，进行整个通道内取最大值的操作，相当于对提取了该通道特征集合中最有效的信息；倒角距离的计算公式为：

其中，S₁，S₂为两个包含点数相同的点云集合，x，y分别为S₁，S₂中的三维点坐标；

所述推土机距离的计算公式如下：

其中，S₁，S₂为两个包含点数相同的点云集合，Φ是一个传输问题背景下，由S₁到S₂点集之间的一对一映射，这一映射通过sinkhorn算法加快迭代过程后快速找到。

如图2(a)-2(d)所示为以汽车这一特定类为例，在形状空间编码—解码器演示的预期训练效果；其中每张图的右侧为加载入网络的点云模型，左侧为训练过程中不同轮次的形状输出结构。

步骤S150，按照S130中基于学习得到的姿态参数，对生成的点云模型进行姿态参数进行刚性变换。

步骤S160，最终通过一定的平缓项，优化整个模型后，即可将点云模型逐个输出，在姿态和形状上与图像中对应对象一致。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

Claims (5)

1.一种基于深度学习的单张图像3D对象重建方法，其特征在于，包括如下步骤：

步骤1，输入包含多对象的单张彩色图像；所述单张彩色图像包含在常见视角的一个或多个指定对象；

步骤2，利用预训练的区域候选子网络，输出该单张彩色图像中包含指定对象的各个候选子区域；

步骤3，将各个候选子区域作为输入，并行送入形状-姿态预测子网络；

步骤4，形状-姿态预测子网络根据输入的候选子区域，预测出各个指定对象在三维空间中的形状参数和姿态参数；具体包括如下内容：

设全局图像的内参矩阵为K_c，RoI相机的内参矩阵为K_r：

其中，f_x，f_y为相机的焦距，f_w，f_h为Resize之后的RoI宽度、高度，r_w，r_h为Resize之前的RoI在原图中的宽度、高度；

设对齐矩阵为R_C：

Ψ表示对齐操作，C是RoI中心相对于原图中心的相对旋转量，由如下公式估计得到：

其中，

是C的估计值，(x_C，y_c)是原图中心的坐标，(x_r，y_r)是RoI在原图中的左上角坐标，(w_r，h_r)是RoI在原图中的宽度、高度；

对于两个同维列向量，设外积r＝p×q则定义对齐操作为：

之后即有q＝Ψ*p；

网络在获取到RoI之后，对RoI进行一个由以下公式定义的相机视角变换，即：

利用H_∞对RoI进行结构校正，将RoI中的原始结构信息进行重新恢复；

姿态参数包含刚性对象相对于自身坐标系三个轴的相对旋转量，即：

v＝[θ，α，β]；

步骤5，形状采样子网络根据形状参数，解码出对应形状空间的点云模型；

步骤6，按照步骤4输出的姿态参数，对生成的点云模型进行姿态参数进行刚性变换；

步骤7，输出候选子区域所包含指定对象的结构、姿态三维重建结果。

2.根据权利要求1所述的单张图像3D对象重建方法，其特征在于：采用端到端的方式训练神经网络。

3.根据权利要求1所述的单张图像3D对象重建方法，其特征在于：步骤5中，所述形状采样子网为先于步骤4中预测子网络进行训练的3D点云模型生成网络。

4.根据权利要求3所述的单张图像3D对象重建方法，其特征在于：所述形状采样子网在结构上采用了变分自编码器。

5.根据权利要求4所述的单张图像3D对象重建方法，其特征在于：在训练变分自编码器的过程中，在网络结构中引入对称函数、在损失计算中引入了倒角距离与推土机距离；

所述对称函数在对数据进行多层卷积之后，进行整个通道内取最大值的操作；

所述倒角距离的计算公式为：

其中，S₁，S₂为两个包含点数相同的点云集合，x，y分别为S₁，S₂中的三维点坐标；

所述推土机距离的计算公式如下：

其中，S₁，S₂为两个包含点数相同的点云集合，Φ是一个传输问题背景下，由S₁到S₂点集之间的一对一映射，该映射通过sinkhorn算法得到。

Images