CN111161364A - 一种针对单视角深度图的实时形状补全和姿态估计方法 - Google Patents

Abstract

本发明提供了一种直接针对单视角深度图的实时形状补全和姿态估计方法，包括：输入单视角的深度图；将深度图经过坐标转换，计算为点云数据；利用PointSIFT方法分割得到场景中待重建对象的局部点云数据；采用两个分支网络，一支输出刚性对象的SPL或非刚性对象的Joints；另一分支则输出隐式形状编码；将第一分支的点列输出卷积编码输出隐式姿态编码；将隐式形状以及姿态编码矩阵按位做相乘，得到形状‑姿态空间的混合编码；将混合编码输入到由转置卷积组成的解码网络，经过多层卷积后，输出三维对象在该姿态下的完整结构预测。本发明能够由局部缺乏结构的对象点云中获得刚性与非刚性对象的完整形状和姿态信息，实时高效。

Description

一种针对单视角深度图的实时形状补全和姿态估计方法

技术领域

本发明属于图像处理技术领域，涉及计算机视觉、计算机图形学，具体涉及一种针对单视角深度图的实时形状补全和姿态估计方法。

背景技术

随着近年来扫描设备的普及以及无人驾驶、无人机摄影等应用的民用化，点云数据成为最为易获取、设备直接产生的三维对象几何特征表示。尽管设备普及、数据量巨大，然而由于点云数据的稀疏性和内部无序性，针对点云数据、尤其是单视角点云数据的对象建模和分析算法却明显不足。传统方法更多选择首先对点云数据估计法向量、曲率等额外特征，之后将其转化为包含特定点顺序的网格或顺从规则栅格采样的体素等表示后，进行处理。这样作虽然有效避免了点云数据的无序性和稀疏性，但也给实际需要实时应用的场景，如无人驾驶车在实时路况决策、无人机的实时建模增加了额外的时间开销。因此，在不进行三维对象表示方法转化的前提下，面向点云开发出实时高效的形状补全、姿态估计方法，具有重要的实际意义。

到目前为止，基于模型优化和基于数据驱动学习的方法均取得了一些研究成果。主要包括：

1)利用多视角或基于时间序列的点云数据，对三维对象进行形状重建和姿态估计。该方法在Kinect等设备中应用较多，但是对由于基于时空序列，因此很大依赖于被拍摄或扫描的对象在拍摄过程中保持不变，无论是非刚性还是刚性变换，都会影响重建结果。

2)利用单一视角，建立传统优化模型，对三维对象进行形状重建和姿态估计。该方法表现出了很好的结果，但是它们均基于一个假设，即潜在待恢复的表面是平滑的，而算法本身在改变对象或拍摄条件之后，也需要仔细的调整超参数。这些弊端都限制了它们的应用场景。

3)利用单一视角，数据驱动的方法，有效学习出局部点云数据中提取特征，实现三维对象进行形状重建和姿态估计。该方法随着近年来深度学习的流行而被不少机构尝试和应用分析点云。部分算法虽然没有显式的进行表示变化，但是在点云中引入了八叉树(Octree)或多维树(K-dTree)对点云进行空间管理，再将深度学习中的卷积分层次应用于每个划分空间。更具开创性的工作来自Pointnet系列算法，它们简单地在网络中引入对输入点云顺序鲁棒的“对称函数”，实现从无序点云中分析出内在特征。但是这些方法，就目前为止，仅仅将应用局限于对完整三维对象进行识别、分割，或从特定视角的单张RGB图中提取三维对象，而并未应用在对缺失结构信息的局部点云进行形状补全以及更进一步的姿态估计的应用之中。

综上所述，现有方法具有缺陷，尚无令人满意的解决方案。

发明内容

为解决上述问题，本发明旨在提供一种直接针对单视角深度图的实时形状补全和姿态估计方法。

为了达到上述目的，本发明提供如下技术方案：

一种直接针对单视角深度图的实时形状补全和姿态估计方法，包括如下步骤：

步骤1.输入单视角的深度图；

步骤2.将深度图通过已知的相机内参，经过坐标转换，计算为点云数据；

转换过程通过下面的公式：

其中，(x_W,y_W，z_W)为深度图上坐标为(u,v)的点投影到世界坐标系上的点，而(u₀,v₀)为图像中心的坐标，f/dx与f/dy都是相机的焦距值，z_C是该点存储的深度值；

步骤3.利用PointSIFT方法，首先对场景数据预分割，得到场景中待重建对象的局部点云数据；

步骤4.包括两个分支网络，其中一个分支对输入的三维点云进行多次卷积，输出为刚性对象的SPL或非刚性对象的Joints，形式均为有序的点列；另一分支则编码输入点云，输出隐式形状编码；

步骤5.将步骤4第一分支的点列输出卷积编码，输出与第二分支的形状编码空间维度相同的隐式姿态编码；

步骤6.将步骤4中第二分支形状空间编码的隐空间维度以及步骤5中的姿态空间编码的隐空间维度的两个编码矩阵按位做相乘，得到形状-姿态空间的混合编码；

步骤7.将这一混合编码输入到由转置卷积组成的解码网络，经过多层卷积后，输出三维对象在该姿态下的完整结构预测。

进一步的，所述步骤3中，分割网络还输出局部点云数据对应完整对象的类别标签。

进一步，所述步骤4的第一分支网络采用PointNet结构，对于刚性对象，采取预统一先定义的结构化点列衡量其姿态；对于非刚性对象使用已有算法定义过的关节点衡量对象的姿态，我们可以使用已知的标注信息进行监督。

进一步的，通过计算预测值与真实值的点对点L2距离进行监督，即：

其中B_rec为预测的SPL，B*_rec为监督的真值。

进一步，步骤4的第二分支网络采用PointNet++提出的分层结构，使用卷积提取不同层次，包含全局信息和局部信息，并进行融合，将上述不同层级的隐空间编码进行通道合并，得到一个隐空间的编码。

进一步，步骤4的两个分支网络在最开始的特征提取层共享卷积结果。

进一步，步骤5的网络对点列重新卷积编码到高维空间，学习过程为无监督过程。

进一步的，所述步骤7由已知对象数据集进行监督学习。

进一步，步骤7中对解码后的完整对象点云进行监督学习时，我们选择倒角距离监督预测值与真实点云之间的分布距离，其表达式为：

同时引入了排斥损失，该损失定义在预测点云自身上，表达式为：

其中K(i)是第i个点的所有K近邻点，w为衰减因子，正比于近邻点到该点的距离，η为系数；

最终，整个网络的损失定义为：

L(Θ)＝L_rec+αL_rep+βL₂(B₁，B₂)+γ||Θ||²

进一步的，所述步骤7中，采用迭代误差反馈的方法对参数进行回归，能够根据当前的估计逐步进行调整。

与现有技术相比，本发明具有如下优点和有益效果：

本发明能够从一个不被限定的视角，利用单次设备扫描的结果，实时重建某已知类别(动物/人/刚性对象)或特定局部对象(手)的形状和姿态特征。基于本发明方法，可以由局部缺乏结构的对象点云中获得刚性与非刚性对象的完整形状和姿态信息，实时高效。

附图说明

图1为本发明提供的针对单视角深度图的实时形状补全和姿态估计方法流程图。

图2为本发明提供的针对单视角深度图的实时形状补全和姿态估计方法网络图。

图3为SPL(结构化点列)针对不同刚性对象的定义示意图。

图4为SPL(结构化点列)针对动物模型的定义示意图。

图5为本发明在同一刚性对象(汽车为例)上的不同角度形状重建和姿态估计图；

图6为本发明在不同类别对象上的形状重建和姿态估计图；

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

实施例一：

本发明重建过程可描述为：

其中S_rec,B_rec为待重建的点云数据、SPL架构化点列，S_part为输入的局部点云数据，实际过程中可以先将整张场景深度图转化为点云数据，再由预训练的分割网络得到局部点云。表示我们整个模型G，而Θ为网络中待学习的参数。

基于此，本发明提供的针对单视角深度图的实时形状补全和姿态估计方法，其流程如图1所示，包括如下步骤：

步骤S110，输入为场景某一视角下的深度图，该深度图可以包含除待重建姿态和形状的对象外的其它场景因素。

步骤S120，根据拍摄相机的内参，将上一步的深度图经过坐标转换，转化为场景点云数据。转换过程可以根据下面的公式：

其中，(x_W,y_W，z_W)为深度图上坐标为(u,v)的点投影到世界坐标系上的点，而(u₀,v₀)为图像中心的坐标，f/dx与f/dy都是相机的焦距值，z_C是该点存储的深度值。

步骤S130，对步骤S120中得到的点云数据利用PointSIFT分割，得到场景中待重建对象的局部点云数据。利用PointSIFT方法，首先对场景数据预分割，提取出当前视角下的感兴趣三维对象的局部点云数据。分割网络除了输出局部点云数据，还包含这一对象的类别标签。之后的算法均集中在这一三维对象局部点云数据中。之后的工作中，不同种类的对象会影响SPL(结构化点列)的选取，但是并不影响整个网络的流程。在本算法中，该对象可以为刚性对象，可以为人体、动物或者手部这样的非刚性多关节对象。PointSIFT可以有效提取点云中不受尺度影响的特征，有效提升分割的精度。

步骤S14，本步骤涉及两个并行的操作，作用分别是独立的估计出对象的姿态特征和形状特征。其中一个分支对输入的三维点云进行多次卷积，输出为刚性对象的SPL或非刚性对象的Joints，形式均为有序的点列。另一分支则编码输入点云，输出隐式形状编码。

具体包括：

步骤S140，本步骤是本算法神经网络架构的一个分支，输出直接作为构成SPL的坐标预测。

作为优选，第一分支网络采用PointNet结构，旨在从对象的全局特征中学习到姿态信息。根据经验，对象的姿态特征是一种全局特征，因此这一步我们使用PointNet作为骨架。对于刚性对象，如汽车、飞机、桌椅、沙发，我们采取预统一先定义的结构化点列(StructedPointList)衡量其姿态；对于非刚性对象，如人体、四足爬行动物、手，我们使用已有算法定义过的关节点(Joints)衡量对象的姿态。实验中我们发现，尽管输入点云仅描述了三维对象的不完整几何特征，我们依然可以从中分析出一种全局姿态参数。得到这一显式结果后，我们可以使用已知的标注信息进行监督。此处的已知标注信息为即我们从已知的对象完整结构中计算得到的。对于SPL的监督，我们计算预测值与真实值的点对点L2距离，即：

其中B_rec为预测的SPL，B*_rec为监督的真值。

图3为刚性对象的SPL(结构化点列)计算过程。下面参照图3，说明刚性对象的SPL计算方法。需要指出，该方法不仅可以计算出点云对象的SPL，三角网格对象的SPL也可同样适用。

对于给定的点云或网格对象，我们首先计算该对象的三维凸包。这一凸包是对象的最小外接多边形，计算方法与二维类似。我们还可以计算出该对象的三维包围框。这两个结构是计算SPL的基础，如图3第二列所示。在得到二者后，我们将凸包按照上下、前后、左右分别划分，划分标准基于三维包围框。之后，分别将靠近三位包围框各个面的凸包顶点分别投影到各个面上。之后，在各个面的投影点上，我们分别取出各个面上投影点集合在面上分布的四分数，即可在每个面找到4个点。为了使得SPL表征对象的朝向，我们在对象的两个侧面并不选择点，而其余4个面，每个面均可得到4个点的坐标。最终，我们即可得到一个由16个顶点组成的包围框，作为刚性对象的SPL。图4为SPL(结构化点列)针对动物模型的定义示意图。

步骤S141，这一步是并行于上一步的另一分支，输出是对象形状的隐空间编码。

作为优选，第二分支网络采用PointNet++提出的分层结构，使用卷积提取不同层次，包含全局信息和局部信息，并进行融合，具体而言即在将上述不同层级的隐空间编码进行通道合并，得到一个隐空间的复合编码，旨在从原始点云数据中学习到对象的形状和结构特征。这一编码被我们期望为某类对象在高维空间的形状特征语义，即对象潜在完整结构的隐式空间，学习过程中为无监督式的编码过程。

进一步的，两个分支网络在最开始的特征提取层可以通过共享卷积结果的方法，降低整个学习网络的参数量，从而防止过拟合。

步骤S150，利用步骤S140得到的受监督的SPL信号，我们将其利用神经网络编码到与S141步骤中形状编码的同维度空间中，输出隐式姿态编码。本步骤中，网络对点列重新卷积编码到高维空间，由于编码输入为衡量对象姿态的有序点列，因此这一高维空间被我们期望为对象的姿态空间，学习过程为无监督过程。

步骤S160，将获得的两个编码——隐式形状编码和隐式姿态编码逐点按位相乘，得到形状-姿态空间的混合编码，在高维空间映射出三维空间的欧式变换。

步骤S170，利用由转置卷积构成的解码器，将这一混合编码输入到解码网络，经过多层卷积后，输出三维对象在该姿态下的完整结构预测，逐步恢复出对象的完整三维点云结构。

这一步由已知对象数据集进行监督学习对解码后的完整对象点云进行监督学习时，我们选择ChamferDistance(倒角距离)监督预测值与真实点云之间的分布距离。其表达式为：

另外，为了保证生成点云内部点之间的分布是均匀的，我们又引入了排斥损失，该损失定义在预测点云自身上，表达式为：

其中K(i)是第i个点的所有K近邻点，w为衰减因子，正比于近邻点到该点的距离，η为系数。

最终，整个网络的损失可以定义为：

L(Θ)＝L_rec+αL_rep+βL₂(B₁,B₂)+γ||Θ||²

之后，整个深度学习神经网络将以一复合损失函数作为准则，进行参数更新。

由于直接对参数进行回归较为困难，本步骤采用迭代误差反馈的方法对参数进行回归，可以根据当前的估计逐步进行调整。具体地说，迭代误差反馈是指在这一步的训练过程中，如果发现由局部输入的点云对象单次经过网络从S170输出并没有得到预期效果，可以将其作为一个中间量，重新输入S140,S141中。经过设定次数的迭代逐步恢复，可以使得网络接受更多模态的补全训练，也可以使得训练数据得到更充分的利用。

本方法中采用的数据集通过如下方式生成：据我们所知，对于单深度视图的重建任务，现有的用于表面重建的真实RGB-D数据集不仅存在遮挡和数据丢失的问题，而且在完整形状和部分形状之间也缺乏匹配对。这促使我们为它开发新的数据集。我们主要为输入信号和监控信号创建三个数据集，它们是:

1)单视角深度图数据集

2)三维对象的完整结构数据集；

对于刚体，我们利用了ShapeNet的CAD模型，具体来说，我们使用了涵盖15个对象类别的90K模型子集。对于非刚体，我们使用SMAL模型在形状参数上生成100种高斯噪声的动物，并将每种动物转换成42种不同的姿态。

在单视角深度图数据集生成过程中，我们将上面的每一个物体都放到了虚拟相机中，并在一个圆圈内从12个角度进行深度捕获；完整结构点云数据集是在网格上均匀采样得到的。

通过上述实施方式，我们可以由局部缺乏结构的对象点云中获得刚性与非刚性对象的完整形状和姿态信息。本发明的部分输出图如图5、图6所示。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，包括如下步骤：

步骤1.输入单视角的深度图；

步骤2.将深度图通过已知的相机内参，经过坐标转换，计算为点云数据；

转换过程通过下面的公式：

其中，(x_W,y_W，z_W)为深度图上坐标为(u,v)的点投影到世界坐标系上的点，而(u₀,v₀)为图像中心的坐标，f/dx与f/dy都是相机的焦距值，z_C是该点存储的深度值；

步骤3.利用PointSIFT方法，首先对场景数据预分割，得到场景中待重建对象的局部点云数据；

步骤4.包括两个分支网络，其中一个分支对输入的三维点云进行多次卷积，输出为刚性对象的SPL或非刚性对象的Joints，形式均为有序的点列；另一分支则编码输入点云，输出隐式形状编码；

步骤5.将步骤4第一分支的点列输出卷积编码，输出与第二分支的形状编码空间维度相同的隐式姿态编码；

步骤6.将步骤4中第二分支形状空间编码的隐空间维度以及步骤5中的姿态空间编码的隐空间维度的两个编码矩阵按位做相乘，得到形状-姿态空间的混合编码；

步骤7.将这一混合编码输入到由转置卷积组成的解码网络，经过多层卷积后，输出三维对象在该姿态下的完整结构预测。

2.根据权利要求1所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，所述步骤3中，分割网络还输出局部点云数据对应完整对象的类别标签。

3.根据权利要求1所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，所述步骤4的第一分支网络采用PointNet结构，对于刚性对象，采取预统一先定义的结构化点列衡量其姿态；对于非刚性对象使用已有算法定义过的关节点衡量对象的姿态，我们可以使用已知的标注信息进行监督。

4.根据权利要求3所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，本步骤通过计算预测值与真实值的点对点L2距离进行监督，即：

其中B_rec为预测的SPL，B*_rec为监督的真值。

5.根据权利要求1所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，步骤4的第二分支网络采用PointNet++提出的分层结构，使用卷积提取不同层次，包含全局信息和局部信息，并进行融合，将上述不同层级的隐空间编码进行通道合并，得到一个隐空间的编码。

6.根据权利要求1-5中任意一项所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，步骤4的两个分支网络在最开始的特征提取层共享卷积结果。

7.根据权利要求1所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，步骤5的网络对点列重新卷积编码到高维空间，学习过程为无监督过程。

8.根据权利要求1所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，所述步骤7由已知对象数据集进行监督学习。

9.根据权利要求8所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，步骤7中对解码后的完整对象点云进行监督学习时，我们选择倒角距离监督预测值与真实点云之间的分布距离，其表达式为：

同时引入了排斥损失，该损失定义在预测点云自身上，表达式为：

其中K(i)是第i个点的所有K近邻点，w为衰减因子，正比于近邻点到该点的距离，η为系数；

最终，整个网络的损失定义为：

L(Θ)＝L_rec+αL_rep+βL₂(B₁，B₂)+γ||Θ||²。

10.根据权利要求1所述的直接针对单视角深度图的实时形状补全和姿态估计方法，其特征在于，所述步骤7中，采用迭代误差反馈的方法对参数进行回归，能够根据当前的估计逐步进行调整。

Images