CN106780594A

CN106780594A - 一种结合深度波尔兹曼机的三维对象检测方法

Info

Publication number: CN106780594A
Application number: CN201611127852.2A
Authority: CN
Inventors: 纪荣嵘; 郭锋; 刘伟
Original assignee: Xiamen University
Current assignee: Xiamen University
Priority date: 2016-12-09
Filing date: 2016-12-09
Publication date: 2017-05-31

Abstract

一种结合深度波尔兹曼机的三维对象检测方法，涉及三维对象。采用三维深度传感器沿着重力方向获取一组RGB‑D数据；在3D空间采用滑动窗口对输入的RGB‑D三维点云进行处理；将3D滑动窗口中的对象进行投影，采用R‑CNNs方法得到在RGB通道和深度图通道的特征f_m和f_d，然后再不断地将分别在RGB通道和深度通道中的特征添加到双模态深度波尔兹曼机中进行特征学习，从而获取基于彩色图像特征和深度特征的联合特征表示f；采用Exemplar‑SVMs对联合特征f进行分类，得到对应的每个3D窗口盒子的分数；再设计分类器正负样本；对每个3D窗口框架进行非最大值抑制。计算速度快，强鲁棒性，准确性高。

Description

一种结合深度波尔兹曼机的三维对象检测方法

技术领域

本发明涉及三维对象，尤其是涉及一种结合深度波尔兹曼机的三维对象检测方法。

背景技术

近年来，随着以Kinect为代表的深度传感器的出现并日益深入到日常生活中，获取到的RGB-D数据呈现爆炸式的增长。同时，对于RGB-D数据的处理和分析逐渐的被应用到了机器人导航，无人驾驶汽车以及游戏娱乐设施当中。然而，对于RGB-D数据包含的场景结构解析是这些应用的核心。典型的方法首先将RGB-D中的体素分割成超体素，然后通过基于统计的语义分割模型进行语义标注，这些模型主要包括产生式模型和判别式模型。

当下基于标注的检测受到了广泛的关注，因此本发明主要致力于RGB-D点云数据中的对象检测。检测器模板通常需要经过已经标注过每一个类别的正负样本的训练才能够获得，然后检测器的准确性依赖于大量的标注过的训练样本，这与图像标注过程截然不同。因此，将语义标注从二维空间转移到三维空间，存在一些困难，如可用的数据库较少，缺乏足够的经验积累，同样的场景结构相比二维图像，在三维点云中需要经过大量处理才能够被标注等。但是，通过结合RGB-D数据提供的有用的空间信息，从中分别获取二维和三维特征用于特征学习以及语义标注。并且，将彩色信息和深度信息结合在以往的研究中还没有被触及。

至今，对RGB-D图像采用双通道的交叉学习模式尚存在初学涂鸦的阶段。已有技术方案主要是仅采用单模式进行特征学习，仅有的一种采用交叉学习模式的方法不仅采用了通过手工加权得到检测器的融合分数，而且该方法还不能够描述各种模态之间的复杂关系。综上所述，这些方法存在的缺点主要包括特征表达不完整、误码率大、操作复杂、不便于实现，甚至严重地受到客观因素的影响。

现有技术中，在对获取的三维数据和对应的二维图像进行对象检测，仅仅采用单通道模式(三维数据或者二维图像)进行特征分析(例如论文『面向rgbd对象检测的无监督特征学习』L.Bo,X.Ren,and D.Fox.Experimental Robotics,387–402页,2013)，忽略了三维数据和二维图像之间的关联性。

发明内容

本发明的目的在于提供采用交叉模式特征，分别结合三维数据特征和二维图像特征，实现三维对象检测分析的一种结合深度波尔兹曼机的三维对象检测方法。

本发明包括以下步骤：

1)采用三维深度传感器沿着重力方向获取一组RGB-D数据；

2)在3D空间采用滑动窗口对输入的RGB-D三维点云进行处理；

3)将3D滑动窗口中的对象进行投影，采用R-CNNs方法得到在RGB通道和深度图通道的特征f_m和f_d，然后再不断地将分别在RGB通道和深度通道中的特征添加到双模态深度波尔兹曼机中进行特征学习，从而获取基于彩色图像特征和深度特征的联合特征表示f；采用Exemplar-SVMs对联合特征f进行分类，得到对应的每个3D窗口盒子的分数；再设计分类器正负样本，具体方法如下：

正样本选择条件：保证样本数据足够多；每个CAD模型必须从不同的视角和3D空间位置进行渲染；对于每个类别，每次CAD模型渲染都要进行Exemplar-SVMs训练，将得到的向量机都用于组装建立一个3D检测器。

负样本选择条件：建立能够完整覆盖真实值得负样本集。

双模态特征学习：通过高斯伯努利限制波尔兹曼机(RBM)，可以得出高斯伯努利限制波尔兹曼机能量函数。

由于深度波尔兹曼机(DBM)是个对称偶联的随机二进制单元，它包含了一组可见单元集v∈{0，1}^D以及一个隐藏层单元的序列

其中，v∈{0,1}^D表示向量v是一个长度为D维的向量，而向量的元素都是由0或者1构成的；h⁽¹⁾表示第一个隐藏层，{0,1}^F1表示向量h⁽¹⁾是一个长度为F₁维的向量其中的每一个元素的值只能是0或者1，h⁽²⁾∈{0,1}^F2表示第二个隐藏层向量h⁽²⁾是一个长度为F₂维的向量其中的每一个元素的值只能是0或者1，h^(L)∈{0,1}^FL表示第二个隐藏层向量h^(L)是一个长度为F_L维的向量其中的每一个元素的值只能是0或者1；与RBM不同之处在于各层之间的链接分别存在于各个隐藏层之间以及第一个隐藏层和可见层之间。考虑到建立RGB-D数据的包含有三个隐藏单元层的高斯伯努利深度波尔兹曼机，输入的数据为实数型数据，对应的RGB图像通道对应的高斯伯努利深度玻尔兹曼机的能量函数在经过{v^m，h^m}被定义为式(1)，其中v^m和h^m分别代表任意的可见层和隐藏层：

式(1)中，σ_i表示对应的高斯模型的方差，θ^m是深度波尔兹曼机的参数向量，E(v^m,h^m；θ^m)表示以v^m,h^m,θ^m为变量的函数，其中h_j ^(1m)表示第1m隐藏层h^1m的第j个节点，W_ij ^(1m)表示第1m层参数矩阵W^(1m)的第i行第j列的节点值。因此，基于能量的概率模型的联合分布如下所示：

式(2)中，Z(θ^m)是分拆函数。同样，对应的RGB-D数据中深度通道的对应的模型表示类似。

经过上述推导，可以得出建立RGB-D数据的包含有三个隐藏单元层的高斯伯努利深度波尔兹曼机的模型。其中，{v^m，v^d}表示RGB图像通道和深度通道的可见层的实数高斯变量，{h^(1m)，h^(2m)，h^(1c)，h^(2c)，h⁽³⁾}表示二进制随机隐藏单元。和是RGB图像通道的两个隐藏单元层，和是深度通道的两个隐藏单元层。本发明提出的双模态高斯伯努利深度波尔兹曼机经过{v，h}可以被定义如下：

因此，对应的联合概率模型如下所示：

学习双模态深度波尔兹曼机的任务是对模型参数结合式(4)进行最大似然学习。

4)对每个3D窗口框架进行非最大值抑制，具体方法如下：

采用平均场理论推断和基于随机逼近的马尔科夫链蒙特卡洛(MCMC)方法进行估计学习。在推测的过程中，后验概率估计通过完全因式分解近似于无阻隐藏单元的分布。

对于每个训练样本，学习过程主要包括以下步骤：首先，一个贪婪的逐层预测训练方案被用于初始化模型参数，它是一个通过学习改进的RBMs的堆栈实现；其次，查找一个能够最大化变分下界为当前的固定模型参数的变分参数μ；最后，结合该变分参数μ，用基于随机逼近的MCMC方法更新DBM模型参数；

结合DBM模型参数得到基于彩色图像特征和深度特征的联合特征表示，采用Exemplar-SVMs对联合特征f进行分类，得到对应的每个3D窗口盒子中对象特征的分数。

本发明具有以下技术效果：

1、采用三维深度传感器沿着重力方向获取一组RGB-D数据。

2、在3D空间采用合适尺寸的滑动窗口对输入的RGB-D三维点云进行处理。

3、将3D滑动窗口中的对象进行投影，采用R-CNNs方法得到在RGB通道和深度图通道的特征f_m和f_d，然后再不断的将分别在RGB通道和深度通道中的特征反馈到本发明提出的双模态深度波尔兹曼机(bimodal DBM)中进行特征学习，从而获取基于彩色图像特征和深度特征的联合特征表示f；采用Exemplar-SVMs对联合特征f进行分类，得到对应的每个3D窗口盒子中对象特征的分数。

4、对每个3D窗口框架进行非最大值抑制。

5、在缺乏足够的训练样本的条件下，检测出RGB-D场景中的3D对象具有非常大的挑战性。

6、本发明能够准确鲁棒地得出RGB-D场景中对象的特征分数。实验研究表明，本发明具有计算速度快，强鲁棒性，准确性高的优点。

附图说明

图1为本发明实施例的算法概览图。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

本发明实施例包括以下步骤：

1)采用三维深度传感器沿着重力方向获取一组RGB-D数据；

2)在3D空间采用滑动窗口对输入的RGB-D三维点云进行处理；

负样本选择条件：建立能够完整覆盖真实值得负样本集。

因此，对应的联合概率模型如下所示：

4)对每个3D窗口框架进行非最大值抑制，具体方法如下：

参见图1，本发明以“RGB-D图像”为输入，以最后“获得分数”为输出。其中，输入的“RGB-D图像”，以白色背景表示RGB彩色图像，以渐变的灰色背景表示深度(d)图像。根据输入的“RGB-D图像”“生成”(以箭头表示)对应的“点云”表示。将生成的“点云”以滑动窗口的方式“投影到对应的二维参考平面”；对于已经得到的“参考平面上的投影”“使用”(以箭头表示)“已经预训练好的R-CNN过程”提取特征；将由“R-CNN”提取的特征“输入”(以箭头表示)“双模态玻尔兹曼机中”，并将“双模态玻尔兹曼机”的输出结果“传入”(以箭头表示)“Exemplar-SVM”中；最终由“Exemplar-SVM”生成判定分数，对目标进行判定。

Claims

1.一种结合深度波尔兹曼机的三维对象检测方法，其特征在于包括以下步骤：

1)采用三维深度传感器沿着重力方向获取一组RGB-D数据；

2)在3D空间采用滑动窗口对输入的RGB-D三维点云进行处理；

正样本选择条件：保证样本数据足够多；每个CAD模型必须从不同的视角和3D空间位置进行渲染；对于每个类别，每次CAD模型渲染都要进行Exemplar-SVMs训练，将得到的向量机都用于组装建立一个3D检测器；

负样本选择条件：建立能够完整覆盖真实值得负样本集；

双模态特征学习：通过高斯伯努利限制波尔兹曼机，得出高斯伯努利限制波尔兹曼机能量函数；

由于深度波尔兹曼机是个对称偶联的随机二进制单元，它包含了一组可见单元集v∈{0，1}^D以及一个隐藏层单元的序列

其中，v∈{0,1}^D表示向量v是一个长度为D维的向量，而向量的元素都是由0或者1构成的；h⁽¹⁾表示第一个隐藏层，{0,1}^F1表示向量h⁽¹⁾是一个长度为F₁维的向量其中的每一个元素的值只能是0或者1，h⁽²⁾∈{0,1}^F2表示第二个隐藏层向量h⁽²⁾是一个长度为F₂维的向量其中的每一个元素的值只能是0或者1，h^(L)∈{0,1}^FL表示第二个隐藏层向量h^(L)是一个长度为F_L维的向量其中的每一个元素的值只能是0或者1；与RBM不同之处在于各层之间的链接分别存在于各个隐藏层之间以及第一个隐藏层和可见层之间；考虑到建立RGB-D数据的包含有三个隐藏单元层的高斯伯努利深度波尔兹曼机，输入的数据为实数型数据，对应的RGB图像通道对应的高斯伯努利深度玻尔兹曼机的能量函数在经过{v^m，h^m}被定义为式(1)，其中v^m和h^m分别代表任意的可见层和隐藏层：

\begin{matrix} E (v^{m}, b^{m}; θ^{m}) = - Σ_{i = 1}^{D} Σ_{j = 1}^{F_{1}^{m}} \frac{v_{i}^{(m)}}{σ_{i}^{(m)}} W_{i j}^{(1 m)} h_{j}^{(1 m)} \\ - Σ_{j = 1}^{F_{1}^{m}} Σ_{l = 1}^{F_{2}^{m}} W_{j l}^{(2 m)} h_{j}^{(1 m)} h_{l}^{(2 m)} - Σ_{l = 1}^{F_{2}^{m}} Σ_{p = 1}^{F_{3}^{m}} W_{l p}^{(3 m)} h_{l}^{(2 m)} h_{p}^{(3 m)} \\ + Σ_{i = 1}^{D} \frac{{(v_{i}^{(m)} - b_{i}^{(m)})}^{2}}{2 σ_{i}^{{(m)}^{2}}} - Σ_{j = 1}^{F_{1}^{m}} b_{j}^{(1 m)} h_{j}^{(1 m)} - Σ_{l = 1}^{F_{2}^{m}} b_{l}^{(2 m)} h_{l}^{(2 m)} \\ - Σ_{p = 1}^{F_{3}^{m}} b_{p}^{(3 m)} h_{p}^{(3 m)}, \end{matrix} - - - (1)

式(1)中，σ_i表示对应的高斯模型的方差，θ_m是深度波尔兹曼机的参数向量，E(v^m,h^m；θ^m)表示以v^m,h^m,θ^m为变量的函数，其中h_j ^(1m)表示第1m隐藏层h^1m的第j个节点，W_ij ^(1m)表示第1m层参数矩阵W^(1m)的第i行第j列的节点值；因此，基于能量的概率模型的联合分布如下所示：

P (v^{m}; θ^{m}) = \frac{1}{Z (θ^{m})} \underset{h^{m}}{Σ} \exp (- E (v^{m}, b^{m}; θ^{m})), - - - (2)

式(2)中，Z^(θm)是分拆函数；同样，对应的RGB-D数据中深度通道的对应的模型表示类似；

经过上述推导，得出建立RGB-D数据的包含有三个隐藏单元层的高斯伯努利深度波尔兹曼机的模型；其中，{v^m，v^d}表示RGB图像通道和深度通道的可见层的实数高斯变量，{h^(1m)，h^(2m)，h^(1c)，h^(2c)，h⁽³⁾}表示二进制随机隐藏单元；和是RGB图像通道的两个隐藏单元层，和是深度通道的两个隐藏单元层；双模态高斯伯努利深度波尔兹曼机经过{v，h}被定义如下：

\begin{matrix} E (v, b; θ) = - Σ_{i = 1}^{D} Σ_{j = 1}^{F_{1}^{m}} \frac{v_{i}^{(m)}}{σ_{i}^{(m)}} W_{i j}^{(1 m)} h_{j}^{(1 m)} \\ - Σ_{j = 1}^{F_{1}^{m}} Σ_{l = 1}^{F_{2}^{m}} W_{j l}^{(2 m)} h_{j}^{(1 m)} h_{l}^{(2 m)} - Σ_{l = 1}^{F_{2}^{m}} Σ_{p = 1}^{F_{3}} W_{l p}^{(3 m)} h_{l}^{(2 m)} h_{p}^{(3 m)} \\ + Σ_{i = 1}^{D} \frac{{(v_{i}^{(m)} - b_{i}^{(m)})}^{2}}{2 σ_{i}^{{(m)}^{2}}} - Σ_{j = 1}^{F_{1}^{m}} b_{j}^{(1 m)} h_{j}^{(1 m)} - Σ_{l = 1}^{F_{2}^{m}} b_{l}^{(2 m)} h_{l}^{(2 m)} \\ - Σ_{i = 1}^{K} Σ_{j = 1}^{F_{1}^{d}} \frac{v_{i}^{(d)}}{σ_{i}^{(d)}} W_{i j}^{(1 d)} h_{j}^{(1 d)} \\ - Σ_{j = 1}^{F_{1}^{d}} Σ_{l = 1}^{F_{2}^{d}} W_{j l}^{(2 d)} h_{j}^{(1 d)} h_{l}^{(2 d)} - Σ_{l = 1}^{F_{2}^{d}} Σ_{p = 1}^{F_{3}} W_{l p}^{(3 c)} h_{l}^{(2 d)} h_{p}^{(3)} \\ + Σ_{i = 1}^{K} \frac{{(v_{i}^{(d)} - b_{i}^{(d)})}^{2}}{2 σ_{i}^{{(d)}^{2}}} - Σ_{j = 1}^{F_{1}^{d}} b_{j}^{(1 d)} h_{j}^{(1 d)} - Σ_{l = 1}^{F_{2}^{d}} b_{l}^{(2 d)} h_{l}^{(2 d)} \\ - Σ_{p = 1}^{F_{3}} b_{p}^{(3)} h_{p}^{(3)} . \end{matrix} - - - (3)

因此，对应的联合概率模型如下所示：

学习双模态深度波尔兹曼机的任务是对模型参数结合式(4)进行最大似然学习；

4)对每个3D窗口框架进行非最大值抑制，具体方法如下：

采用平均场理论推断和基于随机逼近的马尔科夫链蒙特卡洛方法进行估计学习，在推测的过程中，后验概率估计通过完全因式分解近似于无阻隐藏单元的分布；

对于每个训练样本，学习过程主要包括以下步骤：首先，一个贪婪的逐层预测训练方案被用于初始化模型参数，它是一个通过学习改进的RBMs的堆栈实现；其次，查找一个能够最大化变分下界为当前的固定模型参数的变分参数μ；最后，结合该变分参数μ，用基于随机逼近的马尔科夫链蒙特卡洛方法更新DBM模型参数；