CN110490915B - 一种基于卷积受限玻尔兹曼机的点云配准方法 - Google Patents

Abstract

本发明公开了一种基于卷积受限玻尔兹曼机的点云配准方法。可以识别出物体多角度的点云图像，获取物体的位姿。包括以下步骤：首先获取待识别物体的各基本角度进行扫描，得到其点云图像数据并进行预处理；然后运用卷积神经网络对其进行卷积计算，得到较为鲁棒的节点；再构建受限玻尔兹曼机训练模型，确定模型的各参数，把卷积网络得到的结果输入模型中进行训练，得到受限玻尔兹曼机最优化的偏置向量a，b以及权值矩阵W。再根据这些参数进行逆向推算，得到可见层，其中评分最高的特征向量即为该点云图像最可能对应的物体的特征向量，从而实现对物体的识别。

Description

一种基于卷积受限玻尔兹曼机的点云配准方法

技术领域

本发明属于三维立体图像识别领域，涉及一种基于卷积受限玻尔兹曼机的点云配准方法。

背景技术

在一些环境较为恶劣或者较为复杂的情况下，对场景中的物体进行识别是计算机视觉一个非常重要的研究方面。自计算机视觉出现以来，对二维图像的识别已经迅速发展，在很多领域得以重要的应用，也取得了极其显著的成果。然而，相对于二维平面图像识别，三维立体图像的识别可以更加全面、更加准确的实现物体的识别与定位，甚至对物体的姿态作出判断。3D点云作为三维立体图像的重要表示方式，3D点云的立体图像识别技术在近几年得到快速的发展，应用在包括无人驾驶、数字城市、钢铁重工等众多前沿领域，为图像的加速发展提供了重要技术支持。

然而，目前用于三维立体图像识别的3D点云配准的方法主要还是停留在同一视角的情况下进行物体的识别，无法多角度实现对物体的识别。对于一些外形较为复杂的物体的来说，如果其位姿发生变化或者点云扫描仪的扫描视角法发生变化，那么对物体的准确识别就难以实现。

目前，也有一些多角度点云配准的方法。如根据曲率和点的邻域相似度进行配准；根据曲率和几何哈希进行配准；利用离散特征进行配准等众多方法。但是这些传统方法都是通过转换点云图像的角度以及提取点云图像的局部特征来进行的，难以实现具有很好地鲁棒性，因此在配准的精度和速度上均有所欠缺。基于卷积受限玻尔兹曼机的点云配准方法克服了这些缺点，可以在较小角度转换点云图像角度的情况下，通过深度学习算法，快速实现对物体的准确识别。

发明内容

鉴于此，本发明的目的在于提供一种实现多角度的点云的配准方法。通过受限玻尔兹曼机对点云数据库进行训练，得到每一个点云图像的个体特征向量，然后再将待检测点云图像与训练完成的数据集进行匹配，即可实现对待检测点云的识别。

为达到上述目的，本发明的技术方案提供一种基于卷积受限玻尔兹曼机的点云配准方法，该方法包括以下步骤：

1)首先，获取多个待识别物体的多角度视图(以三视图为主的各角度的视图)，构成点云数据集，并对该数据集进行预处理(分割、滤波、下采样等)，得到处理后的点云数据集，作为系统原始数据。

2)把1)中得到系统原始数据输入到卷积神经网络中，确定卷积层的各参数，经过卷积计算的处理，得到较为鲁棒的节点数据集。

3)建立RBM(受限玻尔兹曼机)模型，把2)中得到的点云图像特征向量节点数据集作为训练样本集，再初始化受限玻尔兹曼机的隐藏层和可见层的偏置向量以及隐藏层和可见层之间的权值矩阵，运用对比散度(Contrastive Divergence，CD)算法进行RBM的训练，多次迭代，得到最优化的偏置向量a，b以及权值矩阵W。

4)把1)中所用到的任意待识别物体的任意角度的点云图像进行卷积层特征提取，作为受限玻尔兹曼机的隐藏层进行检测识别，通过3)中所得到的最优化的偏置向量a，b以及权值矩阵W进行逆向运算，得到可见层，其中评分最高者即为该点云图像所对应的物体，从而实现对物体的识别。

本发明达到的有益效果为：本发明相对于传统的三维点云图像识别方法，提供了一种基于卷积受限玻尔兹曼机的点云图像识别方法，通过把需要识别物体的多角度点云图像进行卷积层的处理，得到更鲁棒的节点数据集，节点数据集再经过受限玻尔兹曼机，有效剔除图像集中对内在因素敏感的物体点云图像，经过玻尔兹曼机的多次训练，清晰得到各点云图像的特征向量，实现物体的高精度识别。弥补了传统三维点云图像识别方法只能识别单一相同角度的点云图像或者识别精度较低等不足，实现了在物体在位姿变化或者环境亮度较暗，甚至被部分遮挡的情况下，对物体进行准确的识别，在很大程度上提高了三维点云图像识别的应用效率与应用领域，同时也促进了机器视觉的进一步发展。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明所述基于卷积受限玻尔兹曼机的点云配准方法的流程框图。

图2为本发明所述基于卷积受限玻尔兹曼机的点云配准方法的点云识别算法流程图。

图3为本发明所述基于卷积受限玻尔兹曼机的点云配准方法的卷积神经网络结构示意图。

图4为本发明所述基于卷积受限玻尔兹曼机的点云配准方法的受限玻尔兹曼机网络结构示意图。

具体实施方式

为进一步更加详细的阐述本发明，下面将结合附图更加细致的说明：

参照图1及图2，本实施例包括以下步骤：

1)使用3D扫描仪对k个待检测物体进行多角度扫描，得到k组多角度的点云图像数据文件，然后通过点云库(PCL)对得到的这些点云图像进行预处理，主要有分割、滤波、下采样等步骤，去除扫描过程中存在的噪声以及图像中存在的待检测物体以外的物体的无用点云图像。

2)构建卷积神经网络，如图3所示，主要包括两个卷积层，两个池化层，两个全连接层，其中每一层都有多个特征图，每个特征图包括多个神经元，特征图通过一种卷积滤波器提取输入的点云图像数据的一种特征。

将1)中预处理以后得到的点云图像数据通过卷积神经网络，经过各层的计算，每一层都把前一层得到特征进行抽象处理，提取出更高层次的特征，作为下一层的输入，不断提取点云图像的特征，其计算公式为：

其中，a_i是上一层得到的第i个图像特征向量，W^i×j是第i个权重，f是激活函数，b_j是偏置项的参数，g(i)是所得的当前层的第i个图像的特征向量。

3)构建受限玻尔兹曼机网络，如图4所示，有可见层和隐藏层，n_v和n_h分别是可见层和隐藏层中包含神经元的数目，即点云图像特征向量的个数。是可见层的状态向量，v_i是可见层中第i个神经元的状态，其值为0到1之间；/>是隐藏层的状态向量，h_j是隐藏层中第j个神经元的状态，其值也为0到1之间；是隐藏层的偏置向量，a_j是隐藏层中第j个神经元的偏置，是可见层的偏置向量，b_i是可见层中第i个神经元的偏置，是隐藏层和可见层之间的权值矩阵，w_i,j是隐藏层中第i个神经元与可见层中第j个神经元之间的连接权重。记θ＝(W,a,b)表示RBM中的参数，可将其视为把W，a，b中的所有分量拼接起来得到的长向量。

RBM模型是一个基于能量的模型，因此，首先定义一个能量函数，并利用该能量函数引入一系列相关的概率分布函数。

对于一组给定的状态(v,h)，可定义如下能量函数：

根据定义的能量函数，可以得到状态(v,h)的联合概率分布：

其中：

为归一化因子。

观测数据v的概率分布P_θ(v)，对应于P_θ(v,h)的边缘分布，称为似然函数，具体为：

同理，有：

根据以上，则可以得出在给定可见层上所有神经元的状态时，隐藏层上某个神经元被激活的(即取值为1)的概率P(h_k＝1|v)，即给定的所有可见层点云图像特征向量所确定的特征向量为该隐藏层神经元所对应的点云图像的特征向量的概率；以及在给定隐藏层上所有神经元的状态时，可见层上某个神经元被激活的(即取值为1)的概率P(v_k＝1|h)，即给定的所有隐藏层点云图像特征向量所确定的特征向量为该可见层神经元所对应的点云图像的特征向量的概率：

通过调整参数θ，来拟合给定的训练样本，使得在该参数下由相应RBM表示的概率分布尽可能地与点云图像集的特征向量集相符合。

假设训练样本集为：

其中n_s是作为训练样本的特征向量的数目，中各点云图像特征向量是独立分布的。则通过梯度上升法对以下公式进行最大化运算：

通过迭代的方式来对其进行逼近，迭代格式为：

其中η＞0为学习率。

通过CD-k算法(k步对比散度算法)对进行近似计算，得到以下结果：

令：

以此为变量进行参数更新，更新公式如下：

至此，就通过不断的更新参数进行对比散度算法的计算，从而进行受限玻尔兹曼机的训练。

把2)中得到的点云图像的特征向量g(1),g(2),…,g(n)作为输入量S，将其输入受限玻尔兹曼机网络，给定训练周期J和学习率η，以及CD-k算法的参数k，指定可见层和隐藏层的单元数目n_v和n_h，初始化偏置向量a，b以及权值矩阵W，进行训练，优化迭代，得到最优化的偏置向量a，b以及权值矩阵W。

4)把1)中所用到的任意待识别物体的任意角度的点云图像经过卷积层得到其特征向量，将其作为受限玻尔兹曼机的隐藏层进行检测识别，通过3)中所得到的得到最优化的偏置向量a，b以及权值矩阵W进行逆向推算，得到可见层的数值(0到1之间)，其中评分最高的特征向量即为该点云图像最可能对应的物体的特征向量，从而实现对物体的识别。然后把该原始点云图像与识别出的物体的点云图像进行可视化，更直观的观察识别结果。

Claims (1)

1.一种基于卷积受限玻尔兹曼机的点云识别方法，其特征在于，包括如下步骤：

1)首先，获取多个待识别物体的多角度视图，以三视图为主的各角度的视图，构成点云数据集，并对该数据集进行预处理，分割、滤波、下采样，得到处理后的点云数据集，作为系统原始数据；

2)把1)中得到系统原始数据输入到卷积神经网络中，确定卷积层的各参数，经过卷积计算的处理，得到较为鲁棒的节点数据集；

3)建立受限玻尔兹曼机RBM模型，把2)中得到的节点数据集作为训练样本集，再确定受限玻尔曼机的隐藏层和可见层的偏置向量以及隐藏层和可见层之间的权值矩阵，运用对比散度CD算法进行RBM的训练；

4)把1)中所用到的任意待识别物体的任意角度的点云图像进行卷积层特征提取，作为受限玻尔兹曼机的隐藏层进行检测识别，通过3)中所得到的得到最优化的偏置向量a，b以及权值矩阵W进行逆向运算，得到可见层，其中评分最高者即为该点云图像所对应的物体，从而实现对物体的识别；

所述步骤1)通过点云库PCL对扫描仪得到的点云图像数据进行初步预处理；

所述步骤2)通过卷积神经网络对点云原始数据特征提取，卷积神经网络的计算公式为：

其中，ai是上一层得到的第i个图像特征向量，Wi×j是第i个权重，f是激活函数，bj是偏置项的参数，g(i)是所得的当前层的第i个图像的特征向量；

所述步骤3)建立受限玻尔兹曼机RBM模型，对于一组给定的状态(v,h)，可定义如下能量函数：

进而得到在给定可见层上所有神经元的状态时，隐藏层上某个神经元被激活的即取值为1的概率P(hk＝1|v)以及在给定隐藏层上所有神经元的状态时，可见层上某个神经元被激活的即取值为1的概率P(vk＝1|h)：

通过调整参数θ，来拟合给定的训练样本，使得在该参数下由相应RBM表示的概率分布尽可能地与训练数据相符合，最大程度上保证点云识别时的高精度；

所述步骤4)对于待识别的物体点云图像进行卷积层特征提取，然后根据受限玻尔兹曼机训练所得参数，逆推出其最可能对应的物体的特征向量，进而得到其对应的物体，就可得到该点云图像所对应的物体，从而实现高精度识别点云图像的效果。