CN111325757B - 一种基于贝叶斯神经网络的点云识别与分割方法 - Google Patents

Abstract

本发明涉及一种基于贝叶斯神经网络的点云识别与分割方法，构建贝叶斯神经网络，分为特征提取、识别和分割三部分。其中特征提取部分包含三层贝叶斯卷积层，每个卷积层后连接一个激活层。识别部分的网络结构为三层全连接层，最终输出层节点数量与类别数量相同。分割部分的网络结构为三层贝叶斯卷积层，每个卷积层后连接一个激活层，最终输出层节点个数与点云中包含点的个数相等，每个节点输出一个长度与类别数量相等的向量。点云数据首先经过特征提取部分得到特征值，然后分别将特征值输入识别部分和分割部分得到识别和分割结果。

Description

一种基于贝叶斯神经网络的点云识别与分割方法

技术领域

本发明涉及深度神经网络和贝叶斯概率在计算机视觉方面的应用，具体涉及一种基于贝叶斯神经网络的点云识别与分割方法。

背景技术

深度神经网络是近年来人工智能领域中非常热门的研究方向，在图像处理、目标识别、语音识别方向取得了突破性的进展。随着激光雷达、结构光等三维传感器的发展，深度神经网络也逐渐被应用到点云数据的识别与分割中。利用共享权值的多层感知机提取点坐标及相关附加信息的深度特征，并利用池化和特征拼接的方法提取点与点间的局部关联特征，最终利用全连接层实现对点云的识别与分割。

代璐，王俊亮等(《基于卷积神经网络的非等效点云分割方法》，东华大学学报(自然科学版)，2019，45(6):862—868)针对点云分割中的非等效性，提出基于CNN的点云分割神经网络，在设计网络随机抽样层与最大池化层解决点云数据量与顺序多变的基础上，引入经惩罚函数作用后的距离矩阵对各点分类误差进行加权，优化模型训练方法，但该方法由于人为设计的惩罚函数的设计存在不精确性，不能保证模型训练效果最优。

发明内容

要解决的技术问题

现有神经网络处理点云数据时，大多数采用共享权值的多层感知机对点云数据进行特征提取，这种结构较为单一，无法有效提取点的邻域内特征。本发明针对这一问题，提出了一种基于贝叶斯概率的点云卷积方法，并设计了一种基于此方法的深度神经网络结构，有效提取点云中的邻域特征，提高了对点云数据识别与分割的准确性。

技术方案

一种基于贝叶斯神经网络的点云识别与分割方法，其特征在于：所述的贝叶斯神经网络包括特征提取、识别和分割三部分；其中特征提取部分包含三层贝叶斯卷积层，每个卷积层后连接一个激活层；识别部分的网络结构为三层全连接层，最终输出层节点数量与类别数量相同；分割部分的网络结构为三层贝叶斯卷积层，每个卷积层后连接一个激活层，最终输出层节点个数与点云中包含点的个数相等，每个节点输出一个长度与类别数量相等的向量；步骤如下：

步骤1：首先利用最远点采样方法对点云进行关键点提取，然后经过第一层贝叶斯卷积层和第一层激活层得到第一级特征F₁，重复上述步骤分别得到特征提取部分的二级特征F₂和三级特征F₃；

步骤2：对于识别任务，直接将F₃矩阵拉直为一维向量输入识别部分的全连接层，经过三层全连接层计算并将最终结果进行归一化指数函数计算得到识别结果；

步骤3：对于分割任务，将F₃输入分割部分，通过第一层贝叶斯卷积层和激活层得到第一级分割特征F′₁，并将该特征矩阵与F₂拼接得到特征矩阵[F′₁,F₂]；将合并的特征矩阵通过第二层贝叶斯卷积层和激活层得到第二级分割特征F₂′，并将该特征矩阵与F₁拼接得到特征矩阵[F′₂,F₁]；最终将特征矩阵[F′₂,F₁]通过第三层贝叶斯卷积层计算，得到每个点的所属类别，从而实现分割。

有益效果

本发明提出的一种基于贝叶斯神经网络的点云识别与分割方法，有益效果如下：

(1)本发明提出的贝叶斯点云卷积核可以有效提取点云的局部邻域特征信息。

(2)利用贝叶斯点云卷积核设计的深度神经网络针对局部特征信息进行优化，显著增加了对点云数据的识别和分割的准确性。

附图说明

图1是贝叶斯神经网络结构图

图2是测试结果图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明提出的贝叶斯点云卷积核分为n层，对于其中第i层L_i，包含三个随机权重w_i,1、w_i,2、w_i,3和一个随机偏置量b_i，这四个参数均符合正态分布，即：

其中，μ_i,j为随机变量的数学期望，σ_i,j为随机变量的标准差。

在利用贝叶斯卷积核计算点云中目标点特征值时，将目标点P₀的邻域根据点间距离由小到大分为n层，使得每层中包含固定数量的K个点。对于其中第i层L_i，其包含的点表示为P_i,k(k＝1,2,…,K)，点P_i,k的三维坐标表示为(x_i,k,y_i,k,z_i,k)，则L_i的特征值f_i为：

对全部n层均进行上述计算，得到{f₁,f₂,…,f_n}，将特征值组合得到目标点P₀的特征向量F：

F＝(f₁,f₂,…,f_n)

本发明利用上述提出贝叶斯点云卷积核作为神经网络节点，提出了贝叶斯点云识别与分割神经网络。

本发明提出的深度神经网络分为特征提取、识别和分割三部分。其中特征提取部分包含三层贝叶斯卷积层，每个卷积层后连接一个激活层。识别部分的网络结构为三层全连接层，最终输出层节点数量与类别数量相同。分割部分的网络结构为三层贝叶斯卷积层，每个卷积层后连接一个激活层，最终输出层节点个数与点云中包含点的个数相等，每个节点输出一个长度与类别数量相等的向量。

计算时，首先利用最远点采样方法对点云进行关键点提取，然后经过第一层贝叶斯卷积层和第一层激活层得到第一级特征F₁，重复上述步骤分别得到特征提取部分的二级特征F₂和三级特征F₃。

对于识别任务，直接将F₃矩阵拉直为一维向量输入识别部分的全连接层，经过三层全连接层计算并将最终结果进行归一化指数函数(softmax)计算得到识别结果。

对于分割任务。将F₃输入分割部分，通过第一层贝叶斯卷积层和激活层得到第一级分割特征F′₁，并将该特征矩阵与F₂拼接得到特征矩阵[F′₁,F₂]。将合并的特征矩阵通过第二层贝叶斯卷积层和激活层得到第二级分割特征F₂′，并将该特征矩阵与F₁拼接得到特征矩阵[F′₂,F₁]。最终将特征矩阵[F′₂,F₁]通过第三层贝叶斯卷积层计算，得到每个点的所属类别，从而实现分割。

神经网络结构如图1所示，以对S3DIS数据库进行点云分割为实例说明本发明的具体实施方式，但本发明的技术内容不限于所述的范围，具体实施方式包括以下步骤：

步骤1：构建贝叶斯神经网络，设置网络中各层参数。根据S3DIS数据特征，所构建的神经网络中贝叶斯点云卷积核层数n为4，每层包含点数K为8，特征提取部分的三个卷积层分别包含128、256、512个贝叶斯点云卷积核，由于只对点云进行分割，此处不构建分类部分，仅构建分割部分网络，三个卷积层分别包含128、512、8192个贝叶斯点云卷积核，最终输出节点个数与输入节点个数相同。

步骤2：前向传播。对于一个输入的点云样本，首先利用随机采样方法选择8192个有效点，再在其中通过最远点采样方法提取输入点云中的2048个关键点，利用第一卷积层对关键点进行第一层特征F1提取，重复提取关键点和特征提取步骤，分别提取第二层和第三层特征F2和F3。

接着将第三级特征F3输入分割部分网络，经过第一层卷积计算得到第一级分割特征F′₁，并将该特征矩阵与F₂拼接得到特征矩阵[F′₁,F₂]。将合并的特征矩阵通过第二层贝叶斯卷积层和激活层得到第二级分割特征F′₂，并将该特征矩阵与F₁拼接得到特征矩阵[F′₂,F₁]。最终将特征矩阵[F′₂,F₁]通过第三层贝叶斯卷积层计算，得到每个点的所属类别。

步骤3：反向传播。将训练集设为D＝{(x₁,y₁),(x₁,y₁),…,(x_m,y_m)}，其中x_m为样本数据，y_m为样本所对应的标签。则用训练集D训练贝叶斯网络，用贝叶斯公式可以写成：

其中，权重w的先验概率p(w)初始化为标准正态分布，p(y|x,w)为关于w的函数，最后，由马尔科夫链蒙特卡洛方法近似分母积分，以求得权重w对于训练集D的后验概率分布。

步骤4：对数据库中所有的点云样本重复进行步骤2和步骤3，直至模型误差收敛。

步骤5：利用上述步骤训练的点云分割网络模型对测试样本进行分割，并计算准确率，达到89.2％。测试结果如图2所示。

Claims (1)

1.一种基于贝叶斯神经网络的点云识别与分割方法，其特征在于：所述的贝叶斯神经网络包括特征提取、识别和分割三部分；其中特征提取部分包含三层贝叶斯卷积层，每个卷积层后连接一个激活层；识别部分的网络结构为三层全连接层，最终输出层节点数量与类别数量相同；分割部分的网络结构为三层贝叶斯卷积层，每个卷积层后连接一个激活层，最终输出层节点个数与点云中包含点的个数相等，每个节点输出一个长度与类别数量相等的向量；步骤如下：

步骤1：首先利用最远点采样方法对点云进行关键点提取，然后经过第一层贝叶斯卷积层和第一层激活层得到第一级特征F₁，重复上述步骤分别得到特征提取部分的二级特征F₂和三级特征F₃；

步骤2：对于识别任务，直接将F₃矩阵拉直为一维向量输入识别部分的全连接层，经过三层全连接层计算并将最终结果进行归一化指数函数计算得到识别结果；

步骤3：对于分割任务，将F₃输入分割部分，通过第一层贝叶斯卷积层和激活层得到第一级分割特征F₁′，并将该特征矩阵与F₂拼接得到特征矩阵[F₁′,F₂]；将合并的特征矩阵通过第二层贝叶斯卷积层和激活层得到第二级分割特征F′₂，并将该特征矩阵与F₁拼接得到特征矩阵[F′₂,F₁]；最终将特征矩阵[F′₂,F₁]通过第三层贝叶斯卷积层计算，得到每个点的所属类别，从而实现分割。

Images