CN111325757B - 一种基于贝叶斯神经网络的点云识别与分割方法 - Google Patents

一种基于贝叶斯神经网络的点云识别与分割方法 Download PDF

Info

Publication number
CN111325757B
CN111325757B CN202010098524.4A CN202010098524A CN111325757B CN 111325757 B CN111325757 B CN 111325757B CN 202010098524 A CN202010098524 A CN 202010098524A CN 111325757 B CN111325757 B CN 111325757B
Authority
CN
China
Prior art keywords
layer
segmentation
point cloud
convolution
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010098524.4A
Other languages
English (en)
Other versions
CN111325757A (zh
Inventor
王靖宇
王霰禹
张科
黄鹏飞
张琦珂
张国俊
罗华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010098524.4A priority Critical patent/CN111325757B/zh
Publication of CN111325757A publication Critical patent/CN111325757A/zh
Application granted granted Critical
Publication of CN111325757B publication Critical patent/CN111325757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于贝叶斯神经网络的点云识别与分割方法，构建贝叶斯神经网络，分为特征提取、识别和分割三部分。其中特征提取部分包含三层贝叶斯卷积层，每个卷积层后连接一个激活层。识别部分的网络结构为三层全连接层，最终输出层节点数量与类别数量相同。分割部分的网络结构为三层贝叶斯卷积层，每个卷积层后连接一个激活层，最终输出层节点个数与点云中包含点的个数相等，每个节点输出一个长度与类别数量相等的向量。点云数据首先经过特征提取部分得到特征值，然后分别将特征值输入识别部分和分割部分得到识别和分割结果。

Description

一种基于贝叶斯神经网络的点云识别与分割方法
技术领域
本发明涉及深度神经网络和贝叶斯概率在计算机视觉方面的应用，具体涉及一种基于贝叶斯神经网络的点云识别与分割方法。
背景技术
深度神经网络是近年来人工智能领域中非常热门的研究方向，在图像处理、目标识别、语音识别方向取得了突破性的进展。随着激光雷达、结构光等三维传感器的发展，深度神经网络也逐渐被应用到点云数据的识别与分割中。利用共享权值的多层感知机提取点坐标及相关附加信息的深度特征，并利用池化和特征拼接的方法提取点与点间的局部关联特征，最终利用全连接层实现对点云的识别与分割。
代璐，王俊亮等(《基于卷积神经网络的非等效点云分割方法》，东华大学学报(自然科学版)，2019，45(6):862—868)针对点云分割中的非等效性，提出基于CNN的点云分割神经网络，在设计网络随机抽样层与最大池化层解决点云数据量与顺序多变的基础上，引入经惩罚函数作用后的距离矩阵对各点分类误差进行加权，优化模型训练方法，但该方法由于人为设计的惩罚函数的设计存在不精确性，不能保证模型训练效果最优。
发明内容
要解决的技术问题
现有神经网络处理点云数据时，大多数采用共享权值的多层感知机对点云数据进行特征提取，这种结构较为单一，无法有效提取点的邻域内特征。本发明针对这一问题，提出了一种基于贝叶斯概率的点云卷积方法，并设计了一种基于此方法的深度神经网络结构，有效提取点云中的邻域特征，提高了对点云数据识别与分割的准确性。
技术方案
一种基于贝叶斯神经网络的点云识别与分割方法，其特征在于：所述的贝叶斯神经网络包括特征提取、识别和分割三部分；其中特征提取部分包含三层贝叶斯卷积层，每个卷积层后连接一个激活层；识别部分的网络结构为三层全连接层，最终输出层节点数量与类别数量相同；分割部分的网络结构为三层贝叶斯卷积层，每个卷积层后连接一个激活层，最终输出层节点个数与点云中包含点的个数相等，每个节点输出一个长度与类别数量相等的向量；步骤如下：
步骤1：首先利用最远点采样方法对点云进行关键点提取，然后经过第一层贝叶斯卷积层和第一层激活层得到第一级特征F1，重复上述步骤分别得到特征提取部分的二级特征F2和三级特征F3；
步骤2：对于识别任务，直接将F3矩阵拉直为一维向量输入识别部分的全连接层，经过三层全连接层计算并将最终结果进行归一化指数函数计算得到识别结果；
步骤3：对于分割任务，将F3输入分割部分，通过第一层贝叶斯卷积层和激活层得到第一级分割特征F′1，并将该特征矩阵与F2拼接得到特征矩阵[F′1,F2]；将合并的特征矩阵通过第二层贝叶斯卷积层和激活层得到第二级分割特征F2′，并将该特征矩阵与F1拼接得到特征矩阵[F′2,F1]；最终将特征矩阵[F′2,F1]通过第三层贝叶斯卷积层计算，得到每个点的所属类别，从而实现分割。
有益效果
本发明提出的一种基于贝叶斯神经网络的点云识别与分割方法，有益效果如下：
(1)本发明提出的贝叶斯点云卷积核可以有效提取点云的局部邻域特征信息。
(2)利用贝叶斯点云卷积核设计的深度神经网络针对局部特征信息进行优化，显著增加了对点云数据的识别和分割的准确性。
附图说明
图1是贝叶斯神经网络结构图
图2是测试结果图
具体实施方式
现结合实施例、附图对本发明作进一步描述：
本发明提出的贝叶斯点云卷积核分为n层，对于其中第i层Li，包含三个随机权重wi,1、wi,2、wi,3和一个随机偏置量bi，这四个参数均符合正态分布，即：
Figure BDA0002386066460000031
其中，μi,j为随机变量的数学期望，σi,j为随机变量的标准差。
在利用贝叶斯卷积核计算点云中目标点特征值时，将目标点P0的邻域根据点间距离由小到大分为n层，使得每层中包含固定数量的K个点。对于其中第i层Li，其包含的点表示为Pi,k(k＝1,2,…,K)，点Pi,k的三维坐标表示为(xi,k,yi,k,zi,k)，则Li的特征值fi为：
Figure BDA0002386066460000032
对全部n层均进行上述计算，得到{f1,f2,…,fn}，将特征值组合得到目标点P0的特征向量F：
F＝(f1,f2,…,fn)
本发明利用上述提出贝叶斯点云卷积核作为神经网络节点，提出了贝叶斯点云识别与分割神经网络。
本发明提出的深度神经网络分为特征提取、识别和分割三部分。其中特征提取部分包含三层贝叶斯卷积层，每个卷积层后连接一个激活层。识别部分的网络结构为三层全连接层，最终输出层节点数量与类别数量相同。分割部分的网络结构为三层贝叶斯卷积层，每个卷积层后连接一个激活层，最终输出层节点个数与点云中包含点的个数相等，每个节点输出一个长度与类别数量相等的向量。
计算时，首先利用最远点采样方法对点云进行关键点提取，然后经过第一层贝叶斯卷积层和第一层激活层得到第一级特征F1，重复上述步骤分别得到特征提取部分的二级特征F2和三级特征F3。
对于识别任务，直接将F3矩阵拉直为一维向量输入识别部分的全连接层，经过三层全连接层计算并将最终结果进行归一化指数函数(softmax)计算得到识别结果。
对于分割任务。将F3输入分割部分，通过第一层贝叶斯卷积层和激活层得到第一级分割特征F′1，并将该特征矩阵与F2拼接得到特征矩阵[F′1,F2]。将合并的特征矩阵通过第二层贝叶斯卷积层和激活层得到第二级分割特征F2′，并将该特征矩阵与F1拼接得到特征矩阵[F′2,F1]。最终将特征矩阵[F′2,F1]通过第三层贝叶斯卷积层计算，得到每个点的所属类别，从而实现分割。
神经网络结构如图1所示，以对S3DIS数据库进行点云分割为实例说明本发明的具体实施方式，但本发明的技术内容不限于所述的范围，具体实施方式包括以下步骤：
步骤1：构建贝叶斯神经网络，设置网络中各层参数。根据S3DIS数据特征，所构建的神经网络中贝叶斯点云卷积核层数n为4，每层包含点数K为8，特征提取部分的三个卷积层分别包含128、256、512个贝叶斯点云卷积核，由于只对点云进行分割，此处不构建分类部分，仅构建分割部分网络，三个卷积层分别包含128、512、8192个贝叶斯点云卷积核，最终输出节点个数与输入节点个数相同。
步骤2：前向传播。对于一个输入的点云样本，首先利用随机采样方法选择8192个有效点，再在其中通过最远点采样方法提取输入点云中的2048个关键点，利用第一卷积层对关键点进行第一层特征F1提取，重复提取关键点和特征提取步骤，分别提取第二层和第三层特征F2和F3。
接着将第三级特征F3输入分割部分网络，经过第一层卷积计算得到第一级分割特征F′1，并将该特征矩阵与F2拼接得到特征矩阵[F′1,F2]。将合并的特征矩阵通过第二层贝叶斯卷积层和激活层得到第二级分割特征F′2，并将该特征矩阵与F1拼接得到特征矩阵[F′2,F1]。最终将特征矩阵[F′2,F1]通过第三层贝叶斯卷积层计算，得到每个点的所属类别。
步骤3：反向传播。将训练集设为D＝{(x1,y1),(x1,y1),…,(xm,ym)}，其中xm为样本数据，ym为样本所对应的标签。则用训练集D训练贝叶斯网络，用贝叶斯公式可以写成：
Figure BDA0002386066460000051
其中，权重w的先验概率p(w)初始化为标准正态分布，p(y|x,w)为关于w的函数，最后，由马尔科夫链蒙特卡洛方法近似分母积分，以求得权重w对于训练集D的后验概率分布。
步骤4：对数据库中所有的点云样本重复进行步骤2和步骤3，直至模型误差收敛。
步骤5：利用上述步骤训练的点云分割网络模型对测试样本进行分割，并计算准确率，达到89.2％。测试结果如图2所示。

Claims (1)

1.一种基于贝叶斯神经网络的点云识别与分割方法，其特征在于：所述的贝叶斯神经网络包括特征提取、识别和分割三部分；其中特征提取部分包含三层贝叶斯卷积层，每个卷积层后连接一个激活层；识别部分的网络结构为三层全连接层，最终输出层节点数量与类别数量相同；分割部分的网络结构为三层贝叶斯卷积层，每个卷积层后连接一个激活层，最终输出层节点个数与点云中包含点的个数相等，每个节点输出一个长度与类别数量相等的向量；步骤如下：
步骤1：首先利用最远点采样方法对点云进行关键点提取，然后经过第一层贝叶斯卷积层和第一层激活层得到第一级特征F1，重复上述步骤分别得到特征提取部分的二级特征F2和三级特征F3；
步骤2：对于识别任务，直接将F3矩阵拉直为一维向量输入识别部分的全连接层，经过三层全连接层计算并将最终结果进行归一化指数函数计算得到识别结果；
步骤3：对于分割任务，将F3输入分割部分，通过第一层贝叶斯卷积层和激活层得到第一级分割特征F1′，并将该特征矩阵与F2拼接得到特征矩阵[F1′,F2]；将合并的特征矩阵通过第二层贝叶斯卷积层和激活层得到第二级分割特征F′2，并将该特征矩阵与F1拼接得到特征矩阵[F′2,F1]；最终将特征矩阵[F′2,F1]通过第三层贝叶斯卷积层计算，得到每个点的所属类别，从而实现分割。
CN202010098524.4A 2020-02-18 2020-02-18 一种基于贝叶斯神经网络的点云识别与分割方法 Active CN111325757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010098524.4A CN111325757B (zh) 2020-02-18 2020-02-18 一种基于贝叶斯神经网络的点云识别与分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010098524.4A CN111325757B (zh) 2020-02-18 2020-02-18 一种基于贝叶斯神经网络的点云识别与分割方法

Publications (2)

Publication Number Publication Date
CN111325757A CN111325757A (zh) 2020-06-23
CN111325757B true CN111325757B (zh) 2022-12-23

Family

ID=71165237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010098524.4A Active CN111325757B (zh) 2020-02-18 2020-02-18 一种基于贝叶斯神经网络的点云识别与分割方法

Country Status (1)

Country Link
CN (1) CN111325757B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113397561B (zh) * 2021-06-28 2022-10-18 山东大学 一种基于s变换和贝叶斯卷积神经网络的脑电检测系统及其工作方法和装置
CN114444615B (zh) * 2022-02-14 2023-04-07 烟台大学 一种基于工业类PaaS平台的贝叶斯分类识别系统及其识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107064019A (zh) * 2017-05-18 2017-08-18 西安交通大学 用于无染色病理切片高光谱图像采集及分割的装置及方法
CN108648191A (zh) * 2018-05-17 2018-10-12 吉林大学 基于贝叶斯宽度残差神经网络的害虫图像识别方法
CN108710906A (zh) * 2018-05-11 2018-10-26 北方民族大学 基于轻量级网络LightPointNet的实时点云模型分类方法
CN108960326A (zh) * 2018-07-04 2018-12-07 深圳先进技术研究院 一种基于深度学习框架的点云快速分割方法及其系统
CN109086683A (zh) * 2018-07-11 2018-12-25 清华大学 一种基于点云语义增强的人手姿态回归方法和系统
CN109635640A (zh) * 2018-10-31 2019-04-16 百度在线网络技术（北京）有限公司 基于点云的交通灯识别方法、装置、设备及存储介质
CN110119736A (zh) * 2018-02-07 2019-08-13 浙江宇视科技有限公司 车牌位置识别方法、装置及电子设备
CN110135227A (zh) * 2018-02-09 2019-08-16 电子科技大学 一种基于机器学习的激光点云室外场景自动分割方法
CN110321910A (zh) * 2018-03-29 2019-10-11 中国科学院深圳先进技术研究院 面向点云的特征提取方法、装置及设备
CN110738242A (zh) * 2019-09-25 2020-01-31 清华大学 一种深度神经网络的贝叶斯结构学习方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129211B2 (en) * 2012-03-15 2015-09-08 GM Global Technology Operations LLC Bayesian network to track objects using scan points using multiple LiDAR sensors

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107064019A (zh) * 2017-05-18 2017-08-18 西安交通大学 用于无染色病理切片高光谱图像采集及分割的装置及方法
CN110119736A (zh) * 2018-02-07 2019-08-13 浙江宇视科技有限公司 车牌位置识别方法、装置及电子设备
CN110135227A (zh) * 2018-02-09 2019-08-16 电子科技大学 一种基于机器学习的激光点云室外场景自动分割方法
CN110321910A (zh) * 2018-03-29 2019-10-11 中国科学院深圳先进技术研究院 面向点云的特征提取方法、装置及设备
CN108710906A (zh) * 2018-05-11 2018-10-26 北方民族大学 基于轻量级网络LightPointNet的实时点云模型分类方法
CN108648191A (zh) * 2018-05-17 2018-10-12 吉林大学 基于贝叶斯宽度残差神经网络的害虫图像识别方法
CN108960326A (zh) * 2018-07-04 2018-12-07 深圳先进技术研究院 一种基于深度学习框架的点云快速分割方法及其系统
CN109086683A (zh) * 2018-07-11 2018-12-25 清华大学 一种基于点云语义增强的人手姿态回归方法和系统
CN109635640A (zh) * 2018-10-31 2019-04-16 百度在线网络技术（北京）有限公司 基于点云的交通灯识别方法、装置、设备及存储介质
CN110738242A (zh) * 2019-09-25 2020-01-31 清华大学 一种深度神经网络的贝叶斯结构学习方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Active Learning With Convolutional Neural Networks for Hyperspectral Image Classification Using a New Bayesian Approach;Juan Mario Haut 等;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20180620;第56卷(第11期);第6440-6461页 *
PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation;Charles R. Qi 等;《CVPR 2017》;20171209;第652-660页 *
PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space;Charles R. Qi 等;《NIPS 2017》;20171204;第1-10页 *
What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?;Alex Kendall 等;《NIPS 2017》;20171231;第1-11页 *
基于深度学习的点云语义分割综述;张佳颖 等;《激光与光电子进展》;20190723;第57卷(第4期);第040002-1-040002-19页 *
融合个体识别的 3D 点云语义分割方法研究;张科 等;《黑龙江工业学院学报》;20191220;第19卷(第12期);第50-54页 *

Also Published As

Publication number Publication date
CN111325757A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN112308158B (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN110211574B (zh) 基于瓶颈特征和多尺度多头注意力机制的语音识别模型建立方法
CN113239186B (zh) 一种基于多依存关系表示机制的图卷积网络关系抽取方法
CN108647742B (zh) 基于轻量级神经网络的快速目标检测方法
CN107944559B (zh) 一种实体关系自动识别方法及系统
CN107526785B (zh) 文本分类方法及装置
CN112633350B (zh) 一种基于图卷积的多尺度点云分类实现方法
CN110674850A (zh) 一种基于注意力机制的图像描述生成方法
CN112434732A (zh) 一种基于特征筛选的深度学习分类方法
CN106997474A (zh) 一种基于深度学习的图节点多标签分类方法
CN108647206B (zh) 基于混沌粒子群优化cnn网络的中文垃圾邮件识别方法
CN109655815B (zh) 基于ssd的声呐目标检测方法
CN112766229B (zh) 基于注意力机制的人脸点云图像智能识别系统及方法
CN111325757B (zh) 一种基于贝叶斯神经网络的点云识别与分割方法
CN110717330A (zh) 基于深度学习的词句级短文本分类方法
CN113034592B (zh) 基于自然语言描述的三维场景目标检测建模及检测方法
CN111353534B (zh) 一种基于自适应分数阶梯度的图数据类别预测方法
CN111984817A (zh) 一种基于自注意力机制加权的细粒度图像检索方法
CN113536925A (zh) 一种基于引导注意力机制的人群计数方法
CN112766360A (zh) 一种基于时序二维化和宽度学习的时间序列分类方法和系统
CN115393631A (zh) 基于贝叶斯层图卷积神经网络的高光谱图像分类方法
CN115687609A (zh) 一种基于Prompt多模板融合的零样本关系抽取方法
CN114036298B (zh) 一种基于图卷积神经网络与词向量的节点分类方法
CN115204171A (zh) 基于超图神经网络的文档级事件抽取方法及系统
CN118114734A (zh) 基于稀疏正则化理论的卷积神经网络优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant