CN111325757B - 一种基于贝叶斯神经网络的点云识别与分割方法 - Google Patents
一种基于贝叶斯神经网络的点云识别与分割方法 Download PDFInfo
- Publication number
- CN111325757B CN111325757B CN202010098524.4A CN202010098524A CN111325757B CN 111325757 B CN111325757 B CN 111325757B CN 202010098524 A CN202010098524 A CN 202010098524A CN 111325757 B CN111325757 B CN 111325757B
- Authority
- CN
- China
- Prior art keywords
- layer
- bayesian
- segmentation
- feature
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000013531 bayesian neural network Methods 0.000 title claims abstract description 11
- 230000004913 activation Effects 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 description 12
- 239000000284 extract Substances 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于贝叶斯神经网络的点云识别与分割方法,构建贝叶斯神经网络,分为特征提取、识别和分割三部分。其中特征提取部分包含三层贝叶斯卷积层,每个卷积层后连接一个激活层。识别部分的网络结构为三层全连接层,最终输出层节点数量与类别数量相同。分割部分的网络结构为三层贝叶斯卷积层,每个卷积层后连接一个激活层,最终输出层节点个数与点云中包含点的个数相等,每个节点输出一个长度与类别数量相等的向量。点云数据首先经过特征提取部分得到特征值,然后分别将特征值输入识别部分和分割部分得到识别和分割结果。
Description
技术领域
本发明涉及深度神经网络和贝叶斯概率在计算机视觉方面的应用,具体涉及一种基于贝叶斯神经网络的点云识别与分割方法。
背景技术
深度神经网络是近年来人工智能领域中非常热门的研究方向,在图像处理、目标识别、语音识别方向取得了突破性的进展。随着激光雷达、结构光等三维传感器的发展,深度神经网络也逐渐被应用到点云数据的识别与分割中。利用共享权值的多层感知机提取点坐标及相关附加信息的深度特征,并利用池化和特征拼接的方法提取点与点间的局部关联特征,最终利用全连接层实现对点云的识别与分割。
代璐,王俊亮等(《基于卷积神经网络的非等效点云分割方法》,东华大学学报(自然科学版),2019,45(6):862—868)针对点云分割中的非等效性,提出基于CNN的点云分割神经网络,在设计网络随机抽样层与最大池化层解决点云数据量与顺序多变的基础上,引入经惩罚函数作用后的距离矩阵对各点分类误差进行加权,优化模型训练方法,但该方法由于人为设计的惩罚函数的设计存在不精确性,不能保证模型训练效果最优。
发明内容
要解决的技术问题
现有神经网络处理点云数据时,大多数采用共享权值的多层感知机对点云数据进行特征提取,这种结构较为单一,无法有效提取点的邻域内特征。本发明针对这一问题,提出了一种基于贝叶斯概率的点云卷积方法,并设计了一种基于此方法的深度神经网络结构,有效提取点云中的邻域特征,提高了对点云数据识别与分割的准确性。
技术方案
一种基于贝叶斯神经网络的点云识别与分割方法,其特征在于:所述的贝叶斯神经网络包括特征提取、识别和分割三部分;其中特征提取部分包含三层贝叶斯卷积层,每个卷积层后连接一个激活层;识别部分的网络结构为三层全连接层,最终输出层节点数量与类别数量相同;分割部分的网络结构为三层贝叶斯卷积层,每个卷积层后连接一个激活层,最终输出层节点个数与点云中包含点的个数相等,每个节点输出一个长度与类别数量相等的向量;步骤如下:
步骤1:首先利用最远点采样方法对点云进行关键点提取,然后经过第一层贝叶斯卷积层和第一层激活层得到第一级特征F1,重复上述步骤分别得到特征提取部分的二级特征F2和三级特征F3;
步骤2:对于识别任务,直接将F3矩阵拉直为一维向量输入识别部分的全连接层,经过三层全连接层计算并将最终结果进行归一化指数函数计算得到识别结果;
步骤3:对于分割任务,将F3输入分割部分,通过第一层贝叶斯卷积层和激活层得到第一级分割特征F′1,并将该特征矩阵与F2拼接得到特征矩阵[F′1,F2];将合并的特征矩阵通过第二层贝叶斯卷积层和激活层得到第二级分割特征F2′,并将该特征矩阵与F1拼接得到特征矩阵[F′2,F1];最终将特征矩阵[F′2,F1]通过第三层贝叶斯卷积层计算,得到每个点的所属类别,从而实现分割。
有益效果
本发明提出的一种基于贝叶斯神经网络的点云识别与分割方法,有益效果如下:
(1)本发明提出的贝叶斯点云卷积核可以有效提取点云的局部邻域特征信息。
(2)利用贝叶斯点云卷积核设计的深度神经网络针对局部特征信息进行优化,显著增加了对点云数据的识别和分割的准确性。
附图说明
图1是贝叶斯神经网络结构图
图2是测试结果图
具体实施方式
现结合实施例、附图对本发明作进一步描述:
本发明提出的贝叶斯点云卷积核分为n层,对于其中第i层Li,包含三个随机权重wi,1、wi,2、wi,3和一个随机偏置量bi,这四个参数均符合正态分布,即:
其中,μi,j为随机变量的数学期望,σi,j为随机变量的标准差。
在利用贝叶斯卷积核计算点云中目标点特征值时,将目标点P0的邻域根据点间距离由小到大分为n层,使得每层中包含固定数量的K个点。对于其中第i层Li,其包含的点表示为Pi,k(k=1,2,…,K),点Pi,k的三维坐标表示为(xi,k,yi,k,zi,k),则Li的特征值fi为:
对全部n层均进行上述计算,得到{f1,f2,…,fn},将特征值组合得到目标点P0的特征向量F:
F=(f1,f2,…,fn)
本发明利用上述提出贝叶斯点云卷积核作为神经网络节点,提出了贝叶斯点云识别与分割神经网络。
本发明提出的深度神经网络分为特征提取、识别和分割三部分。其中特征提取部分包含三层贝叶斯卷积层,每个卷积层后连接一个激活层。识别部分的网络结构为三层全连接层,最终输出层节点数量与类别数量相同。分割部分的网络结构为三层贝叶斯卷积层,每个卷积层后连接一个激活层,最终输出层节点个数与点云中包含点的个数相等,每个节点输出一个长度与类别数量相等的向量。
计算时,首先利用最远点采样方法对点云进行关键点提取,然后经过第一层贝叶斯卷积层和第一层激活层得到第一级特征F1,重复上述步骤分别得到特征提取部分的二级特征F2和三级特征F3。
对于识别任务,直接将F3矩阵拉直为一维向量输入识别部分的全连接层,经过三层全连接层计算并将最终结果进行归一化指数函数(softmax)计算得到识别结果。
对于分割任务。将F3输入分割部分,通过第一层贝叶斯卷积层和激活层得到第一级分割特征F′1,并将该特征矩阵与F2拼接得到特征矩阵[F′1,F2]。将合并的特征矩阵通过第二层贝叶斯卷积层和激活层得到第二级分割特征F2′,并将该特征矩阵与F1拼接得到特征矩阵[F′2,F1]。最终将特征矩阵[F′2,F1]通过第三层贝叶斯卷积层计算,得到每个点的所属类别,从而实现分割。
神经网络结构如图1所示,以对S3DIS数据库进行点云分割为实例说明本发明的具体实施方式,但本发明的技术内容不限于所述的范围,具体实施方式包括以下步骤:
步骤1:构建贝叶斯神经网络,设置网络中各层参数。根据S3DIS数据特征,所构建的神经网络中贝叶斯点云卷积核层数n为4,每层包含点数K为8,特征提取部分的三个卷积层分别包含128、256、512个贝叶斯点云卷积核,由于只对点云进行分割,此处不构建分类部分,仅构建分割部分网络,三个卷积层分别包含128、512、8192个贝叶斯点云卷积核,最终输出节点个数与输入节点个数相同。
步骤2:前向传播。对于一个输入的点云样本,首先利用随机采样方法选择8192个有效点,再在其中通过最远点采样方法提取输入点云中的2048个关键点,利用第一卷积层对关键点进行第一层特征F1提取,重复提取关键点和特征提取步骤,分别提取第二层和第三层特征F2和F3。
接着将第三级特征F3输入分割部分网络,经过第一层卷积计算得到第一级分割特征F′1,并将该特征矩阵与F2拼接得到特征矩阵[F′1,F2]。将合并的特征矩阵通过第二层贝叶斯卷积层和激活层得到第二级分割特征F′2,并将该特征矩阵与F1拼接得到特征矩阵[F′2,F1]。最终将特征矩阵[F′2,F1]通过第三层贝叶斯卷积层计算,得到每个点的所属类别。
步骤3:反向传播。将训练集设为D={(x1,y1),(x1,y1),…,(xm,ym)},其中xm为样本数据,ym为样本所对应的标签。则用训练集D训练贝叶斯网络,用贝叶斯公式可以写成:
其中,权重w的先验概率p(w)初始化为标准正态分布,p(y|x,w)为关于w的函数,最后,由马尔科夫链蒙特卡洛方法近似分母积分,以求得权重w对于训练集D的后验概率分布。
步骤4:对数据库中所有的点云样本重复进行步骤2和步骤3,直至模型误差收敛。
步骤5:利用上述步骤训练的点云分割网络模型对测试样本进行分割,并计算准确率,达到89.2%。测试结果如图2所示。
Claims (1)
1.一种基于贝叶斯神经网络的点云识别与分割方法,其特征在于:所述的贝叶斯神经网络包括特征提取、识别和分割三部分;其中特征提取部分包含三层贝叶斯卷积层,每个卷积层后连接一个激活层;识别部分的网络结构为三层全连接层,最终输出层节点数量与类别数量相同;分割部分的网络结构为三层贝叶斯卷积层,每个卷积层后连接一个激活层,最终输出层节点个数与点云中包含点的个数相等,每个节点输出一个长度与类别数量相等的向量;步骤如下:
步骤1:首先利用最远点采样方法对点云进行关键点提取,然后经过第一层贝叶斯卷积层和第一层激活层得到第一级特征F1,重复上述步骤分别得到特征提取部分的二级特征F2和三级特征F3;
步骤2:对于识别任务,直接将F3矩阵拉直为一维向量输入识别部分的全连接层,经过三层全连接层计算并将最终结果进行归一化指数函数计算得到识别结果;
步骤3:对于分割任务,将F3输入分割部分,通过第一层贝叶斯卷积层和激活层得到第一级分割特征F1′,并将该特征矩阵与F2拼接得到特征矩阵[F1′,F2];将合并的特征矩阵通过第二层贝叶斯卷积层和激活层得到第二级分割特征F′2,并将该特征矩阵与F1拼接得到特征矩阵[F′2,F1];最终将特征矩阵[F′2,F1]通过第三层贝叶斯卷积层计算,得到每个点的所属类别,从而实现分割。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010098524.4A CN111325757B (zh) | 2020-02-18 | 2020-02-18 | 一种基于贝叶斯神经网络的点云识别与分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010098524.4A CN111325757B (zh) | 2020-02-18 | 2020-02-18 | 一种基于贝叶斯神经网络的点云识别与分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111325757A CN111325757A (zh) | 2020-06-23 |
CN111325757B true CN111325757B (zh) | 2022-12-23 |
Family
ID=71165237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010098524.4A Active CN111325757B (zh) | 2020-02-18 | 2020-02-18 | 一种基于贝叶斯神经网络的点云识别与分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111325757B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113397561B (zh) * | 2021-06-28 | 2022-10-18 | 山东大学 | 一种基于s变换和贝叶斯卷积神经网络的脑电检测系统及其工作方法和装置 |
CN114444615B (zh) * | 2022-02-14 | 2023-04-07 | 烟台大学 | 一种基于工业类PaaS平台的贝叶斯分类识别系统及其识别方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107064019A (zh) * | 2017-05-18 | 2017-08-18 | 西安交通大学 | 用于无染色病理切片高光谱图像采集及分割的装置及方法 |
CN108648191A (zh) * | 2018-05-17 | 2018-10-12 | 吉林大学 | 基于贝叶斯宽度残差神经网络的害虫图像识别方法 |
CN108710906A (zh) * | 2018-05-11 | 2018-10-26 | 北方民族大学 | 基于轻量级网络LightPointNet的实时点云模型分类方法 |
CN108960326A (zh) * | 2018-07-04 | 2018-12-07 | 深圳先进技术研究院 | 一种基于深度学习框架的点云快速分割方法及其系统 |
CN109086683A (zh) * | 2018-07-11 | 2018-12-25 | 清华大学 | 一种基于点云语义增强的人手姿态回归方法和系统 |
CN109635640A (zh) * | 2018-10-31 | 2019-04-16 | 百度在线网络技术(北京)有限公司 | 基于点云的交通灯识别方法、装置、设备及存储介质 |
CN110119736A (zh) * | 2018-02-07 | 2019-08-13 | 浙江宇视科技有限公司 | 车牌位置识别方法、装置及电子设备 |
CN110135227A (zh) * | 2018-02-09 | 2019-08-16 | 电子科技大学 | 一种基于机器学习的激光点云室外场景自动分割方法 |
CN110321910A (zh) * | 2018-03-29 | 2019-10-11 | 中国科学院深圳先进技术研究院 | 面向点云的特征提取方法、装置及设备 |
CN110738242A (zh) * | 2019-09-25 | 2020-01-31 | 清华大学 | 一种深度神经网络的贝叶斯结构学习方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9129211B2 (en) * | 2012-03-15 | 2015-09-08 | GM Global Technology Operations LLC | Bayesian network to track objects using scan points using multiple LiDAR sensors |
-
2020
- 2020-02-18 CN CN202010098524.4A patent/CN111325757B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107064019A (zh) * | 2017-05-18 | 2017-08-18 | 西安交通大学 | 用于无染色病理切片高光谱图像采集及分割的装置及方法 |
CN110119736A (zh) * | 2018-02-07 | 2019-08-13 | 浙江宇视科技有限公司 | 车牌位置识别方法、装置及电子设备 |
CN110135227A (zh) * | 2018-02-09 | 2019-08-16 | 电子科技大学 | 一种基于机器学习的激光点云室外场景自动分割方法 |
CN110321910A (zh) * | 2018-03-29 | 2019-10-11 | 中国科学院深圳先进技术研究院 | 面向点云的特征提取方法、装置及设备 |
CN108710906A (zh) * | 2018-05-11 | 2018-10-26 | 北方民族大学 | 基于轻量级网络LightPointNet的实时点云模型分类方法 |
CN108648191A (zh) * | 2018-05-17 | 2018-10-12 | 吉林大学 | 基于贝叶斯宽度残差神经网络的害虫图像识别方法 |
CN108960326A (zh) * | 2018-07-04 | 2018-12-07 | 深圳先进技术研究院 | 一种基于深度学习框架的点云快速分割方法及其系统 |
CN109086683A (zh) * | 2018-07-11 | 2018-12-25 | 清华大学 | 一种基于点云语义增强的人手姿态回归方法和系统 |
CN109635640A (zh) * | 2018-10-31 | 2019-04-16 | 百度在线网络技术(北京)有限公司 | 基于点云的交通灯识别方法、装置、设备及存储介质 |
CN110738242A (zh) * | 2019-09-25 | 2020-01-31 | 清华大学 | 一种深度神经网络的贝叶斯结构学习方法及装置 |
Non-Patent Citations (6)
Title |
---|
Active Learning With Convolutional Neural Networks for Hyperspectral Image Classification Using a New Bayesian Approach;Juan Mario Haut 等;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20180620;第56卷(第11期);第6440-6461页 * |
PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation;Charles R. Qi 等;《CVPR 2017》;20171209;第652-660页 * |
PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space;Charles R. Qi 等;《NIPS 2017》;20171204;第1-10页 * |
What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?;Alex Kendall 等;《NIPS 2017》;20171231;第1-11页 * |
基于深度学习的点云语义分割综述;张佳颖 等;《激光与光电子进展》;20190723;第57卷(第4期);第040002-1-040002-19页 * |
融合个体识别的 3D 点云语义分割方法研究;张科 等;《黑龙江工业学院学报》;20191220;第19卷(第12期);第50-54页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111325757A (zh) | 2020-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109902293B (zh) | 一种基于局部与全局互注意力机制的文本分类方法 | |
US10762426B2 (en) | Multi-iteration compression for deep neural networks | |
CN113239700A (zh) | 改进bert的文本语义匹配设备、系统、方法及存储介质 | |
US11107250B2 (en) | Computer architecture for artificial image generation using auto-encoder | |
CN109993236A (zh) | 基于one-shot Siamese卷积神经网络的少样本满文匹配方法 | |
CN114330354A (zh) | 一种基于词汇增强的事件抽取方法、装置及存储介质 | |
CN111542841A (zh) | 一种内容识别的系统和方法 | |
Sun et al. | Recognition of SAR target based on multilayer auto-encoder and SNN | |
CN110188794A (zh) | 一种深度学习模型的训练方法、装置、设备及存储介质 | |
CN111325757B (zh) | 一种基于贝叶斯神经网络的点云识别与分割方法 | |
CN109308316B (zh) | 一种基于主题聚类的自适应对话生成系统 | |
CN109190521A (zh) | 一种基于知识提纯的人脸识别模型的构建方法及应用 | |
US11195053B2 (en) | Computer architecture for artificial image generation | |
CN113723238A (zh) | 一种人脸轻量网络模型构建方法和人脸识别方法 | |
US11003909B2 (en) | Neural network trained by homographic augmentation | |
CN111723572A (zh) | 基于CNN卷积层和BiLSTM的中文短文本相关性度量方法 | |
CN118917375A (zh) | 用于实现移动端目标感知的多模态网络剪枝方法及系统 | |
CN113326874A (zh) | 一种基于t-SNE算法的数据降维方法及装置 | |
CN114741487B (zh) | 基于图文语义嵌入的图文检索方法及系统 | |
JPH0934863A (ja) | ニューラルネットワークによる情報統合処理方法 | |
CN108280485B (zh) | 一种基于谱图小波描述子的非刚性三维模型检索方法 | |
CN118170836B (zh) | 基于结构先验知识的档案知识抽取方法及装置 | |
CN110046590A (zh) | 一种基于粒子群优化深度学习特征选择的一维像识别方法 | |
CN117610579B (zh) | 基于长短时记忆网络的语义分析方法及系统 | |
CN116049408A (zh) | 基于FastText与LSTM的短文本分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |