CN111325757B - 一种基于贝叶斯神经网络的点云识别与分割方法 - Google Patents

一种基于贝叶斯神经网络的点云识别与分割方法 Download PDF

Info

Publication number
CN111325757B
CN111325757B CN202010098524.4A CN202010098524A CN111325757B CN 111325757 B CN111325757 B CN 111325757B CN 202010098524 A CN202010098524 A CN 202010098524A CN 111325757 B CN111325757 B CN 111325757B
Authority
CN
China
Prior art keywords
layer
bayesian
segmentation
feature
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010098524.4A
Other languages
English (en)
Other versions
CN111325757A (zh
Inventor
王靖宇
王霰禹
张科
黄鹏飞
张琦珂
张国俊
罗华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010098524.4A priority Critical patent/CN111325757B/zh
Publication of CN111325757A publication Critical patent/CN111325757A/zh
Application granted granted Critical
Publication of CN111325757B publication Critical patent/CN111325757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于贝叶斯神经网络的点云识别与分割方法,构建贝叶斯神经网络,分为特征提取、识别和分割三部分。其中特征提取部分包含三层贝叶斯卷积层,每个卷积层后连接一个激活层。识别部分的网络结构为三层全连接层,最终输出层节点数量与类别数量相同。分割部分的网络结构为三层贝叶斯卷积层,每个卷积层后连接一个激活层,最终输出层节点个数与点云中包含点的个数相等,每个节点输出一个长度与类别数量相等的向量。点云数据首先经过特征提取部分得到特征值,然后分别将特征值输入识别部分和分割部分得到识别和分割结果。

Description

一种基于贝叶斯神经网络的点云识别与分割方法
技术领域
本发明涉及深度神经网络和贝叶斯概率在计算机视觉方面的应用,具体涉及一种基于贝叶斯神经网络的点云识别与分割方法。
背景技术
深度神经网络是近年来人工智能领域中非常热门的研究方向,在图像处理、目标识别、语音识别方向取得了突破性的进展。随着激光雷达、结构光等三维传感器的发展,深度神经网络也逐渐被应用到点云数据的识别与分割中。利用共享权值的多层感知机提取点坐标及相关附加信息的深度特征,并利用池化和特征拼接的方法提取点与点间的局部关联特征,最终利用全连接层实现对点云的识别与分割。
代璐,王俊亮等(《基于卷积神经网络的非等效点云分割方法》,东华大学学报(自然科学版),2019,45(6):862—868)针对点云分割中的非等效性,提出基于CNN的点云分割神经网络,在设计网络随机抽样层与最大池化层解决点云数据量与顺序多变的基础上,引入经惩罚函数作用后的距离矩阵对各点分类误差进行加权,优化模型训练方法,但该方法由于人为设计的惩罚函数的设计存在不精确性,不能保证模型训练效果最优。
发明内容
要解决的技术问题
现有神经网络处理点云数据时,大多数采用共享权值的多层感知机对点云数据进行特征提取,这种结构较为单一,无法有效提取点的邻域内特征。本发明针对这一问题,提出了一种基于贝叶斯概率的点云卷积方法,并设计了一种基于此方法的深度神经网络结构,有效提取点云中的邻域特征,提高了对点云数据识别与分割的准确性。
技术方案
一种基于贝叶斯神经网络的点云识别与分割方法,其特征在于:所述的贝叶斯神经网络包括特征提取、识别和分割三部分;其中特征提取部分包含三层贝叶斯卷积层,每个卷积层后连接一个激活层;识别部分的网络结构为三层全连接层,最终输出层节点数量与类别数量相同;分割部分的网络结构为三层贝叶斯卷积层,每个卷积层后连接一个激活层,最终输出层节点个数与点云中包含点的个数相等,每个节点输出一个长度与类别数量相等的向量;步骤如下:
步骤1:首先利用最远点采样方法对点云进行关键点提取,然后经过第一层贝叶斯卷积层和第一层激活层得到第一级特征F1,重复上述步骤分别得到特征提取部分的二级特征F2和三级特征F3
步骤2:对于识别任务,直接将F3矩阵拉直为一维向量输入识别部分的全连接层,经过三层全连接层计算并将最终结果进行归一化指数函数计算得到识别结果;
步骤3:对于分割任务,将F3输入分割部分,通过第一层贝叶斯卷积层和激活层得到第一级分割特征F′1,并将该特征矩阵与F2拼接得到特征矩阵[F′1,F2];将合并的特征矩阵通过第二层贝叶斯卷积层和激活层得到第二级分割特征F2′,并将该特征矩阵与F1拼接得到特征矩阵[F′2,F1];最终将特征矩阵[F′2,F1]通过第三层贝叶斯卷积层计算,得到每个点的所属类别,从而实现分割。
有益效果
本发明提出的一种基于贝叶斯神经网络的点云识别与分割方法,有益效果如下:
(1)本发明提出的贝叶斯点云卷积核可以有效提取点云的局部邻域特征信息。
(2)利用贝叶斯点云卷积核设计的深度神经网络针对局部特征信息进行优化,显著增加了对点云数据的识别和分割的准确性。
附图说明
图1是贝叶斯神经网络结构图
图2是测试结果图
具体实施方式
现结合实施例、附图对本发明作进一步描述:
本发明提出的贝叶斯点云卷积核分为n层,对于其中第i层Li,包含三个随机权重wi,1、wi,2、wi,3和一个随机偏置量bi,这四个参数均符合正态分布,即:
Figure BDA0002386066460000031
其中,μi,j为随机变量的数学期望,σi,j为随机变量的标准差。
在利用贝叶斯卷积核计算点云中目标点特征值时,将目标点P0的邻域根据点间距离由小到大分为n层,使得每层中包含固定数量的K个点。对于其中第i层Li,其包含的点表示为Pi,k(k=1,2,…,K),点Pi,k的三维坐标表示为(xi,k,yi,k,zi,k),则Li的特征值fi为:
Figure BDA0002386066460000032
对全部n层均进行上述计算,得到{f1,f2,…,fn},将特征值组合得到目标点P0的特征向量F:
F=(f1,f2,…,fn)
本发明利用上述提出贝叶斯点云卷积核作为神经网络节点,提出了贝叶斯点云识别与分割神经网络。
本发明提出的深度神经网络分为特征提取、识别和分割三部分。其中特征提取部分包含三层贝叶斯卷积层,每个卷积层后连接一个激活层。识别部分的网络结构为三层全连接层,最终输出层节点数量与类别数量相同。分割部分的网络结构为三层贝叶斯卷积层,每个卷积层后连接一个激活层,最终输出层节点个数与点云中包含点的个数相等,每个节点输出一个长度与类别数量相等的向量。
计算时,首先利用最远点采样方法对点云进行关键点提取,然后经过第一层贝叶斯卷积层和第一层激活层得到第一级特征F1,重复上述步骤分别得到特征提取部分的二级特征F2和三级特征F3
对于识别任务,直接将F3矩阵拉直为一维向量输入识别部分的全连接层,经过三层全连接层计算并将最终结果进行归一化指数函数(softmax)计算得到识别结果。
对于分割任务。将F3输入分割部分,通过第一层贝叶斯卷积层和激活层得到第一级分割特征F′1,并将该特征矩阵与F2拼接得到特征矩阵[F′1,F2]。将合并的特征矩阵通过第二层贝叶斯卷积层和激活层得到第二级分割特征F2′,并将该特征矩阵与F1拼接得到特征矩阵[F′2,F1]。最终将特征矩阵[F′2,F1]通过第三层贝叶斯卷积层计算,得到每个点的所属类别,从而实现分割。
神经网络结构如图1所示,以对S3DIS数据库进行点云分割为实例说明本发明的具体实施方式,但本发明的技术内容不限于所述的范围,具体实施方式包括以下步骤:
步骤1:构建贝叶斯神经网络,设置网络中各层参数。根据S3DIS数据特征,所构建的神经网络中贝叶斯点云卷积核层数n为4,每层包含点数K为8,特征提取部分的三个卷积层分别包含128、256、512个贝叶斯点云卷积核,由于只对点云进行分割,此处不构建分类部分,仅构建分割部分网络,三个卷积层分别包含128、512、8192个贝叶斯点云卷积核,最终输出节点个数与输入节点个数相同。
步骤2:前向传播。对于一个输入的点云样本,首先利用随机采样方法选择8192个有效点,再在其中通过最远点采样方法提取输入点云中的2048个关键点,利用第一卷积层对关键点进行第一层特征F1提取,重复提取关键点和特征提取步骤,分别提取第二层和第三层特征F2和F3。
接着将第三级特征F3输入分割部分网络,经过第一层卷积计算得到第一级分割特征F′1,并将该特征矩阵与F2拼接得到特征矩阵[F′1,F2]。将合并的特征矩阵通过第二层贝叶斯卷积层和激活层得到第二级分割特征F′2,并将该特征矩阵与F1拼接得到特征矩阵[F′2,F1]。最终将特征矩阵[F′2,F1]通过第三层贝叶斯卷积层计算,得到每个点的所属类别。
步骤3:反向传播。将训练集设为D={(x1,y1),(x1,y1),…,(xm,ym)},其中xm为样本数据,ym为样本所对应的标签。则用训练集D训练贝叶斯网络,用贝叶斯公式可以写成:
Figure BDA0002386066460000051
其中,权重w的先验概率p(w)初始化为标准正态分布,p(y|x,w)为关于w的函数,最后,由马尔科夫链蒙特卡洛方法近似分母积分,以求得权重w对于训练集D的后验概率分布。
步骤4:对数据库中所有的点云样本重复进行步骤2和步骤3,直至模型误差收敛。
步骤5:利用上述步骤训练的点云分割网络模型对测试样本进行分割,并计算准确率,达到89.2%。测试结果如图2所示。

Claims (1)

1.一种基于贝叶斯神经网络的点云识别与分割方法,其特征在于:所述的贝叶斯神经网络包括特征提取、识别和分割三部分;其中特征提取部分包含三层贝叶斯卷积层,每个卷积层后连接一个激活层;识别部分的网络结构为三层全连接层,最终输出层节点数量与类别数量相同;分割部分的网络结构为三层贝叶斯卷积层,每个卷积层后连接一个激活层,最终输出层节点个数与点云中包含点的个数相等,每个节点输出一个长度与类别数量相等的向量;步骤如下:
步骤1:首先利用最远点采样方法对点云进行关键点提取,然后经过第一层贝叶斯卷积层和第一层激活层得到第一级特征F1,重复上述步骤分别得到特征提取部分的二级特征F2和三级特征F3
步骤2:对于识别任务,直接将F3矩阵拉直为一维向量输入识别部分的全连接层,经过三层全连接层计算并将最终结果进行归一化指数函数计算得到识别结果;
步骤3:对于分割任务,将F3输入分割部分,通过第一层贝叶斯卷积层和激活层得到第一级分割特征F1′,并将该特征矩阵与F2拼接得到特征矩阵[F1′,F2];将合并的特征矩阵通过第二层贝叶斯卷积层和激活层得到第二级分割特征F′2,并将该特征矩阵与F1拼接得到特征矩阵[F′2,F1];最终将特征矩阵[F′2,F1]通过第三层贝叶斯卷积层计算,得到每个点的所属类别,从而实现分割。
CN202010098524.4A 2020-02-18 2020-02-18 一种基于贝叶斯神经网络的点云识别与分割方法 Active CN111325757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010098524.4A CN111325757B (zh) 2020-02-18 2020-02-18 一种基于贝叶斯神经网络的点云识别与分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010098524.4A CN111325757B (zh) 2020-02-18 2020-02-18 一种基于贝叶斯神经网络的点云识别与分割方法

Publications (2)

Publication Number Publication Date
CN111325757A CN111325757A (zh) 2020-06-23
CN111325757B true CN111325757B (zh) 2022-12-23

Family

ID=71165237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010098524.4A Active CN111325757B (zh) 2020-02-18 2020-02-18 一种基于贝叶斯神经网络的点云识别与分割方法

Country Status (1)

Country Link
CN (1) CN111325757B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113397561B (zh) * 2021-06-28 2022-10-18 山东大学 一种基于s变换和贝叶斯卷积神经网络的脑电检测系统及其工作方法和装置
CN114444615B (zh) * 2022-02-14 2023-04-07 烟台大学 一种基于工业类PaaS平台的贝叶斯分类识别系统及其识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107064019A (zh) * 2017-05-18 2017-08-18 西安交通大学 用于无染色病理切片高光谱图像采集及分割的装置及方法
CN108648191A (zh) * 2018-05-17 2018-10-12 吉林大学 基于贝叶斯宽度残差神经网络的害虫图像识别方法
CN108710906A (zh) * 2018-05-11 2018-10-26 北方民族大学 基于轻量级网络LightPointNet的实时点云模型分类方法
CN108960326A (zh) * 2018-07-04 2018-12-07 深圳先进技术研究院 一种基于深度学习框架的点云快速分割方法及其系统
CN109086683A (zh) * 2018-07-11 2018-12-25 清华大学 一种基于点云语义增强的人手姿态回归方法和系统
CN109635640A (zh) * 2018-10-31 2019-04-16 百度在线网络技术(北京)有限公司 基于点云的交通灯识别方法、装置、设备及存储介质
CN110119736A (zh) * 2018-02-07 2019-08-13 浙江宇视科技有限公司 车牌位置识别方法、装置及电子设备
CN110135227A (zh) * 2018-02-09 2019-08-16 电子科技大学 一种基于机器学习的激光点云室外场景自动分割方法
CN110321910A (zh) * 2018-03-29 2019-10-11 中国科学院深圳先进技术研究院 面向点云的特征提取方法、装置及设备
CN110738242A (zh) * 2019-09-25 2020-01-31 清华大学 一种深度神经网络的贝叶斯结构学习方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129211B2 (en) * 2012-03-15 2015-09-08 GM Global Technology Operations LLC Bayesian network to track objects using scan points using multiple LiDAR sensors

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107064019A (zh) * 2017-05-18 2017-08-18 西安交通大学 用于无染色病理切片高光谱图像采集及分割的装置及方法
CN110119736A (zh) * 2018-02-07 2019-08-13 浙江宇视科技有限公司 车牌位置识别方法、装置及电子设备
CN110135227A (zh) * 2018-02-09 2019-08-16 电子科技大学 一种基于机器学习的激光点云室外场景自动分割方法
CN110321910A (zh) * 2018-03-29 2019-10-11 中国科学院深圳先进技术研究院 面向点云的特征提取方法、装置及设备
CN108710906A (zh) * 2018-05-11 2018-10-26 北方民族大学 基于轻量级网络LightPointNet的实时点云模型分类方法
CN108648191A (zh) * 2018-05-17 2018-10-12 吉林大学 基于贝叶斯宽度残差神经网络的害虫图像识别方法
CN108960326A (zh) * 2018-07-04 2018-12-07 深圳先进技术研究院 一种基于深度学习框架的点云快速分割方法及其系统
CN109086683A (zh) * 2018-07-11 2018-12-25 清华大学 一种基于点云语义增强的人手姿态回归方法和系统
CN109635640A (zh) * 2018-10-31 2019-04-16 百度在线网络技术(北京)有限公司 基于点云的交通灯识别方法、装置、设备及存储介质
CN110738242A (zh) * 2019-09-25 2020-01-31 清华大学 一种深度神经网络的贝叶斯结构学习方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Active Learning With Convolutional Neural Networks for Hyperspectral Image Classification Using a New Bayesian Approach;Juan Mario Haut 等;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20180620;第56卷(第11期);第6440-6461页 *
PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation;Charles R. Qi 等;《CVPR 2017》;20171209;第652-660页 *
PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space;Charles R. Qi 等;《NIPS 2017》;20171204;第1-10页 *
What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?;Alex Kendall 等;《NIPS 2017》;20171231;第1-11页 *
基于深度学习的点云语义分割综述;张佳颖 等;《激光与光电子进展》;20190723;第57卷(第4期);第040002-1-040002-19页 *
融合个体识别的 3D 点云语义分割方法研究;张科 等;《黑龙江工业学院学报》;20191220;第19卷(第12期);第50-54页 *

Also Published As

Publication number Publication date
CN111325757A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN109902293B (zh) 一种基于局部与全局互注意力机制的文本分类方法
US10762426B2 (en) Multi-iteration compression for deep neural networks
CN113239700A (zh) 改进bert的文本语义匹配设备、系统、方法及存储介质
US11107250B2 (en) Computer architecture for artificial image generation using auto-encoder
CN109993236A (zh) 基于one-shot Siamese卷积神经网络的少样本满文匹配方法
CN114330354A (zh) 一种基于词汇增强的事件抽取方法、装置及存储介质
CN111542841A (zh) 一种内容识别的系统和方法
Sun et al. Recognition of SAR target based on multilayer auto-encoder and SNN
CN110188794A (zh) 一种深度学习模型的训练方法、装置、设备及存储介质
CN111325757B (zh) 一种基于贝叶斯神经网络的点云识别与分割方法
CN109308316B (zh) 一种基于主题聚类的自适应对话生成系统
CN109190521A (zh) 一种基于知识提纯的人脸识别模型的构建方法及应用
US11195053B2 (en) Computer architecture for artificial image generation
CN113723238A (zh) 一种人脸轻量网络模型构建方法和人脸识别方法
US11003909B2 (en) Neural network trained by homographic augmentation
CN111723572A (zh) 基于CNN卷积层和BiLSTM的中文短文本相关性度量方法
CN118917375A (zh) 用于实现移动端目标感知的多模态网络剪枝方法及系统
CN113326874A (zh) 一种基于t-SNE算法的数据降维方法及装置
CN114741487B (zh) 基于图文语义嵌入的图文检索方法及系统
JPH0934863A (ja) ニューラルネットワークによる情報統合処理方法
CN108280485B (zh) 一种基于谱图小波描述子的非刚性三维模型检索方法
CN118170836B (zh) 基于结构先验知识的档案知识抽取方法及装置
CN110046590A (zh) 一种基于粒子群优化深度学习特征选择的一维像识别方法
CN117610579B (zh) 基于长短时记忆网络的语义分析方法及系统
CN116049408A (zh) 基于FastText与LSTM的短文本分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant