CN113627440A - 一种基于轻量级神经网络的大规模点云语义分割方法 - Google Patents

一种基于轻量级神经网络的大规模点云语义分割方法 Download PDF

Info

Publication number
CN113627440A
CN113627440A CN202110933646.5A CN202110933646A CN113627440A CN 113627440 A CN113627440 A CN 113627440A CN 202110933646 A CN202110933646 A CN 202110933646A CN 113627440 A CN113627440 A CN 113627440A
Authority
CN
China
Prior art keywords
local
point cloud
network
module
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110933646.5A
Other languages
English (en)
Inventor
罗明星
张冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110933646.5A priority Critical patent/CN113627440A/zh
Publication of CN113627440A publication Critical patent/CN113627440A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于轻量级神经网络的大规模点云语义分割方法。方法主体是语义分割神经网络模型，它包括特征提取网络和特征传播网络。特征提取网络用于提取三维点云的全局特征和局部特征，而特征传播网络将特征传播到原始点，输出的特征图对应各点属于各个语义类别的概率。本发明在局部非局部模块中设计了一个非局部模块，增强了局部模块的特征学习，并使用焦点损失函数更新网络权重参数，在训练过程中自动降低简单样本的权重，快速将模型集中在困难样本上。在性能上，本发明大大减少训练时间和内存空间，同时具有很高的点云语义分割精度。

Description

一种基于轻量级神经网络的大规模点云语义分割方法
技术领域
本发明属于三维点云与模式识别领域、深度学习技术领域，更具体地说，涉及一种基于轻量级神经网络的大规模点云语义分割方法。
背景技术
语义分割是计算机视觉领域最重要的研究技术之一，旨在将场景中的每一个像素或点划分为若干具有特定语义类别的区域。语义分割是三维场景理解的基础，在地图地理信息、导航定位、计算机视觉、模式识别等领域取得非常好的成果，具有重要的研究意义和广阔的应用前景。基于深度学习的三维点云语义分割方法主要分为间接分割方法和直接分割方法。间接方法将点云转化为规则视图和体素网格来完成语义分割任务，解决了CNN不能应用于点云的问题，取得了良好的分割效果，但同时也存在信息丢失、计算复杂、内存占用大等问题。为了充分利用点云数据的特点，降低网络的计算复杂度，逐步提出了基于原始点云的方法。PointNet直接将深度学习应用于非结构化点云的分类与分割，解决了点云的稀疏性和置换不变性问题，对点云的分类和分割问题有着良好的效果，但没有考虑点与局部领域信息之间的关系，在处理大型点云时，会丢失关键信息，其分割效果不佳。另一种方法是在PointNet的基础上进行改进，但是在获取关键信息的同时，神经网络越来越复杂，网络的模型参数和时间复杂度变得越来越大，对实验平台的计算力要求较高，预测时间也变得越来越长。
发明内容
针对现有三维点云的语义分割方法计算复杂度高的问题，本发明提供了一种基于轻量级神经网络的三维点云语义分割方法，旨在降低三维点云语义分割方法的时间和空间复杂度，且同时保留点云语义分割的精度。
为了实现上述发明目的，本发明提供了一种基于非对称非局部神经网络的三维点云语义分割方法，包括以下步骤：
S1、预处理数据集，对点云进行栅格化和规范化处理，输出可批处理的输入点云集；
S2、构建语义分割网络模型，所述的语义分割神经网络模型包括：特征提取网络和特征传播网络。所述特征提取网络用于提取三维点云的全局特征和局部特征，包括最远点采样、分组模块以及局部非局部模块；局部非局部模块通过局部模块提取局部特征、非局部模块提取全局特征，然后通过局部-非局部融合模块将局部特征与全局特征融合。所述特征传播网络通过插值和跳连将特征从采样点传播到原始点，最后经过卷积层和最大池层得到对应点云中各点属于各个语义类别的概率；
S3、构建损失函数训练并优化模型，保存模型参数。
进一步地，局部模块包含3层MLP层，通过逐层采样逐渐扩大提取局部特征的感受野。
进一步地，非局部模块在关键点的卷积层后添加金字塔采样池以降低大矩阵乘法的计算时间复杂度。
进一步地，局部-非局部融合模块将局部特征与全局特征进行矩阵加法后经过MLP(多层感知机)层和最大池层得到最好特征。
进一步地，在训练阶段，计算和更新当前的网络权重参数，加权重的多类别焦点损失函数为：
FocalLoss＝-wl(x)(1-fl(x)(x))γlog(fl(x)(x))
Figure BDA0003212125060000021
Figure BDA0003212125060000022
其中，FocalLoss是焦点损失函数，fl(x)是softmax函数，al(x)为分割网络输出特征图中对应x点属于类别l(x)的概率，C表示语义类别的数目，wl(x)表示x点属于语义类别l(x)的权重，N为数据集中点的总个数，Nl(x)表示类别为l(x)的点的个数，γ是焦点超参数，γ≥0。
总体而言，通过本发明的技术方案，能够取得以下成果：
(1)本发明在提出的局部非局部模块中进一步设计了一个非局部模块，增强了局部模块的特征学习。非局部模块的非对称结构降低了大矩阵乘法的时间复杂度，大大降低模型训练时间。
(2)本发明使用焦点损失函数更新网络权重参数，可以在训练过程中自动降低简单样本的权重，并快速将模型集中在困难样本上。
(3)本发明简化点云语义分割网络，比DAPnet快2.5倍，模型参数总量小7.6倍，GPU上运行内存占用小2.4倍。
附图说明
图1为本发明方法的具体实施流程图；
图2为本发明方法的伪代码；
图3为本发明的三维点云语义分割的深度神经网络结构示意图；
图4为本发明的局部非局部模块结构示意图；
图5为本发明的非局部模块结构示意图；
图6为本发明的MLP(多层感知机)的结构示意图；
图7为本发明的测试集上的点云可视化。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本领域的技术人员参照说明书文字能够实施。
如图1、2，本发明提供了一种基于轻量级神经网络的三维点云语义分割方法，包括：
S1、使用三维点云训练集训练语义分割神经网络模型，训练样本为三维激光雷达点云{Pi|i＝1,2,...,n}，其中每个点Pi是一个向量(x,y,z,int,ret,num)，分别表示激光雷达数据的原始(x,y,z)坐标、强度、返回数量和返回次数，并对应于一个标签yi，表示真实的语义类别。
对点云数据集进行栅格化、采样、归一化的预处理，建立训练集。
本发明所使用的数据集为遥感三维点云数据集International Society forPhotogrammetry and Remote Sensing(ISPRS)，研究区域位于德国Vaihingen，该区域植被与城市环境相互交错，篱笆、树木、灌木等多种地物形态复杂不规则，建筑物复杂密集。雷达数据由Leica ALS50系统采集，平均飞行高度为500米以上，视野45°。具体来说，激光雷达点云分为两个区域进行训练和测试。训练区域面积399m×421m，测试区域面积389m×419m。对区域进行预处理，一个固定大小为block_size的块以stride的速度滑过整个区域，将整个区域分成多个大小相同、点数不同的小块。处理后的块重建一个新的数据集
Figure BDA0003212125060000041
其中B代表块包含n个点。当点数低于阈值时，删除当前块。对每个块进行采样，当块的点数n＞1024时，随机采样；n＜1024时，随机复制样本，确保每个块的点数都为1024。然后将每个点相对于所属块进行位置归一化：
Figure BDA0003212125060000042
Figure BDA0003212125060000043
Figure BDA0003212125060000044
Figure BDA0003212125060000045
Figure BDA0003212125060000046
Figure BDA0003212125060000047
其中，(x,y,z)是点的坐标，(xcenter,ycenter,zcenter)是块中随机选取的一个点的坐标，xmax、ymax、zmax、xmin、ymin、zmin、分别对应块中点在X轴、Y轴、Z轴的最大值和最小值，
Figure BDA0003212125060000048
和
Figure BDA0003212125060000049
是采用两种不同的归一化方法归一化后的坐标。
进一步，对于数据集中每个点的维度为9，包括归一化坐标1、其他雷达数据、归一化坐标2，即
Figure BDA00032121250600000410
进一步，将ISPRS数据集中的点云语义类别分为电力线、低植被、不透水表面、汽车、栅栏、屋顶、立面、灌木和树木9类。
S2、建立三维点云语义分割网络模型。如图2所示，语义分割网络模型由特征提取网络和特征传播网络构成。本发明的网络模型添加了局部非局部模块来融合提取的局部特征和非局部特征、加权重的焦点损失函数辅助训练，提高了三维语义分割的效率。
特征提取网络
特征提取网络主要包含：最远点采样模块、分组模块、局部非局部模块。特征提取网络以点云作为输入，依次通过最远点采样模块和分组模块来获得分组的采样点，将输入点云和采样点作为局部非局部模块的输入来获得局部和全局特征。
最远点采样模块采样n个点，通过不断迭代地选择距离已有采样点集合的最远点，使采样点集中点与点之间的距离足够远。
分组模块分别以最远点采样模块采集的n个点为中心，以radius为半径采样k个点，形成n个局部区域分组。
如图4所示，局部非局部模块包含局部模块、非局部模块、局部-非局部融合模块。局部模块以采样点为输入，通过两层的MLP(多层感知机)后获得局部特征。局部-非局部融合模块将局部特征与全局特征相加，再经过一层MLP和最大池层后获得该特征提取网络的聚合特征。
如图5所示，非局部模块以采样点作为查找点，对其作1×1卷积和维度扩充后得到形状为Ns×D'的矩阵Mq，关键点以点云特征作为输入，分别经过1×1卷积和维度扩充后得到形状为D'×S的矩阵Mk和S×D'的矩阵Mv。将Mq和Mk做矩阵乘法后经过一个最大池层得到形状为Ns×S的矩阵Ma，接着将Ma和Mv做矩阵乘法得到形状为Ns×D'的矩阵，最后对矩阵做1×1卷积使得非局部模块的输出维度与局部模块相同。其中，大矩阵乘法是非局部模块效率低的主要原因，因此，在卷积后添加金字塔采样，从N个点中采样S(S＜＜N)个点降低计算开销同时保持输出大小不变。
特征传播网络
在特征传播网络中，首先，使用最近插值获取上采样特征。然后，对上采样后的每个点作MLP，同时，通过跳连拼接上下采样前相同数量点对应的特征传播网络的特征。最后，通过最大池层得到点云中每个点在每个语义类别的分数，把分数最大的类别作为点的标签，从而实现语义分割。
进一步，如图6所示，MLP(多层感知机)先进行卷积或反卷积，接着进行批量归一化后再使用ReLU激活函数。批归一化层用于解决反向传播时的梯度爆炸或消失，并缓解过拟合。激活层为了增加神经网络的非线性，使得神经网络可以逼近任何函数。
利用加权重的焦点损失函数基于真实类别进行损失值的计算，得到预测误差；利用预测误差进行反向传播，计算和更新当前的网络权重参数；利用训练集进行多次网络权重的计算和更新，得到最后的网络权重参数，即得到训练好的三维点云语义分割神经网络模型。
所述的加权重的焦点损失函数为：
FocalLoss＝-wl(x)(1-fl(x)(x))γlog(fl(x)(x)) (7)
Figure BDA0003212125060000051
Figure BDA0003212125060000052
其中，fl(x)是softmax函数，al(x)为分割网络输出特征图中对应x点属于类别l(x)的概率，C表示语义类别的数目，softmax函数使得特征图中每个位置的多分类概率和为1。wl(x)表示x点属于语义类别l(x)的权重，N为数据集中点的总个数，Nl(x)表示类别为l(x)的点的个数。wl(x)权重的含义在于对点数占比较小的类别赋予较大的学习权重，对点数占比较大的赋予较小的学习权重。γ是焦点超参数，γ≥0，目的是通过减少易分类样本的权重，从而使模型在训练时更专注于困难的、错分的样本。训练时通过不断减小损失的值来提高分割效果。
本发明设计的三维点云语义分割网络模型详细信息由表1所示：
表1网络模型详细信息表
Figure BDA0003212125060000061
实验结果与分析
1、实验条件
本发明实例采用国际摄影测量和遥感学会的三维点云数据集ISPRS进行实验，训练集和测试集的类分布如表2所示。
表2每一类3D点的数量
Figure BDA0003212125060000062
实验所使用的软硬件参数，如表3与表4所示。
表3实验所使用硬件参数
Figure BDA0003212125060000071
表4实验所使用软件参数
Figure BDA0003212125060000072
2、实验结果
2.1结果可视化
采用本发明中的神经网络对ISPRS点云数据测试集上进行语义分割，如图7所示，其中，(a)为测试集上点云真实标签的可视化，(b)为点云数据集经过本发明深度神经网络语义分割后的结果。
2.2精度评价
表5显示了语义分割模型的混淆矩阵。总体精度为80.2％。
表5每一类精度的详细信息
Figure BDA0003212125060000073
各个语义分类的交并比(Intersection over Union，IoU)，平均交并比(meanIntersection over Union，mIoU)和总体精度(overall accuracy，OA)是当前国内外在点云分割中常用的精度评定指标，其中，IoU是分割结果区域与真实标定值区域的交集与并集的比，其表示语义分割结果与真实值(Ground Truth)的重合率，mIoU为平均交并比，OA为分割正确的点占总点数的比例，IoU的计算公式见公式(10)，其中TF、FP与FN分别表示正确分割，假正与假负。mIoU的计算公式见公式(11)，OA的计算公式见公式(12)，其中C代表类别数，Ni表示第i类点的数量，wi表示第i类的权重。
Figure BDA0003212125060000081
Figure BDA0003212125060000082
Figure BDA0003212125060000083
分别采用本发明中的神经网络与DAPnet原神经网络计算ISPRS点云测试集上的OA、mIoU值，结果如表6所示；
表6ISPRS数据集上的OA和mIoU
Figure BDA0003212125060000084
2.3性能评价
本发明从计算时间、模型的参数总量和GPU内存三个方面与原神经网络进行定量比较，如表7所示。具体地说，batch_size为16，block_size为30，stride为10，初始采样点为1024，训练128个epoch。
表7 ISPRS数据集上的计算和内存统计比较
Figure BDA0003212125060000085
由表6和表7可以看出，使用本发明在保留原发明的精度的同时，大大减少了训练时间和模型的参数总量，降低内存使用率。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种轻量级神经网络点云语义分割方法，其特征在于，包括以下步骤：
S1、预处理数据集，对点云进行栅格化和规范化处理，输出可批处理的输入点云集；
S2、构建语义分割网络模型。所述的语义分割神经网络模型包括：特征提取网络和特征传播网络。所述特征提取网络用于提取三维点云的全局特征和局部特征，包括最远点采样、分组模块以及局部非局部模块；局部非局部模块通过局部模块提取局部特征、非局部模块提取全局特征，然后通过局部-非局部融合模块将局部特征与全局特征融合。所述特征传播网络通过插值和跳连将特征从采样点传播到原始点，最后经过卷积层和最大池层得到对应点云中各点属于各个语义类别的概率；
S3、构建损失函数训练并优化模型，保存模型参数。
2.根据权利要求1所述的轻量级神经网络点云语义分割方法，其特征在于，所述的局部模块包含3层多层感知机层(MLP)，将局部点模式编码为特征模式。
3.根据权利要求1所述的轻量级神经网络点云语义分割方法，其特征在于，非局部模块在关键点的卷积层后添加金字塔采样池以降低大矩阵乘法的计算时间复杂度，从而查找点与关键点的处理形成非对称的结构，通过非局部模块可以提取点云的全局特征。
4.根据权利要求1所述的轻量级神经网络点云语义分割方法，其特征在于，局部-非局部融合模块将局部特征与全局特征进行矩阵加法后经过MLP层和最大池层得到最好特征。
5.根据权利要求1所述的轻量级神经网络点云语义分割方法，其特征在于，训练阶段，计算和更新当前的网络权重参数，加权重的多类别焦点损失函数为：
Figure FDA0003212125050000011
Figure FDA0003212125050000012
Figure FDA0003212125050000013
其中，FocalLoss是焦点损失函数，fl(x)是softmax函数，al(x)为分割网络输出特征图中对应x点属于类别l(x)的概率，C表示语义类别的数目，wl(x)表示x点属于语义类别l(x)的权重，N为数据集中点的总个数，Nl(x)表示类别为l(x)的点的个数，γ是焦点超参数，γ≥0。
CN202110933646.5A 2021-08-14 2021-08-14 一种基于轻量级神经网络的大规模点云语义分割方法 Pending CN113627440A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110933646.5A CN113627440A (zh) 2021-08-14 2021-08-14 一种基于轻量级神经网络的大规模点云语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110933646.5A CN113627440A (zh) 2021-08-14 2021-08-14 一种基于轻量级神经网络的大规模点云语义分割方法

Publications (1)

Publication Number Publication Date
CN113627440A true CN113627440A (zh) 2021-11-09

Family

ID=78385689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110933646.5A Pending CN113627440A (zh) 2021-08-14 2021-08-14 一种基于轻量级神经网络的大规模点云语义分割方法

Country Status (1)

Country Link
CN (1) CN113627440A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187310A (zh) * 2021-11-22 2022-03-15 华南农业大学 基于八叉树和PointNet++网络的大规模点云分割方法
CN115690524A (zh) * 2023-01-05 2023-02-03 中国科学院空天信息创新研究院 语义信息指导的点云目标检测正样本筛选方法
CN115937644A (zh) * 2022-12-15 2023-04-07 清华大学 一种基于全局及局部融合的点云特征提取方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187310A (zh) * 2021-11-22 2022-03-15 华南农业大学 基于八叉树和PointNet++网络的大规模点云分割方法
CN115937644A (zh) * 2022-12-15 2023-04-07 清华大学 一种基于全局及局部融合的点云特征提取方法及装置
CN115937644B (zh) * 2022-12-15 2024-01-02 清华大学 一种基于全局及局部融合的点云特征提取方法及装置
CN115690524A (zh) * 2023-01-05 2023-02-03 中国科学院空天信息创新研究院 语义信息指导的点云目标检测正样本筛选方法

Similar Documents

Publication Publication Date Title
CN111489358B (zh) 一种基于深度学习的三维点云语义分割方法
CN109932730B (zh) 基于多尺度单极三维检测网络的激光雷达目标检测方法
Xie et al. Point clouds learning with attention-based graph convolution networks
CN110532859A (zh) 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN112488210A (zh) 一种基于图卷积神经网络的三维点云自动分类方法
CN113627440A (zh) 一种基于轻量级神经网络的大规模点云语义分割方法
CN112949647B (zh) 三维场景描述方法、装置、电子设备和存储介质
Gong et al. Object detection based on improved YOLOv3-tiny
CN113706480A (zh) 一种基于关键点多尺度特征融合的点云3d目标检测方法
Li et al. A GCN-based method for extracting power lines and pylons from airborne LiDAR data
CN110222767A (zh) 基于嵌套神经网络和栅格地图的三维点云分类方法
US20230222768A1 (en) Multiscale point cloud classification method and system
CN114120115A (zh) 一种融合点特征和网格特征的点云目标检测方法
CN114926469A (zh) 语义分割模型训练方法、语义分割方法、存储介质及终端
CN114373099A (zh) 一种基于稀疏图卷积的三维点云分类方法
Wang et al. Lightweight deep neural networks for ship target detection in SAR imagery
CN116385902A (zh) 一种遥感大数据处理方法、系统及云平台
Yin et al. An enhanced lightweight convolutional neural network for ship detection in maritime surveillance system
CN116503602A (zh) 基于多层级边缘增强的非结构化环境三维点云语义分割方法
Li et al. An enhanced squeezenet based network for real-time road-object segmentation
Zhang et al. Remote sensing image land classification based on deep learning
Li et al. [Retracted] PointLAE: A Point Cloud Semantic Segmentation Neural Network via Multifeature Aggregation for Large‐Scale Application
Yin et al. M2F2-RCNN: Multi-functional faster RCNN based on multi-scale feature fusion for region search in remote sensing images
Sayed et al. Point clouds reduction model based on 3D feature extraction
Wang et al. Information Extraction of the Vehicle from High-Resolution Remote Sensing Image Based on Convolution Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination