CN112818999A - 一种基于卷积神经网络的复杂场景3d点云语义分割方法 - Google Patents

一种基于卷积神经网络的复杂场景3d点云语义分割方法 Download PDF

Info

Publication number
CN112818999A
CN112818999A CN202110184572.XA CN202110184572A CN112818999A CN 112818999 A CN112818999 A CN 112818999A CN 202110184572 A CN202110184572 A CN 202110184572A CN 112818999 A CN112818999 A CN 112818999A
Authority
CN
China
Prior art keywords
point cloud
sampling
neighborhood
attention mechanism
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110184572.XA
Other languages
English (en)
Other versions
CN112818999B (zh
Inventor
吴军
陈睿星
赵雪梅
崔刖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Tianyu Elevator Industry Ltd By Share Ltd
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202110184572.XA priority Critical patent/CN112818999B/zh
Publication of CN112818999A publication Critical patent/CN112818999A/zh
Application granted granted Critical
Publication of CN112818999B publication Critical patent/CN112818999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的复杂场景3D点云语义分割方法，对获取的原始点云进行下采样，并分别利用中心自注意力机制和邻域自注意力机制对采样得到的采样点云进行特征提取，之后，将提取得到的点云空间位置特征和获取的点云数据属性特征进行拼接，经过注意力机制下的差异性池化处理，得到全局特征向量；采用跳跃连接的方式将每一层上采样结果和对应的所述全局特征向量进行级联，最终经过全连接层的处理，生成点云分割神经网络模型，利用获取的多组点云数据集对所述点云分割神经网络模型进行训练和预测，最终完成语义分割任务，实验结果证明该网络模型具有更强的泛化性能及良好的应用价值。

Description

一种基于卷积神经网络的复杂场景3D点云语义分割方法
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于卷积神经网络的复杂场景3D点云语义分割方法。
背景技术
近年来，随着激光雷达设备、RGB-D相机的不断发展、成熟，3D点云数据质量、获取效率及性价比不断提升。作为计算机视觉长期研究课题之一，语义分割旨在利用计算机对场景逐点进行分类并将场景分割成若干个具有特定语义类别的区域，是众多视觉任务3D场景理解和分析的基础。依据是否对点云进行结构化预处理，其现有方法可概略分为两类：直接点云语义分割和间接点云语义分割。为更好学习点云的细粒度局部特征，一些研究者尝试将自适应筛选局部特征的自注意力机制引入网络模型，通过忽略无关信息、关注重点信息进一步提升语义分割精度，如将自注意力机制引入GCNN构建网络GAPNet，结合自注意力机制与循环神经网络编码RNN提出一种基于上下文注意力卷积神经网络，结合自注意力机制与随机采样算法设计了一个适用于大规模3D点云的轻量级点云语义分割网络RandLA-Net，但这些网络中的自注意力机制侧重于学习采样点中心与其邻域点间的局部结构特征，往往忽略了邻域点相互结构关系的学习，同时也鲜有考虑自注意力机制在特征信息网络传递过程中的作用，对于整体几何形状极其相似、局部细节结构略有不同的语义类仍不能进行有效区分，存在不同程度的欠分割问题；此外，虽然基于GCNN的点云语义分割网络性能优异，但由于GCNN节点数与点云点数相关且网络结构相对固定，大规模点云处理是一个潜在问题。
发明内容
本发明的目的在于提供一种基于卷积神经网络的复杂场景3D点云语义分割方法，具有更强的泛化性能及良好的应用价值。
为实现上述目的，本发明提供了一种基于卷积神经网络的复杂场景3D点云语义分割方法，包括以下步骤：
对获取的原始点云进行下采样，并分别利用中心自注意力机制和邻域自注意力机制对采样得到的采样点云进行特征提取，得到对应的点云空间位置特征；
将所述点云空间位置特征和获取的点云数据属性特征进行拼接，并经过注意力机制下的差异性池化处理，得到全局特征向量；
采用跳跃连接的方式将每一层上采样结果和对应的所述全局特征向量进行级联，并经过全连接层的处理，生成点云分割神经网络模型；
获取多组点云数据集，利用所述点云数据集对所述点云分割神经网络模型进行训练和预测，完成语义分割任务。
其中，对获取的原始点云进行下采样，并分别利用中心自注意力机制和邻域自注意力机制对采样得到的采样点云进行特征提取，得到对应的点云空间位置特征，包括：
利用FPS采样法对获取的原始点云进行下采样，得到多组采样中心点云；
利用KNN近邻方法获取多组所述采样中心点云的采样邻域点云，构成以所述采样中心点为中心的原始邻域信息特征；
利用中心自注意力机制和邻域自注意力机制分别对所述采样邻域点云进行特征提取，得到对应的点云空间位置特征。
其中，利用中心自注意力机制和邻域自注意力机制分别对所述采样邻域点云进行特征提取，得到对应的点云空间位置特征，包括：
对所述采样邻域点云的空间坐标进行编码，得到所述采样中心点与任一所述邻近点的特征矢量；
对所有的所述特征矢量进行1×1卷积，并与自注意力得分相乘，得到采样中心点云空间位置特征；
利用所述邻域自注意力机制对所述采样邻域点云进行特征提取，并与所述采样中心点云空间位置特征进行拼接，得到对应的点云空间位置特征。
其中，利用所述邻域自注意力机制对所述采样邻域点云进行特征提取，并与所述采样中心点云空间位置特征进行拼接，得到对应的点云空间位置特征，包括：
将任一所述采样邻域点云与构建的邻近点集中的设定值相减，得到对应的相对位移矢量；
对所有的所述位移矢量进行1×1卷积，并与自注意力得分相乘，得到邻域点云空间位置特征；
将所述邻域点云空间位置特征与所述采样中心点云空间位置特征进行拼接，得到所述点云空间位置特征。
其中，将所述点云空间位置特征和获取的点云数据属性特征进行拼接，并经过注意力机制下的差异性池化处理，得到全局特征向量，包括：
采用MLP分别抽象所述点云空间位置特征和获取的点云数据属性特征，并利用自注意力机制学习所述点云空间位置特征和所述点云数据属性特征拼接后的局部空间及属性特征；
将学习到的注意力得分作为对应采样点的权重，在邻域范围内计算加权求和得到注意力池化结果；
对获取的局部点云坐标特征经过MLP后进行最大池化处理，并与所述注意力池化结果进行拼接，得到全局特征向量，其中，所述局部点云坐标特征为自注意力机制学习所述点云空间位置特征和所述点云数据属性特征拼接得到。
本发明的一种基于卷积神经网络的复杂场景3D点云语义分割方法，对获取的原始点云进行下采样，并分别利用中心自注意力机制和邻域自注意力机制对采样得到的采样点云进行特征提取，得到对应的点云空间位置特征；将所述点云空间位置特征和获取的点云数据属性特征进行拼接，并经过注意力机制下的差异性池化处理，得到全局特征向量；采用跳跃连接的方式将上采样结果和对应的所述全局特征向量进行级联，并经过全连接层的处理，生成点云分割神经网络模型；获取多个点云数据集，并利用所述点云数据集对所述点云分割神经网络模型进行训练和预测，完成语义分割任务，对涉及的性能均有不同程度的性能提升，具有更强的泛化性能及良好的应用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种基于卷积神经网络的复杂场景3D点云语义分割方法的步骤示意图。
图2是本发明提供的采样点中心自注意力机制下的局部空间位置编码。
图3是本发明提供的空间自注意力机制下的局部特征学习流程示意图。
图4是本发明提供的空间自注意力机制下的差异性池化操作流程示意图。
图5是本发明提供的SSA-PointNet++点云语义分割网络结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
请参阅图1，本发明提供一种基于卷积神经网络的复杂场景3D点云语义分割方法，包括以下步骤：
S101、对获取的原始点云进行下采样，并分别利用中心自注意力机制和邻域自注意力机制对采样得到的采样点云进行特征提取，得到对应的点云空间位置特征。
具体的，本发明网络构建采用PointNet++基础框架，引入注意力机制时重点考虑两方面因素：一是现有网络自注意力机制侧重于学习采样点中心与其邻域点间的局部结构特征，普遍忽略邻域点相互结构关系的学习，潜在降低了网络模型捕捉细粒度局部特征的能力；二是目前自注意力机制网络实施体现为对采样点邻域不同特征”打分”并按其重要程度进行综合，其关键在于如何对采样点邻域拓扑关系进行合理的空间编码。有鉴于此，这里将自注意力机制明确分为采样点中心自注意力、邻域自注意力两种机制并采用不同的空间编码方式以充分反映该邻域几何结构(特征)的显著性，最后综合两者信息来构建局部空间特征学习模块。对于经FPS采样得到的采样中心点云U＝{fi|i＝1,...,N}，其中：fi＝[ui,vi]，ui＝(xi,yi,zi)表示第i个点的3个空间坐标，vi对应第i个点云存储的d维属性特征(原始RGB或中间学习特征)，利用近邻点采样KNN获取采样中心点云的K个采样邻域点云后，构成以所述采样中心点为中心的原始邻域信息特征，本发明网络空间自注意力机制实施方式如下：
采样点中心自注意力机制。将采样(中心)点与其邻近点之间的几何关系明确为两者间的欧氏距离、方向矢量及各点空间位置，并按以下计算公式进行空间编码：
Figure BDA0002942510520000051
其中：ui(i∈N)和
Figure BDA0002942510520000052
分别表示中心点和邻近点的空间坐标，
Figure BDA0002942510520000053
表示特征之间的连接方式，
Figure BDA0002942510520000054
表示中心采样点与邻域点之间的欧式距离，
Figure BDA0002942510520000055
表示相对位移(方向)矢量，经过公式(1)每个邻域点选取10维特征作为局部空间位置编码结果。图2给出了采样(中心)点与其邻近点几何关系的空间编码模块示意，这里将K个邻域点划分为3维空间位置和d维属性特征两部分，在不考虑点云属性特征的情况下，利用公式(1)获得表征采样(中心)点与其第i个邻域点几何关系的特征矢量
Figure BDA0002942510520000056
按(2)计算特征
Figure BDA0002942510520000057
的自注意力得分并进行聚合，得到体现采用点邻域几何结构显著性的特征矢量表的采样点中心自注意力机制输出结果，即采样中心点云空间位置特征：
Figure BDA0002942510520000058
其中：g(·)和y(·)分别为线性变换操作(这里为1×1的卷积操作)，γ表示不同特征fi间的相似度；D代表输出通道数；score为特征
Figure BDA0002942510520000059
的自注意力得分，利用归一化指数函数softmax计算得到；conv(·)表示1×1卷积。
采样点邻域自注意力机制。不难理解，当场景感受野较小时，采样点邻域中的点来自同一目标结构，它们之间同样存在较强的几何结构关系并有助于网络在深度特征中更好地理解同一目标结构的点云信息。与中心点自注意力机制不同，邻域自注意力机制旨在观察采样点K个邻域点间的空间位置关系，故其空间编码着重在体现邻域点位置差异性，采用计算公式如下：
Figure BDA00029425105200000510
其中，
Figure BDA00029425105200000511
表示邻域点与邻域点集中最小值的相对位移矢量，可用于增强采样点邻域拓扑结构关系表达，其局部空间位置编码过程与图2所示中心自注意力机制下的局部空间位置编码过程一致，但输出维度为3。同样的，利用公式(2)可得到体现采样点邻域几何结构显著性的特征。
S102、将所述点云空间位置特征和获取的点云数据属性特征进行拼接，并经过注意力机制下的差异性池化处理，得到全局特征向量。
具体的，现有CNN通常使用池化操作集成邻域特征以生成更大感受野意义下的全局特征向量，为使网络特征输出具有平移不变性，一般采用最大池化操作。如图3所示将两种自注意力机制的输出结果进行级联，得到输出结果LSA(ui)，即可构建本文空间自注意力机制下的局部特征学习模块，这里将空间自注意力机制模块输出的点云空间位置特征与对应邻域范围内点云数据属性特征(RGB信息)拼接，经过多层卷积后采用如下公式可得到最大池化结果：
Figure BDA0002942510520000061
不难理解，以无参数方式实现降维输出的最大池化操作同时也丢失大部分信息。我们认为，在池化过程中可以利用注意力机制确保表征细粒度空间结构特征的重要信息尽可能得到传递，该注意力池化输出的全局特征向量为：
Figure BDA0002942510520000062
其中，Atten为注意力池化操作，其过程如图4所示虚线部分所示。首先采用MLP分别再次抽象空间自注意力机制提取到的点云空间位置特征和局部点云属性特征(邻域点坐标和RGB信息或中间学习特征)，再利用自注意力机制进一步学习二者拼接后的局部空间及属性特征，将学习到的score视为对应采样点的权重，在邻域范围内计算加权求和得到注意力池化结果。由于注意力池化将邻域范围内的全部数据特征加权，其抽象的数据特征与最大池化具有显著差异，理论上蕴含更加丰富的细节特征和更全面的全局特征，但其特征显著性弱于最大池化。
综上，为避免池化过程丢失“有用”信息并兼顾网络特征输出的平移不变性，本文网络以注意力机制对邻域“有用”特征的自适应选取能力为基础，实施差异性池化操作以整合最大池化输出的显著性特征与注意力池化输出的聚焦式特征，通过两者之间的信息交互以及特征重新分配来输出能捕捉(保留)更丰富的信息的全局特征向量：
Figure BDA0002942510520000063
S103、采用跳跃连接的方式将每一层上采样结果和对应的所述全局特征向量进行级联，并经过全连接层的处理，生成点云分割神经网络模型。
具体的，利用3D-插值的方式，对上采样层进行原点映射；采用跳跃连接的方式将上采样结果和对应的所述全局特征向量进行级联，以及利用全连接层构建点云特征与标记结果的转换关系，得到的点云分割神经网络模型，其以PointNet++为基础网络框架构建，取名为SSA-PointNet++(Space Self-Attention PointNet++)，其结构设计如图5所示，主要有下采样、上采样和全连接三部分构成。每个下采样部分均包含数据采样层、局部空间注意力层和注意力池化层。数据采样层利用FPS算法获取点云数据的邻域信息，空间注意力机制则通过空间位置编码和自注意力机制在保障点云数据空间结构的同时构建邻域点云数据的相关性，提高网络模型对局部点云特征的学习能力。最后池化层能够有效降低点云数量、提高局部注意力机制影响范围，增强网络对全局结构特征的学习能力。上采样层采用3D-插值的方式进行原点映射，为了尽可能保障上采样后点云数据特征的细节信息，采用跳跃连接将上采样结果与对应下采样级联，以有效融合网络低层特征和高层特征，提高模型对细节信息的学习能力。最后利用全连接层构建点云特征与标记结果的转换关系。值得注意的，批标准化和ReLU函数应用于每一层，并且在每一层全连接层后都添加了下降速度为0.4的dropout层以防止过拟合。
S104、获取多组点云数据集，利用所述点云数据集对所述点云分割神经网络模型进行训练和预测，完成语义分割任务。
具体的，步骤1：确立网络训练用的样本数据与精度评价标准。由斯坦福大学发布的数据集S3DIS共包含三个不同建筑的6个区域，分为271个独立房间，场景中每个点均对应一个固定标签，标签隶属于13个类别(天花板、地板、墙、门等)。本文以场景点空间坐标及其RGB信息作为网络输入特征，训练时将房间分割成1m×1m×高度(m)的立方块，每个立方块随机选取4096个点生成训练数据。网络语义分割精度评估指标采用平均交并化(mIoU)和总体准确度(OA)，两者计算公式具体如下：
Figure BDA0002942510520000071
式中：k表示数据集中点云的类别个数(包含空类)，pii表示点云数据中类别标签为i、实际预测类别为i的点云数，pij表示类别标签为j、实际预测类别为i的点云数，pji表示类别标签为i，实际预测类别为j的点云数；n表示所有正确预测点的数量，N表示点云模型所有点数。mIoU值越大，OA值越大，则分割效果越好且有mIoU<＝OA。
步骤2：利用生成的训练数据在点云分割神经网络模型上进行训练，网络训练流程图如图5所示。每一次训练结束都对平均交并化(mIoU)和总体准确度(OA)进行精确度评估，若精确度不再上升且处于稳定，则网络训练完毕，完成分割。
步骤3：将待预测数据导入训练好的网络进行预测分析、精确度评价与结果可视化处理。通过不同网络对同一数据的精确度对比可以得到个网络性能的排名，通过对可视化结果的对比直观了解到个网络的特性。
本发明设计了一个以PointNet++为基础网络的空间自注意力机制点云语义分割网络SSA-PointNet++，通过更完整、细致地观察采样点邻域内的空间关系并确保重要信息尽可能得到传递，有效增强了网络从采样点邻域中学习获得显著性结构(特征)的能力。分别对公开数据集S3DIS、Semantic3D进行的室、内外场景语义分割实验表明，本文网络模型数据集分割精度mIoU提升效果显著，室内数据集S3DIS上的mIoU最优且较PointNet++提升达6.3％，室外数据集Semantic3D上的mIoU高出次优精度约3％；相比于公开数据集上其它网络模型的分割结果，本文算法性能均有不同程度的性能提升，具有更强的泛化性能及良好的应用价值。
有益效果
1.设计了一个以PointNet++为基础网络的空间自注意力机制点云语义分割网络SSA-PointNet++，对于大规模、复杂场景3D点云具有良好的语义分割精度与更强的泛化性能，应用价值高；
2.将自注意力机制明确分为采样点中心注意力机制和邻域注意力机制，综合两者并结合不同方式空间编码方式增强对采样点邻域拓扑结构的学习，进一步提升网络模型捕捉细粒度局部特征的能力。
3.构建注意力池化模块并通过差异性池化函数来整合注意力机制池化、最大池化提取的多个全局特征，利用注意力机制对特征的自适应筛选来强化重要信息在网络的有效传递，从而有助于提高点云语义分割结果的鲁棒性。
本发明的一种基于卷积神经网络的复杂场景3D点云语义分割方法，对获取的原始点云进行下采样，并分别利用中心自注意力机制和邻域自注意力机制对采样得到的采样点云进行特征提取，得到对应的点云空间位置特征；将所述点云空间位置特征和获取的点云数据属性特征进行拼接，并经过注意力机制下的差异性池化处理，得到全局特征向量；采用跳跃连接的方式将上采样结果和对应的所述全局特征向量进行级联，并经过全连接层的处理，生成点云分割神经网络模型；获取多个样本集，并利用所述样本集对所述点云分割神经网络模型进行训练和预测，直至得到的语义分割精度评估指标稳定，完成分割，对涉及的性能均有不同程度的性能提升，具有更强的泛化性能及良好的应用价值。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (5)

1.一种基于卷积神经网络的复杂场景3D点云语义分割方法，其特征在于，包括以下步骤：
对获取的原始点云进行下采样，并分别利用中心自注意力机制和邻域自注意力机制对采样得到的采样点云进行特征提取，得到对应的点云空间位置特征；
将所述点云空间位置特征和获取的点云数据属性特征进行拼接，并经过注意力机制下的差异性池化处理，得到全局特征向量；
采用跳跃连接的方式将每一层上采样结果和对应的所述全局特征向量进行级联，并经过全连接层的处理，生成点云分割神经网络模型；
获取多组点云数据集，利用所述点云数据集对所述点云分割神经网络模型进行训练和预测，完成语义分割任务。
2.如权利要求1所述的基于卷积神经网络的复杂场景3D点云语义分割方法，其特征在于，对获取的原始点云进行下采样，并分别利用中心自注意力机制和邻域自注意力机制对采样得到的采样点云进行特征提取，得到对应的点云空间位置特征，包括：
利用FPS采样法对获取的原始点云进行下采样，得到多组采样中心点云；
利用KNN近邻方法获取多组所述采样中心点云的采样邻域点云，构成以所述采样中心点为中心的原始邻域信息特征；
利用中心自注意力机制和邻域自注意力机制分别对所述采样邻域点云进行特征提取，得到对应的点云空间位置特征。
3.如权利要求2所述的基于卷积神经网络的复杂场景3D点云语义分割方法，其特征在于，利用中心自注意力机制和邻域自注意力机制分别对所述采样邻域点云进行特征提取，得到对应的点云空间位置特征，包括：
对所述采样邻域点云的空间坐标进行编码，得到所述采样中心点与任一所述邻近点的特征矢量；
对所有的所述特征矢量进行1×1卷积，并与自注意力得分相乘，得到采样中心点云空间位置特征；
利用所述邻域自注意力机制对所述采样邻域点云进行特征提取，并与所述采样中心点云空间位置特征进行拼接，得到对应的点云空间位置特征。
4.如权利要求3所述的基于卷积神经网络的复杂场景3D点云语义分割方法，其特征在于，利用所述邻域自注意力机制对所述采样邻域点云进行特征提取，并与所述采样中心点云空间位置特征进行拼接，得到对应的点云空间位置特征，包括：
将任一所述采样邻域点云与构建的邻近点集中的设定值相减，得到对应的相对位移矢量；
对所有的所述位移矢量进行1×1卷积，并与自注意力得分相乘，得到邻域点云空间位置特征；
将所述邻域点云空间位置特征与所述采样中心点云空间位置特征进行拼接，得到所述点云空间位置特征。
5.如权利要求1所述的基于卷积神经网络的复杂场景3D点云语义分割方法，其特征在于，将所述点云空间位置特征和获取的点云数据属性特征进行拼接，并经过注意力机制下的差异性池化处理，得到全局特征向量，包括：
采用MLP分别抽象所述点云空间位置特征和获取的点云数据属性特征，并利用自注意力机制学习所述点云空间位置特征和所述点云数据属性特征拼接后的局部空间及属性特征；
将学习到的注意力得分作为对应采样点的权重，在邻域范围内计算加权求和得到注意力池化结果；
对获取的局部点云坐标特征经过MLP后进行最大池化处理，并与所述注意力池化结果进行拼接，得到全局特征向量，其中，所述局部点云坐标特征为自注意力机制学习所述点云空间位置特征和所述点云数据属性特征拼接得到。
CN202110184572.XA 2021-02-10 2021-02-10 一种基于卷积神经网络的复杂场景3d点云语义分割方法 Active CN112818999B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110184572.XA CN112818999B (zh) 2021-02-10 2021-02-10 一种基于卷积神经网络的复杂场景3d点云语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110184572.XA CN112818999B (zh) 2021-02-10 2021-02-10 一种基于卷积神经网络的复杂场景3d点云语义分割方法

Publications (2)

Publication Number Publication Date
CN112818999A true CN112818999A (zh) 2021-05-18
CN112818999B CN112818999B (zh) 2022-10-28

Family

ID=75865229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110184572.XA Active CN112818999B (zh) 2021-02-10 2021-02-10 一种基于卷积神经网络的复杂场景3d点云语义分割方法

Country Status (1)

Country Link
CN (1) CN112818999B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177555A (zh) * 2021-05-21 2021-07-27 西南大学 基于跨层级跨尺度跨注意力机制的目标处理方法及装置
CN113361538A (zh) * 2021-06-22 2021-09-07 中国科学技术大学 一种基于自适应选择邻域的点云分类和分割方法及系统
CN113392841A (zh) * 2021-06-03 2021-09-14 电子科技大学 一种基于多特征信息增强编码的三维点云语义分割方法
CN113392842A (zh) * 2021-06-03 2021-09-14 电子科技大学 一种基于点数据网络结构改进的点云语义分割方法
CN113435461A (zh) * 2021-06-11 2021-09-24 中国地质大学（武汉） 一种点云局部特征提取方法、装置、设备及存储介质
CN113516663A (zh) * 2021-06-30 2021-10-19 同济大学 点云语义分割方法及装置、电子设备及存储介质
CN113569979A (zh) * 2021-08-06 2021-10-29 中国科学院宁波材料技术与工程研究所 一种基于注意力机制的三维物体点云分类方法
CN113591633A (zh) * 2021-07-18 2021-11-02 武汉理工大学 基于动态自注意力Transformer的面向对象土地利用信息解译方法
CN113591556A (zh) * 2021-06-22 2021-11-02 长春理工大学 一种基于神经网络三体模型的三维点云语义分析方法
CN113688700A (zh) * 2021-08-10 2021-11-23 复旦大学 基于分层注意力采样策略的真实域三维点云物体识别算法
CN113705655A (zh) * 2021-08-24 2021-11-26 北京建筑大学 三维点云全自动分类方法及深度神经网络模型
CN113988164A (zh) * 2021-10-21 2022-01-28 电子科技大学 一种面向代表点自注意力机制的轻量级点云目标检测方法
CN114037948A (zh) * 2021-10-08 2022-02-11 中铁第一勘察设计院集团有限公司 基于迁移主动学习的车载道路点云要素矢量化方法与装置
CN114283294A (zh) * 2021-12-20 2022-04-05 平安普惠企业管理有限公司 基于神经网络点云特征提取方法、系统、设备及存储介质
CN114693932A (zh) * 2022-04-06 2022-07-01 南京航空航天大学 一种大型飞机大部件点云语义分割方法
CN115049938A (zh) * 2022-08-16 2022-09-13 广州地铁设计研究院股份有限公司 一种点云图像处理方法及系统
CN115456064A (zh) * 2022-09-05 2022-12-09 江汉大学 基于点云的物体分类方法及相关设备
KR20230063556A (ko) * 2021-11-02 2023-05-09 연세대학교 산학협력단 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템 및 모델링 형성 방법
CN116109650A (zh) * 2023-02-01 2023-05-12 中国科学院自动化研究所 点云实例分割模型训练方法和训练装置
CN116137059A (zh) * 2023-04-17 2023-05-19 宁波大学科学技术学院 基于多层次特征提取网络模型的三维点云质量评价方法
CN117994527A (zh) * 2024-04-03 2024-05-07 中国空气动力研究与发展中心低速空气动力研究所 基于区域生长的点云分割方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
CN109753995A (zh) * 2018-12-14 2019-05-14 中国科学院深圳先进技术研究院 一种基于3d目标分类和场景语义分割的网络优化结构
CN110827398A (zh) * 2019-11-04 2020-02-21 北京建筑大学 基于深度神经网络的室内三维点云自动语义分割算法
CN111242208A (zh) * 2020-01-08 2020-06-05 深圳大学 一种点云分类方法、分割方法及相关设备
CN111563508A (zh) * 2020-04-20 2020-08-21 华南理工大学 一种基于空间信息融合的语义分割方法
CN111898439A (zh) * 2020-06-29 2020-11-06 西安交通大学 基于深度学习的交通场景联合目标检测和语义分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
CN109753995A (zh) * 2018-12-14 2019-05-14 中国科学院深圳先进技术研究院 一种基于3d目标分类和场景语义分割的网络优化结构
CN110827398A (zh) * 2019-11-04 2020-02-21 北京建筑大学 基于深度神经网络的室内三维点云自动语义分割算法
CN111242208A (zh) * 2020-01-08 2020-06-05 深圳大学 一种点云分类方法、分割方法及相关设备
CN111563508A (zh) * 2020-04-20 2020-08-21 华南理工大学 一种基于空间信息融合的语义分割方法
CN111898439A (zh) * 2020-06-29 2020-11-06 西安交通大学 基于深度学习的交通场景联合目标检测和语义分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DIMPLE A. SHAJAHAN，ET AL: "Roof Classification From 3-D LiDAR Point Clouds Using Multiview CNN With Self-Attention", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》, vol. 17, no. 8, 31 August 2020 (2020-08-31), pages 1465 - 1469, XP011800523, DOI: 10.1109/LGRS.2019.2945886 *
QINGYONG HU，ET AL: "RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 31 December 2020 (2020-12-31), pages 11105 - 11114 *
张新良等: "融合图卷积和差异性池化函数的点云数据分类分割模型", 《中国图像图形学报》, vol. 25, no. 6, 30 June 2020 (2020-06-30), pages 1201 - 1208 *
田钰杰等: "一种鲁棒的多特征点云分类分割深度神经网络", 《计算机工程》, vol. 47, no. 11, 5 January 2021 (2021-01-05), pages 234 - 240 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177555A (zh) * 2021-05-21 2021-07-27 西南大学 基于跨层级跨尺度跨注意力机制的目标处理方法及装置
CN113392841B (zh) * 2021-06-03 2022-11-18 电子科技大学 一种基于多特征信息增强编码的三维点云语义分割方法
CN113392842B (zh) * 2021-06-03 2022-08-05 电子科技大学 一种基于点数据网络结构改进的点云语义分割方法
CN113392841A (zh) * 2021-06-03 2021-09-14 电子科技大学 一种基于多特征信息增强编码的三维点云语义分割方法
CN113392842A (zh) * 2021-06-03 2021-09-14 电子科技大学 一种基于点数据网络结构改进的点云语义分割方法
CN113435461A (zh) * 2021-06-11 2021-09-24 中国地质大学（武汉） 一种点云局部特征提取方法、装置、设备及存储介质
CN113591556A (zh) * 2021-06-22 2021-11-02 长春理工大学 一种基于神经网络三体模型的三维点云语义分析方法
CN113361538A (zh) * 2021-06-22 2021-09-07 中国科学技术大学 一种基于自适应选择邻域的点云分类和分割方法及系统
CN113516663A (zh) * 2021-06-30 2021-10-19 同济大学 点云语义分割方法及装置、电子设备及存储介质
CN113591633A (zh) * 2021-07-18 2021-11-02 武汉理工大学 基于动态自注意力Transformer的面向对象土地利用信息解译方法
CN113591633B (zh) * 2021-07-18 2024-04-30 武汉理工大学 基于动态自注意力Transformer的面向对象土地利用信息解译方法
CN113569979A (zh) * 2021-08-06 2021-10-29 中国科学院宁波材料技术与工程研究所 一种基于注意力机制的三维物体点云分类方法
CN113688700A (zh) * 2021-08-10 2021-11-23 复旦大学 基于分层注意力采样策略的真实域三维点云物体识别算法
CN113688700B (zh) * 2021-08-10 2024-04-26 复旦大学 基于分层注意力采样策略的真实域三维点云物体识别方法
CN113705655A (zh) * 2021-08-24 2021-11-26 北京建筑大学 三维点云全自动分类方法及深度神经网络模型
CN113705655B (zh) * 2021-08-24 2023-07-18 北京建筑大学 三维点云全自动分类方法及深度神经网络模型
CN114037948A (zh) * 2021-10-08 2022-02-11 中铁第一勘察设计院集团有限公司 基于迁移主动学习的车载道路点云要素矢量化方法与装置
CN113988164B (zh) * 2021-10-21 2023-08-08 电子科技大学 一种面向代表点自注意力机制的轻量级点云目标检测方法
CN113988164A (zh) * 2021-10-21 2022-01-28 电子科技大学 一种面向代表点自注意力机制的轻量级点云目标检测方法
KR102654087B1 (ko) 2021-11-02 2024-04-02 연세대학교 산학협력단 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템 및 모델링 형성 방법
KR20230063556A (ko) * 2021-11-02 2023-05-09 연세대학교 산학협력단 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템 및 모델링 형성 방법
CN114283294A (zh) * 2021-12-20 2022-04-05 平安普惠企业管理有限公司 基于神经网络点云特征提取方法、系统、设备及存储介质
CN114693932A (zh) * 2022-04-06 2022-07-01 南京航空航天大学 一种大型飞机大部件点云语义分割方法
CN115049938A (zh) * 2022-08-16 2022-09-13 广州地铁设计研究院股份有限公司 一种点云图像处理方法及系统
CN115049938B (zh) * 2022-08-16 2022-11-29 广州地铁设计研究院股份有限公司 一种点云图像处理方法及系统
CN115456064B (zh) * 2022-09-05 2024-02-02 江汉大学 基于点云的物体分类方法及相关设备
CN115456064A (zh) * 2022-09-05 2022-12-09 江汉大学 基于点云的物体分类方法及相关设备
CN116109650B (zh) * 2023-02-01 2024-02-13 中国科学院自动化研究所 点云实例分割模型训练方法和训练装置
CN116109650A (zh) * 2023-02-01 2023-05-12 中国科学院自动化研究所 点云实例分割模型训练方法和训练装置
CN116137059A (zh) * 2023-04-17 2023-05-19 宁波大学科学技术学院 基于多层次特征提取网络模型的三维点云质量评价方法
CN116137059B (zh) * 2023-04-17 2024-04-26 宁波大学科学技术学院 基于多层次特征提取网络模型的三维点云质量评价方法
CN117994527A (zh) * 2024-04-03 2024-05-07 中国空气动力研究与发展中心低速空气动力研究所 基于区域生长的点云分割方法及系统

Also Published As

Publication number Publication date
CN112818999B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
CN112818999B (zh) 一种基于卷积神经网络的复杂场景3d点云语义分割方法
CN111860693A (zh) 一种轻量级视觉目标检测方法及系统
CN110782015A (zh) 神经网络的网络结构优化器的训练方法、装置及存储介质
CN111625361A (zh) 一种基于云端服务器和IoT设备协同的联合学习框架
CN114283316A (zh) 一种图像识别方法、装置、电子设备和存储介质
CN112884742A (zh) 一种基于多算法融合的多目标实时检测、识别及跟踪方法
CN114817663B (zh) 一种基于类别感知图神经网络的服务建模与推荐方法
CN114092697B (zh) 注意力融合全局和局部深度特征的建筑立面语义分割方法
CN112489081A (zh) 一种视觉目标跟踪方法及装置
CN116229079A (zh) 一种基于视觉辅助和特征增强的三维点云语义分割方法及系统
CN114780777B (zh) 基于语义增强的跨模态检索方法及装置、存储介质和终端
Wang et al. Quality-aware dual-modal saliency detection via deep reinforcement learning
CN112508181A (zh) 一种基于多通道机制的图池化方法
CN112819080A (zh) 一种高精度通用的三维点云识别方法
CN114936307A (zh) 一种范式化图模型构建方法
CN112069200A (zh) 一种面向高维时空大数据的多细节层次可视化方法
CN111079900B (zh) 一种基于自适应连接神经网络的图像处理方法及装置
CN117218351A (zh) 基于局部和全局上下文感知的三维点云语义分割方法
CN116994114A (zh) 一种基于改进YOLOv8的轻量化家居小目标检测模型构建方法
CN116844004A (zh) 一种面向数字孪生场景的点云自动语义化建模方法
CN116386042A (zh) 一种基于三维池化空间注意力机制的点云语义分割模型
CN116431827A (zh) 信息处理方法、装置、存储介质及计算机设备
CN113516118B (zh) 一种图像与文本联合嵌入的多模态文化资源加工方法
CN113361570B (zh) 基于联合数据增强和网络训练模型的3d人体姿态估计方法
CN112860838B (zh) 基于生成式对抗网络的多尺度地图生成方法、系统、终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wu Jun

Inventor after: Chen Ruixing

Inventor after: Zhao Xuemei

Inventor after: Cui Yue

Inventor before: Wu Jun

Inventor before: Chen Ruixing

Inventor before: Zhao Xuemei

Inventor before: Cui Yue

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230103

Address after: No. 1-6/F, Building/Unit J9, Zhuoer Enterprise Headquarters, No. 18 Julong Avenue, Panlongcheng Economic Development Zone, Huangpi District, Wuhan, Hubei 430312

Patentee after: Wuhan Tianyu elevator industry Limited by Share Ltd.

Address before: 541004 1 Jinji Road, Qixing District, Guilin, the Guangxi Zhuang Autonomous Region

Patentee before: GUILIN University OF ELECTRONIC TECHNOLOGY

TR01 Transfer of patent right