CN114677508A - 一种基于动态滤波和逐点相关的点云实例语义分割方法 - Google Patents

一种基于动态滤波和逐点相关的点云实例语义分割方法 Download PDF

Info

Publication number
CN114677508A
CN114677508A CN202210256330.1A CN202210256330A CN114677508A CN 114677508 A CN114677508 A CN 114677508A CN 202210256330 A CN202210256330 A CN 202210256330A CN 114677508 A CN114677508 A CN 114677508A
Authority
CN
China
Prior art keywords
point cloud
point
correlation
semantic
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210256330.1A
Other languages
English (en)
Inventor
陶文兵
赵蔺
刘李漫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Tuke Intelligent Technology Co ltd
Original Assignee
Wuhan Tuke Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Tuke Intelligent Technology Co ltd filed Critical Wuhan Tuke Intelligent Technology Co ltd
Priority to CN202210256330.1A priority Critical patent/CN114677508A/zh
Publication of CN114677508A publication Critical patent/CN114677508A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于动态滤波和逐点相关的点云实例语义分割方法，不同于现有技术中的点云实例语义联合分割方法，通过动态滤波将点云的空间几何位置信息和密度信息都置于可学习的范围内，所学习到的滤波器可以更少的资源消耗捕捉点云的动态信息。进一步地，本方法中的逐点相关可分别从全局和局部去建模点云的空间相关和通道特征相关，从而有效的增强所提取的点云特征的判别力，进一步提升点云分割的准确率。基于动态滤波和逐点相关的三维点云实例语义分割方法，不仅能很好的捕获点云的空间和密度信息，并且能够分别从全局和局部对点云的空间相关和通道特征相关进行建模，从而实现更加准确的点云实例语义分割结果。

Description

一种基于动态滤波和逐点相关的点云实例语义分割方法
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于动态滤波和逐点相关的点云实例语义分割方法。
背景技术
点云实例语义联合分割的主要思想是利用语义特征和实例嵌入特征的优势相互促进，提高语义分割和实例分割的结果。这是因为语义分割和实例分割在某些方面是有共同之处的，例如：属于不同语义类别的点一定是属于不同的实例，属于同一个实例的点也一定属于同一个语义类别。下面将从点云实例语义分割和点云上下文信息建模两个方面对相关背景技术进行介绍。
近年来，基于深度学习的方法已经被广泛应用到点云的处理中。Pham等人提出了一种基于多任务的逐点网络来分别预测点云的语义类别和实例嵌入向量，然后使用一个多值条件随机场作为后处理来生成实例对象。然而，将条件随机场作为卷积神经网络的后处理，很难去探索这两者组合的性能是怎样的，并且该方法也没有对语义分割和实例分割能否相互促进进行研究。同期，Wang等人也提出了一种在点云中联合分割实例和语义的方法。该方法通过全连接层将语义特征转换到实例特征空间和实例特征融合，同时通过K近邻将实例特征聚合到语义特征空间和语义特征进行融合。然而，该方法在训练过程中会生成一个高阶的稀疏矩阵，带来巨大的显存消耗。Liu等人借用半监督的思想将点云样本划分到两个子集中，在给定其中一个子集的标签的情况下使用标签传播算法来预测另一个子集的标签。然而，该方法需要构建稠密图来实现标签从一个子集到另一个子集的传播，当点云中点的数量以及特征维度较大时，构建的稠密图将会变得非常复杂，不利于存储和计算。He等人提出一种记忆增强网络来解决点云分割任务中的类别不平衡和模式不平衡问题，该方法通过学习和记忆具有代表性的覆盖广泛的不同样本的原型来解决所提到的两个不平衡问题。然而，该方法需要存储和记忆大量的不同实例样本的原型，需要消耗更多的显存。
此前的大多数方法仅考虑了中心点及其邻居点的关系，并以此来建模点云中的局部上下文信息。Zhao等人通过使用MLP(Multilayer Perceptron，多层感知机)对局部邻域中所有的点对的边进行加权来建模点云的局部相关性。然而，该方法仅对点云中的局部相关性进行了建模。此外，在计算过程中需要所有的点对的边，带来了巨大的存储和计算开销。Wang等人提出一种基于图的注意卷积来捕捉点云中的结构特征。进一步的，Han等人通过构造一个局部和非局部邻接矩阵来分别对对应区域中的每个节点进行加权，从而实现对点云的局部和全局相关进行建模。然而，该方法仅考虑了空间的逐点相关，而忽略了通道特征上的逐点相关建模。
发明内容
本发明针对现有技术中存在的技术问题，提供一种基于动态滤波和逐点相关的点云实例语义分割方法，采用动态滤波提取点云特征；二是对点云的进行逐点相关建模，并利用语义特征和实例嵌入特征的优势进行互补，进一步提高点云分割的准确率。
根据本发明的第一方面，提供了一种基于动态滤波和逐点相关的点云实例语义分割方法，包括：步骤1，对输入的点云进行预处理和采样得到输入点云；
步骤2，计算点云密度信息，根据点云的几何信息和密度信息生成滤波器；
步骤3，提取点云的实例嵌入特征和语义特征；
步骤4，利用所述语义特征和实例嵌入特征对点云进行逐点相关建模；
步骤5，基于建模结果分别生成点云实例分割结果和语义分割结果。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，所述步骤1中对输入的点云进行预处理的过程包括：
对点云的坐标进行归一化处理；
对场景进行分块处理，按照设定大小和设定步长将点云划分为各个重叠块，所述设定步长小于所述设定大小；
对每个所述重叠块进行随机采样得到设定数量的点云作为输入点云。
可选的，所述步骤2中计算点云密度信息的过程包括：
采用球半径查询每个点在球内的近邻点，使用核密度估计方法估计得到该点的密度；
得到点云的密度信息之后，可以很方便的得到其逆密度信息，使用点云的逆密度信息来补偿点云的非均匀采样。
可选的，所述步骤2中根据点云的几何信息和密度信息生成所述滤波器的过程包括：
获取点云的空间几何坐标信息
Figure BDA0003541639780000031
N为点云中点的数量，以点云中每个点为中心，查找各个点的K近邻Ni＝{Nij|j＝1,2,…K,andK≤N}，计算每个近邻点的相对位移Nij-Pi，对所述相对位移Nij-Pi应用MLP生成几何信息的滤波器mlp(Nij-Pi)；
对点云的密度信息
Figure BDA0003541639780000032
应用MLP生成密度信息的滤波器mlp(Sij)；
将两种滤波器相加融合得到所述滤波器fij＝mlp(Nij-Pi)+mlp(Sij)。
可选的，所述步骤3中提取点云的实例特征和语义特征的过程包括：
步骤301，通过特征编码器对点云的特征进行变换，利用所述滤波器和变换后的特征进行深度分离卷积计算，有效捕捉点云的空间信息和密度信息，对点云的特征进行提取；
步骤302，使用两个平行的特征解码器分别解码点云的语义特征和实例嵌入特征。
可选的，所述步骤301中所述特征编码器对点云的特征进行变换的过程包括：对点云的特征
Figure BDA0003541639780000041
查找近邻特征Hi＝{Hij|j＝1,2,…,KandK≤N}，并对所述近邻特征Hi使用MLP进行变换得到mlp(Hij)；
所述步骤301中对点云的特征进行提取表示为：
Figure BDA0003541639780000042
⊙表示深度分离卷积；
所述步骤302中，所述特征解码器使用基于三近邻的逆距离平方加权来实现点云的上采样后，使用MLP进一步对点云的特征进行抽象。
可选的，所述步骤4中对点云逐点相关建模的过程包括：分别从全局和局部去建模点云的空间相关和通道特征相关，并利用所述语义特征和实例嵌入特征的优势相互融合促进。
可选的，所述步骤4中进行点云局部相关建模的过程包括：
以点云中每个点为中心，计算所述步骤4中提取的语义特征
Figure BDA0003541639780000043
的K近邻特征
Figure BDA0003541639780000044
C表示特征维度；
使用MLP变换特征维度到两个低维空间
Figure BDA0003541639780000045
和
Figure BDA0003541639780000046
Figure BDA0003541639780000047
α设置为8：
Figure BDA0003541639780000048
对空间相关权重
Figure BDA0003541639780000049
使用Softmax进行归一化，并更新语义特征Fsem,k为
Figure BDA00035416397800000410
Figure BDA00035416397800000411
使用MLP对
Figure BDA00035416397800000412
和
Figure BDA00035416397800000413
进行变换得到
Figure BDA00035416397800000414
和
Figure BDA00035416397800000415
Figure BDA00035416397800000416
并计算和通道特征相关权重
Figure BDA00035416397800000417
对通道相关权重同样使用Softmax进行归一化，并更新语义特征
Figure BDA0003541639780000051
为
Figure BDA0003541639780000052
Figure BDA0003541639780000053
Figure BDA0003541639780000054
对空间相关性和通道相关性进行融合：
Figure BDA0003541639780000055
对融合后的语义特征
Figure BDA0003541639780000056
使用最大值池化聚合到中心点上并和所述步骤4中提取的实例特征Fins相融合得到实例嵌入特征
Figure BDA0003541639780000057
可选的，所述步骤4中进行点云全局相关建模的过程包括：
计算所述实例嵌入特征Fins,s的空间相关和特征通道相关性；
计算得到的空间相关权重和通道相关权重分别为
Figure BDA0003541639780000058
和
Figure BDA0003541639780000059
后对所述实例嵌入特征Fins,s进行加权得到
Figure BDA00035416397800000510
将加权后的实例嵌入特征
Figure BDA00035416397800000511
和所述步骤4中提取的语义特征Fsem相融合得到
Figure BDA00035416397800000512
可选的，所述步骤5中生成点云实例分割结果和语义分割结果的过程包括：
对于实例分割结果，使用一个MLP将Fins,s变换到
Figure BDA00035416397800000513
E是嵌入特征的维度，使用均值漂移算法生成实例对象，并使用块合并算法来合并不同块中的实例对象；
对于语义分割结果，使用一个MLP将Fsem,i映射到
Figure BDA00035416397800000514
C等于语义类别数，对最终输出的语义特征Fs应用一个ARGMAX操作生成语义预测结果。
本发明提供的一种基于动态滤波和逐点相关的点云实例语义分割方法，不同于现有技术中的点云实例语义联合分割方法，通过动态滤波将点云的空间几何位置信息和密度信息都置于可学习的范围内，所学习到的滤波器可以更少的资源消耗捕捉点云的动态信息。进一步地，本方法中的逐点相关可分别从全局和局部去建模点云的空间相关和通道特征相关，从而有效的增强所提取的点云特征的判别力，进一步提升点云分割的准确率。基于动态滤波和逐点相关的三维点云实例语义分割方法，不仅能很好的捕获点云的空间和密度信息，并且能够分别从全局和局部对点云的空间相关和通道特征相关进行建模，从而实现更加准确的点云实例语义分割结果。
附图说明
图1为本发明提供的一种基于动态滤波和逐点相关的点云实例语义分割方法的实施例的流程图；
图2为本发明提供的一种基于动态滤波和逐点相关的点云实例语义分割方法的实施例中动态滤波特征提取框图；
图3为本发明提供的一种基于动态滤波和逐点相关的点云实例语义分割方法的实施例中点云逐点相关建模框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
现有技术是将点云的语义分割和实例分割看作是两个独立的任务，或者将实例分割任务作为语义分割任务的一个后处理阶段；另外，现有的点云实例语义联合分割方法存在显存消耗大，准确率低等问题。考虑到现有技术的方法仅使用点云的几何信息来构造特征，而忽略了密度信息，并且固定的特征构造方式限制了对点云的几何信息和密度信息的挖掘，因此本发明的动态滤波将点云的空间几何位置信息和密度信息都置于可学习的范围内，所学习到的滤波器可以更少的资源消耗捕捉点云的动态信息。在此基础上，本发明分别从全局和局部去建模点云的空间相关和通道特征相关，从而有效的增强所提取点云的特征的判别力，进一步提升点云分割的准确率。
图1为本发明提供的一种基于动态滤波和逐点相关的点云实例语义分割方法的实施例的流程图，如图1所示，本算法最大的贡献在于将点云的空间几何位置信息和密度信息都置于可学习的范围内，所学习到的滤波器可以更少的资源消耗捕捉点云的动态信息。此外，分别从全局和局部去建模点云的空间相关和通道特征相关，从而有效的增强所提取的点云特征的判别力，进一步提升点云分割的准确率。在图1中，核心创新包括两大部分：一是采用动态滤波提取点云特征；二是对点云的进行逐点相关建模，并利用语义特征和实例嵌入特征的优势进行互补，进一步提高点云分割的准确率。具体的，该语义分割方法包括：
步骤1，对输入的点云进行预处理和采样得到输入点云。
步骤2，计算点云密度信息，根据点云的几何信息和密度信息生成滤波器。
步骤3，提取点云的实例嵌入特征和语义特征。
步骤4，利用语义特征和实例嵌入特征对点云进行逐点相关建模。
步骤5，基于建模结果分别生成点云实例分割结果和语义分割结果。
实施例1
本发明提供的实施例1为本发明提供的一种基于动态滤波和逐点相关的点云实例语义分割的实施例，结合图1可知，该语义分割方法的实施例包括：
步骤1，对输入的点云进行预处理和采样得到输入点云。
在一种可能的实施例方式中，步骤1中对输入的点云进行预处理的过程包括：
对点云的坐标进行归一化处理。
对场景进行分块处理，按照设定大小和设定步长将点云划分为各个重叠块，设定步长小于设定大小。
对每个重叠块进行随机采样得到设定数量的点云作为输入点云。
具体实施中，将点云的XYZ坐标减去其对应坐标的最小值，然后计算新坐标的最大值。由于室内单个点云较稠密且场景范围比较大，因此对场景进行分块处理。本发明提供的实施例中，设定大小可以为1m×1m，设定步长可以为0.5m，将点云划分为1m×1m的重叠块。设定数量可以为4096，对每个重叠块随机采样4096个点作为输入的样本点。除了点云坐标和RGB颜色值外，点云的归一化坐标也作为点云的初始特征输入到算法中进行后续处理。
步骤2，计算点云密度信息，根据点云的几何信息和密度信息生成滤波器。如图2所示为本发明提供的一种基于动态滤波和逐点相关的点云实例语义分割方法的实施例中动态滤波特征提取框图，结合图1和图2可知，在一种可能的实施例方式中，步骤2中计算点云密度信息的过程包括：
在给定球半径前提下，采用球半径查询每个点在球内的近邻点，然后使用核密度估计方法估计得到该点的密度。
得到点云的密度信息之后，可以很方便的得到其逆密度信息，使用点云的逆密度信息来补偿点云的非均匀采样。
在一种可能的实施例方式中，步骤2中根据点云的几何信息和密度信息生成滤波器的过程包括：
获取点云的空间几何坐标信息
Figure BDA0003541639780000081
N为点云中点的数量，以点云中每个点为中心，查找各个点的K近邻Ni＝{Nij|j＝1,2,…K,andK≤N}，K表示一个样本附近的K个最近样本，计算每个近邻点的相对位移Nij-Pi，对相对位移Nij-Pi应用MLP生成几何信息的滤波器mlp(Nij-Pi)。
对点云的密度信息
Figure BDA0003541639780000082
应用MLP生成密度信息的滤波器mlp(Sij)。
将两种滤波器相加融合得到滤波器fij＝mlp(Nij-Pi)+mlp(Sij)。
步骤3，提取点云的实例嵌入特征和语义特征。
在一种可能的实施例方式中，步骤3中提取点云的实例特征和语义特征的过程中，点云的特征提取器包括一个共享的特征编码器和两个平行的特征解码器，其中一个解码器用于解码点云的语义特征，另一个解码器用于解码点云的实例嵌入特征，包括：
步骤301，通过特征编码器对点云的特征进行变换，利用滤波器和变换后的特征进行深度分离卷积计算，有效捕捉点云的空间信息和密度信息，对点云的特征进行提取。
在一种可能的实施例方式中，步骤301中特征编码器对点云的特征进行变换的过程包括：对点云的特征
Figure BDA0003541639780000091
查找近邻特征Hi＝{Hij|j＝1,2,…,KandK≤N}，并对近邻特征Hi使用MLP进行变换得到mlp(Hij)。
步骤301中对点云的特征进行提取表示为：
Figure BDA0003541639780000092
⊙表示深度分离卷积。
具体实施中，可以在编码过程中使用迭代最远点采样对点云进行采样，并重复步骤2和步骤301四次来不断的获取高层语义信息。
步骤302，使用两个平行的特征解码器分别解码点云的语义特征和实例嵌入特征。
在一种可能的实施例方式中，步骤302中，语义特征解码器和实例特征解码器有着相同的结构，特征解码器使用基于三近邻的逆距离平方加权来实现点云的上采样后，使用MLP进一步对点云的特征进行抽象。
具体实施中，可以重复该步骤302四次逐步恢复点云中点的数量，最后得到点云的语义特征和实例特征。
步骤4，利用语义特征和实例嵌入特征对点云进行逐点相关建模。
如图3所示为本发明提供的一种基于动态滤波和逐点相关的点云实例语义分割方法的实施例中点云逐点相关建模框图，结合图1－图3可知，在一种可能的实施例方式中，步骤4中对点云逐点相关建模的过程包括：分别从全局和局部去建模点云的空间相关和通道特征相关，并利用语义特征和实例嵌入特征的优势相互融合促进。从而有效的增强所提取的语义特征和实例嵌入特征的判别力，进一步提升点云分割的准确率。
在一种可能的实施例方式中，步骤4中进行点云局部相关建模的过程包括：
以点云中每个点为中心，计算步骤4中提取的语义特征
Figure BDA0003541639780000101
的K近邻特征
Figure BDA0003541639780000102
C表示特征维度。
并计算其空间相关性，然后对语义特征Fsem,k进行加权。具体过程为：使用MLP变换特征维度到两个低维空间
Figure BDA0003541639780000103
和
Figure BDA0003541639780000104
α设置为8以减少计算量：
Figure BDA0003541639780000105
接下来计算空间相关权重
Figure BDA0003541639780000106
对空间相关权重
Figure BDA0003541639780000107
Figure BDA0003541639780000108
使用Softmax进行归一化，并更新语义特征Fsem,k为
Figure BDA0003541639780000109
Figure BDA00035416397800001010
接下来再次使用MLP对
Figure BDA00035416397800001011
和
Figure BDA00035416397800001012
进行变换得到
Figure BDA00035416397800001013
和
Figure BDA00035416397800001014
并计算和通道特征相关权重
Figure BDA00035416397800001015
对通道相关权重同样使用Softmax进行归一化，并更新语义特征
Figure BDA00035416397800001016
为
Figure BDA00035416397800001017
Figure BDA00035416397800001018
Figure BDA00035416397800001019
对空间相关性和通道相关性进行融合：
Figure BDA00035416397800001020
对融合后的语义特征
Figure BDA00035416397800001021
使用最大值池化聚合到中心点上并和步骤4中提取的实例特征Fins相融合得到实例嵌入特征
Figure BDA00035416397800001022
以提高实例嵌入特征的判别力。
在一种可能的实施例方式中，步骤4中进行点云全局相关建模的过程包括：
计算实例嵌入特征Fins,s的空间相关和特征通道相关性。
在计算过程中，我们采用和局部相关建模过程中类似的计算方式，由于是针对全局相关性进行计算，因此不需要查找特征K近邻以及特征聚合的操作。
计算得到的空间相关权重和通道相关权重分别为
Figure BDA0003541639780000111
和
Figure BDA0003541639780000112
后对实例嵌入特征Fins,s进行加权得到
Figure BDA0003541639780000113
将加权后的实例嵌入特征
Figure BDA0003541639780000114
和步骤4中提取的语义特征Fsem相融合得到
Figure BDA0003541639780000115
以提高语义特征的判别力。
步骤5，基于建模结果分别生成点云实例分割结果和语义分割结果。
在一种可能的实施例方式中，步骤5中生成点云实例分割结果和语义分割结果的过程包括：
对于实例分割结果，使用一个MLP将Fins,s变换到
Figure BDA0003541639780000116
E是嵌入特征的维度，使用一个简单的均值漂移算法生成实例对象，并使用块合并算法来合并不同块中的实例对象。
对于语义分割结果，使用一个MLP将Fsem,i映射到
Figure BDA0003541639780000117
C等于语义类别数，对最终输出的语义特征Fs应用一个ARGMAX操作生成语义预测结果。
本发明实施例提供的一种基于动态滤波和逐点相关的点云实例语义分割方法，不同于现有技术中的点云实例语义联合分割方法，通过动态滤波将点云的空间几何位置信息和密度信息都置于可学习的范围内，所学习到的滤波器可以更少的资源消耗捕捉点云的动态信息。进一步地，本方法中的逐点相关可分别从全局和局部去建模点云的空间相关和通道特征相关，从而有效的增强所提取的点云特征的判别力，进一步提升点云分割的准确率。基于动态滤波和逐点相关的三维点云实例语义分割方法，不仅能很好的捕获点云的空间和密度信息，并且能够分别从全局和局部对点云的空间相关和通道特征相关进行建模，从而实现更加准确的点云实例语义分割结果。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种基于动态滤波和逐点相关的点云实例语义分割方法，其特征在于，所述语义分割方法包括：
步骤1，对输入的点云进行预处理和采样得到输入点云；
步骤2，计算点云密度信息，根据点云的几何信息和密度信息生成滤波器；
步骤3，提取点云的实例嵌入特征和语义特征；
步骤4，利用所述语义特征和实例嵌入特征对点云进行逐点相关建模；
步骤5，基于建模结果分别生成点云实例分割结果和语义分割结果。
2.根据权利要求1所述的语义分割方法，其特征在于，所述步骤1中对输入的点云进行预处理的过程包括：
对点云的坐标进行归一化处理；
对场景进行分块处理，按照设定大小和设定步长将点云划分为各个重叠块，所述设定步长小于所述设定大小；
对每个所述重叠块进行随机采样得到设定数量的点云作为输入点云。
3.根据权利要求1所述的语义分割方法，其特征在于，所述步骤2中计算点云密度信息的过程包括：
采用球半径查询每个点在球内的近邻点，使用核密度估计方法估计得到该点的密度；
得到点云的密度信息之后，可以很方便的得到其逆密度信息，使用点云的逆密度信息来补偿点云的非均匀采样。
4.根据权利要求1所述的语义分割方法，其特征在于，所述步骤2中根据点云的几何信息和密度信息生成所述滤波器的过程包括：
获取点云的空间几何坐标信息
Figure FDA0003541639770000011
N为点云中点的数量，以点云中每个点为中心，查找各个点的K近邻Ni＝{Nij|j＝1，2，...K，and K≤N}，计算每个近邻点的相对位移Nij-Pi，对所述相对位移Nij-Pi应用MLP生成几何信息的滤波器mlp(Nij-Pi)；
对点云的密度信息
Figure FDA0003541639770000022
应用MLP生成密度信息的滤波器mlp(Sij)；
将两种滤波器相加融合得到所述滤波器fij＝mlp(Nij-Pi)+mlp(Sij)。
5.根据权利要求1所述的语义分割方法，其特征在于，所述步骤3中提取点云的实例特征和语义特征的过程包括：
步骤301，通过特征编码器对点云的特征进行变换，利用所述滤波器和变换后的特征进行深度分离卷积计算，有效捕捉点云的空间信息和密度信息，对点云的特征进行提取；
步骤302，使用两个平行的特征解码器分别解码点云的语义特征和实例嵌入特征。
6.根据权利要求5所述的语义分割方法，其特征在于，所述步骤301中所述特征编码器对点云的特征进行变换的过程包括：对点云的特征
Figure FDA0003541639770000023
查找近邻特征Hi＝{Hij|j＝1，2，...，K and K≤N}，并对所述近邻特征Hi使用MLP进行变换得到mlp(Hij)；
所述步骤301中对点云的特征进行提取表示为：
Figure FDA0003541639770000021
⊙表示深度分离卷积；
所述步骤302中，所述特征解码器使用基于三近邻的逆距离平方加权来实现点云的上采样后，使用MLP进一步对点云的特征进行抽象。
7.根据权利要求1所述的语义分割方法，其特征在于，所述步骤4中对点云逐点相关建模的过程包括：分别从全局和局部去建模点云的空间相关和通道特征相关，并利用所述语义特征和实例嵌入特征的优势相互融合促进。
8.根据权利要求7所述的语义分割方法，其特征在于，所述步骤4中进行点云局部相关建模的过程包括：
以点云中每个点为中心，计算所述步骤4中提取的语义特征
Figure FDA0003541639770000031
的K近邻特征
Figure FDA0003541639770000032
C表示特征维度；
使用MLP变换特征维度到两个低维空间
Figure FDA0003541639770000033
和
Figure FDA0003541639770000034
Figure FDA0003541639770000035
α设置为8：
Figure FDA0003541639770000036
对空间相关权重
Figure FDA0003541639770000037
使用Soffmax进行归一化，并更新语义特征Fsem，k为
Figure FDA0003541639770000038
Figure FDA0003541639770000039
使用MLP对
Figure FDA00035416397700000310
和
Figure FDA00035416397700000311
进行变换得到
Figure FDA00035416397700000312
和
Figure FDA00035416397700000313
Figure FDA00035416397700000314
并计算和通道特征相关权重
Figure FDA00035416397700000315
对通道相关权重同样使用Soffmax进行归一化，并更新语义特征
Figure FDA00035416397700000316
为
Figure FDA00035416397700000317
Figure FDA00035416397700000318
Figure FDA00035416397700000319
对空间相关性和通道相关性进行融合：
Figure FDA00035416397700000320
对融合后的语义特征
Figure FDA00035416397700000327
使用最大值池化聚合到中心点上并和所述步骤4中提取的实例特征Fins相融合得到实例嵌入特征
Figure FDA00035416397700000321
9.根据权利要求8所述的语义分割方法，其特征在于，所述步骤4中进行点云全局相关建模的过程包括：
计算所述实例嵌入特征Fins，s的空间相关和特征通道相关性；
计算得到的空间相关权重和通道相关权重分别为
Figure FDA00035416397700000322
和
Figure FDA00035416397700000323
后对所述实例嵌入特征Fins，s进行加权得到
Figure FDA00035416397700000324
将加权后的实例嵌入特征
Figure FDA00035416397700000325
和所述步骤4中提取的语义特征Fsem相融合得到
Figure FDA00035416397700000326
10.根据权利要求1所述的语义分割方法，其特征在于，所述步骤5中生成点云实例分割结果和语义分割结果的过程包括：
对于实例分割结果，使用一个MLP将Fins，s变换到
Figure FDA0003541639770000041
E是嵌入特征的维度，使用均值漂移算法生成实例对象，并使用块合并算法来合并不同块中的实例对象；
对于语义分割结果，使用一个MLP将Fsem，i映射到
Figure FDA0003541639770000042
C等于语义类别数，对最终输出的语义特征Fs应用一个ARGMAX操作生成语义预测结果。
CN202210256330.1A 2022-03-10 2022-03-10 一种基于动态滤波和逐点相关的点云实例语义分割方法 Pending CN114677508A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210256330.1A CN114677508A (zh) 2022-03-10 2022-03-10 一种基于动态滤波和逐点相关的点云实例语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210256330.1A CN114677508A (zh) 2022-03-10 2022-03-10 一种基于动态滤波和逐点相关的点云实例语义分割方法

Publications (1)

Publication Number Publication Date
CN114677508A true CN114677508A (zh) 2022-06-28

Family

ID=82074830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210256330.1A Pending CN114677508A (zh) 2022-03-10 2022-03-10 一种基于动态滤波和逐点相关的点云实例语义分割方法

Country Status (1)

Country Link
CN (1) CN114677508A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557796A (zh) * 2024-01-12 2024-02-13 山东省凯麟环保设备股份有限公司 一种3d点云语义分割方法、系统、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557796A (zh) * 2024-01-12 2024-02-13 山东省凯麟环保设备股份有限公司 一种3d点云语义分割方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
Liu et al. Local similarity pattern and cost self-reassembling for deep stereo matching networks
Meuleman et al. Progressively optimized local radiance fields for robust view synthesis
Xie et al. Point clouds learning with attention-based graph convolution networks
Chibane et al. Box2mask: Weakly supervised 3d semantic instance segmentation using bounding boxes
CN109658445A (zh) 网络训练方法、增量建图方法、定位方法、装置及设备
CN108734210B (zh) 一种基于跨模态多尺度特征融合的对象检测方法
Liu et al. Weakly supervised 3d scene segmentation with region-level boundary awareness and instance discrimination
CN111652892A (zh) 一种基于深度学习的遥感影像建筑物矢量提取及优化方法
Hui et al. Superpoint network for point cloud oversegmentation
CN113011568B (zh) 一种模型的训练方法、数据处理方法及设备
CN113920148B (zh) 基于多边形的建筑物边界提取方法、设备及存储介质
Phalak et al. Scan2plan: Efficient floorplan generation from 3d scans of indoor scenes
Dong et al. Learning regional purity for instance segmentation on 3d point clouds
CN114565092A (zh) 一种神经网络结构确定方法及其装置
CN112529068A (zh) 一种多视图图像分类方法、系统、计算机设备和存储介质
Wang et al. One Class One Click: Quasi scene-level weakly supervised point cloud semantic segmentation with active learning
CN113408651B (zh) 基于局部判别性增强的无监督三维物体分类方法
CN113936176A (zh) 一种基于图卷积和形状描述子的三维点云分类方法
CN114677508A (zh) 一种基于动态滤波和逐点相关的点云实例语义分割方法
CN114119690A (zh) 一种基于神经网络重建高斯混合模型的点云配准方法
Liu et al. Attention-embedding mesh saliency
Hao et al. Research on image semantic segmentation based on FCN-VGG and pyramid pooling module
CN114913330B (zh) 点云部件分割方法、装置、电子设备与存储介质
Peng et al. RGB-D Salient Object Detection Based on Cross-Modal and Cross-Level Feature Fusion.
Lyu et al. Rigid pairwise 3D point cloud registration: a survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No. 548, 5th Floor, Building 10, No. 28 Linping Avenue, Donghu Street, Linping District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Tuke Intelligent Information Technology Co.,Ltd.

Address before: 430000 B033, No. 05, 4th floor, building 2, international enterprise center, No. 1, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan, Hubei (Wuhan area of free trade zone)

Applicant before: Wuhan Tuke Intelligent Technology Co.,Ltd.

CB02 Change of applicant information