CN112819833B - 一种大场景点云语义分割方法 - Google Patents

一种大场景点云语义分割方法 Download PDF

Info

Publication number
CN112819833B
CN112819833B CN202110164458.0A CN202110164458A CN112819833B CN 112819833 B CN112819833 B CN 112819833B CN 202110164458 A CN202110164458 A CN 202110164458A CN 112819833 B CN112819833 B CN 112819833B
Authority
CN
China
Prior art keywords
features
layer
coding
sampling
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110164458.0A
Other languages
English (en)
Other versions
CN112819833A (zh
Inventor
雷印杰
金钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110164458.0A priority Critical patent/CN112819833B/zh
Publication of CN112819833A publication Critical patent/CN112819833A/zh
Application granted granted Critical
Publication of CN112819833B publication Critical patent/CN112819833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2453—Classification techniques relating to the decision surface non-linear, e.g. polynomial classifier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Nonlinear Science (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种大场景点云语义分割方法，它包括如下步骤：将包含特征信息的三维点云数据进行特征拼接得到点云初始特征；将点云初始特征进行扩张图卷积和随机采样得到多层中间特征和采样编码特征；对多层中间特征进行跨层上下文推理得到互补上下文特征，并拼接到最后一层得到的采样编码特征中得到最终编码特征；将最终编码特征进行解码得到解码特征；将解码特征输入全连接层分类器得到分割结果预测；构建损失函数训练并优化模型，保存模型参数。本发明在编码阶段利用跨层上下文推理聚合多层上下文，在解码阶段采用注意力融合进行特征选择，在保证效率的同时能够有效弥补信息损失和降低特征冗余，从而提升准确率。

Description

一种大场景点云语义分割方法
技术领域
本发明属于计算机视觉技术领域，具体来说，涉及一种利用深度学习算法对大场景三维点云进行高效且精准的语义分割方法。
背景技术
点云是三维场景最基本的表现形式之一，它通常包含三维空间中每个点的坐标和相关特征(如颜色)。点云语义分割的任务是通过计算与分析，将点云中的每个点分割到对应的类别。在早期，由于传感距离有限，人们的研究主要集中于小场景室内点云。在处理该类点云时，通常将完整点云分割为固定尺寸和点数的子块，并在此基础上对每个子块进行特征提取与学习。
随着三维传感技术的快速发展，获取的点云数据逐渐走向大规模化。与小场景点云不同，大场景点云通常包含数以百万计的点，并且覆盖上百米的室外环境。同时，基于深度学习的点云语义分割技术开始越来越多的被应用于自动驾驶、虚拟现实等领域。由于大场景点云规模庞大，直接运用以前处理室内点云的方法会造成许多问题，其中最关键的一点就是效率。传统处理室内点云的方法通常采用最远点采样等较为复杂的采样策略，这些在大场景点云中并不可行。并且实际应用中对实时性的需求越来越高，如何同时实现高效性和准确性成为处理大场景点云的核心难点。近年来，一些研究者提出结合体素化降低运算量或将点云投影到二维图像的方法，提高处理大场景点云的效率。然而由于这些方法改变或破坏了点云的原始三维结构，模型的潜力会被大幅限制。最近，有研究者提出利用随机采样作为点云下采样策略，直接高效处理海量点云。这虽然使得实时处理大场景点云成为可能，却同时存在一些未解决的问题。第一，因为在跨层特征传播时随机丢失了大量的点，不可避免地造成了关键信息损失。现有通过扩大感受野来弥补信息的方法由于不能有效感知跨层信息损失，无法从根本上解决这一问题。第二，由于关键信息损失和大规模点云的稀疏性，编码层的点云特征会由于聚合无效信息而存在噪声与冗余。目前的方法通常直接将编码层特征拼接到解码层中用来恢复采样后的点云，这会影响语义分割性能。
发明内容
本申请旨在提高语义分割性能，从而提供了一种大场景点云语义分割方法，该方法在编码阶段利用跨层上下文推理聚合多层上下文，在解码阶段采用注意力融合进行特征选择，在保证效率的同时能够有效弥补信息损失和降低特征冗余，从而提升准确率。
为实现上述技术目的，本发明采用的技术方案如下：
一种大场景点云语义分割方法，包括：
将包含特征信息的三维点云数据进行特征拼接得到点云初始特征；
将点云初始特征进行扩张图卷积和随机采样得到多层中间特征和采样编码特征；
对多层中间特征进行跨层上下文推理得到互补上下文特征，并拼接到最后一层得到的采样编码特征中得到最终编码特征；
将最终编码特征进行解码得到解码特征；
将解码特征输入全连接层分类器得到分割结果预测；
构建损失函数训练并优化模型，保存模型参数。
优选地，所述将包含特征信息的三维点云数据进行特征拼接得到点云初始特征包括：
读取三维点云数据的特征信息；
将特征信息拼接得到拼接特征；
将拼接特征通过卷积层或全连接层进行特征融合得到预设输出维度的点云初始特征。
优选地，将点云初始特征输入编码器进行扩张图卷积和随机采样得到多层中间特征和编码特征包括：
将点云初始特征进行第一次扩张图卷积，得到第一层编码特征；
将第一层编码特征进行随机采样输出第一层采样编码特征和第一层中间特征；
将第一层采样编码特征进行第二次扩张图卷积，得到第二层编码特征；
将第二层编码特征进行随机采样输出第二层采样编码特征和第二层中间特征；
依此类推，将上一层输出的采样编码特征进行扩张图卷积，得到对应层的编码特征；
再将对应层的编码特征进行随机采样输出对应层的采样编码特征和中间特征；
直到经过M次扩张图卷积和随机采样输出最后一层采样编码特征和最后一层中间特征。
优选地，所述扩张图卷积包括如下步骤：
对输入的特征利用K最近邻算法搜索近邻点；
结合扩张率r扩大感受野，得到相对中心点的k个近邻点；
通过中心点与近邻点之间的相对关系生成每个近邻点的权重；
通过生成的权重对每个点周围近邻点进行加权求和，得到每个点的编码特征。
优选地，所述随机采样将上一层编码特征四分之一的点作为采样编码特征输入下一层，采样前的上一层编码特征作为中间特征输出。
优选地，所述对多层中间特征进行跨层上下文推理得到互补上下文特征包括：
将第一层中间特征作为底层特征，第二层中间特征作为高层特征，对底层特征和高层特征分别进行第一次卷积操作；
将第一次卷积操作后的结果相乘后输入softmax分类器；
将低层特征进行第二次卷积操作后与softmax分类器输出的概率矩阵相乘，再对结果进行第三次卷积操作；
将第三次卷积操作的结果与高层特征进行特征拼接；
将特征拼接的结果进行第四次卷积操作从而输出第一层中间特征和第二层中间特征之间的上下文推理；
将第一层中间特征和第二层中间特征之间的上下文推理再次作为底层特征，将第三层中间特征作为高层特征，重复上述过程，从而得到第一层中间特征、第二层中间特征以及第三层中间特征之间的上下文推理；
以此类推，从而完成多层中间特征的互补上下文特征。
优选地，所述将最终编码特征送入解码器得到解码特征包括通过注意力融合的方式选择性地融合包含几何细节信息的编码层特征，具体为：
对第l层解码特征赋予初始值，并对该初始值进行插值上采样；
计算跨连到第l层解码器的编码特征的注意力权重；
将第l层编码特征与第l层编码特征的注意力权重相乘；
相乘后的结合与插值上采样后的第l层解码特征进行拼接；
拼接后的结果通过多层感知机输出更新第l层解码特征，并输入下一层解码器中；
以此类推，按照上述方式计算其它层解码器的解码特征。
优选地，所述计算跨连到第l层解码器的编码特征的注意力权重包括：
将赋予初始值的第l层解码特征经过插值上采样后通过全连接层得到预分割结果；
将预分割结果转置后与第l层编码特征进行矩阵相乘；
将相乘后的结果输入神经网络的Sigmoid激活函数得到概率矩阵；
将预分割结果与激活函数输出的概率矩阵进行相乘得到跨连到第l层解码器的编码特征的注意力权重。
本发明相比现有技术，具有如下有益效果：
1、适用性强。能够直接处理百万级别点数的大场景点云，无需分块为固定点数，可对任意点数的输入点云进行处理。
2、效率高。现有方法大多针对室内点云或三维物体，计算复杂度高、效率低。相比之下，本发明能够快速实时处理大场景点云，达到0.09秒每个点云的处理速度。
3、精度高。本发明通过对损失信息的补足和降低特征冗余，能够达到较高的语义分割精度，在Semantic3D、SemanticKITTI、S3DIS三个大场景点云数据集上分别达到78.3，54.4和65.3(Area 5)的mIoU。
附图说明
图1为本发明大场景点云语义分割方法的流程图；
图2为将点云初始特征进行扩张图卷积和随机采样的流程图；
图3为扩张图卷积的流程图；
图4为利用多层中间特征进行跨层上下文推理得到最终编码特征的流程图；
图5为最终编码特征生成解码特征的流程图；
图6为编码特征的注意力权重计算流程图；
图7为本发明大场景点云语义分割方法的网络结构图；
图8为采用本发明的方法在三个大场景点云数据集上的语义分割效果图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
参阅图1、图7所示，一种大场景点云语义分割方法，包括如下步骤：
S10：将包含特征信息的三维点云数据进行特征拼接得到点云初始特征
三维点云数据的特征信息主要包括三维坐标信息和RGB颜色信息，先将三维点云数据的特征信息进行拼接得到拼接特征，再将拼接特征通过卷积层或全连接层进行特征融合得到预设输出维度的点云初始特征。
本实施例中，将三维坐标信息和RGB信息拼接得到6维特征，再将6维特征输入到1×1卷积层进行特征融合得到预设输出维度为8的点云初始特征。
虽然大部分三维点云数据的特征信息仅包括三维坐标信息和RGB颜色信息，但是也有包含激光反射强度(intensity)等其它信息，但本申请中只读取三维坐标信息和RGB颜色信息，若特征信息不包含RGB颜色信息，则直接读取三维坐标信息，无需进行特征拼接，直接将三维坐标信息输入卷积层或全连接层。
需要说明的是，卷积层主要包括三个参数，分别是输入特征维度、输出特征维度以及卷积核，输出特征维度不会随输入而改变。
S20：将点云初始特征进行扩张图卷积和随机采样得到多层中间特征和采样编码特征
如图2所示，步骤S20的具体过程如下：
S21：将点云初始特征进行第一次扩张图卷积，得到第一层编码特征。
S22：将第一层编码特征进行随机采样输出第一层采样编码特征和第一层中间特征。
S23：将第一层采样编码特征进行第二次扩张图卷积，得到第二层编码特征。
S24：将第二层编码特征进行随机采样输出第二层采样编码特征和第二层中间特征:。
S25：依此类推，重复步骤S21～S24的过程，将上一层输出的采样编码特征进行扩张图卷积，得到对应层的编码特征，再将对应层的编码特征进行随机采样输出对应层的采样编码特征和中间特征，直到经过M次扩张图卷积和随机采样输出最后一层采样编码特征和最后一层中间特征。
如图3所示，对于扩张图卷积的过程，可以采用如下的方法得到每一层对应的编码特征。
S211：对输入的特征(点云初始特征或者每一层输出的采样编码特征)利用K最近邻(K-NearestNeighbor，KNN)算法搜索近邻点。
S212：结合扩张率r扩大感受野，得到相对中心点的k个近邻点
Figure BDA0002937194090000061
S213：通过中心点i与近邻点j之间的相对关系生成每个近邻点的权重wi,j，其计算公式如下：
Figure BDA0002937194090000062
Figure BDA0002937194090000063
其中MLP为共享权重的多层感知机，fi为中心点i的特征，
Figure BDA0002937194090000064
为近邻点j的特征，hi,j为中心点与近邻点的相对坐标，di,j为中心点与近邻点的距离。
S214：通过生成的权重wi,j对每个点周围近邻点进行加权求和，得到每个点聚合后的编码特征
Figure BDA0002937194090000065
Figure BDA0002937194090000066
需要说明的是，在步骤S20中，随机采样具体是将上一层编码特征四分之一的点作为采样编码特征输入下一层，采样前的上一层编码特征作为中间特征输出。
在本申请中，M取4，这样每层经过4次扩张图卷积和随机采样操作即可得到最终编码特征，点数为输入点云初始特征的1/256。
S30：对多层中间特征进行跨层上下文推理得到互补上下文特征，并拼接到最后一层得到的采样编码特征中得到最终编码特征，具体如图4所示：
S31：将第一层中间特征作为底层特征FL，第二层中间特征作为高层特征FH，对底层特征和高层特征的转置分别进行第一次卷积操作。
S32：将第一次卷积操作后的结果相乘后输入softmax分类器。
S33：将低层特征进行第二次卷积操作后与softmax分类器输出的概率矩阵M相乘，再对结果进行第三次卷积操作。
S34：将第三次卷积操作的结果与高层特征进行特征拼接。
S35：将特征拼接的结果进行第四次卷积操作从而输出第一层中间特征和第二层中间特征之间的上下文推理C(FL,FH)。
步骤S31～S35可以通过如下的计算公式得到相邻两层中间特征之间的上下文推理C(FL,FH)
Figure BDA0002937194090000071
Figure BDA0002937194090000072
其中Wθ、
Figure BDA0002937194090000073
WC、Wv、Wγ均为1×1卷积操作，
Figure BDA0002937194090000074
代表矩阵乘法，
Figure BDA0002937194090000075
为特征维度的拼接。
S36：将第一层中间特征和第二层中间特征之间的上下文推理C(Fl,FH)再次作为底层特征，将第三层中间特征作为高层特征，重复步骤S31～S34的过程，从而得到第一层中间特征、第二层中间特征以及第三层中间特征级联之后的上下文推理。
以此类推，从而完成多层中间特征的互补上下文特征Fa：
Fa＝C(C(C(F1,F2),F3),F4)
上下文推理C(FL,FH)利用跨层特征之间的非局部相互关系，将低层采样前的特征选择性地补充到采样后的下一层中进行特征丰富，通过级联操作，对四层编码特征进行级联上下文推理，并聚合多层上下文特征。
其中Fa包含了多尺度跨层上下文，有利于补充不同层之间由于随机采样造成的信息损失，并获得更丰富的点云编码特征表示。
S40：将最终编码特征送入解码器得到解码特征
该步骤中的解码阶段通过注意力融合的方式选择性地融合包含几何细节信息的编码层特征，具体为如图5所示：
S41：对第l层解码特征赋予初始值，并对该初始值进行插值上采样；
S42：计算跨连到第l层解码器的编码特征的注意力权重Wl；
S43：将第l层编码特征与第l层编码特征的注意力权重相乘；
S44：相乘后的结合与插值上采样后的第l层解码特征进行拼接；
S45：拼接后的结果通过多层感知机输出更新第l层解码特征，并输入下一层解码器中；
以此类推，按照上述方式计算其它层的解码特征。
所以这里的编码层特征指的是连接到第l层解码器的对应层编码器的中间特征。
上述步骤帮助上采样后的点云进行优化，S41～45的计算过程具体如下：
Figure BDA0002937194090000081
其中，Wl为第l层编码特征的注意力权重，μ(·)代表插值上采样操作，
Figure BDA0002937194090000082
为特征维度拼接。
Fl为l层编码层特征，连接到第l层解码器的对应层编码器的中间特征。
Figure BDA0002937194090000083
为l层解码层特征，例如，在第一层解码器中，解码层特征为编码器所输出的最终编码特征；第二层解码器中，解码层特征为第一层解码器经过插值上采样和注意力融合后的输出特征；以此类推。
编码器和解码器之间存在逐层的跳跃连接(skip connection)，且解码器的层数与编码器的层数相同。
如图6所示，步骤S41中跨连到第l层解码器的编码特征的注意力权重Wl按照如下方式计算：
S411：将赋予初始值的第l层解码特征经过插值上采样后通过全连接层得到预分割结果Sl；
S412：将预分割结果转置后与第l层编码特征Fl进行矩阵相乘；
S413：将相乘后的结果输入神经网络的Sigmoid激活函数得到概率矩阵；
S414：将预分割结果与激活函数输出的概率矩阵进行相乘得到跨连到第l层解码器的编码特征的注意力权重。
具体计算公式如下：
Figure BDA0002937194090000084
其中，σ(·)代表神经网络加上Sigmoid激活函数，
Figure BDA0002937194090000085
代表矩阵乘法。
利用注意力权重选择编码层特征中的重要信息融合到解码层中，从而更有效地优化插值后的点云。
S50：将解码特征输入分类器得到分割结果预测
分类器采用全连接层神经网络，如图7所示。
S60：构建损失函数训练并优化模型，保存模型参数。
损失函数采用交叉熵损失函数(cross-entropy loss)，而交叉熵损失函数在形式上与softmax函数有特别的契合关系。
如图8所示，本申请通过对损失信息的补足和降低特征冗余，能够达到较高的语义分割精度，在Semantic3D、SemanticKITTI、S3DIS三个大场景点云数据集上mIoU分别达到78.3，54.4和65.3(Area 5)。
以上对本申请提供的一种大场景点云语义分割方法进行了详细介绍。具体实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (4)

1.一种大场景点云语义分割方法，其特征在于，包括：
将包含特征信息的三维点云数据进行特征拼接得到点云初始特征；
将点云初始特征进行扩张图卷积和随机采样得到多层中间特征和采样编码特征；
对多层中间特征进行跨层上下文推理得到互补上下文特征，并拼接到最后一层得到的采样编码特征中得到最终编码特征；
将最终编码特征进行解码得到解码特征；
将解码特征输入全连接层分类器得到分割结果预测；
构建损失函数训练并优化模型，保存模型参数；
将点云初始特征输入编码器进行扩张图卷积和随机采样得到多层中间特征和编码特征包括：
将点云初始特征进行第一次扩张图卷积，得到第一层编码特征；
将第一层编码特征进行随机采样输出第一层采样编码特征和第一层中间特征；
将第一层采样编码特征进行第二次扩张图卷积，得到第二层编码特征；
将第二层编码特征进行随机采样输出第二层采样编码特征和第二层中间特征；
依此类推，将上一层输出的采样编码特征进行扩张图卷积，得到对应层的编码特征；
再将对应层的编码特征进行随机采样输出对应层的采样编码特征和中间特征；
直到经过M次扩张图卷积和随机采样输出最后一层采样编码特征和最后一层中间特征；
所述扩张图卷积包括如下步骤：
对输入的特征利用K最近邻算法搜索近邻点；
结合扩张率r扩大感受野，得到相对中心点的
Figure DEST_PATH_IMAGE002
个近邻点；
通过中心点与近邻点之间的相对关系生成每个近邻点的权重；
通过生成的权重对每个点周围近邻点进行加权求和，得到每个点的编码特征；
所述将最终编码特征送入解码器得到解码特征包括通过注意力融合的方式选择性地融合包含几何细节信息的编码层特征，具体为：
对第
Figure DEST_PATH_IMAGE004
层解码特征赋予初始值，并对该初始值进行插值上采样；
计算跨连到第
Figure 216168DEST_PATH_IMAGE004
层解码器的编码特征的注意力权重；
将第
Figure 992363DEST_PATH_IMAGE004
层编码特征与第
Figure 568837DEST_PATH_IMAGE004
层编码特征的注意力权重相乘；
相乘后的结合与插值上采样后的第
Figure 698467DEST_PATH_IMAGE004
层解码特征进行拼接；
拼接后的结果通过多层感知机输出更新第
Figure 309577DEST_PATH_IMAGE004
层解码特征，并输入下一层解码器中；
以此类推，按照上述方式计算其它层解码器的解码特征；
所述计算跨连到第
Figure 991094DEST_PATH_IMAGE004
层解码器的编码特征的注意力权重包括：
将赋予初始值的第
Figure 320445DEST_PATH_IMAGE004
层解码特征经过插值上采样后通过全连接层得到预分割结果；
将预分割结果转置后与第
Figure 316082DEST_PATH_IMAGE004
层编码特征进行矩阵相乘；
将相乘后的结果输入神经网络的Sigmoid激活函数得到概率矩阵；
将预分割结果与激活函数输出的概率矩阵进行相乘得到跨连到第
Figure 719382DEST_PATH_IMAGE004
层解码器的编码特征的注意力权重。
2.根据权利要求1所述的一种大场景点云语义分割方法，其特征在于，所述将包含特征信息的三维点云数据进行特征拼接得到点云初始特征包括：
读取三维点云数据的特征信息；
将特征信息拼接得到拼接特征；
将拼接特征通过卷积层或全连接层进行特征融合得到预设输出维度的点云初始特征。
3.根据权利要求1所述的一种大场景点云语义分割方法，其特征在于，所述随机采样将上一层编码特征四分之一的点作为采样编码特征输入下一层，采样前的上一层编码特征作为中间特征输出。
4.根据权利要求1所述的一种大场景点云语义分割方法，其特征在于，所述对多层中间特征进行跨层上下文推理得到互补上下文特征包括：
将第一层中间特征作为底层特征，第二层中间特征作为高层特征，对底层特征和高层特征分别进行第一次卷积操作；
将第一次卷积操作后的结果相乘后输入softmax分类器；
将低层特征进行第二次卷积操作后与softmax分类器输出的概率矩阵相乘，再对结果进行第三次卷积操作；
将第三次卷积操作的结果与高层特征进行特征拼接；
将特征拼接的结果进行第四次卷积操作从而输出第一层中间特征和第二层中间特征之间的上下文推理；
将第一层中间特征和第二层中间特征之间的上下文推理再次作为底层特征，将第三层中间特征作为高层特征，重复上述过程，从而得到第一层中间特征、第二层中间特征以及第三层中间特征之间的上下文推理；
以此类推，从而完成多层中间特征的互补上下文特征。
CN202110164458.0A 2021-02-05 2021-02-05 一种大场景点云语义分割方法 Active CN112819833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110164458.0A CN112819833B (zh) 2021-02-05 2021-02-05 一种大场景点云语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110164458.0A CN112819833B (zh) 2021-02-05 2021-02-05 一种大场景点云语义分割方法

Publications (2)

Publication Number Publication Date
CN112819833A CN112819833A (zh) 2021-05-18
CN112819833B true CN112819833B (zh) 2022-07-12

Family

ID=75861934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110164458.0A Active CN112819833B (zh) 2021-02-05 2021-02-05 一种大场景点云语义分割方法

Country Status (1)

Country Link
CN (1) CN112819833B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177555B (zh) * 2021-05-21 2022-11-04 西南大学 基于跨层级跨尺度跨注意力机制的目标处理方法及装置
CN113393474B (zh) * 2021-06-10 2022-05-13 北京邮电大学 一种基于特征融合的三维点云的分类和分割方法
CN113516663B (zh) * 2021-06-30 2022-09-27 同济大学 点云语义分割方法及装置、电子设备及存储介质
CN113449744A (zh) * 2021-07-15 2021-09-28 东南大学 一种基于深度特征表达的三维点云语义分割方法
CN113744186A (zh) * 2021-07-26 2021-12-03 南开大学 一种融合投影点集分割网络对工件表面缺陷检测的方法
CN114048845B (zh) * 2022-01-14 2022-06-03 深圳大学 点云修复方法、装置、计算机设备和存储介质
CN114241110B (zh) * 2022-02-23 2022-06-03 北京邮电大学 基于邻域聚合蒙特卡罗失活的点云语义不确定度感知方法
CN115131758B (zh) * 2022-07-01 2024-06-14 上海人工智能创新中心 一种基于轻量化点云补全的地面高度估计方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
CN109886272A (zh) * 2019-02-25 2019-06-14 腾讯科技（深圳）有限公司 点云分割方法、装置、计算机可读存储介质和计算机设备
CN110264572A (zh) * 2019-06-21 2019-09-20 哈尔滨工业大学 一种融合几何特性与力学特性的地形建模方法及系统
CN111027559A (zh) * 2019-10-31 2020-04-17 湖南大学 一种基于扩张点卷积空间金字塔池化的点云语义分割方法
CN111862101A (zh) * 2020-07-15 2020-10-30 西安交通大学 一种鸟瞰图编码视角下的3d点云语义分割方法
CN111860425A (zh) * 2020-07-30 2020-10-30 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
CN111860138A (zh) * 2020-06-09 2020-10-30 中南民族大学 基于全融合网络的三维点云语义分割方法及系统
CN112215231A (zh) * 2020-09-29 2021-01-12 浙江工业大学 一种结合空间深度卷积和残差结构的大尺度点云语义分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11004202B2 (en) * 2017-10-09 2021-05-11 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for semantic segmentation of 3D point clouds
US10657388B2 (en) * 2018-03-13 2020-05-19 Honda Motor Co., Ltd. Robust simultaneous localization and mapping via removal of dynamic traffic participants
CN110570429B (zh) * 2019-08-30 2021-12-17 华南理工大学 一种基于三维点云的轻量级实时语义分割方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
CN109886272A (zh) * 2019-02-25 2019-06-14 腾讯科技（深圳）有限公司 点云分割方法、装置、计算机可读存储介质和计算机设备
CN110264572A (zh) * 2019-06-21 2019-09-20 哈尔滨工业大学 一种融合几何特性与力学特性的地形建模方法及系统
CN111027559A (zh) * 2019-10-31 2020-04-17 湖南大学 一种基于扩张点卷积空间金字塔池化的点云语义分割方法
CN111860138A (zh) * 2020-06-09 2020-10-30 中南民族大学 基于全融合网络的三维点云语义分割方法及系统
CN111862101A (zh) * 2020-07-15 2020-10-30 西安交通大学 一种鸟瞰图编码视角下的3d点云语义分割方法
CN111860425A (zh) * 2020-07-30 2020-10-30 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
CN112215231A (zh) * 2020-09-29 2021-01-12 浙江工业大学 一种结合空间深度卷积和残差结构的大尺度点云语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hao Liu et al.."Semantic Context Encoding for Accurate 3D Point Cloud Segmentation".《IEEE Transactions on Multimedia》.2020, *
李文强."基于深度学习的室内点云场景语义理解研究".《中国优秀硕士学位论文全文数据库（电子期刊）》.2019, *

Also Published As

Publication number Publication date
CN112819833A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN112819833B (zh) 一种大场景点云语义分割方法
Tian et al. Cctrans: Simplifying and improving crowd counting with transformer
Gao et al. MSCFNet: A lightweight network with multi-scale context fusion for real-time semantic segmentation
JP5235666B2 (ja) 選択されたセグメントのビット平面表現を用いた連想マトリックス法、システムおよびコンピュータプログラム製品
CN110728219A (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
CN114596520A (zh) 一种第一视角视频动作识别方法及装置
CN111563507A (zh) 一种基于卷积神经网络的室内场景语义分割方法
CN113362242B (zh) 基于多特征融合网络的图像修复方法
CN114119975A (zh) 一种语言引导的跨模态实例分割方法
CN112991350A (zh) 一种基于模态差异缩减的rgb-t图像语义分割方法
CN115222998B (zh) 一种图像分类方法
CN112750201A (zh) 三维重建方法及相关装置、设备
CN112418235A (zh) 一种基于膨胀最近邻特征增强的点云语义分割方法
CN116975350A (zh) 图文检索方法、装置、设备及存储介质
CN116485815A (zh) 基于双尺度编码器网络的医学图像分割方法、设备和介质
CN110633706B (zh) 一种基于金字塔网络的语义分割方法
Shi et al. Lightweight context-aware network using partial-channel transformation for real-time semantic segmentation
CN116958324A (zh) 图像生成模型的训练方法、装置、设备及存储介质
Yi et al. Elanet: effective lightweight attention-guided network for real-time semantic segmentation
Lv et al. An inverted residual based lightweight network for object detection in sweeping robots
Cheng et al. A survey on image semantic segmentation using deep learning techniques
CN112784831B (zh) 融合多层特征增强注意力机制的文字识别方法
CN117876679A (zh) 一种基于卷积神经网络的遥感图像场景分割方法
CN116844004A (zh) 一种面向数字孪生场景的点云自动语义化建模方法
Yu et al. MagConv: Mask-guided convolution for image inpainting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant