CN116597146A - 一种针对激光雷达稀疏点云数据的语义分割方法 - Google Patents
一种针对激光雷达稀疏点云数据的语义分割方法 Download PDFInfo
- Publication number
- CN116597146A CN116597146A CN202310609287.7A CN202310609287A CN116597146A CN 116597146 A CN116597146 A CN 116597146A CN 202310609287 A CN202310609287 A CN 202310609287A CN 116597146 A CN116597146 A CN 116597146A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- processing
- cloud data
- semantic segmentation
- sparse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000011218 segmentation Effects 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 84
- 238000001914 filtration Methods 0.000 claims abstract description 23
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 9
- 238000000280 densification Methods 0.000 claims abstract description 8
- 230000001419 dependent effect Effects 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 18
- 238000001994 activation Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims 1
- 230000002146 bilateral effect Effects 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011541 reaction mixture Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种针对激光雷达稀疏点云数据的语义分割方法，属于激光雷达数据处理领域。本发明以公开激光雷达点云数据集为基础对数据进行稀疏化处理，构建稀疏数据集，之后对点云数据进行基于二次导向滤波的去噪处理，去除明显的噪声，最后以典型的双边上下文增强与自适应融合为基线模型，引入多层图卷积以增强点云中不同点的邻域几何细节信息，引入注意力机制处理用于提取长距离依赖信息，并引入上采样处理以实现稀疏点云的稠密化，建立面向稀疏点云的语义分割模型。采用本发明尽可能平衡设备投入成本及语义分割效果。
Description
技术领域
本发明涉及激光雷达点云数据的语义分割，具体涉及一种针对低线程激光雷达采集的稀疏点云数据的语义分割处理方法，属于激光雷达数据处理领域。
背景技术
随着传感器技术的发展，运用激光雷达采集三维点云数据可应用于自动驾驶、智能家居等领域。不同于二维图像，三维点云数据所表达的物体几何信息不随视角的改变而变化，且可有效抵抗遮挡、光照变化、图像拉伸的影响。此外，深度学习方法以数据为驱动，能自动提取数据特征，备受工业界和学术界所关注。基于深度学习的三维点云语义分割方法也成为了该领域的最主要研究方向。但是，相比于二维图像，三维点云数据的采集成本仍较为昂贵。选择小线程的激光雷达传感器是最直接的节省成本的方法。在对某一场景进行观测时，若选用小线程激光雷达，所采集到的点云数量较少，可能造成有用信息的损失，影响分割效果。因此，如何平衡成本与语义分割效果具有实际研究意义。
面对稀疏点云数据，点云补全方法能够实现稠密点云的生成和估计，其在三维计算机视觉应用中有着重要作用。现在大部分点云补全方法都是基于深度学习模型而展开补全方法可分为以下几类：基于点的方法、基于卷积的方法、基于生成对抗网络的方法、基于图的方法、基于Transformer的方法等。此外，随着计算机技术的不断发展，点云语义分割领域的主流方法已逐渐从依赖几何约束和统计规则的传统方法过渡到基于深度学习的方法。基于深度学习的点云语义分割可主要分为基于投影、基于体素和基于点的分割方法。因此，本发明以典型语义分割深度学习模型为基线，实现稀疏点云语义的分割处理。其在保证语义分割效果优越的同时，降低了对采集设备高成本的要求。
发明内容
本发明的目的在于实现稀疏点云数据的语义分割，首先以公开激光雷达点云数据集SemanticKITTI为基础对数据进行稀疏化处理，构建稀疏数据集Sparse-SemanticKITTI，之后对点云数据进行基于二次导向滤波的去噪处理，去除明显的噪声，最后以典型的双边上下文增强与自适应融合(Bilateral Augmentation and Adaptive Fusion,BAAF)为基线模型，引入多层图卷积以增强点云中不同点的邻域几何细节信息，引入注意力机制处理用于提取长距离依赖信息，并引入上采样处理以实现稀疏点云的稠密化，建立面向稀疏点云的语义分割模型。
具体来说，本发明针对激光雷达稀疏点云数据的语义分割方法，其具体步骤包括：
1)构建稀疏点云数据集Sparse-SemanticKITTI，以公开激光雷达点云数据集SemanticKITTI为基础，进行手动稀疏化处理，使得稀疏后点云数据集Sparse-SemanticKITTI数据量约为原始SemanticKITTI数据量的1/3；
2)在步骤1)的基础上，以经典导向滤波方法为指导，对初始点云进行导向滤波处理，将输出的点云数据作为引导信息辅助完成第二次导向滤波处理，实现稀疏点云的去噪；
3)在步骤2)的基础上，以BAAF为基线模型，引入多层图卷积以增强点云中不同点的邻域几何细节信息，引入注意力机制处理以提取长距离依赖信息，并引入上采样处理以实现稀疏数据的稠密化，完成语义分割模型的建立；
4)在步骤3)基础上，通过Sparse-SemanticKITTI去噪后的数据对所建立的语义分割模型进行参数调优，实现稀疏点云数据的语义分割处理。
进一步，步骤2)具体包括：
2-1)对初始点云P＝{pi∈R3}建立K-D树，以较大的搜索半径进行搜索得到K个邻域，并求得每个邻域的质心，作为初次滤波的导向信息，其中质心的确定方式为：
其中，Pij表示第i个邻域中的第j个点，N(Pi)表示第i个邻域，|N(Pi)|表示第i个邻域中的点数，表示第i个邻域的质心。
2-2)通过线性计算的方式，对每个领域中的每个点分别进行对应调节因子的修正，得到初始滤波结果，该计算公式如下式所示：
Pij'＝aiPij+bi (2)
其中，Pij'表示经过去噪后得到的数据，ai和bi是算法中待确定的线性模型调节因子；
2-3)以第一次导向滤波输出作为引导数据，进一步重复上述过程，完成点云数据的去噪处理。
进一步，步骤2-2)中，可通过N(Pi)代价函数J(ai,bi)来求解该调节因子，该代价函数定义为：
其中，ε是控制滤波效果的一个因子，进一步可推导出调节因子表达式为：
进一步，步骤3)中图卷积处理是由压缩卷积与密集卷积组成的模块组的级联连接以BAAF为基线模型，引入多层图卷积以增强点云中不同点的邻域几何细节信息，具体包括：
3-1)对输入点云数据进行卷积处理，提取初始特征图，该初始特征图与后续不同层级输出结果进行融合；
3-2)对初始特征图进行密集卷积处理，首先通过K近邻算法将c维点云数据转换为图结构G0，尺寸为K×2c，对图进行三层边缘卷积以提取图的特征，该过程表示为
其中，σ(·)为ReLU激活处理；G1,G2分别为第一层和第二层边缘卷积的输出图，其尺寸分别为K×(2c+g)和K×(2c+2g)，输出图G3的尺寸为K×(2c+3g)，g为密集生长率，为三层卷积权重矩阵；对该输出进行图聚合卷积处理，即先重构当前增强图，使其分为g个组，每组d个图，该过程确保2c+3g＝d×g，再通过逆重构处理将图转换为K×(2c+3g)的表达，最后，通过最大边激活函数，从K个边中找到拥有最大响应的边作为输出，
Fe＝fmax([G0,G1,G2,G3]) (7)
其中，fmax(·)为最大激活函数，输出结果Fe尺寸为1×(2c+3g)，该输出结果同样与后续不同层级输出结果进行融合；
3-3)对进行包含1×1卷积和ReLU激活而组成的压缩卷积处理，以进行尺寸的压缩，并与密集卷积构成一个处理模块，实现更深层的特征提取处理，并重复三次该处理模块，完成图卷积处理。
进一步，步骤3)中引入注意力机制处理，用于提取长距离依赖信息，具体包括：
3-4)对于N点的点云数据以及一个预训练的点云分类网络C，计算Jacobian矩阵，
3-5)对Jacobian矩阵中每个点梯度值j(i)进行softmin计算，
之后计算Ai的平均值获得权重ai；以该权重来对进行残差学习，得到注意力机制的输出结果：
进而，将注意力输出结果与图卷积处理结果进行逐点相乘。
进一步，步骤3)中引入上采样处理以实现稀疏数据的稠密化，具体包括：通过多层点shuffle处理实现点云上采样，然后再通过非线性重构处理将特征转换为点云数据，最后将上采样处理结果与原始点云最近邻插值后的结果进行逐点求和，得到上采样处理的结果。
本发明的技术效果如下：
本发明的优点在于提供稀疏点云的三维语义分割的可行性方案，尽可能平衡设备投入成本及语义分割效果。
附图说明
图1：本发明具体实施例中稀疏点云语义分割处理流程图；
图2：本发明具体实施例中稀疏化前后点云数据情况对比图；
图3：本发明具体实施例中二次导向滤波处理流程图；
图4：本发明具体实施例中图卷积处理处理流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，如图1所示，具体涉及一种稀疏点云的语义分割处理方法，其步骤包括：
S101：构建稀疏点云数据集Sparse-SemanticKITTI，以公开激光雷达点云数据集SemanticKITTI为基础，针对原始KITTI Odometry Benchmark的sequence/velodyne文件夹中包含的bin格式文件和label格式文件，在C++环境下搭配PCL库实现手动稀疏化处理，使得稀疏后点云数据集Sparse-SemanticKITTI数据量约为原始SemanticKITTI数据量的1/3；
S102：稀疏点云数据的去噪处理，以经典的导向滤波方法为指导，对Sparse-SemanticKITTI数据进行处理，并以该输出作为引导数据，进一步完成行二次导向滤波处理，实现稀疏点云的去噪；
S103：稀疏点云的语义分割处理，以BAAF为基线模型，引入多层图卷积以增强点云中不同点的邻域几何细节信息，引入注意力机制处理以提取长距离依赖信息，引入上采样处理以实现稀疏数据的稠密化，实现语义分割模型的建立；
S104：通过Sparse-SemanticKITTI去噪后的数据对所建立的语义分割模型进行参数调优，实现稀疏点云数据的语义分割处理。
在S101中，以公开激光雷达点云数据集SemanticKITTI为基础，针对原始KITTIOdometry Benchmark的sequence/velodyne文件夹中包含的bin格式文件和label格式文件，在C++环境下搭配PCL库，按点云数据位置随机稀疏化，实现处理后的点云数据量是原始点云数据的1/3，以一幅点云可视化结果为例，稀疏化前后的呈现结果分别如图2所示；
在S102中，以经典的导向滤波方法为指导，对Sparse-SemanticKITTI数据进行处理，并以该输出作为引导数据，进一步完成行二次导向滤波处理，实现稀疏点云的去噪，该过程如图3所示。
S301：对初始点云P＝{pi∈R3}建立K-D树，从而以较大的搜索半径进行搜索得到K个邻域，并求得每个邻域的质心，作为初次滤波的导向信息，其中质心的确定方式为：
其中，Pij表示第i个邻域中的第j个点，N(Pi)表示第i个邻域，|N(Pi)|表示第i个邻域中的点数，表示第i个邻域的质心。
S302，通过线性计算的方式，对每个领域中的每个点分别进行对应调节因子的修正，得到初始滤波结果，该计算公式如下式所示：
Pij'＝aiPij+bi (2)
其中，Pij'表示经过去噪后得到的数据，ai和bi是算法中待确定的线性模型调节因子，可通过N(Pi)代价函数J(ai,bi)来求解该调节因子，该代价函数定义为：
其中，ε是控制滤波效果的一个因子，进一步可推导出调节因子表达式为：
S303：以第一次导向滤波输出作为引导数据，进一步重复上述过程，完成点云数据的去噪处理。
在S103中，对已完成去噪处理的稀疏点云进行语义分割模型的建立，其以BAAF为基线模型，引入多层图卷积处理来提取特征，增强点云中不同点的邻域几何细节信息的表达，该图卷积处理是由压缩卷积与密集卷积组成的模块组的级联连接。以增强点云中不同点的邻域几何细节信息，该图卷积处理结构如图4所示。
S401：对输入点云数据进行卷积处理，提取初始特征图，该初始特征图还将与后续不同层级输出结果进行融合；
S402：对初始特征图进行密集卷积处理，首先通过K近邻算法将c维点云数据转换为图结构G0，尺寸为K×2c，本发明实施例可以将K值设置为16。之后，对图进行三层边缘卷积以提取图的特征，该过程表示为
其中，σ(· )为ReLU激活处理；G1,G2分别为第一层和第二层边缘卷积的输出图，其尺寸分别为K×(2c+g)和K×(2c+2g)，输出图G3的尺寸为K×(2c+3g)，这里g为密集生长率，本发明固定g为24；为三层卷积权重矩阵。之后，为了增强图之间的关系，对该输出进行图聚合卷积处理，即先重构当前增强图，使其分为g个组，每组d个图，该过程确保2c+3g＝d×g，从而保证图没有丢失，且使图特征之间产生关联。再通过逆重构处理将图转换为K×(2c+3g)的表达。最后，通过最大边激活函数，从K个边中找到拥有最大响应的边作为输出，
Fe＝fmax([G0,G1,G2,G3]) (7)
其中，fmax(·)为最大激活函数，输出结果Fe尺寸为1×(2c+3g)。，该输出结果同样与后续不同层级输出结果进行融合；
S403：对进行包含1×1卷积和ReLU激活而组成的压缩卷积处理，以进行尺寸的压缩，并与密集卷积构成一个处理模块，实现更深层的特征提取处理，并重复三次该处理模块，完成图卷积处理。
在S103中，在BAAF的模型基础上，还需引入注意力机制处理，用于提取长距离依赖信息。具体地，对于N点的点云数据以及一个预训练的点云分类网络C，可以计算Jacobian矩阵，
其中，具有较大梯度值的点更敏感，即改变它们的值将在很大程度上影响最终结果。进而，对Jacobian矩阵中每个点梯度值j(i)进行softmin计算，
之后计算Ai的平均值获得权重ai。可以看出，j(i)越小，Ai越大。以该权重来对进行残差学习，得到注意力机制的输出结果：
进而，将注意力输出结果与图卷积处理结果进行逐点相乘，实现特征表达的增强。
在S103中，进一步引入上采样处理以实现稀疏数据的稠密化，具体是通过多层点shuffle处理实现点云上采样，然后再通过非线性重构处理将特征转换为点云数据，最后将上采样处理结果与原始点云最近邻插值后的结果进行逐点求和，得到上采样处理的结果。将该结果融合至BAAF模型中，进一步完成语义分割处理。至此，本发明实现了稀疏点云的语义分割模型的建立。
S104中，针对所构建的Sparse-SemanticKITTI数据集中的数据进行S102的去噪处理，并以此为基础对所建立的语义分割模型进行训练，完成参数调优，实现稀疏点云数据的语义分割处理。
虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。
Claims (7)
1.一种稀疏点云数据的语义分割方法，其特征在于，具体步骤包括：
1)构建稀疏点云数据集Sparse-SemanticKITTI；
2)在步骤1)的基础上，对初始点云进行导向滤波处理，实现稀疏点云的去噪；
3)在步骤2)的基础上，以BAAF为基线模型，引入多层图卷积处理来提取特征，增强点云中不同点的邻域几何细节信息的表达，引入注意力机制处理以提取长距离依赖信息，并引入上采样处理以实现稀疏数据的稠密化，完成语义分割模型的建立；
4)在步骤3)基础上，通过Sparse-SemanticKITTI去噪后的数据对所建立的语义分割模型进行参数调优，实现稀疏点云数据的语义分割处理。
2.如权利要求1所述的稀疏点云数据的语义分割方法，其特征在于，步骤1)中，以公开激光雷达点云数据集SemanticKITTI为基础，进行手动稀疏化处理，使得稀疏后点云数据集Sparse-SemanticKITTI数据量约为原始SemanticKITTI数据量的1/3。
3.如权利要求1所述的稀疏点云数据的语义分割方法，其特征在于，步骤2)具体包括：
2-1)对初始点云P＝{pi∈R3}建立K-D树，以较大的搜索半径进行搜索得到K个邻域，并求得每个邻域的质心，作为初次滤波的导向信息，其中质心的确定方式为：
其中，Pij表示第i个邻域中的第j个点，N(Pi)表示第i个邻域，|N(Pi)|表示第i个邻域中的点数，表示第i个邻域的质心。
2-2)通过线性计算的方式，对每个领域中的每个点分别进行对应调节因子的修正，得到初始滤波结果，该计算公式如下式所示：
Pij'＝aiPij+bi (2)
其中，Pij'表示经过去噪后得到的数据，ai和bi是算法中待确定的线性模型调节因子；
2-3)以第一次导向滤波输出作为引导数据，进一步重复上述过程，完成点云数据的去噪处理。
4.如权利要求3所述的稀疏点云数据的语义分割方法，其特征在于，步骤2-2)中，通过N(Pi)代价函数J(ai,bi)来求解该调节因子，该代价函数定义为：
其中，ε是控制滤波效果的一个因子，进一步可推导出调节因子表达式为：
5.如权利要求1所述的稀疏点云数据的语义分割方法，其特征在于，步骤3)中图卷积处理是由压缩卷积与密集卷积组成的模块组的级联连接以BAAF为基线模型，引入多层图卷积以增强点云中不同点的邻域几何细节信息，具体包括：
3-1)对输入点云数据进行卷积处理，提取初始特征图，该初始特征图与后续不同层级输出结果进行融合；
3-2)对初始特征图进行密集卷积处理，首先通过K近邻算法将c维点云数据转换为图结构G0，尺寸为K×2c，对图进行三层边缘卷积以提取图的特征，该过程表示为
其中，σ(·)为ReLU激活处理；G1,G2分别为第一层和第二层边缘卷积的输出图，其尺寸分别为K×(2c+g)和K×(2c+2g)，输出图G3的尺寸为K×(2c+3g)，g为密集生长率，为三层卷积权重矩阵；对该输出进行图聚合卷积处理，即先重构当前增强图，使其分为g个组，每组d个图，该过程确保2c+3g＝d×g，再通过逆重构处理将图转换为K×(2c+3g)的表达，最后，通过最大边激活函数，从K个边中找到拥有最大响应的边作为输出，
Fe＝fmax([G0,G1,G2,G3]) (7)
其中，fmax(·)为最大激活函数，输出结果Fe尺寸为1×(2c+3g)，该输出结果同样与后续不同层级输出结果进行融合；
3-3)对进行包含1×1卷积和ReLU激活而组成的压缩卷积处理，以进行尺寸的压缩，并与密集卷积构成一个处理模块，实现更深层的特征提取处理，并重复三次该处理模块，完成图卷积处理。
6.如权利要求1所述的稀疏点云数据的语义分割方法，其特征在于，步骤3)中引入注意力机制处理，用于提取长距离依赖信息，具体包括：
3-4)对于N点的点云数据以及一个预训练的点云分类网络C，计算Jacobian矩阵，
3-5)对Jacobian矩阵中每个点梯度值j(i)进行softmin计算，
之后计算Ai的平均值获得权重ai；以该权重来对进行残差学习，得到注意力机制的输出结果：
进而，将注意力输出结果与图卷积处理结果进行逐点相乘。
7.如权利要求1所述的稀疏点云数据的语义分割方法，其特征在于，步骤3)中引入上采样处理以实现稀疏数据的稠密化，具体包括：通过多层点shuffle处理实现点云上采样，然后再通过非线性重构处理将特征转换为点云数据，最后将上采样处理结果与原始点云最近邻插值后的结果进行逐点求和，得到上采样处理的结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310609287.7A CN116597146A (zh) | 2023-05-26 | 2023-05-26 | 一种针对激光雷达稀疏点云数据的语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310609287.7A CN116597146A (zh) | 2023-05-26 | 2023-05-26 | 一种针对激光雷达稀疏点云数据的语义分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116597146A true CN116597146A (zh) | 2023-08-15 |
Family
ID=87606073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310609287.7A Pending CN116597146A (zh) | 2023-05-26 | 2023-05-26 | 一种针对激光雷达稀疏点云数据的语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116597146A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117557796A (zh) * | 2024-01-12 | 2024-02-13 | 山东省凯麟环保设备股份有限公司 | 一种3d点云语义分割方法、系统、设备及介质 |
-
2023
- 2023-05-26 CN CN202310609287.7A patent/CN116597146A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117557796A (zh) * | 2024-01-12 | 2024-02-13 | 山东省凯麟环保设备股份有限公司 | 一种3d点云语义分割方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112329800B (zh) | 一种基于全局信息引导残差注意力的显著性目标检测方法 | |
| CN111402129B (zh) | 一种基于联合上采样卷积神经网络的双目立体匹配方法 | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| CN111696148A (zh) | 基于卷积神经网络的端到端立体匹配方法 | |
| CN114255238A (zh) | 一种融合图像特征的三维点云场景分割方法及系统 | |
| CN112967178B (zh) | 一种图像转换方法、装置、设备及存储介质 | |
| CN111915660A (zh) | 基于共享特征和注意力上采样的双目视差匹配方法及系统 | |
| CN111695494A (zh) | 一种基于多视角卷积池化的三维点云数据分类方法 | |
| CN112419191B (zh) | 基于卷积神经网络的图像运动模糊去除方法 | |
| CN113096239B (zh) | 一种基于深度学习的三维点云重建方法 | |
| CN116612288B (zh) | 一种多尺度轻量级实时语义分割方法、系统 | |
| CN113792641A (zh) | 一种结合多谱注意力机制的高分辨率轻量级的人体姿态估计方法 | |
| CN112734643A (zh) | 一种基于级联网络的轻量图像超分辨率重建方法 | |
| CN116597146A (zh) | 一种针对激光雷达稀疏点云数据的语义分割方法 | |
| CN114220126A (zh) | 一种目标检测系统及获取方法 | |
| CN112257727A (zh) | 一种基于深度学习自适应可变形卷积的特征图像提取方法 | |
| CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
| CN116912405A (zh) | 一种基于改进MVSNet的三维重建方法及系统 | |
| CN117576402B (zh) | 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法 | |
| CN110148083B (zh) | 基于快速bemd和深度学习的图像融合方法 | |
| CN105913451B (zh) | 一种基于图模型的自然图像超像素分割方法 | |
| CN114004775A (zh) | 结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法 | |
| CN117593187A (zh) | 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法 | |
| CN115965844B (zh) | 基于视觉显著性先验知识的多聚焦图像融合方法 | |
| US20220398696A1 (en) | Image processing method and device, and computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |