CN116416586B - 基于rgb点云的地图元素感知方法、终端及存储介质 - Google Patents
基于rgb点云的地图元素感知方法、终端及存储介质 Download PDFInfo
- Publication number
- CN116416586B CN116416586B CN202211632013.1A CN202211632013A CN116416586B CN 116416586 B CN116416586 B CN 116416586B CN 202211632013 A CN202211632013 A CN 202211632013A CN 116416586 B CN116416586 B CN 116416586B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- map element
- rgb point
- voxelized
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000008447 perception Effects 0.000 claims abstract description 74
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001300198 Caperonia palustris Species 0.000 description 1
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于RGB点云的地图元素感知方法、终端及存储介质，方法包括：对RGB点云进行体素化处理，得到体素化RGB点云；将所述体素化RGB点云输入地图元素感知模型进行语义标注，得到各地图元素的语义标注信息；其中，所述地图元素感知模型为具有多种不同扩张倍率感受野的模型；输出所述RGB点云中各地图元素的语义标注信息。本发明提出扩张注意力模块进行更有效的卷积计算，构建更为复杂的多尺度空间感知模块，用于地图元素的语义标注，解决稀疏性BEV中的地图元素感知问题，提高感知精度。
Description
技术领域
本发明涉及自动驾驶技术领域，尤其涉及的是基于RGB点云的地图元素感知方法、终端及存储介质。
背景技术
传统地图生产需要大量的人工标注，随着自动驾驶技术的迅速发展，需要大量不同类别的标注，因此人工生产效率显得越来越不足，自动化的标注系统越来越重要。目前，地图自动标注系统通常在BEV(Bird Eye View，鸟瞰图)空间实现标注的自动化，其自动化的重要前提是BEV空间地图中实现语义感知，目前存在的主流BEV语义感知模型类型及其缺点如下：
基于透视变换的BEV感知模型；将传统逆透视变换引入到神经网络中，将前视图像的语义分割映射到BEV空间，这种方法对于局部平坦道路效果较好，但对于地平面上方的车辆和行人无效。该类网络模型只能应对简单的输入场景，输入的前视图像平坦道路，无法应对真实自动驾驶场景中交通参与者众多和道路环境工况复杂的情况。
基于隐式变换的端对端BEV感知模型；建立从前视图像到BEV语义图的端到端神经网络。这类方法由于两个视角的正交性导致的信息缺失，以及前视图像中的深度歧义性等问题，存在不可避免的畸变、拖尾效应以及纹理信息错误。
基于场景深度估计的BEV感知模型。利用相机内参来完成坐标转换过程，并且利用不同网络层的输出，估计不同深度下的BEV特征，通过显式视角变换来实现前视图像到BEV语义图转换的方法。但其深度估计存在误差较大，未有效解决精度低的问题。
因此，现有技术还有待改进。
发明内容
本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供基于RGB点云的地图元素感知方法、终端及存储介质，以解决传统的BEV感知方法精度低的技术问题。
本发明解决技术问题所采用的技术方案如下：
第一方面，本发明提供一种基于RGB点云的地图元素感知方法，包括：
对RGB点云进行体素化处理，得到体素化RGB点云；
将所述体素化RGB点云输入地图元素感知模型进行语义标注，得到各地图元素的语义标注信息；其中，所述地图元素感知模型为具有多种不同扩张倍率感受野的模型；
输出所述RGB点云中各地图元素的语义标注信息。
在一种实现方式中，所述对RGB点云进行体素化处理，得到体素化RGB点云，包括：
对环视相机的数据和激光雷达的点云进行标定，得到所述环视相机与所述激光雷达之间的标定矩阵；
根据所述标定矩阵生成所述RGB点云。
在一种实现方式中，所述对RGB点云进行体素化处理，得到体素化RGB点云，包括：
对所述RGB点云进行体素化处理，得到所述体素化RGB点云；
确定所述体素化RGB点云中的特定点云，根据所述特定点云的输入高度信息构建对应的特征通道；
将所述体素化RGB点云作为所述地图元素感知模型的输入。
在一种实现方式中，所述地图元素感知模型包括：多尺度空间感知输入模块、编码模块、多尺度空间感知输出模块以及解码层与语义分割头模块。
在一种实现方式中，所述多尺度空间感知输入模块包括：多个不同扩张倍率的卷积注意力模块。
在一种实现方式中，所述将所述体素化RGB点云输入地图元素感知模型进行语义标注，得到各地图元素的语义标注信息，包括：
将所述体素化RGB点云输入所述多尺度空间感知输入模块，通过所述多尺度空间感知输入模块中不同扩张倍率的卷积注意力模块进行卷积及拼接操作，得到第一拼接特征；
将所述第一拼接特征输入所述编码层，通过所述编码层对所述第一拼接特征进行编码，得到编码后的特征；
将所述编码后的特征输入所述多尺度空间感知输出模块，通过所述多尺度空间感知输出模块对所述编码后的特征进行卷积、池化以及拼接操作，得到第二拼接特征；
将所述第二拼接特征输入所述解码层与语义分割头模块，通过解码层对所述第二拼接特征进行解码，并通过语义分割头对所述解码层输出特征进行语义标注，得到所述语义标注信息。
在一种实现方式中，所述通过所述多尺度空间感知输入模块中不同扩张倍率的卷积注意力模块进行卷积及拼接操作，得到第一拼接特征，包括：
通过所述多尺度空间感知输入模块中不同扩张倍率的卷积层进行卷积操作，得到不同扩张倍率的特征；
根据注意力机制对得到的不同扩张倍率的特征进行权重赋值；
根据赋值的权重对不同扩张倍率的特征进行拼接操作，得到所述第一拼接特征。
在一种实现方式中，所述拼接操作为增加指定维度方向的通道长度的操作。
第二方面，本发明还提供一种终端，包括：处理器以及存储器，所述存储器存储有基于RGB点云的地图元素感知程序，所述基于RGB点云的地图元素感知程序被所述处理器执行时用于实现如第一方面所述的基于RGB点云的地图元素感知方法的操作。
第三方面，本发明还提供一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有基于RGB点云的地图元素感知程序，所述基于RGB点云的地图元素感知程序被处理器执行时用于实现如第一方面所述的基于RGB点云的地图元素感知方法的操作。
本发明采用上述技术方案具有以下效果：
本发明通过对RGB点云进行体素化处理，得到体素化RGB点云，可以将体素化RGB点云输入地图元素感知模型进行语义标注，得到各地图元素的语义标注信息，并且输出RGB点云中各地图元素的语义标注信息；本发明通过构建具有多种不同扩张倍率感受野的地图元素感知模型，可利用其中的扩张注意力模块进行更有效的卷积计算，并通过更为复杂的多尺度空间感知模块进行不同倍率的感知，可以解决稀疏性BEV中的地图元素感知问题，提高感知精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明的一种实现方式中基于RGB点云的地图元素感知方法的流程图。
图2是本发明的一种实现方式中数据处理流程图。
图3是本发明的一种实现方式中卷积注意力模块(DAM模块)的结构示意图。
图4是本发明的一种实现方式中不同扩张率DAM构成的多尺度空间感知输入模块(MSS输入模块)的结构示意图。
图5是本发明的一种实现方式中不同扩张率DAM构成的多尺度空间感知输出模块(MSS输出模块)的结构示意图。
图6是本发明的一种实现方式中地图元素感知模型的结构示意图。
图7是本发明的一种实现方式中终端的功能原理图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
示例性方法
目前存在的主流BEV语义感知模型类型及其缺点如下：
基于透视变换的BEV感知模型；将传统逆透视变换引入到神经网络中，将前视图像的语义分割映射到BEV空间，这种方法对于局部平坦道路效果较好，但对于地平面上方的车辆和行人无效。该类网络模型只能应对简单的输入场景，输入的前视图像平坦道路，无法应对真实自动驾驶场景中交通参与者众多和道路环境工况复杂的情况。
基于隐式变换的端对端BEV感知模型；建立从前视图像到BEV语义图的端到端神经网络。这类方法由于两个视角的正交性导致的信息缺失，以及前视图像中的深度歧义性等问题，存在不可避免的畸变、拖尾效应以及纹理信息错误。
基于场景深度估计的BEV感知模型。利用相机内参来完成坐标转换过程，并且利用不同网络层的输出，估计不同深度下的BEV特征，通过显式视角变换来实现前视图像到BEV语义图转换的方法。但其深度估计存在误差较大，未有效解决精度低的问题。
针对上述技术问题，本发明实施例提供一种基于RGB点云的地图元素感知方法，本发明实施例通过构建具有多种不同扩张倍率感受野的地图元素感知模型，可利用其中的扩张注意力模块进行更有效的卷积计算，并通过更为复杂的多尺度空间感知模块进行不同倍率的感知，可以解决稀疏性BEV中的地图元素感知问题，提高感知精度。
如图1所示，本发明实施例提供一种基于RGB点云的地图元素感知方法，包括以下步骤：
步骤S100，对RGB点云进行体素化处理，得到体素化RGB点云。
在本实施例中，所述基于RGB点云的地图元素感知方法应用于终端中，所述终端包括但不限于：计算机以及移动终端等设备。
本实施例中着重解决BEV空间中地图元素的感知精度问题。由于BEV空间是RGB点云空间的一个视角下(自顶向下)的投影，因此，RGB点云空间包含比BEV空间更多的信息同时感知空间向下兼容；本实施例中以RGB点云为基础，通过对RGB点云进行体素化处理，利用具有多种不同扩张倍率感受野的地图元素感知模型对其进行元素感知及语义标注，从而输出更为精确的地图元素的感知结果。
具体地，本实施例的一种实现方式中，步骤S100之前包括以下步骤：
步骤S010，对环视相机的数据和激光雷达的点云进行标定，得到所述环视相机与所述激光雷达之间的标定矩阵；
步骤S020，根据所述标定矩阵生成所述RGB点云。
在本实施例中，RGB点云由相机的像素点和激光雷达相互关联生成的，在生成RGB点云之前，需要对环视相机的数据和激光雷达的点云进行标定，得到标定矩阵；其中，该标定矩阵能够代表环视相机的数据和激光雷达的点云之间的关联关系(例如，坐标系的坐标关系)；通过上述标定的过程，在获取环视相机的数据以及激光雷达的点云数据后，根据该标定矩阵即可生成环视相机拍摄范围及激光雷达监测范围内的RGB点云。
具体地，本实施例的一种实现方式中，步骤S100包括以下步骤：
步骤S101，对所述RGB点云进行体素化处理，得到所述体素化RGB点云；
步骤S102，确定所述体素化RGB点云中的特定点云，根据所述特定点云的输入高度信息构建对应的特征通道；
步骤S103，将所述体素化RGB点云作为所述地图元素感知模型的输入。
在本实施例中，在生成RGB点云后，还需要对RGB点云进行体素化处理，从而得到体素化RGB点云；在体素化处理的过程中，可使用常规体素网格从输入点云创建统一下采样的点云，具体为：可将RGB点云中的点存储到体素中，然后将每个占用的体素通过平均内部的所有点来生成精确的一个点，得到体素化RGB点云。
在本实施例中，对于特别的体素化RGB点云，将这些特别的体素化RGB点云的输入高度信息作为不同特征通道来处理。
在本实施例中，得到体素化RGB点云后，将体素化RGB点云输入提出的构建地图元素的感知模型进行RGB点云中地图元素的语义标注，其中，语义标注则由深度学习中的语义分割头构成。
如图1所示，在本发明实施例的一种实现方式中，基于RGB点云的地图元素感知方法还包括以下步骤：
步骤S200，将所述体素化RGB点云输入地图元素感知模型进行语义标注，得到各地图元素的语义标注信息。
在本实施例中，由于激光雷达的角分辨率有限，因此其角分辨很大程度上影响了BEV空间的分辨率，即BEV空间的分辨率可能不足以推断出正确的地图元素。随着激光雷达探测距离的增加，点云空间投影到BEV时将变得更加稀疏。
本实施例中为了解决稀疏性BEV中的地图元素的感知问题，提高感知精度，本实施例中提出扩张注意力模块(Dilated Attention Module，即DAM模块，以下简称DAM模块)进行更有效的卷积计算，然后采用DAM模块作为基本单元构建更为复杂的多尺度空间感知模块(Multi-Scale Spatial Perception，即MSS模块)，最后由MSS模块、编码和解码层构建地图元素的感知模型，用于地图元素的语义标注。所述感知模型至少包括输入MSS模块、编码和解码模块以及输出MSS模块。
具体地，本实施例的一种实现方式中，步骤S200包括以下步骤：
步骤S201，将所述体素化RGB点云输入所述多尺度空间感知输入模块，通过所述多尺度空间感知输入模块中不同扩张倍率的卷积注意力模块进行卷积及拼接操作，得到第一拼接特征；
步骤S202，将所述第一拼接特征输入所述编码层，通过所述编码层对所述第一拼接特征进行编码，得到编码后的特征；
步骤S203，将所述编码后的特征输入所述多尺度空间感知输出模块，通过所述多尺度空间感知输出模块对所述编码后的特征进行卷积、池化以及拼接操作，得到第二拼接特征；
步骤S204，将所述第二拼接特征输入所述解码层与语义分割头模块，通过解码层对所述第二拼接特征进行解码，并通过语义分割头对所述解码层输出特征进行语义标注，得到所述语义标注信息。
在本实施例中，如图6所示，地图元素感知模型包括：多尺度空间感知输入模块(即MSS输入模块)、编码模块、多尺度空间感知输出模块(即MSS输出模块)以及解码层与语义分割头模块。
如图2所示，体素化RGB点云分别经过MSS输入模块、编码模块、MSS输出模块以及解码层与语义分割头处理，最后输出RGB点云中各地图元素的语义标注信息。
在本实施例中，MSS输入模块和MSS输出模块中均包含多个不同扩张倍率的卷积注意力模块(即DAM模块)；因此，本实施例中将DAM模块作为地图元素感知模型中的基本单元模块。
在本实施例中，MSS输入模块的结构如图4所示，在MSS输入模块的数据处理过程中，该模块的输入数据为体素化的RGB点云。输入MSS模块由不同扩张倍率的卷积DAM模块构成，包含1到N的扩张率。不同的扩张率DAM输出的特征，最后由拼接操作将不同扩张率DAM模块输出的不同特征进行拼接，其中，拼接操作不增加特征张量的维度，只增加某个维度方向的长度，如开源库Pytorch的torch.cat()操作。
在本实施例中，MSS输入模块输出的数据经由编码模块处理，在编码模块的数据处理过程中，将数据处理结果(即第一拼接特征)输入编码层，编码层由通用特征提取网络构成，通过编码模块处理后，输出编码后的特征。
在本实施例中，编码后的特征经过MSS输出模块处理，MSS输出模块的结构如图5所示，该模块的输入数据由编码模块的输出提供，如图5所示。输出MSS模块由不同扩张倍率的卷积DAM模块和池化DAM模块构成，包含1到N的扩张率。DAM模块输出的特征，最后由拼接操作将不同特征进行拼接，其中，拼接操作与输入MSS模块的拼接操作相同。
在本实施例中，MSS输出模块输出的数据(即第二拼接特征)通过解码层和语义分割头得到语义标注信息，其中，解码层由4倍上采样层和1*1卷积构成；在解码层和语义分割头的数据处理过程中，将MSS输出模块输出的特征进行4倍上采样，然后通过特征通道调整输出语义标注信息。
具体地，本实施例的一种实现方式中，步骤S201包括以下步骤：
步骤S201a，通过所述多尺度空间感知输入模块中不同扩张倍率的卷积层进行卷积操作，得到不同扩张倍率的特征；
步骤S201b，根据注意力机制对得到的不同扩张倍率的特征进行权重赋值；
步骤S201c，根据赋值的权重对不同扩张倍率的特征进行拼接操作，得到所述第一拼接特征。
在本实施例中，基本单元DAM模块的结构如图3所示。
DAM模块作为本实施例中的基础构建单元，DAM模块由不同倍率的扩张卷积、自注意力机制(SE)模块构成，不同倍率扩张卷积核提供了不同的感受野，使得RGB点云体素在稀疏情况下，其卷积核的计算更有效，提升了特征提取能力。小倍率可以提供更为细节的感知，大倍率扩张卷积核可以提供全局的感知，因此，不同倍率的DAM模块，可以大大提升感知性能。
SE实现注意力机制，首先对特征层C*H*W进行全局平均池化，得到1*1*C大小的特征图，该特征图具有全局感受野。然后使用一个全连接神经网络，对1*1*C大小的特征图进行非线性变换，得到的结果对每个通道(即RGB点云的高度信息)赋予权重，可以有效的提取的点云高度方向的信息，与此同时提高了网络运行时间，减少了网络参数计算。
如图1所示，在本发明实施例的一种实现方式中，基于RGB点云的地图元素感知方法还包括以下步骤：
步骤S300，输出所述RGB点云中各地图元素的语义标注信息。
在本实施例中，以RGB点云为感知架构，可以获取比BEV空间更多的信息，从而可以避免空间转换过程中出现信息丢失的现象；并且，以不同倍率的扩张卷积、自注意力机制(SE)模块对RGB点云中的信息进行感知，可以有效的提取的点云高度方向的信息。
通过本实施例中的地图元素感知模型进行语义标注，可以精确地得到各地图元素的语义标注信息，从而实现地图元素自动标注的过程；自动化标注后的包含语义标注信息的RGB点云，可以作为自动驾驶中的地图，为自动驾驶过程提供更多的地图数据及导航数据。
在本实施例中，基础构建单元DAM模块由不同倍率的扩张卷积、自注意力机制(SE)模块构成。基础感知单元DAM模块使得点云稀疏情况下的卷积核的计算更有效。SE实现的注意力机制，对高度信息赋予权重，可以有效的提取的点云高度方向的信息。
在本实施例中，MSS输入模块、MSS输出模块由不同扩张倍率的卷积DAM模块构成，包含1到N的扩张率，然后对不同的扩张率DAM输出的特征进行拼接。其拼接操作不增加特征张量的维度，只增加某个维度方向的长度，如开源库Pytorch的torch.cat()操作，提高了感知精度。
本实施例通过上述技术方案达到以下技术效果：
本实施例通过对RGB点云进行体素化处理，得到体素化RGB点云，可以将体素化RGB点云输入地图元素感知模型进行语义标注，得到各地图元素的语义标注信息，并且输出RGB点云中各地图元素的语义标注信息；本实施例通过构建具有多种不同扩张倍率感受野的地图元素感知模型，可利用其中的扩张注意力模块进行更有效的卷积计算，并通过更为复杂的多尺度空间感知模块进行不同倍率的感知，可以解决稀疏性BEV中的地图元素感知问题，提高感知精度。
示例性设备
基于上述实施例，本发明还提供一种终端，包括：通过系统总线连接的处理器、存储器、接口、显示屏以及通讯模块；其中，所述处理器用于提供计算和控制能力；所述存储器包括存储介质以及内存储器；所述存储介质存储有操作系统和计算机程序；所述内存储器为所述存储介质中的操作系统和计算机程序的运行提供环境；所述接口用于连接外部设备，例如，移动终端以及计算机等设备；所述显示屏用于显示相应的信息；所述通讯模块用于与云端服务器或移动终端进行通讯。
所述计算机程序被所述处理器执行时用以实现一种基于RGB点云的地图元素感知方法的操作。
本领域技术人员可以理解的是，图7中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端，其中，包括：处理器和存储器，所述存储器存储有基于RGB点云的地图元素感知程序，所述基于RGB点云的地图元素感知程序被所述处理器执行时用于实现如上所述的基于RGB点云的地图元素感知方法的操作。
在一个实施例中，提供了一种存储介质，其中，所述存储介质存储有基于RGB点云的地图元素感知程序，所述基于RGB点云的地图元素感知程序被所述处理器执行时用于实现如上所述的基于RGB点云的地图元素感知方法的操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
综上，本发明提供了一种基于RGB点云的地图元素感知方法、终端及存储介质，方法包括：对RGB点云进行体素化处理，得到体素化RGB点云；将所述体素化RGB点云输入地图元素感知模型进行语义标注，得到各地图元素的语义标注信息；其中，所述地图元素感知模型为具有多种不同扩张倍率感受野的模型；输出所述RGB点云中各地图元素的语义标注信息。本发明提出扩张注意力模块进行更有效的卷积计算，构建更为复杂的多尺度空间感知模块，用于地图元素的语义标注，解决稀疏性BEV中的地图元素感知问题，提高感知精度。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (6)
1.一种基于RGB点云的地图元素感知方法，其特征在于，包括：
对RGB点云进行体素化处理，得到体素化RGB点云；
将所述体素化RGB点云输入地图元素感知模型进行语义标注，得到各地图元素的语义标注信息；其中，所述地图元素感知模型为具有多种不同扩张倍率感受野的模型；
输出所述RGB点云中各地图元素的语义标注信息；
所述地图元素感知模型包括：多尺度空间感知输入模块、编码模块、多尺度空间感知输出模块以及解码层与语义分割头模块；
所述多尺度空间感知输入模块包括：多个不同扩张倍率的卷积注意力模块；
所述将所述体素化RGB点云输入地图元素感知模型进行语义标注，得到各地图元素的语义标注信息，包括：
将所述体素化RGB点云输入所述多尺度空间感知输入模块，通过所述多尺度空间感知输入模块中不同扩张倍率的卷积注意力模块进行卷积及拼接操作，得到第一拼接特征；
将所述第一拼接特征输入所述编码模块，通过所述编码模块对所述第一拼接特征进行编码，得到编码后的特征；
将所述编码后的特征输入所述多尺度空间感知输出模块，通过所述多尺度空间感知输出模块对所述编码后的特征进行卷积、池化以及拼接操作，得到第二拼接特征；
将所述第二拼接特征输入所述解码层与语义分割头模块，通过解码层对所述第二拼接特征进行解码，并通过语义分割头对所述解码层输出特征进行语义标注，得到所述语义标注信息；所述通过所述多尺度空间感知输入模块中不同扩张倍率的卷积注意力模块进行卷积及拼接操作，得到第一拼接特征，包括：
通过所述多尺度空间感知输入模块中不同扩张倍率的卷积层进行卷积操作，得到不同扩张倍率的特征；
根据注意力机制对得到的不同扩张倍率的特征进行权重赋值；
根据赋值的权重对不同扩张倍率的特征进行拼接操作，得到所述第一拼接特征。
2.根据权利要求1所述的基于RGB点云的地图元素感知方法，其特征在于，所述对RGB点云进行体素化处理，得到体素化RGB点云，包括：
对环视相机的数据和激光雷达的点云进行标定，得到所述环视相机与所述激光雷达之间的标定矩阵；
根据所述标定矩阵生成所述RGB点云。
3.根据权利要求1所述的基于RGB点云的地图元素感知方法，其特征在于，所述对RGB点云进行体素化处理，得到体素化RGB点云，包括：
对所述RGB点云进行体素化处理，得到所述体素化RGB点云；
确定所述体素化RGB点云中的特定点云，根据所述特定点云的输入高度信息构建对应的特征通道；
将所述体素化RGB点云作为所述地图元素感知模型的输入。
4.根据权利要求1所述的基于RGB点云的地图元素感知方法，其特征在于，所述拼接操作为增加指定维度方向的通道长度的操作。
5.一种终端，其特征在于，包括：处理器以及存储器，所述存储器存储有基于RGB点云的地图元素感知程序，所述基于RGB点云的地图元素感知程序被所述处理器执行时用于实现如权利要求1-4中任意一项所述的基于RGB点云的地图元素感知方法的操作。
6.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质存储有基于RGB点云的地图元素感知程序，所述基于RGB点云的地图元素感知程序被处理器执行时用于实现如权利要求1-4中任意一项所述的基于RGB点云的地图元素感知方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211632013.1A CN116416586B (zh) | 2022-12-19 | 2022-12-19 | 基于rgb点云的地图元素感知方法、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211632013.1A CN116416586B (zh) | 2022-12-19 | 2022-12-19 | 基于rgb点云的地图元素感知方法、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116416586A CN116416586A (zh) | 2023-07-11 |
| CN116416586B true CN116416586B (zh) | 2024-04-02 |
Family
ID=87050401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211632013.1A Active CN116416586B (zh) | 2022-12-19 | 2022-12-19 | 基于rgb点云的地图元素感知方法、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116416586B (zh) |
Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110245709A (zh) * | 2019-06-18 | 2019-09-17 | 西安电子科技大学 | 基于深度学习和自注意力的3d点云数据语义分割方法 |
| CN110738200A (zh) * | 2019-12-23 | 2020-01-31 | 广州赛特智能科技有限公司 | 车道线3d点云地图构建方法、电子设备及存储介质 |
| CN110929692A (zh) * | 2019-12-11 | 2020-03-27 | 中国科学院长春光学精密机械与物理研究所 | 一种基于多传感器信息融合的三维目标检测方法及装置 |
| US10650278B1 (en) * | 2017-07-21 | 2020-05-12 | Apple Inc. | Semantic labeling of point clouds using images |
| US10839530B1 (en) * | 2018-09-04 | 2020-11-17 | Apple Inc. | Moving point detection |
| CN112105890A (zh) * | 2019-01-30 | 2020-12-18 | 百度时代网络技术（北京）有限公司 | 用于自动驾驶车辆的基于rgb点云的地图生成系统 |
| CN112731436A (zh) * | 2020-12-17 | 2021-04-30 | 浙江大学 | 基于点云上采样的多模态数据融合可行驶区域检测方法 |
| CN112949640A (zh) * | 2021-01-29 | 2021-06-11 | 罗普特科技集团股份有限公司 | 点云语义分割方法、装置、计算设备及存储介质 |
| CN113159151A (zh) * | 2021-04-12 | 2021-07-23 | 中国科学技术大学 | 面向自动驾驶的多传感器深度融合3d目标检测方法 |
| CN113345106A (zh) * | 2021-06-24 | 2021-09-03 | 西南大学 | 一种基于多尺度多层级转换器的三维点云分析方法及系统 |
| CN113763539A (zh) * | 2021-09-09 | 2021-12-07 | 哈尔滨工业大学（深圳） | 一种基于图像和三维输入的隐式函数三维重建方法 |
| CN113888691A (zh) * | 2020-07-03 | 2022-01-04 | 上海大界机器人科技有限公司 | 构建建筑场景语义地图的方法、装置及储存介质 |
| CN114140765A (zh) * | 2021-11-12 | 2022-03-04 | 北京航空航天大学 | 一种障碍物感知方法、装置及存储介质 |
| CN114194211A (zh) * | 2021-11-30 | 2022-03-18 | 浪潮(北京)电子信息产业有限公司 | 一种自动驾驶方法、装置及电子设备和存储介质 |
| WO2022088676A1 (zh) * | 2020-10-29 | 2022-05-05 | 平安科技（深圳）有限公司 | 三维点云语义分割方法、装置、设备及介质 |
| CN114494821A (zh) * | 2021-12-16 | 2022-05-13 | 广西壮族自治区自然资源遥感院 | 基于特征多尺度感知与自适应聚合的遥感影像云检测方法 |
| CN114511786A (zh) * | 2022-04-20 | 2022-05-17 | 中国石油大学(华东) | 融合多时相信息和分通道密集卷积的遥感图像去云方法 |
| CN114627183A (zh) * | 2022-02-25 | 2022-06-14 | 浙江零跑科技股份有限公司 | 一种激光点云3d目标检测方法 |
| CN114821074A (zh) * | 2022-07-01 | 2022-07-29 | 湖南盛鼎科技发展有限责任公司 | 机载liDAR点云语义分割方法、电子设备及存储介质 |
| CN114969221A (zh) * | 2021-02-20 | 2022-08-30 | 华为技术有限公司 | 一种更新地图的方法及相关设备 |
| CN114972763A (zh) * | 2022-07-28 | 2022-08-30 | 香港中文大学(深圳)未来智联网络研究院 | 激光雷达点云分割方法、装置、设备及存储介质 |
| WO2022193335A1 (zh) * | 2021-03-15 | 2022-09-22 | 深圳大学 | 点云数据处理方法、装置、计算机设备和存储介质 |
| CN115147798A (zh) * | 2022-07-18 | 2022-10-04 | 重庆长安汽车股份有限公司 | 可行驶区域预测方法、模型、装置及车辆 |
| CN115311550A (zh) * | 2022-06-22 | 2022-11-08 | 中国科学院空天信息创新研究院 | 遥感影像语义变化检测方法、装置、电子设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021007117A1 (en) * | 2019-07-05 | 2021-01-14 | DeepMap Inc. | Generating training data for deep learning models for building high definition maps |
| US11645812B2 (en) * | 2020-10-06 | 2023-05-09 | Qualcomm Incorporated | Inter-component residual prediction for color attributes in geometry point cloud compression coding |
| US11651052B2 (en) * | 2020-11-20 | 2023-05-16 | Shenzhen Deeproute.Ai Co., Ltd | Methods for extracting point cloud feature |
| US11727637B2 (en) * | 2020-12-15 | 2023-08-15 | Kwangwoon University Industry-Academic Collaboration Foundation | Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera |
-
2022
- 2022-12-19 CN CN202211632013.1A patent/CN116416586B/zh active Active
Patent Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10650278B1 (en) * | 2017-07-21 | 2020-05-12 | Apple Inc. | Semantic labeling of point clouds using images |
| US10839530B1 (en) * | 2018-09-04 | 2020-11-17 | Apple Inc. | Moving point detection |
| CN112105890A (zh) * | 2019-01-30 | 2020-12-18 | 百度时代网络技术（北京）有限公司 | 用于自动驾驶车辆的基于rgb点云的地图生成系统 |
| CN110245709A (zh) * | 2019-06-18 | 2019-09-17 | 西安电子科技大学 | 基于深度学习和自注意力的3d点云数据语义分割方法 |
| CN110929692A (zh) * | 2019-12-11 | 2020-03-27 | 中国科学院长春光学精密机械与物理研究所 | 一种基于多传感器信息融合的三维目标检测方法及装置 |
| CN110738200A (zh) * | 2019-12-23 | 2020-01-31 | 广州赛特智能科技有限公司 | 车道线3d点云地图构建方法、电子设备及存储介质 |
| CN113888691A (zh) * | 2020-07-03 | 2022-01-04 | 上海大界机器人科技有限公司 | 构建建筑场景语义地图的方法、装置及储存介质 |
| WO2022088676A1 (zh) * | 2020-10-29 | 2022-05-05 | 平安科技（深圳）有限公司 | 三维点云语义分割方法、装置、设备及介质 |
| CN112731436A (zh) * | 2020-12-17 | 2021-04-30 | 浙江大学 | 基于点云上采样的多模态数据融合可行驶区域检测方法 |
| CN112949640A (zh) * | 2021-01-29 | 2021-06-11 | 罗普特科技集团股份有限公司 | 点云语义分割方法、装置、计算设备及存储介质 |
| CN114969221A (zh) * | 2021-02-20 | 2022-08-30 | 华为技术有限公司 | 一种更新地图的方法及相关设备 |
| WO2022193335A1 (zh) * | 2021-03-15 | 2022-09-22 | 深圳大学 | 点云数据处理方法、装置、计算机设备和存储介质 |
| CN113159151A (zh) * | 2021-04-12 | 2021-07-23 | 中国科学技术大学 | 面向自动驾驶的多传感器深度融合3d目标检测方法 |
| CN113345106A (zh) * | 2021-06-24 | 2021-09-03 | 西南大学 | 一种基于多尺度多层级转换器的三维点云分析方法及系统 |
| CN113763539A (zh) * | 2021-09-09 | 2021-12-07 | 哈尔滨工业大学（深圳） | 一种基于图像和三维输入的隐式函数三维重建方法 |
| CN114140765A (zh) * | 2021-11-12 | 2022-03-04 | 北京航空航天大学 | 一种障碍物感知方法、装置及存储介质 |
| CN114194211A (zh) * | 2021-11-30 | 2022-03-18 | 浪潮(北京)电子信息产业有限公司 | 一种自动驾驶方法、装置及电子设备和存储介质 |
| CN114494821A (zh) * | 2021-12-16 | 2022-05-13 | 广西壮族自治区自然资源遥感院 | 基于特征多尺度感知与自适应聚合的遥感影像云检测方法 |
| CN114627183A (zh) * | 2022-02-25 | 2022-06-14 | 浙江零跑科技股份有限公司 | 一种激光点云3d目标检测方法 |
| CN114511786A (zh) * | 2022-04-20 | 2022-05-17 | 中国石油大学(华东) | 融合多时相信息和分通道密集卷积的遥感图像去云方法 |
| CN115311550A (zh) * | 2022-06-22 | 2022-11-08 | 中国科学院空天信息创新研究院 | 遥感影像语义变化检测方法、装置、电子设备及存储介质 |
| CN114821074A (zh) * | 2022-07-01 | 2022-07-29 | 湖南盛鼎科技发展有限责任公司 | 机载liDAR点云语义分割方法、电子设备及存储介质 |
| CN115147798A (zh) * | 2022-07-18 | 2022-10-04 | 重庆长安汽车股份有限公司 | 可行驶区域预测方法、模型、装置及车辆 |
| CN114972763A (zh) * | 2022-07-28 | 2022-08-30 | 香港中文大学(深圳)未来智联网络研究院 | 激光雷达点云分割方法、装置、设备及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| "Point Cloud Semantic Segmentation Network Based on Multi-scale Feature Fusion";jing Du等;《Sensors》;第21卷(第5期);第1-13页 * |
| "Positioning and perception in LIDAR point clouds";Csaba Benedek等;《Digital Signal Processing》;第119卷;第1-12页 * |
| "动态环境下的语义地图构建";齐少华等;《计算机科学》;第47卷(第9期);第198-203页 * |
| "基于强化学习的旅行商问题解构造方法";王若愚等;《计算机工程》;第46卷(第11期);第293-300页 * |
| "基于相机与激光雷达融合的三维环境建图与区域语义学习技术研究";李凯;《中国优秀硕士学位论文全文数据库(电子期刊)》(第6期);第I136-361页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116416586A (zh) | 2023-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11790549B2 (en) | Unsupervised learning of image depth and ego-motion prediction neural networks | |
| EP3506161A1 (en) | Method and apparatus for recovering point cloud data | |
| CN111353969B (zh) | 道路可行驶区域的确定方法、装置及计算机设备 | |
| US11518382B2 (en) | Learning to simulate | |
| US11940803B2 (en) | Method, apparatus and computer storage medium for training trajectory planning model | |
| CN110443883B (zh) | 一种基于dropblock的单张彩色图片平面三维重建方法 | |
| US20240070972A1 (en) | Rendering new images of scenes using geometry-aware neural networks conditioned on latent variables | |
| EP3847619A1 (en) | Unsupervised depth prediction neural networks | |
| US20220277514A1 (en) | Reconstructing three-dimensional scenes portrayed in digital images utilizing point cloud machine-learning models | |
| CN116843901A (zh) | 医学图像分割模型训练方法和医学图像分割方法 | |
| CN115587987A (zh) | 一种蓄电池缺陷检测方法、装置、存储介质及电子设备 | |
| CN113140034A (zh) | 基于房间布局的全景新视角生成方法、装置、设备和介质 | |
| CN115294268A (zh) | 一种物体的三维模型重建方法及电子设备 | |
| CN113421217A (zh) | 可行驶区域检测方法和装置 | |
| CN116416586B (zh) | 基于rgb点云的地图元素感知方法、终端及存储介质 | |
| US20230401737A1 (en) | Method for training depth estimation model, training apparatus, and electronic device applying the method | |
| CN116168393B (zh) | 基于点云神经辐射场的语义标注数据自动生成方法、装置 | |
| CN111696147A (zh) | 一种基于改进YOLOv3模型的深度估计方法 | |
| CN113763248A (zh) | 超分辨率图像重建方法、装置、设备及存储介质 | |
| CN116630436B (zh) | 相机外参修正方法、装置、电子设备和计算机可读介质 | |
| JP7425169B2 (ja) | 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
| CN114708336B (zh) | 多相机在线标定方法、装置、电子设备和计算机可读介质 | |
| CN115861401B (zh) | 一种双目与点云融合深度恢复方法、装置和介质 | |
| US20230068375A1 (en) | Method and system for detecting a three-dimensional object in a two-dimensional image | |
| CN116824145A (zh) | 基于改进DeepLabv3+的线状柔性体分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |