CN115588047A - 一种基于场景编码的三维目标检测方法 - Google Patents

一种基于场景编码的三维目标检测方法 Download PDF

Info

Publication number
CN115588047A
CN115588047A CN202211264392.3A CN202211264392A CN115588047A CN 115588047 A CN115588047 A CN 115588047A CN 202211264392 A CN202211264392 A CN 202211264392A CN 115588047 A CN115588047 A CN 115588047A
Authority
CN
China
Prior art keywords
point cloud
laser radar
target
laser
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211264392.3A
Other languages
English (en)
Inventor
叶阳阳
鲍志业
张宏飞
邱海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Haikang Zhilian Technology Co ltd
Original Assignee
Zhejiang Haikang Zhilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Haikang Zhilian Technology Co ltd filed Critical Zhejiang Haikang Zhilian Technology Co ltd
Priority to CN202211264392.3A priority Critical patent/CN115588047A/zh
Publication of CN115588047A publication Critical patent/CN115588047A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种基于场景编码的三维目标检测方法，包括以下步骤：利用激光雷达扫描的场景数据在目标场景中建立稠密的激光雷达地图，并剔除交通参与者目标；将建立的激光雷达地图与感知激光雷达配准；利用体素对稠密的背景点云进行特征提取，得到基于体素的点云特征图，并通过神经网络编码成为语义特征；将用于感知的激光雷达数据通过神经网络编码后成为基于点的特征，并和背景点云的语义特征通过背景去除模块得到前景激光雷达点云数据；将前景激光雷达点云数据送入基于激光雷达点云的三维目标检测器中，检测器最终输出目标的位置信息、尺寸信息和方向信息以及置信度。本方法可以有效降低误检情况，具有精度高、耗时短、实时性强、鲁棒性好的效果。

Description

一种基于场景编码的三维目标检测方法
技术领域
本发明涉及本发明属于计算机视觉领域，具体涉及一种基于场景编码的三维目标检测方法。
背景技术
三维目标检测器通过输出可靠的空间和语义信息，即三维位置、方位、所占体积和类别，让无人驾驶车辆等感知周围的环境信息。相对于二维物体检测，三维目标提供更多细节信息，但建模难度更大。三维物体检测一般采用距离传感器，如激光雷达、TOF相机、立体相机等，来预测更准确的目标信息。三维物体检测技术成为自动驾驶汽车、UVA、机器人等领域的关键技术。在交通场景中大多数精准的三维物体检测算法都是基于激光雷达传感器，它已经成为户外场景感知的基本传感器。而交通场景中目标感知是激光雷达感知周围目标的关键技术。在车路协同作为未来无人驾驶主线的大背景下，基于路端的感知成为实现无人驾驶必不可少的一环。
基于激光雷达的路端三维目标检测涉及两个重要问题：第一个问题是如何针对路端感知的固定场景来设计三维目标检测算法，相对于车端场景而言路端场景属于单一场景，可针对性优化；另一个问题是如何有效地提高检测器的处理速度，实现更好的检测性能，路端感知的性能需要明显优于车端，才可用于车端。
发明内容
根据背景技术提出的问题，本发明提供一种基于场景编码的三维目标检测方法来解决，接下来对本发明做进一步地阐述。
一种基于场景编码的三维目标检测方法，包括以下步骤：
步骤1，利用激光雷达扫描的场景数据和激光雷达里程计与建图方法，在目标场景中建立稠密的激光雷达地图，并剔除激光雷达地图中的交通参与者目标；
步骤2，通过正态分布变换技术将建立的激光雷达地图与感知激光雷达配准；
步骤3，利用体素对稠密的背景点云进行特征提取，得到基于体素的点云特征图，并通过神经网络编码成为语义特征；
步骤4，将用于感知的激光雷达数据通过神经网络编码后成为基于点的特征，并和背景点云的语义特征通过背景去除模块得到前景激光雷达点云数据；
步骤5，将前景激光雷达点云数据送入基于激光雷达点云的三维目标检测器中，检测器最终输出目标的位置信息、尺寸信息和方向信息以及置信度。
进一步地，步骤1在目标场景中建立稠密的激光雷达地图的方法为：
输入的点云数据
Figure BDA0003892411320000021
其中，，D代表激光点云数据的体素表征，，xi、yi、zi代表激光点云数据中的第i个点相对于激光雷达的三维位置信息，，Ri代表激光点云数据中的第i个点的反射率；
利用所获取的点云数据D通过LOAM算法建立稠密度激光雷达地图；
删除图中的交通参与者，获取完整的背景高精度激光雷达地图。
进一步地，步骤2通过NDT技术将建立的图与感知激光雷达进行配准，方法为：
将激光雷达点云分割成固定大小栅格，每个栅格空间至少包含N个点，每个栅格内的点云集合为xi＝1,...n，计算激光点云集合的均值
Figure BDA0003892411320000022
和其对应的协方差
Figure BDA0003892411320000023
所述协方差用于描述激光雷达的分散程度；
通过下式计算任意激光雷达点在栅格中的概率，得到地图概率分布图，
Figure BDA0003892411320000024
进行帧间匹配，匹配公式如下：
Figure BDA0003892411320000025
其中，
Figure BDA0003892411320000026
是当前帧激光点云数据，
Figure BDA0003892411320000027
是上一帧激光点云数据，T是两帧激光点云的变换矩阵。
进一步地，变换矩阵T的计算步骤如下：
(1)第一帧作为前一帧，建立激光点云的NDT概率值；
(2)初始化前一帧当前帧之间的位姿；
(3)根据初始化的位姿，完成当前帧激光点云坐标变换；
(4)计算当前帧激光经过坐标转换后的概率分布情况，并计算总的分数；
(5)换一个位姿，按步骤3、4计算匹配分数，直到达到收敛准则。
进一步地，判断是否收敛采用牛顿方法，详细过程如下：
(1)假设待估计的位姿如下表示：p＝(tx,ty,φ)t；
(2)当前帧的激光雷达点云表示的位姿用xi表示；
(3)上一帧的激光雷达点云表示的位姿用x′i表示，则有如下关系：x′i＝T(xi,p)；
(4)基于NDT过程已得到的概率图，第一帧激光点云数据用NDT方法计算出来的高斯分布均值和协方差用∑i和表示；
评价估计出来的位姿优劣，评估函数如下：
Figure BDA0003892411320000031
进一步地，将用于感知的激光点云的每个点编码为一维特征，背景去除模块通过比对感知点云的特征和背景语义特征所得到的余弦相似度，筛选剔除与背景语义相似的点云，得到场景中的目标区域点云。
进一步地，通过训练好的目标分类网络获取待检测数据中目标类别，并通过训练好的目标回归定位网络获取待检测数据中目标位置、尺寸、方向。
有益效果：与现有技术相比，本方法可以有效降低误检情况，具有精度高、耗时短、实时性强、鲁棒性好的效果。
附图说明
图1：本发明基于场景编码的三维目标检测方法的流程示意图；
图2：本发明的算法结构示意图；
图3：应用本发明方法的检测结果对比。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。
参考附图1，一种基于场景编码的三维目标检测方法，包括以下步骤：
步骤1，利用激光雷达扫描的场景数据和激光雷达里程计与建图(Lidar Odometryand Mapping，LOAM)方法，在目标场景中建立稠密的激光雷达地图，并剔除激光雷达地图中的交通参与者目标；
步骤2，通过正态分布变换(Normal Distributions Transform，NDT)技术将建立的激光雷达地图与感知激光雷达配准；
步骤3，利用体素对稠密的背景点云进行特征提取，得到基于体素的点云特征图，并通过神经网络编码成为语义特征；
步骤4，将用于感知的激光雷达数据通过神经网络编码后成为基于点的特征，并和背景点云的语义特征通过背景去除模块得到前景激光雷达点云数据；
步骤5，将前景激光雷达点云数据送入基于激光雷达点云的三维目标检测器中，检测器最终输出目标的位置信息、尺寸信息和方向信息以及置信度。
为了更清晰地对本发明基于场景编码的三维目标检测方法进行说明，下面结合图2对本发明方法实施例中各步骤展开详述；
对于步骤1，在目标场景中建立稠密的激光雷达地图的方法为：
输入的点云数据
Figure BDA0003892411320000041
其中，，D代表激光点云数据的体素表征，，xi、yi、zi代表激光点云数据中的第i个点相对于激光雷达的三维位置信息，，Ri代表激光点云数据中的第i个点的反射率；所述的点云D是人站立于路口人行横道中并通过手持激光雷达采集数据得到；
利用所获取的点云数据D通过LOAM算法建立稠密度激光雷达地图；
通过手动删除图中的交通参与者(如：行人、机动车、非机动车)获取完整的背景高精度激光雷达地图。
所述LOAM算法主要由两个部分构成：特征提取(Lidar Registration)和里程计解算(Odometry andMapping)。当提取特征后，通过两个高频率的里程计分别实现粗定位和低频率的里程计实现精定位。
对于步骤2，通过NDT技术将建立的图与感知激光雷达进行配准，其方法为：
将激光雷达点云分割成固定大小栅格，每个栅格空间至少包含N个点，每个栅格内的点云集合为xi＝1,...n，计算激光点云集合的均值
Figure BDA0003892411320000051
和其对应的协方差
Figure BDA0003892411320000052
所述协方差用于描述激光雷达的分散程度，任意一个激光雷达点在此栅格中的概率可以用如下公式计算：
Figure BDA0003892411320000053
根据前面NDT的过程，每个栅格就是一个正态分布函数，这样就很容易计算出来地图上所有的概率分布。
接下来是帧间匹配的过程，公式如下：
Figure BDA0003892411320000054
其中，
Figure BDA0003892411320000055
是当前帧激光点云数据，
Figure BDA0003892411320000056
是上一帧激光点云数据，T是两帧激光点云的变换矩阵。
变换矩阵T的计算过程如下：
(1)建立第一帧(前一帧)激光点云的NDT概率值；
(2)初始化两帧(前一帧和当前帧)之间的位姿；
(3)根据初始化的位姿，完成第二帧(当前)激光点云坐标变换，即根据把当前帧的激光点通过转换矩阵转到前一帧激光点云坐标下；
(4)计算第二帧激光经过坐标转换后的概率分布情况，并计算总的分数；
(5)换一个位姿，按步骤3、4计算匹配分数，直到达到收敛准则。
上述判断是否收敛采用牛顿方法，详细过程如下：
(1)假设待估计的位姿如下表示：p＝(tx,ty,φ)t；
(2)第二帧(当前帧)的激光雷达点云表示的位姿用xi表示；
(3)第一帧(上一帧)的激光雷达点云表示的位姿用x′i表示，则有如下关系：x′i＝T(xi,p)；
(4)因为NDT过程已经得到一张概率图，第一帧激光点云数据用NDT方法计算出来的高斯分布均值和协方差用∑i和表示。
评价估计出来的位姿优劣的分数函数如下：
Figure BDA0003892411320000061
优化位姿的效果就是使这个分数尽可能趋向于1，这样才能获得比较好的帧间匹配。可以看到当x′i＝qi时，即非理想的情况下，score(p)＝1。
对于步骤3，利用三维体素化特征提取技术，将稠密的背景点云进行编码，并用该编码特征表示该场景。这个过程就是局部点云映射到对应体素中，而体素内存在多个点云用一个体素表示。选取每个体素的大小为0.2m*0.2m*0.05m，每个维度分别表示x、y、z轴，其中z为高度方向，点云中任何点落在该体素中，就用这个体素特征表征这些激光雷达点云。
步骤4中通过背景去除模块得到前景激光雷达点云数据，其方法为：将用于感知的激光点云的每个点编码为一维特征，背景去除模块通过比对感知点云的特征和背景语义特征的余弦相似度进行筛选，剔除与背景语义相似的点云，得到场景中的目标区域点云。
步骤5中三维目标检测器对前景激光雷达点云数据处理以输出目标的位置信息、尺寸信息和方向信息以及置信度的方法为：通过训练好的目标分类网络获取待检测数据中目标类别，并通过训练好的目标回归定位网络获取待检测数据中目标位置、尺寸、方向。
在本发明一个实施例中，对于KITTI数据集，使用train数据集进行训练，使用test数据集进行测试。数据集对每类测试目标分为三个等级：容易、中等和困难。难度的划分是根据每个目标在相机图像中的高度，遮挡等级和截断程度。示例：难度为容易的样本是边界框的高度大于40等于个像素，最大截断为15％，遮挡等级为完全可见；难度为中的样本是边界框的高度大于等于25像素，最大截断为30％，遮挡等级为部分遮挡；难度为困难的样本是边界框的高度大于等于25像素，最大截断为50％，遮挡等级为难以看见。
本实施例使用PASCAL标准(平均精度，AP)评估3D目标检测性能，在对比方法中，用PointPillars、SECOND、PV-RCNN和Voxel-RCNN检测方法来验证背景去除模块的有效性。应用本发明方法的检测结果对比参考附图3，可以看出，本方法可以有效降低误检情况，具有精度高、耗时短、实时性强、鲁棒性好的效果。
本发明还涉及用于实现上述三维目标检测方法的装置，包括输入模块、背景点云建图模块、背景去除模块、三维目标检测器模块和输出模块；其中，
所述输入模块，配置为获取包含交通参与者目标物和场景数据的激光点云作为输入信息；
所述背景点云建图模块，配置为通过LOAM算法建立稠密点云图并通过手工去除前景的方式的到背景图；
所述背景去除模块，配置为将感知的激光点云的每个点通过神经网络编码为一维特征，将背景点云图通过体素编码和全局编码得到场景语义特征，再通过去相似度匹配去除用于感知的激光雷达点云中的背景区域，能得到前景(目标)区域；
所述三维目标检测器模块，配置为通过三维目标检测算法检测出场景中的目标，包括目标分类子模块，配置为通过训练好的目标分类网络获取待检测数据中目标类别；和目标定位子模块，配置为通过训练好的目标回归定位网络，获取待检测数据中目标位置、尺寸、方向；
所述输出模块，配置为输出获取的目标类别以及目标位置、尺寸、方向。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于场景编码的三维目标检测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于场景编码的三维目标检测方法，其特征在于，包括以下步骤：
步骤1，利用激光雷达扫描的场景数据和激光雷达里程计与建图方法，在目标场景中建立稠密的激光雷达地图，并剔除激光雷达地图中的交通参与者目标；
步骤2，通过正态分布变换技术将建立的激光雷达地图与感知激光雷达配准；
步骤3，利用体素对稠密的背景点云进行特征提取，得到基于体素的点云特征图，并通过神经网络编码成为语义特征；
步骤4，将用于感知的激光雷达数据通过神经网络编码后成为基于点的特征，并和背景点云的语义特征通过背景去除模块得到前景激光雷达点云数据；
步骤5，将前景激光雷达点云数据送入基于激光雷达点云的三维目标检测器中，检测器最终输出目标的位置信息、尺寸信息和方向信息以及置信度。
2.根据权利要求1所述的三维目标检测方法，其特征在于，步骤1在目标场景中建立稠密的激光雷达地图的方法为：
输入的点云数据
Figure FDA0003892411310000011
其中，，D代表激光点云数据的体素表征，，xi、yi、zi代表激光点云数据中的第i个点相对于激光雷达的三维位置信息，，Ri代表激光点云数据中的第i个点的反射率；
利用所获取的点云数据D通过LOAM算法建立稠密度激光雷达地图；
删除图中的交通参与者，获取完整的背景高精度激光雷达地图。
3.根据权利要求2所述的三维目标检测方法，其特征在于：步骤2通过NDT技术将建立的图与感知激光雷达进行配准，方法为：
将激光雷达点云分割成固定大小栅格，每个栅格空间至少包含N个点，每个栅格内的点云集合为xi＝1,...n，计算激光点云集合的均值
Figure FDA0003892411310000012
和其对应的协方差
Figure FDA0003892411310000013
所述协方差用于描述激光雷达的分散程度；
通过下式计算任意激光雷达点在栅格中的概率，得到地图概率分布图，
Figure FDA0003892411310000014
进行帧间匹配，匹配公式如下：
Figure FDA0003892411310000015
其中，
Figure FDA0003892411310000016
是当前帧激光点云数据，
Figure FDA0003892411310000021
是上一帧激光点云数据，T是两帧激光点云的变换矩阵。
4.根据权利要求3所述的三维目标检测方法，其特征在于，变换矩阵T的计算步骤如下：
(1)第一帧作为前一帧，建立激光点云的NDT概率值；
(2)初始化前一帧当前帧之间的位姿；
(3)根据初始化的位姿，完成当前帧激光点云坐标变换；
(4)计算当前帧激光经过坐标转换后的概率分布情况，并计算总的分数；
(5)换一个位姿，按步骤3、4计算匹配分数，直到达到收敛准则。
5.根据权利要求4所述的三维目标检测方法，其特征在于，判断是否收敛采用牛顿方法，详细过程如下：
(1)假设待估计的位姿如下表示：p＝(tx,ty,φ)t；
(2)当前帧的激光雷达点云表示的位姿用xi表示；
(3)上一帧的激光雷达点云表示的位姿用x′i表示，则有如下关系：x′i＝T(xi,p)；
(4)基于NDT过程已得到的概率图，第一帧激光点云数据用NDT方法计算出来的高斯分布均值和协方差用∑i和表示；
评价估计出来的位姿优劣，评估函数如下：
Figure FDA0003892411310000022
6.根据权利要求5所述的三维目标检测方法，其特征在于：选取的每个体素的大小为0.2m*0.2m*0.05m，每个维度分别表示x、y、z轴，其中z为高度方向，点云中任何点落在该体素中，则将该体素特征表征这些激光雷达点云。
7.根据权利要求5所述的三维目标检测方法，其特征在于，步骤4中，将用于感知的激光点云的每个点编码为一维特征，背景去除模块通过比对感知点云的特征和背景语义特征所得到的余弦相似度，筛选剔除与背景语义相似的点云，得到场景中的目标区域点云。
8.根据权利要求7所述的三维目标检测方法，其特征在于，步骤5中，通过训练好的目标分类网络获取待检测数据中目标类别，并通过训练好的目标回归定位网络获取待检测数据中目标位置、尺寸、方向。
9.一种基于场景编码的三维目标检测系统，其特征在于，包括：
所述输入模块，配置为获取包含交通参与者目标物和场景数据的激光点云作为输入信息；
所述背景点云建图模块，配置为通过LOAM算法建立稠密点云图并通过手工去除前景的方式的到背景图；
所述背景去除模块，配置为将感知的激光点云的每个点通过神经网络编码为一维特征，将背景点云图通过体素编码和全局编码得到场景语义特征，再通过去相似度匹配去除用于感知的激光雷达点云中的背景区域，能得到前景(目标)区域；
所述三维目标检测器模块，配置为通过三维目标检测算法检测出场景中的目标，包括目标分类子模块，配置为通过训练好的目标分类网络获取待检测数据中目标类别；和目标定位子模块，配置为通过训练好的目标回归定位网络，获取待检测数据中目标位置、尺寸、方向；
所述输出模块，配置为输出获取的目标类别以及目标位置、尺寸、方向。
CN202211264392.3A 2022-10-17 2022-10-17 一种基于场景编码的三维目标检测方法 Pending CN115588047A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211264392.3A CN115588047A (zh) 2022-10-17 2022-10-17 一种基于场景编码的三维目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211264392.3A CN115588047A (zh) 2022-10-17 2022-10-17 一种基于场景编码的三维目标检测方法

Publications (1)

Publication Number Publication Date
CN115588047A true CN115588047A (zh) 2023-01-10

Family

ID=84780551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211264392.3A Pending CN115588047A (zh) 2022-10-17 2022-10-17 一种基于场景编码的三维目标检测方法

Country Status (1)

Country Link
CN (1) CN115588047A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116413740A (zh) * 2023-06-09 2023-07-11 广汽埃安新能源汽车股份有限公司 一种激光雷达点云地面检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116413740A (zh) * 2023-06-09 2023-07-11 广汽埃安新能源汽车股份有限公司 一种激光雷达点云地面检测方法及装置
CN116413740B (zh) * 2023-06-09 2023-09-05 广汽埃安新能源汽车股份有限公司 一种激光雷达点云地面检测方法及装置

Similar Documents

Publication Publication Date Title
Xia et al. Geometric primitives in LiDAR point clouds: A review
CN109598794B (zh) 三维gis动态模型的构建方法
CN110648389A (zh) 基于无人机和边缘车辆协同的城市街景3d重建方法和系统
CN110879994A (zh) 基于形状注意力机制的三维目测检测方法、系统、装置
CN112740225B (zh) 一种路面要素确定方法及装置
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN116229408A (zh) 一种图像信息与激光雷达点云信息融合的目标识别方法
CN114782729A (zh) 一种基于激光雷达与视觉融合的实时目标检测方法
Lin et al. CNN-based classification for point cloud object with bearing angle image
CN116129233A (zh) 基于多模态融合感知的自动驾驶场景全景分割方法
Guo et al. Extraction of dense urban buildings from photogrammetric and LiDAR point clouds
CN114384543A (zh) 一种基于背景去除的路端三维目标检测方法和系统
Liu et al. Vehicle detection from aerial color imagery and airborne LiDAR data
Dimitrievski et al. Semantically aware multilateral filter for depth upsampling in automotive lidar point clouds
Yao et al. Automated detection of 3D individual trees along urban road corridors by mobile laser scanning systems
CN115588047A (zh) 一种基于场景编码的三维目标检测方法
CN110636248B (zh) 目标跟踪方法与装置
CN113269147B (zh) 基于空间和形状的三维检测方法、系统、存储及处理装置
Munajat et al. Road detection system based on RGB histogram filterization and boundary classifier
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
CN110660113A (zh) 特征地图的建立方法、装置、采集设备和存储介质
Sirmacek Graph theory and mean shift segmentation based classification of building facades
WO2021138372A1 (en) Feature coverage analysis
WO2021004813A1 (en) Method and mobile entity for detecting feature points in an image
Long et al. Automatic Vehicle Speed Estimation Method for Unmanned Aerial Vehicle Images.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination