CN114648579A - 一种多分支输入的激光雷达目标检测方法 - Google Patents

一种多分支输入的激光雷达目标检测方法 Download PDF

Info

Publication number
CN114648579A
CN114648579A CN202210136727.7A CN202210136727A CN114648579A CN 114648579 A CN114648579 A CN 114648579A CN 202210136727 A CN202210136727 A CN 202210136727A CN 114648579 A CN114648579 A CN 114648579A
Authority
CN
China
Prior art keywords
point cloud
voxel
information
features
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210136727.7A
Other languages
English (en)
Inventor
许翔
黄刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zero Run Technology Co Ltd
Original Assignee
Zhejiang Zero Run Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Zero Run Technology Co Ltd filed Critical Zhejiang Zero Run Technology Co Ltd
Priority to CN202210136727.7A priority Critical patent/CN114648579A/zh
Publication of CN114648579A publication Critical patent/CN114648579A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种多分支输入的激光雷达目标检测方法，包括以下步骤：步骤S1）输入点云数据；步骤S2）对点云数据进行体素化；步骤S3）进行特征映射，获得体素特征并进行融合；步骤S4）将融合后的体素特征输入骨干网络；步骤S5）检测头输出结果。本发明将点云的坐标信息与强度信息分别送入不同的分支网络中进行特征映射，从而使得两者产生的体素特征在数值上处于同一量级，而后将这两种体素特征进行融合，从而充分利用激光雷达点云的各类信息，提升检测性能，避免由于忽略坐标信息与强度信息的量级差异导致存在误检，同时采用基于体素的深度学习算法，具有良好的泛化能力，实现性能与速度的平衡。

Description

一种多分支输入的激光雷达目标检测方法
技术领域
本发明涉及3D目标检测技术领域，具体涉及一种多分支输入的激光雷达目标检测方法。
背景技术
3D目标检测任务旨在实现3D场景中感兴趣目标的定位及分类，是3D场景分析中的一个基本任务。随着自动驾驶技术的不断推进，激光雷达传感器更是成为了其中不可或缺的一部分，因此，3D点云数据的分析近年来也备受关注。现有的3D目标检测算法可以分为以下两类，一类是以聚类算法为主导的传统检测算法，通过人为设计的先验知识获取点云数据的特征，然后通过DBSCAN等算法对点云进行聚类；另一类是以数据为驱动的深度学习算法，通过神经网络学习点云特征，对于不同的场景具有良好的泛化能力，根据点云数据的不同输入形态，该类方法又可细分为基于点的、基于投影的以及基于体素的方法。
传统的点云检测算法依赖于人工设计的先验知识，其对点云场景中存在的噪声点非常敏感，从而限制了其处理复杂场景的能力。基于深度学习的方法是以数据为驱动，其能够从大量的标注数据自动学到适合的特征表示，并在未知场景中进行较为准确的推理，因此具有良好的泛化性能。在深度学习领域中，基于点的方法是直接在原始点云上进行特征学习，并在预测的前景点上生成3D候选框，这类方法能够有效捕获点云的几何结构信息，但会随着点云数量的增加而显得低效；基于投影的方法则是从某一特征角度将点云投射至2D图像，然后运用较为成熟的2D检测方法进行目标检测，此类方法在投影阶段对点云数据进行了维度压缩，这在一定程度上牺牲了点云的几何信息，对于一些远处遮挡较严重的目标，具有较差的检测性能；基于体素的方法则将点云场景进行离散化，然后通过3D卷积操作提取点云特征，该类方法能够实现速度与性能的平衡。上述方法在提取点云特征时，通常将点云的所有信息同时送入神经网络中，忽略了点云的各种信息之间存在的差异性。通常而言，激光雷达会提供点云的坐标信息以及能够反映目标颜色、材质等的强度信息，坐标信息的范围通常能够达到百米左右，而强度信息则是0到255的离散值，其在送入神经网络之前通常会归一化至0到1之间，这就导致点云的坐标信息与强度信息在数值上存在量级差异，在送入神经网络时会弱化强度信息对检测的作用，从而导致较多的误检问题。
发明内容
本发明主要是为了解决现有的点云检测算法忽略坐标信息与强度信息的量级差异导致存在误检的问题，提供了一种多分支输入的激光雷达目标检测方法，将点云的坐标信息与强度信息分别送入不同的分支网络中进行特征映射，从而使得两者产生的体素特征在数值上处于同一量级，而后将这两种体素特征进行融合，从而充分利用激光雷达点云的各类信息，提升检测性能，避免由于忽略坐标信息与强度信息的量级差异导致存在误检，同时采用基于体素的深度学习算法，具有良好的泛化能力，实现性能与速度的平衡。
为了实现上述目的，本发明采用以下技术方案：
一种多分支输入的激光雷达目标检测方法，包括以下步骤：步骤S1)输入点云数据；步骤S2)对点云数据进行体素化；步骤S3)进行特征映射，获得体素特征并进行融合；步骤S4)将融合后的体素特征输入骨干网络；步骤S5)检测头输出结果。本发明的输入为激光雷达传感器获取的点云数据，包含点云的坐标信息以及强度信息，对于目标检测任务，需要输出目标的中心点位置、尺寸大小、航向角以及类别信息，具体过程为：输入点云数据后，对点云进行体素化，先确定体素化的点云范围(xmin,ymin,zmin,xmax,ymax,zmax)，以及体素网格大小(vx,vy,vz)，对于点云中坐标为(xi,yi,zi)的点，其体素化后对应的网格索引为
Figure BDA0003505087260000021
其中floor()为向下取整；经过体素化操作后，由于点云本身存在的稀疏性问题，同一个体素网格中会存在多个点，因此需要对体素网格中的点进行特征编码，将同一体素网格中点的特征进行聚合得到体素特征，其中的核心操作为多层感知器(Multi-layer perceptron,MLP)，对于同一体素网格中的点，本发明将点云的坐标信息与强度信息分别送入两个不同的分支网络中进行特征映射，分别获得空间体素特征以及强度体素特征，可以表示为Fs＝h(M1(p1),…,M1(pM))，Fr＝h(M2(r1),…,M2(rM))，其中Fs、Fr分别表示空间体素特征、强度体素特征，M1和M2为参数不同的MLP操作，pi和ri(i＝1,…,M)表示点的坐标信息与强度信息，h()为对称函数，包括求和，最大值，均值等；接着将空间体素特征和强度体素特征进行融合得到最终的体素特征，融合方法有多种，包括加法、级联等；最后，将编码好的体素特征送入后续的骨干网络以及检测头中预测目标的相关信息，其中骨干网格是由一系列的卷积操作堆叠而成，用于丰富点云的特征信息，检测头用于输出最终结果，包括目标的中心点坐标、尺寸大小、航向角以及类别信息。本发明将点云的坐标信息和强度信息分别送入不同的分支网络中进行体素特征编码，通过多分支输入的方式，加强了点云的强度信息在检测中所起的作用，这是因为卷积神经网络在处理数据时能够实现数据的高维特征映射，并通过均值及方差的归一化实现特征值处于同一量级，从而使得强度信息与坐标信息能够对检测起到同等的作用。
作为优选，步骤S1中，所述点云数据包括点云的坐标信息以及强度信息。由于点云的坐标信息与强度信息之间存在量级差异，容易导致误检，本发明将点云的坐标信息和强度信息分开送入不同的分支神经网络中进行特征映射，分别获得空间体素特征和强度体素特征，然后将空间体素特征和强度体素特征进行有效融合，强化强度信息在检测中所起的作用，从而提升检测性能。
作为优选，步骤S2的具体过程，包括以下步骤：步骤S21)确定体素化的点云范围(xmin,ymin,zmin,xmax,ymax,zmax)；步骤S22)确定体素网格大小(vx,vy,vz)；步骤S23)对于点云中坐标为(xi,yi,zi)的点，体素化后对应的网格索引为
Figure BDA0003505087260000031
其中floor()为向下取整。本发明采用基于体素的目标检测算法，输入点云数据后，需要将点云进行体素化，具有良好的泛化能力，实现性能与速度的平衡。
作为优选，步骤S3的具体过程为：将点云的坐标信息和强度信息分别送入两个不同的分支网络中进行特征映射，分别获得空间体素特征和强度体素特征，然后进行融合获得最终的体素特征。经过体素化操作后，由于点云本身存在的稀疏性问题，同一个体素网格中会存在多个点，因此需要对体素网格中的点进行特征编码，将同一体素网格中点的特征进行聚合得到体素特征，其中的核心操作为多层感知器(Multi-layer perceptron,MLP)，对于同一体素网格中的点，本发明将点云的坐标信息与强度信息分别送入两个不同的分支网络中进行特征映射，分别得到空间体素特征以及强度体素特征，可以表示为Fs＝h(M1(p1),…,M1(pM))，Fr＝h(M2(r1),…,M2(rM))，其中Fs、Fr分别表示空间体素特征以及强度体素特征，M1和M2为参数不同的MLP操作，pi和ri(i＝1,…,M)表示点的坐标信息与强度信息，h()为对称函数，包括求和，最大值，均值等；接着将这两者特征进行融合得到最终的体素特征，融合方法有多种，包括加法、级联等。
作为优选，步骤S4中，所述骨干网络由一系列的卷积操作堆叠而成，用于丰富点云的特征信息。
作为优选，步骤S5中，所述结果包括待检测目标的中心点坐标、尺寸大小、航向角以及类别信息。本发明的输入为激光雷达传感器获取的点云数据，包含点云的坐标信息以及强度信息，对于目标检测任务，需要输出目标的中心点位置、尺寸大小、航向角以及类别信息。
因此，本发明的优点是：
(1)通过多分支输入的方式，强化强度信息在目标检测中所起的作用，从而提升检测性能；
(2)采用基于体素的点云检测算法，具有良好的泛化能力，实现性能与速度的平衡。
附图说明
图1是本发明实施例的流程图。
具体实施方式
下面结合附图与具体实施方式对本发明做进一步的描述。
一种多分支输入的激光雷达目标检测方法，包括以下步骤：步骤S1)输入点云数据；步骤S2)对点云数据进行体素化；步骤S3)进行特征映射，获得体素特征并进行融合；步骤S4)将融合后的体素特征输入骨干网络；步骤S5)检测头输出结果。本发明的输入为激光雷达传感器获取的点云数据，包含点云的坐标信息以及强度信息，对于目标检测任务，需要输出目标的中心点位置、尺寸大小、航向角以及类别信息，流程如图1所示，输入点云数据后，对点云进行体素化，先确定体素化的点云范围(xmin,ymin,zmin,xmax,ymax,zmax)，以及体素网格大小(vx,vy,vz)，对于点云中坐标为(xi,yi,zi)的点，其体素化后对应的网格索引为
Figure BDA0003505087260000041
其中floor()为向下取整；经过体素化操作后，由于点云本身存在的稀疏性问题，同一个体素网格中会存在多个点，因此需要对体素网格中的点进行特征编码，将同一体素网格中点的特征进行聚合得到体素特征，其中的核心操作为多层感知器(Multi-layer perceptron,MLP)，对于同一体素网格中的点，本发明将点云的坐标信息与强度信息分别送入两个不同的分支网络中进行特征映射，分别获得空间体素特征以及强度体素特征，可以表示为Fs＝h(M1(p1),…,M1(pM))，Fr＝h(M2(r1),…,M2(rM))，其中Fs、Fr分别表示空间体素特征、强度体素特征，M1和M2为参数不同的MLP操作，pi和ri(i＝1,…,M)表示点的坐标信息与强度信息，h()为对称函数，包括求和，最大值，均值等；接着将空间体素特征和强度体素特征进行融合得到最终的体素特征，融合方法有多种，包括加法、级联等；最后，将编码好的体素特征送入后续的骨干网络以及检测头中预测目标的相关信息，其中骨干网格是由一系列的卷积操作堆叠而成，用于丰富点云的特征信息，检测头用于输出最终结果，包括目标的中心点坐标、尺寸大小、航向角以及类别信息。
表一通过定量的实验数据反映了本发明在检测性能上的提升。
表一
方法 mAP
常规方法 75.11
本发明 77.79
体素特征融合除了在VFE层中实现之外，还可以在后续的骨干网络中实现，即将空间体素特征和强度体素特征分别融入不同的骨干网络中丰富点云的特征，然后再进行体素特征融合，最后送入检测头中输出目标信息。

Claims (6)

1.一种多分支输入的激光雷达目标检测方法，其特征在于，包括以下步骤：
步骤S1：输入点云数据；
步骤S2：对点云数据进行体素化；
步骤S3：进行特征映射，获得体素特征并进行融合；
步骤S4：将融合后的体素特征输入骨干网络；
步骤S5：检测头输出结果。
2.根据权利要求1所述的一种多分支输入的激光雷达目标检测方法，其特征在于，步骤S1中，所述点云数据包括点云的坐标信息和强度信息。
3.根据权利要求1所述的一种多分支输入的激光雷达目标检测方法，其特征在于，步骤S2的具体过程，包括以下步骤：
步骤S21：确定体素化的点云范围(xmin,ymin,zmin,xmax,ymax,zmax)；
步骤S22：确定体素网格大小(vx,vy,vz)；
步骤S23：对于点云中坐标为(xi,yi,zi)的点，体素化后对应的网格索引为
Figure FDA0003505087250000011
其中floor()为向下取整。
4.根据权利要求2所述的一种多分支输入的激光雷达目标检测方法，其特征在于，步骤S3的具体过程为：将点云的坐标信息和强度信息分别送入两个不同的分支网络中进行特征映射，分别获得空间体素特征和强度体素特征，然后进行融合获得最终的体素特征。
5.根据权利要求1所述的一种多分支输入的激光雷达目标检测方法，其特征在于，步骤S4中，所述骨干网络由一系列的卷积操作堆叠而成，用于丰富点云的特征信息。
6.根据权利要求1所述的一种多分支输入的激光雷达目标检测方法，其特征在于，步骤S5中，所述结果包括待检测目标的中心点坐标、尺寸大小、航向角以及类别信息。
CN202210136727.7A 2022-02-15 2022-02-15 一种多分支输入的激光雷达目标检测方法 Pending CN114648579A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210136727.7A CN114648579A (zh) 2022-02-15 2022-02-15 一种多分支输入的激光雷达目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210136727.7A CN114648579A (zh) 2022-02-15 2022-02-15 一种多分支输入的激光雷达目标检测方法

Publications (1)

Publication Number Publication Date
CN114648579A true CN114648579A (zh) 2022-06-21

Family

ID=81992746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210136727.7A Pending CN114648579A (zh) 2022-02-15 2022-02-15 一种多分支输入的激光雷达目标检测方法

Country Status (1)

Country Link
CN (1) CN114648579A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
CN110033621A (zh) * 2019-05-22 2019-07-19 北京经纬恒润科技有限公司 一种危险车辆检测方法、装置及系统
CN111079652A (zh) * 2019-12-18 2020-04-28 北京航空航天大学 一种基于点云数据简易编码的3d目标检测方法
WO2020237693A1 (zh) * 2019-05-31 2020-12-03 华南理工大学 一种水面无人装备多源感知方法及系统
CN112183393A (zh) * 2020-09-30 2021-01-05 深兰人工智能(深圳)有限公司 激光雷达点云目标检测方法、系统及装置
CN112731339A (zh) * 2021-01-04 2021-04-30 东风汽车股份有限公司 一种基于激光点云的三维目标检测系统及其检测方法
CN113378647A (zh) * 2021-05-18 2021-09-10 浙江工业大学 基于三维点云的实时轨道障碍物检测方法
US20210302584A1 (en) * 2020-03-30 2021-09-30 Beijing Qingzhouzhihang Intelligent Technology Co., Ltd Method, apparatus and electronic device for real-time object detection
CN113759338A (zh) * 2020-11-09 2021-12-07 北京京东乾石科技有限公司 一种目标检测方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
CN110033621A (zh) * 2019-05-22 2019-07-19 北京经纬恒润科技有限公司 一种危险车辆检测方法、装置及系统
WO2020237693A1 (zh) * 2019-05-31 2020-12-03 华南理工大学 一种水面无人装备多源感知方法及系统
CN111079652A (zh) * 2019-12-18 2020-04-28 北京航空航天大学 一种基于点云数据简易编码的3d目标检测方法
US20210302584A1 (en) * 2020-03-30 2021-09-30 Beijing Qingzhouzhihang Intelligent Technology Co., Ltd Method, apparatus and electronic device for real-time object detection
CN112183393A (zh) * 2020-09-30 2021-01-05 深兰人工智能(深圳)有限公司 激光雷达点云目标检测方法、系统及装置
CN113759338A (zh) * 2020-11-09 2021-12-07 北京京东乾石科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN112731339A (zh) * 2021-01-04 2021-04-30 东风汽车股份有限公司 一种基于激光点云的三维目标检测系统及其检测方法
CN113378647A (zh) * 2021-05-18 2021-09-10 浙江工业大学 基于三维点云的实时轨道障碍物检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王海 等: "基于多传感器融合的智能汽车多目标检测技术综述", 《汽车安全与节能学报》, 15 December 2021 (2021-12-15) *
谢波;赵亚男;高利;高峰;: "基于激光雷达点云的小目标语义分割增强方法", 激光杂志, no. 04, 25 April 2020 (2020-04-25) *

Similar Documents

Publication Publication Date Title
CN111489358B (zh) 一种基于深度学习的三维点云语义分割方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109598268B (zh) 一种基于单流深度网络的rgb-d显著目标检测方法
CN109977774B (zh) 一种基于自适应卷积的快速目标检测方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN112836734A (zh) 一种异源数据融合方法及装置、存储介质
Ren et al. A novel squeeze YOLO-based real-time people counting approach
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN108846831B (zh) 基于统计特征和图像特征相结合的带钢表面缺陷分类方法
CN113537316A (zh) 一种基于4d毫米波雷达点云的车辆检测方法
CN114419413A (zh) 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法
CN114332921A (zh) 基于改进聚类算法的Faster R-CNN网络的行人检测方法
CN110738132A (zh) 一种具备判别性感知能力的目标检测质量盲评价方法
Zeng et al. Steel sheet defect detection based on deep learning method
Wu et al. Location recognition algorithm for vision-based industrial sorting robot via deep learning
CN113095332B (zh) 一种基于特征学习的显著性区域检测方法
CN113591850A (zh) 基于计算机视觉鲁棒性目标检测的两阶段商标检测法
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质
CN112418358A (zh) 一种强化深度融合网络的车辆多属性分类方法
Han et al. An end-to-end dehazing Siamese region proposal network for high robustness object tracking
CN110111358B (zh) 一种基于多层时序滤波的目标跟踪方法
CN114648579A (zh) 一种多分支输入的激光雷达目标检测方法
Zhang et al. Detection of road surface identifiers based on deep learning
CN111563440A (zh) 一种基于异构卷积的多核迭代rpn的目标检测方法
CN115909405A (zh) 一种基于YOLOv5的人物交互检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination