CN114782729A - 一种基于激光雷达与视觉融合的实时目标检测方法 - Google Patents

一种基于激光雷达与视觉融合的实时目标检测方法 Download PDF

Info

Publication number
CN114782729A
CN114782729A CN202210418860.1A CN202210418860A CN114782729A CN 114782729 A CN114782729 A CN 114782729A CN 202210418860 A CN202210418860 A CN 202210418860A CN 114782729 A CN114782729 A CN 114782729A
Authority
CN
China
Prior art keywords
point
point cloud
region
interest
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210418860.1A
Other languages
English (en)
Inventor
唐小林
彭颖
汪峰
邓忠伟
王明
张志强
胡晓松
李佳承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202210418860.1A priority Critical patent/CN114782729A/zh
Publication of CN114782729A publication Critical patent/CN114782729A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及一种基于激光雷达与视觉融合的实时目标检测方法，属于自动驾驶领域。该方法包括：S1：获取车辆周围环境的相机图像数据与三维激光雷达扫描点数据，并将点云数据转换到本地直角坐标系下以及对3D点云进行预处理；S2：对预处理后的3D点云数据进行密度聚类，提取目标的3D感兴趣区域及相应点云特征；S3：筛选出目标的3D感兴趣区域的稀疏聚类，映射到图像的对应区域，提取图像特征并与点云特征进行融合；S4：将所有感兴趣区域的点云特征和图像特征输入SSD检测器，进行目标的定位与识别。本发明利用图像数据丰富了激光雷达对稀疏物体的感知能力，并提高了基于激光雷达与视觉融合检测的速度与准确性。

Description

一种基于激光雷达与视觉融合的实时目标检测方法
技术领域
本发明属于自动驾驶领域，涉及一种基于激光雷达与视觉融合的实时目标检测方法。
背景技术
自动驾驶车辆在道路中的成功应用可以降低交通事故的发生率和死亡率，还可以减少汽车对环境的影响。环境感知是自动驾驶的前提和基础，主要任务是目标障碍物(行人、车辆等)类别识别和位置检测。
随着深度学习在图像识别领域取得的优异成果，相机传感器成为了自动驾驶领域最重要的传感器之一。相机能够获取周围环境的高分辨率图像，具有目标物体的颜色分布、纹理信息等重要特征，但是图像对于场景深度的估计存在着较大的误差。此外，相机易受光照、天气影响，难以满足自动驾驶汽车在实际环境下的工作范围。
3D激光雷达是自动驾驶系统的感知模块常用的传感器之一，不受可见光环境的影响。获取的点云数据能够提供目标的三维信息，能够较好地克服目标之间相互遮挡地问题，通过点云的反射强度信息还能一定程度上区分目标物体的种类。目前，通过深度学习的介入，基于点云的检测在自动驾驶领域也取得了相当优异的结果。激光雷达通过扫描障碍物而获得离散的点云，对于近距离或大目标物体能采集到密集的点云数据，凭借这些丰富的点云可以精确地实现目标的定位与识别，但是对于远距离或者小目标物体只能采集到较为稀疏的点云，所包含的信息较少，难以准确的识别出这类稀疏物体。因此激光雷达在具有远距离或者小物体的环境中较为困难。
激光雷达点云数据和视觉图像数据的融合能充分发挥两者的互补性，丰富障碍物的特征信息，并提高目标检测的精度，是环境感知常用的目标检测方法。但是，最近基于激光雷达与视觉融合的方法都是针对整张图像与点云数据进行融合的，虽然提高了目标检测的精度，但对目标检测的速度造成了很大的损失，这对于自动驾驶的环境感知模块是极为致命的。
发明内容
有鉴于此，本发明的目的在于提供一种基于激光雷达与视觉融合的实时目标检测方法，充分利用激光雷达点云数据和相机图像数据的互补性，克服了单一传感器进行目标检测存在的准确性低，鲁棒性差等问题，最大程度减少激光雷达与相机融合所带来的时间损失。
为达到上述目的，本发明提供如下技术方案：
一种基于激光雷达与视觉融合的实时目标检测方法，具体包括以下步骤：
S1：获取车辆周围环境的相机图像数据与三维激光雷达扫描点数据，并将点云数据转换到本地直角坐标系下以及对3D点云进行预处理；
S2：对预处理后的3D点云数据进行密度聚类，提取目标的3D感兴趣区域及相应点云特征；
S3：筛选出目标的3D感兴趣区域的稀疏聚类，映射到图像的对应区域，提取图像特征并与点云特征进行融合；
S4：将所有感兴趣区域的特征(点云特征和图像特征)输入SSD检测器，进行目标的定位与识别。
进一步，步骤S1具体包括以下步骤：
S11：构建以激光雷达中心位置为坐标原点的直角坐标系，得到每个扫描点Pi的多参数表示形式Pi＝(Ii,xi,yi,zi)，具体为：以激光雷达中心作为坐标原点，以激光雷达的垂直轴线方向为Z轴，以轴线向上为Z轴的正方向；以扫描第一个平面的水平射线方向为X轴，X轴的正方向指向汽车右侧；以车辆的前进方向为Y轴的正方向；
S12：根据直角坐标系进行区域滤波，设定感兴趣区域边界，保留感兴趣区域中的扫描点，即：
Pf＝{Pi|-X＜xi＜X,Y1＜yi＜Y2,Z1＜zi＜Z2}
当扫描点Pi的坐标(xi,yi,zi)满足在感兴趣区域的范围-X＜xi＜X,Y1＜yi＜Y2,Z1＜zi＜Z2，将该扫描点Pi加入点集Pf，进而得到感兴趣区域扫描点的点集Pf；
S13：去除3D点云的噪声点：对于点集Pf中的每一个扫描点Pi，搜索在扫描点Pi半径R内的近邻点，如果Pi的近邻点数量小于M个，则将该扫描点Pi标注为噪声点并从点集Pf中移除；遍历点集Pf，找到所有噪声点并从点集Pf中移除，得到预处理后的点集Po；
S14：过滤3D点云的地面点。
进一步，步骤S14具体包括以下步骤：
S141：点云数据栅格化：根据点集Po中的每一个扫描点Pi的坐标(xi,yi,zi)分配至栅格(row,col)中；(row,col)的计算方式如下：
Figure BDA0003606055830000021
其中，floor(·)为向下取整函数，Rmax为激光雷达最大探测距离，dx,dy分别为栅格单元的长和宽，(xp,yp)表示点Pi在当前构建的本地直角坐标系下的x、y轴上的坐标值。
S142：计算栅格单元ceil(i,j)平均高度，计算方式如下：
Figure BDA0003606055830000031
其中，(i,j)表示栅格单元ceil(i,j)的行号和列号，size(·)为栅格单元内的点云数量，Pi为栅格单元ceil(i,j)中的点，
Figure BDA0003606055830000032
为扫描点Pi的z值；
S143：计算栅格单元ceil(i,j)的高度差Zdiff(i,j)，计算方式如下：
Zdiff(i,j)＝zmax-zmin
其中，zmax,zmin分别为栅格单元ceil(i,j)的高度的最大值和最小值；
S144：计算栅格单元ceil(i,j)的高度方差σ2 (i,j)，计算公式如下：
Figure BDA0003606055830000033
S145：遍历所有栅格，找到所有满足阈值条件的地面点并从点集Pf中移除，得到预处理后的点集P；阈值条件为：
Figure BDA0003606055830000034
其中，N1、N2、N3分别表示非地面点云栅格单元平均高度、高度差、高度方差的最低阈值。
进一步，步骤S2中，对预处理后的3D点云数据采用DBSCAN算法进行密度聚类，提取目标的感兴趣区域以及对应点云的特征，具体包括以下步骤：
S21：遍历点集P中的每个扫描点的聚类领域半径ε来进行簇的搜索，如果某一点的ε内包含的点数大于等于邻域密度阈值MinPts，则以该点为核心点创建一个簇，然后通过搜索与核心点直接密度可达的点来扩大和完善该簇，当没有新点添加到任何簇时，聚类结束；
S22：计算聚类后每一簇的最小3D轴对齐矩形边界框，并标记为候选目标区域；
S23：对每一个侯选目标区域利用PointNet++提取每一个点的特征。
进一步，步骤S21中，DBSCAN算法能替换其他聚类算法。
进一步，步骤S23中，提取点云特征的算法包括PointNet++、PointNet、VoxelNet或SECOND等。
进一步，步骤S3具体包括以下步骤：
S31：筛选出步骤S2中稀疏的侯选目标区域，条件如下：
Ni≤[w1(Lx,Ly,Lz)+w2(ymax)]N
其中，N为点集P中点云的总数量，Ni为聚类后每簇中的点云数量，w1,w2为比列系数，w1与聚类后每簇的长Lx、宽Ly、高Lz成正比，w2与每簇的最远距离ymax成反比；
S32：将步骤S31筛选出的点云目标区域映射到对应相机的图像中，提取图像中对应的感兴趣区域，转换关系如下：
Figure BDA0003606055830000041
其中，Pi＝[x,y,z]T为点云中目标区域在雷达坐标系中的三维坐标，Ac为相机内参矩阵，Pt＝[u,v]T为Pi＝[x,y,z]T在像素坐标下中对应的位置，R∈R3×3,t∈R3×1分别为激光雷达坐标与像素坐标系之间的旋转矩阵与平移向量；
S33：提取图像中目标感兴趣区域中的图像特征，并与相对应区域的点云特征进行融合。
进一步，步骤S33中，利用YOLOV3或深度卷积神经网络提取目标感兴趣区域中的图像特征。
进一步，步骤S4中，利用SSD探测器对感兴趣区域中提取的图像特征进行定位和识别。
本发明的有益效果在于：
1)本发明充分发挥了激光雷达点云和相机图像数据的互补性，融合两种数据，提高了道路场景下目标检测的准确性，增强了检测算法的鲁棒性。
2)本发明考虑了激光雷达点云数据中3D目标的感兴趣区域中具有稀疏性的区域，并用图像信息丰富了这类区域，提高了目标检测的准确性。
3)本发明丢弃了整张图像与点云数据进行融合的思路，筛选出点云场景中稀疏的3D感兴趣区域，并映射到相应图像区域，提取并融合图像特征信息，以丰富稀疏区域的特征，极大程度地提高了基于激光雷达与视觉融合的目标检测方法的速度，保证了检测算法的实时性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明融合感知方法的流程图；
图2为本发明方法的整体流程图；
图3为本发明实施步骤S1的具体流程图；
图4为本发明实施步骤S2的具体流程图；
图5为本发明实施步骤S3的具体流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1～图5，本发明提供了一种基于激光雷达与视觉融合的实时目标检测方法，克服了激光雷达点云的稀疏性造成的检测精确度下降，并最大程度的减小了激光雷达与相机融合所带来的时间损失。如图1所示，该方法主要由三个模块组成：点云检测、图像检测与数据融合，克服了单一传感器的不足，也减少了传感器融合消耗的内存。
如图2所示，该方法具体包括以下步骤：
S1：获取车辆周围环境的相机图像数据与三维激光雷达扫描点数据，并将点云数据转换到本地直角坐标系下以及对3D点云进行预处理，如图3所示，具体包括以下步骤：
S11：构建以激光雷达中心位置为坐标原点的直角坐标系，得到每个扫描点Pi的多参数表示形式Pi＝(Ii,xi,yi,zi)，具体为：以激光雷达中心作为坐标原点，以激光雷达的垂直轴线方向为Z轴，以轴线向上为Z轴的正方向；以扫描第一个平面的水平射线方向为X轴，X轴的正方向指向汽车右侧；以车辆的前进方向为Y轴的正方向。
S12：根据直角坐标系进行区域滤波，设定感兴趣区域边界，保留感兴趣区域中的扫描点，即：
Pf＝{Pi|-X＜xi＜X,Y1＜yi＜Y2,Z1＜zi＜Z2}
当扫描点Pi的坐标(xi,yi,zi)满足在感兴趣区域的范围-X＜xi＜X,Y1＜yi＜Y2,Z1＜zi＜Z2，将该扫描点Pi加入点集Pf，进而得到感兴趣区域扫描点的点集Pf。
S13：去除3D点云的噪声点：对于点集Pf中的每一个扫描点Pi，搜索在扫描点Pi半径R内的近邻点，如果Pi的近邻点数量小于M个，则将该点Pi标注为噪声点并从点集Pf中移除；遍历点集Pf，找到所有噪声点并从点集Pf中移除，得到预处理后的点集Po。
S14：过滤3D点云的地面点，具体包括以下步骤：
S141：点云数据栅格化：根据点集Po中的每一个扫描点Pi的坐标(xi,yi,zi)分配至栅格(row,col)中，(row,col)的计算方式如下：
Figure BDA0003606055830000061
其中，floor(·)为向下取整函数，Rmax为激光雷达最大探测距离，dx,dy分别为栅格单元的长和宽，(xp,yp)表示点Pi在当前构建的本地直角坐标系下的x、y轴上的坐标值。
S142：计算栅格单元ceil(i,j)平均高度，计算方式如下：
Figure BDA0003606055830000062
其中，(i,j)表示栅格单元ceil(i,j)的行号和列号，size(·)为栅格单元内的点云数量，Pi为栅格单元ceil(i,j)中的点，zpi为扫描点Pi的z值。
S143：计算栅格单元ceil(i,j)的高度差，计算方式如下，
Zdiff(i,j)＝zmax-zmin
其中，zmax,zmin分别为栅格单元ceil(i,j)的高度的最大值和最小值。
S144：计算栅格单元ceil(i,j)的高度方差，计算公式如下：
Figure BDA0003606055830000063
S145：遍历所有栅格，找到所有满足阈值条件的地面点并从点集Pf中移除，得到预处理后的点集P，阈值条件为：
Figure BDA0003606055830000064
其中，N1、N2、N3分别为非地面点云栅格单元平均高度、高度差、高度方差的最低阈值。
S2：将预处理后的3D点云数据进行密度聚类，提取目标的3D感兴趣区域及相应点云特征，如图4所示，具体包括以下步骤：
S21：遍历点集P中的每个扫描点的聚类领域半径ε来进行簇的搜索，如果某一点的ε内包含的点数大于等于邻域密度阈值MinPts，则以该点为核心点创建一个簇，然后通过搜索与核心点直接密度可达的点来扩大和完善该簇，当没有新点添加到任何簇时，聚类结束。
S22：计算聚类后每一簇的最小3D轴对齐矩形边界框，并标记为候选目标区域。
S23：对每一个侯选目标区域利用PointNet++提取每一个点的特征。
S3：筛选出目标的3D感兴趣区域的稀疏聚类，映射到图像的对应区域，提取图像特征并与点云特征进行融合，如图5所示，具体包括以下步骤：
S31：筛选出步骤S2中稀疏的侯选目标区域，条件如下：
Ni≤[w1(Lx,Ly,Lz)+w2(ymax)]N
其中，N为点集P中点云的总数量，Ni为聚类后每簇中的点云数量，w1,w2为比列系数，w1与聚类后每簇的长Lx，宽Ly，高Lz成正比，w2与每簇的最远距离ymax成反比。
S32：将上述筛选出的点云目标区域映射到对应相机的图像中，提取图像中对应的感兴趣区域，转换关系如下：
Figure BDA0003606055830000071
其中，Pi＝[x,y,z]T为点云中目标区域在雷达坐标系中的三维坐标，Ac为相机内参矩阵，Pt＝[u,v]T为Pi＝[x,y,z]T在所述像素坐标下中对应的位置，R∈R3×3,t∈R3×1分别为激光雷达坐标与像素坐标系之间的旋转矩阵与平移向量。
S33：将上述图像中目标感兴趣区域利用YOLOV3提取图像特征，并与相对应区域的点云特征进行融合。
S4：对上述所有感兴趣区域的特征(点特征和图像特征)输入SSD检测器，进行目标的定位。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于激光雷达与视觉融合的实时目标检测方法，其特征在于，该方法具体包括以下步骤：
S1：获取车辆周围环境的相机图像数据与三维激光雷达扫描点数据，并将点云数据转换到本地直角坐标系下以及对3D点云进行预处理；
S2：对预处理后的3D点云数据进行密度聚类，提取目标的3D感兴趣区域及相应点云特征；
S3：筛选出目标的3D感兴趣区域的稀疏聚类，映射到图像的对应区域，提取图像特征并与点云特征进行融合；
S4：将所有感兴趣区域的点云特征和图像特征输入检测器，进行目标的定位与识别。
2.根据权利要求1所述的实时目标检测方法，其特征在于，步骤S1具体包括以下步骤：
S11：构建以激光雷达中心位置为坐标原点的直角坐标系，得到每个扫描点Pi的多参数表示形式Pi＝(Ii，xi，yi，zi)，具体为：以激光雷达中心作为坐标原点，以激光雷达的垂直轴线方向为Z轴，以轴线向上为Z轴的正方向；以扫描第一个平面的水平射线方向为X轴，X轴的正方向指向汽车右侧；以车辆的前进方向为Y轴的正方向；
S12：根据直角坐标系进行区域滤波，设定感兴趣区域边界，保留感兴趣区域中的扫描点，即：
Pf＝{Pi|-X＜xi＜X，Y1＜yi＜Y2，Z1＜zi＜Z2}
当扫描点Pi的坐标(xi，yi，zi)满足在感兴趣区域的范围-X＜xi＜X，Y1＜yi＜Y2，Z1＜zi＜Z2，将该扫描点Pi加入点集Pf，进而得到感兴趣区域扫描点的点集Pf；
S13：去除3D点云的噪声点：对于点集Pf中的每一个扫描点Pi，搜索在扫描点Pi半径R内的近邻点，如果Pi的近邻点数量小于M个，则将该扫描点Pi标注为噪声点并从点集Pf中移除；遍历点集Pf，找到所有噪声点并从点集Pf中移除，得到预处理后的点集Po；
S14：过滤3D点云的地面点。
3.根据权利要求2所述的实时目标检测方法，其特征在于，步骤S14具体包括以下步骤：
S141：点云数据栅格化：根据点集Po中的每一个扫描点Pi的坐标
Figure FDA0003606055820000011
分配至栅格(row，col)中；(row，col)的计算方式如下：
Figure FDA0003606055820000012
其中，floor(·)为向下取整函数，Rmax为激光雷达最大探测距离，dx，dy分别为栅格单元的长和宽，(xp，yp)表示点Pi在当前构建的本地直角坐标系下的x、y轴上的坐标值；
S142：计算栅格单元ceil(i，j)平均高度，计算方式如下：
Figure FDA0003606055820000021
其中，(i，j)表示栅格单元ceil(i，j)的行号和列号，size(·)为栅格单元内的点云数量，Pi为栅格单元ceil(i，j)中的点，
Figure FDA0003606055820000022
为扫描点Pi的z值；
S143：计算栅格单元ceil(i，j)的高度差Zdiff(i，j)，计算方式如下：
Zdiff(i，j)＝zmax-zmin
其中，zmax，zmin分别为栅格单元ceil(i，j)的高度的最大值和最小值；
S144：计算栅格单元ceil(i，j)的高度方差σ2(i，j)，小计算公式如下：
Figure FDA0003606055820000023
S145：遍历所有栅格，找到所有满足阈值条件的地面点并从点集Pf中移除，得到预处理
后的点集P；阈值条件为：
Figure FDA0003606055820000024
其中，N1、N2、N3分别表示非地面点云栅格单元平均高度、高度差、高度方差的最低阈值。
4.根据权利要求1所述的实时目标检测方法，其特征在于，步骤S2中，对预处理后的3D点云数据采用DBSCAN算法进行密度聚类，提取目标的感兴趣区域以及对应点云的特征，具体包括以下步骤：
S21：遍历点集P中的每个扫描点的聚类领域半径ε来进行簇的搜索，如果某一点的ε内包含的点数大于等于邻域密度阈值MinPts，则以该点为核心点创建一个簇，然后通过搜索与核心点直接密度可达的点来扩大和完善该簇，当没有新点添加到任何簇时，聚类结束；
S22：计算聚类后每一簇的最小3D轴对齐矩形边界框，并标记为候选目标区域；
S23：对每一个侯选目标区域提取每一个点的特征。
5.根据权利要求1或4所述的实时目标检测方法，其特征在于，步骤S2中，提取点云特征的算法包括PointNet++、PointNet、VoxelNet或SECOND。
6.根据权利要求1所述的实时目标检测方法，其特征在于，步骤S3具体包括以下步骤：
S31：筛选出步骤S2中稀疏的侯选目标区域，条件如下：
Ni≤[w1(lx，Ly，Lz)+w2(ymax)]N
其中，N为点集P中点云的总数量，Ni为聚类后每簇中的点云数量，w1，w2为比列系数，w1与聚类后每簇的长Lx、宽Ly、高Lz成正比，w2与每簇的最远距离ymax成反比；
S32：将步骤S31筛选出的点云目标区域映射到对应相机的图像中，提取图像中对应的感兴趣区域；
S33：提取图像中目标感兴趣区域中的图像特征，并与相对应区域的点云特征进行融合。
7.根据权利要求1或6所述的实时目标检测方法，其特征在于，步骤S3中，利用YOLOV3或深度卷积神经网络提取目标感兴趣区域中的图像特征。
8.根据权利要求1所述的实时目标检测方法，其特征在于，步骤S4中，利用SSD探测器对感兴趣区域中提取的图像特征进行定位和识别。
CN202210418860.1A 2022-04-20 2022-04-20 一种基于激光雷达与视觉融合的实时目标检测方法 Pending CN114782729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210418860.1A CN114782729A (zh) 2022-04-20 2022-04-20 一种基于激光雷达与视觉融合的实时目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210418860.1A CN114782729A (zh) 2022-04-20 2022-04-20 一种基于激光雷达与视觉融合的实时目标检测方法

Publications (1)

Publication Number Publication Date
CN114782729A true CN114782729A (zh) 2022-07-22

Family

ID=82430878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210418860.1A Pending CN114782729A (zh) 2022-04-20 2022-04-20 一种基于激光雷达与视觉融合的实时目标检测方法

Country Status (1)

Country Link
CN (1) CN114782729A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242041A (zh) * 2020-01-15 2020-06-05 江苏大学 基于伪图像技术的激光雷达三维目标快速检测方法
CN116343125A (zh) * 2023-03-30 2023-06-27 北京国泰星云科技有限公司 一种基于计算机视觉的集装箱箱底锁头检测方法
CN116721246A (zh) * 2023-07-14 2023-09-08 酷哇科技有限公司 连续帧点云快速标注方法及系统
CN117593620A (zh) * 2024-01-19 2024-02-23 中汽研（天津）汽车工程研究院有限公司 一种基于相机和激光雷达融合的多目标检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875806A (zh) * 2018-05-31 2018-11-23 中南林业科技大学 基于时空数据的虚假林火热点挖掘方法
CN109100741A (zh) * 2018-06-11 2018-12-28 长安大学 一种基于3d激光雷达及图像数据的目标检测方法
CN109948661A (zh) * 2019-02-27 2019-06-28 江苏大学 一种基于多传感器融合的3d车辆检测方法
CN113192091A (zh) * 2021-05-11 2021-07-30 紫清智行科技(北京)有限公司 一种基于激光雷达与相机融合的远距离目标感知方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875806A (zh) * 2018-05-31 2018-11-23 中南林业科技大学 基于时空数据的虚假林火热点挖掘方法
CN109100741A (zh) * 2018-06-11 2018-12-28 长安大学 一种基于3d激光雷达及图像数据的目标检测方法
CN109948661A (zh) * 2019-02-27 2019-06-28 江苏大学 一种基于多传感器融合的3d车辆检测方法
CN113192091A (zh) * 2021-05-11 2021-07-30 紫清智行科技(北京)有限公司 一种基于激光雷达与相机融合的远距离目标感知方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹兵等: "一种基于栅格投影的快速地面点云分割算法", 《城市勘测》, no. 3, 30 June 2021 (2021-06-30), pages 112 - 116 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242041A (zh) * 2020-01-15 2020-06-05 江苏大学 基于伪图像技术的激光雷达三维目标快速检测方法
CN116343125A (zh) * 2023-03-30 2023-06-27 北京国泰星云科技有限公司 一种基于计算机视觉的集装箱箱底锁头检测方法
CN116343125B (zh) * 2023-03-30 2024-04-02 北京国泰星云科技有限公司 一种基于计算机视觉的集装箱箱底锁头检测方法
CN116721246A (zh) * 2023-07-14 2023-09-08 酷哇科技有限公司 连续帧点云快速标注方法及系统
CN116721246B (zh) * 2023-07-14 2024-03-19 酷哇科技有限公司 连续帧点云快速标注方法及系统
CN117593620A (zh) * 2024-01-19 2024-02-23 中汽研（天津）汽车工程研究院有限公司 一种基于相机和激光雷达融合的多目标检测方法及装置

Similar Documents

Publication Publication Date Title
CN109100741B (zh) 一种基于3d激光雷达及图像数据的目标检测方法
CN110456363B (zh) 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN110244322B (zh) 基于多源传感器的路面施工机器人环境感知系统及方法
CN111694010B (zh) 一种基于视觉与激光雷达融合的路侧车辆识别方法
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN112801022B (zh) 一种无人驾驶矿卡作业区道路边界快速检测更新的方法
CN114782729A (zh) 一种基于激光雷达与视觉融合的实时目标检测方法
CN112581612B (zh) 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统
CN111666805B (zh) 用于自动驾驶的类别标记系统
CN109598794B (zh) 三维gis动态模型的构建方法
CN106199558A (zh) 障碍物快速检测方法
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN114359876B (zh) 一种车辆目标识别方法及存储介质
Zhang et al. Rapid inspection of pavement markings using mobile LiDAR point clouds
CN116109601A (zh) 一种基于三维激光雷达点云的实时目标检测方法
CN113281782A (zh) 一种基于无人驾驶车的激光雷达雪点滤除方法
CN114821526A (zh) 基于4d毫米波雷达点云的障碍物三维边框检测方法
Song et al. Automatic detection and classification of road, car, and pedestrian using binocular cameras in traffic scenes with a common framework
CN113219472B (zh) 一种测距系统和方法
CN116977970A (zh) 一种基于激光雷达与毫米波雷达融合的道路可行驶区域检测方法
CN115588047A (zh) 一种基于场景编码的三维目标检测方法
Feng et al. Automated extraction of building instances from dual-channel airborne LiDAR point clouds
Mayura et al. Building detection from LIDAR point cloud data
Tao 3D LiDAR based drivable road region detection for autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination