CN116205989A - 基于激光雷达与相机融合的目标检测方法、系统及设备 - Google Patents

基于激光雷达与相机融合的目标检测方法、系统及设备 Download PDF

Info

Publication number
CN116205989A
CN116205989A CN202310015876.2A CN202310015876A CN116205989A CN 116205989 A CN116205989 A CN 116205989A CN 202310015876 A CN202310015876 A CN 202310015876A CN 116205989 A CN116205989 A CN 116205989A
Authority
CN
China
Prior art keywords
target
camera
point cloud
laser radar
identification result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310015876.2A
Other languages
English (en)
Inventor
秦也辰
史少阳
陈凯
韩逸飞
徐涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202310015876.2A priority Critical patent/CN116205989A/zh
Publication of CN116205989A publication Critical patent/CN116205989A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种基于激光雷达与相机融合的目标检测方法、系统及设备。该方法包括：逐帧同步激光雷达的点云数据以及相机拍摄的图像数据；根据点云数据生成稀疏深度图像；根据稀疏深度图像以及图像数据确定稠密深度图像，并结合相机的内参矩阵，将稠密深度图像投影生成稠密点云；根据稠密点云生成第一目标初步识别结果；利用离线训练的路面目标检测模型识别图像数据中的第二目标初步识别结果；融合第一目标初步识别结果以及第二目标初步识别结果生成基于激光雷达与相机的驾驶场景下的目标的边界框；将边界框投影至所述稠密点云中，生成目标的尺寸信息以及所述目标相对于所述车辆平台的位置信息。本发明提高了目标检测识别效果。

Description

基于激光雷达与相机融合的目标检测方法、系统及设备
技术领域
本发明涉及自动驾驶领域，特别是涉及一种基于激光雷达与相机融合的目标检测方法、系统及设备。
背景技术
目标检测是自动驾驶环境感知模块中的关键任务，后端的决策、规划、运动控制等模块都依赖感知系统对车辆平台周围目标的可靠准确检测。驾驶场景下的目标包括车辆在实际行驶过程中周围的车辆、行人等大尺寸目标以及锥桶、车辆遗撒物、典型路面缺陷(路面凹坑、路面鼓包)等小尺寸目标。上述驾驶场景下的目标检测的难点在于：(1)涵盖物体种类多，目标尺寸、颜色、形状、反射率等特性各不相同且差异较大；(2)车辆平台在行驶过程中，光照条件与天气情况等环境因素不断变化。
激光雷达与相机是目标检测领域常用的传感器，激光雷达获得的点云信息能够准确提供周围环境中目标的反射率、距离、三维尺寸信息，且不受光照变化的影响。但是点云数据具有稀疏性并且不能提供纹理信息，因此难以胜任小目标检测的任务。相机获得的图像数据是二维稠密的数据，能够提供周围环境中丰富的颜色、纹理与形状信息，图像数据适用于基于深度学习的目标检测算法，但是基于深度学习的检测方法只能识别训练集中包含的目标类别，同时，相机拍摄的图像对光照变化敏感，难以应对复杂变化的真实驾驶环境。因此，单独使用激光雷达或者相机难以应对真实复杂驾驶场景下的目标检测任务。
采用基于激光雷达与相机融合的方法能够综合利用各传感器信息的优势，提高目标识别准确度以及目标定位精度，常用的基于激光雷达与相机的融合方法根据融合的阶段不同可以分为原始数据前融合、识别结果后融合以及分部融合。
1、基于激光雷达点云与相机图像原始数据的前融合是常见的融合框架之一，(如：CN115015954A)前融合方法比较直接，将相机拍摄的RGB图像与激光雷达点云数据投影到相机成像平面得到的深度图进行级联融合得到RGBD图像，通过卷积神经网络对RGBD图像进行目标检测。这种方法简单直接但是没有考虑到多模态传感器异构数据的特点，并且激光雷达与相机的视场角不同，融合过程中会丢失部分原始信息。
2、基于激光雷达与相机识别结果的后融合是常见的融合框架之一，(如：CN111340797A、CN114463303A、CN113139602A)，分别利用激光雷达点云数据与相机图像数据单独进行检测，然后对检测结果进行后融合。由于激光雷达与相机在各自检测过程中，均作为独立的传感器完成任务，在检测过程中不进行数据交换，没有全面综合应用多模态数据信息。
3、基于激光雷达与相机的分部融合时常见的融合框架之一，目标检测任务包含目标识别以及目标定位两个部分，分部融合方法分别将图像数据与点云数据用于目标检测与目标定位，(如：CN114120075A、CN113985445A等)，上述专利利用基于卷积神经网络的目标检测算法在相机的图像上检测出目标的二维包络矩形，利用视锥体投影方法将在图像上的识别结果投影到激光雷达点云中，对目标进行定位。只通过深度神经网络的方法对图像数据进行检测只能检测模型训练数据集中包含的类型，不能对未知类型的目标进行检测，此外，相机拍摄的图像对光照变化敏感，容易影响识别效果。
发明内容
本发明的目的是提供一种基于激光雷达与相机融合的目标检测方法、系统及设备，以解决目标检测识别效果差的问题。
为实现上述目的，本发明提供了如下方案：
一种基于激光雷达与相机融合的目标检测方法，包括：
联合标定激光雷达、相机以及车辆平台，并对激光雷达与相机进行时间戳对齐，逐帧同步所述激光雷达的点云数据以及所述相机拍摄的图像数据；
根据所述点云数据生成稀疏深度图像；
根据所述稀疏深度图像以及所述图像数据确定稠密深度图像，并结合所述相机的内参矩阵，将所述稠密深度图像投影生成稠密点云；
根据所述稠密点云生成第一目标初步识别结果；所述第一目标初步识别结果为基于激光雷达点云的驾驶场景下的目标初步识别结果；所述驾驶场景下的目标包括常见目标以及异常目标；
利用离线训练的路面目标检测模型识别所述图像数据中的第二目标初步识别结果；所述第二目标初步识别结果为基于相机图像的驾驶场景下的目标初步识别结果；
融合所述第一目标初步识别结果以及所述第二目标初步识别结果生成基于激光雷达与相机的驾驶场景下的目标的边界框；
将所述边界框投影至所述稠密点云中，生成目标的尺寸信息以及所述目标相对于所述车辆平台的位置信息。
可选的，所述根据所述点云数据生成稀疏深度图像，具体包括：
将所述点云数据经过坐标变换统一到相机坐标系上；
将所述相机坐标系下的点云数据投影到所述相机的图像坐标系上，生成稀疏深度图像。
可选的，所述根据所述稀疏深度图像以及所述图像数据确定稠密深度图像，具体包括：
以所述图像数据作为先导，对所述图像数据进行亲和度分析，通过卷积空间传播网络将所述稀疏深度图像稠密化，生成稠密深度图像。
可选的，所述根据所述稠密点云生成第一目标初步识别结果，具体包括：
利用随机采样一致性算法检测所述稠密点云中的路面区域，提取路面区域点云；
根据所述路标区域点云剔除路面点，生成剔除后的稠密点云；
利用基于密度的聚类方法对所述剔除后的稠密点云进行聚类处理，生成聚类的点云簇；
将所述聚类的点云簇投影到所述相机的图像坐标系，计算所述聚类的点云簇的最小二维包络矩形；所述聚类的点云簇的最小二维包络矩形为所述第一目标初步识别结果。
可选的，所述利用离线训练的路面目标检测模型识别所述图像数据中的第二目标初步识别结果，具体包括：
获取驾驶场景下的目标；
根据所述驾驶场景下的目标训练深度卷积神经网络，生成离线训练的路面目标检测模型；
利用所述离线训练的路面目标检测模型识别所述图像数据中的驾驶场景下的目标，输出驾驶场景下的目标的最小二维包络矩形；所述驾驶场景下的目标的最小二维包络矩形为所述第二目标初步识别结果。
可选的，所述融合所述第一目标初步识别结果以及所述第二目标初步识别结果生成基于激光雷达与相机的驾驶场景下的目标的边界框，具体包括：
利用公式
Figure BDA0004040149820000041
生成基于激光雷达与相机的驾驶场景下的目标的边界框；
其中，m为当前时刻所述第一目标初步识别结果的数量；n为当前时刻所述第二目标初步识别结果的数量；
Figure BDA0004040149820000042
为第i个所述第一目标初步识别结果，/>
Figure BDA0004040149820000043
为第j个所述第二目标初步识别结果；/>
Figure BDA0004040149820000044
为对/>
Figure BDA0004040149820000045
与/>
Figure BDA0004040149820000046
求交并比。
一种基于激光雷达与相机融合的目标检测系统，包括：
时空同步模块，用于联合标定激光雷达、相机以及车辆平台，并对激光雷达与相机进行时间戳对齐，逐帧同步所述激光雷达的点云数据以及所述相机拍摄的图像数据；
稀疏深度图像生成模块，用于根据所述点云数据生成稀疏深度图像；
稠密点云生成模块，用于根据所述稀疏深度图像以及所述图像数据确定稠密深度图像，并结合所述相机的内参矩阵，将所述稠密深度图像投影生成稠密点云；
第一目标初步识别结果生成模块，用于根据所述稠密点云生成第一目标初步识别结果；所述第一目标初步识别结果为基于激光雷达点云的驾驶场景下的目标初步识别结果；所述驾驶场景下的目标包括常见目标以及异常目标；
第二目标初步识别结果生成模块，用于利用离线训练的路面目标检测模型识别所述图像数据中的第二目标初步识别结果；所述第二目标初步识别结果为基于相机图像的驾驶场景下的目标初步识别结果；
融合模块，用于融合所述第一目标初步识别结果以及所述第二目标初步识别结果生成基于激光雷达与相机的驾驶场景下的目标的边界框；
尺寸信息以及位置信息生成模块，用于将所述边界框投影至所述稠密点云中，生成目标的尺寸信息以及所述目标相对于所述车辆平台的位置信息。
可选的，所述稀疏深度图像生成模块，具体包括：
坐标变换单元，用于将所述点云数据经过坐标变换统一到相机坐标系上；
稀疏深度图像生成单元，用于将所述相机坐标系下的点云数据投影到所述相机的图像坐标系上，生成稀疏深度图像。
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述所述的基于激光雷达与相机融合的目标检测方法。
一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的基于激光雷达与相机融合的目标检测方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种基于激光雷达与相机融合的目标检测方法、系统及设备，综合利用了激光雷达与相机的数据，采用数据融合与结果融合相结合的检测流程，对激光雷达与相机的原始数据进行前融合，将激光雷达的稀疏点云信息变稠密，将边界框投影至所述稠密点云中，结合前面得到的稠密点云数据，提取识别框内点云的尺寸信息与位置信息，有效提升了系统对小尺寸目标的检测能力；对激光雷达与相机的初步检测结果进行后融合，丰富了数据的种类，提升了系统的冗余性与鲁棒性，有效的提升了系统的检测精度，进一步提高了目标检测识别效果。此外，基于激光雷达的目标检测模块与基于相机的检测模块相互独立，当某一传感器出现故障时候，不影响另一传感器的运行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的基于激光雷达与相机融合的目标检测方法流程图；
图2为本发明所提供的基于激光雷达与相机融合的目标检测方法简化流程图；
图3为本发明所提供的基于激光雷达与相机融合的目标检测方法的总体流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于激光雷达与相机融合的目标检测方法、系统及设备，提高了目标检测识别效果。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
图1为本发明所提供的基于激光雷达与相机融合的目标检测方法流程图，如图1所示，本发明提供了一种基于激光雷达与相机融合的目标检测方法，包括：
步骤101：联合标定激光雷达、相机以及车辆平台，并对激光雷达与相机进行时间戳对齐，逐帧同步所述激光雷达的点云数据以及所述相机拍摄的图像数据。
在实际应用中，利用标定杆与棋牌格标定板进行联合标定，求解激光雷达坐标系、相机坐标系与车辆平台坐标系之间的旋转矩阵与平移矩阵。对激光雷达与相机进行时间戳对齐，保证点云数据与图像数据逐帧同步。
步骤102：根据所述点云数据生成稀疏深度图像。
在实际应用中，所述步骤102具体包括：将所述点云数据经过坐标变换统一到相机坐标系上；将所述相机坐标系下的点云数据投影到所述相机的图像坐标系上，生成稀疏深度图像。
在实际应用中，将激光雷达获得的点云数据经过坐标变换统一到相机坐标系上，其中，RLC与tLC分别代表激光雷达坐标系与相机坐标系之间的旋转矩阵与平移矩阵，[Xl YlZl]T与[Xc Yc Zc]T分别代表点云数据在激光雷达坐标系与相机坐标系下的坐标。
Figure BDA0004040149820000071
将相机坐标系下的点云数据投影到相机的图像坐标系上，得到稀疏深度图像。
Figure BDA0004040149820000072
其中u，v分别代表点云投影到像素坐标系的坐标，d代表稀疏深度图像中(u，v)坐标对应的灰度值；fx、fv、cx、cy为相机的内参，fx、fv分别表示在相机成像平面上的水平与竖直方向上以像素为单位相机焦距；cx、cy分别表示相机光轴在相机成像平面上的水平与竖直方向上以像素为单位的偏移距离；03Xl为[000]。
步骤103：根据所述稀疏深度图像以及所述图像数据确定稠密深度图像，并结合所述相机的内参矩阵，将所述稠密深度图像投影生成稠密点云。
在实际应用中，所述步骤103具体包括：将步所述稀疏深度图像与相机拍摄的RGB图像(即图像数据)作为输入，以图像数据作为先导，对所述图像数据进行亲和度分析，通过卷积空间传播网络(Convolutional Spatial Propagation Network，CSPN)将所述稀疏深度图像稠密化，生成稠密深度图像。
步骤104：根据所述稠密点云生成第一目标初步识别结果；所述第一目标初步识别结果为基于激光雷达点云的驾驶场景下的目标初步识别结果。驾驶场景下的目标包括常见目标以及异常目标；所述常见目标包括车辆在实际行驶过程中周围的车辆、行人等大尺寸目标，所述异常目标包括锥桶、车辆遗撒物以及典型路面缺陷等小尺寸目标。
在实际应用中，所述步骤104具体包括：利用随机采样一致性算法(Random SampleConsensus，RANSAC)检测所述稠密点云中的路面区域，提取路面区域点云；根据所述路标区域点云剔除路面点，生成剔除后的稠密点云；利用基于密度的聚类方法(Density-BasedSpatial Clustering Of Application with Noise，DBSCAN)对所述剔除后的稠密点云进行聚类处理，生成聚类的点云簇；将所述聚类的点云簇投影到所述相机的图像坐标系，计算所述聚类的点云簇的最小二维包络矩形；所述聚类的点云簇的最小二维包络矩形为所述第一目标初步识别结果。
步骤105：利用离线训练的路面目标检测模型识别所述图像数据中的第二目标初步识别结果；所述第二目标初步识别结果为基于相机图像的驾驶场景下的目标初步识别结果。
在实际应用中，所述步骤105具体包括：获取驾驶场景下的目标；根据所述驾驶场景下的目标训练深度卷积神经网络，生成离线训练的路面目标检测模型；利用所述离线训练的路面目标检测模型识别所述图像数据中的驾驶场景下的目标，输出驾驶场景下的目标的最小二维包络矩形；所述驾驶场景下的目标的最小二维包络矩形为所述第二目标初步识别结果。
步骤106：融合所述第一目标初步识别结果以及所述第二目标初步识别结果生成基于激光雷达与相机的驾驶场景下的目标的边界框。
在实际应用中，所述步骤106具体包括：利用公式
Figure BDA0004040149820000091
生成基于激光雷达与相机的驾驶场景下的目标的边界框；其中，m为当前时刻所述第一目标初步识别结果的数量；n为当前时刻所述第二目标初步识别结果的数量；/>
Figure BDA0004040149820000096
为第i个所述第一目标初步识别结果，/>
Figure BDA0004040149820000093
为第j个所述第二目标初步识别结果；/>
Figure BDA0004040149820000092
为对
Figure BDA0004040149820000094
与/>
Figure BDA0004040149820000095
求交并比；Threshold为阈值。
在实际应用中，通过阈值去除对基于激光雷达点云的驾驶场景下的目标初步识别结果(即第一目标初步识别结果)与基于相机图像的驾驶场景下的目标初步识别结果(即第二目标初步识别结果)进行后融合，去除冗余的识别结果，输出基于激光雷达与相机的驾驶场景下的目标的边界框bounding box。
步骤107：将所述边界框投影至所述稠密点云中，生成目标的尺寸信息以及所述目标相对于所述车辆平台的位置信息。
图2为本发明所提供的基于激光雷达与相机融合的目标检测方法简化流程图，如图2所示，本发明考虑驾驶场景下的目标存在尺寸差异大、形状不定并且没有特定特征的问题，采用基于激光雷达与相机融合的目标检测方法，通过原始数据融合、检测结果后融合等手段，对激光雷达与相机进行多阶段融合。首先，以相机拍摄的图像指导激光雷达得到的稀疏点云稠密化，实现多模态传感器信息的数据级融合，提升激光雷达对小尺寸路面目标的检测能力；然后，通过点云聚类实现激光雷达对路面目标的检测，其次，基于离线训练得到的深度卷积神经网络算法实现相机对车辆平台周围环境目标的检测，综合利用传统方法与深度学习的方法，提高系统的鲁棒性。基于激光雷达的目标检测模块与基于相机的检测模块相互独立，当某一传感器出现故障时候，不影响另一传感器的运行；最后，通过阈值去除方法去除冗余检测结果，实现对驾驶场景下的目标检测结果的后融合，结合前面得到的稠密点云数据，提取识别框内点云的尺寸信息与位置信息。
实施例二
基于实施例一，本发明所提供的基于激光雷达与相机融合的目标检测方法主要有5个部分组成：多模态传感器联合标定、多模态数据融合、基于激光雷达点云的检测、基于相机图像的检测、多模态检测结果后融合。图3为本发明所提供的基于激光雷达与相机融合的目标检测方法的总体流程图，如图3所示。
多模态传感器联合标定部分包括激光雷达、相机与车辆平台联合标定以及激光雷达与相机时间同步。
激光雷达点云稠密化部分包括点云投影与点云补全。将激光雷达点云投影到相机的成像平面上，得到稀疏深度图像；利用图像的亲和度分析指导稀疏深度图像稠密化，利用相机的内参矩阵将稠密深度图投影得到稠密点云。
基于激光雷达点云的检测部分包括路面滤波、点云聚类与识别框计算。通过滤波算法检测出路面区域，根据检测到的路面区域，将地面点剔除，对视场中的点云进行聚类；将聚类得到点云簇数据点投影到相机的成像平面，计算点云簇在像素坐标系下的最小包络矩形，作为基于激光雷达点云的驾驶场景下的目标初步识别结果。
基于相机图像的检测部分包括路面目标检测模型离线训练与路面目标在线检测。构建驾驶场景下的目标数据集(包括车辆在实际行驶过程中，常见的车辆、行人等大尺寸目标以及锥桶、车辆遗撒物、典型路面缺陷(路面凹坑、路面鼓包)等小尺寸目标)，离线训练基于卷积神经网络的目标检测模型；利用该目标检测模型对相机拍摄的RGB图像进行实时检测，输出驾驶场景下的目标在图像坐标系下的最小包络矩形，作为基于相机图像的驾驶场景下的目标初步识别结果。
基于激光雷达点云的检测部分与基于相机图像的检测部分是并行运行且相互独立的，当某一传感器出现故障时，不影响另一传感器的目标检测过程。
多模态检测结果后融合部分包括多模态识别结果融合与驾驶场景目标信息输出。对基于激光雷达点云与基于相机图像的初步识别结果进行融合，去除冗余的识别结果，输出目标在图像坐标系下的最小包络矩形并投影到点云数据上，计算目标的尺寸信息与位置信息。
实施例三
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种基于激光雷达与相机融合的目标检测系统。
一种基于激光雷达与相机融合的目标检测系统，包括：
时空同步模块，用于联合标定激光雷达、相机以及车辆平台，并对激光雷达与相机进行时间戳对齐，逐帧同步所述激光雷达的点云数据以及所述相机拍摄的图像数据。
稀疏深度图像生成模块，用于根据所述点云数据生成稀疏深度图像。
在实际应用中，所述稀疏深度图像生成模块，具体包括：坐标变换单元，用于将所述点云数据经过坐标变换统一到相机坐标系上；稀疏深度图像生成单元，用于将所述相机坐标系下的点云数据投影到所述相机的图像坐标系上，生成稀疏深度图像。
稠密点云生成模块，用于根据所述稀疏深度图像以及所述图像数据确定稠密深度图像，并结合所述相机的内参矩阵，将所述稠密深度图像投影生成稠密点云。
第一目标初步识别结果生成模块，用于根据所述稠密点云生成第一目标初步识别结果；所述第一目标初步识别结果为基于激光雷达点云的驾驶场景下的目标初步识别结果；所述驾驶场景下的目标包括常见目标以及异常目标。
第二目标初步识别结果生成模块，用于利用离线训练的路面目标检测模型识别所述图像数据中的第二目标初步识别结果；所述第二目标初步识别结果为基于相机图像的驾驶场景下的目标初步识别结果。
融合模块，用于融合所述第一目标初步识别结果以及所述第二目标初步识别结果生成基于激光雷达与相机的驾驶场景下的目标的边界框。
尺寸信息以及位置信息生成模块，用于将所述边界框投影至所述稠密点云中，生成目标的尺寸信息以及所述目标相对于所述车辆平台的位置信息。
实施例四
本发明实施例提供一种电子设备包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一提供的基于激光雷达与相机融合的目标检测方法。
在实际应用中，上述电子设备可以是服务器。
在实际应用中，电子设备包括：至少一个处理器(processor)、存储器(memory)、总线及通信接口(Communications Interface)。
其中：处理器、通信接口、以及存储器通过通信总线完成相互间的通信。
通信接口，用于与其它设备进行通信。
处理器，用于执行程序，具体可以执行上述实施例所述的方法。
具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。
处理器可能是中央处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
基于以上实施例的描述，本申请实施例提供一种存储介质，其上存储有计算机程序指令，计算机程序指令可被处理器执行以实现任意实施例所述的方法
本申请实施例提供的基于激光雷达与相机融合的目标检测系统以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网性能。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的电子设备。
至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、
数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带、磁盘存储或其他磁性存储设备
或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于激光雷达与相机融合的目标检测方法，其特征在于，包括：
联合标定激光雷达、相机以及车辆平台，并对激光雷达与相机进行时间戳对齐，逐帧同步所述激光雷达的点云数据以及所述相机拍摄的图像数据；
根据所述点云数据生成稀疏深度图像；
根据所述稀疏深度图像以及所述图像数据确定稠密深度图像，并结合所述相机的内参矩阵，将所述稠密深度图像投影生成稠密点云；
根据所述稠密点云生成第一目标初步识别结果；所述第一目标初步识别结果为基于激光雷达点云的驾驶场景下的目标初步识别结果；所述驾驶场景下的目标包括常见目标以及异常目标；
利用离线训练的路面目标检测模型识别所述图像数据中的第二目标初步识别结果；所述第二目标初步识别结果为基于相机图像的驾驶场景下的目标初步识别结果；
融合所述第一目标初步识别结果以及所述第二目标初步识别结果生成基于激光雷达与相机的驾驶场景下的目标的边界框；
将所述边界框投影至所述稠密点云中，生成目标的尺寸信息以及所述目标相对于所述车辆平台的位置信息。
2.根据权利要求1所述的基于激光雷达与相机融合的目标检测方法，其特征在于，所述根据所述点云数据生成稀疏深度图像，具体包括：
将所述点云数据经过坐标变换统一到相机坐标系上；
将所述相机坐标系下的点云数据投影到所述相机的图像坐标系上，生成稀疏深度图像。
3.根据权利要求1所述的基于激光雷达与相机融合的目标检测方法，其特征在于，所述根据所述稀疏深度图像以及所述图像数据确定稠密深度图像，具体包括：
以所述图像数据作为先导，对所述图像数据进行亲和度分析，通过卷积空间传播网络将所述稀疏深度图像稠密化，生成稠密深度图像。
4.根据权利要求1所述的基于激光雷达与相机融合的目标检测方法，其特征在于，所述根据所述稠密点云生成第一目标初步识别结果，具体包括：
利用随机采样一致性算法检测所述稠密点云中的路面区域，提取路面区域点云；
根据所述路标区域点云剔除路面点，生成剔除后的稠密点云；
利用基于密度的聚类方法对所述剔除后的稠密点云进行聚类处理，生成聚类的点云簇；
将所述聚类的点云簇投影到所述相机的图像坐标系，计算所述聚类的点云簇的最小二维包络矩形；所述聚类的点云簇的最小二维包络矩形为所述第一目标初步识别结果。
5.根据权利要求1所述的基于激光雷达与相机融合的目标检测方法，其特征在于，所述利用离线训练的路面目标检测模型识别所述图像数据中的第二目标初步识别结果，具体包括：
获取驾驶场景下的目标；
根据所述驾驶场景下的目标训练深度卷积神经网络，生成离线训练的路面目标检测模型；
利用所述离线训练的路面目标检测模型识别所述图像数据中的驾驶场景下的目标，输出驾驶场景下的目标的最小二维包络矩形；所述驾驶场景下的目标的最小二维包络矩形为所述第二目标初步识别结果。
6.根据权利要求1所述的基于激光雷达与相机融合的目标检测方法，其特征在于，所述融合所述第一目标初步识别结果以及所述第二目标初步识别结果生成基于激光雷达与相机的驾驶场景下的目标的边界框，具体包括：
利用公式
Figure FDA0004040149810000021
生成基于激光雷达与相机的驾驶场景下的目标的边界框；
其中，m为当前时刻所述第一目标初步识别结果的数量；n为当前时刻所述第二目标初步识别结果的数量；
Figure FDA0004040149810000022
为第i个所述第一目标初步识别结果，/>
Figure FDA0004040149810000031
为第j个所述第二目标初步识别结果；/>
Figure FDA0004040149810000032
为对/>
Figure FDA0004040149810000033
与/>
Figure FDA0004040149810000034
求交并比。
7.一种基于激光雷达与相机融合的目标检测系统，其特征在于，包括：
时空同步模块，用于联合标定激光雷达、相机以及车辆平台，并对激光雷达与相机进行时间戳对齐，逐帧同步所述激光雷达的点云数据以及所述相机拍摄的图像数据；
稀疏深度图像生成模块，用于根据所述点云数据生成稀疏深度图像；
稠密点云生成模块，用于根据所述稀疏深度图像以及所述图像数据确定稠密深度图像，并结合所述相机的内参矩阵，将所述稠密深度图像投影生成稠密点云；
第一目标初步识别结果生成模块，用于根据所述稠密点云生成第一目标初步识别结果；所述第一目标初步识别结果为基于激光雷达点云的驾驶场景下的目标初步识别结果；所述驾驶场景下的目标包括常见目标以及异常目标；
第二目标初步识别结果生成模块，用于利用离线训练的路面目标检测模型识别所述图像数据中的第二目标初步识别结果；所述第二目标初步识别结果为基于相机图像的驾驶场景下的目标初步识别结果；
融合模块，用于融合所述第一目标初步识别结果以及所述第二目标初步识别结果生成基于激光雷达与相机的驾驶场景下的目标的边界框；
尺寸信息以及位置信息生成模块，用于将所述边界框投影至所述稠密点云中，生成目标的尺寸信息以及所述目标相对于所述车辆平台的位置信息。
8.根据权利要求7所述的基于激光雷达与相机融合的目标检测系统，其特征在于，所述稀疏深度图像生成模块，具体包括：
坐标变换单元，用于将所述点云数据经过坐标变换统一到相机坐标系上；
稀疏深度图像生成单元，用于将所述相机坐标系下的点云数据投影到所述相机的图像坐标系上，生成稀疏深度图像。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行如权利要求1-6中任一项所述的基于激光雷达与相机融合的目标检测方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的基于激光雷达与相机融合的目标检测方法。
CN202310015876.2A 2023-01-06 2023-01-06 基于激光雷达与相机融合的目标检测方法、系统及设备 Pending CN116205989A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310015876.2A CN116205989A (zh) 2023-01-06 2023-01-06 基于激光雷达与相机融合的目标检测方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310015876.2A CN116205989A (zh) 2023-01-06 2023-01-06 基于激光雷达与相机融合的目标检测方法、系统及设备

Publications (1)

Publication Number Publication Date
CN116205989A true CN116205989A (zh) 2023-06-02

Family

ID=86508805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310015876.2A Pending CN116205989A (zh) 2023-01-06 2023-01-06 基于激光雷达与相机融合的目标检测方法、系统及设备

Country Status (1)

Country Link
CN (1) CN116205989A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197211A (zh) * 2023-09-04 2023-12-08 北京斯年智驾科技有限公司 一种深度图像生成方法、系统、装置及介质
CN118011421A (zh) * 2024-04-10 2024-05-10 中国科学院西安光学精密机械研究所 基于激光雷达深度估计的经纬仪图像自动调焦方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197211A (zh) * 2023-09-04 2023-12-08 北京斯年智驾科技有限公司 一种深度图像生成方法、系统、装置及介质
CN117197211B (zh) * 2023-09-04 2024-04-26 北京斯年智驾科技有限公司 一种深度图像生成方法、系统、装置及介质
CN118011421A (zh) * 2024-04-10 2024-05-10 中国科学院西安光学精密机械研究所 基于激光雷达深度估计的经纬仪图像自动调焦方法及系统

Similar Documents

Publication Publication Date Title
US11321937B1 (en) Visual localization method and apparatus based on semantic error image
CN116205989A (zh) 基于激光雷达与相机融合的目标检测方法、系统及设备
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
CN112435338B (zh) 电子地图的兴趣点的位置获取方法、装置及电子设备
CN109974733A (zh) 用于ar导航的poi显示方法、装置、终端和介质
CN112801047B (zh) 缺陷检测方法、装置、电子设备及可读存储介质
CN113128434B (zh) 一种对单目rgb图像进行3d目标检测的方法
Wang et al. Deep learning‐based vehicle detection with synthetic image data
CN112116655A (zh) 目标对象的图像的位置信息确定方法和装置
CN111161398A (zh) 一种图像生成方法、装置、设备及存储介质
Kong et al. Particle filter‐based vehicle tracking via HOG features after image stabilisation in intelligent drive system
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN117132737B (zh) 一种三维建筑模型构建方法、系统及设备
CN117237681A (zh) 图像处理方法、装置及相关设备
CN109816791B (zh) 用于生成信息的方法和装置
CN116843754A (zh) 一种基于多特征融合的视觉定位方法及系统
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
Tang et al. Automatic geo‐localization framework without GNSS data
CN116310408B (zh) 一种建立事件相机与帧相机数据关联的方法及装置
Wu et al. 3d semantic vslam of dynamic environment based on yolact
CN112927291B (zh) 三维物体的位姿确定方法、装置及电子设备和存储介质
CN117876608B (zh) 三维图像重建方法、装置、计算机设备及存储介质
CN116883586A (zh) 一种基于双目相机的地形语义地图构建方法、系统及产品
CN115953589B (zh) 一种基于深度相机的发动机缸体孔径尺寸测量方法
US20230026575A1 (en) Augmented reality depth detection through object recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination