CN114937255A - 一种激光雷达与相机融合的检测方法及装置 - Google Patents

一种激光雷达与相机融合的检测方法及装置 Download PDF

Info

Publication number
CN114937255A
CN114937255A CN202210709758.7A CN202210709758A CN114937255A CN 114937255 A CN114937255 A CN 114937255A CN 202210709758 A CN202210709758 A CN 202210709758A CN 114937255 A CN114937255 A CN 114937255A
Authority
CN
China
Prior art keywords
target
detection
point cloud
camera
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210709758.7A
Other languages
English (en)
Inventor
董振鹏
汤凯明
苏治国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingwei Hirain Tech Co Ltd
Original Assignee
Beijing Jingwei Hirain Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingwei Hirain Tech Co Ltd filed Critical Beijing Jingwei Hirain Tech Co Ltd
Priority to CN202210709758.7A priority Critical patent/CN114937255A/zh
Publication of CN114937255A publication Critical patent/CN114937255A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种激光雷达与相机融合的检测方法及装置，获取时间同步的激光雷达点云和相机图像，及激光雷达坐标系到相机图像像素坐标系的标定参数，对激光雷达点云的检测结果通过标定参数投影到相机图像像素坐标系得到雷达检测目标的2D边界框，结合该2D边界框进行相机图像目标检测得到相机检测目标的2D边界框，基于两个2D边界框得到修正的激光雷达点云三维检测道路目标，基于相机检测目标的2D边界框确定交通目标三维信息，将激光雷达点云三维检测道路目标和交通目标三维信息合并得到激光雷达和相机融合的目标检测结果。本发明将激光雷达和相机在原始数据层面进行前融合以及将各自的检测结果进行了融合，提高了融合检测结果的准确性。

Description

一种激光雷达与相机融合的检测方法及装置
技术领域
本发明涉及智能驾驶感知技术领域，更具体的说，涉及一种激光雷达与相机融合的检测方法及装置。
背景技术
智能驾驶车辆在进行环境感知时，由于单一传感器的目标检测效果有限，因此通常会综合多种传感器的检测结果，以得到更为可靠的感知信息。目前，以激光雷达与相机的搭配较为普遍。
现有的激光雷达与相机融合的检测方法主要有两种：一种是前融合，在原始数据层面将激光雷达和相机的数据信息直接进行融合，然后由感知算法处理融合数据。但是，目前的前融合神经网络(如MV3D、AVOD、F-PointNet等)检测精度较低，较难从融合数据中提取所需的全部信息。另一种是后融合，激光雷达和相机各自单独进行检测，然后对检测结果进行融合。由于激光雷达和相机在各自检测过程中，均作为独立的单传感器进行检测，相互之间并没有数据交互，因此，激光雷达和相机各自的检测结果存在一定的误差，导致最后的融合检测结果存在较大误差。
发明内容
有鉴于此，本发明公开一种激光雷达与相机融合的检测方法及装置，以实现激光雷达与相机的深度融合，提高激光雷达和相机的融合检测结果的准确性。
一种激光雷达与相机融合的检测方法，包括：
获取时间同步的激光雷达点云和相机图像，以及激光雷达坐标系到相机图像像素坐标系的标定参数，所述相机图像像素坐标系为所述相机图像所在的像素坐标系；
对所述激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果；
将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标系中，得到所述相机图像像素坐标系下雷达检测目标的2D边界框；
结合所述雷达检测目标的2D边界框对所述相机图像进行目标检测，得到所述相机图像像素坐标系下相机检测目标的2D边界框；
利用所述相机检测目标的2D边界框对所述雷达检测目标的2D边界框进行匹配并修正类别，得到修正后的激光雷达点云三维检测道路目标；
基于所述激光雷达点云对应的深度图，将交通目标在所述相机检测目标的2D边界框内的深度点进行反向投影，得到交通目标三维信息；
将所述激光雷达点云三维检测道路目标和所述交通目标三维信息进行合并，得到激光雷达和相机融合的目标检测结果。
可选的，所述对所述激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果，包括：
对所述激光雷达点云进行地面点分割得到非地面点云；
对所述非地面点云进行聚类，得到每簇点云的坐标位置与尺寸信息；
将每簇点云的所述坐标位置与所述尺寸信息降采样后输入至PointNet神经网络，得到所述道路目标初步检测结果。
可选的，所述将所述道路目标初步检测结果通过所述标定参数投影到所述相机像素坐标系下，得到所述相机图像像素坐标系下雷达检测目标的2D边界框，包括：
将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标系中，得到雷达检测目标的各个初始2D边界框；
计算各个所述初始2D边界框的平均深度；
计算所有的所述初始2D边界框中任意两个初始2D边界框的交并比；
若所有的所述交并比中存在大于设定阈值的目标交并比，则将所述目标交并比对应的两个初始2D边界框中，平均深度较大的初始2D边界框滤除，得到所述相机图像像素坐标系下的非遮挡2D边界框，并将所述非遮挡2D边界框确定为所述雷达检测目标的2D边界框。
可选的，结合所述雷达检测目标的2D边界框所述对所述相机图像进行目标检测，得到所述相机图像像素坐标系下相机检测目标的2D边界框，包括：
结合所述雷达检测目标的2D边界框对所述相机图像使用区域候选网络进行目标检测，得到相机图像检测提议框；
将所述相机图像检测提议框以及所述非遮挡2D边界框输入至感兴趣区域网络进行分类与回归，则到所述相机检测目标的2D边界框。
可选的，所述利用所述相机检测目标的2D边界框对所述雷达检测目标的2D边界框进行匹配并修正类别，得到修正后的激光雷达点云三维检测道路目标，包括：
计算所述相机检测目标的2D边界框和所述雷达检测目标的2D边界框的交并比；
基于所述交并比利用匈牙利匹配算法进行最优匹配，对匹配上的点云三维检测目标利用概率融合算法对道路目标类别进行概率融合，对未匹配上的点云三维检测目标增大障碍物类别的概率，得到修正后的所述激光雷达点云三维检测道路目标。
可选的，所述基于所述激光雷达点云对应的深度图，将交通目标在所述相机检测目标的2D边界框内的深度点进行反向投影，得到交通目标三维信息，包括：
基于所述激光雷达点云对应的深度图和所述标定参数，将所述交通目标在所述相机检测目标的2D边界框内的深度点进行反向投影，得到原始交通目标三维信息；
判断所述原始交通三维信息中是否具有不符合预设位置要求的目标三维点；
如果是，则将所述目标三维点滤除，根据剩余三维点得到所述交通目标三维信息。
可选的，所述激光雷达点云对应的深度图的确定过程包括：
将所述激光雷达点云通过所述标定参数投影到所述相机图像像所坐标系中，得到原始深度图；
对所述原始深度图按照空洞由小到大的顺序进行补全填充，得到中间深度图；
对所述中间深度图降低输出噪声和平滑局部平面，得到所述激光雷达点云对应的所述深度图。
一种激光雷达与相机融合的检测装置，包括：
获取单元，用于获取时间同步的激光雷达点云和相机图像，以及激光雷达坐标系到相机图像像素坐标系的标定参数，所述相机图像像素坐标系为所述相机图像所在的像素坐标系；
第一检测单元，用于对所述激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果；
投影单元，用于将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标系中，得到所述相机图像像素坐标系下雷达检测目标的2D边界框；
第二检测单元，用于结合所述雷达检测目标的2D边界框对所述相机图像进行目标检测，得到所述相机图像像素坐标系下相机检测目标的2D边界框；
修正单元，用于利用所述相机检测目标的2D边界框对所述雷达检测目标的2D边界框进行匹配并修正类别，得到修正后的激光雷达点云三维检测道路目标；
反向投影单元，用于基于所述激光雷达点云对应的深度图，将交通目标在所述相机检测目标的2D边界框内的深度点进行反向投影，得到交通目标三维信息；
结果融合单元，用于将所述激光雷达点云三维检测道路目标和所述交通目标三维信息进行合并，得到激光雷达和相机融合的目标检测结果。
可选的，所述第一检测单元包括：
分割子单元，用于对所述激光雷达点云进行地面点分割得到非地面点云；
聚类子单元，拥有对所述非地面点云进行聚类，得到每簇点云的坐标位置与尺寸信息；
目标检测子单元，用于将每簇点云的所述坐标位置与所述尺寸信息降采样后输入至PointNet神经网络，得到所述道路目标初步检测结果。
可选的，所述投影单元包括：
投影子单元，用于将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标系中，得到雷达检测目标的各个初始2D边界框；
深度计算子单元，用于计算各个所述初始2D边界框的平均深度；
第一交并比计算子单元，用于计算所有的所述初始2D边界框中任意两个初始2D边界框的交并比；
边界框确定子单元，用于若所有的所述交并比中存在大于设定阈值的目标交并比，则将所述目标交并比对应的两个初始2D边界框中，平均深度较大的初始2D边界框滤除，得到所述相机图像像素坐标系下的非遮挡2D边界框，并将所述非遮挡2D边界框确定为所述雷达检测目标的2D边界框。
从上述的技术方案可知，本发明公开了一种激光雷达与相机融合的检测方法及装置，获取时间同步的激光雷达点云和相机图像，以及激光雷达坐标系到相机图像像素坐标系的标定参数，对激光雷达点云进行点云检测得到包含类别和航向角的道路目标初步检测结果，将道路目标初步检测结果通过标定参数投影到相机图像像素坐标系中，得到相机图像像素坐标系下雷达检测目标的2D边界框，结合雷达检测目标的2D边界框对相机图像进行目标检测，得到相机图像像素坐标系下相机检测目标的2D边界框，利用相机检测目标的2D边界框对雷达检测目标的2D边界框进行匹配并修正类别，得到修正后的激光雷达点云三维检测道路目标，基于激光雷达点云对应的深度图，将交通目标在相机检测目标的2D边界框内的深度点进行反向投影，得到交通目标三维信息，将激光雷达点云三维检测道路目标和交通目标三维信息进行合并，得到激光雷达和相机融合的目标检测结果。本发明不仅在原始数据层面将激光雷达点云和相机图像进行了融合，而且还将相机图像目标检测结果和激光雷达点云检测结果进行了融合，从而实现了激光雷达与相机的深度融合，大大提高了激光雷达和相机的融合检测结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据公开的附图获得其他的附图。
图1为本发明实施例公开的一种激光雷达与相机融合的检测方法流程图；
图2为本发明实施例公开的一种对激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果的方法流程图；
图3为本发明实施例公开的一种PointNet神经网络的检测流程图；
图4为本发明实施例公开的一种相机图像像素坐标系下雷达检测目标的2D边界框的确定方法流程图；
图5为传统的Faster RCNN网络的工作原理示意图；
图6为本发明实施例公开的一种交通目标三维信息的确定方法流程图；
图7为本发明实施例公开的一种激光雷达与相机融合的检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种激光雷达与相机融合的检测方法及装置，以实现不仅在原始数据层面将激光雷达点云和相机图像进行了融合，而且还将相机图像目标检测结果和激光雷达点云检测结果进行了融合，从而实现了激光雷达与相机的深度融合，大大提高了激光雷达和相机的融合检测结果的准确性。另外，本发明在原始数据层面将激光雷达和相机融合，能够分别提高激光雷达点云和相机图像的目标检测精度，同时可以由激光雷达点云对应的深度图获的相机图像检测目标的三维信息，尤其可以实现对交通目标的检测。
参见图1，本发明实施例公开的一种激光雷达与相机融合的检测方法流程图，该方法包括：
步骤S101、获取时间同步的激光雷达点云和相机图像，以及激光雷达坐标系到相机图像像素坐标系的标定参数；
本实施例中的相机图像像素坐标系为相机图像所在的像素坐标系；
其中，激光雷达点云和相机图像的时间同步指的是：激光雷达点云和相机图像的时间差在较小的范围内。
激光雷达坐标系到相机图像像素坐标系的标定参数的确定过程，可参见现有成熟方案，此处不再赘述。
步骤S102、对激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果；
在实际应用中，可以采用激光雷达检测方法，比如PointNet神经网络、PointPillar等对激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果，类别是激光雷达能够检测的物体类型，例如汽车、公交车、自行车、行人、三轮车等道路目标(以下非必要处简称为目标)。
步骤S103、将道路目标初步检测结果通过标定参数投影到相机图像像素坐标系中，得到相机图像像素坐标系下雷达检测目标的2D边界框；
其中，雷达检测目标为道路目标。
在实际应用中，可以将道路目标初步检测结果的八个顶点通过标定参数投影到相机图像像素坐标系中，根据八个投影点的位置得到相机图像像素坐标系下雷达检测目标的2D边界框。
步骤S104、结合雷达检测目标的2D边界框对相机图像进行目标检测，得到相机图像像素坐标系下相机检测目标的2D边界框；
其中，相机检测目标包括道路目标和交通目标。
在实际应用中，对相机图像可以采用改进的Faster RCNN网络进行目标检测，改进的Faster RCNN网络分为两个阶段，第一阶段得到可能存在目标的相机图像检测提议框，第二阶段对相机图像检测提议框进行检测得到最终的相机检测目标的2D边界框，在实际应用中，还可以得到相机检测目标的类别。
步骤S105、利用相机检测目标的2D边界框对雷达检测目标的2D边界框进行匹配并修正类别，得到修正后的激光雷达点云三维检测道路目标；
本实施例中，相机检测目标的2D边界框可以作为相机图像目标检测结果，雷达检测目标的2D边界框可以作为激光雷达点云初步检测结果，利用相机检测目标的2D边界框对雷达检测目标的2D边界框进行匹配并修正类别，实际上是利用相机图像目标检测结果对激光雷达点云道路目标检测结果进行类别概率修正，得到修正后的激光雷达点云三维检测道路目标。
步骤S106、基于激光雷达点云对应的深度图，将交通目标在相机检测目标的2D边界框内的深度点进行反向投影，得到交通目标三维信息；
本实施例中的深度点是交通目标在所述深度图中带有深度信息的像素坐标点。
其中，交通目标包括：交通灯和交通标志。
本发明中的反向投影得到交通目标三维信息的具体步骤为：
将交通目标在深度图上的像素坐标点，乘以标定参数的逆矩阵，得到原始交通目标三维点云；
判断原始交通目标三维点云中是否具有不符合预设位置要求的目标三维点；
如果是，则将目标三维点滤除，根据剩余三维点云得到交通目标三维信息。
步骤S107、将激光雷达点云三维检测道路目标和交通目标三维信息进行合并，得到激光雷达和相机融合的目标检测结果。
其中，将激光雷达点云三维检测道路目标和交通目标三维信息进行合并，即将交通目标三维信息添加到激光雷达点云三维检测道路目标中，从而得到激光雷达和相机融合的目标检测结果。
综上可知，本发明公开了一种激光雷达与相机融合的检测方法，获取时间同步的激光雷达点云和相机图像，以及激光雷达坐标系到相机图像像素坐标系的标定参数，对激光雷达点云进行点云检测得到包含类别和航向角的道路目标初步检测结果，将道路目标初步检测结果通过标定参数投影到相机图像像素坐标系中，得到相机图像像素坐标系下雷达检测目标的2D边界框，结合雷达检测目标的2D边界框对相机图像进行目标检测，得到相机图像像素坐标系下相机检测目标的2D边界框，利用相机检测目标的2D边界框对雷达检测目标的2D边界框进行匹配并修正类别，得到修正后的激光雷达点云三维检测道路目标，基于激光雷达点云对应的深度图，将交通目标在相机检测目标的2D边界框内的深度点进行反向投影，得到交通目标三维信息，将激光雷达点云三维检测道路目标和交通目标三维信息进行合并，得到激光雷达和相机融合的目标检测结果。本发明不仅在原始数据层面将激光雷达点云和相机图像进行了融合，而且还将相机图像目标检测结果和激光雷达点云检测结果进行了融合，从而实现了激光雷达与相机的深度融合，大大提高了激光雷达和相机的融合检测结果的准确性。
另外，本发明在原始数据层面将激光雷达和相机融合，能够分别提高激光雷达点云和相机图像的目标检测精度，同时可以由激光雷达点云对应的深度图获的相机图像检测目标的三维信息，尤其可以实现对交通目标的检测。
为进一步优化上述实施例，参见图2，本发明实施例公开的一种对激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果的方法流程图，该方法包括：
步骤S201、对激光雷达点云进行地面点分割得到非地面点云；
本发明通过对激光雷达点云进行地面分割可以得到地面点云和非地面点云，本实施例会对地面点云进行滤除，并对非地面点云进行聚类。
步骤S202、对非地面点云进行聚类，得到每簇点云的坐标位置与尺寸信息；
步骤S203、将每簇点云的坐标位置与尺寸信息降采样后输入至PointNet神经网络，得到道路目标初步检测结果。
其中，PointNet神经网络的检测流程图如图3所示，首先将每簇点云坐标中心化，旋转到本车正前方，以使航向角更加均布，然后进行点云特征提取，提取得到的点云特征通过池化层得到综合特征，进而识别出类别和航向角信息，得到道路目标初步检测结果。
为进一步优化上述实施例，参见图4本发明实施例公开的一种相机图像像素坐标系下雷达检测目标的2D边界框的确定方法流程图，也即步骤S103包括：
步骤S301、将道路目标初步检测结果通过标定参数投影到相机图像像素坐标系中，得到雷达检测目标的各个初始2D边界框；
具体的，将道路目标初步检测结果的八个顶点通过标定参数投影到相机图像像素坐标系中，根据八个投影点的位置得到雷达检测目标的各个初始2D边界框。
步骤S302、计算各个初始2D边界框的平均深度；
其中，初始2D边界框的平均深度的计算过程可参见现有成熟方案，此处不再赘述。
步骤S303、计算所有的初始2D边界框中任意两个初始2D边界框的交并比；
交并比(Intersection-over-Union，IoU)是目标检测中使用的一个概念，是产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率，即它们的交集与并集的比值。本实施例中计算的是任意两个初始2D边界框的交并比。
步骤S304、若所有的交并比中存在大于设定阈值的目标交并比，则将目标交并比对应的两个初始2D边界框中平均深度较大的初始2D边界框滤除，得到相机图像像素坐标系下的非遮挡2D边界框，并将非遮挡2D边界框确定为雷达检测目标的2D边界框。
需要说明的是，目标交并比对应的两个初始2D边界框中平均深度较大的初始2D边界框为遮挡2D边界框。本实施例基于交并比从所有的初始2D边界框中查找到遮挡2D边界框并滤除，从而得到非遮挡2D边界框，也即雷达检测目标的2D边界框。
为进一步优化上述实施例，步骤S104具体可以包括：
结合雷达检测目标的2D边界框对相机图像使用区域候选网络进行目标检测，得到相机图像检测提议框；
将相机图像检测提议框以及非遮挡2D边界框输入至感兴趣区域网络进行分类与回归，则到相机检测目标的2D边界框。
本实施例中的相机图像使用改进的Faster RCNN网络进行目标检测。
为便于理解改进的Faster RCNN网络的工作原理，参见图5所示的传统的FasterRCNN网络的工作原理示意图，首先利用FPN(Feature Pyramid Network，金字塔特征网络)来提取特征，FPN是一种通用的特征提取器，通过自顶向下的过程和横向连接的结构(见图5中C1～C5和P2～P5)来构建各个尺寸的高层语义特征，能够较好地处理物体检测中多尺度变化问题。在FPN网络提取地特征图上的每个像素点上设置不同尺寸的锚框，利用RPN(Region Proposal Network，区域候选网络)进行进一步的特征提取，并对锚框进行第一阶段的前景背景分类及尺寸位置回归，删除分类结果为背景的锚框，并对回归后的前景锚框进行IOU过滤，得到可能存在物体的提议框。之后将提议框送入ROI(Region of Interest，感兴趣区域)网络进行第二阶段的分类与回归。在ROI网络中，ROI Align层将不同大小的提议框特征图通过双线性插值的方法整合到相同尺寸，之后通过全连接层(FC)对特征进行组合，预测目标的分类及位置尺寸信息。
本发明中改进的Faster RCNN网络分为两个阶段，第一阶段得到可能存在目标的相机图像检测提议框，第二阶段对相机图像检测提议框进行检测得到最终的相机检测目标的2D边界框及类别。相较传统的Faster RCNN网络，改进的Faster RCNN网络在第一阶段使用RPN(Region Proposal Network，区域候选网络)得到相机图像检测提议框的基础上，连同非遮挡2D边界框一通输入至ROI(Region of Interest，感兴趣区域)网络进行第二阶段的分类与回归，以增加输入ROI网络的准确性，进而提升相机图像目标检测结果的准确性。
为进一步优化上述实施例，步骤S105具体可以包括：
计算相机检测目标的2D边界框和雷达检测目标的2D边界框的交并比；
基于交并比利用匈牙利匹配算法进行最优匹配，对匹配上的点云三维检测目标利用概率融合算法对道路目标类别进行概率融合，对未匹配上的点云三维检测目标增大障碍物类别的概率，得到修正后的激光雷达点云三维检测道路目标。
其中，概率融合算法可以为证据理论等。
本实施例主要利用相机目标检测结果(即相机检测目标的2D边界框)对激光雷达点云初步检测结果(即雷达检测目标的2D边界框)进行类别概率修正。
为进一步优化上述实施例，参见图6，本发明实施例公开的一种交通目标三维信息的确定方法流程图，也即步骤S106包括：
步骤S401、基于激光雷达点云对应的深度图和标定参数，将交通目标在相机检测目标的2D边界框内的深度点进行反向投影，得到原始交通目标三维信息；
步骤S402、判断原始交通三维信息中是否具有不符合预设位置要求的目标三维点，如果是，则执行步骤S403；
其中，当原始交通三维信息中的三维点均符合预设位置要求时，则直接将原始交通三维信息确定为交通目标三维信息。
步骤S403、将目标三维点滤除，根据剩余三维点得到交通目标三维信息。
需要说明的是，相机图像中具有丰富的像素信息，能够对交通灯、交通标志等在雷达激光点云中无法检测的交通目标进行检测。由于步骤104中得到的是相机检测目标的2D边界框，因此，只能得到交通目标的2D信息，本实施例利用激光雷达点云以及激光雷达坐标系到相机图像像素坐标系的标定参数，反向投影得到交通目标三维信息。
其中，激光雷达点云对应的深度图的确定过程包括：
将激光雷达点云通过标定参数投影到相机图像像素坐标系中，得到原始深度图；
对原始深度图按照空洞由小到大的顺序进行补全填充，得到中间深度图；
对中间深度图降低输出噪声和平滑局部平面，得到激光雷达点云对应的所述深度图。
需要说明的是，在对原始深度图补全时，可以采用图像处理方法或机器学习方法，本实施例使用的是基于OpenCV的经典图像快速补全方法，利用有效深度周围的空值可能具有相似值的思想，采用了先填小空洞再填大空洞的顺序，最后通过降低输出噪声和平滑局部平面的方法得到补全深度信息。
与上述方法实施例相对应，本发明还公开了一种激光雷达与相机融合的检测装置。
参见图7，本发明实施例公开的一种激光雷达与相机融合的检测装置的结构示意图，该装置包括：
获取单元501，用于获取时间同步的激光雷达点云和相机图像，以及激光雷达坐标系到相机图像像素坐标系的标定参数；
其中，激光雷达点云和相机图像的时间同步指的是：激光雷达点云和相机图像的时间差在较小的范围内。
第一检测单元502，用于对所述激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果；
在实际应用中，可以采用激光雷达检测方法，比如PointNet神经网络、PointPillar等对对激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果。
投影单元503，用于将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标系中，得到所述相机图像像素坐标系下雷达检测目标的2D边界框；
在实际应用中，可以将道路目标初步检测结果的八个顶点通过标定参数投影到相机图像像素坐标系中，根据八个投影点的位置得到相机图像像素坐标系下雷达检测目标的2D边界框。
第二检测单元504，用于结合所述雷达检测目标的2D边界框对所述相机图像进行目标检测，得到所述相机图像像素坐标系下相机检测目标的2D边界框；
在实际应用中，对相机图像可以采用改进的Faster RCNN网络进行目标检测，改进的Faster RCNN网络分为两个阶段，第一阶段得到可能存在目标的相机图像检测提议框，第二阶段对相机图像检测提议框进行检测得到最终的相机检测目标的2D边界框，在实际应用中，还可以得到相机检测目标的类别。
修正单元505，用于利用所述相机检测目标的2D边界框对所述雷达检测目标的2D边界框进行匹配并修正类别，得到修正后的激光雷达点云三维检测道路目标；
本实施例中，相机检测目标的2D边界框可以作为相机图像目标检测结果，雷达检测目标的2D边界框可以作为激光雷达点云初步检测结果，利用利用相机检测目标的2D边界框对雷达检测目标的2D边界框进行匹配并修正类别，实际上是利用相机图像目标检测结果对激光雷达点云初步检测结果进行类别概率修正，得到修正后的激光雷达点云三维检测道路目标。
反向投影单元506，用于基于所述激光雷达点云对应的深度图，将交通目标在所述相机检测目标的2D边界框内的深度点进行反向投影，得到交通目标三维信息；
结果融合单元507，用于将所述激光雷达点云三维检测道路目标和所述交通目标三维信息进行合并，得到激光雷达和相机融合的目标检测结果。
其中，将激光雷达点云三维检测道路目标和交通目标三维信息进行合并，即将交通目标三维信息添加到激光雷达点云三维检测道路目标中，从而得到激光雷达和相机融合的目标检测结果。
综上可知，本发明公开了一种激光雷达与相机融合的检测装置，获取时间同步的激光雷达点云和相机图像，以及激光雷达坐标系到相机图像像素坐标系的标定参数，对激光雷达点云进行点云检测得到包含类别和航向角的道路目标初步检测结果，将道路目标初步检测结果通过标定参数投影到相机图像像素坐标系中，得到相机图像像素坐标系下雷达检测目标的2D边界框，结合雷达检测目标的2D边界框对相机图像进行目标检测，得到相机图像像素坐标系下相机检测目标的2D边界框，利用相机检测目标的2D边界框对雷达检测目标的2D边界框进行匹配并修正类别，得到修正后的激光雷达点云三维检测道路目标，基于激光雷达点云对应的深度图，将交通目标在相机检测目标的2D边界框内的深度点进行反向投影，得到交通目标三维信息，将激光雷达点云三维检测道路目标和交通目标三维信息进行合并，得到激光雷达和相机融合的目标检测结果。本发明不仅在原始数据层面将激光雷达点云和相机图像进行了融合，而且还将相机图像目标检测结果和激光雷达点云检测结果进行了融合，从而实现了激光雷达与相机的深度融合，大大提高了激光雷达和相机的融合检测结果的准确性。
另外，本发明在原始数据层面将激光雷达和相机融合，能够分别提高激光雷达点云和相机图像的目标检测精度，同时可以由激光雷达点云对应的深度图获的相机图像检测目标的三维信息，尤其可以实现对交通目标的三维检测。
为进一步优化上述实施例，第一检测单元502可以包括：
分割子单元，用于对所述激光雷达点云进行地面点分割得到非地面点云；
聚类子单元，拥有对所述非地面点云进行聚类，得到每簇点云的坐标位置与尺寸信息；
目标检测子单元，用于将每簇点云的所述坐标位置与所述尺寸信息降采样后输入至PointNet神经网络，得到所述道路目标初步检测结果。
为进一步优化上述实施例，投影单元503可以包括：
投影子单元，用于将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像中，得到雷达检测目标的各个初始2D边界框；
深度计算子单元，用于计算各个所述初始2D边界框的平均深度；
第一交并比计算子单元，用于计算所有的所述初始2D边界框中任意两个初始2D边界框的交并比；
边界框确定子单元，用于若所有的所述交并比中存在大于设定阈值的目标交并比，则将所述目标交并比对应的两个初始2D边界框中，平均深度较大的初始2D边界框滤除，得到所述相机图像像素坐标系下的非遮挡2D边界框，并将所述非遮挡2D边界框确定为所述雷达检测目标的2D边界框。
为进一步优化上述实施例，第二检测单元504可以包括：
目标检测子单元，用于结合雷达检测目标的2D边界框对相机图像使用区域候选网络进行目标检测，得到相机图像检测提议框；
输入子单元，用于将相机图像检测提议框以及所述非遮挡2D边界框输入至感兴趣区域网络进行分类与回归，则到相机检测目标的2D边界框。
为进一步优化上述实施例，修正单元505可以包括：
第二交并比计算子单元，用于计算所述相机检测目标的2D边界框和所述雷达检测目标的2D边界框的交并比；
修正子单元，用于基于所述交并比利用匈牙利匹配算法进行最优匹配，对匹配上的点云三维检测目标利用概率融合算法对道路目标类别进行概率融合，对未匹配上的点云三维检测目标增大障碍物类别的概率，得到修正后的所述激光雷达点云三维检测道路目标。
为进一步优化上述实施例，反向投影单元506可以包括：
反向投影子单元，用于基于所述激光雷达点云对应的深度图和所述标定参数，将所述交通目标在所述相机检测目标的2D边界框内的深度点进行反向投影，得到原始交通目标三维信息；
判断子单元，用于判断所述原始交通三维信息中是否具有不符合预设位置要求的目标三维点；
滤除子单元，用于在所述判断子单元判断为是的情况下，将所述目标三维点滤除，根据剩余三维点得到所述交通目标三维信息。
激光雷达与相机融合的检测装置还可以包括：深度图确定单元。
深度图确定单元具体可以用于：
将激光雷达点云通过标定参数投影到所述相机图像中，得到原始深度图；
对原始深度图按照空洞由小到大的顺序进行补全填充，得到中间深度图；
对中间深度图降低输出噪声和平滑局部平面，得到激光雷达点云对应的深度图。
需要特别说明的是，装置实施例中各组成部分的具体工作原理，请参见方法实施例对应部分，此处不再赘述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种激光雷达与相机融合的检测方法，其特征在于，包括：
获取时间同步的激光雷达点云和相机图像，以及激光雷达坐标系到相机图像像素坐标系的标定参数，所述相机图像像素坐标系为所述相机图像所在的像素坐标系；
对所述激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果；
将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标系中，得到所述相机图像像素坐标系下雷达检测目标的2D边界框；
结合所述雷达检测目标的2D边界框对所述相机图像进行目标检测，得到所述相机图像像素坐标系下相机检测目标的2D边界框；
利用所述相机检测目标的2D边界框对所述雷达检测目标的2D边界框进行匹配并修正类别，得到修正后的激光雷达点云三维检测道路目标；
基于所述激光雷达点云对应的深度图，将交通目标在所述相机检测目标的2D边界框内的深度点进行反向投影，得到交通目标三维信息；
将所述激光雷达点云三维检测道路目标和所述交通目标三维信息进行合并，得到激光雷达和相机融合的目标检测结果。
2.根据权利要求1所述检测方法，其特征在于，所述对所述激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果，包括：
对所述激光雷达点云进行地面点分割得到非地面点云；
对所述非地面点云进行聚类，得到每簇点云的坐标位置与尺寸信息；
将每簇点云的所述坐标位置与所述尺寸信息降采样后输入至PointNet神经网络，得到所述道路目标初步检测结果。
3.根据权利要求1所述检测方法，其特征在于，所述将所述道路目标初步检测结果通过所述标定参数投影到所述相机像素坐标系下，得到所述相机图像像素坐标系下雷达检测目标的2D边界框，包括：
将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标系中，得到雷达检测目标的各个初始2D边界框；
计算各个所述初始2D边界框的平均深度；
计算所有的所述初始2D边界框中任意两个初始2D边界框的交并比；
若所有的所述交并比中存在大于设定阈值的目标交并比，则将所述目标交并比对应的两个初始2D边界框中，平均深度较大的初始2D边界框滤除，得到所述相机图像像素坐标系下的非遮挡2D边界框，并将所述非遮挡2D边界框确定为所述雷达检测目标的2D边界框。
4.根据权利要求3所述检测方法，其特征在于，结合所述雷达检测目标的2D边界框所述对所述相机图像进行目标检测，得到所述相机图像像素坐标系下相机检测目标的2D边界框，包括：
结合所述雷达检测目标的2D边界框对所述相机图像使用区域候选网络进行目标检测，得到相机图像检测提议框；
将所述相机图像检测提议框以及所述非遮挡2D边界框输入至感兴趣区域网络进行分类与回归，则到所述相机检测目标的2D边界框。
5.根据权利要求1所述检测方法，其特征在于，所述利用所述相机检测目标的2D边界框对所述雷达检测目标的2D边界框进行匹配并修正类别，得到修正后的激光雷达点云三维检测道路目标，包括：
计算所述相机检测目标的2D边界框和所述雷达检测目标的2D边界框的交并比；
基于所述交并比利用匈牙利匹配算法进行最优匹配，对匹配上的点云三维检测目标利用概率融合算法对道路目标类别进行概率融合，对未匹配上的点云三维检测目标增大障碍物类别的概率，得到修正后的所述激光雷达点云三维检测道路目标。
6.根据权利要求1所述检测方法，其特征在于，所述基于所述激光雷达点云对应的深度图，将交通目标在所述相机检测目标的2D边界框内的深度点进行反向投影，得到交通目标三维信息，包括：
基于所述激光雷达点云对应的深度图和所述标定参数，将所述交通目标在所述相机检测目标的2D边界框内的深度点进行反向投影，得到原始交通目标三维信息；
判断所述原始交通三维信息中是否具有不符合预设位置要求的目标三维点；
如果是，则将所述目标三维点滤除，根据剩余三维点得到所述交通目标三维信息。
7.根据权利要求1所述检测方法，其特征在于，所述激光雷达点云对应的深度图的确定过程包括：
将所述激光雷达点云通过所述标定参数投影到所述相机图像像所坐标系中，得到原始深度图；
对所述原始深度图按照空洞由小到大的顺序进行补全填充，得到中间深度图；
对所述中间深度图降低输出噪声和平滑局部平面，得到所述激光雷达点云对应的所述深度图。
8.一种激光雷达与相机融合的检测装置，其特征在于，包括：
获取单元，用于获取时间同步的激光雷达点云和相机图像，以及激光雷达坐标系到相机图像像素坐标系的标定参数，所述相机图像像素坐标系为所述相机图像所在的像素坐标系；
第一检测单元，用于对所述激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果；
投影单元，用于将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标系中，得到所述相机图像像素坐标系下雷达检测目标的2D边界框；
第二检测单元，用于结合所述雷达检测目标的2D边界框对所述相机图像进行目标检测，得到所述相机图像像素坐标系下相机检测目标的2D边界框；
修正单元，用于利用所述相机检测目标的2D边界框对所述雷达检测目标的2D边界框进行匹配并修正类别，得到修正后的激光雷达点云三维检测道路目标；
反向投影单元，用于基于所述激光雷达点云对应的深度图，将交通目标在所述相机检测目标的2D边界框内的深度点进行反向投影，得到交通目标三维信息；
结果融合单元，用于将所述激光雷达点云三维检测道路目标和所述交通目标三维信息进行合并，得到激光雷达和相机融合的目标检测结果。
9.根据权利要求8所述检测装置，其特征在于，所述第一检测单元包括：
分割子单元，用于对所述激光雷达点云进行地面点分割得到非地面点云；
聚类子单元，拥有对所述非地面点云进行聚类，得到每簇点云的坐标位置与尺寸信息；
目标检测子单元，用于将每簇点云的所述坐标位置与所述尺寸信息降采样后输入至PointNet神经网络，得到所述道路目标初步检测结果。
10.根据权利要求8所述检测装置，其特征在于，所述投影单元包括：
投影子单元，用于将所述道路目标初步检测结果通过所述标定参数投影到所述相机图像像素坐标系中，得到雷达检测目标的各个初始2D边界框；
深度计算子单元，用于计算各个所述初始2D边界框的平均深度；
第一交并比计算子单元，用于计算所有的所述初始2D边界框中任意两个初始2D边界框的交并比；
边界框确定子单元，用于若所有的所述交并比中存在大于设定阈值的目标交并比，则将所述目标交并比对应的两个初始2D边界框中，平均深度较大的初始2D边界框滤除，得到所述相机图像像素坐标系下的非遮挡2D边界框，并将所述非遮挡2D边界框确定为所述雷达检测目标的2D边界框。
CN202210709758.7A 2022-06-22 2022-06-22 一种激光雷达与相机融合的检测方法及装置 Pending CN114937255A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210709758.7A CN114937255A (zh) 2022-06-22 2022-06-22 一种激光雷达与相机融合的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210709758.7A CN114937255A (zh) 2022-06-22 2022-06-22 一种激光雷达与相机融合的检测方法及装置

Publications (1)

Publication Number Publication Date
CN114937255A true CN114937255A (zh) 2022-08-23

Family

ID=82869273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210709758.7A Pending CN114937255A (zh) 2022-06-22 2022-06-22 一种激光雷达与相机融合的检测方法及装置

Country Status (1)

Country Link
CN (1) CN114937255A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117629105A (zh) * 2023-12-06 2024-03-01 北京锐达仪表有限公司 物料三维形态测量系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117629105A (zh) * 2023-12-06 2024-03-01 北京锐达仪表有限公司 物料三维形态测量系统

Similar Documents

Publication Publication Date Title
CN110942449B (zh) 一种基于激光与视觉融合的车辆检测方法
EP3566903B1 (en) Method and apparatus for vehicle position detection
JP6550881B2 (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
EP3179445B1 (en) Outside environment recognition device for vehicles and vehicle behavior control device using same
WO2018020954A1 (ja) 機械学習用データベース作成システム
JP5145585B2 (ja) 物標検出装置
CN109543493B (zh) 一种车道线的检测方法、装置及电子设备
JP7072641B2 (ja) 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法
JP4872769B2 (ja) 路面判別装置および路面判別方法
CN104636724B (zh) 一种基于目标一致性的车载相机快速行人车辆检测方法
JPH07129898A (ja) 障害物検出装置
JP5180126B2 (ja) 道路認識装置
KR102569437B1 (ko) 3차원 영상정보 기반 객체 추적 장치 및 방법
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
US20220398856A1 (en) Method for reconstruction of a feature in an environmental scene of a road
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
Fregin et al. Three ways of using stereo vision for traffic light recognition
JP6753134B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及び画像処理プログラム
CN114937255A (zh) 一种激光雷达与相机融合的检测方法及装置
CN114120254A (zh) 道路信息识别方法、装置及存储介质
CN114463303A (zh) 一种基于双目相机和激光雷达融合的道路目标检测方法
Jung et al. Intelligent Hybrid Fusion Algorithm with Vision Patterns for Generation of Precise Digital Road Maps in Self-driving Vehicles.
CN113140002A (zh) 基于双目立体相机的道路状况检测方法、系统和智能终端
CN112529011A (zh) 目标检测方法及相关装置
WO2021063756A1 (en) Improved trajectory estimation based on ground truth

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination