CN110794405B - 一种基于相机和雷达融合的目标检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于相机和雷达融合的目标检测方法及系统，所述检测方法包括：首先，获取雷达探测到的雷达数据以及相机同步采集到的图像；其次，对雷达数据中的雷达目标进行信息相关性滤波和卡尔曼滤波，筛选出有效雷达目标；然后，通过深度学习方法检测图像中的相机目标并获取相机目标的目标信息；最后，利用交小比方法融合有效雷达目标与相机目标，并筛选、输出融合目标结果。采用所述检测方法有效的降低了目标的漏检率和误检率，且对融合目标结果进行筛选，保证了融合目标结果的精确性。

Description

一种基于相机和雷达融合的目标检测方法及系统

技术领域

本发明属于目标检测技术领域，特别涉及一种基于相机和雷达融合的目标检测方法及系统。

背景技术

有轨电车等路口的入侵物将对轨道运行安全造成极大的危害，目前，障碍物检测的方法或系统主要基于车载，用于探测前方障碍物，且均是基于运动坐标系实现探测，普遍存在仅使用感兴趣区域(ROI)叠加的方法实现探测，存在较高的误检率。在轨道交通检测领域，如何基于静止坐标系、充分利用相机、雷达两个维度的信息融合实现障碍物的检测越来越成为亟待解决的技术问题。

发明内容

针对上述问题，本发明提供了一种基于相机和雷达融合的目标检测方法及系统，所述方法有效的降低了目标的漏检率和误检率，且保证了融合目标结果的精确性。

本发明的目的在于提供一种基于相机和雷达融合的目标检测方法，所述检测方法包括：

获取雷达探测到的雷达数据以及相机同步采集到的图像；

对雷达数据中的雷达目标进行信息相关性滤波和卡尔曼滤波，筛选出有效雷达目标；

通过深度学习方法检测图像中的相机目标并获取相机目标的目标信息；

利用交小比方法融合有效雷达目标与相机目标，并筛选、输出融合目标结果。

进一步地，所述雷达数据包括目标的id、类型、位置、速度、距离、角度；

所述相机目标的目标信息包括目标的id、类型、候选框位置、候选框左上和右下坐标、速度信息；

所述融合目标结果包括相机目标的类型、候选框位置、以及相应有效雷达目标的速度。

进一步地，所述获取雷达探测到的雷达数据以及相机同步采集到的图像之前还包括：

安装并调整雷达与相机的位置，令二者具有共同的视场；

建立雷达坐标系、相机坐标系及地面坐标系，通过雷达和相机之间的平移矢量t及旋转矩阵R对二者之间的外参数进行标定。

进一步地，所述方法还包括：

在所述视场内布置标定场；

通过相机拍摄标定场提取多个特征点；

计算相机坐标系中图像平面与地面坐标系中地面平面之间的单应矩阵H，其中，所述单应矩阵H满足：

P_g＝HP_c (1)

其中，P_c是相机坐标系下的特征点坐标，P_g是地面坐标系下的特征点坐标。

进一步地，所述对雷达数据中的雷达目标进行信息相关性滤波和卡尔曼滤波，筛选出有效雷达目标具体包括以下步骤：

对所述雷达数据中的雷达目标进行信息相关性滤波：

获取当前帧雷达数据，并调取记录的当前帧的上一帧雷达数据；

分别获取上一帧雷达数据与当前帧雷达数据中的雷达目标，并判断所述当前帧中的雷达目标是否在上一帧中出现，若所述雷达目标在所述上一帧中出现，取所述雷达目标在上一帧与中的速度与当前帧中的速度的平均值，将所述平均值作为所述雷达目标在两帧中的平均速度v；

基于所述平均速度v，根据采样时间T与所述雷达目标在上一帧中的位置x_i-1计算目标在当前帧中的预测位置

计算所述预测位置

到雷达坐标系原点的预测距离

基于所述预测距离

与所述雷达目标在当前帧中距离雷达坐标系原点的距离d_i，剔除无效雷达目标，保留有效雷达目标；

对所述保留的有效雷达目标进行卡尔曼滤波。

进一步地，所述获取相机目标的目标信息包括获取相机目标的速度，具体包括以下步骤：

基于相机目标候选框的左上坐标和右下坐标，计算出相机目标在候选框底边中点的坐标，并将所述底边中点作为质点；

基于公式(1)，将所述质点投影到地面坐标系中，获取所述相机目标在地面坐标系中的位置；

基于所述相机目标在地面坐标系中的位置，利用帧与帧之间的差分算法计算相机目标的速度。

进一步地，所述利用交小比方法融合有效雷达目标与相机目标，并筛选、输出融合目标结果具体包括以下步骤：

利用交小比方法获取所述有效雷达目标与相机目标的交小比；

判断所述交小比是否大于第一预设值，其中，

若所述交小比大于第一预设值，则输出融合的目标结果；

若所述交小比小于或等于第一预设值，则暂存所述相机目标与有效雷达目标，并分别记录相机目标与有效雷达目标单独出现的次数，并判断所述相机目标或有效雷达目标单独出现的次数是否大于第二预设值，其中，

若所述相机目标或有效雷达目标单独出现的次数大于第二预设值，则剔除所述相机目标或有效雷达目标；

若所述相机目标或有效雷达目标单独出现的次数小于或等于第二预设值，则保留所述相机目标或有效雷达目标，重新执行上述步骤。

进一步地，所述有效雷达目标与相机目标的交小比为:

有效雷达目标候选区域与相机目标候选框相重叠的面积与有效雷达目标候选框区域面积和相机目标候选框面积中最小面积的比值。

进一步地，所述方法还包括获取雷达目标的候选区域，具体包括：

设定雷达目标与雷达坐标系原点之间的距离为标准距离d₀时，所述雷达目标的候选区域大小为标准大小(w₀,h₀)，其中，w₀为标准距离d₀下候选区域的宽度、h₀为标准距离d₀下候选区域的高度；

在任意距离d下，雷达目标的候选区域大小为标准大小的λ倍，即为(λw₀,λh₀)，其中，λ满足：

其中，d_min为雷达的最小探测距离，λ_min为雷达目标在距离d_min下候选区域大小与标准大小的倍数，d_max为雷达的最大探测距离，λ_max为雷达目标在距离d_max下候选区域大小与标准大小的倍数。

本发明的另一目的在于提供一种基于相机和雷达融合的目标检测系统，包括雷达和相机，且还包括：

获取单元，用于获取雷达探测到的雷达数据以及相机同步采集到的图像；

滤波单元，用于对雷达数据中的雷达目标进行信息相关性滤波和卡尔曼滤波，筛选出有效雷达目标；

图像检测单元，用于通过深度学习方法检测图像中的相机目标并获取相机目标的目标信息；

融合单元，用于利用交小比方法融合有效雷达目标与相机目标，并筛选、输出融合目标结果。

进一步地，所述雷达数据包括目标的id、类型、位置、速度、距离、角度；

所述相机目标的目标信息包括目标的id、类型、候选框位置、候选框左上和右下坐标、速度信息；

所述融合目标结果包括相机目标的类型、候选框位置、以及相应有效雷达目标的速度。

进一步地，所述系统还包括设置单元，用于调整雷达与相机的位置，令二者具有共同的视场，并建立雷达坐标系、相机坐标系及地面坐标系，通过雷达和相机之间的平移矢量t及旋转矩阵R对二者之间的外参数进行标定；其中，

在所述视场内布置标定场；

通过相机拍摄标定场提取多个特征点；

计算相机坐标系中图像平面与地面坐标系中地面平面之间的单应矩阵H，其中，所述单应矩阵H满足：

P_g＝HP_c (1)

其中，P_c是相机坐标系下的特征点坐标，P_g是地面坐标系下的特征点坐标。

进一步地，所述滤波单元还用于执行以下步骤：

对所述雷达数据中的雷达目标进行信息相关性滤波：

获取当前帧雷达数据，并调取记录的当前帧的上一帧雷达数据；

分别获取上一帧雷达数据与当前帧雷达数据中的雷达目标，并判断所述当前帧中的雷达目标是否在上一帧中出现，若所述雷达目标在所述上一帧中出现，取所述雷达目标在上一帧与中的速度与当前帧中的速度的平均值，将所述平均值作为所述雷达目标在两帧中的平均速度v；

基于所述平均速度v，根据采样时间T与所述雷达目标在上一帧中的位置x_i-1计算目标在当前帧中的预测位置

计算所述预测位置

到雷达坐标系原点的预测距离

基于所述预测距离

与所述雷达目标在当前帧中距离雷达坐标系原点的距离d_i，剔除无效雷达目标，保留有效雷达目标；

对所述保留的有效雷达目标进行卡尔曼滤波。

进一步地，所述图像检测单元还用于获取相机目标的目标信息包括获取相机目标的速度，具体执行以下步骤：

基于相机目标候选框的左上坐标和右下坐标，计算出相机目标在候选框底边中点的坐标，并将所述底边中点作为质点；

基于公式(1)，将所述质点投影到地面坐标系中，获取所述相机目标在地面坐标系中的位置；

基于所述相机目标在地面坐标系中的位置，利用帧与帧之间的差分算法计算相机目标的速度。

进一步地，所述融合单元还用于执行以下步骤：

利用交小比方法获取所述有效雷达目标与相机目标的交小比；

判断所述交小比是否大于第一预设值，其中，

若所述交小比大于第一预设值，则输出融合的目标结果；

若所述交小比小于或等于第一预设值，则暂存所述相机目标与有效雷达目标，并分别记录相机目标与有效雷达目标单独出现的次数，并判断所述相机目标或有效雷达目标单独出现的次数是否大于第二预设值，其中，

若所述相机目标或有效雷达目标单独出现的次数大于第二预设值，则剔除所述相机目标或有效雷达目标；

若所述相机目标或有效雷达目标单独出现的次数小于或等于第二预设值，则保留所述相机目标或有效雷达目标，重新执行上述步骤。

进一步地，所述有效雷达目标与相机目标的交小比为:

有效雷达目标候选区域与相机目标候选框相重叠的面积与有效雷达目标候选框区域面积和相机目标候选框面积中最小面积的比值。

进一步地，所述系统还包括处理单元，用于获取雷达目标的候选区域，其中，

设定雷达目标与雷达坐标系原点之间的距离为标准距离d₀时，所述雷达目标的候选区域大小为标准大小(w₀,h₀)，其中，w₀为标准距离d₀下候选区域的宽度、h₀为标准距离d₀下候选区域的高度；

在任意距离d下，雷达目标的候选区域大小为标准大小的λ倍，即为(λw₀,λh₀)，其中，λ满足：

其中，d_min为雷达的最小探测距离，λ_min为雷达目标在距离d_min下候选区域大小与标准大小的倍数，d_max为雷达的最大探测距离，λ_max为雷达目标在距离d_max下候选区域大小与标准大小的倍数。

本发明的检测方法及系统摆脱了传统的人工检测方法，解放了人力资源，相比单独的基于相机的检测系统或者基于雷达的检测系统，上述目标检测方法具有更强的鲁棒性，能够做到全天候检测，且具有极低的漏检率和较低的虚警率；融合目标结果采用相机(图像)识别的物体类型、位置与雷达识别的速度，结合了相机和雷达的优点，从而该融合目标结果使得目标检测结果更加精确。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例中的一种基于相机和雷达融合的目标检测方法流程示意图；

图2示出了本发明实施例中的一种雷达坐标系、相机坐标系以及地面坐标系的关系示意图；

图3示出了本发明实施例中的一种雷达目标信息相关性滤波和卡尔曼滤波流程示意图；

图4示出了本发明实施例中的一种雷达目标与相机目标融合流程示意图；

图5示出了本发明实施例中的一种基于相机和雷达融合的目标检测系统结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例中介绍了一种基于相机和雷达融合的目标检测方法，所述检测方法包括首先获取雷达探测到的雷达数据以及相机同步采集到的图像；其次对雷达数据中的雷达目标进行信息相关性滤波和卡尔曼滤波，筛选出有效雷达目标；然后通过深度学习方法检测图像中的相机目标并获取相机目标的目标信息；最后利用交小比方法融合有效雷达目标与相机目标，并筛选、输出融合目标结果。相比单独的基于相机的检测系统或者基于雷达的检测系统，本方法具有更强的鲁棒性，能够做到全天候检测，且具有极低的漏检率和较低的虚警率；

进一步，所述雷达数据包括目标的id(编号)、类型、位置、速度、距离、角度；所述相机目标的目标信息包括目标的id、类型、候选框位置、候选框左上和右下坐标、速度信息；所述融合目标结果包括相机目标的类型、候选框位置、以及相应有效雷达目标的速度。融合目标结果中的相机目标与相应有效雷达目标均为同一目标，融合目标结果采用相机(图像)识别的物体类型、位置与雷达识别的速度，结合了相机和雷达的优点，从而该融合目标结果使得目标检测结果更加精确。需要说明的是：目标信息中的类型指的是目标的类别，例如：目标的类型可以包括人、动物以及车等。

本实施例中，在所述分别获取雷达探测到的雷达数据以及相机同步采集到的图像之前还包括：

安装并调整雷达与相机的位置，令二者具有共同的视场；如图2所示，雷达与相机通过支架刚性连接。优选地，雷达安装在距离地面1m的位置，需垂直于地面安装，相机安装在距离地面6m左右的位置，调整相机与雷达，使二者具有共同视场。进一步，所述相机可以为安防监控器，所述雷达可以为毫米波雷达。

建立雷达坐标系、相机坐标系以及地面坐标系，通过雷达和相机之间的平移矢量t及旋转矩阵R对二者之间的外参数进行标定；其中，如图2中所示，所述雷达坐标系为O_r-x_ry_rz_r,，所述相机坐标系为O_c-x_cy_cz_c，所述地面坐标系为O_g-x_gy_gz_g。进一步具体的，所述建立雷达坐标系与相机坐标系还包括在所述视场内布置标定场，具体包括以下步骤：

通过相机拍摄标定场提取多个特征点；图2中，在拍摄标定场之前，在地面上设置9个发光特征点，优选地，本发明实施例中，通过相机拍摄标定场提取至少4个特征点。

基于所述多个特征点，计算相机坐标系中图像平面与地面坐标系中地面平面之间的单应矩阵H，具体的，可以通过米尺测量出标定场相对雷达坐标系的摆放角度、标定场坐标系原点相对雷达坐标系的平移关系，从而得到标定场坐标系到雷达坐标系之间的单应矩阵H，其中，所述单应矩阵H满足：

P_g＝HP_c (1)

其中，P_c是相机坐标系下的特征点坐标，P_g是地面坐标系下的特征点坐标。计算得到单应矩阵H后，即得到了目标点的相机坐标与地面坐标的一一映射关系，能够快速的将目标从相机坐标下投影到地面上，便于计算目标的速度等。通过建立雷达坐标系、相机坐标系以及地面坐标系，并标定雷达坐标系与相机坐标系、相机坐标系与地面坐标系的关系，提高了目标信息获取的速度，并确保了对目标检测的精度。

本实施例中，由于所述雷达数据返回的是探测区域内的运动目标，从而所述获取雷达探测到的雷达数据还包括对所述雷达数据中的雷达目标进行信息相关性滤波与卡尔曼滤波组合滤波，从而避免了受周围环境的反射以及自然物体(例如风吹动的树叶)的干扰，雷达出现虚警目标的状态；另外减小了雷达数据帧与帧之间的目标波动性；如图3所示，具体包括以下步骤：

S11：获取当前帧的雷达数据，并调取记录的前一帧雷达数据；

S12：取当前帧中探测到的一个雷达目标，并判断所述雷达目标是否在前一帧中出现，若所述雷达目标在所述前一帧中出现，则执行步骤S13，若所述雷达目标在所述前一帧中未出现，则不做滤波处理，即对于真正的信号，肯定是有多次有效数据可以进行匹配，从而将所述雷达目标保持为上一帧数据，用于下一帧雷达数据的循环检测。

S13：对所述雷达目标在前一帧中的速度与当前帧中的速度取平均值，将所述平均值作为所述雷达目标在两帧中的平均速度v；

S14：基于所述平均速度v，根据采样时间T与目标在前一帧中的位置x_i-1计算雷达目标在当前帧中的预测位置

具体的，

S15：计算所述预测位置

到雷达坐标系原点的预测距离

其中，

S16：基于所述预测距离

与所述雷达目标在当前帧中距离雷达坐标系原点的距离d_i，计算得出d_i与

之间的差值的绝对值，并判断d_i与

之间的差值的绝对值是否小于预设阈值，即

若所述差值的绝对值小于预设阈值，则保留所述雷达目标，执行步骤S17，若所述差值的绝对值大于或等于预设阈值，则认为所述雷达目标误检目标，剔除该雷达目标(即，所述雷达目标为无效雷达目标)；

S17：判断当前帧中是否还有未判定的雷达目标，若当前帧中仍有未判断的雷达目标，则执行步骤S12；若当前帧中没有未判定的雷达目标，则执行步骤S18；

S18：对每个保留的雷达目标进行卡尔曼滤波，得到平滑的输出结果。优选地，对每个经过卡尔曼滤波的雷达目标放置在相应的输出列表中，且每个经过卡尔曼滤波的雷达目标均为有效雷达目标。进一步，最终每一帧雷达数据在经过滤波后，均返回该帧检测到的所有有效雷达目标。

本实施例中，步骤S11-S17为信息相关性滤波，从而利用的雷达采集目标时，受反射影响得到的虚警目标的速度，基于虚警目标的速度与其相邻帧之间的位移不匹配的特性实现去除反射目标，保证了雷达目标的有效性和准确性。进一步，所述预设阈值可以为0.05m(米)，i代表当前帧，i为整数，且位置x_i-1、距离d_i均为雷达数据中已知的雷达目标信息。

本实施例中，所述分别获取相机探测到的数据包括：基于相机拍摄的图像，利用深度学习的方法获取图像中每个目标的id、类型、候选框左上坐标信息和右下坐标信息。进一步，所述获取相机目标的目标信息包括获取相机目标的速度，具体包括以下步骤：首先，基于目标候选框的左上坐标信息和右下坐标信息，计算出相机目标在候选框底边中点的坐标信息，并将所述底边中点作为质点；然后，基于公式(1)，将所述质点投影到地面坐标系中，获取所述相机目标在地面坐标系中的位置；最后，基于相机目标在地面坐标系中的位置，利用帧与帧之间的差分算法计算目标的速度。进一步具体的，将目标在相机坐标系中的坐标P_c代入公式(1)，即可计算出该相机目标在地面坐标系下的实际坐标P_g，得到相机目标的真实位置。对于实时图像中的相邻帧，分别用公式(1)计算同一目标的地面坐标，计算两个坐标的欧氏距离，即得到这两帧内该目标的位移，用位移除以这两帧的时间差，即可计算出速度。通过上述步骤，对每一帧相机图像检测过后均会返回检测到的所有有效相机目标，所述有效相机目标中的每个相机目标的目标信息均包括id、类型、候选框左上坐标和右下坐标、速度信息等。

本实施例中，对每一帧雷达数据中雷达目标与相应的相机目标进行融合，对于每一帧，针对每一个雷达目标遍历每一个相机目标，从而如图4所示，所述利用交小比方法融合有效雷达目标与相机目标，并筛选、输出融合目标结果具体包括以下步骤：

S21、根据有效雷达目标的距离将所述有效雷达目标扩充为候选区域；

S22、取一个有效雷达目标；

S23、利用交小比方法获取所述有效雷达目标与相机目标的交小比IOM；

S24、判断所述交小比IOM是否大于阈值T_IOM，其中，若IOM＞T_IOM，所述有效雷达目标与相机目标为同一目标，则输出融合的目标结果，所述目标结果包括相机的目标类型、候选框位置、以及相应有效雷达目标的速度，并执行步骤S25；若IOM≤T_IOM，则暂存所述相机目标与有效雷达目标，并分别记录相机目标与有效雷达目标单独出现的次数，并执行步骤S241；

S241、判断所述相机目标或有效雷达目标单独出现的次数是否大于阈值T_cnt，其中，

若所述相机目标单独出现的次数大于阈值T_cnt，则说明所述相机目标为相机误检，剔除所述相机目标；同理，若所述有效雷达目标单独出现的次数大于阈值T_cnt，则说明所述有效雷达目标为雷达误检，剔除所述有效雷达目标；

若所述相机目标单独出现的次数小于或等于阈值T_cnt，则保留所述相机目标，并执行步骤S25；同理，若所述有效雷达目标单独出现的次数小于或等于阈值T_cnt，则保留所述有效雷达目标，并执行步骤S25；

S25、判断是否还有未判定的雷达目标，即判断所述有效雷达目标所在帧中是否还有未判判定的雷达目标，若还有未判定的雷达目标，则执行步骤S22；若没有未判定的雷达目标，则结束。

本实施例中，T_IOM的取值可以为0.5，进一步，所述步骤S241也为交叉验证滤波，即若某一未合并目标连续多帧(阈值T_cnt)出现(说明连续多帧只有一台设备检测到)，则认为是单台设备的误检，将其剔除，从而通过交叉验证滤波能够有效降低虚警率。使用“基于交小比”的融合方式并采用“交叉验证”法以及结合相机和雷达之间的交互信息，对融合结果进行滤波，保证了融合结果的精确性。

所述有效雷达目标与相机目标的交小比为：有效雷达目标候选区域与相机目标候选框相重叠的面积与有效雷达目标候选框区域面积和相机目标候选框面积中最小面积的比值。即所述交小比IOM的公式为：

其中，A_r为雷达目标的候选区域面积,A_c为相机目标候选框面积，A_n为雷达目标的候选区域面积与相机目标候选框面积的重叠区域。

根据有效雷达目标的距离将所述有效雷达目标扩充为候选区域具体为：设定雷达目标与雷达坐标系原点之间的距离为标准距离d₀时，所述雷达目标的候选区域大小为标准大小(w₀,h₀)，其中，w₀为标准距离d₀下候选区域的宽度、h₀为标准距离d₀下候选区域的高度；

在任意距离d下，雷达目标的候选区域大小为标准大小的λ倍，即为(λw₀,λh₀)，其中，λ满足：

其中，d_min为雷达的最小探测距离，λ_min为雷达目标在距离d_min下候选区域大小与标准大小的倍数，d_max为雷达的最大探测距离，λ_max为雷达目标在距离d_max下候选区域大小与标准大小的倍数。

进一步地，根据公式(2)能够得到雷达目标候选区域的左上点C_nw和右下点坐标C_se，进而用于计算雷达目标候选区域的面积。

如图5所示，本发明实施例中还介绍了一种基于相机和雷达融合的目标检测系统，包括雷达和相机(图中未示出)以及还包括获取单元、滤波单元、图像检测单元、融合单元、设置单元以及处理单元，其中所述获取单元用于获取雷达探测到的雷达数据以及相机同步采集到的图像；所述滤波单元用于对雷达数据中的雷达目标进行信息相关性滤波和卡尔曼滤波，筛选出有效雷达目标；所述图像检测单元用于通过深度学习方法检测图像中的相机目标并获取相机目标的目标信息；所述融合单元用于利用交小比方法融合有效雷达目标与相机目标，并筛选、输出融合目标结果。

所述设置单元用于调整雷达与相机的位置，令二者具有共同的视场，并建立雷达坐标系、相机坐标系及地面坐标系，通过雷达和相机之间的平移矢量t及旋转矩阵R对二者之间的外参数进行标定；其中，

在所述视场内布置标定场；

通过相机拍摄标定场提取多个特征点；

计算相机坐标系中图像平面与地面坐标系中地面平面之间的单应矩阵H，其中，所述单应矩阵H满足：

P_g＝HP_c (1)

其中，P_c是相机坐标系下的特征点坐标，P_g是地面坐标系下的特征点坐标。

本实施例中，所述雷达数据包括目标的id、类型、位置、速度、距离、角度；所述相机目标的目标信息包括目标的id、类型、候选框位置、候选框左上和右下坐标、速度信息；所述融合目标结果包括相机目标的类型、候选框位置、以及相应有效雷达目标的速度。

所述滤波单元还用于执行上述步骤S11-S18。

所述图像检测单元还用于获取相机目标的目标信息包括获取相机目标的速度，具体包括以下步骤：基于相机目标候选框的左上坐标信息和右下坐标信息，计算出相机目标在候选框底边中点的坐标信息，并将所述底边中点作为质点；基于公式(1)，将所述质点投影到地面坐标系中，获取所述相机目标在地面坐标系中的位置；基于所述相机目标在地面坐标系中的位置，利用帧与帧之间的差分算法计算相机目标的速度。

所述融合单元还用于执行上述步骤S21-S25。

所述有效雷达目标与相机目标的交小比为:有效雷达目标候选区域与相机目标候选框相重叠的面积与有效雷达目标候选框区域面积和相机目标候选框面积中最小面积的比值。即所述交小比IOM的公式为：

其中，A_r为雷达目标的候选区域面积,A_c为相机目标候选框面积，A_n为雷达目标的候选区域面积与相机目标候选框面积的重叠区域。

所述处理单元用于获取雷达目标的候选区域，其中，设定雷达目标与雷达坐标系原点之间的距离为标准距离d₀时，所述雷达目标的候选区域大小为标准大小(w₀,h₀)，其中，w₀为标准距离d₀下候选区域的宽度、h₀为标准距离d₀下候选区域的高度；

在任意距离d下，雷达目标的候选区域大小为标准大小的λ倍，即为(λw₀,λh₀)，其中，λ满足：

其中，d_min为雷达的最小探测距离，λ_min为雷达目标在距离d_min下候选区域大小与标准大小的倍数，d_max为雷达的最大探测距离，λ_max为雷达目标在距离d_max下候选区域大小与标准大小的倍数。

本发明摆脱了传统的人工检测方法，解放了人力资源，相比单独的基于相机的检测系统或者基于雷达的检测系统，上述目标检测方法具有更强的鲁棒性，能够做到全天候检测，且具有极低的漏检率和较低的虚警率；同时结合了相机和雷达的优点，融合目标结果采用相机(图像)识别的物体类别、位置与雷达识别的速度等各个信息都有较高的精度。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (22)

1.一种基于相机和雷达融合的目标检测方法，其特征在于，所述检测方法包括：

获取雷达探测到的雷达数据以及相机同步采集到的图像；

对雷达数据中的雷达目标进行信息相关性滤波和卡尔曼滤波，筛选出有效雷达目标；其中，筛选出有效雷达目标具体包括以下步骤：对所述雷达数据中的雷达目标进行信息相关性滤波：获取当前帧雷达数据，并调取记录的当前帧的上一帧雷达数据；分别获取上一帧雷达数据与当前帧雷达数据中的雷达目标，并判断所述当前帧中的雷达目标是否在上一帧中出现，若所述雷达目标在所述上一帧中出现，取所述雷达目标在上一帧与中的速度与当前帧中的速度的平均值，将所述平均值作为所述雷达目标在两帧中的平均速度v；基于所述平均速度v，根据采样时间T与所述雷达目标在上一帧中的位置x_i-1计算目标在当前帧中的预测位置

计算所述预测位置

到雷达坐标系原点的预测距离

基于所述预测距离

与所述雷达目标在当前帧中距离雷达坐标系原点的距离d_i，剔除无效雷达目标，保留有效雷达目标；对所述保留的有效雷达目标进行卡尔曼滤波；

通过深度学习方法检测图像中的相机目标并获取相机目标的目标信息；

利用交小比方法融合有效雷达目标与相机目标，并筛选、输出融合目标结果。

2.根据权利要求1所述的一种基于相机和雷达融合的目标检测方法，其特征在于，所述雷达数据包括目标的id、类型、位置、速度、距离、角度；

所述相机目标的目标信息包括目标的id、类型、候选框位置、候选框左上和右下坐标、速度信息；

所述融合目标结果包括相机目标的类型、候选框位置、以及相应有效雷达目标的速度。

3.根据权利要求2所述的目标检测方法，其特征在于，所述获取雷达探测到的雷达数据以及相机同步采集到的图像之前还包括：

安装并调整雷达与相机的位置，令二者具有共同的视场；

建立雷达坐标系、相机坐标系及地面坐标系，通过雷达和相机之间的平移矢量t及旋转矩阵R对二者之间的外参数进行标定。

4.根据权利要求1或3所述的目标检测方法，其特征在于，所述方法还包括：

在视场内布置标定场；

通过相机拍摄标定场提取多个特征点；

计算相机坐标系中图像平面与地面坐标系中地面平面之间的单应矩阵H，其中，所述单应矩阵H满足：

P_g＝HP_c (1)

其中，P_c是相机坐标系下的特征点坐标，P_g是地面坐标系下的特征点坐标。

5.根据权利要求4所述的目标检测方法，其特征在于，所述获取相机目标的目标信息包括获取相机目标的速度，具体包括以下步骤：

基于相机目标候选框的左上坐标和右下坐标，计算出相机目标在候选框底边中点的坐标，并将所述底边中点作为质点；

基于公式P_g＝HP_c，将所述质点投影到地面坐标系中，获取所述相机目标在地面坐标系中的位置；

基于所述相机目标在地面坐标系中的位置，利用帧与帧之间的差分算法计算相机目标的速度。

6.一种基于相机和雷达融合的目标检测方法，其特征在于，所述检测方法包括：

获取雷达探测到的雷达数据以及相机同步采集到的图像；

对雷达数据中的雷达目标进行信息相关性滤波和卡尔曼滤波，筛选出有效雷达目标；

通过深度学习方法检测图像中的相机目标并获取相机目标的目标信息；

利用交小比方法融合有效雷达目标与相机目标，并筛选、输出融合目标结果；其中，筛选、输出融合目标结果具体包括：利用交小比方法获取所述有效雷达目标与相机目标的交小比；判断所述交小比是否大于第一预设值，其中，若所述交小比大于第一预设值，则输出融合的目标结果；若所述交小比小于或等于第一预设值，则暂存所述相机目标与有效雷达目标，并分别记录相机目标与有效雷达目标单独出现的次数，并判断所述相机目标或有效雷达目标单独出现的次数是否大于第二预设值，其中，若所述相机目标或有效雷达目标单独出现的次数大于第二预设值，则剔除所述相机目标或有效雷达目标；若所述相机目标或有效雷达目标单独出现的次数小于或等于第二预设值，则保留所述相机目标或有效雷达目标，重新执行上述步骤。

7.根据权利要求6所述的目标检测方法，其特征在于，所述雷达数据包括目标的id、类型、位置、速度、距离、角度；

所述相机目标的目标信息包括目标的id、类型、候选框位置、候选框左上和右下坐标、速度信息；

所述融合目标结果包括相机目标的类型、候选框位置、以及相应有效雷达目标的速度。

8.根据权利要求7所述的目标检测方法，其特征在于，所述获取雷达探测到的雷达数据以及相机同步采集到的图像之前还包括：

安装并调整雷达与相机的位置，令二者具有共同的视场；

建立雷达坐标系、相机坐标系及地面坐标系，通过雷达和相机之间的平移矢量t及旋转矩阵R对二者之间的外参数进行标定。

9.根据权利要求6或8所述的目标检测方法，其特征在于，所述方法还包括：

在视场内布置标定场；

通过相机拍摄标定场提取多个特征点；

计算相机坐标系中图像平面与地面坐标系中地面平面之间的单应矩阵H，其中，所述单应矩阵H满足：

P_g＝HP_c (1)

其中，P_c是相机坐标系下的特征点坐标，P_g是地面坐标系下的特征点坐标。

10.根据权利要求9所述的目标检测方法，其特征在于，所述获取相机目标的目标信息包括获取相机目标的速度，具体包括以下步骤：

基于相机目标候选框的左上坐标和右下坐标，计算出相机目标在候选框底边中点的坐标，并将所述底边中点作为质点；

基于公式P_g＝HP_c，将所述质点投影到地面坐标系中，获取所述相机目标在地面坐标系中的位置；

基于所述相机目标在地面坐标系中的位置，利用帧与帧之间的差分算法计算相机目标的速度。

11.根据权利要求6所述的目标检测方法，其特征在于，所述有效雷达目标与相机目标的交小比为：

有效雷达目标候选区域与相机目标候选框相重叠的面积与有效雷达目标候选框区域面积和相机目标候选框面积中最小面积的比值。

12.根据权利要求11所述的目标检测方法，其特征在于，所述方法还包括获取雷达目标的候选区域，具体包括：

设定雷达目标与雷达坐标系原点之间的距离为标准距离d₀时，所述雷达目标的候选区域大小为标准大小(w₀,h₀)，其中，w₀为标准距离d₀下候选区域的宽度、h₀为标准距离d₀下候选区域的高度；

在任意距离d下，雷达目标的候选区域大小为标准大小的λ倍，即为(λw₀,λh₀)，其中，λ满足：

其中，d_min为雷达的最小探测距离，λ_min为雷达目标在距离d_min下候选区域大小与标准大小的倍数，d_max为雷达的最大探测距离，λ_max为雷达目标在距离d_max下候选区域大小与标准大小的倍数。

13.一种基于相机和雷达融合的目标检测系统，包括雷达和相机，其特征在于，还包括：

获取单元，用于获取雷达探测到的雷达数据以及相机同步采集到的图像；

滤波单元，用于对雷达数据中的雷达目标进行信息相关性滤波和卡尔曼滤波，筛选出有效雷达目标；其中，所述滤波单元还用于执行以下步骤：对所述雷达数据中的雷达目标进行信息相关性滤波：获取当前帧雷达数据，并调取记录的当前帧的上一帧雷达数据；分别获取上一帧雷达数据与当前帧雷达数据中的雷达目标，并判断所述当前帧中的雷达目标是否在上一帧中出现，若所述雷达目标在所述上一帧中出现，取所述雷达目标在上一帧与中的速度与当前帧中的速度的平均值，将所述平均值作为所述雷达目标在两帧中的平均速度v；基于所述平均速度v，根据采样时间T与所述雷达目标在上一帧中的位置x_i-1计算目标在当前帧中的预测位置

计算所述预测位置

到雷达坐标系原点的预测距离

基于所述预测距离

与所述雷达目标在当前帧中距离雷达坐标系原点的距离d_i，剔除无效雷达目标，保留有效雷达目标；对所述保留的有效雷达目标进行卡尔曼滤波；

图像检测单元，用于通过深度学习方法检测图像中的相机目标并获取相机目标的目标信息；

融合单元，用于利用交小比方法融合有效雷达目标与相机目标，并筛选、输出融合目标结果。

14.根据权利要求13所述的检测系统，其特征在于，所述雷达数据包括目标的id、类型、位置、速度、距离、角度；

所述相机目标的目标信息包括目标的id、类型、候选框位置、候选框左上和右下坐标、速度信息；

所述融合目标结果包括相机目标的类型、候选框位置、以及相应有效雷达目标的速度。

15.根据权利要求14所述的检测系统，其特征在于，所述系统还包括设置单元，用于调整雷达与相机的位置，令二者具有共同的视场，并建立雷达坐标系、相机坐标系及地面坐标系，通过雷达和相机之间的平移矢量t及旋转矩阵R对二者之间的外参数进行标定；其中，

在所述视场内布置标定场；

通过相机拍摄标定场提取多个特征点；

计算相机坐标系中图像平面与地面坐标系中地面平面之间的单应矩阵H，其中，所述单应矩阵H满足：

P_g＝HP_c (1)

其中，P_c是相机坐标系下的特征点坐标，P_g是地面坐标系下的特征点坐标。

16.根据权利要求15所述的检测系统，其特征在于，所述图像检测单元还用于获取相机目标的目标信息包括获取相机目标的速度，具体执行以下步骤：

基于相机目标候选框的左上坐标和右下坐标，计算出相机目标在候选框底边中点的坐标，并将所述底边中点作为质点；

基于公式P_g＝HP_c，将所述质点投影到地面坐标系中，获取所述相机目标在地面坐标系中的位置；

基于所述相机目标在地面坐标系中的位置，利用帧与帧之间的差分算法计算相机目标的速度。

17.一种基于相机和雷达融合的目标检测系统，包括雷达和相机，其特征在于，还包括：

获取单元，用于获取雷达探测到的雷达数据以及相机同步采集到的图像；

滤波单元，用于对雷达数据中的雷达目标进行信息相关性滤波和卡尔曼滤波，筛选出有效雷达目标；

图像检测单元，用于通过深度学习方法检测图像中的相机目标并获取相机目标的目标信息；

融合单元，用于利用交小比方法融合有效雷达目标与相机目标，并筛选、输出融合目标结果；其中，所述融合单元还用于执行以下步骤：利用交小比方法获取所述有效雷达目标与相机目标的交小比；判断所述交小比是否大于第一预设值，其中，若所述交小比大于第一预设值，则输出融合的目标结果；若所述交小比小于或等于第一预设值，则暂存所述相机目标与有效雷达目标，并分别记录相机目标与有效雷达目标单独出现的次数，并判断所述相机目标或有效雷达目标单独出现的次数是否大于第二预设值，其中，若所述相机目标或有效雷达目标单独出现的次数大于第二预设值，则剔除所述相机目标或有效雷达目标；若所述相机目标或有效雷达目标单独出现的次数小于或等于第二预设值，则保留所述相机目标或有效雷达目标，重新执行上述步骤。

18.根据权利要求17所述的检测系统，其特征在于，所述雷达数据包括目标的id、类型、位置、速度、距离、角度；

所述相机目标的目标信息包括目标的id、类型、候选框位置、候选框左上和右下坐标、速度信息；

所述融合目标结果包括相机目标的类型、候选框位置、以及相应有效雷达目标的速度。

19.根据权利要求18所述的检测系统，其特征在于，所述系统还包括设置单元，用于调整雷达与相机的位置，令二者具有共同的视场，并建立雷达坐标系、相机坐标系及地面坐标系，通过雷达和相机之间的平移矢量t及旋转矩阵R对二者之间的外参数进行标定；其中，

在所述视场内布置标定场；

通过相机拍摄标定场提取多个特征点；

计算相机坐标系中图像平面与地面坐标系中地面平面之间的单应矩阵H，其中，所述单应矩阵H满足：

P_g＝HP_c (1)

其中，P_c是相机坐标系下的特征点坐标，P_g是地面坐标系下的特征点坐标。

20.根据权利要求19所述的检测系统，其特征在于，所述图像检测单元还用于获取相机目标的目标信息包括获取相机目标的速度，具体执行以下步骤：

基于相机目标候选框的左上坐标和右下坐标，计算出相机目标在候选框底边中点的坐标，并将所述底边中点作为质点；

基于公式P_g＝HP_c，将所述质点投影到地面坐标系中，获取所述相机目标在地面坐标系中的位置；

基于所述相机目标在地面坐标系中的位置，利用帧与帧之间的差分算法计算相机目标的速度。

21.根据权利要求17所述的目标检测系统，其特征在于，所述有效雷达目标与相机目标的交小比为:

有效雷达目标候选区域与相机目标候选框相重叠的面积与有效雷达目标候选框区域面积和相机目标候选框面积中最小面积的比值。

22.根据权利要求21所述的目标检测系统，其特征在于，所述系统还包括处理单元，用于获取雷达目标的候选区域，其中，

设定雷达目标与雷达坐标系原点之间的距离为标准距离d₀时，所述雷达目标的候选区域大小为标准大小(w₀,h₀)，其中，w₀为标准距离d₀下候选区域的宽度、h₀为标准距离d₀下候选区域的高度；

在任意距离d下，雷达目标的候选区域大小为标准大小的λ倍，即为(λw₀,λh₀)，其中，λ满足：

其中，d_min为雷达的最小探测距离，λ_min为雷达目标在距离d_min下候选区域大小与标准大小的倍数，d_max为雷达的最大探测距离，λ_max为雷达目标在距离d_max下候选区域大小与标准大小的倍数。

Images