CN112215306B

CN112215306B - 一种基于单目视觉与毫米波雷达融合的目标检测方法

Info

Publication number: CN112215306B
Application number: CN202011292047.1A
Authority: CN
Inventors: 孟德建; 韩烨; 张立军; 黄露莹
Original assignee: Tongji University
Current assignee: Tongji University
Priority date: 2020-11-18
Filing date: 2020-11-18
Publication date: 2023-03-31
Anticipated expiration: 2040-11-18
Also published as: CN112215306A

Abstract

本发明涉及一种基于单目视觉与毫米波雷达融合的目标检测方法，包括以下步骤：S1：获取视觉图像和毫米波雷达数据；S2：基于平均透射率对输入视觉图像进行去雾预处理；S3：根据毫米波雷达数据进行有效目标筛选；S4：基于坐标变换和时间配准将有效目标与视觉图像融合，并获取融合后视觉图像中的兴趣区域；S5：使用神经网络对兴趣区域进行目标识别，获取视觉识别结果，并根据毫米波雷达数据获取毫米波雷达识别结果；S6：对毫米波雷达识别结果和视觉识别结果进行加权信息决策，得到最终的目标检测结果，与现有技术相比，本发明具有提高目标识别准确性和可靠性等优点。

Description

一种基于单目视觉与毫米波雷达融合的目标检测方法

技术领域

本发明涉及计算机视觉与模式识别领域，尤其是涉及一种基于单目视觉与毫米波雷达融合的目标检测方法。

背景技术

目标检测是自动驾驶环境感知系统中必不可少的组成部分，也是计算机视觉中的一项基础问题。道路交通目标检测可采用多种多样的感知方式，例如相机、毫米波雷达以及激光雷达等。对相机图像进行处理，通过人工智能和深度学习技术可以实现多类交通目标的识别；根据毫米波雷达回波信号和卡尔曼滤波技术可以得到目标的距离和速度信息；根据激光雷达的点云特征可以实现目标的定位和地图重建。这些技术目前已被广泛应用到高级辅助驾驶系统(Advanced Driving Assistance System，ADAS)领域中去，实现了车道保持、前碰撞预警和自适应巡航等辅助驾驶功能。

近年来，图像处理技术已取得巨大进展。与以往相比，摄像机价格更低、体积更小、质量更高。与此同时，计算能力获得了显著提高，这些硬件上的进步使面向道路交通目标检测的计算机视觉方法可实时运行。毫米波雷达在测量距离和速度与环境适应性方面存在优势，但是由于其获取环境信息量过少，因此通常在融合系统中作为辅助传感源，为其他传感源提供信息补充和支撑。但是单一传感源由于传感器自身原因存在缺陷和不足，检测目标的状态信息单一，因此基于传感器信息融合的目标检测和识别仍然是智能车外环境感知领域的研究重点。而现有技术中，没有有效将毫米波雷与视觉信息融合进行目标检测的方案，已有的融合措施也只是进行机械地结合，两者之间并没有有效结合，没有发挥传感器融合的优势，目标检测结果准确性和可靠性低。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种提高准确性和可靠性的基于单目视觉与毫米波雷达融合的目标检测方法，融合毫米波雷达与视觉信息，更加充分地获取环境信息，进而提高识别的准确率和可靠性。

本发明的目的可以通过以下技术方案来实现：

一种基于单目视觉与毫米波雷达融合的目标检测方法，包括以下步骤：

S1：获取视觉图像和毫米波雷达数据；

S2：基于平均透射率对输入视觉图像进行去雾预处理；

S3：根据毫米波雷达数据进行有效目标筛选；

S4：基于坐标变换和时间配准将有效目标与视觉图像融合，并获取融合后视觉图像中的兴趣区域；

S5：使用神经网络对兴趣区域进行目标识别，获取视觉识别结果，并根据毫米波雷达数据获取毫米波雷达识别结果；

S6：对毫米波雷达识别结果和视觉识别结果进行加权信息决策，得到最终的目标检测结果。

进一步地，所述的步骤S2具体包括：

S21：计算输入视觉图像的平均透射率；

S22：判断平均透射率的值是否低于透射阈值，若是，则执行步骤S23，否则直接执行步骤S3；

S23：根据去雾图像表达式对输入视觉图像进行去雾处理；

所述的平均透射率的计算式为：

所述的去雾图像表达式为：

其中，I为待去雾图像，J为去雾后图像，A为大气光，Ω为图像子区域，C为颜色通道。

进一步地，所述的步骤S3中，根据毫米波雷达数据的关键运动指标和统计特征进行有效目标筛选，具体为：若目标的绝对速度大于设定阈值，且散射截面积强度和目标宽度区间在设定范围内，则筛选该目标为有效目标。

更进一步地，所述的步骤S3还包括根据毫米波雷达数据进行无效目标剔除，具体包括以下步骤：

S31：判断目标是否满足有效目标筛选公式，若是，则筛选该目标为有效目标，否则保留该目标；

S32：判断目标是否满足无效目标剔除公式，若是，则将该目标剔除，否则保留该目标；

所述的有效目标筛选公式的表达式为：

所述的无效目标剔除公式的表达式为：

其中，V为目标相对速度，V_host为自车速度，RCS为散射截面积强度，W为目标宽度区间。

优选地，所述的有效目标包括车辆、非机动车和行人。

进一步地，所述的步骤S4具体为：通过时间配准和目标映射公式，将雷达坐标变换至对应视觉图像中的一点，并以该点为中心选定设定大小的矩形区域作为兴趣区域。

更进一步地，所述的时间配准采用向低频数据兼容的时间配准方法，以低频毫米波雷达测量时间戳为基准，使高频视觉数据向下兼容；

所述的目标映射公式的表达式为：

其中，x_r为雷达坐标的横坐标，y_r为雷达坐标的纵坐标，u为图像坐标的横坐标，v为图像坐标的纵坐标，f为相机焦距，dx，dy分别表示相机传感器横纵方向的像素尺寸，(u₀，v₀)为图像物理坐标系中心O_u在图像像素坐标系中的坐标。R_c为3×3正交旋转矩阵，由相机相对车辆坐标系的横摆角

俯仰角δ、侧倾角ξ共同决定，T_c为3×1的坐标平移矩阵，由相机的安装位置参数决定。T_r是毫米波雷达在车辆坐标系中的平移向量。

进一步地，所述的神经网络为改进的YOLO网络，所述的改进的YOLO网络最后一个卷积层的模板数量为50，网络层中类别数为5，并使用k-means算法进行模板框聚类。

进一步地，所述的毫米波雷达识别结果包括目标存在概率R_Ci以及位置速度信息M，所述的视觉识别结果包括目标类别置信度V_Ci和目标包围框B_Ci，所述的加权信息决策的表达式为：

F_Ci＝γ_vV_Ci+γ_rR_Ci

γ_v+γ_r＝1

其中，i_max为目标最终类别，Ci为第i种目标类别，F_Ci为目标属于类别Ci的概率，γ_v为视觉识别结果权重，γ_r为毫米波雷达识别结果权重。

更进一步地，当所述的目标最终类别i_max对应的融合识别置信度为F_{Ci_max}大于置信度阈值F₀时，将位置速度信息M、目标包围框B_Ci和目标最终类别匹配，得到最终的目标检测结果。

与现有技术相比，本发明具有以下优点：

1)本发明方法通过加权信息融合目标决策算法，毫米波雷达与视觉的检测信息得到了互补，使得被视觉忽略的目标可能被雷达检测到，当二者信息发生冲突时也能得到合理协调，提高识别的准确率和可靠性；

2)本发明方法通过加权信息融合目标决策算法，毫米波雷达在位置和速度信息获取方面存在明显优势，视觉在目标包围框回归方面准确性明显较高，因此当目标确认存在时，可以将这些信息匹配给相应目标，丰富了检测目标的状态信息，最大程度发挥了传感器融合的优势；

3)本发明方法使用毫米波雷达预先筛选兴趣区域，雷达与图像识别结果加权决策的目标识别与检测方法，首先分别建立了毫米波雷达有效目标筛选方法和基于YOLO框架的改进网络目标识别算法，然后通过坐标变换和时间配准对毫米波雷达与相机数据进行时空信息融合，充分发挥了毫米波雷达与视觉识别的优势，能够更加充分地获取环境信息，检测目标的状态信息丰富，提高识别的准确率和可靠性；

4)本发明方法针对雾霾天气使用图像去雾预处理，并通过实验确定了是否进行去雾的透射阈值，有效提高网络识别的准确率；

5)本发明方法考虑不同类别目标尺寸和透视关系，利用毫米波雷达的目标距离信息，提出了更为精准的毫米波雷达兴趣区域筛选方法，避免了虚警和冗余计算，提高视觉算法的召回率并为视觉信息提供运动特征信息补充，提高识别的准确率和可靠性；

6)本发明方法以车辆坐标系作为纽带建立毫米波雷达坐标系至相机坐标系的坐标变换关系，采用向毫米波雷达数据兼容的方式，实现了毫米波雷达与相机的时间配准与时空信息融合，视觉图像与毫米波雷达数据的融合效果好，，提高识别的准确率。

附图说明

图1为本发明流程示意图；

图2为本发明整体流程原理示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

如图1所示，本发明提供一种基于单目视觉与毫米波雷达融合的目标检测方法，包括以下步骤：

S1：获取视觉图像和毫米波雷达数据；

S2：基于平均透射率对输入视觉图像进行去雾预处理；

S3：根据毫米波雷达数据进行有效目标筛选；

整体流程如下所示：

步骤1：输入视觉图像及毫米波雷达数据，对输入的视觉图像数据计算平均透射率，根据大气散射模型对雨雾天气下能见度低的图像进行去雾预处理，本实施例中，将透射阈值t_min设为0.35，当计算视觉图像的平均透射率小于0.35时，即对图像进行去雾预处理操作。

设I为待去雾图像，J为去雾后图像，t为图像透射率，A为大气光，根据先验知识，定义暗通道为：

/>

式中Ω为图像子区域，C为颜色通道，根据大气散射模型：

I(x)＝J(x)t(x)+A(1-t(x)) (1.2)

平均透射率表达式为：

去雾预处理操作根据下式获取投射率小于0.35图像的去雾后图像：

步骤2：结合毫米波雷达数据，生成非空信号列表。结合CAN总线通讯数据，每个测量周期内，ARS毫米波雷达可以获得96组新测量的目标信息，其中编号1～32对应近距离模式，33～96对应远距离模式。NoOfTargets代表新测量有效目标的个数。例如NoOfTargetsNear＝2，NoOfTargetsFar＝3时，尽管其他很多通道都有数据，但是只有目标1，2和33，34，35是有效的。最终的目标列表显示的是新测量目标与追踪目标的集合，列表最大容量为256个目标，由编号0～255表示。首先根据NoOfTargets提取新测量目标与追踪列表合并，生成最终的非空信号列表。

步骤3：在毫米波雷达中的非空信号列表中剔除无效信号，剔除探测范围外的异常值(满足式1.5)、极端异常值(满足式1.6)和跳变异常值(满足式1.7)，

一35m/s≤V≤35m/s (1.6)

R为探测的径向距离，θ为角度，V为毫米波雷达的所测量的相对速度，中n代表当前采样帧，道路交通环境可取R_s＝2m，θ_s＝10°，V_s＝1m/s。

步骤4：筛选毫米波雷达数据中的有效目标，本实施例中，设定车辆、非机动车和行人三类为关注目标，即有效目标，由分析可知关注目标相对于非关注目标存在运动属性，若目标的绝对速度大于设定阈值，且散射截面积强度RCS和目标宽度区间W在设定的合理范围内，即可以确定其为有效目标，假设目标相对速度为V，自车速度为V_host，则可确定有效目标满足式1.8：

当目标满足式1.9时，则应为树木、护栏、电线杆和建筑物等不关注目标，即无效目标，应当被剔除：

由于车辆、非机动车和行人三类关注目标可能存在停止状态，因此为了防止目标误筛、提高算法召回率，保留不满足式1.8与式1.9的目标。

步骤5：对毫米波雷达数据和视觉数据进行坐标变换和时间配准融合。

雷达坐标(x_r，y_r)向图像坐标(u，v)的变换过程可以直接通过求解3×3待定仿射变换矩阵近似得出：

通过时间配准和式1.11可以将雷达坐标变换至对应图像中的一点，以该点为中心选定适当大小的矩形区域作为目标图像兴趣区域。

接着以低频毫米波雷达测量时间戳为基准，使高频视觉数据时间向下兼容。由于在24ms的采集周期内相机所采集的图片差异性非常小，对融合算法基本没有影响，因此可以用距离基准时间最近的图片代替基准时间处的图片，完成相机与雷达的时间配准。

步骤6：利用毫米波雷达进行兴趣区域筛选。

首先根据目标的截面反射强度和目标宽度区间大致估计目标类别，然后根据目标估计类别定义矩形宽高比为：

α＝w1/h (1.12)

其中，w1为矩形宽度，h为矩形高度，α为矩形宽高比，当目标估计为汽车时取1、当目标估计为非机动车和行人时取0.25。

然后根据目标与车辆距离x_r确定矩形兴趣区域的宽度w2为：

w2＝ρ(x_r-3)+w₃ (1.13)

其中，ρ与w₃为标定参数，可根据标定物分别距车辆3m和80m时对应像素宽度计算得出。假设式1.13的坐标变换关系为g，则毫米波雷达所筛选的有效目标A(x_r，y_r)在对应图像的兴趣区域中心为g(x_r，y_r)，宽高尺寸为(w2，w2/α)像素。

步骤7：视觉识别层通过改进YOLO网络对兴趣区域目标进行识别，获取目标类别置信度V_Ci和目标包围框B_Ci作为视觉识别结果。

YOLOv2网络适用于20种类别物体的识别，而本发明的关注目标包括车辆、非机动车和行人三大类，其中车辆包括包括公交车和轿车，非机动车包括自行车和摩托车，因此本发明关注目标具体分为公交车、轿车、自行车、摩托车和行人五类，因此需要对网路结构与维度进行调整。YOLO网络最终输出特征图与原图网格划分对应，每个网格对应5个模板框，每个模板框包含位置、长宽、置信度和五类目标类别概率这10维信息，因此最终特征图大小为13×13×50。因此在YOLO网络中将最后一个[convolution]层的模板数量filters设为50，[region]层中类别数classes设为5。

用k-means算法对训练集进行模板框聚类，得到5种不同长宽比的模板框。将网络[region]层中模板框个数num设为5，模板框长宽比anchors设为上述聚类结果。以此进行网络训练，将计算得到的目标类别置信度与位置包围框识别结果送人融合层。

步骤8：重点关注的目标类别为车辆C₁、非机动车C₂和行人C₃。毫米波雷达关键特征信息包含目标存在概率R_Ci与位置速度信息M，同时通过YOLO改进网络也能够输出对应目标类别置信度V_Ci和目标包围框B_Ci。本发明采用加权信息融合目标决策算法进行最终决策，根据传感源识别能力和信息可靠性，令视觉识别结果权重为γ_v，毫米波雷达识别结果权重为γ_r，则信息融合后目标属于各类别的概率F_Ci(i＝1，2，3)＝γ_vV_Ci+γ_rR_Ci，其中γ_v+γ_r＝1，且γ_v与γ_r在正常天气和雨雾天气下取值不同。则通过融合决策，目标最终类别i_max＝argmax_iF_Ci，相应的融合识别置信度为F_{Ci_max}。当融合识别置信度大于置信度阈值F₀时认为目标存在，并将位置速度信息M和目标包围框B_Ci与目标最终类别i_max，得到最终的目标检测结果。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种基于单目视觉与毫米波雷达融合的目标检测方法，其特征在于，包括以下步骤：

S1：获取视觉图像和毫米波雷达数据；

S2：基于平均透射率对输入视觉图像进行去雾预处理；

S3：根据毫米波雷达数据进行有效目标筛选；

S6：对毫米波雷达识别结果和视觉识别结果进行加权信息决策，得到最终的目标检测结果；

所述的步骤S3中，根据毫米波雷达数据的关键运动指标和统计特征进行有效目标筛选，具体为：若目标的绝对速度大于设定阈值，且散射截面积强度和目标宽度区间在设定范围内，则筛选该目标为有效目标；

所述的步骤S3还包括根据毫米波雷达数据进行无效目标剔除，具体包括以下步骤：

所述的有效目标筛选公式的表达式为：

所述的无效目标剔除公式的表达式为：

2.根据权利要求1所述的一种基于单目视觉与毫米波雷达融合的目标检测方法，其特征在于，所述的步骤S2具体包括：

S21：计算输入视觉图像的平均透射率；

S23：根据去雾图像表达式对输入视觉图像进行去雾处理；

所述的平均透射率的计算式为：

/>

所述的去雾图像表达式为：

3.根据权利要求1所述的一种基于单目视觉与毫米波雷达融合的目标检测方法，其特征在于，所述的有效目标包括车辆、非机动车和行人。

4.根据权利要求1所述的一种基于单目视觉与毫米波雷达融合的目标检测方法，其特征在于，所述的步骤S4具体为：通过时间配准和目标映射公式，将雷达坐标变换至对应视觉图像中的一点，并以该点为中心选定设定大小的矩形区域作为兴趣区域。

5.根据权利要求4所述的一种基于单目视觉与毫米波雷达融合的目标检测方法，其特征在于，所述的时间配准采用向低频数据兼容的时间配准方法，以低频毫米波雷达测量时间戳为基准，使高频视觉数据向下兼容；

所述的目标映射公式的表达式为：

其中，x_r为雷达坐标的横坐标，y_r为雷达坐标的纵坐标，u为图像坐标的横坐标，v为图像坐标的纵坐标，f为相机焦距，dx，dy分别表示相机传感器横纵方向的像素尺寸，(u₀,v₀)为图像物理坐标系中心O_u在图像像素坐标系中的坐标，R_c为3×3正交旋转矩阵，T_c为3×1的坐标平移矩阵，T_r是毫米波雷达在车辆坐标系中的平移向量。

6.根据权利要求1所述的一种基于单目视觉与毫米波雷达融合的目标检测方法，其特征在于，所述的神经网络为改进的YOLO网络，所述的改进的YOLO网络最后一个卷积层的模板数量为50，网络层中类别数为5，并使用k-means算法进行模板框聚类。

7.根据权利要求1所述的一种基于单目视觉与毫米波雷达融合的目标检测方法，其特征在于，所述的毫米波雷达识别结果包括目标存在概率R_Ci以及位置速度信息M，所述的视觉识别结果包括目标类别置信度V_Ci和目标包围框B_Ci，所述的加权信息决策的表达式为：

F_Ci＝γ_vV_Ci+γ_rR_Ci

γ_v+γ_r＝1

8.根据权利要求7所述的一种基于单目视觉与毫米波雷达融合的目标检测方法，其特征在于，当所述的目标最终类别i_max对应的融合识别置信度为F_{Ci_max}大于置信度阈值F₀时，将位置速度信息M、目标包围框B_Ci和目标最终类别匹配，得到最终的目标检测结果。