CN112991391A - 一种基于雷达信号和视觉融合的车辆检测与跟踪方法 - Google Patents

Abstract

本发明涉及一种基于雷达信号和视觉融合的车辆检测与跟踪方法，属于智慧交通领域。为了解决智慧交通领域中交通实时监控问题，本发明综合利用毫米波雷达与单目摄像头两种传感器在交通监控场景下实现车辆检测与跟踪，依次包括如下步骤：通过毫米波雷达获取车辆速度，依据速度与位置信息初步筛选出候选跟踪目标；实现雷达坐标系与视频图像帧坐标系的转换，获取初步筛选的候选跟踪目标在视频图像帧种的坐标位置；利用基于深度学习的的轻量级目标检测算法YOLOv3‑MobileNet和Deep‑SORT跟踪算法结合，实现车辆检测与跟踪。本发明在保证了跟踪精度的前提下，满足了交通监管实时性、成本低的需求，具有良好的开发和应用前景。

Description

一种基于雷达信号和视觉融合的车辆检测与跟踪方法

技术领域

本发明属于智慧交通领域，特别是涉及一种基于雷达信号和视觉融合的车辆检测与跟踪方法。

背景技术

智慧交通定义为：在智能交通的基础上，融入物联网、云计算、大数据、移动互联等高新IT技术，通过高新技术汇集交通信息，建立在海量交通数据的基础上进行服务提供，通过实时交通数据，如位置信息、速度、占有率、排队长度、行程时间、区间速度等，提供交通信息服务，主要解决交通实时监控、公共车辆管理、旅行信息服务、车辆辅助控制等应用需求。交通对象主体之一为车辆，如何高效地通过对车辆进行检测与跟踪获取准确的交通数据对智慧交通具有重大意义。

根据系统初始化策略的不同，多目标检测跟踪可分为两种，分别是基于检测的跟踪算法与不依赖检测的跟踪算法。基于检测的目标跟踪建立在目标检测之上，包含一个独立的检测模块，在每一帧图像中的目标检测到之后，再进行目标跟踪，检测器的性能在后续目标跟踪过程中起着重要作用；不依赖检测的跟踪算法是人为在初始帧选定目标，在后续帧中对选中目标进行跟踪，对于未在第一帧出现或中间消失的目标无法进行处理。目前主流的目标跟踪算法都是基于Tracking-by-Detecton策略，即基于目标检测的结果来进行目标跟踪，一般首先通过传感器信息利用一定的目标检测方法识别出环境中不同的目标对象，通过不同的确定性目标关联方法实现目标跟踪。

目前监控设备中大多采用传统的图像处理方法实现车辆的检测与跟踪，算法在复杂场景下的监控效果不够理想，特别是在拥挤场景下，受遮挡影响严重。随着深度学习算法的迅速发展，其在复杂场景下表现出较大优越性，已经逐渐取代传统的图像处理方法，但是由于深度学习算法对设备的硬件性能要求较高，若将其用在智能监控摄像头、电子警察等边缘设备中，需考虑其性能限制。

根据所使用的传感器不同，目前车辆检测与跟踪技术主要包括基于单目视觉的目标识别与跟踪、基于立体视觉的目标识别与跟踪、基于激光雷达的目标识别与跟踪等几种，但各项技术均存在各种不足，其中基于单目视觉的目标识别与跟踪技术的主要缺陷有：

影像搜索范围宽，受背景干扰较大，检错率高；

容易受光线、阴影、遮挡、气候等外界因素干扰，出现许多伪运动目标，造成错误检测与跟踪；

在拥挤场景的多车辆检测与跟踪中，对于外观相似的目标，仅仅使用外观模型容易造成错误关联；

基于单目视觉方法进行目标检测一般采用单个摄像头，在不借助其他传感器的情况下，很难准确计算实际距离。

基于立体视觉的目标识别与跟踪技术计算量大，提高硬件设备性能要求，难以满足实时性要求，易受路面、天气情况影响，比如路面积水、车辆颠簸和摄像机标定飘移等都会引起车目标检测失败或不准确。

基于激光雷达的目标识别与跟踪技术在测量距离与速度性能上较为理想，但是受天气影响大，价格偏高。

目前，市场上迫切需要一种在保证检测与跟踪的精度情况下，能降低遮挡等外界因素干扰的、具有实时性的且成本低的适用于智慧交通实时监控的车辆检测与跟踪技术。

发明内容

为了解决上述技术问题，本发明提出了一种在保证检测与跟踪的精度情况下，能降低遮挡等外界因素干扰的、具有实时性的且成本低的适用于智慧交通实时监控的车辆检测与跟踪技术，真正做到交通对象智能化实时监控，具有良好的开发和应用前景。

本发明所采用的技术方案是：1.一种基于雷达信号和视觉融合的车辆检测与跟踪方法，其特征在于，

步骤1：在交通卡口架设毫米波雷达与摄像头，利用毫米波雷达预先检测车辆目标位置与速度，初步筛出速度相近的车辆作为候选关联目标；

步骤2：根据坐标转换矩阵将目标在雷达中的位置转换到摄像头坐标系中，再转换至视频图像帧坐标系中，缩小影像搜索范围；

步骤3：基于YOLOv3-MoblieNet进行车辆目标检测，获取车辆边框与特征，基于Tracking-by-Detecton策略，利用Deep-SORT算法进行多目标跟踪。

作为优选，所述步骤1具体为：

毫米波雷达系统主动发射电磁波信号，将接收到的回波信号输出，利用极坐标系运算规则来剔除不在道路区域内的虚假目标，利用卡尔曼滤波算法来计算相邻几个周期内目标出现和移动的连续性，实现车辆目标检测；

计算接收信号与发射信号的时间差值，提供探测目标的相对距离、相对速度；

筛选速度相近车辆作为候选目标；

作为优选，所述步骤2具体为：

将雷达坐标系下的坐标，转换到以监控摄像头为中心的世界坐标系，毫米波雷达与三维世界坐标系间，两原点之间距离为D，车辆目标P经过毫米波雷达探测所得距离为H，相对角度为α，转换关系为：

将以摄像头为中心的世界坐标系下的坐标转换到视频传感器坐标系下，利用摄像机成像几何模型中的针孔模型进行演算，利用描述旋转关系的旋转矩阵R，与描述两坐标系原点间位置平移关系的平移向量t两坐标系间的互相转换。需要考虑视频传感器可能产生的畸变。若空间某一点P在世界坐标系中坐标为(X₀,Y₀,Z₀)，则在视频传感器坐标系中坐标(X₁,Y₁,Z₁)与其的转换关系为：

依据成像关系，若空间某一点P₁(X₁,Y₁,Z₁)在图像平面上的投影位置为P_i(x,y)，是光心O₁与视频传感器坐标系中点P₁的连线O₁P₁和图像平面的交点。根据比例关系有：

作为优选，所述步骤3为：

获取车辆边框与特征，基于Tracking-by-Detecton策略，利用Deep-SORT算法进行多目标跟踪，其特征在于，YOLOv3在特征提取阶段使用Darknet-53的基础网络，基础网络中大量使用残差连接，模型训练的难度减小，引入特征金字塔结构，采用类似FPN的上采样和特征融合机质，解决物体检测中的多尺度问题，特征图预测前，将浅层特征与深层特征进行特征融合，使浅层特征图也包含丰富的语义信息；MobileNet的模型基本思想：使用深度可分离卷积来构建深度神经网络，并通过两个超参数，从通道数量和特征图大小两个方面减少计算量，设输入特征图的大小为W×H，相比于标准卷积，深度可分离卷积计算量减少：

选用MobileNet和YOLOv3检测模型相结合，用MobileNet代替YOLOv3的主干网络框架，同时保留YOLOv3的多尺度预测，获得轻量级的检测模型，使用卡尔曼滤波器预测状态和新测量之间的马氏距离，以此来表示运动信息，并且引入第二种关联方法,对每个跟踪目标构建一个库,存储每个跟踪目标成功关联的最近100帧特征向量，计算目标外观信息，采用上述两种度量的线性加权作为最终的度量，使用了级联匹配来对更加频繁出现的目标赋予优先权，首先保证了对最近出现的目标赋予最大的优先权，增强跟踪稳定性与连续性。

附图说明

图1为本发明的流程框图。

图2为本发明的YOLOv3-MobileNet框架图。

图3为本发明的Deep-SORT算法流程图。

图4为本发明Deep-SORT算法中的级联匹配算法图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明针对现有技术的不足，提供了一种基于深度学习的的轻量级目标检测算法YOLOv3-MobileNet和Deep-SORT跟踪算法结合，实现车辆检测与跟踪技术。

本发明第一实施例为：

步骤1：在交通卡口架设毫米波雷达与摄像头，利用毫米波雷达预先检测车辆目标位置与速度，初步筛出速度相近的车辆作为候选关联目标；

所述步骤1具体为：

毫米波雷达系统主动发射电磁波信号，将接收到的回波信号输出，利用极坐标系运算规则来剔除不在道路区域内的虚假目标，利用卡尔曼滤波算法来计算相邻几个周期内目标出现和移动的连续性，实现车辆目标检测；

计算接收信号与发射信号的时间差值，提供探测目标的相对距离、相对速度；

筛选速度相近车辆作为候选目标；

步骤2：根据坐标转换矩阵将目标在雷达中的位置转换到摄像头坐标系中，再转换至视频图像帧坐标系中，缩小影像搜索范围；

所述步骤2具体为：

将雷达坐标系下的坐标，转换到以监控摄像头为中心的世界坐标系，毫米波雷达与三维世界坐标系间，两原点之间距离为D，车辆目标P经过毫米波雷达探测所得距离为H，相对角度为α，转换关系为：

将以摄像头为中心的世界坐标系下的坐标转换到视频传感器坐标系下，利用摄像机成像几何模型中的针孔模型进行演算，利用描述旋转关系的旋转矩阵R，与描述两坐标系原点间位置平移关系的平移向量t两坐标系间的互相转换。需要考虑视频传感器可能产生的畸变。若空间某一点P在世界坐标系中坐标为(X₀,Y₀,Z₀)，则在视频传感器坐标系中坐标(X₁,Y₁,Z₁)与其的转换关系为：

依据成像关系，若空间某一点P₁(X₁,Y₁,Z₁)在图像平面上的投影位置为P_i(x,y)，是光心O₁与视频传感器坐标系中点P₁的连线O₁P₁和图像平面的交点。根据比例关系有：

步骤3：基于YOLOv3-MoblieNet进行车辆目标检测，获取车辆边框与特征，基于Tracking-by-Detecton策略，利用Deep-SORT算法进行多目标跟踪。

所述步骤3为：

获取车辆边框与特征，基于Tracking-by-Detecton策略，利用Deep-SORT算法进行多目标跟踪，其特征在于，YOLOv3在特征提取阶段使用Darknet-53的基础网络，基础网络中大量使用残差连接，模型训练的难度减小，引入特征金字塔结构，采用类似FPN的上采样和特征融合机质，解决物体检测中的多尺度问题，特征图预测前，将浅层特征与深层特征进行特征融合，使浅层特征图也包含丰富的语义信息；MobileNet的模型基本思想：使用深度可分离卷积来构建深度神经网络，并通过两个超参数，从通道数量和特征图大小两个方面减少计算量，设输入特征图的大小为W×H，相比于标准卷积，深度可分离卷积计算量减少：

选用MobileNet和YOLOv3检测模型相结合，用MobileNet代替YOLOv3的主干网络框架，同时保留YOLOv3的多尺度预测，参见图2YOLOv3-MobileNet框架图所示，获得轻量级的检测模型，使用卡尔曼滤波器预测状态和新测量之间的马氏距离，以此来表示运动信息，并且引入第二种关联方法,对每个跟踪目标构建一个库,存储每个跟踪目标成功关联的最近100帧特征向量，计算目标外观信息，采用上述两种度量的线性加权作为最终的度量，使用了级联匹配，参见图4级联匹配算法图，来对更加频繁出现的目标赋予优先权，首先保证了对最近出现的目标赋予最大的优先权，增强跟踪稳定性与连续性。

本发明第二实施例的技术方案为一种基于深度学习的的轻量级目标检测算法YOLOv3-MobileNet和Deep-SORT跟踪算法结合的车辆检测与跟踪技术，包含以下步骤：

步骤1，利用毫米波雷达获取动态车辆速度，并初步筛选具有相近速度的疑似关联车辆在雷达中的坐标位置。

步骤2，将毫米波雷达检测出的疑似关联车辆雷达坐标位置转换至摄像头坐标系，再将摄像头坐标系转换至视频图像帧坐标系中，作为候选关联对象，缩小影像搜索范围。

步骤3，利用基于深度学习的的轻量级目标检测算法YOLOv3-MobileNet实现目标检测。采用Tracking-by-Detecton策略，通过Deep-SORT跟踪算法，具体算法流程参见图3Deep-SORT算法流程图，实现车辆跟踪。

本发明提供的方法能够用计算机软件技术实现流程。参见图1，通过实施例对本发明的流程进行一个具体的阐述，如下：

在监控区域合理布设毫米波雷达与单目摄像头，并进行标定，利用毫米波雷达预先检测车辆目标位置与速度，并初步筛选具有相近速度的疑似关联车辆获取其在雷达中的坐标位置。

将毫米波雷达检测出的疑似关联车辆雷达坐标位置转换至摄像头坐标系，再将摄像头坐标系转换至视频图像帧坐标系中，作为候选关联对象，缩小影像搜索范围，提高后续视觉检测速度。

获取监控视频图像帧数据，对车辆目标进行标记，制作大量训练集，利用基于深度学习的的轻量级目标检测算法YOLOv3-MobileNet对监控视频进行车辆目标检测，获取目标边框与特征。参见图3，基于YOLOv3-MobileNet目标检测算法结合Deep-SORT算法进行多目标跟踪，主要分为以下几个部分：

目标检测：由上述获取目标边框与特征信息，并根据置信度与非极大值抑制进行边框过滤。

轨迹处理和状态估计：运动状态估计中使用8个参数(u,v,γ,h,x',y',γ',h')进行运动状态描述，其中(u,v)是边框中心坐标，γ是长宽比，h表示高度，这四个参数来源于目标检测部分，其余四个参数表示对应影像坐标系中的速度信息，使用卡尔曼滤波器对运动状态进行预测。

对跟踪器参数和特征集进行更新：判断有无目标消失或有无新目标出现，对每个目标，记录其上次检测结果和跟踪结果匹配后的帧数a_k，只要检测结果和跟踪结果正确关联，就将该参数置为0，如果a_k超过了设置的最大阈值A_max，则结束对该目标的跟踪。

检测结果与跟踪预测结果匹配：区分已确认和未确认状态的跟踪器，对已确认状态的跟踪器进行匹配指派，其中，指派问题使用匈牙利算法，并同时考虑运动信息的关联和目标外观信息的关联。

运动信息关联，即使用卡尔曼滤波器预测状态和新测量之间的马氏距离，以此来表示运动信息，

上式表示第j个检测结果和第i条轨迹之间的运动匹配度，其中S_i是卡尔曼滤波器当前时刻观测空间的协方差矩阵，y_j是当前时刻的预测观测量，d_j表示第j个检测的状态(u,v,γ,h)，马氏距离通过测量远离平均轨道位置的标准偏差来考虑状态估计的不确定性。通过逆卡方分布的0.95分位点作为阈值t⁽¹⁾，指标函数定义公式如下：

目标外观信息，由于相机运动会使马氏距离度量方法失效，因此引入第二种关联方法，对每个跟踪目标构建一个库，存储每个跟踪目标成功关联的最近100帧特征向量，则第i个跟踪器与当前帧第j个检测结果之间的表观匹配度为：

指标函数表示为：

采用上述两种度量的线性加权作为最终的度量：

c_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

只有当c_i,j位于两种度量阈值的交集内时，才认为实现了正确的关联。当指派完成后，分类出未匹配的检测和跟踪器。

对于未确认状态的跟踪器、未匹配的跟踪器和未匹配的检测，进行IOU匹配，再次使用匈牙利算法进行指派。

对于匹配的跟踪器进行参数更新，删除再次未匹配的跟踪器，未匹配的检测初始化为新目标。

连接车辆轨迹，实现车辆检测与跟踪。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于雷达信号和视觉融合的车辆检测与跟踪方法，其特征在于:

步骤1：在交通卡口架设毫米波雷达与摄像头，利用毫米波雷达预先检测车辆目标位置与速度，初步筛出速度相近的车辆作为候选关联目标；

步骤2：根据坐标转换矩阵将目标在雷达中的位置转换到摄像头坐标系中，再转换至视频图像帧坐标系中，缩小影像搜索范围；

步骤3：基于YOLOv3-MoblieNet进行车辆目标检测，获取车辆边框与特征，基于Tracking-by-Detecton策略，利用Deep-SORT算法进行多目标跟踪。

2.根据权利要求1所述的基于雷达信号和视觉融合的车辆检测与跟踪方法，其特征在于，

所述步骤1具体为：

毫米波雷达系统主动发射电磁波信号，将接收到的回波信号输出，利用极坐标系运算规则来剔除不在道路区域内的虚假目标，利用卡尔曼滤波算法来计算相邻几个周期内目标出现和移动的连续性，实现车辆目标检测；

计算接收信号与发射信号的时间差值，提供探测目标的相对距离、相对速度；

筛选速度相近车辆作为候选目标。

3.根据权利要求1所述的基于雷达信号和视觉融合的车辆检测与跟踪方法，其特征在于，所述步骤2具体为：

将雷达坐标系下的坐标，转换到以监控摄像头为中心的世界坐标系，毫米波雷达与三维世界坐标系间，两原点之间距离为D，车辆目标P经过毫米波雷达探测所得距离为H，相对角度为α，转换关系为：

将以摄像头为中心的世界坐标系下的坐标转换到视频传感器坐标系下，利用摄像机成像几何模型中的针孔模型进行演算，利用描述旋转关系的旋转矩阵R，与描述两坐标系原点间位置平移关系的平移向量t两坐标系间的互相转换；

需要考虑视频传感器可能产生的畸变；若空间某一点P在世界坐标系中坐标为(X₀,Y₀,Z₀)，则在视频传感器坐标系中坐标(X_1,Y₁,Z₁)与其的转换关系为：

依据成像关系，若空间某一点P₁(X₁,Y₁,Z₁)在图像平面上的投影位置为P_i(x,y)，是光心O₁与视频传感器坐标系中点P₁的连线O₁P₁和图像平面的交点；

根据比例关系有：

4.根据权利要求1所述的基于雷达信号和视觉融合的车辆检测与跟踪方法，其特征在于，

所述步骤3为：

获取车辆边框与特征，基于Tracking-by-Detecton策略，利用Deep-SORT算法进行多目标跟踪，其特征在于，YOLOv3在特征提取阶段使用Darknet-53的基础网络，基础网络中大量使用残差连接，模型训练的难度减小，引入特征金字塔结构，采用类似FPN的上采样和特征融合机质，解决物体检测中的多尺度问题，特征图预测前，将浅层特征与深层特征进行特征融合，使浅层特征图也包含丰富的语义信息；MobileNet的模型基本思想：使用深度可分离卷积来构建深度神经网络，并通过两个超参数，从通道数量和特征图大小两个方面减少计算量，设输入特征图的大小为W×H，相比于标准卷积，深度可分离卷积计算量减少：

选用MobileNet和YOLOv3检测模型相结合，用MobileNet代替YOLOv3的主干网络框架，同时保留YOLOv3的多尺度预测，获得轻量级的检测模型，使用卡尔曼滤波器预测状态和新测量之间的马氏距离，以此来表示运动信息，并且引入第二种关联方法,对每个跟踪目标构建一个库,存储每个跟踪目标成功关联的最近100帧特征向量，计算目标外观信息，采用上述两种度量的线性加权作为最终的度量，使用了级联匹配来对更加频繁出现的目标赋予优先权，首先保证了对最近出现的目标赋予最大的优先权，增强跟踪稳定性与连续性。

Images