CN115308732A - 一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法 - Google Patents

Abstract

本发明适用于车辆传感器和图像识别领域，提供了一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法，包括以下步骤：步骤一、目标检测；步骤二、目标追踪；步骤三、速度估计；步骤四、雷达数据坐标变换；步骤五、雷达数据处理；步骤六、融合和区分。本发明针对深度视觉采用独立的处理算法，在目标识别算法（YOLOV5s）基础上增加追踪算法，能够通过摄像头采集到的信息图像对目标进行快速的识别和追踪，能够起到模拟人的双眼做到可视化识别，同时也避免了因外界环境干扰因素降低系统的鲁棒性和安全性；毫米波雷达使用独立的算法对目标进行检测识别和追踪并对结果融合；算法的快速性，能够满足汽车在高速行驶下的目标识别。

Description

一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法

技术领域

本发明属于车辆传感器和图像识别领域，尤其涉及一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法。

背景技术

在传统的汽车驾驶中，对行驶路上的汽车、行人、障碍物等目标都是通过驾驶员的眼睛观察到，然后做出相应的判断和决策。但由于复杂的交通环境和驾驶员的各种驾驶问题，仅仅驾驶员眼睛观察存在安全风险，为了减少事故的发生，智能汽车的研究逐渐的深入，目的是为了代替人类驾驶汽车在复杂的交通环境中行驶，减少人为因素而发生的交通事故，同时能够提高车辆的通行率。智能汽车的设计包括感知、决策、控制和输出这四大部分，而感知就相当于智能汽车的“眼睛”，获取外界的各种信息，包括目标的位置、速度和加速度等信息，因此感知是智能汽车设计当中的关键环节。

在构成交通事故的人、车、道路环境三要素中，人为因素占的比例最大(占55％～90％)，人的影响主要体现在交通直接参加者的性格体力上的弱点，经验不足或状态不良等。如果通过汽车的传感器获取外部的信息，利用相应的决策帮助驾驶员或者代替驾驶员做出相应的判断和决策，可以大大的提高驾驶安全性和高效性。

在传统的汽车感知当中，通常都是使用单一的传感器获得外部的相关数据信息，但由于外部环境的复杂和各种干扰的影响，导致单一传感器获得的信息的准确性和精确性不是足够的高，因此很有必要采用多传感器对同一目标进行观测，从而提高数据信息的准确性和精确性。

多传感器信息融合包括同一传感器之间的信息融合、不同传感器之间的信息融合。不同传感器的干扰因素是不同的，由于外界的环境的复杂性，这就导致如果采用同一传感器进行信息融合系统的鲁棒性就大大降低，反而起不到多传感器信息融合的优势，因此多传感器信息融合常采用不同传感器之间的信息融合。对于不同传感器之间的信息融合，通常对信息融合的方法主要有三种：1、数据级信息融合，对各个传感器之间的原始数据直接进行融合，得到新的原始数据；2、特征信息融合，各个传感器分别对目标进行相应的数据处理，得到相应的特征信息，然后对特征信息进行融合；3、决策级信息融合，各个传感器对目标进行相应的算法处理，将处理的结果进行信息融合。

上述方法中，由于数据级信息融合会丢失相应的关键原始数据和特征信息融合会丢失关键的特征信息，因此主要的信息融合方法是目标信息融合。目标信息融合的优点是各个传感器获得的数据信息和特征信息能够通过相应的算法独立的判断出目标信息，然后通过融合方法进行相应的融合。对于高速行驶的汽车，选择合适的传感器处理算法和信息融合方法尤为的重要，不但要实现准确识别，而且要满足快速性。

在现有技术当中，对于多传感器的信息融合大多数设计都是主辅关系，这对整个系统的冗余率和准确率都是不高的，而且对于传感器而言，以现在的技术和能力无法做到对物体百分百的连续识别和追踪，因此为了极大程度解决这种问题，本文提出了一种多传感器目标检测与跟踪技术的信息融合方法，各传感器采用独立的算法对物体进行检测和追踪，信息融合方法采用决策级信息融合。

发明内容

本发明实施例的目的在于提供一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法，旨在解决传统单一传感器目标识别的低可靠性和低效率性的问题。

本发明是这样实现的，一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法，包括以下步骤：

步骤一、目标检测

深度视觉获取摄像头拍摄的视觉图像，并对图像进行处理得到目标先验框；

步骤二、目标追踪

利用两帧间欧式距离追踪算法对目标先验框进行连续的追踪，从而获得识别目标的标记框、目标类别Label以及目标ID；

所述目标ID具体位置当前目标计数序号，即第几个出现的目标；

步骤三、速度估计

对识别后的目标进行两帧图像上的位移计算，从而计算得出图像中识别目标的速度估算；

步骤四、雷达数据坐标变换

利用坐标系变换转变将毫米波雷达探测物体获取的极坐标系与深度视觉获取的图像坐标系变为统一的坐标系；

步骤五、雷达数据处理

利用动静分层对毫米波雷达原始数据进行处理，得到点云数据，再利用密度聚类算法DBSCAN对有效数据进行聚类，得到先验聚类框，对其中速度异常的数据进行滤除；根据聚类之后的信息中选取靠近聚类框中心点的合理代表数据，采用卡尔曼滤波器对目标进行连续追踪，去除无效聚类信息，从而得到被检测物体有效的量测数据包括纵向距离、纵向速度、侧向距离和侧向速度，并在对应时刻的图像上记录各聚类框；

步骤六、融合和区分

融合后利用速度偏差和面积重合度对深度视觉和毫米波雷达识别的结果进行融合和区分，并将识别结果呈现在图像上，从而实现决策级融合的决策得到准确识别结果。

进一步的技术方案，步骤一中所述深度视觉基于卷积神经网络的YOLOV5s算法。

进一步的技术方案，步骤二中所述目标追踪的具体步骤为：

a、利用先验框中目标标记结果Boxes并计算出先验框的中心点，再给这个先验框加上目标ID；

b、比较前后两帧图像的先验框中心点之间的欧氏距离，如果小于指定的阈值就认为是相同的目标，标记目标ID不变，并对所有识别目标在图像上画出标记框、目标类别Label和目标ID；

c、如果目标的先验框在图像上消失，删除目标在图像上画出标记框、目标类别Label和目标ID；

d、在某一帧图像中有新先验框出现时，在检测的当前帧图像中先给上一帧已经确定是目标的物体更新中心点坐标，再给剩余的先验框中的目标在图像上画出标记框、目标类别Label和目标ID；

e、对所有图像或者视频中所有帧数重复循环两帧图像计算法，直至结束。

进一步的技术方案，步骤三中所述速度估计的公式如下：

其中，V_f是实际物理估算速度，S_p是两帧图像上物体位移的像素距离，T_t是两帧之间的时间间隔，θ像素距离和实际距离映射估计值。

进一步的技术方案，步骤四中所述雷达数据坐标变换具体为：将毫米波雷达获得原始点云数据的极坐标系转换成三维坐标系；再将点云信息进行相应的坐标变换，即将毫米波雷达的二维坐标变换到图像坐标中。

进一步的技术方案，步骤六中所述融合和区分的具体步骤为：

a、对同一时刻，基于深度视觉识别出的标记框和基于毫米波雷达映射到对应时刻图像上的聚类框进行面积重合度计算δ；

b、对同一时刻，基于估算出的深度视觉图像上所有目标速度估计值和基于毫米波雷达得到各聚类框量测代表数据中的速度进行计算速度偏差ε；

c、如果两者的识别结果若融合为同一目标，则必须同时满足面积重合度大于等于设定阈值β和速度偏差小于等于设定阈值γ，即

如果不能同时满足条件，则认为不是同一目标；

d、如果深度视觉算法未识别到的物体，而毫米波雷达识别算法识别到了的物体，则在对应图像上画上该聚类框，并赋予新目标ID，对于毫米波雷达数据处理的目标ID赋予方法和删除方法类似于图像欧式距离追踪算法所述原理；如果深度视觉算法识别到的物体，而毫米波雷达识别算法未识别到的物体，则保留深度视觉系统的识别目标标记框、目标类别Label以及目标ID。

本发明实施例提供的一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法，本发明针对深度视觉采用独立的处理算法，利用图像识别算法(YOLOV5s)，并增加了目标追踪算法，能够通过摄像头采集到的信息图像对目标进行快速的识别和追踪，能够起到模拟人的双眼做到可视化识别，同时也避免了因外界环境干扰因素降低系统的鲁棒性和安全性。算法的快速性，能够满足汽车在高速行驶下的目标识别，实时性和准确性较好。对于目标追踪算法，提出采用帧数欧式距离目标追踪法，优势是代码简单，能够满足能实际应用，且能够简单有效和准确的实现对图像目标进行连续追踪；本发明对毫米波雷达采用动静分层和DBSCAN聚类算法，能够将杂乱无序的点云数据进行聚类，从而实现滤波的作用，避免对数据的无效处理，从聚类中筛选特定需要的物体信息，得到的数据比单一数据更加准确和精确，提高了测量的精准度。使用卡尔曼滤波器对目标进行连续的预测追踪，提高目标识别的稳定性和准确性；对毫米波和摄像头的算法融合，是决策级融合。两个传感器独立识别出物体，做出相应的判断，将判断的结构进行融合，打破传统的不对等融合或主辅融合，提高了车辆行驶过程中传感器识别的稳定性和精确性。并且提出基于速度偏差阈值和面积重合度对两者的结果进行融合和区分，提高了融合和区分的可行性和准确性，且满足实际需求。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述。

实施例一

首先摄像头获取视觉图像，毫米波雷达扫描获得点云数据，采集图像和点云数据的时间间隔均为0.2秒。

步骤一、目标检测

深度视觉获取摄像头拍摄的视觉图像，并对图像进行处理得到目标先验框；

对于深度视觉采用的处理算法是基于卷积神经网络(CNN)的YOLOV5s算法(YouOnlyLookOnceV5s)，获取的视觉图像首先缩放到640*640尺寸大小，然后送入到基于卷积神经网络(CNN)的YOLOV5s算法中进行处理，获得具有尺度的特征信息图像；通过图像处理算法YOLOV5s获得目标先验框。

步骤二、目标追踪

利用两帧间欧式距离追踪算法对目标先验框进行连续的追踪，从而获得识别目标的标记框、目标类别Label(类别标签)以及目标ID(目标ID具体位置当前目标计数序号，即第几个出现的目标)，具体步骤为：

a、利用先验框中目标标记结果Boxes(标记框坐标)并计算出先验框的中心点，再给这个先验框加上目标ID；

b、比较前后两帧图像的先验框中心点之间的欧氏距离，如果小于指定的阈值(此阈值的计算方式可以基于大多数被检测物体的速度综合计算取得)就认为是相同的目标，标记目标ID不变，并对所有识别目标在图像上画出标记框、目标类别Label(类别标签)和目标ID；

c、如果目标的先验框在图像上消失，删除目标在图像上画出标记框、目标类别Label(类别标签)和目标ID；

d、在某一帧图像中有新先验框出现时，在检测的当前帧图像中先给上一帧已经确定是目标的物体更新中心点坐标，再给剩余的先验框中的目标在图像上画出标记框、目标类别Label(类别标签)和目标ID；

e、对所有图像或者视频中所有帧数重复循环两帧图像计算法，直至结束。

步骤三、速度估计

对识别后的目标进行两帧图像上的位移计算，从而计算得出图像中识别目标的速度估算；具体多目标速度公式如下：

其中，V_f是实际物理估算速度，S_p是两帧图像上物体位移的像素距离，T_t是两帧之间的时间间隔，θ像素距离和实际距离映射估计值。

步骤四、雷达数据坐标变换

利用坐标系变换转变将毫米波雷达探测物体获取的极坐标系与深度视觉获取的图像坐标系变为统一的坐标系，具体为：

将毫米波雷达获得原始点云数据的极坐标系转换成三维坐标系，再将点云信息进行相应的坐标变换，即将毫米波雷达的二维坐标变换到图像坐标中；

毫米波雷达数据坐标为(X，Y，Z，1)其对应的图像坐标为(u，v)，相机坐标系下的坐标为(xc，yc，zc)，dx和dy为像素的物理尺寸，f是焦距，(u0，v0)为相机光心在图像坐标系下的坐标，R和T为相机坐标系和点云坐标系之间的旋转和平移矩阵。则变换公式为：

步骤五、雷达数据处理

利用动静分层对毫米波雷达原始数据进行处理，得到点云数据，再利用密度聚类算法DBSCAN对有效数据进行聚类，得到先验聚类框，对其中速度异常的数据进行滤除；根据聚类之后的信息中选取靠近聚类框中心点的合理代表数据，采用卡尔曼滤波器对目标进行连续追踪，去除无效聚类信息，从而得到被检测物体有效的量测数据包括纵向距离、纵向速度、侧向距离和侧向速度等，并在对应时刻的图像上记录各聚类框，具体步骤为：

1、遍历所有数据，组成样本集合D＝{x₁，x₂，…，x_n，}，并设置好邻域参数(∈，MinPts)；

2、初始化核心点集合

初始化聚类簇数k＝0，初始化为访问集合Γ＝D，簇划分

3、通过欧式距离度量方法，找到样本x_n的∈邻域子样本集合N_∈(x_n)，如果子样本集合的个数满足大于等于MinPts，则将样本x_n加入到核心点集合当中；

4、如果核心点集合

聚类结束；否则在核心点集合Q中，随机选择一个核心点L，初始化当前簇核心点队列Ω_cur＝{L}，初始化聚类簇数类别序号k＝k+1，初始化当前簇样本集合C_k＝{L}，更新为访问集合Γ＝Γ-{L}；

5、如果当前核心点队列Ω_cur＝φ，则当前簇C_k生成完毕，更新簇划分C＝{C₁，C₂，…，C_k，}，更新核心点集合Ω＝Ω-C_k，转入步骤4，否则更新核心点集合Ω＝Ω-C_k；

6、在当前簇核心点队列Ω_cur中取出一个核心点L′，通过邻域阈值∈找出所有的∈邻域子样本集合N_∈(L′)，令Δ＝N_∈(L′)∩Γ，更新当前簇样本集合C_k＝C_k∪Δ，更新为访问样本集合Γ＝Γ-Δ，更新Ω_cur＝Ω_cur·∪(Δ∩Ω)-{L′}，转入步骤5。

再对各聚类内的数据进行速度滤波，得到先验聚类框，然后求取聚类内速度均值并选取一个接近均值且靠近聚类框中心点的数据作为代表数据，输入到卡尔曼滤波器中，对目标进行连续追踪，去除无效的聚类，在与之对于时刻的图像上记录聚类框，并记录代表数据的量测数据；具体实现步骤如下：

1)获取当前时刻所有聚类信息，对各聚类内去掉速度异常的点云数据，并在对应时刻图像上记录各聚类框，然后求取各聚类框内的速度均值，对各聚类框内选取一个速度接近均值且靠近聚类框中心点的点作为该聚类框的代表数据，读取各聚类内代表数据的当前时刻的速度和位置数据，并将其输入到卡尔曼滤波器当中。

2)构建一个卡尔曼滤波器对下一时刻即t+1的位置和速度预测；根据卡尔曼滤波器推导过程定义了加速度a和额外的控制向量

提取当前时刻聚类代表目标的位置坐标Lt为(xt，yt)和速度值Vt作为输入值，组成状态矩阵Xt＝[LtVt]^T，采用协方差矩阵Pt表示t时刻与t+1时刻中位置和速度的相关性；结合定义的加速度a和额外的控制向量

进行t+1时刻的速度值和位置数据预测。预测过程中更新步骤方程如下所示：

P′_t+1＝P_t+1-K′H_t+1P_t+1

其中，K′为卡尔曼增益，H_t+1为传感器的数据，

为观测值。

3)再基于位置和速度，采用近邻匹配的方式将t+1时刻的预测结果与对与步骤2)中t+1时刻的聚类代表数据进行匹配，这里匹配的方法是采用的欧式距离匹配法，原理类似于图像的欧式距离追踪算法，这里不再赘述；然后利用在t+1时刻匹配上的聚类代表数据对卡尔曼滤波器的参数进行更新，然后以更新后的参数作为下一次预测的初始值；对于未匹配上的聚类中心则直接当前预测结果进行下一次预测，若连续两帧都未匹配到对应目标则视为目标不在测量范围内，对当前帧所有目标在对应时刻图像上记录聚类框，并记录各聚类框内的代表数据作为量测数据。

4)在后续的时刻中循环上述步骤。

步骤六、融合和区分

融合后利用速度偏差和面积重合度对深度视觉和毫米波雷达识别的结果进行融合和区分，并将识别结果呈现在图像上，从而实现决策级融合的决策得到准确识别结果，具体步骤为：

a、对同一时刻，基于深度视觉识别出的标记框和基于毫米波雷达映射到对应时刻图像上的聚类框进行面积重合度计算δ，具体步骤计算方法为：

1、首先判断两个矩形框是否相交。矩形框box1的坐标为(x₀₁，y₀₁，x₀₂，y₀₂，)，矩形框box2的坐标为(x₁₁，y₁₁，x₁₂，y₁₂，)，其中Lx为两矩形框横坐标中心距离

Ly为两矩形框纵坐标中心距离

sax为box1矩形框横坐标距离sax＝|x₀₁-x₀₂|，say为box1矩形框纵坐标距离say＝|y₀₁-y₀₂|，sbx为box2矩形框横坐标距离sbx＝|x₁₁-x₁₂|，sby为box2矩形框纵坐标距离sby＝|y₁₁-y₁₂|。因此若两矩形框相交必须同时满足如下法则：

2、对于相交的两个矩形框，则进行计算其面积重合度。其中col为重合区域横坐标方向长度col＝min(x₀₂，x₁₂)-max(x₀₁，x₁₁)，row为重合区域纵坐标方向长度row＝min(y₀₂，y₁₂)-max(y₀₁，y₁₁)，因此两矩形框面积重合度δ：

b、对同一时刻，基于估算出的深度视觉图像上所有目标速度估计值和基于毫米波雷达得到各聚类框量测代表数据中的速度进行计算速度偏差ε：

ε＝|V_f-V_r|；

其中，V_f是根据两帧图像实际物理估算速度，V_r是毫米波雷达该聚类框的代表数据的速度(实测)。

c、如果两者的识别结果若融合为同一目标，则必须同时满足面积重合度大于等于设定阈值β和速度偏差小于等于设定阈值γ，即

如果不能同时满足条件，则认为不是同一目标。

d、如果深度视觉算法未识别到的物体，而毫米波雷达识别算法识别到了的物体，则在对应图像上画上该聚类框，并赋予新目标ID(当前目标计数序号，即第几个出现的目标)，对于毫米波雷达数据处理的目标ID赋予方法和删除方法类似于图像欧式距离追踪算法所述原理；如果深度视觉算法识别到的物体，而毫米波雷达识别算法未识别到的物体，则保留深度视觉系统的识别目标标记框、目标类别Label(类别标签)以及目标ID(当前目标计数序号，即第几个出现的目标)。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，包括以下步骤：

步骤一、目标检测

深度视觉获取摄像头拍摄的视觉图像，并对图像进行处理得到目标先验框；

步骤二、目标追踪

利用两帧间欧式距离追踪算法对目标先验框进行连续的追踪，从而获得识别目标的标记框、目标类别Label以及目标ID；

所述目标ID具体位置当前目标计数序号，即第几个出现的目标；

步骤三、速度估计

对识别后的目标进行两帧图像上的位移计算，从而计算得出图像中识别目标的速度估算；

步骤四、雷达数据坐标变换

利用坐标系变换转变将毫米波雷达探测物体获取的极坐标系与深度视觉获取的图像坐标系变为统一的坐标系；

步骤五、雷达数据处理

利用动静分层对毫米波雷达原始数据进行处理，得到点云数据，再利用密度聚类算法DBSCAN对有效数据进行聚类，得到先验聚类框，对其中速度异常的数据进行滤除；根据聚类之后的信息中选取靠近聚类框中心点的合理代表数据，采用卡尔曼滤波器对目标进行连续追踪，去除无效聚类信息，从而得到被检测物体有效的量测数据包括纵向距离、纵向速度、侧向距离和侧向速度，并在对应时刻的图像上记录各聚类框；

步骤六、融合和区分

融合后利用速度偏差和面积重合度对深度视觉和毫米波雷达识别的结果进行融合和区分，并将识别结果呈现在图像上，从而实现决策级融合的决策得到准确识别结果。

2.根据权利要求1所述的融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，步骤一中所述深度视觉基于卷积神经网络的YOLOV5s算法。

3.根据权利要求1所述的融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，步骤二中所述目标追踪的具体步骤为：

a、利用先验框中目标标记结果Boxes并计算出先验框的中心点，再给这个先验框加上目标ID；

b、比较前后两帧图像的先验框中心点之间的欧氏距离，如果小于指定的阈值就认为是相同的目标，标记目标ID不变，并对所有识别目标在图像上画出标记框、目标类别Label和目标ID；

c、如果目标的先验框在图像上消失，删除目标在图像上画出标记框、目标类别Label和目标ID；

d、在某一帧图像中有新先验框出现时，在检测的当前帧图像中先给上一帧已经确定是目标的物体更新中心点坐标，再给剩余的先验框中的目标在图像上画出标记框、目标类别Label和目标ID；

e、对所有图像或者视频中所有帧数重复循环两帧图像计算法，直至结束。

4.根据权利要求1所述的融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，步骤三中所述速度估计的公式如下：

其中，V_f是实际物理估算速度，S_p是两帧图像上物体位移的像素距离，T_t是两帧之间的时间间隔，θ像素距离和实际距离映射估计值。

5.根据权利要求1所述的融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，步骤四中所述雷达数据坐标变换具体为：将毫米波雷达获得原始点云数据的极坐标系转换成三维坐标系；再将点云信息进行相应的坐标变换，即将毫米波雷达的二维坐标变换到图像坐标中。

6.根据权利要求1所述的融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，步骤六中所述融合和区分的具体步骤为：

a、对同一时刻，基于深度视觉识别出的标记框和基于毫米波雷达映射到对应时刻图像上的聚类框进行面积重合度计算δ；

b、对同一时刻，基于估算出的深度视觉图像上所有目标速度估计值和基于毫米波雷达得到各聚类框量测代表数据中的速度进行计算速度偏差ε；

c、如果两者的识别结果若融合为同一目标，则必须同时满足面积重合度大于等于设定阈值β和速度偏差小于等于设定阈值γ，即

如果不能同时满足条件，则认为不是同一目标；

d、如果深度视觉算法未识别到的物体，而毫米波雷达识别算法识别到了的物体，则在对应图像上画上该聚类框，并赋予新目标ID，对于毫米波雷达数据处理的目标ID赋予方法和删除方法类似于图像欧式距离追踪算法所述原理；如果深度视觉算法识别到的物体，而毫米波雷达识别算法未识别到的物体，则保留深度视觉系统的识别目标标记框、目标类别Label以及目标ID。