CN111652097A - 一种图像毫米波雷达融合目标检测方法 - Google Patents

Abstract

本发明提供了一种图像毫米波雷达融合目标检测方法，包括：通过摄像机获取视频图像后，采用基于改进的YOLOv3‑tiny网络进行目标检测与识别；通过毫米波雷达获取点信息后，通过点速度分析结合连续帧关联的方法，对点信息进行分析，形成目标航迹；对摄像机内参进行标定后，并对摄像机、毫米波雷达安装位置进行测量，计算两者坐标系的映射关系，进而将毫米波雷达坐标系下的航迹点转换到图像坐标系中；最后，通过将转换到图像坐标系中的航迹点与图像检测到的目标点进行位置关联，实现两种传感器检测结果的融合，达到了提升目标检测准确率的效果。相对于单一传感器目标方法，有效提升了目标检测在工程应用中的准确性与鲁棒性。

Description

一种图像毫米波雷达融合目标检测方法

技术领域

本发明涉及视频检测领域，尤其涉及一种图像毫米波雷达融合目标检测方法。

背景技术

随着智能交通的发展，对传感器获取数据要求越来越高，传统的单一传感器数据采集方式，已经难以满足不断增长的智慧交通应用需求。交通目标通常包含机动车、非机动车与行人。交通目标的检测已成为智慧交通中一个关键环节。

交通领域常用的传感器包括摄像机与毫米波雷达。其中，摄像机能够捕捉交通目标的实时画面信息，但其容易受到光照、天气等因素影响，且无法获取交通目标的准确运动信息；而毫米波雷达能够全天时全天候持续获取交通目标的运动信息，但其无法获取交通目标的具体属性信息，也有一定的局限性。因此，图像与毫米波雷达的融合处理，成为解决交通环境感知的一个重要方向。

目前，基于单一传感器的目标检测依然占据主导地位，图像-毫米波雷达融合在交通目标检测方面的应用还不够充分，缺少有效的图像-毫米波雷达融合方法。

发明内容

本发明提供了一种图像毫米波雷达融合目标检测方法，以解决现有的基于单一传感器的目标检测方法存在的易受到光照、天气等因素影响且无法获取交通目标的准确运动信息，或无法获取交通目标的具体属性信息的缺点。

本发明包括以下步骤：

步骤1：参数测量。标定摄像机内参，采用物理方式测量图像中心点与安装位置之间的距离以及安装高度。

步骤2：采用基于改进的YOLOv3-tiny网络进行目标检测与识别，获取目标在图像中的位置区域；

步骤3：通过点速度分析结合连续帧关联的方法，对点信息进行分析，形成目标航迹；

步骤4：坐标转换。利用参数测量结果进行计算，将毫米波雷达检测到的目标位置转换到图像坐标系下。同时，根据雷达散射截面积rcs信息估算目标转换到图像坐标系下的大小；

步骤5：目标融合。通过将转换到图像坐标系中的航迹点与图像检测到的目标点进行位置关联。设置多帧关联策略，并根据关联策略将图像目标的属性赋予雷达目标，生成融合目标。

进一步地，在一种实现方式中，所述步骤1包括：

本方法中，摄像机与毫米波雷达安装于同一位置，且摄像机镜头毫米波雷达天线法向一致。采用张正友标定法，获取摄像头内参，得到摄像头焦距f。摄像机及毫米波雷达安装位置H高度记为h；令O为原点，表示安装位置正下方点；令P为远点，表示摄像机镜头及毫米波雷达天线法向与水平地面交点。OP距离记为d。h和d均可通过测量获取。

进一步地，在一种实现方式中，步骤2包括：

在YOLOv3-tiny基础上进行网络结构改进，采用深度可分离卷积代替普通卷积，并采用k-means聚类方法优化训练模型对应的锚框尺度；

其中，锚框是以特征图上的点为基准(特征图(feature map)是YOLOv3-tiny算法的一个中间结果，在深度学习领域属于较为基础的定义)，按一定尺度大小对目标真实位置进行预测所采用的方法框，本方法在YOLOv3-tiny基础上进行网络结构改进，采用深度可分离卷积代替普通卷积，并采用k-means聚类方法优化训练模型对应的锚框尺度。具体改进过程如下：

步骤2-1，由大量实际拍摄的交通视频中截图，对交通目标进行标注，形成数据集。提取数据集中标注框数据，包含(x_j,y_j,w_j,h_j),j∈{1,2,…,N}，即真值相对于原图的坐标，其中(x_j,y_j)是第j个锚框中心点坐标，w_j,h_j分别表示第j个锚框的宽和高，N是所有标注框的个数；

步骤2-2，给定k＝6个聚类中心点，记作(W_i,H_i)，i∈{1,2,…,k}，W_i,H_i分别表示第k个聚类中心点的宽和高；由于锚框位置还不固定，因此暂时没有锚框中心点(x,y)坐标，只有宽和高(w,h)参数；

步骤2-3，计算每一个标注框和每一个聚类中心点的距离d＝1-IOU，其中IOU为交并比，计算时将标注框分配给最近的聚类中心，以聚类中心作为标注框的中心点计算IOU值，有：d＝1-IOU[(x_j,y_j,w_j,h_j),(x_j,y_j,W_i,H_i)],j∈{1,2,…,N},i∈{1,2,…,k}。其中N为标注框个数，k＝6；

步骤2-4，所有标注框分配完毕以后，对每个簇重新计算聚类中心点，计算方式为求簇中所有标记框的宽的平均值W′_i及高的平均值H′_i，有：

其中N_i为第i个簇的标注框个数；

步骤2-5，重复步骤2-3～步骤2-4，直至聚类中心无明显改变，即变化范围不大于网络输入图像尺寸中，长和宽较小值的0.01倍像素。例如输入图像为432*412时，变化范围不超过412*0.01≈4个像素时，认为聚类中心无明显改变。

进一步地，在一种实现方式中，所述步骤3包括：

通过结合点速度及前后帧关联的方法，对点进行筛选，形成目标航迹。航迹生成过程如下：

步骤3-1，筛选候选点：在首帧中，筛选运动速度在合理范围内的点作为候选点(例如，若是高速公路场景，则合理速度为70～200km/h，若是城市道路，则合理速度为20～100km/h)，并根据候选点位置及速度，预测其在后续帧中的位置，预测的具体过程为：根据瞬时位置，加上瞬时速度和两帧之间的时间的乘积，计算得到下一帧的位置；在后续帧中，如果候选点满足产生位移，且速度方向与位移方向相同，则进一步将其当前位置与预测位置比较，如果两者距离小于候选点瞬时速度数值的0.07倍，则判定两者位置接近，则该帧此候选点匹配成功1次，否则匹配失败；

步骤3-2，生成候选航迹：连续4帧以上持续观察已匹配成功过的候选点，如果在连续4帧中有3帧匹配失败，则丢弃该候选点；记候选点匹配成功次数为q1，已跟踪帧数为p1，当满足q1＞(p1*0.6+0.5)，则判定该候选点是候选航迹点；

步骤3-3，生成正式航迹：根据候选航迹点的瞬时位置与速度，预测其在后续帧中的位置；在后续帧中，如果候选航迹点满足速度方向与位移方向相同，且所在位置与预测位置接近，则该帧此候选航迹点匹配成功1次，否则失败；连续4帧以上持续观察候选航迹点，如果在连续4帧中3帧匹配失败，则放弃此候选航迹，如果持续匹配成功，则判定是正式航迹点。

进一步地，在一种实现方式中，所述步骤4包括：

将毫米波雷达检测到的目标位置转换到图像坐标系下，同时，根据雷达散射截面积rcs信息估算目标转换到图像坐标系下的大小，毫米波雷达坐标系为二维坐标系，令Z方向为高度方向，Y方向为毫米波雷达天线法向水平投影方向，X方向为毫米波雷达天线法向水平切向；对应的，在图像坐标系下，令R_x为目标点在图像水平方向与中心的距离，令R_y为目标点在图像竖直方向与中心的距离，令R_d为目标的雷达散射截面积rcs转换到图像坐标系下的宽度；令D为目标点，其位置由毫米波雷达测量，其中y为D距离O点距离的Y方向分量，为D距离O点距离的X方向分量，r为rcs宽度，f为步骤1中标定获取的摄像头焦距；

进一步地，在一种实现方式中，所述步骤5包括：

通过将转换到图像坐标系中的航迹点与图像检测到的目标点进行位置关联。设置多帧关联策略，并根据关联策略将图像目标的属性赋予雷达目标，生成融合目标。具体过程如下：

步骤5-1，毫米波雷达获取正式目标航迹后，采用步骤4中的转换方法，将航迹点位置及目标反射面宽度转换到图像坐标系下；

步骤5-2，在图像坐标系下，基于经验考量，设置以航迹点位置为中心，以转换后的目标反射面宽度为边长建立正方形，形成转换后的目标估计区域；

步骤5-3，将目标估计区域与步骤2得到的目标在图像中的位置区域进行匹配，计算交并比IoU(Intersection over Union，交并比)。当交并比大于阈值0.4或目标估计区域完全包含在图像目标区域中时，判定匹配成功；

当一个正式航迹在其生命周期中，有3帧以上与图像目标匹配成功，则判定其为真实目标，合并图像识别信息与毫米波雷达检测信息，并输出识别结果、目标位置、目标速度信息。

本发明居然如下有益效果：

(1)本方法能够将图像目标与毫米波雷达目标统一到同一坐标系下；

(2)本方法能够有效减少仅使用图像目标检测时产生的虚警；

(3)本方法能够有效减少仅使用毫米波雷达目标检测时产生的虚警；

(4)本方法能够对场景中的目标进行多维度的检测，获取其包含类别、位置、速度的融合信息。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明实施例部分提供的一种图像-毫米波雷达融合目标检测方法的工作流程示意图；

图2a是本发明实施例部分提供的一种图像-毫米波雷达融合目标检测方法中坐标转换的第一种情况：目标点在远点以内的情况下，高度方向与毫米波雷达天线法向水平投影方向关系示意图；

图2b是本发明实施例部分提供的一种图像-毫米波雷达融合目标检测方法中坐标转换的第一种情况：目标点在远点以外的情况下，高度方向与毫米波雷达天线法向水平投影方向关系示意图；

图2c是本发明实施例部分提供的一种图像-毫米波雷达融合目标检测方法中坐标转换的第一种情况：目标点在远点以内的情况下，毫米波雷达天线法向水平投影方向与毫米波雷达天线法向水平切向关系示意图；

图2d是本发明实施例部分提供的一种图像-毫米波雷达融合目标检测方法中坐标转换的第一种情况：目标点在远点以外的情况下，毫米波雷达天线法向水平投影方向与毫米波雷达天线法向水平切向关系示意图；

图3是本发明实施例部分提供的一种图像-毫米波雷达融合目标检测方法的检测结果示意图。

具体实施方式

本发明实施例公开一种图像-毫米波雷达融合目标检测方法，本方法应用于车路协同系统路侧环境感知。本方法可基于嵌入式平台运行，能够实现交通目标的精准检测，能够道路流量统计、路口状态分析提供技术支撑。

如图1所示，本实施例所述的一种图像-毫米波雷达融合目标检测方法，包括以下步骤：

步骤1：参数测量。标定摄像机内参，采用物理方式测量图像中心点与安装位置之间的距离以及安装高度。

步骤2：采用基于改进的YOLOv3-tiny网络进行目标检测与识别；

步骤3：通过点速度分析结合连续帧关联的方法，对点信息进行分析，形成目标航迹；

步骤4：坐标转换。利用参数测量结果进行计算，将毫米波雷达检测到的目标位置转换到图像坐标系下。同时，根据雷达散射截面积rcs信息估算目标转换到图像坐标系下的大小；

步骤5：目标融合。通过将转换到图像坐标系中的航迹点与图像检测到的目标点进行位置关联。设置多帧关联策略，并根据关联策略将图像目标的属性赋予雷达目标，生成融合目标。

本实施例所述的一种图像-毫米波雷达融合目标检测方法，所述步骤1包括：

本方法中，摄像机与毫米波雷达安装于同一位置，且摄像机镜头毫米波雷达天线法向一致。采用张正友标定法，获取摄像头内参，得到摄像头焦距f。摄像机及毫米波雷达安装位置H高度记为h；令O为原点，表示安装位置正下方点；令P为远点，表示摄像机镜头及毫米波雷达天线法向与水平地面交点。OP距离记为d。h和d均可通过测量获取。

本实施例所述的一种图像-毫米波雷达融合目标检测方法，所述步骤2包括：

采用基于改进的YOLOv3-tiny网络进行目标检测与识别。本方法在YOLOv3-tiny基础上进行网络结构改进，采用深度可分离卷积代替普通卷积，并采用k-means聚类方法优化训练模型对应的锚框尺度。

其中，锚框是以特征图上的点为基准，按一定尺度大小对目标真实位置进行预测所采用的方法框。优化过程如下：

步骤2-1，由大量实际拍摄的交通视频中截图，对交通目标进行标注，形成数据集。提取数据集中标注框数据，包含(x_j,y_j,w_j,h_j),j∈{1,2,…,N}，即真值相对于原图的坐标，其中(x_j,y_j)是第j个锚框中心点坐标，w_j,h_j分别表示第j个锚框的宽和高，N是所有标注框的个数；

步骤2-2，给定k＝6个聚类中心点，记作(W_i,H_i)，i∈{1,2,…,k}，W_i,H_i分别表示第k个聚类中心点的宽和高；由于锚框位置还不固定，因此暂时没有锚框中心点(x,y)坐标，只有宽和高(w,h)参数；

步骤2-3，计算每一个标注框和每一个聚类中心点的距离d＝1-IOU，其中IOU为交并比，计算时将标注框分配给最近的聚类中心，以聚类中心作为标注框的中心点计算IOU值，有：d＝1-IOU[(x_j,y_j,w_j,h_j),(x_j,y_j,W_i,H_i)],j∈{1,2,…,N},i∈{1,2,…,k}。其中N为标注框个数，k＝6；

步骤2-4，所有标注框分配完毕以后，对每个簇重新计算聚类中心点，计算方式为求簇中所有标记框的宽的平均值W′_i及高的平均值H′_i，有：

其中N_i为第i个簇的标注框个数；

步骤2-5，重复步骤2-3～步骤2-4，直至聚类中心无明显改变，即变化范围不大于网络输入图像尺寸中，长和宽较小值的0.01倍像素。例如输入图像为432*412时，变化范围不超过412*0.01≈4个像素时，认为聚类中心无明显改变。

步骤3包括：

通过结合点速度及前后帧关联的方法，对点进行筛选，形成目标航迹。航迹生成过程如下：

步骤3-1，筛选候选点：在首帧中，筛选运动速度在合理范围内的点作为候选点(例如，若是高速公路场景，则合理速度为70～200km/h，若是城市道路，则合理速度为20～100km/h)，并根据候选点位置及速度，预测其在后续帧中的位置，预测的具体过程为：根据瞬时位置，加上瞬时速度和两帧之间的时间的乘积，计算得到下一帧的位置；在后续帧中，如果候选点满足产生位移，且速度方向与位移方向相同，则进一步将其当前位置与预测位置比较，如果两者距离小于候选点瞬时速度数值的0.07倍，则判定两者位置接近，则该帧此候选点匹配成功1次，否则匹配失败；

步骤3-2，生成候选航迹：连续4帧以上持续观察已匹配成功过的候选点，如果在连续4帧中有3帧匹配失败，则丢弃该候选点；记候选点匹配成功次数为q1，已跟踪帧数为p1，当满足q1＞(p1*0.6+0.5)，则判定该候选点是候选航迹点；

步骤3-3，生成正式航迹：根据候选航迹点的瞬时位置与速度，预测其在后续帧中的位置；在后续帧中，如果候选航迹点满足速度方向与位移方向相同，且所在位置与预测位置接近，则该帧此候选航迹点匹配成功1次，否则失败；连续4帧以上持续观察候选航迹点，如果在连续4帧中3帧匹配失败，则放弃此候选航迹，如果持续匹配成功，则判定是正式航迹点。

步骤4包括：

将毫米波雷达检测到的目标位置转换到图像坐标系下。同时，根据雷达rcs信息估算目标转换到图像坐标系下的大小。毫米波雷达坐标系为二维坐标系，令Z方向为高度方向，Y方向为毫米波雷达天线法向水平投影方向，X方向为毫米波雷达天线法向水平切向；对应的，在图像坐标系下，令R_x为目标点在图像水平方向与中心的距离，令R_y为目标点在图像竖直方向与中心的距离，令R_d为目标rcs转换到图像坐标系下的宽度。令D为目标点，其位置由毫米波雷达测量，其中y为D距离O点距离的Y方向分量，为D距离O点距离的X方向分量，r为rcs宽度，f为步骤1中标定获取的摄像头焦距。分目标点在远点以内(即OD≤OP)和分目标点在远点以外(即OD＞OP)两种情况进行转换：

目标点在远点以内(即OD≤OP)：

如图2a、图2b所示，令OP与HP夹角为α_1，HP与HD夹角为β_1，HO与HD夹角为θ_1，有几何关系：

经推导，得转换关系：

目标点在远点以外(即OD＞OP)：

如图2c、图2d所示，令OD与HD夹角为α₂，HP与HD夹角为β₂，HO与HP夹角为θ₂，有几何关系：

经推导，得转换关系：

本实施例所述的一种图像-毫米波雷达融合目标检测方法，所述步骤5包括：

通过将转换到图像坐标系中的航迹点与图像检测到的目标点进行位置关联。设置多帧关联策略，并根据关联策略将图像目标的属性赋予雷达目标，生成融合目标。具体过程如下：

步骤5-1，毫米波雷达获取正式目标航迹后，采用步骤4中的转换方法，将航迹点位置及目标反射面宽度转换到图像坐标系下；

步骤5-2，在图像坐标系下，设置以航迹点位置为中心，以转换后的目标反射面宽度为边长建立正方形，形成转换后的目标估计区域；

步骤5-3，将目标估计区域与步骤2得到的目标在图像中的位置区域进行匹配，计算交并比IoU，当交并比大于阈值或目标估计区域完全包含在图像目标区域中时，判定匹配成功；

当一个正式航迹在其生命周期中，有3帧以上与图像目标匹配成功，则判定其为真实目标，合并图像识别信息与毫米波雷达检测信息，并输出识别结果、目标位置、目标速度信息。

在仿真试验中，将试验所需传感器设备在道路环境下，架高安装。视频采集分辨率为1920×1080像素，格式为avi。所用毫米波雷达频率为77GHz。采用本发明方法进行处理，交通目标检测正确率≥95％，视频处理帧率≥25fps。交通目标检测准确率与速度都很好。

仿真实验前，首先完成摄像机标定以及摄像机、毫米波雷达安装位置参数的测量。根据标定和测量的参数，计算图像与毫米波雷达坐标系转换关系。

在仿真试验中，采用基于改进的YOLOv3-tiny网络对实时采集的场景图像中的交通目标进行检测与识别；同时，通过点速度分析结合连续帧关联的方法，对毫米波雷达点信息进行分析；随后，根据坐标系转换关系，将毫米波雷达航迹点转换到图像坐标系中。最后，通过将转换到图像坐标系中的航迹点与图像检测到的目标点进行位置关联，实现两种传感器检测结果的融合。如图3所示为融合检测所得的交通目标显示。

由以上技术方案可知，本发明实施例提供一种图像-毫米波雷达融合目标检测方法，包括：步骤1：标定摄像机内参，并采用物理方式测量图像中心点与安装位置之间的距离以及安装高度；步骤2：采用基于改进的YOLOv3-tiny网络进行目标检测与识别；步骤3：通过点速度分析结合连续帧关联的方法，对点信息进行分析，形成目标航迹；步骤4：利用参数测量结果进行计算，将毫米波雷达检测到的目标位置转换到图像坐标系下，同时，根据雷达散射截面积rcs信息估算目标转换到图像坐标系下的大小；步骤5：通过将转换到图像坐标系中的航迹点与图像检测到的目标点进行位置关联，设置多帧关联策略，并根据关联策略将图像目标的属性赋予雷达目标，生成融合目标。

现有技术中，基于图像的目标检测方法，容易受到光照、天气等因素影响，且无法获取交通目标的准确运动信息；而基于毫米波雷达的目标检测方法能够全天时全天候持续获取交通目标的运动信息，但其无法获取交通目标的具体属性信息，也有一定的局限性。而采用前述方法，充分融合量两种传感器的有点，解决了现有技术中存在的易受到光照、天气等因素影响且无法获取交通目标的准确运动信息，或无法获取交通目标的具体属性信息的问题，达到了提升检测率，降低虚警率的目的，并能够丰富交通目标信息感知的维度，因此相对于现有技术，大大提升了交通目标的感知能力。

具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的一种图像-毫米波雷达融合目标检测方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本发明提供了一种图像毫米波雷达融合目标检测方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种图像毫米波雷达融合目标检测方法，其特征在于，包括以下步骤：

步骤1：参数测量：标定摄像机内参，采用物理方式测量图像中心点与安装位置之间的距离以及安装高度；

步骤2：采用基于改进的YOLOv3-tiny网络进行目标检测与识别，获取目标在图像中的位置区域；

步骤3：通过点速度分析结合连续帧关联的方法，对点信息进行分析，形成目标航迹；

步骤4：坐标转换：利用参数测量结果进行计算，将毫米波雷达检测到的目标位置转换到图像坐标系下，同时，根据雷达散射截面积rcs信息估算目标转换到图像坐标系下的大小；

步骤5：目标融合：通过将转换到图像坐标系中的航迹点与图像检测到的目标点进行位置关联，设置多帧关联策略，并根据关联策略将图像目标的属性赋予雷达目标，生成融合目标。

2.根据权利要求1所述的方法，其特征在于，步骤1包括：

摄像机与毫米波雷达安装于同一位置，且摄像机镜头毫米波雷达天线法向一致；采用张正友标定法，获取摄像头内参，得到摄像头焦距f；摄像机及毫米波雷达安装位置H高度记为h；令O为原点，表示安装位置正下方点；令P为远点，表示摄像机镜头及毫米波雷达天线法向与水平地面交点；OP距离记为d；h和d均通过测量获取。

3.根据权利要求2所述的方法，其特征在于，步骤2包括：

在YOLOv3-tiny基础上进行网络结构改进，采用深度可分离卷积代替普通卷积，并采用k-means聚类方法优化训练模型对应的锚框尺度；

其中，锚框是以特征图上的点为基准，按一定尺度大小对目标真实位置进行预测所采用的方法框，具体改进过程如下：

步骤2-1，提取数据集中标注框数据，包含(x_j，y_j，w_j，h_j)，j∈{1，2，...，N}，即真值相对于原图的坐标，其中(x_j，y_j)是第j个锚框中心点坐标，w_j，h_j分别表示第j个锚框的宽和高，N是所有标注框的个数；

步骤2-2，给定k＝6个聚类中心点，记作(W_i，H_i)，i∈{1，2，...，k}，W_i，H_i分别表示第k个聚类中心点的宽和高；

步骤2-3，计算每一个标注框和每一个聚类中心点的距离d＝1一IOU，其中IOU为交并比，计算时将标注框分配给最近的聚类中心，以聚类中心作为标注框的中心点计算IOU值，有：d＝1-IOU[(x_j，y_j，w_j，h_j)，(x_j，y_j，W_i，H_i)]，j∈{1，2，...，N}，i∈{1，2，...，k}，其中N为标注框个数，k＝6；

步骤2-4，所有标注框分配完毕以后，对每个簇重新计算聚类中心点，计算方式为求簇中所有标记框的宽的平均值W_i′及高的平均值H′_i，有：

其中N_i为第i个簇的标注框个数；

步骤2-5，重复步骤2-3～步骤2-4，直至聚类中心无明显改变，即变化范围不大于网络输入图像尺寸中，长和宽较小值的0.01倍像素。

4.根据权利要求3所述的方法，其特征在于，步骤3包括：

步骤3-1，筛选候选点：在首帧中，筛选运动速度在合理范围内的点作为候选点，并根据候选点位置及速度，预测其在后续帧中的位置，预测的具体过程为：根据瞬时位置，加上瞬时速度和两帧之间的时间的乘积，计算得到下一帧的位置；在后续帧中，如果候选点满足产生位移，且速度方向与位移方向相同，则进一步将其当前位置与预测位置比较，如果两者距离小于候选点瞬时速度数值的0.07倍，则判定两者位置接近，则该帧此候选点匹配成功1次，否则匹配失败；

步骤3-2，生成候选航迹：连续4帧以上持续观察已匹配成功过的候选点，如果在连续4帧中有3帧匹配失败，则丢弃该候选点；记候选点匹配成功次数为q1，已跟踪帧数为p1，当满足q1＞(p1*0.6+0.5)，则判定该候选点是候选航迹点；

步骤3-3，生成正式航迹：根据候选航迹点的瞬时位置与速度，预测其在后续帧中的位置；在后续帧中，如果候选航迹点满足速度方向与位移方向相同，且所在位置与预测位置接近，则该帧此候选航迹点匹配成功1次，否则失败；连续4帧以上持续观察候选航迹点，如果在连续4帧中3帧匹配失败，则放弃此候选航迹，如果持续匹配成功，则判定是正式航迹点。

5.根据权利要求4所述的方法，其特征在于，步骤4包括：

将毫米波雷达检测到的目标位置转换到图像坐标系下，同时，根据雷达散射截面积rcs信息估算目标转换到图像坐标系下的大小，毫米波雷达坐标系为二维坐标系，令Z方向为高度方向，Y方向为毫米波雷达天线法向水平投影方向，X方向为毫米波雷达天线法向水平切向；对应的，在图像坐标系下，令R_x为目标点在图像水平方向与中心的距离，令R_y为目标点在图像竖直方向与中心的距离，令R_d为目标的雷达散射截面积rcs转换到图像坐标系下的宽度；令D为目标点，其位置由毫米波雷达测量，其中y为D距离O点距离的Y方向分量，x为D距离O点距离的X方向分量，r为rcs宽度，f为步骤1中标定获取的摄像头焦距；

目标点在远点以内，即OD≤OP，有转换关系：

目标点在远点以外，即OD＞OP，有转换关系：

6.根据权利要求5所述的方法，其特征在于，步骤5包括：

步骤5-1，毫米波雷达获取正式目标航迹后，采用步骤4中的转换方法，将航迹点位置及目标反射面宽度转换到图像坐标系下；

步骤5-2，在图像坐标系下，设置以航迹点位置为中心，以转换后的目标反射面宽度为边长建立正方形，形成转换后的目标估计区域；

步骤5-3，将目标估计区域与步骤2得到的目标在图像中的位置区域进行匹配，计算交并比IoU，当交并比大于阈值或目标估计区域完全包含在图像目标区域中时，判定匹配成功；

当一个正式航迹在其生命周期中，有3帧以上与图像目标匹配成功，则判定其为真实目标，合并图像识别信息与毫米波雷达检测信息，并输出识别结果、目标位置、目标速度信息。

Images