CN112907634B - 基于无人机的车辆跟踪方法 - Google Patents

Abstract

本发明提供一种基于无人机的车辆跟踪方法，涉及车辆跟踪技术领域。本方法使用深度学习方式检测出视频中的车辆，对视频帧的图像中车辆信息进行提取；计算得到目标车辆所在图像位置，计算预测下一帧目标车辆所在区域。采用该区域检测得到的车辆图像与目标车辆进行相似度对比，采用感知哈希算法使用汉明距离进行相似度对比和直方图颜色特征值和局部直方图特征值使用巴氏距离公式进行相似度对比，最后采用合适权重对感知哈希、直方图颜色特征以及局部直方图特征相似度对比值进行打分，筛选出得分最高的为跟踪目标车辆。本发明能够合理准确的对无人机拍摄视频中的车辆进行跟踪，该发明的优点为减少成本、速度快、准确度高。

Description

基于无人机的车辆跟踪方法

技术领域

本发明涉及车辆跟踪技术领域，尤其涉及一种基于无人机的车辆跟踪方法。

背景技术

Yolo系类算法在视觉领域是比较流行的目标检测算法，它的创新点是将候选区域和对象识别这两个阶段融合一体，使算法的结构简单，提高目标检测速度。Yolov3算法是Yolo系类的第三个版本，它的优点采用了回归思想，输入端直接把整张图片放入网络，输出端输出回归预选框的类别和位置，使用一个神经网络就实现了端到端的目标检测。Yolov3的网络结构是借鉴了ResNet残差网络结构，它使用了多尺度特征进行目标检测、预测分类用多个Logistic loss取代了Softmax loss，可以将单标签分类改进为多标签分类。Yolo系列算法在生活、医疗和安全等方面越来越重要，它的优点是方便和计算速度快，成本较低等优点。优化Yolov3算法的中心思想是采用深度学习的方法，对无人机视角下的车辆图片进行采集，制作成数据集。使用该数据集训练出车辆模型。改进Yolov3算法的损失函数和融合卷积层和BN层，使用改进模型对车辆进行检测。使对车辆检测精度与速度提高。

车辆跟踪最早是利用激光雷达、地磁感应原理和人工干预等手段，进行周围车辆的跟踪。目前基于计算机视觉领域的车辆跟踪方法，首先是采用检测的车辆位置估算车辆接下来的行驶状态，或者采用建立模型来估算车辆接下来的位置，从而进行车辆的跟踪和预判。这样检测和跟踪的方式，大大降低了视频流中每帧车辆检测的耗时，避免了全局搜索。常用的目标生成式跟踪方法有卡尔曼滤波、粒子滤波、均值漂移跟踪等；常用的目标判别式跟踪方法有TLD、相关滤波的跟踪以及基于深度学习的跟踪方法。虽然，以上算法对车辆跟踪都具有一定的效果，但是，由于是基于无人机对车辆跟踪，车辆在视频中的形状和运动状态导致以上算法对车辆跟踪精度不高。

发明内容

针对现有技术存在的不足，本发明提出了一种基于无人机的车辆跟踪方法，针对现有的车辆跟踪算法在对无人机视角下，对车辆跟踪精度不高问题，提出了把Yolov3算法对车辆检测作为车辆跟踪的特征提取部分，融合到车辆跟踪，提高车辆跟踪的精确度。为解决上述技术问题，本发明所采取的技术方案是：

一种基于无人机的车辆跟踪方法，具体包括以下步骤：

步骤1：收集无人机视角下的车辆图像，制作数据集；

使用优化Yolov3算法对待测视频每帧中的车辆图像信息进行检测，得到视频帧中的所有车辆的图像信息制作数据集；

所述优化Yolov3算法中的损失函数Loss如下所示：

Loss＝T₁-T₃-T₄

式中：T₁表示为bounding box和真实目标的box的中心坐标误差；T₃表示为置信度误差；T₄表示为分类误差；

优化Yolov3算法中的卷积层和BN层如下所示：

式中，x_i为卷积层；w_i′为合并后权值参数；β’为偏置；Xc为合并后的计算结果；i为卷积层数；m为卷积层总数；

步骤2：视频中出现目标车辆时，对目标车辆进行手动标记，根据目标车辆所在当前帧位置，使用区域搜索方式对目标车辆的下一帧所在位置进行预测，计算预测得到下一帧目标车辆所在位置，如下所示；

Wo＝a'*Ws

Ho＝a'*Ws

其中，a'表示为扩大框的倍数，Ws表示为前一阵矩阵框的宽度，Ho和Wo表示下一帧搜索区域的宽度和高度；

步骤3：使用目标车辆图像信息与步骤2中预测的目标车辆出现的位置中的车辆信息进行图像相似度对比，确定目标车辆；

根据步骤2中预测下一帧的目标车辆出现位置中的所有车辆，与手动标记的目标车辆图像进行相似度对比，根据图像的颜色直方图相似度、纹理相似度以及感知哈希相似度，得到相应权重，并计算相似度评分S_i，相似度评分最高的车辆为目标车辆：

S_i＝aY(s(H_i,H₀))+bY(s(L_i,L₀))+cY(s(p_i+p₀))

式中：S_i为相似度评分；a为颜色直方图相似度权重系数；b为纹理相似度权重系数；c为感知哈希相似度权重系数；H_i和H₀为颜色直方图特征值；Y(s(H_i,H₀))表示为颜色直方图相似度的放大值；s(H_i,H₀)表示为颜色直方图相似度值；L_i和L₀为局部纹理特征值；Y(s(L_i,L₀))表示为局部纹理相似度的放大值；s(L_i,L₀)表示为局部纹理相似度相似度值；p_i和p₀为感知哈希值；Y(s(p_i,p₀))表示为感知哈希值相似度的放大值；s(H_i,H₀)表示为感知哈希相似度值。

采用上述技术方法所产生的有益效果在于：

本发明提供一种基于无人机的车辆跟踪方法，与现有的技术相比，能够在无人机对车辆进行跟踪时，对车辆跟踪精确度高，节约成本，能够在无人机在短暂时间丢失目标，后续目标车辆再出现时能够精准再次捕捉，进行跟踪。

本发明针对现有车辆跟踪算法，可能对无人机视角下的车辆车辆出现遮挡时跟踪精度不高和速度低的问题，使用深度学习的目标检测作为车辆检测器融合图像相似度对比，提出一种新的无人机对车辆跟踪方法。本方法在车辆出现遮挡时，精确度高，跟踪速度快。

附图说明

图1为本发明基于无人机对车辆跟踪方法流程图；

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

一种基于无人机对车辆跟踪方法，其流程图如图1所示，包括：

步骤1：收集无人机视角下的车辆图像，制作数据集；

使用优化Yolov3算法对待测视频每帧中的车辆图像信息进行检测，得到视频帧中的所有车辆的图像信息制作数据集；

所述优化Yolov3算法中的损失函数Loss如下所示：

Loss＝T₁-T₃-T₄

式中：T₁表示为bounding box和真实目标的box的中心坐标误差；T₃表示为置信度误差；T₄表示为分类误差；

优化Yolov3算法中的卷积层和BN层如下所示：

式中，x_i为卷积层；w_i′为合并后权值参数；β’为偏置；Xc为合并后的计算结果；i为卷积层数；m为卷积层总数；

步骤2：预测下一帧目标车辆出现的区域

在视频每帧中，目标车辆的位置变化不大，通过预测下一帧目标车辆的区域，对车辆进行初步筛选，提高了跟踪方法的精度和速度。根据目标车辆所在视频帧中的位置，根据目标车辆的前后帧位置位移变化小，使用区域搜索方式对目标车辆的下一帧所在位置进行预测。计算预测下一帧目标车辆所在位置：

Wo＝a'*Ws

Ho＝a'*Ws

Ws表示为前一阵矩阵框的宽度；Ho和Wo表示后一帧搜索区域的宽度和高度；a'为系数；

本实施例中由于前后帧中车辆出现的位移小，故设a'等于2。

步骤3：进行图像对比得到目标车辆；

基于无人机对车辆跟踪，车辆图像主要有颜色特征，局部纹理特征明显，采用颜色直方图值和局部纹理直方图以及感知哈希值的权重，共同对相似度进行打分。

根据步骤2区域检测提取出的车辆图像信息和目标车辆图像进行相似度对比，根据图像的颜色直方图、局部纹理以及哈希值的对比，得到合适权重，筛选得到相似度最高为目标车辆。

S_i＝aY(s(H_i,H₀))+bY(s(L_i,L₀))+cY(s(p_i+p₀))

式中：S_i为相似度打分；a为直方图相似度权重系数，本实施例中由于无人机对车辆进行跟踪所以颜色直方图值占比重最大，故a等于5；b为LBP相似度权重系数，本实施例中由于局部纹理特征值占比重也非常重要，故b等于3；c为感知哈希相似度权重系数，本实施例中由于哈希值在对无人机视角下的车辆图像影响因素小，故c等于2；H_i和H₀为HSV直方图特征值；L_i和L₀为局部纹理特征值；p_i和p₀为感知哈希值。

Claims (2)

1.一种基于无人机的车辆跟踪方法，其特征在于，包括以下步骤：

步骤1：收集无人机视角下的车辆图像，制作数据集；

使用优化Yolov3算法对待测视频每帧中的车辆图像信息进行检测，得到视频帧中的所有车辆的图像信息制作数据集；

所述优化Yolov3算法中的损失函数Loss如下所示：

Loss＝T₁-T₃-T₄

式中：T₁表示为bounding box和真实目标的box的中心坐标误差；T₃表示为置信度误差；T₄表示为分类误差；

优化Yolov3算法中的卷积层和BN层如下所示：

式中，x_i为卷积层；w_i′为合并后权值参数；β’为偏置；Xc为合并后的计算结果；i为卷积层数；m为卷积层总数；

步骤2：视频中出现目标车辆时，对目标车辆进行手动标记，根据目标车辆所在当前帧位置，使用区域搜索方式对目标车辆的下一帧所在位置进行预测，计算预测得到下一帧目标车辆所在位置，如下所示；

Wo＝a'*Ws

Ho＝a'*Ws

其中，a'表示为扩大框的倍数，Ws表示为前一阵矩阵框的宽度，Ho和Wo表示下一帧搜索区域的宽度和高度；

步骤3：使用目标车辆图像信息与步骤2中预测的目标车辆出现的位置中的车辆信息进行图像相似度对比，确定目标车辆。

2.根据权利要求1所述的一种基于无人机的车辆跟踪方法，其特征在于，步骤3中所述车辆信息对比，根据步骤2中预测下一帧的目标车辆出现位置中的所有车辆，与手动标记的目标车辆图像进行相似度对比，根据图像的颜色直方图相似度、纹理相似度以及感知哈希相似度，得到相应权重，并计算相似度评分S_i，相似度评分最高的车辆为目标车辆：

S_i＝aY(s(H_i,H₀))+bY(s(L_i,L₀))+cY(s(p_i+p₀))

式中：S_i为相似度评分；a为颜色直方图相似度权重系数；b为纹理相似度权重系数；c为感知哈希相似度权重系数；H_i和H₀为颜色直方图特征值；Y(s(H_i,H₀))表示为颜色直方图相似度的放大值；s(H_i,H₀)表示为颜色直方图相似度值；L_i和L₀为局部纹理特征值；Y(s(L_i,L₀))表示为局部纹理相似度的放大值；s(L_i,L₀)表示为局部纹理相似度相似度值；p_i和p₀为感知哈希值；Y(s(p_i,p₀))表示为感知哈希值相似度的放大值；s(H_i,H₀)表示为感知哈希相似度值。

Images