CN109871763A - 一种基于yolo的特定目标跟踪方法 - Google Patents

Abstract

本发明提出一种基于YOLO的特定目标跟踪方法，属于目标跟踪技术领域。该方法首先设定待跟踪的特定目标，利用摄像头实时拍摄视频并发送到计算机，并将特定目标的图像作为模板放入模板文件夹中；将视频中出现特定目标的第一帧图像作为第一帧图像，使用YOLO检测算法对每一帧图像进行目标检测，得到每一帧图像中特定目标所在物体类别对应的检测结果；利用Deepsort算法对检测结果进行修正，然后利用Surf算法对修正后的结果实现特定目标的跟踪。本方法能够实现对单一特定目标的持续跟踪，速度快，实时性好，很好的适用于环境的变化。

Description

一种基于YOLO的特定目标跟踪方法

技术领域

本发明涉及目标跟踪技术领域，具体涉及一种基于YOLO的特定目标跟踪方法。

背景技术

目前，随着计算机视觉技术的发展,基于视觉的运动目标检测与跟踪成为当前研究热点，在视频监控、虚拟现实、人机交互、行星探测、精确制导等诸多方面都有广泛的应用前景。

YOLO是一种基于深度学习神经网络构架的物体检测算法，该算法将输入的图像分为7乘7的网格，并以每个网格为中心预置5个默认框，算法的输出是在每个网格处预测以该5个默认框为基础的偏移，并同时预测对应的类别。5个预置的默认框是通过在大量物体检测数据集上进行聚类得到的5种具有代表性的框，因而能保证输出框的准确性与算法回归的收敛性。该方法可以消除由于视野场景发生变化带来的检测累积误差，即使背景十分复杂，还是可以识别目标物体。

现有的基于YOLO的目标跟踪方法大多无法实现对特定单一目标的跟踪，只能实现对同一类物体的跟踪，无法区分同一类物体中不同个体之间的区别，而且现有的基于YOLO的目标跟踪方法也不能解决目标被遮挡的情况。例如2018年南京理工大学朱晨阳等人提出的基于YOLO3的人脸自动跟踪摄像机器人系统研究，他们设计了一款自动跟踪摄像机器人并提出一种基于深度卷积神经网络YOLO3的可对主持人面部进行循环快速检测与跟踪的方法，但是该方法只能应用在出现单一人脸的情况下，不能分辨不同的人脸；2018年哈尔滨工程大学蔡成涛等人提出的基于改进YOLO算法的全景多目标实时检测研究，他们提出了基于改进YOLO算法的全景目标实时检测方法，但是该方法仍然无法区分不同的目标，而且在目标被遮挡时，跟踪精确度降低6个百分点。

然而不论在视频监控或精确制导等应用中，都只需要跟踪单一的目标，排除周围相似目标对跟踪造成的干扰，所以对特定单一目标的跟踪需求迫切。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种基于YOLO的特定目标跟踪方法。本方法能够实现对单一特定目标的持续跟踪，速度快，实时性好，很好的适用于环境的变化，可应用在移动硬件平台，例如无人机等。

本发明提出一种基于YOLO的特定目标跟踪方法，其特征在于，包括以下步骤：

(1)设定待跟踪的特定目标，利用摄像头实时拍摄视频并发送到计算机；

(2)将特定目标的图像作为模板存入模板文件夹中；

(3)将步骤(1)拍摄的视频中出现特定目标的第一帧图像作为第一帧图像，使用YOLO检测算法对从第一帧图像起的每一帧图像进行目标检测，得到每一帧图像中特定目标所在物体类别对应的检测结果；

其中，对第t帧图像进行目标检测得到特定目标所在物体类别对应的检测结果记为记为d_t，其中是第t帧图像中第u类物体中第i个物体的检测结果，第u类物体为特定目标所在物体类别；

(4)利用Deepsort算法对步骤(3)得到的结果进行修正；

对于第t帧图像，使用Deepsort算法通过结合前一帧图像的检测结果d_t-1对d_t进行修正，得到第t帧图像修正后的检测结果其中是第t帧图像中第u类物体中第i个物体修正后的检测结果；

(5)利用Surf算法对步骤(4)的结果进行特定目标跟踪；具体步骤如下：

(5-1)利用Surf算法将第t帧图像修正后的检测结果k_t中所有的检测结果分别与模版文件夹中的模版进行匹配，将获得匹配点最多的检测结果记为

(5-2)判断的匹配点的个数是否大于设定的匹配阈值Thres：如果大于等于Thres，则匹配成功，第t帧图像的特定目标跟踪完成，进入步骤(5-3)；如果小于Thres，则第t帧图像中没有特定目标，令t＝t+1,然后重新返回步骤(3)，进行下一帧图像的特定目标跟踪；

(5-3)将从第t帧图像中截取出来作为新的模板存入模版文件夹中，然后令t＝t+1,重新返回步骤(3)，进行下一帧图像的特定目标跟踪。

本发明的特点及有益效果在于

本发明提出一种基于YOLO的特定目标跟踪方法，该方法结合了深度学习物体检测算法YOLO、目标跟踪算法Deepsort并利用了图像匹配算法Surf。该方法首先使用YOLO算法训练出通用的物体检测模型，并在第一帧图像中确定所要跟踪的特定目标，然后在后续帧中通过检测和跟踪算法确定后续图像中所有同类的物体，再通过匹配算法确定其中的特定目标，从而完成对特定目标的跟踪。

该方法可以实现对特定单一目标的持续跟踪。该方法既不需要对跟踪的特定目标进行特殊的训练，可以节省人力和财力，也可以应对目标被遮挡或目标消失等干扰情况。与传统的目标跟踪算法相比，该方法速度快、实时性好，而且比传统物体检测方法准确，可以实现对监控目标的实时跟踪。

附图说明

图1是本发明实施例中使用YOLO检测算法在第一帧图像中检测出所有车辆目标的的检测结果图。

图2是本发明实施例中在图1中选择出要跟踪的特定目标的图像。

图3是本发明实施例中存入模版文件夹的模板图像。

图4是本发明实施例中使用YOLO检测算法在第t帧图像中检测出所有车辆目标的检测结果图。

图5是本发明实施例中使用Deepsort算法修正后的第t帧图像的检测结果图。

图6是本发明实施例中使用Surf函数匹配跟踪目标示意图。

具体实施方式

本发明提出一种基于YOLO的特定目标跟踪方法，下面结合附图和具体实施例，对本发明进一步详细说明如下。

本发明提出一种基于YOLO的特定目标跟踪方法，包括以下步骤：

(1)设定待跟踪的特定目标，利用摄像头实时拍摄视频并发送到计算机。摄像头和计算机可采用任意型号。

本发明的特定目标可根据具体要求确定，特定目标可为任意物体，本实施例使用的是汽车，其中待跟踪的特定目标是图1画面中车牌尾号为177的那辆汽车。

(2)将特定目标的图像作为模板放入模板文件夹中；本发明可采用如下两种方法：

第一种方法：将步骤(1)拍摄的视频中出现特定目标的第一帧图像作为第一帧图像，在第一帧图像中提取特定目标的图像作为模板存入模板文件夹中；具体步骤如下：

(2-1)使用YOLO检测算法对视频的第一帧图像进行检测，得到20类物体的对应的检测结果记为其中a,b,…,u分别代表YOLO检测算法中20种不同类别的物体，代表第一帧图像中第a类物体的不同个体，n_a代表第a类物体的个数(n_a≥0)，剩下的以此类推。

(2-2)在20类物体中，确定特定目标对应的物体类别，例如汽车。将第一帧图像中特定目标对应物体类别的检测结果记为d₁，即

d₁＝yolov3(frame0)

(2-3)在d₁中确定待跟踪的特定目标的图像(通过人工选择完成)，记为将从第一帧图像中截取出来存入模版文件夹。

m₁＝crop(d₁)

第二种方法：直接获取特定目标的图像记为放入模板文件夹中；特定目标图像获取的方式可为任意渠道；此时视频的第一帧图像仍为出现特定目标的第一帧图像；

本发明的一个实施例中待跟踪的特定目标是图1画面中车牌尾号为177的那辆汽车，其中画面中有行人、汽车、楼房等多类物体，YOLO检测算法均可识别，然而我们现在仅需要识别并跟踪车牌尾号为177的汽车，首先在YOLO检测算法中设置仅选择汽车类别，再结合Deepsort算法和Surf算法实现对特定汽车的跟踪。

本实施例中采用第一种初始化方法，即在将视频中出现特定目标(即车牌尾号为177的汽车)的第一帧图像作为第一帧图像，在第一帧图像中检测出所有车辆，如图1所示，其中实线框代表仅使用YOLO检测算法检测后得到的检测结果；在所有车辆检测结果中选择出要跟踪的特定目标并人工标注出来，如图2所示。图片来源：https://www.mpi- inf.mpg.de/departments/computer-vision-and-multimodal-computing/research/ people-detection-pose-estimation-and-tracking/multi-cue-onboard-pedestrian- detection/

最后，将特定目标的图像从图2中截取出来作为模板存入模版文件夹，得到的结果如图3所示。

(3)将步骤(1)拍摄的视频中出现特定目标的第一帧图像作为第一帧图像，使用YOLO检测算法对从第一帧图像起的每一帧图像进行目标检测，得到每一帧图像中特定目标所在物体类别对应的检测结果；

其中，对第t帧图像(t＝1，2，3，…)进行目标检测得到特定目标所在物体类别对应的检测结果记为记为d_t，如图4所示，其中实线框代表仅使用YOLO检测模型检测后得到的检测结果，检测到汽车类别中的所有个体检测结果，即

d_t＝yolov3(framet)

(4)利用Deepsort算法对步骤(3)得到的结果进行修正。

由于YOLO预置候选框数量和大小的限制，当一个网格中出现多个物体或者目标物体较小时，YOLO检测算法输出结果的准确性会受到一定程度的影响，而且单纯的检测算法会出现一定程度的丢帧问题，因此后面需要使用跟踪算法进行优化。具体方法如下：

对于第t帧图像，使用Deepsort算法通过结合前一帧图像的检测结果d_t-1对当前帧检测结果d_t进行修正与补充，得到第t帧图像修正后的检测结果其中是第t帧中第u类物体中第i个物体即特定目标所在物体类别经过YOLO检测算法检测和Deepsort算法修正后的检测结果。

本实施例对图4的检测结果经过修正后的结果如图5所示；图5中，实线方框为仅使用YOLO算法检测之后得到的检测结果，虚线方框为使用Deepsort算法修正后的跟踪结果，修正之后可以解决丢帧和问题，并且可以对检测结果的位置进行修正。

(5)利用Surf算法对步骤(4)的结果进行特定目标的跟踪。

不管是YOLO检测模型还是Deepsort算法，虽然可以实现通用物体跟踪，但都无法实现特定物体的选择，因此这里采用图像匹配的算法进行特定物体的筛选。其特征在于，Surf算法通过人工框出特定跟踪目标或者在第一帧时保证只出现特定跟踪目标进行检测获得特定跟踪目标的图像保存到文件夹中作为待匹配的对象，再在随后几帧中将跟踪出的框中的内容与文件夹中作为待匹配的对象进行匹配，选择匹配成功点最多的物体作为目标物体，则删除其余物体的框，保留目标物体的框，同时将该物体框中的图像剪裁出保存到待匹配的对象文件夹中更新原来的待匹配的对象。具体步骤如下：

(5-1)在Python中调用OpenCV库中的Surf函数将第t帧图像修正后的跟踪结果k_t中所有的检测结果与模版文件夹中m₁的模版使用Surf算法进行匹配，将获得匹配点最多的检测结果记为

本实施例匹配示意图如图6所示。图中，只有第二辆汽车与模板匹配成功，是我们跟踪的特定目标。

(5-2)判断的匹配点的个数是否大于设定的匹配阈值Thres(取值范围20-100)：如果大于等于Thres，则匹配成功，第t帧图像的特定目标跟踪完成，进入步骤(5-3)；如果小于Thres，则第t帧图像中没有特定目标，则令t＝t+1,然后重新返回步骤(3)，进行下一帧图像的特定目标跟踪。

本实施例中，Thres＝40

(5-3)将模版文件夹中的删除，将从第t帧图像中截取出来作为新的模板存入模版文件夹中，然后令t＝t+1,重新返回步骤(3)，进行下一帧图像的特定目标跟踪。

Claims (2)

1.一种基于YOLO的特定目标跟踪方法，其特征在于，包括以下步骤：

(1)设定待跟踪的特定目标，利用摄像头实时拍摄视频并发送到计算机；

(2)将特定目标的图像作为模板存入模板文件夹中；

(3)将步骤(1)拍摄的视频中出现特定目标的第一帧图像作为第一帧图像，使用YOLO检测算法对从第一帧图像起的每一帧图像进行目标检测，得到每一帧图像中特定目标所在物体类别对应的检测结果；

其中，对第t帧图像进行目标检测得到特定目标所在物体类别对应的检测结果记为记为d_t，其中是第t帧图像中第u类物体中第i个物体的检测结果，第u类物体为特定目标所在物体类别；

(4)利用Deepsort算法对步骤(3)得到的结果进行修正；

对于第t帧图像，使用Deepsort算法通过结合前一帧图像的检测结果d_t-1对d_t进行修正，得到第t帧图像修正后的检测结果其中是第t帧图像中第u类物体中第i个物体修正后的检测结果；

(5)利用Surf算法对步骤(4)的结果进行特定目标跟踪；具体步骤如下：

(5-1)利用Surf算法将第t帧图像修正后的检测结果k_t中所有的检测结果分别与模版文件夹中的模版进行匹配，将获得匹配点最多的检测结果记为

(5-2)判断的匹配点的个数是否大于设定的匹配阈值Thres：如果大于等于Thres，则匹配成功，第t帧图像的特定目标跟踪完成，进入步骤(5-3)；如果小于Thres，则第t帧图像中没有特定目标，令t＝t+1,然后重新返回步骤(3)，进行下一帧图像的特定目标跟踪；

(5-3)将从第t帧图像中截取出来作为新的模板存入模版文件夹中，然后令t＝t+1,重新返回步骤(3)，进行下一帧图像的特定目标跟踪。

2.如权利要求1所述的方法，其特征在于，所述步骤(2)具体方法如下：

(2-1)将步骤(1)拍摄的视频中出现特定目标的第一帧图像作为第一帧图像，使用YOLO检测算法对第一帧图像进行检测，得到20类物体的对应的检测结果记为其中a,b,…,u分别代表YOLO检测算法中20种不同类别的物体，代表第一帧图像中第a类物体的不同个体，n_a代表第a类物体的个数；

(2-2)确定特定目标对应的物体类别，将第一帧图像中特定目标对应物体类别的检测结果记为d₁，即

(2-3)在d₁中确定待跟踪的特定目标的图像，记为将从第一帧图像中截取出来作为模板存入模版文件夹。