CN111160212A - 一种基于YOLOv3-Tiny改进的跟踪学习检测系统及方法 - Google Patents

Abstract

本发明属于计算机视觉领域，尤其是涉及一种基于YOLOv3‑Tiny改进的跟踪学习检测系统及方法，该检测系统包括检测模块、在线学习模块、跟踪模块和决策模块，主要对系统进行如下改进：首先训练YOLOv3‑Tiny算法，完成对目标的检测算法；其次，在算法运行起始状态提供YOLOv3‑Tiny算法对于目标的检测结果，再次选定目标，完成跟踪模块和检测模块的初始化工作；然后程序进入循环运行状态，跟踪模块采用Median‑Flow追踪算法对目标进行追踪，追踪成功后通过Kalman滤波对下一帧目标位置进行预测，加快检测模块中TOLOv3‑Tiny识别速度，而后学习模块中存在了要跟踪的目标的特征，就将之学习为正样本，通过连续性判断对YOLOv3‑Tiny误判图像元以及周围仿射变化的图像元进行负样本选取，对检测模块分类器进行训练。

Description

一种基于YOLOv3-Tiny改进的跟踪学习检测系统及方法

技术领域

本发明属于计算机视觉跟踪领域，特别涉及一种基于YOLOv3-Tiny改进的跟踪学习检测系统及方法。

背景技术

跟踪学习检测算法(Tracking Learning Detection，简称TLD算法)是由英国萨里大学的博士研宄生Zdenek Kalal于2011年提出的一个较稳健的目标跟踪框架。

TLD算法作为针对单目标长时间的在线跟踪算法，已在计算机视觉跟踪领域广泛应用。然而传统的TLD算法在检测模块中通过扫描窗口的形式产生了大量扫描子窗口，之后通过级联的分类器进行检测所有子窗口是否包含目标,但是实际上只有少量的扫描窗口包含前景目标,检测全部的扫描窗口极大地浪费计算资源,降低了TLD跟踪的实时性能。

YOLOv3算法为深度学习算法，其充分地利用了回归的思想，直接在原始图像的多个位置上回归出目标位置边框以及目标类别，其网络设计策略延续了GoogleNet的核心思想，真正意义上实现了端到端的目标检测，有较高的检测精度和速度。YOLOv3-Tiny是根据YOLOv3缩减网络层而来，加快了其实时检测的速度，故实时性较高。

目前尚未有学者将深度学习算法特别是YOLOv3-Tiny应用到TLD算法中来，而在四旋翼无人机跟踪移动目标领域中，对于算法实时性的要求颇高，传统的TLD算法不能满足该实时性要求。

发明内容

本发明的第一个目的在于，针对上述存在的问题，提供一种基于YOLOv3-Tiny改进的跟踪学习检测系统。

为此，本发明的上述目的通过以下技术方案来实现：

一种基于YOLOv3-Tiny改进的跟踪学习检测系统，其特征在于：所述基于YOLOv3-Tiny改进的跟踪学习检测系统包括检测模块、在线学习模块、跟踪模块和决策模块；

所述跟踪模块通过Median-Flow追踪算法实现，其通过正反向连续性的性质定义的正反向误差最小化的标准，选取目标框中的一半的点作为其追踪点，以追踪点的坐标变化和距离变化来进行追踪；

所述检测模块包括YOLOv3-Tiny检测器和级联分类器，所述YOLOv3-Tiny检测器进行输入视频流的检测，输出目标框的位置，并交由级联分类器来区分，所述级联分类器包括方差分类器、集合分类器和最近邻分类器，所述方差分类器、集合分类器、最近邻分类器依次用于丢弃错误图像块，并最终通过筛选，得到检测模块的输出检测结果；

所述跟踪模块与检测模块同时工作，当跟踪模块跟踪失败而检测模块检测成功时，由检测模块的输出检测结果来重置跟踪模块；

所述决策模块针对于跟踪模块得到的跟踪结果和检测模块输出的检测结果进行相似度计算，输出最为相似的目标；

所述在线学习模块在视频的初始阶段，借由圈定的感兴趣目标框以及YOLOv3-Tiny检测器的输出结果，通过仿射策略输出正负样本，对检测模块中的级联分类器进行初始化；同时在线学习模块将跟踪模块的跟踪结果反馈给级联分类器，在线更新训练样本集，保证算法长时间跟踪的准确性。

本发明还有一个目的在于，针对上述存在的问题，提供一种基于YOLOv3-Tiny改进的跟踪学习检测方法。

为此，本发明的上述目的通过以下技术方案来实现：

一种基于YOLOv3-Tiny改进的跟踪学习检测方法，其特征在于，所述基于YOLOv3-Tiny改进的跟踪学习检测方法包括以下步骤：

步骤1：针对YOLOv3-Tiny算法进行训练，完成对要追踪目标的检测算法；

步骤2：在检测算法运行起始状态，清空目标框及其索引，得到视频流第一帧并提供YOLOv3-Tiny算法对于目标的检测结果，对感兴趣目标进行选定，完成跟踪模块和检测模块的初始化工作；

步骤3：跟踪模块采用Median-Flow追踪算法对目标进行追踪，设计追踪失败的检测机制，若追踪成功，则执行步骤5，若失败则执行步骤4；

步骤4：检测模块继续对全景进行扫描，通过YOLOv3-Tiny算法找出整个图像目标存在的位置，送往分类器进行识别；

步骤5：检测模块对目标进行Kalman滤波，预测位置执行YOLOv3-Tiny算法，框出感兴趣窗口，送往分类器进行识别；

步骤6：决策模块对于跟踪模块与检测模块输出的结果进行决策处理，判断当前帧是否有跟踪的目标存在：跟踪成功则以跟踪模块的跟踪结果为主；若跟踪失败则以检测模块输出的检测结果为主；如若全部失败，则返回步骤4继续对下一帧视频流扫描处理；

步骤7：在线学习模块采用P-N学习算法，对跟踪成功的目标，就将之学习为正样本，通过连续性判断对YOLOv3-Tiny误判图像元以及周围仿射变化的图像元进行负样本选取，加入到检测模块的训练样本中；

步骤8：循环执行步骤3到步骤7，直到算法跟踪目标结束。

在采用上述技术方案的同时，本发明还可以采用或者组合采用如下技术方案：

作为本发明的优选技术方案：所述步骤2包括下列步骤：

步骤2.1：通过YOLOv3-Tiny算法对目标进行扫描，输出与目标框重叠度最大的检测结果为正样本，其余为负样本，并以此来进行分类器训练和测试；

步骤2.2：计算目标框内的灰度图方差variance，并以0.5*variance作为方差分类器的阈值；

步骤2.3：对得到的正样本以及负样本进行仿射变化，取其周边n个偏移为1-2像素的等大的方框，对每个方框进行m次仿射变换，得到n×m个方框作为正样本；同理对于负样本进行相同操作亦得到n×m个方框作为负样本；

步骤2.4：将步骤2.1中的负样本以及方差大于0.5*variance的样本作为集合分类器的负样本，并且在其中随机挑选一部分作为最近邻分类器的负样本；

步骤2.5：对集合分类器以及最近邻分类器进行训练以及测试，修正错误。

作为本发明的优选技术方案：所述步骤3包括下列步骤：

步骤3.1：将运动目标从三维空间映射到二维平面上，由此可以计算像素的瞬间运动速度；

步骤3.2：通过使用Lucas-Kanade追踪器正向追踪这些点到下一帧，再反向追踪到当前帧，计算FB误差(forward-backward error,正反向误差)，筛选出FB误差最小的一半点作为最佳追踪点；

步骤3.3：根据这些最佳追踪点的坐标变化和距离的变化获得下一帧目标框的位置和大小。

本发明提供一种基于YOLOv3-Tiny改进的跟踪学习检测系统及方法，步骤3与步骤4-5是并行运行的，其中检测模块通过GPU进行窗口扫描，加速了检测模块产出结果的速度，通过将算法检测模块原始的CPU扫描窗口检测改变成用GPU运行的YOLOv3-Tiny检测，以此加快了算法的实时性；步骤7中在线学习模块的正负样本来源与传统跟踪学习检测算法有所区别，通过YOLOv3-Tiny产出的数个目标窗口，结合PN专家对于时域与空间的连续性进行判决窗口为正负样本；以YOLOv3-Tiny产生的正负样本集，正样本更加可靠，同时负样本对于所述算法的干扰更显著，使得训练样本集更加有针对性。本发明在步骤2中采用了YOLOv3-Tiny算法作为检测模块的检测器，其输出窗口更加可信，产出了更为可靠的训练样本集，提高了算法的鲁棒性；本发明利用YOLOv3-Tiny算法在GPU上运行，其余算法在CPU上运行，两者并行处理，提高了算法的运行效率，保证了实时性。

附图说明

图1为本发明的一种基于YOLOv3-Tiny改进的跟踪学习检测系统的框架图；

图2为本发明中检测模块的框架图；

图3为本发明中通过YOLOv3-Tiny与Kalman滤波改进的检测模块算法流程图；

图4为本发明的无人机检测目标示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

如图1所示，一种基于YOLOv3-Tiny改进的跟踪学习检测系统，其包括检测模块、在线学习模块、跟踪模块和决策模块；

跟踪模块通过Median-Flow追踪算法实现，其通过正反向连续性的性质定义的正反向误差最小化的标准，选取目标框中的一半的点作为其追踪点，以追踪点的坐标变化和距离变化来进行追踪；

检测模块包括YOLOv3-Tiny检测器和级联分类器，如图2所示，YOLOv3-Tiny检测器进行输入视频流的检测，输出目标框的位置，并交由级联分类器来区分，级联分类器包括方差分类器、集合分类器和最近邻分类器，方差分类器、集合分类器、最近邻分类器依次用于丢弃错误图像块，并最终通过筛选，得到检测模块的输出检测结果；

跟踪模块与检测模块同时工作，当跟踪模块跟踪失败而检测模块检测成功时，由检测模块的输出检测结果来重置跟踪模块；

决策模块针对于跟踪模块得到的跟踪结果和检测模块输出的检测结果进行相似度计算，输出最为相似的目标；

在线学习模块在视频的初始阶段，借由圈定的感兴趣目标框以及YOLOv3-Tiny检测器的输出结果，通过仿射策略输出正负样本，对检测模块中的级联分类器进行初始化；同时在线学习模块将跟踪模块的跟踪结果进行反馈给级联分类器，在线更新训练样本集，保证算法长时间跟踪的准确性。

上述基于YOLOv3-Tiny改进的跟踪学习检测系统通过如下方法实现：具体包括以下步骤

步骤1：针对要识别的目标提前训练YOLOv3-Tiny算法，得到算法权重以及网络信息。

步骤2：在检测算法运行起始状态，清空目标框及其索引，得到视频第一帧并提供YOLOv3-Tiny算法对于目标的检测结果以及圈定要跟踪的目标框，进行算法初始化，此时假定选择图4中1号目标车辆为跟踪目标；步骤2具体包括下列步骤：

步骤2.1：通过YOLOv3-Tiny算法对目标进行扫描，输出与目标框重叠度最大的检测结果为正样本，如图4中1号目标车辆，其余为负样本例如图4中2号车辆与三号车辆，并以此来进行分类器训练和测试；

步骤2.2：计算目标框内的灰度图方差variance，设为3085.3090,并以1542.6545(0.5*variance)作为方差分类器的阈值；

步骤2.3：对得到的正样本以及负样本进行仿射变化，取其周边10个偏移为1-2像素的等大的方框，对每个方框进行20次仿射变换，得到200个方框作为正样本。同理对于负样本进行相同操作亦得到200个方框作为负样本。

步骤2.4：将步骤2.1中的负样本以及方差大于1542.6545(0.5*variance)的样本作为集合分类器的负样本，并且在其中随机挑选一部分作为最近邻分类器的负样本。

步骤2.5：对集合分类器以及最近邻分类器进行训练以及测试，修正错误。

步骤3：跟踪模块采用Median-Flow追踪算法对目标进行追踪，设计追踪失败的检测机制，若追踪成功，则执行步骤5，若失败则执行步骤4；

步骤3具体包括下列步骤：

步骤3.1：将运动目标从三维空间映射到二维平面上，由此可以计算像素的瞬间运动速度；

步骤3.2：通过使用Lucas-Kanade追踪器正向追踪这些点到下一帧，再反向追踪到当前帧，计算FB误差(forward-backward error,正反向误差)，筛选出FB误差最小的一半点作为最佳追踪点；

步骤3.3：根据这些最佳追踪点的坐标变化和距离的变化获得下一帧目标框的位置和大小。

步骤4和步骤5如图3所示：

(1)首先在追踪成功时检测模块进行Kalman滤波并在预测位置进行区域检测，在追踪失败则进行全景扫描；

(2)计算对获得的图像框灰度值方差与初始目标框的灰度值方差variance进行比较，图4中目标框方差为3085.3090，将所有大于1542.6545(0.5*variance)的图像块取出，未被取出的图像块进入集合分类器；方差的计算公式为：

其中，u_j表示在图像中j位置处的像素值，N表示整个图像块的像素个数，

表示整个图像块像素的平均值，例如图4中目标框其

为75.6967，

的计算公式如下：

(3)集合分类器包括若干个独立的基本分类器，每个基本分类器对图像块中的多个像素进行比较后得到一个二进制码x，对应一个后验概率分布，对基本分类器的后验概率分布进行平均化处理，当平均后验概率分布大于某个阈值时，集合分类器认为该图像块可能是目标区域，进入最近邻分类器；其中，每个基本分类器i的后验概率分布表示为：

其中，P和N分表表示为训练过程中二进制码x所对应的正负样本，number为取其数目。

(4)最近邻分类器是通过对通过集合分类器的图像块和训练样本相对的相似度来进行分类的，例如阈值为Y，则认为大于Y的为正样本，否则为背景；如果通过集合分类器的所有图像都判定为背景则表示检测失败。相似度计算公式如下所示：

式中，S(p_i,p_j)为图像元p_i与p_j的相似度，N(p_i,p_j)表示其规范化的相关系数，故S(p_i,p_j)的取值范围则在0到1之间。

正负近邻相似度分别可用如下表示：

其相对相似度S^r∈[0,1]，与相似度成正比，可通过式(7)计算。

步骤6：决策模块对于跟踪模块与检测模块输出的结果进行决策处理，判断当前帧是否有跟踪的目标存在：跟踪成功则以跟踪模块结果为主；若跟踪失败则以检测模块结果为主；如若全部失败，则返回步骤4继续对下一帧视频流扫描处理；

步骤7：学习模块采用P-N学习算法，对跟踪成功的目标，就将之学习为正样本，通过连续性判断对YOLOv3-Tiny误判图像元以及周围仿射变化的图像元进行负样本选取，加入到检测模块的训练样本中；

步骤8：循环执行步骤3到步骤7，直到算法跟踪目标结束，例如无人机跟踪移动目标到其正上方开始准备着陆为算法停止条件。

上述具体实施方式用来解释说明本发明，仅为本发明的优选实施例而已，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改、等同替换、改进等，都落入本发明的保护范围。

Claims (4)

1.一种基于YOLOv3-Tiny改进的跟踪学习检测系统，其特征在于：所述基于YOLOv3-Tiny改进的跟踪学习检测系统包括检测模块、在线学习模块、跟踪模块和决策模块；

所述跟踪模块通过Median-Flow追踪算法实现，其通过正反向连续性的性质定义的正反向误差最小化的标准，选取目标框中的一半的点作为其追踪点，以追踪点的坐标变化和距离变化来进行追踪；

所述检测模块包括YOLOv3-Tiny检测器和级联分类器，所述YOLOv3-Tiny检测器进行输入视频流的检测，输出目标框的位置，并交由级联分类器来区分，所述级联分类器包括方差分类器、集合分类器和最近邻分类器，所述方差分类器、集合分类器、最近邻分类器依次用于丢弃错误图像块，并最终通过筛选，得到检测模块的输出检测结果；

所述跟踪模块与检测模块同时工作，当跟踪模块跟踪失败而检测模块检测成功时，由检测模块的输出检测结果来重置跟踪模块；

所述决策模块针对于跟踪模块得到的跟踪结果和检测模块输出的检测结果进行相似度计算，输出最为相似的目标；

所述在线学习模块在视频的初始阶段，借由圈定的感兴趣目标框以及YOLOv3-Tiny检测器的输出结果，通过仿射策略输出正负样本，对检测模块中的级联分类器进行初始化；同时在线学习模块将跟踪模块的跟踪结果反馈给级联分类器，在线更新训练样本集，保证算法长时间跟踪的准确性。

2.一种基于YOLOv3-Tiny改进的跟踪学习检测方法，其特征在于，所述基于YOLOv3-Tiny改进的跟踪学习检测方法包括以下步骤：

步骤1：针对YOLOv3-Tiny算法进行训练，完成对要追踪目标的检测算法；

步骤2：在检测算法运行起始状态，清空目标框及其索引，得到视频流第一帧并提供YOLOv3-Tiny算法对于目标的检测结果，对感兴趣目标进行选定，完成跟踪模块和检测模块的初始化工作；

步骤3：跟踪模块采用Median-Flow追踪算法对目标进行追踪，设计追踪失败的检测机制，若追踪成功，则执行步骤5，若失败则执行步骤4；

步骤4：检测模块继续对全景进行扫描，通过YOLOv3-Tiny算法找出整个图像目标存在的位置，送往分类器进行识别；

步骤5：检测模块对目标进行Kalman滤波，预测位置执行YOLOv3-Tiny算法，框出感兴趣窗口，送往分类器进行识别；

步骤6： 决策模块对于跟踪模块与检测模块输出的结果进行决策处理，判断当前帧是否有跟踪的目标存在：跟踪成功则以跟踪模块的跟踪结果为主；若跟踪失败则以检测模块输出的检测结果为主；如若全部失败，则返回步骤4继续对下一帧视频流扫描处理；

步骤7：在线学习模块采用P-N学习算法，对跟踪成功的目标，就将之学习为正样本，通过连续性判断对YOLOv3-Tiny误判图像元以及周围仿射变化的图像元进行负样本选取，加入到检测模块的训练样本中；

步骤8：循环执行步骤3到步骤7，直到算法跟踪目标结束。

3.根据权力要求2所述的基于YOLOv3-Tiny改进的跟踪学习检测方法，其特征在于：所述步骤2包括下列步骤：

步骤2.1：通过YOLOv3-Tiny算法对目标进行扫描，输出与目标框重叠度最大的检测结果为正样本，其余为负样本，并以此来进行分类器训练和测试；

步骤2.2：计算目标框内的灰度图方差variance，并以0.5*variance作为方差分类器的阈值；

步骤2.3：对得到的正样本以及负样本进行仿射变化，取其周边n个偏移为1-2像素的等大的方框，对每个方框进行m次仿射变换，得到n×m个方框作为正样本；同理对于负样本进行相同操作亦得到n×m个方框作为负样本；

步骤2.4：将步骤2.1中的负样本以及方差大于0.5*variance的样本作为集合分类器的负样本，并且在其中随机挑选一部分作为最近邻分类器的负样本；

步骤2.5：对集合分类器以及最近邻分类器进行训练以及测试，修正错误。

4.根据权力要求2所述的基于YOLOv3-Tiny改进的跟踪学习检测方法，其特征在于：所述步骤3包括下列步骤：

步骤3.1：将运动目标从三维空间映射到二维平面上，由此可以计算像素的瞬间运动速度；

步骤3.2：通过使用Lucas-Kanade追踪器正向追踪这些点到下一帧，再反向追踪到当前帧，计算FB误差，筛选出FB误差最小的一半点作为最佳追踪点；

步骤3.3：根据这些最佳追踪点的坐标变化和距离的变化获得下一帧目标框的位置和大小。

Images