CN109993769B - 一种深度学习ssd算法结合kcf算法的多目标跟踪系统 - Google Patents

Abstract

本发明公开了一种深度学习SSD算法结合KCF算法的多目标跟踪系统，包括以下步骤：步骤一：获取图像，传入用于目标识别的SSD深度学习模型；步骤二：SSD算法通过GPU加速进行目标识别，对识别结果做判断，过滤不合适的目标，再记录每个目标位置信息；步骤三：判断获取的图像是否是待跟踪图像序列中的第1帧图像；若是，则执步骤四，否则执行步骤五；步骤四：对SSD算法获取的新目标位置信息，每个目标都建立一个对象；由SSD检测确定目标跟踪的物体和位置，KCF算法进行跟踪，并记录目标移动轨迹，跟踪过程中，SSD算法同时进行优化校正，防止跟踪偏移，跟踪失败，跟踪目标错误，提升跟踪速度，直到目标消失，获取的目标轨迹，供业务层分析使用。

Description

一种深度学习SSD算法结合KCF算法的多目标跟踪系统

技术领域

本发明属于视频目标跟踪领域，涉及计算机技术，具体是一种深度学习SSD算法结合KCF算法的多目标跟踪系统。

背景技术

高性能的目标跟踪方法是计算机视觉领域的核心技术。经典目标跟踪方法中，当前的跟踪算法也可以分成生产式(generative model)和判别式(discriminantive model)两大类。生产式方法运用生成模型描述目标的表现特征，之后通过搜索候选目标来最小化重构误差(即寻找最佳匹配窗口)；生产式方法着眼于对目标本身的刻画，忽略背景信息，在目标自身变化剧烈或者被遮挡时容易产生漂移。判别式方法通过训练分类器来区分目标和背景(即从背景中区分目标)。

判别式方法因为显著区分背景和前景的信息，表现更为鲁棒，在目标跟踪领域占据主流地位。

跟踪算法经过多年的发展已有很好跟踪效果，但是受到光照、遮挡、尺度等因素变化的情况都有一定的概率会跟踪发生偏移，或者产生误跟踪的问题,目标跟踪出现问题无法修复。

发明内容

本发明的目的在于提供一种深度学习SSD算法结合KCF算法的多目标跟踪系统。

本发明的目的可以通过以下技术方案实现：

一种深度学习SSD算法结合KCF算法的多目标跟踪系统，包括以下步骤：

步骤一：获取图像，传入用于目标识别的SSD深度学习模型；

步骤二：SSD算法通过GPU加速进行目标识别，对识别结果做判断，过滤不合适的目标，再记录每个目标位置信息；

步骤三：判断获取的图像是否是待跟踪图像序列中的第1帧图像；若是，则执步骤四，否则执行步骤五；

步骤四：对SSD算法获取的新目标位置信息，每个目标都建立一个对象，进行初始化KCF跟踪算法运算，初始化链表，记录保存位置信息,此链表记录的位置信息，就是目标移动的轨迹信息,执行步骤八；

步骤五：通过获取的图像，多线程并行进行每个跟踪对象KCF跟踪运算，根据计算结果判断，若满足继续跟踪条件，则把新的位置信息添加对应的链表，否则，跟踪失败，释放此目标跟踪对象；

步骤六：将每个跟踪对象进行比对去判断，释放重复跟踪的对象；

步骤七：对SSD获取的新目标位置信息和KCF跟踪的每个对象的链表最新的位置信息进行对比判断，建立新的跟踪对象或者校正已有的跟踪对象；

步骤八：判断是否加载完所有的图像；若是，则执行步骤九，否则，执行步骤一；

步骤九:结束跟踪。

进一步地，所述步骤二的过滤不合适的目标，过滤的步骤如下：

S1：SSD算法检测的目标位置依次保存M向量；

S2：从M向量取出目标框，两两比对，比对的结果按照如下公式：ra1＝Rx/R1、ra2＝Rx/R2、p＝max(ra1,ra2)，R1是第一个目标框的面积，R2是第二个目标框的面积,Rx表示两个目标框重合的面积，若p大于0.3，ra1大于ra2，则丢弃R1，ra1小于ra2,则丢弃R2，若p小于0.3，则不会丢弃任何一个目标框，p＝0表示两目标框位置无重合；

S3：最终剩下的目标框，为所需跟踪的目标,完成目标框的过滤。

进一步地，所述步骤五中的多线程KCF算法跟踪运算,并行运算可以提高算法的速度，充分利用硬件资源，达到实时跟踪的必要手段，步骤如下：

SSS1：获取计算机的cpu核心数，开启和cpu核心数等数量的线程数，同时进行跟踪运算，线程运算完一个对象，及补充一个新对象,保存计算结果；

SSS2：把KCF算法分类器的响应峰值转换成概率值p；

SSS3：目标跟踪以下公式来判断是否跟踪失败，边缘概率小于中间概率d＝min(d_top,d_bot,d_left,d_right)d_top,d_bot,d_left,d_right分别为目标框到视频，顶边，底边，左边，右边框的距离，d是运算的最小距离，若d的数值大于10，则p小于0.3，跟踪失败，释放该对象，若小于10阈值概率随着d的减小变大，最高0.85。

进一步地，所述步骤五中释放重复跟踪的对象的具体步骤如下：

S1：计算每个对象之间位置的交并比IOU,IOU值定位为两个矩形框面积的交集和并集的比值；

S2：IOU值大于0.6，表示出现重复跟踪的问题，根据以下公式释放对象V＝Min(Yn,Ym),其中Yn表示一个对象目标框在视频上到视频底边的距离，同样Ym表示一个对象的目标框到视频底边的距离，V取计算的最小值，最小值对应的对象保留，另一个对象释放。

进一步地，所述步骤六中对SSD算法获取的新目标位置信息和KCF算法跟踪的每个对象的链表当前的位置信息进行对比判断，建立新的跟踪对象或者校正已有的跟踪对象,按照如下公式ra1＝Rx/R1，ra2＝Rx/R2p＝max(ra1,ra2)，R1是第一个目标框的面积，R2是第二个目标框的面积,Rx表示两个目标框重合的面积，若p大于0.7，ra1大于ra2，校正跟踪对象，若p小于0.7，则初始化跟踪此目标框。

进一步地，所述步骤六对SSD算法获取的新目标位置信息和KCF跟踪的每个对象的链表最新的位置信息进行对比判断，建立新的跟踪对象或者校正已有的跟踪对象,校正已有的跟踪对象，其步骤如下：

(1)：对校正框和跟踪对象目标框再次比对，公式如下：P＝Rx/(R1+R2)，若P大于0.9，表示不需要校正跟踪目标框,结束此对象操作，若P小于0.9，执行(2)；

(2)：对校正的目标框，建立一个新对象；

(3)：对需要被校正的对象，把已有的链表运动轨迹复制到新的跟踪对象，释放此对象，新对象初始化KCF跟踪算法运算,把当前轨迹添加到链表。

本发明的有益效果：

(1)本发明通过选取KCF跟踪算法，对每个跟踪目标建立一个对象，同时运用多线程技术，并行计算，达到多目标跟踪实时效果，并记录其运动轨迹，供智能分析，同时使用SSD深度学习技术，提供要跟踪的目标，并且修复KCF跟踪过程中可能出现的偏移，误跟踪问题。在多目标跟踪位置可能出现重合遮挡或者重复跟踪的情况，提供面积计算公式以及y轴前向优先选择的方法，过滤不合适的目标.在跟踪过程中，对是否跟踪失败使用动态概率阙值来更好的达到跟踪的鲁棒性。

(2)KCF跟踪算法是不变尺度的算法，当目标移动在视频里变大或者变小，KCF跟踪目标框不会随着目标大小变动，容易跟踪失败，一般的做法，是不同尺度的目标框多次运行KCF算法，选取最优结果，来达到可变尺度跟踪，但是这样会增加跟踪运算时间，本发明使用SSD来校正KCF跟踪，间接达到可变尺度的跟踪效果，并且没有增加计算成本，快速完成跟踪运算，同时有更高的准确性。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明的流程框图。

具体实施方式

如图1所示，一种深度学习SSD算法结合KCF算法的多目标跟踪系统，包括以下步骤：

步骤一：获取图像，传入用于目标识别的SSD深度学习模型；

步骤二：SSD算法通过GPU加速进行目标识别，对识别结果做判断，过滤不合适的目标，再记录每个目标位置信息；

步骤三：判断获取的图像是否是待跟踪图像序列中的第1帧图像；若是，则执步骤四，否则执行步骤五；

步骤四：对SSD算法获取的新目标位置信息，每个目标都建立一个对象，进行初始化KCF跟踪算法运算，初始化链表，记录保存位置信息,此链表记录的位置信息，就是目标移动的轨迹信息,执行步骤八；

步骤五：通过获取的图像，多线程并行进行每个跟踪对象KCF跟踪运算，根据计算结果判断，若满足继续跟踪条件，则把新的位置信息添加对应的链表，否则，跟踪失败，释放此目标跟踪对象；

步骤六：将每个跟踪对象进行比对去判断，释放重复跟踪的对象；

步骤七：对SSD获取的新目标位置信息和KCF跟踪的每个对象的链表最新的位置信息进行对比判断，建立新的跟踪对象或者校正已有的跟踪对象；

步骤八：判断是否加载完所有的图像；若是，则执行步骤九，否则，执行步骤一；

步骤九:结束跟踪。

所述步骤二的过滤不合适的目标，过滤的步骤如下：

S1：SSD算法检测的目标位置依次保存M向量；

S2：从M向量取出目标框，两两比对，比对的结果按照如下公式：ra1＝Rx/R1、ra2＝Rx/R2、p＝max(ra1,ra2)，R1是第一个目标框的面积，R2是第二个目标框的面积,Rx表示两个目标框重合的面积，若p大于0.3，ra1大于ra2，则丢弃R1，ra1小于ra2,则丢弃R2，若p小于0.3，则不会丢弃任何一个目标框，p＝0表示两目标框位置无重合；

S3：最终剩下的目标框，为所需跟踪的目标,完成目标框的过滤。

所述步骤五中的多线程KCF算法跟踪运算,并行运算可以提高算法的速度，充分利用硬件资源，达到实时跟踪的必要手段，步骤如下：

SSS1：获取计算机的cpu核心数，开启和cpu核心数等数量的线程数，同时进行跟踪运算，线程运算完一个对象，及补充一个新对象,保存计算结果；

SSS2：把KCF算法分类器的响应峰值转换成概率值p；

SSS3：目标跟踪以下公式来判断是否跟踪失败，边缘概率小于中间概率d＝min(d_top,d_bot,d_left,d_right)d_top,d_bot,d_left,d_right分别为目标框到视频，顶边，底边，左边，右边框的距离，d是运算的最小距离，若d的数值大于10，则p小于0.3，跟踪失败，释放该对象，若小于10阈值概率随着d的减小变大，最高0.85。

所述步骤五中释放重复跟踪的对象的具体步骤如下：

S1：计算每个对象之间位置的交并比IOU,IOU值定位为两个矩形框面积的交集和并集的比值；

S2：IOU值大于0.6，表示出现重复跟踪的问题，根据以下公式释放对象V＝Min(Yn,Ym),其中Yn表示一个对象目标框在视频上到视频底边的距离，同样Ym表示一个对象的目标框到视频底边的距离，V取计算的最小值，最小值对应的对象保留，另一个对象释放。

所述步骤六中对SSD算法获取的新目标位置信息和KCF算法跟踪的每个对象的链表当前的位置信息进行对比判断，建立新的跟踪对象或者校正已有的跟踪对象,按照如下公式ra1＝Rx/R1，ra2＝Rx/R2p＝max(ra1,ra2)，R1是第一个目标框的面积，R2是第二个目标框的面积,Rx表示两个目标框重合的面积，若p大于0.7，ra1大于ra2，校正跟踪对象，若p小于0.7，则初始化跟踪此目标框。

所述步骤六对SSD算法获取的新目标位置信息和KCF跟踪的每个对象的链表最新的位置信息进行对比判断，建立新的跟踪对象或者校正已有的跟踪对象,校正已有的跟踪对象，其步骤如下：

(1)：对校正框和跟踪对象目标框再次比对，公式如下：P＝Rx/(R1+R2)，若P大于0.9，表示不需要校正跟踪目标框,结束此对象操作，若P小于0.9，执行(2)；

(2)：对校正的目标框，建立一个新对象；

(3)：对需要被校正的对象，把已有的链表运动轨迹复制到新的跟踪对象，释放此对象，新对象初始化KCF跟踪算法运算,把当前轨迹添加到链表。

本发明在使用过程中会使用到的多目标跟踪系统是通过接收视频图像数据，使用深度学习SSD算法，检测获取要跟踪的目标位置信息及类别，同时对检测到的每个目标,使用kcf跟踪算法初始化目标，在后续视频数据运算跟踪轨迹，并保存轨迹。在跟踪过程中，通过IOU值，y轴优先来处理遮挡，最优选择问题，通过使用SSD目标检测的结果，用来校正目标跟踪框，及处理误跟踪和多重跟踪的问题，保证系统的稳定性。为达到实时跟踪的效果，检测和跟踪使用多线程并行运算，根据cpu核心数来选择建立的跟踪线程数,使多个目标同时进行跟踪运算，对kcf算法进行优化，使用hog特征来检测跟踪，缩小感兴趣区域，在跟踪过程设置外部校正导入目标框，实现可变尺度，减少运算成本。

首先本发明通过选取KCF跟踪算法，对每个跟踪目标建立一个对象，同时运用多线程技术，并行计算，达到多目标跟踪实时效果，并记录其运动轨迹，供智能分析，同时使用SSD深度学习技术，提供要跟踪的目标，并且修复KCF跟踪过程中可能出现的偏移，误跟踪问题。在多目标跟踪位置可能出现重合遮挡或者重复跟踪的情况，提供面积计算公式以及y轴前向优先选择的方法，过滤不合适的目标.在跟踪过程中，对是否跟踪失败使用动态概率阙值来更好的达到跟踪的鲁棒性。

其次KCF跟踪算法是不变尺度的算法，当目标移动在视频里变大或者变小，KCF跟踪目标框不会随着目标大小变动，容易跟踪失败，一般的做法，是不同尺度的目标框多次运行KCF算法，选取最优结果，来达到可变尺度跟踪，但是这样会增加跟踪运算时间，本发明使用SSD来校正KCF跟踪，间接达到可变尺度的跟踪效果，并且没有增加计算成本，快速完成跟踪运算，同时有更高的准确性。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (7)

1.一种深度学习SSD算法结合KCF算法的多目标跟踪系统，其特征在于，包括以下步骤：

步骤一：获取图像，传入用于目标识别的SSD深度学习模型；

步骤二：SSD算法通过GPU加速进行目标识别，对识别结果做判断，过滤不合适的目标，再记录每个目标位置信息；

步骤三：判断获取的图像是否是待跟踪图像序列中的第1帧图像；若是，则执步骤四，否则执行步骤五；

步骤四：对SSD算法获取的新目标位置信息，每个目标都建立一个对象，进行初始化KCF跟踪算法运算，初始化链表，记录保存位置信息,此链表记录的位置信息，就是目标移动的轨迹信息,执行步骤八；

步骤五：通过获取的图像，多线程并行进行每个跟踪对象KCF跟踪运算，根据计算结果判断，若满足继续跟踪条件，则把新的位置信息添加对应的链表，否则，跟踪失败，释放此目标跟踪对象；

步骤六：将每个跟踪对象进行比对去判断，释放重复跟踪的对象；

步骤七：对SSD获取的新目标位置信息和KCF跟踪的每个对象的链表最新的位置信息进行对比判断，建立新的跟踪对象或者校正已有的跟踪对象；

步骤八：判断是否加载完所有的图像；若是，则执行步骤九，否则，执行步骤一；

步骤九:结束跟踪。

2.根据权利要求1所述的一种深度学习SSD算法结合KCF算法的多目标跟踪系统，其特征在于，所述步骤二的过滤不合适的目标，过滤的步骤如下：

S1：SSD算法检测的目标位置依次保存M向量；

S2：从M向量取出目标框，两两比对，比对的结果按照如下公式：ra1＝Rx/R1、ra2＝Rx/R2、p＝max(ra1,ra2)，R1是第一个目标框的面积，R2是第二个目标框的面积,Rx表示两个目标框重合的面积，若p大于0.3，ra1大于ra2，则丢弃R1，ra1小于ra2,则丢弃R2，若p小于0.3，则不会丢弃任何一个目标框，p＝0表示两目标框位置无重合；

S3：最终剩下的目标框，为所需跟踪的目标,完成目标框的过滤。

3.根据权利要求1所述的一种深度学习SSD算法结合KCF算法的多目标跟踪系统，其特征在于，所述步骤四中的初始化KCF跟踪算法运算KCF跟踪算法本身需要优化，调好参数，才能达到符合使用需求的目的,对每个目标初始化跟踪，其具体步骤如下：

SS1:对传入的图像缩放到320x240，并进行归一化操作；

SS2:对图像选取感兴趣区域,区域范围为目标图像的1.5倍大小

SS3:KCF算法跟踪运算选取hog特征。

4.根据权利要求1所述的一种深度学习SSD算法结合KCF算法的多目标跟踪系统，其特征在于，所述步骤五中的多线程KCF算法跟踪运算,并行运算可以提高算法的速度，充分利用硬件资源，达到实时跟踪的必要手段，步骤如下：

SSS1：获取计算机的cpu核心数，开启和cpu核心数等数量的线程数，同时进行跟踪运算，线程运算完一个对象，及补充一个新对象,保存计算结果；

SSS2：把KCF算法分类器的响应峰值转换成概率值p；

SSS3：目标跟踪以下公式来判断是否跟踪失败，边缘概率小于中间概率d＝min(d_top,d_bot,d_left,d_right)d_top,d_bot,d_left,d_right分别为目标框到视频，顶边，底边，左边，右边框的距离，d是运算的最小距离，若d的数值大于10，则p小于0.3，跟踪失败，释放该对象，若小于10阈值概率随着d的减小变大，最高0.85。

5.根据权利要求1所述的一种深度学习SSD算法结合KCF算法的多目标跟踪系统，其特征在于，所述步骤五中释放重复跟踪的对象的具体步骤如下：

S1：计算每个对象之间位置的交并比IOU,IOU值定位为两个矩形框面积的交集和并集的比值；

S2：IOU值大于0.6，表示出现重复跟踪的问题，根据以下公式释放对象V＝Min(Yn,Ym),其中Yn表示一个对象目标框在视频上到视频底边的距离，同样Ym表示一个对象的目标框到视频底边的距离，V取计算的最小值，最小值对应的对象保留，另一个对象释放。

6.根据权利要求1所述的一种深度学习SSD算法结合KCF算法的多目标跟踪系统，其特征在于，所述步骤六中对SSD算法获取的新目标位置信息和KCF算法跟踪的每个对象的链表当前的位置信息进行对比判断，建立新的跟踪对象或者校正已有的跟踪对象,按照如下公式ra1＝Rx/R1，ra2＝Rx/R2p＝max(ra1,ra2)，R1是第一个目标框的面积，R2是第二个目标框的面积,Rx表示两个目标框重合的面积，若p大于0.7，ra1大于ra2，校正跟踪对象，若p小于0.7，则初始化跟踪此目标框。

7.根据权利要求1所述的一种深度学习SSD算法结合KCF算法的多目标跟踪系统，其特征在于，所述步骤六对SSD算法获取的新目标位置信息和KCF跟踪的每个对象的链表最新的位置信息进行对比判断，建立新的跟踪对象或者校正已有的跟踪对象,校正已有的跟踪对象，其步骤如下：

(1)：对校正框和跟踪对象目标框再次比对，公式如下：P＝Rx/(R1+R2)，若P大于0.9，表示不需要校正跟踪目标框,结束此对象操作，若P小于0.9，执行(2)；

(2)：对校正的目标框，建立一个新对象；

(3)：对需要被校正的对象，把已有的链表运动轨迹复制到新的跟踪对象，释放此对象，新对象初始化KCF跟踪算法运算,把当前轨迹添加到链表。

Images