CN109712171B - 一种基于相关滤波器的目标跟踪系统及目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于相关滤波器的目标跟踪系统，包括获取单元，用于获取视频并输出；视频拆分单元，用于将视频分解为一视频帧序列；跟踪识别单元，用于跟踪识别视频帧序列中的各帧图片上的目标对应的图像特征，并用于跟踪识别目标在对应的图片上的所处位置信息；响应率计算单元，用于基于目标在前后两帧图片上先后对应的第一图像特征和第二图像特征，计算对目标的跟踪响应率；交叠率计算单元，用于基于目标在前后两帧图片上先后对应的第一所处位置信息和第二所处位置信息，计算目标在前后两帧图片上的所处位置交叠率；判断单元，用于根据跟踪响应率，和/或交叠率，判断对目标的跟踪是否有效，本发明提高了对目标的识别准确度和跟踪效率。

Description

一种基于相关滤波器的目标跟踪系统及目标跟踪方法

技术领域

本发明涉及物体跟踪识别技术领域，尤其涉及一种基于相关滤波器的目标跟踪系统及目标跟踪方法。

背景技术

根据目标的跟踪方式，目标跟踪方法一般可以分为生成类方法和判别类方法。所谓的生成类方法是在当前帧对目标区域建模，在下一帧寻找与模型最相似的区域作为预测位置的目标跟踪方法，现有技术中的生成类方法有如卡尔曼滤波、粒子滤波等方法。由于判别类方法相比较生成类方法而言具备更高的目标跟踪准确率和跟踪效率，所以目前流行使用判别类方法对目标进行跟踪检测。所谓的判别类方法为，在当前帧以目标区域为正样本，背景区域为负样本用来训练分类器，对下一帧图片用训练好的分类器搜寻最优区域的方法。目前，经典的判别类方法有Struck(Structured Output Tracking with Kernels)等目标跟踪方法。

相关滤波类目标跟踪方法如KCF、DSST等方法同属于判别类方法，如今，相关滤波类目标跟踪方法由于其具备更高的目标跟踪速度和跟踪准确度，在相关技术领域得到了广泛应用。但无论是生成类方法还是判别类方法，都无法确保对同一视频中的目标的有效跟踪，特殊情况下，容易出现对目标的跟踪失败，而一旦跟踪失败，整个目标识别跟踪过程终止，所以需要一种创新的目标跟踪识别方法，以进一步提高对目标的识别准确率和跟踪速度。

发明内容

鉴于上述存在的技术问题，本发明提供一种基于相关滤波器的目标跟踪系统及目标跟踪方法，以解决上述技术问题。

本发明解决其技术问题采取的技术方案是，提供一种基于相关滤波器的目标跟踪系统，包括：

获取单元，用于获取视频并输出；

视频拆分单元，连接所述获取单元，用于将所述视频分解为一视频帧序列并输出；

跟踪识别单元，连接所述视频拆分单元，用于根据预设的目标跟踪识别算法依序跟踪识别所述视频帧序列中的各帧图片上的目标对应的图像特征并输出，并用于跟踪识别所述目标在对应的所述图片上的所处位置信息并输出；

响应率计算单元，连接所述跟踪识别单元，用于基于所述目标在当前帧图片上对应的第一图像特征和所述目标在所述当前帧图片的后一帧图片上对应的第二图像特征，计算得到对所述目标的跟踪响应率并存储；

交叠率计算单元，连接所述跟踪识别单元，用于基于所述目标在所述当前帧图片上对应的第一所处位置信息和所述目标在所述后一帧图片上对应的第二所处位置信息，计算得到所述目标在所述当前帧图片和所述后一帧图片前后两帧图片上的所处位置的交叠率并存储；

判断单元，分别连接所述响应率计算单元和所述交叠率计算单元，用于根据所述跟踪响应率，和/或所述交叠率，判断对所述目标的跟踪是否有效。

作为本发明的一种优选方案，所述目标跟踪识别算法包括Staple互补学习识别跟踪算法。

本发明还提供一种基于相关滤波器的目标跟踪方法，通过目标跟踪系统实现，具体包括如下步骤：

步骤S1，基于所述目标在所述当前帧图片上对应的所述第一图像特征和所述目标在所述后一帧图片上对应的所述第二图像特征，计算得到对所述目标的所述跟踪响应率；

步骤S2，基于所述目标在所述当前帧图片上对应所处的所述第一所处位置信息和所述目标在所述后一帧图片上对应所处的所述第二所处位置信息，计算得到所述目标在前后两帧图片上的所处位置的交叠率；

步骤S3，根据所述跟踪响应率，和/或所述交叠率，判断对所述目标的跟踪是否有效；

若跟踪有效，则进入步骤S4；

若跟踪失败，则返回所述步骤S1，重新对所述当前帧图片进行目标跟踪识别。

作为本发明的一种优选方案，所述目标跟踪方法，还包括：

步骤S4，以所述后一帧图片作为当前帧图片，并返回所述步骤S1，继续对下一帧图片进行目标跟踪识别，直至依序完成对所述视频帧序列中的每帧图片的目标跟踪识别。

作为本发明的一种优选方案，所述目标跟踪系统通过一识别模型对所述目标进行识别跟踪，所述识别模型的构建过程包括如下步骤：

步骤S21，预先将关联于所述目标的多个所述图像特征作为第一训练样本输入到一相关滤波器中，所述相关滤波器基于所述第一训练样本形成所述识别模型；

步骤S22，所述目标跟踪系统通过所述识别模型识别所述当前帧图片中的所述目标对应的所述第一图像特征，并将识别到的所述第一图像特征作为第二训练样本重新输入到所述相关滤波器中，所述相关滤波器基于所述第二训练样本重新训练以更新所述识别模型；所述目标跟踪系统通过更新后的所述识别模型对所述后一帧图片进行目标识别跟踪，得到对应所述目标的所述第二图像特征。

作为本发明的一种优选方案，所述步骤S3中判断对所述目标的跟踪是否有效的方法包括第一判断方法，所述第一判断方法为：

当所述目标在所述后一帧图片上的第二跟踪响应率大于或等于一第一阈值，且所述目标在所述后一帧图片上的所述第二跟踪响应率相较在所述当前帧图片上的第一跟踪响应率的差值绝对值小于或等于一第二阈值时，表明对所述目标的跟踪有效；

否则，则表明对所述目标的跟踪失败。

作为本发明的一种优选方案，所述第一阈值为0.5。

作为本发明的一种优选方案，所述第二阈值为0.15。

作为本发明的一种优选方案，所述步骤S3中判断对所述目标的跟踪是否有效的方法包括第二判断方法，所述第二判断方法为：

当所述目标在所述当前帧图片和所述后一帧图片两帧图片上的所处位置的所述交叠率大于或等于一第三阈值时，则表明对所述目标的跟踪有效；

否则，则表明对所述目标跟踪失败。

作为本发明的一种优选方案，所述第三阈值为0.3。

与现有技术相比，本发明的有益效果是：

1、可基于对目标的跟踪响应率，来判断对所述目标的跟踪情况，提高了对目标的识别准确率。

2、可基于目标在前后两帧图片中的所处位置的区域面积的交叠率，判断对目标的跟踪情况，扩展了对目标跟踪情况的判断方式，有利于提高对目标追踪的准确度。

3、本发明采用一深度学习的识别模型对每帧图片上的目标进行图像特征识别，提高了对目标的识别准确率和识别速度。

4、在当前帧图片中对目标追踪失败时，本发明可对前一帧图片中的目标进行再次自动识别，然后继续整个追踪流程，确保了整个目标追踪过程的连续性。

附图说明

图1是本发明实施例提供的目标跟踪系统的结构示意图；

图2是应用本发明实施例提供的目标跟踪系统实现目标跟踪方法的方法步骤图；

图3是本发明实施例提供的目标跟踪方法中的识别模型构建的方法步骤图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

实施例一：

请参照图1，本发明实施例一提供的基于相关滤波器的目标跟踪系统，包括：

获取单元1，用于获取视频采集设备采集的视频并输出；

视频拆分单元2，连接获取单元1，用于将视频分解为视频帧序列并输出；

跟踪识别单元3，连接视频拆分单元2，跟踪识别单元3中预设有目标跟踪识别算法，用于识别视频帧序列中的各帧图片上的目标对应的图像特征并输出；并用于跟踪识别目标在对应的图片上的所处位置信息并输出；

响应率计算单元4，连接跟踪识别单元3，用于基于目标在当前帧图片上对应的第一图像特征和目标在后一帧图片上对应的第二图像特征，计算得到对目标的跟踪响应率并存储；

交叠率计算单元5，连接跟踪识别单元3，用于基于目标在当前帧图片上对应所处的第一所处位置信息和目标在后一帧图片上对应所处的第二所处位置信息，计算得到目前在当前帧图片和后一帧图片两帧图片上的所处位置的交叠率并存储；

判断单元6，分别连接响应率计算单元4和交叠率计算单元5，用于根据跟踪响应率，和/或交叠率，判断对目标的跟踪是否有效。

上述技术方案中，目标跟踪识别算法包括但不限于现有技术中的Staple互补学习识别跟踪算法、Faster RCNN检测算法、RefineDet检测算法和YOLO(You Only Look Once)检测算法。

本发明实施例一还提供一种基于相关滤波器的目标跟踪方法，通过上述的目标跟踪系统实现，请参照图2，具体包括如下步骤：

步骤S1，基于所述目标在所述当前帧图片上对应的所述第一图像特征和所述目标在所述后一帧图片上对应的所述第二图像特征，计算得到对所述目标的所述跟踪响应率；

步骤S2，基于所述目标在所述当前帧图片上对应所处的所述第一所处位置信息和所述目标在所述后一帧图片上对应所处的所述第二所处位置信息，计算得到所述目标在前后两帧图片上的所处位置的交叠率；

步骤S3，根据所述跟踪响应率，和/或所述交叠率，判断对所述目标的跟踪是否有效；

若跟踪有效，则进入步骤S4；

若跟踪失败，则返回所述步骤S1，重新对所述当前帧图片进行目标跟踪识别。

上述的目标跟踪方法，可根据跟踪响应率，和/或交叠率，来判断对目标的跟踪是否有效，两种判断方法相互补充，有利于提高对目标的识别跟踪准确度和跟踪效率。

为了进一步提高对目标的识别准确度，所述目标跟踪系统通过一识别模型对目标进行识别跟踪，请参照图3，识别模型的构建过程包括如下步骤：

步骤S21，预先将关联于目标的多个图像特征作为第一训练样本输入到一相关滤波器中，相关滤波器基于第一训练样本训练形成识别模型；

步骤S22，目标跟踪系统通过识别模型识别当前帧图片中的目标对应的第一图像特征，并将识别到的第一图像特征作为第二训练样本重新输入到相关滤波器中，相关滤波器重新训练以更新识别模型；目标跟踪系统通过更新后的识别模型对后一帧图片进行目标识别跟踪，得到对应目标的第二图像特征。

这里需要说明的是，相关滤波器实为一相关滤波器算法，相关滤波器算法为现有技术中存在的一种目标跟踪算法。由于相关滤波器算法为现有技术，所以关于相关滤波器算法构建识别模型的具体原理在此不作详细阐述。

另外需要说明的是，步骤S1中，目标跟踪系统计算对目标的跟踪响应率的原理如下：

比如当前帧图片上的目标对应的图像特征包括10个图像特征，后一帧图片上的目标对应的图像特征包括9个图像特征，那么根据当前帧图片中的10个图像特征在后一帧图片中的图像特征响应数量，可得到目标在后一帧图片上的跟踪响应率为90％。

这里需要强调的是，针对目标的跟踪响应率的计算存在多种计算方法，比如，另外一种计算方法可以为，对目标对应的每一个图像特征赋予相应的响应值，比如在当前帧图片上赋予目标对应的颜色特征的响应值为0.3，赋予目标对应的轮廓特征的响应值为0.3，赋予目标对应的大小特征的响应值为0.3，赋予其余图像特征的响应值总和为0.1，那么在后一帧图片上如果目标对应的颜色特征、轮廓特征和大小特征均得到了完全响应，而其余图像特征均未得到响应，则可得目标在后一帧图片上的跟踪响应率同样为90％。

于本发明实施例一的一种优选方案中，步骤S3中判断对目标的跟踪是否有效的方法优选为第一判断方法，第一判断方法的判断过程如下：

当目标在后一帧图片上的第二跟踪响应率大于或等于第一阈值，且目标在后一帧图片上的第二跟踪响应率相较在当前帧图片上的第一跟踪响应率的差值绝对值小于或等于一第二阈值时，表明对目标的跟踪有效；

否则，则表明对目标的跟踪失败；

所述第一阈值优选为0.5，所述第二阈值优选为0.15。也就是说，当目标在后一帧图片上的第二跟踪响应率大于或等于50％，且第二跟踪响应率与目标在当前帧图片中的第一跟踪响应率的差值绝对值小于或等于0.15时，表明对目标的跟踪有效；

否在，则表明对目标的跟踪失败。

上述技术方案中，需要说明的是，若当前帧图片为视频帧序列中的第一帧图片，则目标在第一帧图片上的跟踪响应率通常被定义为1，也就是针对目标的所有图像特征在第一帧图片上得到了完全响应。

为了实现对视频帧序列中的每帧图片中的目标的持续有效跟踪，上述技术方案中的目标跟踪方法还包括步骤S4，

步骤S4，以后一帧图片作为当前帧图片，然后返回步骤S1，继续对下一帧图片进行目标跟踪识别，直至依序完成对视频帧序列中的每帧图片的目标跟踪识别。

最后需要说明的是，本发明实施例一中所述的图像特征包括颜色特征和模板特征，模板特征包括关联于目标的轮廓特征、形状特征、大小特征和细节特征等图像特征中的一种或多种。建立模板特征有利于提高识别模型对目标的识别速度。

实施例二：

实施例二与实施例一的区别在于，实施例二提供的目标跟踪方法中，判断对目标的跟踪情况的方法为第二判断方法，所述第二判断方法通过目标在前后两帧图片中的交叠率来判断对目标的跟踪情况。

于本实施例二中，首先需要说明的是，步骤S2中，目标跟踪系统计算交叠率的原理如下：

在当前帧图片中框选出用于追踪目标的原始框，原始框的位置即代表目标在当前帧图片上的所处位置。然后在后一帧图片中同样框选出用于追踪目标的候选框，然后分析原始框和候选框分别在当前帧图片上和后一帧图片上的所处位置对应的位置信息(这里所述的位置信息为原始框和候选框框选出的区域面积信息)，并计算得到原始框和候选框的交集区域对应的第一区域面积以及原始框和候选框的并集区域对应的第二区域面积，第一区域面积和第二区域面积的比值即为所述交叠率。

上述的第二判断方法为，

当目标在前后两帧图片中的交叠率大于或等于一第三阈值时，则表明对目标的跟踪有效；

否则，则表明对目标的跟踪失败。

所述第三阈值优选为0.3。也就是说，当目标跟踪系统计算出的第一区域面积和第二区域面积的比值大于或等于0.3时，表明对目标的跟踪有效；

否则，则表明对目标的跟踪失败。

也就是说，实施例一中的目标跟踪方法，是基于跟踪响应率来判断对目标的跟踪情况。而实施例二中的目标跟踪方法，通过交叠率，来判断对所述目标的跟踪情况。

实施例三：

实施例三与实施例一、实施例二的区别在于，实施例三提供的目标跟踪方法中，同时基于跟踪响应率和交叠率，来判断对目标的跟踪情况。也就是说，当目标在后一帧图片上的第二跟踪响应率大于或等于第一阈值，且目标在后一帧图片上的第二跟踪响应率相较在当前帧图片上的第一跟踪响应率的差值绝对值小于或等于一第二阈值，同时当目标在当前帧和后一帧两帧图片中的交叠率大于或等于一第三阈值时，才表明对目标的跟踪有效；

否则，则表明对目标的跟踪失败。

实施例三中的所述第一阈值同样优选为0.5，第二阈值优选为0.15，第三阈值为0.3。

实施例三的优势在于，对目标的追踪准确度更高，但由于需要同时针对目标的跟踪响应率和交叠率，来判断对目标的跟踪情况，所以实施例三相较实施例一和实施例二而言，目标追踪时间更长，检测效率相对较低。

综上，本发明能够对同一视频中的目标进行持续有效跟踪，提高了目标追踪的准确率和追踪效率。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (9)

1.一种基于相关滤波器的目标跟踪系统，其特征在于，包括：

获取单元，用于获取视频并输出；

视频拆分单元，连接所述获取单元，用于将所述视频分解为一视频帧序列并输出；

跟踪识别单元，连接所述视频拆分单元，用于根据预设的目标跟踪识别算法依序跟踪识别所述视频帧序列中的各帧图片上的目标对应的图像特征并输出，并用于跟踪识别所述目标在对应的所述图片上的所处位置信息并输出；

响应率计算单元，连接所述跟踪识别单元，用于基于所述目标在当前帧图片上对应的第一图像特征和所述目标在所述当前帧图片的后一帧图片上对应的第二图像特征，计算得到对所述目标的跟踪响应率并存储；

交叠率计算单元，连接所述跟踪识别单元，用于基于所述目标在所述当前帧图片上对应的第一所处位置信息和所述目标在所述后一帧图片上对应的第二所处位置信息，计算得到所述目标在所述当前帧图片和所述后一帧图片前后两帧图片上的所处位置的交叠率并存储；

判断单元，分别连接所述响应率计算单元和所述交叠率计算单元，用于根据所述跟踪响应率，和/或所述交叠率，判断对所述目标的跟踪是否有效，具体为：

当所述目标在所述后一帧图片上的第二跟踪响应率大于或等于第一阈值，且所述目标在所述后一帧图片上的所述第二跟踪响应率相较在所述当前帧图片上的第一跟踪响应率的差值绝对值小于或等于第二阈值时，表明对所述目标的跟踪有效；

否则，则表明对所述目标的跟踪失败。

2.如权利要求1所述的目标跟踪系统，其特征在于，所述目标跟踪识别算法包括Staple互补学习识别跟踪算法。

3.一种基于相关滤波器的目标跟踪方法，其特征在于，通过目标跟踪系统实现，具体包括如下步骤：

步骤S1，基于所述目标在当前帧图片上对应的第一图像特征和目标在后一帧图片上对应的第二图像特征，计算得到对所述目标的跟踪响应率；

步骤S2，基于所述目标在所述当前帧图片上对应所处的第一所处位置信息和所述目标在所述后一帧图片上对应所处的第二所处位置信息，计算得到所述目标在前后两帧图片上的所处位置的交叠率；

步骤S3，根据所述跟踪响应率，和/或所述交叠率，判断对所述目标的跟踪是否有效，具体为：

当所述目标在所述后一帧图片上的第二跟踪响应率大于或等于第一阈值，且所述目标在所述后一帧图片上的所述第二跟踪响应率相较在所述当前帧图片上的第一跟踪响应率的差值绝对值小于或等于第二阈值时，表明对所述目标的跟踪有效；

否则，则表明对所述目标的跟踪失败；

若跟踪有效，则进入步骤S4；

若跟踪失败，则返回所述步骤S1，重新对所述当前帧图片进行目标跟踪识别。

4.如权利要求3所述的目标跟踪方法，其特征在于，还包括：

步骤S4，以所述后一帧图片作为当前帧图片，然后返回所述步骤S1，继续对下一帧图片进行目标跟踪识别，直至依序完成对视频帧序列中的每帧图片的目标跟踪识别。

5.如权利要求3所述的目标跟踪方法，其特征在于，所述目标跟踪系统通过一识别模型对所述目标进行识别跟踪，所述识别模型的构建过程包括如下步骤：

步骤S21，预先将关联于所述目标的多个所述图像特征作为第一训练样本输入到一相关滤波器中，所述相关滤波器基于所述第一训练样本形成所述识别模型；

步骤S2 2，所述目标跟踪系统通过所述识别模型识别所述当前帧图片中的所述目标对应的所述第一图像特征，并将识别到的所述第一图像特征作为第二训练样本重新输入到所述相关滤波器中，所述相关滤波器基于所述第二训练样本重新训练以更新所述识别模型；所述目标跟踪系统通过更新后的所述识别模型对所述后一帧图片进行目标识别跟踪，得到对应所述目标的所述第二图像特征。

6.如权利要求5所述的目标跟踪方法，其特征在于，所述第一阈值为0.5。

7.如权利要求5所述的目标跟踪方法，其特征在于，所述第二阈值为0.15。

8.如权利要求3所述的目标跟踪方法，其特征在于，所述步骤S3中判断对所述目标的跟踪是否有效的方法包括第二判断方法，所述第二判断方法为：

当所述目标在所述当前帧图片和所述后一帧图片两帧图片上的所处位置的所述交叠率大于或等于一第三阈值时，则表明对所述目标的跟踪有效；

否则，则表明对所述目标跟踪失败。

9.如权利要求8所述的目标跟踪方法，其特征在于，所述第三阈值为0.3。