CN113421288B - 一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法 - Google Patents

Abstract

本发明公开了一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法，包括以下步骤：S1、对静止状态的轨迹进行合并，按照静态轨迹分析的目标帧数进行判别；S2、对新加入的轨迹，是单帧轨迹目标B，计算B与静止轨迹容器staticPaths中的轨迹进行IOU位置计算，得到里面IOU的最大的第i条轨迹记录staticPaths[i]对应的maxIOU；S3、按照当前的时间戳信息，对staticPaths里面的轨迹进行状态更新，判断是否应该进入死亡周期，删除掉释放空间；S4、等待新加入的轨迹，重复步骤S1。针对视频静止目标的位置和特征约束，对新加入的轨迹进行位置和特征的约束，有效的减少了轨迹碎片的产生。

Description

一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法

技术领域

本发明涉及视频分析、多目标轨迹跟踪领域，具体来说，涉及一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法。

背景技术

目标跟踪是视频分析领域很重要的技术环节，需要对视频中轨迹目标的前后多帧的数据按照时间，位置，特征关系，进行关联匹配，生成目标的轨迹。

对应在线实时的轨迹连接过程中，因为目标检测或者各种原因导致的，同一个目标会产生多个轨迹碎片；轨迹碎片是多目标轨迹连接的重要参数指标，如果轨迹碎片过多，跟踪体验大幅度下降。

在线实时处理的时候没有整个轨迹的完整的统计信息来进行统计分析迭代。能有效利用的信息比较少。如何在实时在线版的轨迹跟踪中进行轨迹碎片的合并，对跟踪效果的改进起着很重要的作用，因此缺少一种实时在线版的轨迹跟踪中进行轨迹碎片的减少的方法。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对现有技术的不足，本发明提供了多目标实时轨迹跟踪中的静止轨迹碎片改进方法，具备减少了轨迹碎片的产生的目的，进而解决背景技术中提到的问题。

为实现上述减少了轨迹碎片的产生的目的，本发明采用的具体技术方案如下：

一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法，包括以下步骤：

S1、对静止状态的轨迹进行合并，按照静态轨迹分析的目标帧数进行判别；

S2、对新加入的轨迹，如果是单帧轨迹目标B，计算B与静止轨迹容器staticPaths中的轨迹进行IOU位置计算，得到里面IOU的最大的第i条轨迹记录staticPaths[i]对应的maxIOU，maxIOU∈[0,1]；

S3、按照当前的时间戳信息，对staticPaths里面的所有轨迹记录进行状态更新，判断每一条静止轨迹记录是否应该进入死亡周期，删除掉进入死亡周期的静止轨迹记录，释放staticPaths中该轨迹占用的内存空间，提升效率；

S4、等待新加入的轨迹，重复步骤S1。

进一步的，上述步骤S1对静止状态的轨迹进行合并，按照静态轨迹分析的目标帧数进行判别中，如果轨迹只有一帧目标，那么认为是单帧静止轨迹。

进一步的，述步骤S1对静止状态的轨迹进行合并，按照静态轨迹分析的目标帧数进行判别中，如果轨迹有两帧及以上的目标，分析多帧重叠的区域的值IOU。

进一步的，上述步骤S1对静止状态的轨迹进行合并，按照静态轨迹分析的目标帧数进行判别中，如果是静止轨迹，存放到静止轨迹容器staticPaths；同时记录对应的轨迹的特征到容器staticPathFeas，如果静止轨迹缓存的目标帧数的数量是单帧，保存一帧的特征。

进一步的，如果静止轨迹缓存的目标帧数的数量是多帧，保存时间上最新的不超过三帧的历史特征。

进一步的，上述步骤S2中，如果maxIOU小于给定阈值sameObjIOUThr1，那么认为B没有相同的历史轨迹，直接添加一个新轨迹。

进一步的，上述步骤S2中，如果大于给定的阈值sameObjIOUThr1，那么进行判断两个轨迹staticPaths[i]，B的相似度；

其中，sameObjIOUThr1＝0.7，计算目标轨迹B的轨迹特征feaB，与静止轨迹特征staticPathFeas[i]的特征相似度。

进一步的，所述步骤S3按照当前的时间戳信息，对staticPaths里面的所有轨迹记录进行状态更新，判断每一条静止轨迹记录是否应该进入死亡周期，删除掉进入死亡周期的静止轨迹记录，释放staticPaths中该轨迹占用的内存空间，提升效率包括以下步骤：

S31、统计staticPaths中每一个轨迹的目标数量len，如果len等于1，对应的是单帧轨迹，当前轨迹时间戳记录为curFrameID，静止轨迹最后更新时间lastUpdateTime，那么对应的时间间隔interval＝curFrameID-lastUpdateTime，interval大于thresh1,那么轨迹记录清除；如果interval小于thresh1，那么继续保留，当前静止轨迹的最后更新时间lastUpdateTime更新为当前轨迹的时间戳记录curFrameID；

S32、如果len大于1，对应的轨迹是多帧目标组成的静止轨迹，那么计算当前时间curFrameID与静止轨迹最后更新时间lastUpdateTime的时间间隔interval，如果interval大于thresh2，那么轨迹记录清除；如果interval小于thresh2，那么继续保留，当前静止轨迹的最后更新时间lastUpdateTime更新为当前轨迹的时间戳记录curFrameID。

进一步的，所述步骤S31中，优选的，thresh1＝800，所述步骤S32中，优选的，thresh2＝4500。

有益效果

与现有技术相比，本发明提供了多目标实时轨迹跟踪中的静止轨迹碎片改进方法，具备以下有益效果：

本发明针对视频静止目标的位置和特征约束，对新加入的轨迹进行位置和特征的约束，如果是同一个目标，那么保证新目标与历史目标轨迹号的一致，从而有效的减少了轨迹碎片的产生。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的多目标实时轨迹跟踪中的静止轨迹碎片改进方法流程图。

具体实施方式

为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

根据本发明的实施例，提供了一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法。

现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的多目标实时轨迹跟踪中的静止轨迹碎片改进方法，包括以下步骤：

S1、对静止状态的轨迹进行合并，按照静态轨迹分析的目标帧数进行判别；

S2、对新加入的轨迹，如果是单帧轨迹目标B，计算B与静止轨迹容器staticPaths中的轨迹进行IOU位置计算，得到里面IOU的最大的第i条轨迹记录staticPaths[i]对应的maxIOU，maxIOU∈[0,1]；

S3、按照当前的时间戳信息，对staticPaths里面的所有轨迹记录进行状态更新，判断每一条静止轨迹记录是否应该进入死亡周期，删除掉进入死亡周期的静止轨迹记录，释放staticPaths中该轨迹占用的内存空间，提升效率；

S4、等待新加入的轨迹，重复步骤S1。

为了方便理解本发明的上述技术方案，以下就本发明在实际过程中的工作原理或者操作方式进行详细说明。

在现实的工程应用中，对运动状态的轨迹、静止状态的轨迹进行合并处理。

步骤S1、对静止状态的轨迹进行合并，按照静态轨迹分析的目标帧数进行判别：

如果轨迹只有一帧目标，那么认为是单帧静止轨迹；

如果轨迹有两帧及以上的目标，分析多帧重叠的区域的值IOU；

其中，A_i，i∈(0，1，...,n)，表示轨迹目标矩形位置。如果为单帧轨迹，IOU的值为1。

IOU的值大于给定的阈值StaticPathIOUThr，那么认为是静止轨迹，优选的，StaticPathIOUThr＝0.45；

如果是静止轨迹，存放到静止轨迹容器staticPaths；同时记录对应的轨迹的特征到容器staticPathFeas，如果静止轨迹缓存的目标帧数的数量是单帧，保存一帧的特征；如果静止轨迹缓存的目标帧数的数量是多帧，保存时间上最新的不超过三帧的历史特征。

步骤S2、对新加入的轨迹，如果是单帧轨迹目标B，计算B与静止轨迹容器staticPaths中的轨迹进行IOU位置计算，得到里面IOU的最大的第i条轨迹记录staticPaths[i]对应的maxIOU，maxIOU∈[0,1]。

如果maxIOU小于给定阈值sameObjIOUThr1，那么认为B没有相同的历史轨迹，直接添加一个新轨迹；如果大于给定的阈值sameObjIOUThr1，那么进行判断两个轨迹staticPaths[i]，B的相似度；优选的，sameObjIOUThr1＝0.7。计算目标轨迹B的轨迹特征feaB，与静止轨迹特征staticPathFeas[i]的特征相似度，对应的相似度公式：

其中，目标特征为X(x₁,x₁,...,x_N)，基准特征为Y(y₁,y₁,...,y_N)。

得到对应的特征相似度similarityVal，如果对应similarityVal大于给定的阈值sameObjThr1，那么认为是与静止轨迹相同的目标，对应轨迹目标B的轨迹号需要更改为staticPaths[i]的轨迹号，完成轨迹合并，优选的，sameObjThr1＝0.65。

如果新加入的轨迹是两帧目标C，计算目标轨迹C的内容中的重叠区域region。

region＝C_rect1∩C_rect2

计算region与静止轨迹容器staticPaths中的轨迹进行IOU值计算，得到里面IOU的值最大的第i条静止轨迹记录staticPaths[i]对应的值maxIOU。

如果maxIOU小于给定阈值sameObjIOUThr2，那么认为C没有相同的历史轨迹，是正常静止轨迹，加入静止轨迹容器staticPaths；如果大于给定的阈值sameObjIOUThr2，那么进行判断两个轨迹staticPaths[i]，C的相似度；优选的，sameObjIOUThr2＝0.6。计算目标轨迹C的轨迹feaC，staticPathFeas[i]特征相似度，从两个轨迹特征进行两两匹配，得到相似度最大的值，对应的计算公式：

max(simi(feaC_m,staticPathFeas[i]_n)),m＝2,n∈[1,3]

其中，m，n是对应的两个轨迹的目标的特征数量，得到对应的特征相似度similarityVal，如果对应similarityVal大于给定的阈值sameObjThr2，那么认为是同静止轨迹相同的目标，对应轨迹目标C的轨迹号需要更改为staticPaths[i]的轨迹号，完成轨迹合并，优选的，sameObjThr2＝0.6；否则轨迹加入静止轨迹容器staticPaths，特征加入特征容器staticPathFeas。

轨迹超过三帧以上，一般都是已经判别的稳定的轨迹，不做处理。

步骤S3、按照当前的时间戳信息，对staticPaths里面的所有轨迹记录进行状态更新，判断每一条静止轨迹记录是否应该进入死亡周期，删除掉进入死亡周期的静止轨迹记录，释放staticPaths中该轨迹占用的内存空间，提升效率：

统计staticPaths中每一个轨迹的目标数量len，如果len等于1，对应的是单帧轨迹，当前轨迹时间戳记录为curFrameID，静止轨迹最后更新时间lastUpdateTime，那么对应的时间间隔interval＝curFrameID-lastUpdateTime，interval大于thresh1,那么轨迹记录清除；如果interval小于thresh1，那么继续保留，当前静止轨迹的最后更新时间lastUpdateTime更新为当前轨迹的时间戳记录curFrameID，优选的，thresh1＝800；

如果len大于1，对应的轨迹是多帧目标组成的静止轨迹，轨迹是静止轨迹的概率更大，可信度更高，那么计算当前时间curFrameID与静止轨迹最后更新时间lastUpdateTime的时间间隔interval，如果interval大于thresh2，那么轨迹记录清除；如果interval小于thresh2，那么继续保留，优选的，thresh2＝4500；

步骤S4、等待新加入的轨迹，重复步骤S1。

综上所述，借助于本发明的上述技术方案，多目标跟踪是时下比较火热的技术领域，很多算法论文都在开发的数据集上取得了很高的算法评估指标。在现实的工程应用中，效率方面的考虑，会对视频数据进行时间维的数据采样，导致很多检测到的目标更破碎，加上目标检测模型的不稳定，导致很多误检的目标出现，比如摩托车被检测成行人，或者行人在小范围内驻足的时候，检测模型漏检，导致很多场景下，简单的多目标跟踪算法都不能正常发挥作用。本发明针对视频静止目标的位置和特征约束，对新加入的轨迹进行位置和特征的约束，如果是同一个目标，那么保证新目标与历史目标轨迹号的一致，从而有效的减少了轨迹碎片的产生。

在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法，其特征在于，包括以下步骤：

S1、对静止状态的轨迹进行合并，按照静态轨迹分析的目标帧数进行判别；

S2、对新加入的轨迹，如果是单帧轨迹目标B，计算B与静止轨迹容器staticPaths中的轨迹进行IOU位置计算，得到里面IOU的最大的第i条轨迹记录staticPaths[i]对应的maxIOU，maxIOU∈[0,1]；

S3、按照当前的时间戳信息，对staticPaths里面的所有轨迹记录进行状态更新，判断每一条静止轨迹记录是否应该进入死亡周期，删除掉进入死亡周期的静止轨迹记录，释放staticPaths中该轨迹占用的内存空间，提升效率；

S4、等待新加入的轨迹，重复步骤S1。

2.根据权利要求1所述的一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法，其特征在于，上述步骤S1对静止状态的轨迹进行合并，按照静态轨迹分析的目标帧数进行判别中，如果轨迹只有一帧目标，那么认为是单帧静止轨迹。

3.根据权利要求2所述的一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法，其特征在于，述步骤S1对静止状态的轨迹进行合并，按照静态轨迹分析的目标帧数进行判别中，如果轨迹有两帧及以上的目标，分析多帧重叠的区域的值IOU。

4.根据权利要求1所述的一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法，其特征在于，上述步骤S1对静止状态的轨迹进行合并，按照静态轨迹分析的目标帧数进行判别中，如果是静止轨迹，存放到静止轨迹容器staticPaths；同时记录对应的轨迹的特征到容器staticPathFeas，如果是单帧，保存一帧的特征。

5.根据权利要求4所述的一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法，其特征在于，如果静止轨迹缓存的目标帧数的数量是多帧，保存时间上最新的不超过三帧的历史特征。

6.根据权利要求1所述的一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法，其特征在于，上述步骤S2中，如果maxIOU小于给定阈值sameObjIOUThr1，那么认为B没有相同的历史轨迹，直接添加一个新轨迹。

7.根据权利要求6所述的一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法，其特征在于，上述步骤S2中，如果大于给定的阈值sameObjIOUThr1，那么进行判断两个轨迹staticPaths[i]，B的相似度；

其中，sameObjIOUThr1＝0.7，计算目标轨迹B的轨迹特征feaB，与静止轨迹特征staticPathFeas[i]的特征相似度。

8.根据权利要求6所述的一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法，其特征在于，所述步骤S3按照当前的时间戳信息，对staticPaths里面的所有轨迹记录进行状态更新，判断每一条静止轨迹记录是否应该进入死亡周期，删除掉进入死亡周期的静止轨迹记录，释放staticPaths中该轨迹占用的内存空间，提升效率包括以下步骤：

S31、统计staticPaths中每一个轨迹的目标数量len，如果len等于1，对应的是单帧轨迹，当前轨迹时间戳记录为curFrameID，静止轨迹最后更新时间lastUpdateTime，那么对应的时间间隔interval＝curFrameID-lastUpdateTime，interval大于thresh1,那么轨迹记录清除；如果interval小于thresh1，那么继续保留，当前静止轨迹的最后更新时间lastUpdateTime更新为当前轨迹的时间戳记录curFrameID；

S32、如果len大于1，对应的轨迹是多帧目标组成的静止轨迹，那么计算当前时间curFrameID与静止轨迹最后更新时间lastUpdateTime的时间间隔interval，如果interval大于thresh2，那么轨迹记录清除；如果interval小于thresh2，那么继续保留，当前静止轨迹的最后更新时间lastUpdateTime更新为当前轨迹的时间戳记录curFrameID。

Images