CN112016440A - 一种基于多目标跟踪的目标推送方法 - Google Patents

Abstract

本发明公开了一种基于多目标跟踪的目标推送方法，涉及视频、图像分析处理邻域，包括包括以下步骤：S1，确定检测帧，使用目标检测算法模型对检测帧进行目标检测，识别目标信息；S2，采用多目标跟踪算法，对于每个目标分配一个轨迹Path⁽ⁱ⁾；S3，针对每个Path确定N帧缓冲区，对缓冲区中的每个缓存检测帧对象进行识别、定义，识别出最优帧，N帧缓冲区顺次更新，新的检测帧进栈，旧的N帧缓冲区的第一个缓存检测帧出栈，并决定出栈的缓存检测帧是否推送。本发明基于多目标跟踪算法，对多目标跟踪算法分析出的轨迹目标，优选地对轨迹目标进行推送，从而达到简化、优化推送结果的目的，同时，也可以提高目标图像检索精度与速度。

Description

一种基于多目标跟踪的目标推送方法

技术领域

本发明涉及视频、图像分析处理邻域，尤其涉及一种基于多目标跟踪的目标推送方法。

背景技术

随着近几年深度学习算法的普及和发展，数字化城市和智慧城市正在加快建设中，城市道路与公共监控部署更加普遍，一切不法行为都变得有迹可寻的同时，我们的城市变得更加安全。然而，城市建设数字化过程中，海量大数据暴涨成为困扰智慧城市建设的棘手的问题，海量图像、视频难以存储，部分厂商为了方便快捷、减少工作量，往往采用直接保存视频方式对监控图像与视频进行存储，然而，这种方式既浪费存储空间，又缩减了可保存数据的时长，不利于长周期回朔检索。因此，需要一种方法解决数据储存问题。

发明内容

本发明的目的在于提供一种基于多目标跟踪的目标推送方法。

为实现上述目的，本发明提供如下技术方案：

一种基于多目标跟踪的目标推送方法，包括以下步骤：

S1，确定检测帧，使用目标检测算法模型对检测帧进行目标检测，识别目标信息；

S2，采用多目标跟踪算法，对于每个目标分配一个轨迹Path⁽ⁱ⁾；

S3，针对每个Path确定N帧缓冲区，对缓冲区中的每个缓存检测帧对象进行识别、定义，识别出最优帧，N帧缓冲区顺次更新，新的检测帧进栈，旧的N帧缓冲区的第一个缓存检测帧出栈，并决定出栈的缓存检测帧是否推送。

进一步的，所述步骤S1中检测帧的确定方法：采用跳3～5帧的跳帧方式对实时视频流或视频文件提取出检测帧，检测帧定义为…F_T-1,F_T，T为当前时刻。

进一步的，所述步骤S1中的目标信息包括：通过目标检测算法模型输出所述目标属于检测类别的置信度得分C(0-1)、所述目标在图像中位置信息(x,y,w,h)，其中x为所述目标左上角相距图像左上角水平线的距离，y为所述目标左上角相距图像左上角垂直线的距离，其中w,h分别是目标的宽与高的长度，单位为pixel。

进一步的，所述步骤S2包括对步骤S1的目标进行分析与相似度对比。

进一步的，所述轨迹Path⁽ⁱ⁾为目标在某段时间区间内，从在视频里出现到消失的轨迹，每个轨迹包括多个检测帧，当某个Path⁽ⁱ⁾的目标在视频中消失后，多目标跟踪算法不再维护该轨迹信息。

进一步的，所述步骤S3中对于每个缓存检测帧对象定义包括：目标标志位Valid_Flag和最优标志位Best_Flag；Valid_Flag用以标识对于某一轨迹Path⁽ⁱ⁾，当前缓存检测帧是否检测到目标，如果检测到目标，则该标志位置为true,同时目标图像缓存进目标图像字段，否则为false；Best_Flag用于标识当前帧是否为缓冲区内最优帧，如果为最优帧，则该标志位置为true。

进一步的，所述步骤S3识别出最优帧的步骤为：

P1,通过数据库统计得到超参数R_T，R_max和Score_min，R_T为目标最优高宽比率，R_max为高宽比最大的一个可接受阀值，Score_min为高宽比大于可接受阀值后恒定最低分数；

P2，每个缓存帧使用以下公式计算出高宽比得分，高宽比得分加上步骤S1中的置信度得分，数值最大的确定为所述轨迹Path的N帧缓冲区内最优缓存帧：

其中，a₁,a₂,b₂分别为比率系数和偏置项系数，S为高宽比方面得分，r为输入项，r＝h/w；

P3，进栈的新的检测帧首先确定Valid_Flag为false或ture,为false时不作为；为ture时，需要与步骤P2中的最优缓存帧进行比较，比较方法为：当最优缓存帧不存大时，则对当前缓冲区内，包括新进栈的检测帧，所有Valid_Flag为true的缓存帧进行得分比较，确定新的最优缓存帧，并设置该缓存帧Best_Flag为true。

进一步的，所述步骤S3中决定出栈的缓存检测帧是否推送的方法为包括：W1,定义超参数最短推送周期T_min，即距离上次推送至少又经过了多少个更新周期方可推送，最大迭代次数I_max，即当旧的N帧缓冲区的第一个缓存检测帧不是最优缓存帧时，最多可进行多少次更新周期迭代则要强制推送，初始化迭代次数I＝0；

W2，当新的检测帧还未入栈时，N帧缓冲区的第一个缓存检测帧为最优缓存帧时，距离上次推送更新次数大于最短推送周期T_min时，则该帧进行推送，设置迭代次数I＝0；

W3，当仅有N帧缓冲区的第一个缓存检测帧为有效帧时，距离上次推送更新次数大于最短推送周期T_min时，则该帧进行推送，设置迭代次数I＝0；

W4，当W2、W3条件均不满足，迭代次数I大于等于I_max时，如果存在最优缓存帧，且距离上次推送更新次数大于最短推送周期T_min时，则对N帧缓冲区的第一个缓存检测帧进行推送，设置迭代次数I＝0，如果不存在最优缓存帧，则以有效帧作为推送目标；

W5，当W2、W3、W4条件均不满足，则N帧缓冲区的第一个缓存检测帧出栈，继续更新迭代寻找最优推送帧，迭代次数I加1。

与现有技术相比，本发明可根据关注目标数据需求，对目标数据有效性进行优选，仅保存优选后的有效数据，基于多目标跟踪算法，对多目标跟踪算法分析出的轨迹目标，优选地对轨迹目标进行推送，从而达到简化、优化推送结果的目的，同时，也可以提高目标图像检索精度与速度。

附图说明

图1为本发明的方法步骤图。

图2为本发明实施例1的4帧缓冲区示意图。

图3为本发明实施例1的高宽比函数趋势曲线图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1，本发明提供一种基于多目标跟踪的目标推送方法，请参阅图1，包括以下步骤：

S1，确定检测帧，使用目标检测算法模型对检测帧进行目标检测，识别目标信息；对实时视频流或视频文件提取出视频帧图像，通常采用跳帧方式对视频帧时行处理，因为连续相邻两帧视频内容往往变化不大，一般可采用跳3～5帧图像进行图像处理，跳帧后待处理的视频图像帧定义为检测帧。假设当前时刻为T，当时帧可定义为第T帧F_T，则当前检测帧之前一个检测帧可定义为第T-1帧F_T-1,以此类推。识别的目标信息包括：通过目标检测算法模型输出目标属于检测类别的置信度得分C(0-1)、目标在图像中位置信息(x,y,w,h)，其中x为目标左上角相距图像左上角水平线的距离，y为目标左上角相距图像左上角垂直线的距离，其中w,h分别是目标的宽与高的长度，单位为pixel。本实施例将目标定义为人(不限于人)，以下步骤均以行人为例。

S2，采用多目标跟踪算法，对于每个目标分配一个轨迹Path⁽ⁱ⁾；对检测目标进行分析与相似度对比，对于每个目标分配一个轨迹，即每个人在某段时间区间内，从在视频里出现到消失会分配为一个轨迹Path,也就是说，每个轨迹会在时间维度上出现在多个检测帧，这里第i个轨迹可以用Path⁽ⁱ⁾来表示。当某个Path的目标在视频中消失后，多目标跟踪算法不再维护该轨迹信息，即多目标跟踪算法只维护保留当前活跃轨迹信息。

S3，针对每个Path确定N帧缓冲区，这里以N等于4为例，对于某一Path⁽ⁱ⁾来讲，分别在Path⁽ⁱ⁾的T-3，T-2，T-1和T检测帧上定义缓冲区，即F_T-3，F_T-2，F_T-1，F_T帧上定义一个缓冲存储空间，对缓冲区中的每个缓存检测帧对象进行识别、定义，识别出最优帧，N帧缓冲区顺次更新，新的检测帧进栈，旧的N帧缓冲区的第一个缓存检测帧出栈，通过处理新的检测帧，更新目标标志位Valid_Flag，最优标志位Best_Flag及多帧缓冲区状态，更新各标志位状态，并决定第一个缓存帧目标图像(即缓存帧F_T-3)是否推送,并决定出栈的缓存检测帧是否推送。

如图2所示,对于每个缓存检测帧对象定义包括：目标标志位Valid_Flag和最优标志位Best_Flag；Valid_Flag用以标识对于某一轨迹Path⁽ⁱ⁾，当前缓存检测帧是否检测到目标，如果检测到目标，则该标志位置为true,同时目标图像缓存进目标图像字段，否则为false；Best_Flag用于标识当前帧是否为缓冲区内最优帧，如果为最优帧，则该标志位置为true,同时定义图像字段IMG用以保存该帧检测到的目标图片。

识别出最优帧的步骤为：

P1,通过数据库统计得到超参数R_T，R_max和Score_min，R_T为目标最优高宽比率，R_max为高宽比最大的一个可接受阀值，Score_min为高宽比大于可接受阀值后恒定最低分数；以行人为例，上述超参数可选如下区间：R_T∈[1.6,2.2],R_max∈[7.0,12.0],Score_min∈[0.05,0.2],以超参数R_T＝2，R_max＝9和Score_min＝0.1为例；

P2，每个缓存帧使用以下公式计算出高宽比得分，高宽比得分加上步骤S1中的置信度得分，数值最大的确定为轨迹Path的N帧缓冲区内最优缓存帧：

其中，a₁,a₂,b₂分别为比率系数和偏置项系数，S为高宽比方面得分，r为输入项，r＝h/w；

如图3所示，得到曲线图，当r接近高宽比最优比率时得分最高等于1，当高宽比率大于R_max时，高宽比得分恒等于Score_min。

P3，进栈的新的检测帧首先确定Valid_Flag为false或ture,为false时不作为；为ture时，需要与步骤P2中的最优缓存帧进行比较，比较方法为：当最优缓存帧不存大时，则对当前缓冲区内，包括新进栈的检测帧，所有Valid_Flag为true的缓存帧进行得分比较，确定新的最优缓存帧，并设置该缓存帧Best_Flag为true。

决定出栈的缓存检测帧是否推送的方法为包括：

W1,定义超参数最短推送周期T_min，即距离上次推送至少又经过了多少个更新周期方可推送，最大迭代次数I_max，即当旧的N帧缓冲区的第一个缓存检测帧不是最优缓存帧时，最多可进行多少次更新周期迭代则要强制推送，初始化迭代次数I＝0；

W2，当新的检测帧还未入栈时，N帧缓冲区的第一个缓存检测帧为最优缓存帧时，距离上次推送更新次数大于最短推送周期T_min时，则该帧进行推送，设置迭代次数I＝0；

W3，当仅有N帧缓冲区的第一个缓存检测帧为有效帧时，距离上次推送更新次数大于最短推送周期T_min时，则该帧进行推送，设置迭代次数I＝0；

W4，当W2、W3条件均不满足，迭代次数I大于等于I_max时，如果存在最优缓存帧，且距离上次推送更新次数大于最短推送周期T_min时，则对N帧缓冲区的第一个缓存检测帧进行推送，设置迭代次数I＝0，如果不存在最优缓存帧，则以有效帧作为推送目标；

W5，当W2、W3、W4条件均不满足，则N帧缓冲区的第一个缓存检测帧出栈，继续更新迭代寻找最优推送帧，迭代次数I加1。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (8)

1.一种基于多目标跟踪的目标推送方法，其特征在于，包括以下步骤：

S1，确定检测帧，使用目标检测算法模型对检测帧进行目标检测，识别目标信息；

S2，采用多目标跟踪算法，对于每个目标分配一个轨迹Path⁽ⁱ⁾；

S3，针对每个Path确定N帧缓冲区，对缓冲区中的每个缓存检测帧对象进行识别、定义，识别出最优帧，N帧缓冲区顺次更新，新的检测帧进栈，旧的N帧缓冲区的第一个缓存检测帧出栈，并决定出栈的缓存检测帧是否推送。

2.根据权利要求1所述的一种基于多目标跟踪的目标推送方法，其特征在于，所述步骤S1中检测帧的确定方法：采用跳3～5帧的跳帧方式对实时视频流或视频文件提取出检测帧，检测帧定义为…F_T-1,F_T，T为当前时刻。

3.根据权利要求1所述的一种基于多目标跟踪的目标推送方法，其特征在于，所述步骤S1中的目标信息包括：通过目标检测算法模型输出所述目标属于检测类别的置信度得分C(0-1)、所述目标在图像中位置信息(x,y,w,h)，其中x为所述目标左上角相距图像左上角水平线的距离，y为所述目标左上角相距图像左上角垂直线的距离，其中w,h分别是目标的宽与高的长度，单位为pixel。

4.根据权利要求1所述的一种基于多目标跟踪的目标推送方法，其特征在于，所述步骤S2包括对步骤S1的目标进行分析与相似度对比。

5.根据权利要求1所述的一种基于多目标跟踪的目标推送方法，其特征在于，所述轨迹Path⁽ⁱ⁾为目标在某段时间区间内，从在视频里出现到消失的轨迹，每个轨迹包括多个检测帧，当某个Path⁽ⁱ⁾的目标在视频中消失后，多目标跟踪算法不再维护该轨迹信息。

6.根据权利要求1所述的一种基于多目标跟踪的目标推送方法，其特征在于，所述步骤S3中对于每个缓存检测帧对象定义包括：目标标志位Valid_Flag和最优标志位Best_Flag；Valid_Flag用以标识对于某一轨迹Path⁽ⁱ⁾，当前缓存检测帧是否检测到目标，如果检测到目标，则该标志位置为true,同时目标图像缓存进目标图像字段，否则为false；Best_Flag用于标识当前帧是否为缓冲区内最优帧，如果为最优帧，则该标志位置为true。

7.根据权利要求6所述的一种基于多目标跟踪的目标推送方法，其特征在于，所述步骤S3识别出最优帧的步骤为：

P1,通过数据库统计得到超参数R_T，R_max和Score_min，R_T为目标最优高宽比率，R_max为高宽比最大的一个可接受阀值，Score_min为高宽比大于可接受阀值后恒定最低分数；

P2，每个缓存帧使用以下公式计算出高宽比得分，高宽比得分加上步骤S1中的置信度得分，数值最大的确定为所述轨迹Path的N帧缓冲区内最优缓存帧：

其中，a₁,a₂,b₂分别为比率系数和偏置项系数，S为高宽比方面得分，r为输入项，r＝h/w；

P3，进栈的新的检测帧首先确定Valid_Flag为false或ture,为false时不作为；为ture时，需要与步骤P2中的最优缓存帧进行比较，比较方法为：当最优缓存帧不存大时，则对当前缓冲区内，包括新进栈的检测帧，所有Valid_Flag为true的缓存帧进行得分比较，确定新的最优缓存帧，并设置该缓存帧Best_Flag为true。

8.根据权利要求1所述的一种基于多目标跟踪的目标推送方法，其特征在于，所述步骤S3中决定出栈的缓存检测帧是否推送的方法为包括：

W1,定义超参数最短推送周期T_min，即距离上次推送至少又经过了多少个更新周期方可推送，最大迭代次数I_max，即当旧的N帧缓冲区的第一个缓存检测帧不是最优缓存帧时，最多可进行多少次更新周期迭代则要强制推送，初始化迭代次数I＝0；

W2，当新的检测帧还未入栈时，N帧缓冲区的第一个缓存检测帧为最优缓存帧时，距离上次推送更新次数大于最短推送周期T_min时，则该帧进行推送，设置迭代次数I＝0；

W3，当仅有N帧缓冲区的第一个缓存检测帧为有效帧时，距离上次推送更新次数大于最短推送周期T_min时，则该帧进行推送，设置迭代次数I＝0；

W4，当W2、W3条件均不满足，迭代次数I大于等于I_max时，如果存在最优缓存帧，且距离上次推送更新次数大于最短推送周期T_min时，则对N帧缓冲区的第一个缓存检测帧进行推送，设置迭代次数I＝0，如果不存在最优缓存帧，则以有效帧作为推送目标；

W5，当W2、W3、W4条件均不满足，则N帧缓冲区的第一个缓存检测帧出栈，继续更新迭代寻找最优推送帧，迭代次数I加1。

Images