CN110766715B - 一种结合单目标轨迹的多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种结合单目标轨迹的多目标跟踪方法，涉及目标跟踪技术领域。包括以下步骤：获取第t+1帧图像；对该第t+1帧图像进行多目标检测，构建第一目标位置集；对第t帧图像进行单目标跟踪，预测该目标在第t+1帧图像中的位置，构建第二目标位置集；将第一目标位置集和第二目标位置集进行合并，得到新目标位置集；将新目标与现有的单目标轨迹进行匹配，将新目标分配给匹配度最高的单目标轨迹中。本发明提高了轨迹分配的准确性，减少了目标漏检的情况发生。

Description

一种结合单目标轨迹的多目标跟踪方法

技术领域

本发明涉及目标跟踪技术领域，尤其涉及一种结合单目标轨迹的多目标跟踪方法。

背景技术

视频多目标跟踪是指对视频中出现的特定类型的多个目标同时进行跟踪，形成多个目标的连续轨迹。其中一种主要方法是基于检测的目标跟踪方法，即针对视频的每一帧进行目标检测，形成目标的位置，然后将包围盒中的目标根据相似度原则分配到已存在的轨迹中。这种方法存在以下一些缺点：

1)目标检测在不同帧中存在一定程度的漏检情况，会造成目标轨迹的分配错误，或造成轨迹中断；

2)采用基于图神经网络的方法计算轨迹片段之间的连接，增加了计算复杂度，耗时较长，不具有实用性。

发明内容

本发明的目的在于提供一种结合单目标轨迹的多目标跟踪方法，提高轨迹分配的准确性，同时减少目标漏检的情况发生。

为实现上述目的，本发明提供如下技术方案：

一种结合单目标轨迹的多目标跟踪方法，其特征在于，包括以下步骤：

S1，获取第t+1帧图像；

S2，对该第t+1帧图像进行多目标检测，构建第一目标位置集；

S3，对第t帧图像进行单目标跟踪，预测该目标在第t+1帧图像中的位置，构建第二目标位置集；

S4，将第一目标位置集和第二目标位置集进行合并，得到新目标位置集；

S5，将新目标与现有的单目标轨迹进行匹配，将新目标分配给匹配度最高的单目标轨迹中。

进一步的，所述目标跟踪采用神经网络SiamFC深度神经网络。

进一步的，所述目标跟踪的具体内容如下：以第t帧图像中的目标为样本图像，以第t+1帧图像截取的子图像为待搜索图像，对所述样本图像与待搜索图像进行相同的变换得到对应的特征，并求解相似度；取最大相似度与给定相似度阈值进行比较，若最大相似度大于给定相似度阈值，则取该最大相似度对应的子图像为跟踪目标，记录子图像的位置为目标位置；否则判定第t+1帧图像未跟踪到目标。

进一步的，所述S4中合并过程中存在以下三种情况：

第一目标位置集和第二目标位置集中同时包含某个目标，以第一目标位置集中对应该目标的位置作为新目标位置存入新目标位置集；

仅第一目标位置集中包含某个目标，以第一目标位置集中对应该目标的位置作为新目标位置存入新目标位置集；

仅第二目标位置集中包含某个目标，以第二目标位置集中对应该目标的位置作为新目标位置存入新目标位置集。

进一步的，所述S5的具体方法如下：

依次计算新目标与现有的多个单目标轨迹所在位置的交并比；

其中，A为新目标所在位置，B为单目标轨迹中目标所在位置，IOU为两者的交并比；

取最大交并比与给定交并比阈值进行比较，若交并比大于交并比阈值，则将该新目标添加至最大交并比对应的单目标轨迹当中，否则创建新单目标轨迹。

进一步的，所述S5之后还包括S6，对单目标轨迹进行进行两两相似度计算，将相似度值大于给定相似度阈值的两个单目标轨迹进行连接。

进一步的，所述S6的具体方法如下：

S61，约束两个单目标轨迹的时间间隔；

S62，约束两个单目标轨迹的位置间隔；

S63，将前一单目标轨迹的最后一帧图像和后一单目标轨迹的第一帧图像转化为图像直方图，

S64，计算两个图像直方图的相似度；

S65，在满足S61和S62的约束条件下，若S63的相似度大于给定相似度阈值，则认为两个单目标轨迹为同一目标的轨迹。

进一步的，所述给定相似度阈值为0.8。

与现有技术相比，本发明的有益效果是：本发明通过计算目标的位置进行匹配，简化了计算过程。结合当前帧的多目标检测和单目标跟踪结果作并集，减少了目标漏检的发生，使新目标与已有轨迹的分配更加准确。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种结合单目标轨迹的多目标跟踪方法，包括以下步骤：

S1，视频解码，获取视频的第t+1帧图像；

S2，对该第t+1帧图像进行多目标检测，构建第一目标位置集O；

目标检测算法利用基于神经网络的目标检测方法，回归出第i目标的位置O_i。记检测得到的第一目标位置集为O＝{O₁,O₂,...,O_n}；其中O_i为第i目标的位置，包含第i目标所在位置的左上角点坐标(x,y)和包围盒的宽w和高h；

S3，采用神经网络SiamFC深度神经网络对第t帧图像进行单目标跟踪，预测每一目标在第t+1帧图像中的位置，构建第二目标位置集；

针对第t帧图像中的每一目标进行单目标跟踪。具体内容如下：以第t帧图像中的目标为样本图像z，以第t+1帧图像截取的子图像为待搜索图像x，对所述样本图像z与待搜索图像x进行相同的变换

得到对应的特征，并求解相似度。具体为：

其中，

为样本图像z经变换

得到的特征；

为样本图像x经变换

得到的特征；g(·)为相似性度量函数；f(z,x)为特征

和特征

之间的相似度。

对于第i目标，取最大相似度与给定相似度阈值进行比较，所述给定相似度阈值优选0.7。若最大相似度大于给定相似度阈值，则取该最大相似度对应的子图像为第i目标的跟踪目标，记录该子图像的位置为目标位置T_i；否则判定第t+1帧图像未跟踪到目标。遍历第t帧图像中的所有目标，得到一系列目标位置，构建第二目标位置集T＝{T₁,T₂,...,T_n}；其中T_i为第i目标的位置，包含第i目标所在位置的左上角点坐标(x,y)和包围盒的宽w和高h。

S4，将第一目标位置集O＝{O₁,O₂,...,O_n}和第二目标位置集T＝{T₁,T₂,...,T_n}进行合并，得到新目标位置集S；具体存在以下三种情况：

第一目标位置集O和第二目标位置集T中同时包含第i目标，表明目标检测和跟踪都捕捉到该对象，以第一目标位置集O中实际检测到的该目标的位置O_i作为新目标位置存入新目标位置集S；

仅第一目标位置O集中包含第i目标，表明目标检测器检测到了该目标，但跟踪器未捕捉到该目标；以第一目标位置集O中对应该目标的位置O_i作为新目标位置存入新目标位置集S；

仅第二目标位置集T中包含第i目标，表明目标检测器漏检了该目标，但跟踪器捕捉到了该目标；以第二目标位置集T中对应该目标的位置T_i作为新目标位置存入新目标位置集S。

合并之后的新目标位置集S包括了第一目标位置集O和第二目标位置集T中所有目标的位置，避免了漏检的发生；同时同一目标的位置仅保留一个，避免了算法的冗余。

S5，将新目标与现有的单目标轨迹进行匹配，将新目标分配给匹配度最高的单目标轨迹中。其中，所述单目标轨迹为第t帧图像已分配好的每一个目标的轨迹。

匹配的具体方法如下：依次计算新目标与现有的多个单目标轨迹所在位置的交并比；

其中，A为新目标所在位置，具体为所在的矩形框；B为单目标轨迹中目标所在位置，具体为所在的矩形框；IOU为两者的交并比；用于衡量新目标和以后轨迹之间的亲密程度，IOU值约大，表明两者越靠近，两者是同一条轨迹的概率越大。

取最大交并比与给定交并比阈值进行比较，交并比阈值优选为0.8；若交并比大于交并比阈值，则将该新目标添加至最大交并比对应的单目标轨迹当中，否则认为该新目标从未出现过，创建新的单目标轨迹，启动新的目标跟踪器。

S6，对所有的单目标轨迹进行进行两两相似度计算，将相似度值大于给定相似度阈值的两个单目标轨迹认定为同一个目标的轨迹并进行连接，减少了轨迹碎片，该步骤中的给定相似度阈值优选0.8。

所述相似度计算的方法如下：

1)约束两段单目标轨迹的时间间隔，设第一段轨迹的最后一帧图像的帧号是i,第二段轨迹第一帧图像的帧号为j，要求j-i<25；

2)约束两段单目标轨迹的位置间隔，设第一段轨迹的最后一帧图像中心位置为(x_i,y_i),第二段轨迹第一帧图像的中心位置为(x_j,y_j)，要求

3)分别计算第一段单目标轨迹最后一帧图像的图像直方图H₁，第二段单目标轨迹第一帧图像的图像直方图H₂，bin的个数取16；

4)根据下式计算直方图H₁和直方图H₂的相似度：

其中

其中，d_h为相似度；H₁(I)为图像直方图H₁中灰度级I的像素个数；H₂(I)为图像直方图H₂中灰度级I的像素个数；N为灰度等级总数。

5)当满足条件1)和2)的约束情况下，d_h大于给定相似度阈值0.8时，认为此两个单目标轨迹为同一个目标的轨迹。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (6)

1.一种结合单目标轨迹的多目标跟踪方法，其特征在于，包括以下步骤：

S1，获取第t+1帧图像；

S2，对该第t+1帧图像进行多目标检测，构建第一目标位置集；

S3，对第t帧图像进行单目标跟踪，预测该目标在第t+1帧图像中的位置，构建第二目标位置集；

S4，将第一目标位置集和第二目标位置集进行合并，得到新目标位置集；

S5，将新目标与现有的单目标轨迹进行匹配，将新目标分配给匹配度最高的单目标轨迹中；

所述S5之后还包括S6，对单目标轨迹进行两两相似度计算，将相似度值大于给定相似度阈值的两个单目标轨迹进行连接；

所述相似度计算的方法如下：

1)约束两段单目标轨迹的时间间隔，设第一段轨迹的最后一帧图像的帧号是i,第二段轨迹第一帧图像的帧号为j，要求j-i<25；

2)约束两段单目标轨迹的位置间隔，设第一段轨迹的最后一帧图像中心位置为(x_i,y_i),第二段轨迹第一帧图像的中心位置为(x_j,y_j)，要求

3)分别计算第一段单目标轨迹最后一帧图像的图像直方图H₁，第二段单目标轨迹第一帧图像的图像直方图H₂，bin的个数取16；

4)根据下式计算直方图H₁和直方图H₂的相似度：

其中

其中，d_h为相似度；H₁(I)为图像直方图H₁中灰度级I的像素个数；H₂(I)为图像直方图H₂中灰度级I的像素个数；N为灰度等级总数；

5)当满足条件1)和2)的约束情况下，d_h大于给定相似度阈值0.8时，认为此两个单目标轨迹为同一个目标的轨迹。

2.根据权利要求1所述的结合单目标轨迹的多目标跟踪方法，其特征在于，所述目标跟踪采用神经网络SiamFC深度神经网络。

3.根据权利要求2所述的结合单目标轨迹的多目标跟踪方法，其特征在于，所述目标跟踪的具体内容如下：以第t帧图像中的目标为样本图像，以第t+1帧图像截取的子图像为待搜索图像，对所述样本图像与待搜索图像进行相同的变换得到对应的特征，并求解相似度；取最大相似度与给定相似度阈值进行比较，若最大相似度大于给定相似度阈值，则取该最大相似度对应的子图像为跟踪目标，记录子图像的位置为目标位置；否则判定第t+1帧图像未跟踪到目标。

4.根据权利要求1所述的结合单目标轨迹的多目标跟踪方法，其特征在于，所述S4中合并过程中存在以下三种情况：

第一目标位置集和第二目标位置集中同时包含某个目标，以第一目标位置集中对应该目标的位置作为新目标位置存入新目标位置集；

仅第一目标位置集中包含某个目标，以第一目标位置集中对应该目标的位置作为新目标位置存入新目标位置集；

仅第二目标位置集中包含某个目标，以第二目标位置集中对应该目标的位置作为新目标位置存入新目标位置集。

5.根据权利要求1所述的结合单目标轨迹的多目标跟踪方法，其特征在于，所述S5的具体方法如下：

依次计算新目标与现有的多个单目标轨迹所在位置的交并比；

其中，A为新目标所在位置，B为单目标轨迹中目标所在位置，IOU为两者的交并比；

取最大交并比与给定交并比阈值进行比较，若交并比大于交并比阈值，则将该新目标添加至最大交并比对应的单目标轨迹当中，否则创建新单目标轨迹。

6.根据权利要求1所述的结合单目标轨迹的多目标跟踪方法，其特征在于，所述给定相似度阈值为0.8。

Images