CN112541441A - 一种融合相关滤波的gm-phd视频多目标跟踪方法 - Google Patents

一种融合相关滤波的gm-phd视频多目标跟踪方法 Download PDF

Info

Publication number
CN112541441A
CN112541441A CN202011486143.XA CN202011486143A CN112541441A CN 112541441 A CN112541441 A CN 112541441A CN 202011486143 A CN202011486143 A CN 202011486143A CN 112541441 A CN112541441 A CN 112541441A
Authority
CN
China
Prior art keywords
target
tracking
frame
feature
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011486143.XA
Other languages
English (en)
Inventor
杨金龙
缪佳妮
张媛
倪鹏
蒋凌云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202011486143.XA priority Critical patent/CN112541441A/zh
Publication of CN112541441A publication Critical patent/CN112541441A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合相关滤波的GM‑PHD视频多目标跟踪方法，属于计算机视觉、模式识别和信息处理技术领域。所述方法采用相关滤波的思想，对目标进行跟踪，并加入图像信息的相交比判断，来对被遮挡的目标进行不更新目标模板和参数处理，从而减少目标模板的污染，减少误跟框，对于已经被遮挡的目标将会放入高斯混和概率假设密度滤波中进行位置预测更新操作，若后期目标重现将会重新关联上目标标签，从而减少碎片化的轨迹，弥补检测器漏检的缺点。最终通过在MOT17数据集上的结果证明，与目前有关GM‑PHD最好的跟踪算法GMPHDOGM17相比，多目标跟踪正确度MOTA指标上从原来的49.9提高至50.3。

Description

一种融合相关滤波的GM-PHD视频多目标跟踪方法
技术领域
本发明涉及一种融合相关滤波的GM-PHD视频多目标跟踪方法，属于计算机视觉、模式识别和信息处理技术领域。
背景技术
视频多目标跟踪是计算机视觉领域中一个重要的研究领域，具有智能监视，人机交互，行为识别，机器人导航和自动驾驶等多种应用。多目标跟踪可以为每个视频帧中被跟踪目标分配一致的标签，以产生每个目标的轨迹。目前，多目标跟踪主要分为在线跟踪以及批处理跟踪两类方法。在线跟踪指仅利用视频过去及现在的信息进行实时跟踪，这更加符合人们的场景需要，适合在智能监视，自动驾驶等实时性较强的应用。而批处理跟踪利用视频过去，现在以及未来的信息对目标进行跟踪，这样能使得跟踪的结果更加准确，可以运用在实时性要求不强的场景中。
经典的多目标跟踪算法是在检测跟踪的基础上将多目标跟踪问题转化为并行的单目标跟踪问题，即分别运用单目标跟踪器跟踪每一个目标从而实现对多目标的跟踪。这种方法能实现短期的目标精确跟踪，但长期跟踪效果不佳。比如目前较为主流的单目标跟踪算法—相关滤波以及孪生神经网络的方法，对于未被遮挡的目标能够实现持续的精确跟踪，但是当目标发生长期遮挡的情况时，由于目标模板受到污染，跟踪效果下降，目标的跟踪不精确，出现漏跟和失跟的现象，所以仅用并行的单目标跟踪器来解决多目标跟踪的问题还不够，需要能够实现目标运动轨迹估计的方法来进行多目标跟踪。
另外，在多目标的检测跟踪任务中，目标框的轨迹匹配和持续跟踪是研究的关键。在这一方面，一种基于随机有限集理论的多目标跟踪理论已被广泛关注，基于这个理论的PHD(Probability Hypothesis Density，概率假设密度)滤波已经运用在视频多目标跟踪任务中，它可以同时处理存活目标、新生目标和杂波等检测与跟踪问题。GM-PHD(GaussianMixture PHD，高斯混合-概率假设密度)作为PHD滤波的近似解，相比于粒子滤波(SMC-PHD，Sequential Monte Carlo PHD)具有更小的计算量，适合运用于真实的目标运动状态提取和轨迹估计。目前，已有的基于GM-PHD的视频多目标跟踪方法，如在GM-PHD的基础上融入身份重识别网络实现多目标的视频跟踪方法或融入不同检测结果的多目标跟踪方法，对于遮挡目标以及漏检目标的跟踪效果还不理想，为此，本发明提出一种融合相关滤波的GM-PHD视频多目标跟踪方法。
发明内容
为了解决现有多目标跟踪法方法对于发生目标遮挡时跟踪进度下降的问题，本发明提供了一种融合相关滤波的GM-PHD视频多目标跟踪方法，所述方法包括：
S1：初始化参数；初始帧时，当前帧的目标检测框集为
Figure BDA0002839277150000021
检测框
Figure BDA0002839277150000022
Figure BDA0002839277150000023
为第i个检测框的状态向量，其中
Figure BDA0002839277150000024
分别表示该检测框左上角横坐标、纵坐标，检测框宽、检测框高和置信度，
Figure BDA0002839277150000025
为当前帧目标检测框个数；
选取
Figure BDA0002839277150000026
的检测框作为这一帧的量测
Figure BDA0002839277150000027
进行后续步骤的计算；cth为置信度阈值，Nk表示k时刻的量测目标的数量，
Figure BDA0002839277150000028
表示第i个量测目标的中心位置和宽高信息；
每一个目标由一个六维向量的矩形框来表示：
Figure BDA0002839277150000029
其中
Figure BDA00028392771500000210
表示目标中心点的位置，
Figure BDA00028392771500000211
表示目标的速度信息，
Figure BDA00028392771500000212
表示目标的宽和高；当
Figure BDA00028392771500000213
时，将对应的检测框作为第一帧的新生目标，作为第一帧的目标状态集
Figure BDA00028392771500000214
Figure BDA00028392771500000215
Figure BDA00028392771500000216
初始化为零，并放入跟踪结果集
Figure BDA00028392771500000217
中，其中，Mk为满足条件
Figure BDA00028392771500000218
的检测框个数，目标结果状态表示为
Figure BDA00028392771500000219
Figure BDA00028392771500000220
分别表示目标结果状态的左上角横坐标、纵坐标，目标框宽、目标框高和对应赋值的目标标签；
将
Figure BDA00028392771500000221
用高斯混合的形式表示成后验强度
Figure BDA00028392771500000222
Figure BDA00028392771500000223
表示目标
Figure BDA00028392771500000224
的预期数量，初始设置为1；
Figure BDA00028392771500000225
初始化为diag([1 1 1 1 1 1])；
S2：当k>1时，对每一个目标进行GM-PHD的预测步骤，得到高斯分量
Figure BDA00028392771500000226
Figure BDA00028392771500000227
并与这一帧的检测集
Figure BDA00028392771500000228
进行关联匹配，将目标分为存活目标集合VS，新生目标集合R和杂波K，漏检目标集合VL和结束跟踪的目标集合VC，其中Jk表示高斯分量的个数，
Figure BDA00028392771500000229
为这一帧检测框的个数；
S3：在进行目标跟踪时，对于目标a，GM-PHD根据量测集生成一系列的高斯分量，计算高斯分量与a的相似度，并将相似度作为对应的高斯分量的权重；
将当前帧所有的高斯分量继续用来下一帧的跟踪操作，其中，选取wk值大于0.2的目标，提取其目标位置信息，框大小信息以及标签信息，放入跟踪结果集
Figure BDA00028392771500000230
中，作为当前帧的跟踪框结果，并显示记录下来。
可选的，所述S2中，将目标分为存活目标集合VS，新生目标集合R和杂波K，漏检目标集合VL和结束跟踪的目标集合VC，包括：
计算当前帧中第i个检测框与第j个高斯分量的交并比结果aij：
Figure BDA0002839277150000031
将每一个高斯分量xj与每一个检测框
Figure BDA0002839277150000032
进行一次交并比的计算，得到关联矩阵A：
Figure BDA0002839277150000033
若aij＞Tiou，则将其判定为同一个目标，记为存活目标VS，否则为不同的目标；Tiou为预先设定的交并比阈值；
如果对于同一个检测框有两个或者多个高斯分量符合大于交并比阈值Tiou，则取交并比最大的作为最终关联结果；如果发生两个值一样的情况，则对分量进行特征相似计算；若对于第i行中没有数值大于交并比阈值Tiou，则认为
Figure BDA00028392771500000314
为新生目标或者杂波，若对于第j列中没有数值大于交并比阈值Tiou，则认为xj为应该结束跟踪的目标或者漏检的目标。
可选的，在判断存活目标时，选取关联矩阵A的第j列中交并比最大的值
Figure BDA0002839277150000034
Figure BDA0002839277150000035
并记录其位置i，如果aij＞Tiou，在第i行中选取交并比最大的值
Figure BDA0002839277150000036
Figure BDA0002839277150000037
并记录其位置p；
如果p＝j则认为xj为关联上的存活目标，xj→VS，并将
Figure BDA0002839277150000038
从检测集
Figure BDA0002839277150000039
中移除；否则分别计算xj、xp与
Figure BDA00028392771500000310
的特征相似度，如果xj更接近
Figure BDA00028392771500000311
则重复p＝j的步骤，否则将xj→Vlc，Vlc＝{VL,VC}，表示为未区分的漏跟目标VL和结束跟踪目标集VC。
可选的，在进行存活目标的判断后，若当前帧剩余未匹配的检测集
Figure BDA00028392771500000312
不为空，则将
Figure BDA00028392771500000313
全都作为包含杂波的新生目标添加入GM-PHD成员中。
可选的，在进行漏跟目标VL和结束跟踪目标集VC的判断时，对同一目标的相邻两帧进行相似度计算，相似度值大于阈值Tw，则认为该目标没有发生遮挡或者形变的情况，同时更新该目标的目标模板和模型参数，否则该目标可能发生了遮挡和形变，不更新该目标的目标模板和模型参数；
计算更新后的目标模板和模型参数响应热图的最大值，若最大值小于Tcf，则认为本帧中没有该目标，结束跟踪，添加到结束跟踪目标集VC，否则认为是漏检目标，应该持续跟踪，并添加至VL中。
可选的，所述S3中，高斯分量的权重的计算过程包括：
特征提取：将目标a和高斯分量b将经过同一个VGG16的深度网络，选取pool1层，pool2层，pool3层的特征结果，然后经过PCA降维，减少不必要的冗余参数，每层选取D个通道的特征结果，得到特征集
Figure BDA0002839277150000041
和
Figure BDA0002839277150000042
Figure BDA0002839277150000043
Figure BDA0002839277150000044
表示目标a第n层池化层上第d个通道的特征图；
特征信息融合：将得到的特征集每一层的特征信息做融合；将上述步骤中得到的
Figure BDA0002839277150000045
与
Figure BDA0002839277150000046
来进行如下操作：
Figure BDA0002839277150000047
F＝{F1,...,Fd,...,FD}
权重计算：将得到的特征集每一层的特征信息做融合后进行权重计算，包括：
将F转为一维向量，取阈值T，将F中大于T的部分取出，计算它们的个数num，即表示这两个目标图像信息相似的部分，然后计算其占得整个特征层的比例权重
Figure BDA0002839277150000048
若得到的值wk,ab大于相似度阈值Tw，则说明该高斯分量b与目标a较为相似，否则，认为该高斯分量b与目标a不相似，权重较小。
可选的，所述融合操作将采用特征金字塔的方法来执行：
Figure BDA0002839277150000049
其中×为特征层的插值操作，通过插值将
Figure BDA00028392771500000410
尺度变为原来的两倍，+将两个相同尺度的特征层进行相加实现两个特征层的融合，
Figure BDA00028392771500000411
与
Figure BDA00028392771500000412
的计算步骤相同。
可选的，所述特征提取过程中，采用VGG16的网络，同时提取目标的浅层特征和深度特征，浅层特征包含目标的表观特征；目标的深层特征包含着目标的深层信息。
可选的，所述方法在目标跟踪过程中，对被遮挡的目标进行不更新目标模板和参数处理，对于已经被遮挡的目标将会放入高斯混和概率假设密度滤波中进行位置预测更新操作，若后期目标重现将会重新关联上目标标签。
本申请还提供上述方法在智能监视，人机交互，行为识别，机器人导航和自动驾驶中的应用。
本发明有益效果是：
本发明针对在高斯混和概率假设密度滤波的视频多目标跟踪中因为没有融入图像信息而导致的目标跟踪不精确，出现失跟、误跟的问题，提出了一种高斯混和PHD的相关滤波多目标跟踪方法。本方法采用相关滤波的思想，对目标进行跟踪，并加入图像信息的相交比判断，来对被遮挡的目标进行不更新目标模板和参数处理，从而减少目标模板的污染，减少误跟框，对于已经被遮挡的目标则将会放入高斯混和概率假设密度滤波中进行位置预测更新操作，若后期目标重现将会重新关联上目标标签，从而减少碎片化的轨迹，弥补检测器漏检的缺点。最终通过在MOT17数据集上的结果证明，与目前有关GM-PHD最好的跟踪算法GMPHDOGM17相比，多目标跟踪正确度MOTA指标上从原来的49.9提高至50.3。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例中高斯混合PHD的相关滤波多目标跟踪框架图。
图2是本发明一个实施例中09序列特征相似度计算过程示意图。
图3是本发明一个实施例中09序列的特征相似度计算示例图。
图4MOT17-04序列上遮挡目标仿真结果图。
图5MOT17-11序列上漏检目标仿真结果图。
图6MOT17-09序列上误跟目标仿真结果图。
图7MOT17-13序列上大位移目标仿真结果图。
图8MOT17-10序列上模糊目标仿真结果图。
图9MOT17-09序列上新生目标仿真结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
首先对本申请涉及的相关技术名词进行介绍如下：
1.GM-PHD
在随机有限集框架中，在k时刻的目标状态和目标量测信息分别由两个有限集来表示：
Figure BDA0002839277150000051
和
Figure BDA0002839277150000052
而GM-PHD是提出的PHD回归的闭合解，用于描述多个目标在一段时间内的运动状态，主要操作步骤如下：
1.1预测
假设后验强度vk-1在k-1时刻满足高斯分布，那么它在k-1时刻的状态将用以下公式给出：
Figure BDA0002839277150000053
其中，Jk-1表示在k-1时刻的高斯分量的数量，
Figure BDA0002839277150000061
表示为在高斯函数中目标强度的峰值，
Figure BDA0002839277150000062
为协方差矩阵，表示该目标在
Figure BDA0002839277150000063
附近的离散程度，
Figure BDA0002839277150000064
表示在k-1时刻
Figure BDA0002839277150000065
的预期数量，在这里每个x都有一个标签
Figure BDA0002839277150000066
而GM-PHD的预测步骤由以下公式给出：
vk|k-1(x)＝vs,k|k-1(x)+γk(x)
Figure BDA0002839277150000067
Figure BDA0002839277150000068
其中vs,k|k-1(x)表示预测目标的存活强度，γk(x)表示新生目标的预测强度，ek|k-1表示目标的存活概率。F为状态转移矩阵，Q为过程噪声协方差矩阵。
1.2量测更新
在k时刻的量测可以由检测器的检测结果获得，但是检测器的结果并不是总是能获得最好的结果，会出现误检和漏检的情况。所以这里将量测分为存活量测Zk,s，新生量测Zk,b，和背景杂波Γk。
首先，每个检测框都会有一个置信度分数
Figure BDA0002839277150000069
选取一个置信度阈值cth，提取出置信度分数
Figure BDA00028392771500000610
的检测框作为第k帧的量测Zk,r＝Zk,b∪Zk,s，剔除了背景杂波Γk。一旦获得有效的量测信息后，第k帧的GM-PHD更新操作如下所示：
Figure BDA00028392771500000611
其中
Figure BDA00028392771500000612
Figure BDA00028392771500000613
H为观测矩阵，R为观测噪声协方差矩阵，pM为丢失检测框的概率，Kk(z)为杂波密度，并给每一个高斯更新目标都分配一个与预测时相同的身份标签，
Figure BDA00028392771500000614
1.3合并与剪枝
在经历了GM-PHD更新后，为了保持轨迹的可执行性并删除错误轨迹，选取阈值wth，对于同一标签的目标进行合并，并删除较小的目标
Figure BDA00028392771500000615
2.ECO
从一开始的最小输出平方误差(MOSSE)到核相关滤波(KCF)，再到连续卷积算法(C-COT)、有效卷积算法(ECO)，精确度和效率都有了提升。与KCF不同，KCF假设每个特征通道都有着相同的空间分辨率，采用的都是图像的浅层特征信息，如HOG特征，而C-COT是在连续域内多通道或者多个分辨率特征的自然融合实现亚像素精度的定位，可以同时实现目标跟踪框的尺度变化，不用像DSST那样另外训练一个尺度判别器，并能融合不同通道的特征信息，使得图像的特征更加完善和全面。ECO是在C-COT的基础上对模型的特征进行降维，并利用高斯混合模型减少样本模型，从而减少冗余特征，提高运算速度和精度。下面将对ECO的原理做具体说明。
2.1因式分解卷积操作
在经历过深层卷积特征提取后的特征图是离散且不连续的，为了解决该问题，C-COT采用了三次立方插值来获取连续空间域的特征图，对于每一个特征通道xd，定义的插值操作如下：
Figure BDA0002839277150000071
最终插值样本Jd{xd}(t)由一个内插函数bd的平移形式叠加构造而出，
Figure BDA0002839277150000072
接下来在给定的M个样本中，放入最小泛化函数中训练滤波器f＝(f1,…,fd)，d为通道数，具体公式如下：
Figure BDA0002839277150000073
αj表示样本权重，yj是第j个目标样本的设计输出，一个以中心点位置输出最高的2维矩阵，ω是惩罚矩阵，离目标中心位置越远，惩罚系数越大。
由于在特征提取的时候会有大量的冗余特征，增加计算量，同时还有可能引起过拟合等问题，对此，ECO在C-COT的基础上提出了简化特征大小的降维操作，在原本为D的滤波器降维至C个，转到傅里叶域进行计算，得到新的最小泛化函数为：
Figure BDA0002839277150000074
P为系数矩阵，然后采用高斯牛顿和共轭梯度的方法求解上述函数的解。
2.2简化样本空间
在C-COT中，以M个样本为一组训练滤波器，然而其中会出现有很多相似的样本，从而造成大量的冗余计算，所以在ECO中采用了高斯混合模型来对每一个模型进行概率分布计算，将原本为M的样本减少到L个。
Figure BDA0002839277150000075
对于新样本xj，初始化πm＝γ,μm＝xj，如该组中的数目大于L小于M，则抛弃权重πl小于某个阈值的样本，否则进行将相邻两个样本xk和xl的合并，
Figure BDA0002839277150000081
2.3模型更新策略
在KCF跟踪中采用的是每一帧都更新模型和过滤器，在ECO中这就意味着在添加每个新样本后都要放入原方程中进行迭代优化，这将会造成大量计算代价，所以，这里采用间隔性的更新过滤器，目标模板还是逐帧更新。最终可以改善跟踪结果，主要归因于训练样本的过度拟合，改善了更新损失。
实施例一：
本实施例提供一种融合相关滤波的GM-PHD视频多目标跟踪方法，参见图1，所述方法包括：
S1：初始化参数；初始帧时，当前帧的目标检测框集为
Figure BDA0002839277150000082
检测框
Figure BDA0002839277150000083
Figure BDA0002839277150000084
为第i个检测框的状态向量，其中
Figure BDA0002839277150000085
分别表示该检测框左上角横坐标、纵坐标，检测框宽、检测框高和置信度，
Figure BDA0002839277150000086
为当前帧目标检测框个数；
选取
Figure BDA0002839277150000087
的检测框作为这一帧的量测
Figure BDA0002839277150000088
进行后续步骤的计算，cth为置信度阈值，Nk表示k时刻的量测目标的数量，
Figure BDA0002839277150000089
表示第i个量测目标的中心位置和宽高信息；
每一个目标由一个六维向量的矩形框来表示：
Figure BDA00028392771500000810
其中
Figure BDA00028392771500000811
表示目标中心点的位置，
Figure BDA00028392771500000812
表示目标的速度信息，
Figure BDA00028392771500000813
表示目标的宽和高；当
Figure BDA00028392771500000814
时，将对应的检测框作为第一帧的新生目标，作为第一帧的目标状态集
Figure BDA00028392771500000815
Figure BDA00028392771500000816
Figure BDA00028392771500000817
初始化为零，并放入跟踪结果集
Figure BDA00028392771500000818
中，其中，Mk为满足条件
Figure BDA00028392771500000819
的检测框个数，目标结果状态表示为
Figure BDA00028392771500000820
Figure BDA00028392771500000821
分别表示目标结果状态的左上角横坐标、纵坐标，目标框宽、目标框高和对应赋值的目标标签；
将
Figure BDA00028392771500000822
用高斯混合的形式表示成后验强度
Figure BDA00028392771500000823
Figure BDA00028392771500000824
表示目标
Figure BDA00028392771500000825
的预期数量，初始设置为1；
Figure BDA00028392771500000826
初始化为diag([1 1 1 1 1 1])；
S2：当k>1时，对每一个目标进行GM-PHD的预测步骤，得到高斯分量
Figure BDA00028392771500000827
Figure BDA00028392771500000828
并与这一帧的检测集
Figure BDA00028392771500000829
进行关联匹配，将目标分为存活目标集合VS，新生目标集合R和杂波K，漏检目标集合VL和结束跟踪的目标集合VC，其中Jk表示高斯分量的个数，
Figure BDA0002839277150000091
为这一帧检测框的个数；
S3：在进行目标跟踪时，对于目标a，GM-PHD根据量测集生成一系列的高斯分量，计算高斯分量与a的相似度，并将相似度作为对应的高斯分量的权重；
将当前帧所有的高斯分量继续用来下一帧的跟踪操作，其中，选取wk值大于0.2的目标，提取其目标位置信息，框大小信息以及标签信息，放入跟踪结果集
Figure BDA0002839277150000092
中，作为当前帧的跟踪框结果，并显示记录下来。
实施例二
本实施例提供一种融合相关滤波的GM-PHD视频多目标跟踪方法，所述方法包括：
步骤一：初始化参数，所述参数包括：初始帧(即k＝1)时，当前帧的目标检测框集为
Figure BDA0002839277150000093
检测框
Figure BDA0002839277150000094
为第i个检测框的状态向量，其中
Figure BDA0002839277150000095
分别表示该检测框左上角横坐标、纵坐标，检测框宽、检测框高和置信度，
Figure BDA0002839277150000096
为当前帧目标检测框个数；选取
Figure BDA0002839277150000097
的检测框作为这一帧的量测
Figure BDA0002839277150000098
进行后续步骤的计算，cth为置信度阈值，Nk表示k时刻的量测目标的数量，
Figure BDA0002839277150000099
表示第i个量测目标的中心位置和宽高信息。
在多目标跟踪系统中，每一个目标由一个六维向量的矩形框来表示：
Figure BDA00028392771500000910
其中
Figure BDA00028392771500000911
表示目标中心点的位置，
Figure BDA00028392771500000912
表示目标的速度信息，
Figure BDA00028392771500000913
表示目标的宽和高。
当
Figure BDA00028392771500000914
时，将对应的检测框作为第一帧的新生目标，作为第一帧的目标状态集
Figure BDA00028392771500000915
初始化为零，并放入跟踪结果集
Figure BDA00028392771500000917
中，其中，Mk为满足条件
Figure BDA00028392771500000918
的检测框个数，目标结果状态表示为
Figure BDA00028392771500000919
分别表示目标结果状态的左上角横坐标、纵坐标，目标框宽、目标框高和对应赋值的目标标签。
将
Figure BDA00028392771500000921
用高斯混合的形式表示成后验强度
Figure BDA00028392771500000922
Figure BDA00028392771500000923
表示目标
Figure BDA00028392771500000924
的预期数量，这里初始设置为1。
Figure BDA00028392771500000925
初始化为diag([1 1 1 1 1 1])。后续基于GM-PHD的相关滤波视频多目标跟踪方法框架如图1所示。
步骤二：当k>1时，首先对每一个目标进行GM-PHD的预测步骤，得到高斯分量
Figure BDA00028392771500000926
Figure BDA00028392771500000927
这时需要与这一帧的检测集
Figure BDA00028392771500000928
进行关联匹配，将目标分为存活目标集合VS，新生目标R和杂波K，漏检目标VL和结束跟踪的目标VC，其中Jk表示高斯分量的个数，
Figure BDA0002839277150000101
为这一帧检测框的个数。
Figure BDA0002839277150000102
Figure BDA0002839277150000103
aij表示第i个检测框与第j个高斯分量的交并比结果，将每一个高斯分量xj与每一个检测框
Figure BDA0002839277150000104
进行一次交并比的计算(IOU)，从而得到一个关联矩阵，如果计算得到的值大于阈值Tiou，则将其判定为同一个目标，记为存活目标VS，否则为不同的目标。
如果对于同一个检测框有两个或者多个高斯分量符合大于交并比阈值Tiou，则取交并比最大的作为最终关联结果；如果发生两个值一样的情况，则对分量进行特征相似计算。若对于第i行中没有数值大于交并比阈值Tiou，则认为
Figure BDA0002839277150000105
为新生目标或者杂波，若对于第j列中没有数值大于交并比阈值Tiou，则认为xj为应该结束跟踪的目标或者漏检的目标。
步骤三：存活目标的判断，所述将对存活目标的判断为：根据上述对每一个高斯分量和每一个检测框计算IOU之后得到的关联矩阵A，选取A的第j列中交并比最大的值
Figure BDA0002839277150000106
Figure BDA0002839277150000107
并记录其位置i，如果aij＞Tiou，在第i行中选取交并比最大的值
Figure BDA0002839277150000108
Figure BDA0002839277150000109
并记录其位置p，如果p＝j则认为xj为关联上的存活目标，xj→VS，并将
Figure BDA00028392771500001010
从检测集
Figure BDA00028392771500001011
中移除；否则需用特征相似度进一步判断
Figure BDA00028392771500001012
与xj、xp中哪个更接近，如果xj更接近则重复p＝j的步骤，否则将xj→Vlc，Vlc＝{VL,VC}，表示为未区分的漏跟目标VL和结束跟踪目标集VC。
步骤四：新生目标的判断，所述将对新生目标的判断为：在进行存活目标的判断后，若当前帧剩余未匹配的检测集
Figure BDA00028392771500001013
不为空，则将
Figure BDA00028392771500001014
全都作为新生目标添加入GM-PHD成员中，一同进入后续的GM-PHD更新步骤中去。
步骤五：漏跟目标VL和结束跟踪目标集VC的判断。原本的ECO跟踪将目标模板和模型参数分开更新，逐帧更新目标模板，相隔数帧更新模型参数，减少过拟合。但是在复杂场景下的多目标跟踪中，容易出现目标遮挡等操作，如果此时再逐帧更新目标模板将会造成目标模板污染的问题，从而导致目标跟踪框产生偏移，产生大量的漏跟和误跟。
在这里，采用了上述特征相似度计算的部分，对同一目标的相邻两帧进行相似度计算，相似度值较大(即大于阈值Tw)，则认为该目标没有发生遮挡或者形变的情况，同时更新该目标的目标模板和模型参数，否则该目标可能发生了遮挡和形变，不更新该目标的目标模板和模型参数。
若改进后的ECO获得的响应热图的最大值小于Tcf，则认为本帧中没有该目标，应该结束跟踪，添加到结束跟踪目标集VC，否则认为是漏检目标，应该持续跟踪，并添加至VL中。
步骤六：特征相似度计算进行GM-PHD更新步骤。在GM-PHD更新的权重计算中，由于检测器对于小目标的检测效果的不稳定性，导致存在大量背景杂波干扰，这些杂波有的较为靠近目标附近，而传统的GM-PHD更新的权重计算仅仅只运用了目标的位置信息，没有图像信息，从而引起频繁的标签跳变，所以这里的权重计算将采用新的方法。
在特征提取方面，本申请采用VGG16的网络，同时提取目标的浅层特征和深度特征，浅层特征包含目标的表观特征，更加的分明；而目标的深层特征包含着目标的深层信息，而高斯分量的权重计算将分为特征提取、特征融合和权重计算三个部分，图2中描述了特征相似度计算过程。
在GM-PHD的更新步骤中，对于目标a，GM-PHD会根据量测集生成一系列的高斯分量，计算这些高斯分量与a的相似度将作为这些高斯分量的权重。下面将会以目标a与某一个高斯分量b为例进行权重计算的说明。
步骤七：特征相似度计算的特征提取实现。
所述特征提取的操作为：对于目标a和高斯分量b将经过同一个VGG16的深度网络，选取pool1层，pool2层，pool3层的特征结果，然后经过PCA降维，减少不必要的冗余参数，每层将选取D个通道的特征结果，得到特征集
Figure BDA0002839277150000111
和
Figure BDA0002839277150000112
Figure BDA0002839277150000113
表示目标a第n层池化层上第d个通道的特征图。
步骤八：特征相似度计算的特征信息融合实现。
所述特征信息融合的操作为：将得到的特征集每一层的特征信息做融合再做权重计算，这样能同时兼顾目标的深层特征的语义信息和浅层特征得到的信息，具体的融合操作将采用特征金字塔的方法来执行。
Figure BDA0002839277150000115
其中×为特征层的插值操作，通过插值将
Figure BDA0002839277150000116
尺度变为原来的两倍，+将两个相同尺度的特征层进行相加实现两个特征层的融合，
Figure BDA0002839277150000117
与
Figure BDA0002839277150000118
的计算步骤相同。
步骤九：特征相似度计算的权重计算。主要将上述步骤中得到的
Figure BDA0002839277150000119
与
Figure BDA00028392771500001110
来进行如下操作：
Figure BDA00028392771500001111
F＝{F1,...,Fd,...,FD}
将F转为一维向量，取阈值T，将F中大于T的部分取出，计算它们的个数num，即表示这两个目标图像信息相似的部分，然后计算其占得整个特征层的比例权重
Figure BDA0002839277150000121
若得到的值wk,ab大于相似度阈值Tw，则说明该高斯分量b与目标a较为相似，否则，认为该高斯分量b与目标a不相似，权重较小。
特征相似度的计算结果如图2(b)中显示，图2(b)的右部分第k帧GM-PHD根据第k帧的量测信息生成一系列的高斯分量，图2(b)的左部分为第k-1帧，该目标的模板，然后分别计算每个高斯分量与该目标的特征相似度。
步骤十：提取目标状态。
所述提取目标状态的操作为：这一帧所有的高斯分量将继续用来下一帧的跟踪操作，其中，选取wk值大于0.2的目标，提取其目标位置信息，框大小信息以及标签信息，放入跟踪结果集
Figure BDA0002839277150000122
中，作为这一帧的跟踪框结果，并显示记录下来。
为验证实施例一中所述的基于GM-PHD(高斯混合概率假设密度)的相关滤波视频多目标跟踪方法的效果，实验如下：
1.实施条件及参数
本申请在MOTChallenge Benchmark上进行实验，MOTChallenge Benchmark是一种非常通用的复杂场景下的视频多目标跟踪数据集，主要是行人的跟踪，包含了一系列现实生活中复杂的多人场景，如：商场监控，手机录像，公交车记录仪等等，还包括了小目标和大目标的运动视频，明亮和昏暗场景下的行人运动等。
MOT17由7个训练序列和7个测试序列组成，每一个视频序列都提供了3个公用的检测结果(DPM,FRCNN,SDP)，其中7个训练序列提供真实跟踪结果，而测试序列用于多目标跟踪算法结果比较。
本申请采用MOTChallenge Benchmark提供的评价算法，评价标准包含多目标跟踪精度(MOTP)，多目标跟踪正确度(MOTA)，总误跟数(FP)，总漏跟数(FN)，标签跳变数(IDS)，跟踪轨迹数(MT)，丢失目标数(ML)。
2.实验过程中的软硬件及相关参数设置
本申请方法在处理器为Intel Core i7-8700、3.2GHz，12核，内存为16GB，显卡为NVIDIA Geforce GTX 1080Ti的机器上进行，采用Matlab R2019b的软件编写。
迁移模型Fk＝[I2,I2,02；02,I2,02；02,02,I2]，过程噪声协方差矩阵设置为Qk-1＝diag([64,64,16,16,36,36])，I2和02分别为2×2的单位矩阵和零矩阵，观测模型为Hk＝[I2,02,02；02,02,I2]，观测噪声协方差为Rk＝diag([64,64])。
在实现GM-PHD滤波的过程中，目标丢失概率pM＝0.5，杂波参数设置为κ＝10-4，wth＝1×10-5，在检测信息中选取量测集的阈值cth根据不同检测器的取值不同，这主要是参考IOU17方法，DPM中cth＝0.2，FRCNN中cth＝0，SDP中cth＝0.4，关联矩阵中Tiou＝0.4，Tcf＝0.5，特征相似度计算中的T＝50，改进后的ECO中Tw＝0.7。
3.实验结果的定性分析
具体实验主要针对遮挡目标、检测丢失、误跟目标、大位移目标、模糊目标以及新生目标六个方面对性能进行评估，实验结果如下：
实验一：遮挡目标
面对受遮挡的目标，该检测框将会因为遮挡长期的消失，本申请先用GM-PHD进行目标位置的预测，并用改进版的ECO滤波进行跟踪，当目标完全遮挡后，相关滤波将无法根据图片信息持续跟踪目标，此时GM-PHD将会根据前序帧得到的运动速度信息预测被遮挡目标的运动轨迹，从而实现部分目标的持续跟踪，减少碎片化的轨迹、标签跳变数和漏跟数。如图4所示，图4(a)中所示，椭圆框圈出了被遮挡的目标，根据结果所示，本申请所提方法即使发生了遮挡还是能持续的跟踪目标，而IOU17、Deep Sort以及Sort方法因为缺少遮挡情况下的检测框，所以无法跟上被遮挡目标。
IOU17可参考ERIK B,VOLKER E,THONMAS S.High-speed tracking-by-detectionwithout using image information[C]//Proceedings of the 14th InternationalConference on Advanced Video and Signal Based Surveillance.Lecce,Italy，29Aug.-1Sept.2017.New York:IEEE,2017:1-6.；
Deep Sort可参考NICOLAI W,ALEX B,DIETRICH P,et al.Simple online andreal-time tracking with a deep association metric[C]//Proceedings of the2017IEEE International Conference on Image Processing.Beijing,China,17-20September 2017.New York:IEEE,2017:3645-3649.；
Sort可参考ALEX B,ZONGYUAN G,LIONEL O,et al.Simple online and real-time tracking[C]//Proceedings of the 2016IEEE International Conference onImage Pro-cessing.Phoenix,AZ,USA.25-28September 2016.New York:IEEE,2016:3464-3468.。
实验二：漏检目标
由于检测器的不稳定性，经常会出现原本十分清晰的目标在某一时刻突然没有对应的检测框，在类似于IOU17这类十分依赖检测框的跟踪方法中，就会因为没有对应的检测框而直接缺少跟踪框。本申请所提出的方法会根据之前的检测框信息建立目标模板，借用改进版的ECO对目标进行持续跟踪，若目标没有发生大范围的遮挡，则改进版的ECO都能实行持续稳定的跟踪，如图5所示，椭圆框圈出了漏检目标，根据实验结果显示，相对于其他方法，本发明能很好的应对漏检目标的跟踪情况。
实验三：误跟目标
在检测器对图像进行行人检测后，会不可避免的产生一些误检框，如果对这些误检框不加筛选将会产生一系列的误跟框，增加标签跳变数。还有一些跟踪算法会产生跟踪框偏移，从而导致误跟。从图6中(b)可以看出，在使用了改进版的ECO跟踪方法之前，虽然在一定程度上可以跟上椭圆圈出的目标，但是跟踪框会因为目标模板信息的污染等原因导致目标跟踪框逐渐偏移，这会导致后期存在大量的误跟框，而在本申请提出的方法中，不光能跟上受遮挡的目标，而且能准确的跟上，不发生偏移，而由图6中(c)、(d)、(e)和(f)可以看出Deep Sort、Sort以及IOU17等方法直接漏跟了目标。
实验四：大位移目标
对于大位移运动的目标，仅仅使用检测框的交并比信息是不够的，对同一目标的历史轨迹将难以关联，而本申请所提出的方法先通过GM-PHD的预测步骤，对目标的这一帧位置做预测，然后在此基础上通过改进的ECO*，这样能同时结合目标的历史轨迹信息和图像信息最终实现对大位移目标的持续跟踪。根据图7中对椭圆目标的跟踪显示，本发明能持续的跟踪上大位移的目标，而SST发生了频繁的标签跳变，IOU17直接丢失目标。
SST可参考SUN S J,AKHTAR N,SONG H S,et al.Deep affinity network fornultiple object tracking[J].IEEE trans-actions on pattern analysis andmachine intelli-gence,2019.。
实验五：模糊目标
在复杂的多目标跟踪场景中，经常会出现摄影设备的剧烈抖动导致的目标模糊，这对检测器和目标轨迹的预测带来了相当大的挑战。由于检测框的丢失，使得目标缺乏这一帧的量测信息，目标轨迹无法关联，我们所提出的方法通过ECO*，提取目标的表观特征和深度特征，在下一帧中定位该目标的位置，即使是模糊的目标也能稳定跟踪。根据图8中对椭圆目标的跟踪结果显示，对比与其他跟踪方法，本发明能持续的跟踪上模糊目标，减少漏跟。
实验六：新生目标
本申请新生目标的信息由检测器的检测结果来获取，检测器的检测结果和跟踪算法的效果同时决定了获得新生目标的能力。检测器的检测结果越精确，算法获取的新生目标越准确，从而能实现实时跟踪，而算法对于检测框是否是新生目标的判断影响着新生目标的获取能力。本申请通过交并比和检测框置信度分数来判断新生目标，相较于SST方法中被遗漏的两个新生目标，本申请的方法能很好的提取出新生目标信息，并持续跟踪，具体的跟踪效果如下图9所示。对于椭圆圈出的新生目标，本发明方法能获得并进行后续的跟踪，而其他方法直接舍弃该目标，导致后期出现大量的漏跟情况。
4.实验结果的定量分析
不同跟踪方法的对比分析实验。首先在MOT17训练集上进行实验，得到的具体结果如表1所示，其中GMPHD-FPN-ECO*表示的是本申请所提出的融合特征相似度计算的GM-PHD和修改后的ECO方法跟踪结果，GMPHD-FPN-ECO是融合特征相似度计算的GM-PHD和没有修改后的ECO方法跟踪结果，GMPHD-FRN-KCF使用KCF的融合特征相似度计算的GM-PHD的结果，GMPHD-FRN是只使用了融合特征相似度计算的GM-PHD跟踪方法，GMPHD-HOG是在GMPHD-FPN-ECO*方法的基础上将特征相似度计算换成了简单HOG特征计算的跟踪方法，并与其他的跟踪方法进行比较。
从表1中可以看出，GMPHD-FPN-ECO*的FN指标和IDS指标的最好的，因为本申请提供的方法使用了深层图像信息与浅层图像信息相融合的特征信息，并改进了ECO中目标模板的更新问题，使得本申请方法能更好的应对目标模糊，检测框丢失以及目标遮挡的漏跟问题，从而能减少目标的漏跟数和标签跳变数。与没有改进的ECO跟踪方法相比，原ECO由于遮挡时的目标模板也在进行叠加的更新，会使目标模板受到污染，从而当目标重现时无法准确的跟上目标，所以会产生大量的漏跟数和标签跳变。
与其他跟踪方法相比，本申请所提出的方法能根据原有的检测框信息较好的跟踪上目标，大量减少了漏跟框(FN)，IOU17的跟踪方法完全依赖检测结果，对于漏跟目标无法进行及时的跟踪；Deep Sort方法在获得检测结果后会进行一定程度是删选，从而减少虚假目标，但同时也删掉了许多真实目标从而导致漏跟；Sort方法也存在与Deep Sort方法相同的问题，并且还产生了大量的误跟框；SST在实现对漏检目标的跟踪中会产生大量的误跟框，从而导致MOTA的指标不高。
表1 MOT17训练集的实验结果
Figure BDA0002839277150000151
光在MOT17训练集上的实验数据还不够，根据在MOTChallenge上MOT17数据集提交的最新结果显示，本申请所提出的算法在GM-PHD的相关算法中MOTA的指标是最好的，具体的实验结果如表2所示。
表2 MOT17实验结果
Figure BDA0002839277150000161
从表2中可以看出，本申请所提方法在尽可能减少误跟框(FP)的情况下，能持续的跟踪上目标，从而能减少漏跟框(FN)，提升MOTA精度，这主要是因为本申请提供的方法采用了融合浅层和深层图像信息的特征相似度计算方法，并采用修改后的ECO持续的跟踪目标，使得跟踪效果在误跟指标和漏跟指标中取得平衡。
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种融合相关滤波的GM-PHD视频多目标跟踪方法，其特征在于，所述方法包括：
S1：初始化参数；初始帧时，当前帧的目标检测框集为
Figure FDA0002839277140000011
检测框
Figure FDA0002839277140000012
Figure FDA0002839277140000013
为第i个检测框的状态向量，其中
Figure FDA0002839277140000014
分别表示该检测框左上角横坐标、纵坐标，检测框宽、检测框高和置信度，
Figure FDA0002839277140000015
为当前帧目标检测框个数；
选取
Figure FDA0002839277140000016
的检测框作为这一帧的量测
Figure FDA0002839277140000017
进行后续步骤的计算；cth为置信度阈值，Nk表示k时刻的量测目标的数量，
Figure FDA0002839277140000018
表示第i个量测目标的中心位置和宽高信息；
每一个目标由一个六维向量的矩形框来表示：
Figure FDA0002839277140000019
其中
Figure FDA00028392771400000110
表示目标中心点的位置，
Figure FDA00028392771400000111
表示目标的速度信息，
Figure FDA00028392771400000112
表示目标的宽和高；
当
Figure FDA00028392771400000113
时，将对应的检测框作为第一帧的新生目标，作为第一帧的目标状态集
Figure FDA00028392771400000114
Figure FDA00028392771400000115
Figure FDA00028392771400000116
初始化为零，并放入跟踪结果集
Figure FDA00028392771400000117
中，其中，Mk为满足条件
Figure FDA00028392771400000118
的检测框个数，目标结果状态表示为
Figure FDA00028392771400000119
Figure FDA00028392771400000120
分别表示目标结果状态的左上角横坐标、纵坐标，目标框宽、目标框高和对应赋值的目标标签；
将
Figure FDA00028392771400000121
用高斯混合的形式表示成后验强度
Figure FDA00028392771400000122
Figure FDA00028392771400000123
表示目标
Figure FDA00028392771400000124
的预期数量，初始设置为1；
Figure FDA00028392771400000125
初始化为diag([1 1 1 1 1 1])；
S2：当k>1时，对每一个目标进行GM-PHD的预测步骤，得到高斯分量
Figure FDA00028392771400000126
Figure FDA00028392771400000127
并与这一帧的检测集
Figure FDA00028392771400000128
进行关联匹配，将目标分为存活目标集合VS，新生目标集合R和杂波K，漏检目标集合VL和结束跟踪的目标集合VC，其中Jk表示高斯分量的个数，
Figure FDA00028392771400000129
为这一帧检测框的个数；
S3：在进行目标跟踪时，对于目标a，GM-PHD根据量测集生成一系列的高斯分量，计算高斯分量与a的相似度，并将相似度作为对应的高斯分量的权重；
将当前帧所有的高斯分量继续用来下一帧的跟踪操作，其中，选取wk值大于0.2的目标，提取其目标位置信息，框大小信息以及标签信息，放入跟踪结果集
Figure FDA00028392771400000130
中，作为当前帧的跟踪框结果，并显示记录下来。
2.根据权利要求1所述的方法，其特征在于，所述S2中，将目标分为存活目标集合VS，新生目标集合R和杂波K，漏检目标集合VL和结束跟踪的目标集合VC，包括：
计算当前帧中第i个检测框与第j个高斯分量的交并比结果aij：
Figure FDA0002839277140000021
将每一个高斯分量xj与每一个检测框
Figure FDA00028392771400000210
进行一次交并比的计算，得到关联矩阵A：
Figure FDA0002839277140000022
若aij＞Tiou，则将其判定为同一个目标，记为存活目标VS，否则为不同的目标；Tiou为预先设定的交并比阈值；
如果对于同一个检测框有两个或者多个高斯分量符合大于交并比阈值Tiou，则取交并比最大的作为最终关联结果；如果发生两个值一样的情况，则对分量进行特征相似计算；若对于第i行中没有数值大于交并比阈值Tiou，则认为
Figure FDA00028392771400000211
为新生目标或者杂波，若对于第j列中没有数值大于交并比阈值Tiou，则认为xj为应该结束跟踪的目标或者漏检的目标。
3.根据权利要求2所述的方法，其特征在于，在判断存活目标时，选取关联矩阵A的第j列中交并比最大的值
Figure FDA0002839277140000023
并记录其位置i，如果aij＞Tiou，在第i行中选取交并比最大的值
Figure FDA0002839277140000024
并记录其位置p；
如果p＝j则认为xj为关联上的存活目标，xj→VS，并将
Figure FDA0002839277140000025
从检测集
Figure FDA0002839277140000026
中移除；否则分别计算xj、xp与
Figure FDA0002839277140000027
的特征相似度，如果xj更接近
Figure FDA00028392771400000212
则重复p＝j的步骤，否则将xj→Vlc，Vlc＝{VL，VC}，表示为未区分的漏跟目标VL和结束跟踪目标集VC。
4.根据权利要求3所述的方法，其特征在于，在进行存活目标的判断后，若当前帧剩余未匹配的检测集
Figure FDA0002839277140000028
不为空，则将
Figure FDA0002839277140000029
全都作为新生目标添加入GM-PHD成员中。
5.根据权利要求4所述的方法，其特征在于，在进行漏跟目标VL和结束跟踪目标集VC的判断时，对同一目标的相邻两帧进行相似度计算，相似度值大于阈值Tw，则认为该目标没有发生遮挡或者形变的情况，同时更新该目标的目标模板和模型参数，否则该目标可能发生了遮挡和形变，不更新该目标的目标模板和模型参数；
计算更新后的目标模板和模型参数响应热图的最大值，若最大值小于Tcf，则认为本帧中没有该目标，结束跟踪，添加到结束跟踪目标集VC，否则认为是漏检目标，应该持续跟踪，并添加至VL中。
6.根据权利要求5所述的方法，其特征在于，所述S3中，高斯分量的权重的计算过程包括：
特征提取：将目标a和高斯分量b将经过同一个VGG16的深度网络，选取pool1层，pool2层，pool3层的特征结果，然后经过PCA降维，减少不必要的冗余参数，每层选取D个通道的特征结果，得到特征集
Figure FDA0002839277140000031
和
Figure FDA0002839277140000032
Figure FDA0002839277140000033
Figure FDA0002839277140000034
表示目标a第n层池化层上第d个通道的特征图；
特征信息融合：将得到的特征集每一层的特征信息做融合；将上述步骤中得到的
Figure FDA0002839277140000035
与
Figure FDA0002839277140000036
来进行如下操作：
Figure FDA0002839277140000037
F＝{F1,...,Fd,...,FD}
权重计算：将得到的特征集每一层的特征信息做融合后进行权重计算，包括：
将F转为一维向量，取阈值T，将F中大于T的部分取出，计算它们的个数num，即表示这两个目标图像信息相似的部分，然后计算其占得整个特征层的比例权重
Figure FDA0002839277140000038
若得到的值wk,ab大于相似度阈值Tw，则说明该高斯分量b与目标a较为相似，否则，认为该高斯分量b与目标a不相似，权重较小。
7.根据权利要求6所述的方法，其特征在于，所述融合操作将采用特征金字塔的方法来执行：
Figure FDA0002839277140000039
其中×为特征层的插值操作，通过插值将
Figure FDA00028392771400000310
尺度变为原来的两倍，+将两个相同尺度的特征层进行相加实现两个特征层的融合，
Figure FDA00028392771400000311
与
Figure FDA00028392771400000312
的计算步骤相同。
8.根据权利要求7所述的方法，其特征在于，所述特征提取过程中，采用VGG16的网络，同时提取目标的浅层特征和深层特征，浅层特征包含目标的表观特征；目标的深层特征包含着目标的深层信息。
9.根据权利要求8所述的方法，其特征在于，所述方法在目标跟踪过程中，对被遮挡的目标进行不更新目标模板和参数处理，对于已经被遮挡的目标将会放入高斯混和概率假设密度滤波中进行位置预测更新操作，若后期目标重现将会重新关联上目标标签。
10.权利要求1-9任一所述的方法在智能监视，人机交互，行为识别，机器人导航和自动驾驶中的应用方法。
CN202011486143.XA 2020-12-16 2020-12-16 一种融合相关滤波的gm-phd视频多目标跟踪方法 Pending CN112541441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011486143.XA CN112541441A (zh) 2020-12-16 2020-12-16 一种融合相关滤波的gm-phd视频多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011486143.XA CN112541441A (zh) 2020-12-16 2020-12-16 一种融合相关滤波的gm-phd视频多目标跟踪方法

Publications (1)

Publication Number Publication Date
CN112541441A true CN112541441A (zh) 2021-03-23

Family

ID=75018953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011486143.XA Pending CN112541441A (zh) 2020-12-16 2020-12-16 一种融合相关滤波的gm-phd视频多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN112541441A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223054A (zh) * 2021-05-28 2021-08-06 武汉卓目科技有限公司 对eco跟踪框的抖动性进行改进的目标跟踪方法及装置
CN113920172A (zh) * 2021-12-14 2022-01-11 成都睿沿芯创科技有限公司 一种目标跟踪方法、装置、设备以及存储介质
CN114266977A (zh) * 2021-12-27 2022-04-01 青岛澎湃海洋探索技术有限公司 基于超分辨可选择网络的多auv的水下目标识别方法
CN116935074A (zh) * 2023-07-25 2023-10-24 苏州驾驶宝智能科技有限公司 基于深度亲和网络自适应关联的多目标跟踪方法及装置
CN117409043A (zh) * 2023-12-14 2024-01-16 湖南苏科智能科技有限公司 一种亚像素级视频目标跟踪方法、装置、设备及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223054A (zh) * 2021-05-28 2021-08-06 武汉卓目科技有限公司 对eco跟踪框的抖动性进行改进的目标跟踪方法及装置
CN113920172A (zh) * 2021-12-14 2022-01-11 成都睿沿芯创科技有限公司 一种目标跟踪方法、装置、设备以及存储介质
CN113920172B (zh) * 2021-12-14 2022-03-01 成都睿沿芯创科技有限公司 一种目标跟踪方法、装置、设备以及存储介质
CN114266977A (zh) * 2021-12-27 2022-04-01 青岛澎湃海洋探索技术有限公司 基于超分辨可选择网络的多auv的水下目标识别方法
CN116935074A (zh) * 2023-07-25 2023-10-24 苏州驾驶宝智能科技有限公司 基于深度亲和网络自适应关联的多目标跟踪方法及装置
CN116935074B (zh) * 2023-07-25 2024-03-26 苏州驾驶宝智能科技有限公司 基于深度亲和网络自适应关联的多目标跟踪方法及装置
CN117409043A (zh) * 2023-12-14 2024-01-16 湖南苏科智能科技有限公司 一种亚像素级视频目标跟踪方法、装置、设备及存储介质
CN117409043B (zh) * 2023-12-14 2024-03-12 湖南苏科智能科技有限公司 一种亚像素级视频目标跟踪方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN112541441A (zh) 一种融合相关滤波的gm-phd视频多目标跟踪方法
CN111292355B (zh) 一种融合运动信息的核相关滤波多目标跟踪方法
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
Shen et al. Fast online tracking with detection refinement
CN110197502B (zh) 一种基于身份再识别的多目标跟踪方法及系统
CN109816689A (zh) 一种多层卷积特征自适应融合的运动目标跟踪方法
CN108961308B (zh) 一种漂移检测的残差深度特征目标跟踪方法
CN112288773A (zh) 基于Soft-NMS的多尺度人体跟踪方法及装置
CN107784663A (zh) 基于深度信息的相关滤波跟踪方法及装置
CN111612817A (zh) 基于深浅特征自适应融合与上下文信息的目标跟踪方法
CN111080673A (zh) 一种抗遮挡目标跟踪方法
CN109934846A (zh) 基于时间和空间网络的深度集成目标跟踪方法
CN112651995A (zh) 基于多功能聚合和跟踪模拟训练的在线多目标跟踪方法
CN111340842B (zh) 一种基于联合模型的相关滤波目标跟踪方法
CN111739053A (zh) 一种复杂场景下的在线多行人检测跟踪方法
CN114708300A (zh) 一种可抗遮挡的自适应目标跟踪方法及系统
Zeng et al. Robust multivehicle tracking with wasserstein association metric in surveillance videos
Zhang et al. Residual memory inference network for regression tracking with weighted gradient harmonized loss
CN111161323B (zh) 一种基于相关滤波的复杂场景目标跟踪方法及系统
CN111091583A (zh) 长期目标跟踪方法
CN113658217B (zh) 一种自适应目标跟踪方法、装置及存储介质
CN112614158B (zh) 一种采样框自适应的多特征融合在线目标跟踪方法
Ming et al. ADT: Object tracking algorithm based on adaptive detection
Li et al. Detector–tracker integration framework and attention mechanism for multi–object tracking
Ye et al. A cost matrix optimization method based on spatial constraints under hungarian algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination