CN110084831B - 基于YOLOv3多伯努利视频多目标检测跟踪方法 - Google Patents

基于YOLOv3多伯努利视频多目标检测跟踪方法 Download PDF

Info

Publication number
CN110084831B
CN110084831B CN201910328735.XA CN201910328735A CN110084831B CN 110084831 B CN110084831 B CN 110084831B CN 201910328735 A CN201910328735 A CN 201910328735A CN 110084831 B CN110084831 B CN 110084831B
Authority
CN
China
Prior art keywords
target
frame
detection
new
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910328735.XA
Other languages
English (en)
Other versions
CN110084831A (zh
Inventor
杨金龙
程小雪
彭力
汤玉
刘建军
葛洪伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN201910328735.XA priority Critical patent/CN110084831B/zh
Priority to PCT/CN2019/094662 priority patent/WO2020215492A1/zh
Publication of CN110084831A publication Critical patent/CN110084831A/zh
Priority to US16/869,645 priority patent/US11094070B2/en
Application granted granted Critical
Publication of CN110084831B publication Critical patent/CN110084831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于YOLOv3多伯努利视频多目标检测跟踪方法，属于机器视觉、智能信息处理领域。本发明在多伯努利滤波框架下引入YOLOv3检测技术，采用抗干扰的卷积特征描述目标，并交互融合检测结果和跟踪结果，实现对数目未知且时变的视频多目标状态进行精确估计；跟踪过程中，将匹配的检测框与目标轨迹及目标模板相结合，实时进行目标新生判断与遮挡目标重识别，同时考虑检测目标和估计目标的身份标记信息，实现对目标身份识别及航迹跟踪，可以有效提高对被遮挡目标的跟踪精度，减少轨迹碎片。实验表明，本发明具有良好的跟踪效果和鲁棒性，能广泛满足智能视频监控、人机交互、智能交通管制等系统的实际设计需求。

Description

基于YOLOv3多伯努利视频多目标检测跟踪方法
技术领域
本发明涉及基于YOLOv3多伯努利视频多目标检测跟踪方法，属于机器视觉、智能信息处理领域。
背景技术
复杂环境下视频多目标跟踪应用领域中，除了存在光照变化、目标形变、目标被遮挡等问题，还存在目标数目未知、新生目标不确定、目标交叉或紧邻运动、目标消失及杂波干扰等复杂情况，一直是多目标跟踪领域中研究的难点和具有挑战性的问题。
针对视频多目标跟踪问题，早期主要采用基于数据关联的目标检测跟踪方法，先采用目标检测器对视频序列进行多目标检测，然后借助数据关联等技术完成对视频多目标跟踪。典型的数据关联如：多假设跟踪、联合概率数据关联、图分解、动态规划等，虽然这些方法在视频多目标跟踪中取得了一定的效果，但由于复杂的数据关联运算，一定程度上降低了算法的运算效率，此外，对数目未知且变化的多目标跟踪，存在目标数目及状态估计不准确的问题。
近年来，随机有限集(Random Finite Set，RFS)理论在对数目未知且变化的多目标跟踪中取得了一定优势，分别对目标状态和观测进行随机集建模，可避免复杂的数据关联运算。自Mahler教授提出概率假设密度(Probability hypothesis density,PHD)和多伯努利(MeMBer)滤波器之后，随机有限集理论在目标跟踪领域得到了广泛地应用。概括来说，基于随机有限集理论的多目标跟踪算法主要包含两大类：基于概率假设密度(PHD)/势概率假设密度(CPHD)的多目标跟踪算法和基于多伯努利(MeMBer)/势均衡多伯努利(CBMeMBer)的多目标跟踪算法。典型的闭合解有：粒子滤波PHD/CPHD、高斯混合PHD/CPHD、粒子滤波CBMeMBer和高斯混合CBMeMBer等。尤其是粒子多伯努利滤波(Particle Filter MultipleBernoulli，PFMB)技术，借助多目标贝叶斯估计理论递推近似多目标状态集的后验概率密度，可提高对数目变化多目标的跟踪精度。但PFMB方法难以检测新生目标，且当多目标之间出现相互遮挡和干扰时，跟踪精度下降，甚至出现目标被漏估计的问题。
发明内容
为了解决目前存在的现有目标跟踪方法无法检测新生目标以及当多目标之间出现相互遮挡和干扰时，跟踪精度下降，甚至出现目标被漏估计的问题，本发明提供了一种基于YOLOv3多伯努利视频多目标检测跟踪方法，所述方法检测跟踪过程中，采用YOLOv3技术检测视频的第k和k+1帧视频序列；记k时刻检测框个数为n，检测框状态集为
Figure GDA0003111906440000021
k+1时刻检测框个数为m，其检测框状态集为
Figure GDA0003111906440000022
其中，
Figure GDA0003111906440000023
表示第i个检测框状态向量，参数
Figure GDA0003111906440000024
分别表示k时刻第i个检测框左上角的横坐标、纵坐标，以及检测框的宽、高和标签；
对于视频的初始帧，k＝0，将已匹配的检测框作为初始的新生目标加入目标模板集和目标轨迹集中；对于视频的中间帧，k＞0，利用检测框、目标轨迹信息和目标模板信息实现新生目标判定、丢失目标重识别和存活目标优化跟踪；其中，存活目标优化跟踪是在多伯努利滤波框架下，利用当前帧置检测框信度大于给定置信度阈值Tb的检测框信息，优化对应目标的跟踪过程。
可选的，所述对于视频的初始帧，k＝0，将已匹配的检测框作为新生目标加入目标模板集和目标轨迹集中，包括：采用抗干扰的卷积特征表示第k帧和第k+1帧的检测框，分别记为
Figure GDA0003111906440000025
和
Figure GDA0003111906440000026
Figure GDA0003111906440000027
表示第k帧中第i个检测框的卷积特征向量；计算检测框卷积特征对应的量测似然矩阵Λ，即：
Figure GDA0003111906440000028
其中，
Figure GDA0003111906440000029
表示第k帧中第i个检测框与第k+1帧中第j个检测框的量测似然；从量测似然矩阵Λ的每一行选择量测似然值最大、且大于似然阈值Tl的两个检测框作为匹配结果，将最终匹配的检测框对作为初始的新生目标加入目标模板集和目标轨迹集中。
可选的，由于视频各帧中目标连续变化，假定同一个目标在相邻两帧不会出现特别大的位移变化，因此，在量测似然匹配的基础上，加入目标框的交并比IOU作为限制：若两个检测框的交并比IOU大于交并比阈值TI，则可判定两个检测框匹配；
从量测似然矩阵Λ的每一行选择量测似然值最大、且大于似然阈值Tl，同时交并比IOU大于交并比阈值TI的两个检测框作为匹配结果，将最终匹配的检测框对作为初始的新生目标，并分配标签
Figure GDA00031119064400000210
并加入目标轨迹集
Figure GDA00031119064400000211
中，其中，
Figure GDA00031119064400000212
为目标状态向量，各个分量分别表示第i个检测框左上角横坐标、纵坐标以及目标框的宽、高和标签，Mk为k时刻目标个数，给已匹配的检测框对添加与初始的新生目标对应的目标标签，即
Figure GDA00031119064400000213
同时建立新生目标模板。
可选的，所述对于视频的中间帧，k＞0，利用检测框、目标轨迹信息和目标模板信息来实现新生目标判定、丢失目标重识别和存活目标优化跟踪，包括：对相邻的检测框进行匹配，确定新生目标与重识别目标的判定条件，再根据相邻帧的检测框、目标模板和存在目标轨迹来判定目标是否为新生目标、重识别目标或存在目标。
可选的，所述对相邻的检测框进行匹配，包括：
计算第k和k+1帧视频序列中检测框之间的量测似然矩阵Λ，从量测似然矩阵Λ的每一行选择量测似然值最大且大于似然阈值Tl的两个检测框，若两个检测框的交并比IOU大于交并比阈值TI，则可判定两个检测框匹配，假设第k帧中的第i个检测框与第k+1帧中的第j个检测框匹配，则为第k+1帧中匹配目标的标签赋值，即：
Figure GDA0003111906440000031
Figure GDA0003111906440000032
表示第k帧中第i个检测框的标签，若
Figure GDA0003111906440000033
为空，则表示该检测框包含的目标在第k-1帧中未被检测到，此时，将该检测框与存在目标轨迹集中的目标进行匹配；若与第tar个目标匹配，则利用该目标标签对检测框标签进行赋值
Figure GDA0003111906440000034
可判定该目标在第k-1帧中被检测器漏检；
当存在目标轨迹集中没有与检测框匹配的目标，将检测框与目标模板进行匹配，判断是否为重新识别目标，如匹配上，则为重识别目标，否则为新生目标。若当前检测框在下一帧图像中不存在与之匹配的检测框，且目标模板与存在目标轨迹集中也不存在与之匹配的目标，则可判定该检测框为误检。
可选的，所述确定新生目标与重识别目标的判定条件包括：
假设条件：
(a)目标在第k-1帧没有被检测到，在第k和k+1帧被检测到；
(b)检测到的目标不在目标跟踪轨迹集中；
(c)检测到的目标也不在目标模板中；
若检测框目标满足条件(a)和(b)，且不满足条件(c)，则该目标为重识别目标；
若当前检测框目标同时满足(a)(b)(c)，则判定该目标为新生目标。
可选的，若判断该目标为重识别目标，则将其重新加入到存在目标轨迹集中，继续跟踪；若判断该目标为新生目标，则分配标签
Figure GDA0003111906440000035
建立新生目标状态集
Figure GDA0003111906440000036
其中
Figure GDA0003111906440000037
为新生目标状态向量，各个分量分别表示第xin个目标框左上角横坐标、纵坐标，宽，高和目标标签，MΓ表示新生目标个数，tem表示目标模板的个数，给已匹配的检测框对添加与新生目标对应相同的目标标签，同时建立新生目标模板，并根据新生参数初始化新生目标的采样粒子。
可选的，假设目标运动模型为随机游走模型，若当YOLOv3检测器检测到该目标，且其检测框置信度大于阈值Tb，则：
Figure GDA0003111906440000041
否则：
Figure GDA0003111906440000042
其中，
Figure GDA0003111906440000043
为第k帧中标签为li目标状态向量，
Figure GDA0003111906440000044
为第k+1帧中标签为li目标的检测框，e(k)表示零均值高斯白噪声，η为目标状态与对应检测框信息之间的学习率。
可选的，在k-1时刻，采用多伯努利参数集
Figure GDA0003111906440000045
表示多目标的后验概率密度，其中，Mk-1为k-1时刻存在目标的数目，
Figure GDA0003111906440000046
表示在k-1时刻目标i的存在概率，
Figure GDA0003111906440000047
表示k-1时刻目标i的概率分布，由一组加权粒子表示：
Figure GDA0003111906440000048
其中，
Figure GDA0003111906440000049
表示k-1时刻目标i的第pa个采样粒子的权值，
Figure GDA00031119064400000410
表示k-1时刻目标i的第pa个采样粒子的状态向量，
Figure GDA00031119064400000411
表示k-1时刻目标i的采样粒子个数，δ(·)为狄拉克函数；
多目标概率密度预测仍为多伯努利参数集，表示为：
Figure GDA00031119064400000412
其中，等式右边两项表示k时刻存活目标和新生目标的多伯努利参数集，
Figure GDA00031119064400000413
和
Figure GDA00031119064400000414
分别表示k时刻存活目标i和新生目标new的存在概率，
Figure GDA00031119064400000415
和
Figure GDA00031119064400000416
分别表示k时刻存活目标和新生目标new的预测概率分布，MΓ,k表示k时刻新生目标个数；
新生目标利用检测器的检测信息、存活目标信息和目标模板信息判断得出，新生目标的粒子根据新生目标参数直接采样获得；
存活目标多伯努利参数
Figure GDA00031119064400000417
的预测值为：
Figure GDA00031119064400000418
Figure GDA0003111906440000051
其中
Figure GDA0003111906440000052
Figure GDA0003111906440000053
Figure GDA0003111906440000054
Figure GDA0003111906440000055
pS,k为k时刻目标存活概率。
可选的，检测跟踪过程中，当相邻两个目标框的交并比IOU大于阈值TI时，判定这两个目标出现紧邻，且部分遮挡；
此时，(1)当目标没有被完全遮挡时，检测器检测出两个目标，对目标进行跟踪和模板更新；
(2)当只有一个目标能被检测器检测出来时，可判定另一个目标为被遮挡目标，提出对被遮挡目标，停止模板更新，采用该目标前两帧的位移差估计目标实时速度v与运动方向θ，对目标进行预测估计，目标框的大小保持不变；
(3)当两个目标都无法通过检测器检测出来时，依据目标与模板的量测似然判断被遮挡目标，与第(2)种情况中采用同样的方式处理被遮挡的目标；若目标在跟踪过程中消失或者跟丢，在目标分离或者重新出现时，根据检测结果与目标模板的匹配对目标进行重识别。
本发明有益效果是：
通过引入YOLOv3技术对视频序列中的多目标进行检测，并将其作为新生目标，考虑到检测中存在目标过检测或漏检测、以及检测结果不精确的问题，采用抗干扰的卷积特征对目标细节进行深度描述，并借助自适应PFMB方法进行目标状态精确估计，本发明中尤其是将检测结果与跟踪结果进行交互融合，以提高多目标状态的估计精度。本发明还针对YOLOv3在对复杂环境的视频多目标检测，同样会存在检测错误和检测结果不准确的问题，本申请在PFMB滤波框架下融入YOLOv3检测方法，既解决了PFMB方法中未知新生目标的估计问题、目标身份的识别问题，同时将检测置信度和滤波似然进行融合建模，也可以有效提高对复杂环境下数目变化的视频多目标跟踪精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法的整体流程图。
图2是YOLOv3工作原理示意图。
图3是YOLOv3的网络结构图。
图4是EnterExitCrossingPaths1cor序列实验结果。
图5是EnterExitCrossingPaths1cor序列实验目标数目估计对比图。
图6是EnterExitCrossingPaths1cor序列实验OSPA距离估计对比图。
图7是Jogging序列的实验结果。
图8是Jogging序列实验目标数目估计对比图。
图9是Jogging列实验OSPA距离估计对比图。
图10是Subway序列实验结果。
图11是Subway序列实验目标数目估计对比图。
图12是Subway序列实验OSPA距离估计对比图。
图13是Human4序列实验结果。
图14是Human4序列实验目标数目估计对比图。
图15是Human4序列实验OSPA距离估计对比图。
图16是SUV序列实验结果。
图17是SUV序列实验目标数目估计对比图。
图18是SUV序列实验OSPA距离估计对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
首先对本申请涉及的相关内容进行介绍如下：
1、多伯努利滤波原理
多伯努利滤波基于随机有限集(RFS)框架，在空间χ上，多伯努利随机有限集X可表示为
Figure GDA0003111906440000071
即M个相互独立单伯努利随机有限集X(i)的并集，r(i)和p(i)分别表示第i个目标的存在概率和概率分布，则多伯努利随机有限集的概率密度π可表示为：
Figure GDA0003111906440000072
Figure GDA0003111906440000073
假设采用参数集
Figure GDA0003111906440000074
描述多目标随机有限集的后验分布，则多目标多伯努利滤波就是将状态集和观测集都采用多伯努利随机有限集近似表示，通过递推r(i)和p(i)实现多目标跟踪。其算法步骤如下：
1.1预测
假设在k-1时刻，多目标的后验概率密度可表示为：
Figure GDA0003111906440000075
则预测后的多目标概率密度可表示为：
Figure GDA0003111906440000076
其中
Figure GDA0003111906440000077
Figure GDA0003111906440000078
<a,b>表示变量a和b的点积，fk|k-1(x|·)和pS,k分别表示单目标状态转移概率密度函数和目标存活概率。假设k时刻新生目标的多伯努利参数集为
Figure GDA0003111906440000079
1.2更新
k时刻，设多目标随机有限集的预测概率密度可表示为：
Figure GDA00031119064400000710
则更新后的后验多目标概率密度可表示为：
Figure GDA00031119064400000711
其中
Figure GDA00031119064400000712
Figure GDA0003111906440000081
Figure GDA0003111906440000082
Figure GDA0003111906440000083
ψk,z＝gk(z|x)pD,k(x)
其中，gk(z|x)表示量测似然，pD,k(x)表示检测概率，Zk表示量测集合，κk(z)表示杂波密度函数。
2、YOLOv3目标检测
YOLOv3的工作原理如图2所示。
YOLOv3采用Darknet-53作为特征提取的网络，该网络结构如图3所示，由连续的3×3和1×1卷积层组成，融合残差网络(Residual Neural Network，ResNet)的残差块(Residual block)，将整个网络分为多个子段逐阶段训练，采用shortcut的连接方式对每个子段的残差进行训练，从而达到总体残差最小。YOLOv3在三个不同尺度上预测边界框，每个尺度预测3个边界框，尺度内进行局部特征交互，在基础网络之后，添加一系列卷积层得到特征图(feature map)，在此基础上，进行位置回归与分类，此过程为最小尺度预测；将上一尺度中的卷积层上采样与最后一个16×16大小的特征图连接，再次通过多个卷积后输出预测信息；同理，将中间尺度的卷积层上采样与最后一个32×32大小的特征图连接，经过一系列卷积得到最大尺度上的边界框预测。
YOLOv3采用Faster R-CNN中锚框(anchor box)的思想，通过k-means聚类的方法生成9个边界框的先验，每个尺寸各预测3个边界框。YOLOv3将图像划分为G×G个网格，则每个尺度预测的张量为G×G×[3*(4+1+80)]，其中数字3表示3个预测边界框，数字4表示每个预测边界框包含4个偏移值(tx,ty,tw,th)，(tx,ty,tw,th)为预测边界框中心坐标偏移值和宽、高的偏移值，数字1表示边界框的置信度(confidence score)，数字80表示预测边界框属于80类物体条件类别概率Pr(Classi/Object)。根据网格与图像左上角坐标的偏移值(px,py)和边界框先验的宽pw、高ph得到边界框中心坐标(bx,by)和宽bw、高bh的预测值，即：
bx＝δ(tx)+cx
by＝δ(ty)+cy
Figure GDA0003111906440000091
Figure GDA0003111906440000092
边界框在训练时采用平方误差损失的总和。边界框的置信度由边界框包含目标的可能性Pr(object)和边界框的准确度
Figure GDA0003111906440000093
构成：
Figure GDA0003111906440000094
若边界框中不包含物体，Pr(object)的值为0，置信度为0，否则Pr(object)的值为1，置信度为预测框与真实框之间的交并比。条件类别概率Pr(Classi/Object)表示在边界框包含目标的前提下，它属于某个类别的概率。YOLOv3联合条件类别概率和边框置信度，得出边界框类别置信度(class specific confidence scores，C)来表示边界框包含目标归类于每个类别的可能性和边界框与目标匹配的好坏，边框类别置信度可表示为：
Figure GDA0003111906440000095
实施例一：
本实施例提供一种基于YOLOv3多伯努利视频多目标检测跟踪方法，参见图1，所述方法包括：
步骤一：初始化
1.1参数初始化，初始时刻k＝0，视频总帧数为N，初始化采样粒子最大数目为Lmax，粒子最小数目为Lmin，初始目标存在概率Ps＝0.99。
1.2目标检测，
采用YOLOv3技术检测第k和k+1帧视频序列，记k时刻检测框个数为n，检测框状态集为
Figure GDA0003111906440000096
k+1时刻检测框个数为m，其检测框状态集为
Figure GDA0003111906440000097
其中，
Figure GDA0003111906440000098
表示第i个检测框状态向量，参数
Figure GDA0003111906440000099
分别表示k时刻第i个检测框左上角的横坐标、纵坐标，以及检测框的宽、高和标签。
1.3初始帧目标框匹配
k＝0时，采用抗干扰的卷积特征表示第k帧和第k+1帧的检测框，分别记为
Figure GDA0003111906440000101
和
Figure GDA0003111906440000102
Figure GDA0003111906440000103
表示第k帧中第i个检测框的卷积特征向量，计算检测框特征对应的量测似然矩阵Λ，即：
Figure GDA0003111906440000104
其中，
Figure GDA0003111906440000105
表示第k帧中第i个检测框与第k+1帧中第j个检测框的量测似然。从量测似然矩阵Λ的每一行选择量测似然值最大且大于似然阈值Tl的两个检测框作为匹配结果，由于视频帧中目标连续变化，假定同一个目标在相邻两帧不会出现特别大的位移变化，因此，本发明在量测似然匹配的基础上，加入目标框的交并比IOU作为限制，最终匹配的检测框对作为初始的新生目标，并分配标签
Figure GDA0003111906440000106
将其加入目标轨迹集
Figure GDA0003111906440000107
其中，
Figure GDA0003111906440000108
为目标状态向量，各个分量分别表示第i个目标框左上角横坐标、纵坐标以及目标框的宽、高和标签，Mk为k时刻目标个数，给已匹配的检测框对添加与初始目标对应的目标标签，即
Figure GDA0003111906440000109
同时建立新生目标模板。
步骤二：目标新生与重识别
当k＞0时，根据相邻帧的检测框、目标模板和存在目标轨迹来判定目标是否为新生目标、重识别目标或存在目标。
2.1检测框匹配
计算第k和k+1帧视频序列中检测框之间的量测似然矩阵Λ，从量测似然矩阵Λ的每一行选择量测似然值最大且大于似然阈值Tl的两个检测框，若两个检测框的交并比IOU大于交并比阈值TI，则可判定两个检测框匹配，假设第k帧中的第i个检测框与第k+1帧中的第j个检测框匹配，则为第k+1帧中匹配目标的标签赋值，即：
Figure GDA00031119064400001010
Figure GDA00031119064400001011
表示第k帧中第i个检测框的标签，若
Figure GDA00031119064400001012
为空，则表示该检测框包含的目标在第k-1帧中未被检测到，此时，将该检测框与存在目标轨迹集中的目标进行匹配；若与第tar个目标匹配，则利用该目标标签对检测框标签进行赋值
Figure GDA00031119064400001013
可判定该目标在第k-1帧中被检测器漏检。
当存在目标轨迹集中没有与检测框匹配的目标，将检测框与目标模板进行匹配，判断是否为重新识别目标，如匹配上，则为重识别目标，否则为新生目标。若当前检测框在下一帧图像中不存在与之匹配的检测框，且目标模板与存在目标轨迹集中也不存在与之匹配的目标，则可判定该检测框为误检。
2.2新生目标与重识别目标判断
条件假设：
(a)目标在第k-1帧没有被检测到，在第k和k+1帧被检测到；
(b)检测到的目标不在目标跟踪轨迹集中；
(c)检测到的目标也不在目标模板中；
若检测框目标满足条件(a)和(b)，且不满足条件(c)，则该目标为重识别目标，并将其重新加入到存在目标轨迹集中，继续跟踪。
若当前检测框目标同时满足(a)(b)(c)，则判定该目标为新生目标，分配标签
Figure GDA0003111906440000111
建立新生目标状态集
Figure GDA0003111906440000112
其中
Figure GDA0003111906440000113
为新生目标状态向量，各个分量分别表示第j个目标框左上角横坐标、纵坐标，宽，高和目标标签，MΓ表示新生目标个数，n表示目标模板的个数，给已匹配的检测框对添加与新生目标对应相同的目标标签，同时建立新生目标模板，并根据新生参数初始化新生目标的采样粒子。
步骤三：目标预测
3.1目标运动模型
假设目标运动模型为随机游走模型，若当YOLOv3检测器检测到该目标，且检测框置信度大于阈值Tb，则：
Figure GDA0003111906440000114
否则：
Figure GDA0003111906440000115
其中，
Figure GDA0003111906440000116
为第k帧中标签为li目标状态向量，
Figure GDA0003111906440000117
为第k+1帧中标签为li目标的检测框，e(k)表示零均值高斯白噪声，η为目标状态与对应检测框信息之间的学习率，η越大，表示越信任检测结果，检测框的置信度越高，表示检测结果中包含目标的概率越高、检测框匹配度也越好，利用好的检测框去调整目标状态，能消除长时间跟踪而导致的累加误差，可以较好地优化预测结果。
3.2目标预测
在k-1时刻，采用多伯努利参数集
Figure GDA0003111906440000121
表示多目标的后验概率密度，其中，Mk-1为k-1时刻存在目标的数目，
Figure GDA0003111906440000122
表示在k-1时刻目标i的存在概率，
Figure GDA0003111906440000123
表示k-1时刻目标i的概率分布，由一组加权粒子表示：
Figure GDA0003111906440000124
其中，
Figure GDA0003111906440000125
表示k-1时刻目标i的第pa个采样粒子的权值，
Figure GDA0003111906440000126
表示k-1时刻目标i的第pa个采样粒子的状态向量，
Figure GDA0003111906440000127
表示k-1时刻目标i的采样粒子个数，δ(·)为狄拉克函数。
多目标概率密度预测仍为多伯努利参数集，表示为：
Figure GDA0003111906440000128
其中，等式右边两项表示k时刻存活目标和新生目标的多伯努利参数集，
Figure GDA0003111906440000129
和
Figure GDA00031119064400001210
分别表示k时刻存活目标i和新生目标new的存在概率，
Figure GDA00031119064400001211
和
Figure GDA00031119064400001212
分别表示k时刻存活目标和新生目标new的预测概率分布，MΓ,k表示k时刻新生目标个数。
新生目标利用检测器的检测信息、存活目标信息和目标模板信息判断得出，新生目标的粒子根据新生目标参数直接采样获得。存活目标多伯努利参数
Figure GDA00031119064400001213
的预测值为：
Figure GDA00031119064400001214
Figure GDA00031119064400001215
其中
Figure GDA00031119064400001216
Figure GDA00031119064400001217
Figure GDA00031119064400001218
Figure GDA00031119064400001219
pS,k为k时刻目标存活概率。
步骤四：量测似然计算
4.1目标抗干扰卷积特征提取
将目标框的尺寸规范化为n×n，并转化为灰度图像，记为I，使用大小为w×w的滑动窗口,以步长为Δ对目标图像进行卷积操作，得到目标图像块集合y＝{Y1,Y2,...,Yl}，其中Yi∈Rw×w，l＝(n-w+Δ)×(n-w+Δ)，将每块减去自身均值并二范数归一化处理，采用k-means算法选出d个子块
Figure GDA0003111906440000131
用第i个子块Fi o∈Rw×w在图像I上做卷积操作，得到一个目标特征图
Figure GDA0003111906440000133
目标模板建立时，在目标附近随机平移目标框来采集m个背景样本，要求平移值大于目标框宽和高的1/4，与目标特征采集时使用同样预处理操作，使用k-means算法选取d个特征小块，第i个背景样本的特征子块集合为
Figure GDA0003111906440000134
对m个背景样本得到的特征集平均池化得到背景平均特征子块集合：
Figure GDA0003111906440000135
将其与图像I做卷积操作，得到背景在图像上的特征图：
Figure GDA0003111906440000136
用目标特征图
Figure GDA0003111906440000137
减去背景特征图
Figure GDA0003111906440000138
得到能区分目标与背景的特征图集S＝{Si}i＝1,...,d，其中
Figure GDA0003111906440000139
将d个特征图按行展开，成为d个一维向量，并按顺序拼接，最终得到目标的卷积特征f，
Figure GDA00031119064400001310
4.2特征的稀疏表示
将特征图集S看作三维的张量C∈R(n-w+1)×(n-w+1)，对张量进行稀疏化表示凸显目标的特征，利用稀疏向量f去逼近vec(C)，使以下目标函数最小化：
Figure GDA00031119064400001311
其中，vec(C)是通过串联C中所有元素的列向量，
Figure GDA00031119064400001312
通过soft-shrinking方法求得稀疏表示的唯一解：
Figure GDA00031119064400001313
其中，λ是张量C的中位数。
4.3计算量测似然
两个目标框的量测似然计算公式为：
Figure GDA0003111906440000141
其中f1,f2为对应的目标框卷积特征，在计算粒子与目标的量测似然时，利用目标对应的目标特征图集和背景特征图集来计算粒子对应的卷积特征：
Figure GDA0003111906440000142
其中Il为粒子表示的候选框的规范化之后的图像。将Si按行展开，得到d个一维向量，顺序连接为最终粒子对应候选框的特征fl。
步骤五：目标状态更新
5.1状态更新
k时刻，假设视频多目标随机有限集的预测概率密度可表示为：
Figure GDA0003111906440000143
则更新后的多目标后验概率密度可表示为：
Figure GDA0003111906440000144
其中，
Figure GDA0003111906440000145
和
Figure GDA0003111906440000146
分别表示k时刻目标i的存在概率和概率分布的更新，即：
Figure GDA0003111906440000147
Figure GDA0003111906440000148
Figure GDA0003111906440000149
其中
Figure GDA00031119064400001410
Figure GDA00031119064400001411
表示量测yk对k时刻预测粒子
Figure GDA00031119064400001412
的量测似然。
5.2粒子重采样
为了防止粒子出现退化，本发明采用随机重采样方式对采样粒子集进行重采样，利用采样粒子更新之后的权值，对采样粒子加权求和来估计当前时刻的目标状态集Sk。
步骤六：目标紧邻和遮挡处理机制
当相邻两个目标框的交并比IOU大于阈值TI时，可判定这两个目标出现紧邻，且部分遮挡，此时，检测器可能出现三种情况：
1)当目标没有被完全遮挡时，检测器可能检测出两个目标，本发明方法中提出采用更新机制对目标进行跟踪和模板更新；
2)只有一个目标能被检测器检测出来时，可判定另一个目标为被遮挡目标，提出对被遮挡目标，停止模板更新，采用该目标前两帧的位移差估计目标实时速度v与运动方向θ，对目标进行预测估计，目标框的大小保持不变；
3)两个目标都无法通过检测器检测出来时，依据目标与模板的量测似然判断被遮挡目标，与第二种情况中采用同样的方式处理被遮挡的目标。若目标在跟踪过程中消失或者跟丢，在目标分离或者重新出现时，可根据检测结果与目标模板的匹配对目标进行重识别。
步骤七：目标模板更新
目标运动过程中，周围环境及自身状态会不断发生变化，如背景变化、自身扭曲、旋转及尺度变化等，因此，需要对目标模板进行实时更新，本发明综合考虑采用存在目标轨迹、目标模板和目标检测结果进行融合更新目标模板，即：
Figure GDA0003111906440000151
其中，ρ为模板的学习速率，fk和fk-1分别为k和k-1时刻的目标模板，
Figure GDA0003111906440000152
为k-1时刻目标跟踪结果卷积特征的稀疏表示，
Figure GDA0003111906440000153
为k时刻检测框卷积特征的稀疏表示，
Figure GDA0003111906440000154
为k时刻检测框的置信度，
Figure GDA0003111906440000155
为检测框的学习率，检测框的置信度越高，
Figure GDA0003111906440000156
的值越大，采用较好的检测框去更新目标模板，可以有效去除跟踪过程中的累积误差。同时，在运动过程中，目标状态会发生不断变化，采用高准确率的检测框去更新模板，可有效地将目标最新状态加入到模板中，更好的适应目标后续跟踪。目标的稀疏表示可以更加凸显目标的主要特征，利用主要特征去更新目标模板，可以降低非主要特征的干扰。
为验证本申请提出的上述基于YOLOv3多伯努利视频多目标检测跟踪方法的效果，特实验如下：
1、实验条件及参数
本发明采用的视频序列数据为Visual Tracker Benchmark TB50中的序列Huamn4，Visual Tracker Benchmark TB100中的序列Jogging、Subway、Suv，以及CAVUAR数据集中的序列EnterExitCrossingPaths1cor，这5组典型视频序列分别来源于不同场景，且包含动态背景、目标紧邻、目标形变、图片模糊、目标尺寸变化、目标遮挡等干扰情况。实验中采用的评价指标为多目标跟踪正确度(Multiple Object Tracking Accuracy，MOTA)、多目标跟踪精度(Multiple Object Tracking Precision，MOTP)、轨迹完整目标数目(MostlyTracked，MT)、标签跳变数(Identity Switch，IDs)，分别定义如下：
1)多目标跟踪正确度(MOTA)
Figure GDA0003111906440000161
其中，mt为第t帧中被跟丢的目标数量，fpt为第t帧误检的目标数，mmet为第t帧中跟踪轨迹中目标标签发生跳变的数目，gt表示第t帧中目标的实际个数。
2)多目标跟踪精度(MOTP)
Figure GDA0003111906440000162
其中，
Figure GDA0003111906440000163
为第t帧中第i个目标的跟踪框与目标真实框的重叠率。
3)轨迹完整目标数目(MT)，表示目标跟踪轨迹占真实轨迹长度80％以上的目标轨迹数目，刻画了轨迹的完整程度。
4)标签跳变数(IDs)，表示跟踪过程中目标标签发生变化的次数。
2、实验及结果分析
本申请方法采用Matlab2016a实现，在处理器为Intel Core i7-8700、3.2GHz，12核，内存为16GB，显卡为NVIDIA Geforce GTX 1080Ti的工作站上运行，并与传统的粒子多伯努利滤波(PFMB)方法和2017年Erik Bochinski等在发表论文《High-Speed Tracking-by-Detection Without Using Image Informati》中提出的IOU-Tracker方法进行性能比较与分析。由于传统PFMB方法中，缺少对新生目标检测机制，本实验中也采用YOLOv3进行检测，并将判定为新生目标的检测结果作为PFMB的新生目标，然后进行跟踪。
具体实验从四个方面对发明方法进行性能评估，即：目标重识别、目标紧邻与遮挡、图像模糊与目标形变、目标大位移等，实验结果如下。
实验一：目标重识别
本实验采用的视频序列为CAVUAR数据集中EnterExitCrossingPaths1cor序列，该序列包含383帧图像，存在目标紧邻和较长时间的目标遮挡问题，同时伴随目标逐渐出现导致形变较大的情况。由于较长时间遮挡，很容易导致目标跟丢，本发明融合检测器结果、存在目标轨迹和目标模板能够实现对目标的重识别，将目标重新加入到跟踪轨迹中。
图4给出了EnterExitCrossingPaths1cor序列实验结果，其中，图4(a)为YOLO v3算法检测结果，图4(b)为传统PFMB方法跟踪结果，图4(c)为IOU-Tracker方法跟踪结果，图4(d)为本发明方法的跟踪结果。可以看出，当目标被遮挡时，检测器可能无法检测出被遮挡目标，大幅度降低检测效果，如图4(a)中第93帧，采用传统的PFMB方法，存在遮挡时，目标被跟丢；由于IOU-Tracker完全抛弃使用图像信息，只利用目标检测结果进行跟踪处理，所以该方法也无法继续跟踪漏检目标，当目标再次被检测到时，将会被定义为新目标，难以与历史目标关联；而本发明方法，较长时间被遮挡的目标，由于存在概率逐渐降低导致目标消失，但当目标再次出现时，能有效地进行重识别，重新加入到目标跟踪轨迹中。
图5为EnterExitCrossingPaths1cor序列实验目标数目估计对比图，图6为EnterExitCrossingPaths1cor序列实验OSPA距离估计对比图，可以看出，传统的PFMB方法缺少目标遮挡处理机制，在目标被遮挡后，容易出现误跟和漏跟情况，导致跟踪框偏离较大，OSPA值上升；IOU-Tracker方法受检测器性能影响，目标被遮挡过程中，目标数目减少，OSPA值急剧上升，本发明方法处理长时间被遮挡目标时，也可能出现目标丢失的情况，当目标脱离遮挡后，能有效地对丢失目标进行重识别，整体跟踪性能优于传统PFMB方法和IOU-Tracker方法。尤其从表1所示的MOTA、MOTP、MT、IDs四个评价指标可以看出。
表1为50次蒙特卡洛仿真结果，可以看出，传统PFMB方法的指标MOTA、MOTP、MT的值最低，IDs为1，是因为该方法缺少目标重识别过程，导致目标被跟丢后，再重新出现时将无法与之前的轨迹关联上，从而会出现标签跳变情况。IOU-Tracker方法在目标紧邻或遮挡时，目标标签将会出现频繁跳变，导致IDs的值最高。而本发明方法能有效地对目标进行重识别，减少目标标签跳变的问题，有效减少轨迹碎片。
表1目标重识别跟踪性能评价(表中↑表示值越大越好，↓表示值越小越好)
Figure GDA0003111906440000171
实验二：目标紧邻与遮挡
采用视频序列为Visual Tracker Benchmark TB100数据集中的Jogging序列、Subway序列。Jogging序列为相机移动的路口场景，包含3个运动目标，存在目标被遮挡的情况。Subway序列包含8个目标，存在多个目标紧邻和频繁被遮挡等问题。
Jogging序列的实验结果如图7所示，其中，图7(a)为YOLOv3算法检测结果，图7(b)为传统PFMB方法跟踪结果，图7(c)为IOU-Tracker方法跟踪结果，图7(d)为本发明方法的跟踪结果。可以看出，YOLOv3检测器难以正确检测出被遮挡目标，IOU-Tracker方法丢失漏检目标，当目标脱离遮挡状态时，IOU-Tracker方法将重新检测到的目标定义为新的目标，传统的PFMB方法即使没有丢失目标，但是跟踪框的偏离程度却增大，而本发明的方法能很好地融合目标的检测结果和跟踪结果，实现对跟踪框进行调整，可以获得比较准确的跟踪结果。
图8给出了Jogging序列实验目标数目变化估计对比图，其中传统PFMB方法与本发明方法的目标数目变化一致，图9给出了Jogging序列实验OSPA距离估计对比图，可以看出，YOLOv3检测器存在漏检，导致IOU-Tracker方法目标数目估计不准确，出现漏估计减少，OSPA值急剧上升较大，精度不高；传统PFMB方法在目标被遮挡后，跟踪框的偏离程度增加，导致OSPA值上升增大，而本发明方法具有较好抗遮挡能力，跟踪性能明显优于传统PFMB方法与和IOU-Tracker方法。
Subway序列的实验结果如图10所示，其中，图10(a)为YOLO v3算法检测结果，图10(b)为传统PFMB方法跟踪结果，图10(c)为IOU-Tracker方法跟踪结果，图10(d)为本发明方法的跟踪结果。可以看出，当多个目标邻近或相互遮挡的时候，检测器难以检测到被遮挡目标或者检测结果偏差较大，导致IOU-Tracker方法频繁丢失目标，传统的PFMB方法处理遮挡、紧邻问题时，也会出现较大的偏差，甚至跟丢，如图10(b)中第17、19帧，而本发明方法能够较好地对被遮挡目标进行跟踪。
图11给出Subway序列目标数目估计对比图，图12给出了Subway序列OSPA距离估计对比图。可以看出，由于YOLOv3检测器难以检测到部分出现和被遮挡目标，所以IOU-Tracker方法目标数目变化大，OSPA值较高，传统的PFMB方法在跟踪过程中丢失目标，OSPA值突增，而本发明方法能够较好地处理目标遮挡问题，具有较高的跟踪精度。
进行50次蒙特卡洛仿真，Jogging序列跟踪的量化统计结果如表2.1所示。可以看出，虽然传统PFMB方法与本发明方法的多目标跟踪正确度MOTA相当，但遮挡恢复后，传统PFMB方法的跟踪框会出现偏差，导致跟踪误差偏大，所以MOTP值比本发明方法要小。此外，由于检测器对被遮挡目标检测效果差，且该序列中两个目标一直处于紧邻状态，所以IOU-Tracker方法在对存在紧邻的序列Jogging上跟踪精度较低，且目标标签出现频繁跳变。
Subway序列的定量分析结果如表2.2所示，该序列中，多个目标也长期处于互相遮挡、紧邻状态，本发明方法在MOTA、MOTP、MT、IDs上都明显要优于传统PFMB方法与IOU-Tracker方法。
表2.1 Jogging序列目标紧邻与遮挡
Figure GDA0003111906440000181
表2.2 Subway序列目标紧邻与遮挡
Figure GDA0003111906440000191
实验三：图像模糊与目标形变
采用视频序列Visual Tracker Benchmark TB50数据集中的Human4序列，该序列共包含667帧图像，为相机移动红绿灯路口场景，其中，包括三种类型17个目标，视频中存在由于相机运动或目标快速运动等造成的目标模糊情况，且存在许多目标频繁发生形变问题。
图13为Human4序列实验结果，其中，图13(a)为YOLO v3算法检测结果，(b)为传统PFMB方法跟踪结果，(c)为IOU-Tracker方法跟踪结果，(d)为本发明方法的跟踪结果。可以看出，图片模糊可能导致检测器性能下降，部分目标被漏检，如图13(a)中第50帧、第74帧。目标形变对检测器的性能影响较小，虽然，传统PFMB方法能跟上目标，但部分目标的跟踪框会出现偏离，而本发明方法能够较好地处理这两种情况，具有较高的跟踪精度。
图13给出Human4序列目标数目估计对比图，图14给出了Human4序列OSPA距离估计对比图。可以看出，本发明方法能较好的处理图像模糊与目标形变问题，跟踪性能优于传统的PFMB方法和IOU-Tracker方法。
进行50次蒙特卡洛仿真，定量分析结果如表3所示。可以看出，由于频繁的目标形变、图像模糊而导致传统PFMB方法中出现目标漏跟或仅跟踪到目标的部分区域，导致MOTA、MOTP、MT的值都比较低；IOU-Tracker方法能较好地利用检测器的检测结果，所以，MOTP值与本发明方法相当，而目标尺寸变化和图像模糊导致检测器性能下降，存在部分目标被漏检，使得MOTA值偏小，IDs值最大，即存在大量目标标签跳变，航迹估计不准确。本发明方法能较好地对检测框进行关联，有效减少目标标签的跳变，在IDs上明显优于IOU-Tracker。
表3目标模糊与形变跟踪性能评价
Figure GDA0003111906440000192
实验四：目标大位移
实验中采用视频序列Visual Tracker Benchmark TB100数据集中的SUV序列，该序列共包含400帧图像，为相机移动动态背景的公路场景，包含6个目标，存在快速运动导致的大位移情况。
图16给出了SUV序列实验结果，其中，图16(a)为YOLO v3算法检测结果，图16(b)为传统PFMB方法跟踪结果，图16(c)为IOU-Tracker方法跟踪结果，图16(d)为本发明方法的跟踪结果。可以看出，目标的大位移对检测器没有影响，IOU-Tracker方法表现良好，而传统PFMB方法会出现目标跟丢的情况，本发明方法由于利用检测器的结果去调整跟踪过程，对于较大位移的目标跟踪结果也明显要优于另外两种方法。
图17为SUV序列目标数目估计对比图，图18为SUV序列OSPA距离估计对比图。可以看出，传统的PFMB方法由于缺少对目标大位移的处理机制，所以，当目标位移较大时，可能出现目标丢失或跟踪框偏离较大的情况，导致OSPA值较大，而IOU-Tracker方法与本发明方法能利用检测器结果提高对目标大位移的处理能力，具有较好的跟踪精度。
进行50次蒙特卡洛仿真，定量分析结果如表4所示。对大位移目标进行跟踪，传统的PFMB方法容易出现漏跟、位置偏移过大的情况因此，四个评价指标结果都比较差；由于视频序列也还存在目标遮挡和紧邻等情况，导致IOU-Tracker方法跟踪结果中，目标标签也出现频繁的跳变情况，所以MOTA值偏低，IDs值偏高。而本发明方法能融合检测结果有效地处理目标大位移情况，在各项指标上都明显优于传统PFMB方法，在MOTA，MT，IDs上也明显优于IOU-Tracker方法。
表4目标模糊与形变跟踪性能评价
Figure GDA0003111906440000201
通过上述实验可知，本申请提供的基于YOLOv3多伯努利视频多目标检测跟踪方法，通过将检测结果与跟踪结果进行交互融合，在目标重识别过程中，对于较长时间被遮挡的目标，当其再次出现时，能有效地进行重识别；而对于存在多个目标紧邻和频繁被遮挡情况时，本申请提出的方法能够融合目标的检测结果和跟踪结果，实现对跟踪框进行调整，获得比较准确的跟踪结果；而对于存在图像模糊与目标形变情况时，本申请提出的方法能够较好地对检测框进行关联，有效减少目标标签的跳变；而对于存在目标大位移情况时，本申请提出的方法能够利用检测器的结果去调整跟踪过程，从而防止出现目标跟丢的情况发生。
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种多目标检测跟踪方法，其特征在于，所述方法检测跟踪过程中，采用YOLOv3技术检测视频的第k和k+1帧视频序列；记k时刻检测框个数为n，检测框状态集为
Figure FDA0003151443070000011
k+1时刻检测框个数为m，其检测框状态集为
Figure FDA0003151443070000012
其中，
Figure FDA0003151443070000013
表示第i个检测框状态向量，参数
Figure FDA0003151443070000014
分别表示k时刻第i个检测框左上角的横坐标、纵坐标，以及检测框的宽、高和标签；
对于视频的初始帧，k＝0，将已匹配的检测框作为初始的新生目标加入目标模板集和目标轨迹集中；对于视频的中间帧，k＞0，利用检测框、目标轨迹信息和目标模板信息实现新生目标判定、丢失目标重识别和存活目标优化跟踪；其中，存活目标优化跟踪是在多伯努利滤波框架下，利用当前帧检测框置信度大于给定置信度阈值Tb的检测框信息，优化对应目标的跟踪过程；
假设目标运动模型为随机游走模型，若当YOLOv3检测器检测到该目标，且其检测框置信度大于阈值Tb，则：
Figure FDA0003151443070000015
否则：
Figure FDA0003151443070000016
其中，
Figure FDA0003151443070000017
为第k帧中标签为li目标状态向量，
Figure FDA0003151443070000018
为第k+1帧中标签为li目标的检测框，e(k)表示零均值高斯白噪声，η为目标状态与对应检测框信息之间的学习率。
2.根据权利要求1所述的方法，其特征在于，所述对于视频的初始帧，k＝0，将已匹配的检测框作为新生目标加入目标模板集和目标轨迹集中，包括：采用抗干扰的卷积特征表示第k帧和第k+1帧的检测框，分别记为
Figure FDA0003151443070000019
和
Figure FDA00031514430700000110
Figure FDA00031514430700000111
表示第k帧中第i个检测框的卷积特征向量；计算检测框卷积特征对应的量测似然矩阵Λ，即：
Figure FDA00031514430700000112
其中，
Figure FDA00031514430700000113
表示第k帧中第i个检测框与第k+1帧中第j个检测框的量测似然；从量测似然矩阵Λ的每一行选择量测似然值最大、且大于似然阈值Tl的两个检测框作为匹配结果，将最终匹配的检测框对作为初始的新生目标加入目标模板集和目标轨迹集中；
所述抗干扰的卷积特征的提取过程包括：
将目标框的尺寸规范化为n′×n′，并转化为灰度图像，使用大小为w×w的滑动窗口，以步长为Δ对目标图像进行卷积操作，得到目标图像块集合y＝{Y1,Y2,...,Yl′}，其中Yi′∈Rw ×w，l′＝(n′-w+Δ)×(n′-w+Δ)，将每块图像块减去自身均值并二范数归一化处理，采用k-means算法选出d个子块，用每个子块在灰度图像上做卷积操作，得到目标特征图。
3.根据权利要求2所述的方法，其特征在于，由于视频各帧中目标连续变化，假定同一个目标在相邻两帧不会出现特别大的位移变化，因此，在量测似然匹配的基础上，加入目标框的交并比IOU作为限制：若两个检测框的交并比IOU大于交并比阈值TI，则可判定两个检测框匹配；
从量测似然矩阵Λ的每一行选择量测似然值最大、且大于似然阈值Tl，同时交并比IOU大于交并比阈值TI的两个检测框作为匹配结果，将最终匹配的检测框对作为初始的新生目标，并分配标签
Figure FDA0003151443070000021
并加入目标轨迹集
Figure FDA0003151443070000022
中，其中，
Figure FDA0003151443070000023
为目标状态向量，各个分量分别表示第i个检测框左上角横坐标、纵坐标以及目标框的宽、高和标签，Mk为k时刻目标个数，给已匹配的检测框对添加与初始的新生目标对应的目标标签，即
Figure FDA0003151443070000024
同时建立新生目标模板。
4.根据权利要求3所述的方法，其特征在于，所述对于视频的中间帧，k＞0，利用检测框、目标轨迹信息和目标模板信息来实现新生目标判定、丢失目标重识别和存活目标优化跟踪，包括：对相邻的检测框进行匹配，确定新生目标与重识别目标的判定条件，再根据相邻帧的检测框、目标模板和存在目标轨迹来判定目标是否为新生目标、重识别目标或存在目标。
5.根据权利要求4所述的方法，其特征在于，所述对相邻的检测框进行匹配，包括：
计算第k和k+1帧视频序列中检测框之间的量测似然矩阵Λ，从量测似然矩阵Λ的每一行选择量测似然值最大且大于似然阈值Tl的两个检测框，若两个检测框的交并比IOU大于交并比阈值TI，则可判定两个检测框匹配，假设第k帧中的第i个检测框与第k+1帧中的第j个检测框匹配，则为第k+1帧中匹配目标的标签赋值，即：
Figure FDA0003151443070000025
Figure FDA0003151443070000031
表示第k帧中第i个检测框的标签，若
Figure FDA0003151443070000032
为空，则表示该检测框包含的目标在第k-1帧中未被检测到，此时，将该检测框与存在目标轨迹集中的目标进行匹配；若与第tar个目标匹配，则利用该目标标签对检测框标签进行赋值
Figure FDA0003151443070000033
可判定该目标在第k-1帧中被检测器漏检；
当存在目标轨迹集中没有与检测框匹配的目标，将检测框与目标模板进行匹配，判断是否为重新识别目标，如匹配上，则为重识别目标，否则为新生目标；若当前检测框在下一帧图像中不存在与之匹配的检测框，且目标模板与存在目标轨迹集中也不存在与之匹配的目标，则可判定该检测框为误检。
6.根据权利要求5所述的方法，其特征在于，所述确定新生目标与重识别目标的判定条件包括：
假设条件：
(a)目标在第k-1帧没有被检测到，在第k和k+1帧被检测到；
(b)检测到的目标不在目标跟踪轨迹集中；
(c)检测到的目标也不在目标模板中；
若检测框目标满足条件(a)和(b)，且不满足条件(c)，则该目标为重识别目标；
若当前检测框目标同时满足(a)(b)(c)，则判定该目标为新生目标。
7.根据权利要求6所述的方法，其特征在于，若判断该目标为重识别目标，则将其重新加入到存在目标轨迹集中，继续跟踪；若判断该目标为新生目标，则分配标签
Figure FDA0003151443070000034
建立新生目标状态集
Figure FDA0003151443070000035
其中
Figure FDA0003151443070000036
为新生目标状态向量，各个分量分别表示第xin个目标框左上角横坐标、纵坐标，宽，高和目标标签，MΓ表示新生目标个数，tem表示目标模板的个数，给已匹配的检测框对添加与新生目标对应相同的目标标签，同时建立新生目标模板，并根据新生参数初始化新生目标的采样粒子。
8.根据权利要求7所述的方法，其特征在于，在k-1时刻，采用多伯努利参数集
Figure FDA0003151443070000037
表示多目标的后验概率密度，其中，Mk-1为k-1时刻存在目标的数目，
Figure FDA0003151443070000038
表示在k-1时刻目标i的存在概率，
Figure FDA0003151443070000039
表示k-1时刻目标i的概率分布，由一组加权粒子表示：
Figure FDA0003151443070000041
其中，
Figure FDA0003151443070000042
表示k-1时刻目标i的第pa个采样粒子的权值，
Figure FDA0003151443070000043
表示k-1时刻目标i的第pa个采样粒子的状态向量，
Figure FDA0003151443070000044
表示k-1时刻目标i的采样粒子个数，δ(·)为狄拉克函数；
多目标概率密度预测仍为多伯努利参数集，表示为：
Figure FDA0003151443070000045
其中，等式右边两项表示k时刻存活目标和新生目标的多伯努利参数集，
Figure FDA0003151443070000046
和
Figure FDA0003151443070000047
分别表示k时刻存活目标i和新生目标new的存在概率，
Figure FDA0003151443070000048
和
Figure FDA0003151443070000049
分别表示k时刻存活目标和新生目标new的预测概率分布，MΓ,k表示k时刻新生目标个数；
新生目标利用检测器的检测信息、存活目标信息和目标模板信息判断得出，新生目标的粒子根据新生目标参数直接采样获得；
存活目标多伯努利参数
Figure FDA00031514430700000410
的预测值为：
Figure FDA00031514430700000411
Figure FDA00031514430700000412
其中
Figure FDA00031514430700000413
Figure FDA00031514430700000414
Figure FDA00031514430700000415
Figure FDA00031514430700000416
pS,k为k时刻目标存活概率。
9.根据权利要求8所述的方法，其特征在于，检测跟踪过程中，当相邻两个目标框的交并比IOU大于阈值TI时，判定这两个目标出现紧邻，且部分遮挡；
此时，(1)当目标没有被完全遮挡时，检测器检测出两个目标，对目标进行跟踪和模板更新；
(2)当只有一个目标能被检测器检测出来时，可判定另一个目标为被遮挡目标，提出对被遮挡目标，停止模板更新，采用该目标前两帧的位移差估计目标实时速度v与运动方向θ，对目标进行预测估计，目标框的大小保持不变；
(3)当两个目标都无法通过检测器检测出来时，依据目标与模板的量测似然判断被遮挡目标，与第(2)种情况中采用同样的方式处理被遮挡的目标；若目标在跟踪过程中消失或者跟丢，在目标分离或者重新出现时，根据检测结果与目标模板的匹配对目标进行重识别。
CN201910328735.XA 2019-04-23 2019-04-23 基于YOLOv3多伯努利视频多目标检测跟踪方法 Active CN110084831B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910328735.XA CN110084831B (zh) 2019-04-23 2019-04-23 基于YOLOv3多伯努利视频多目标检测跟踪方法
PCT/CN2019/094662 WO2020215492A1 (zh) 2019-04-23 2019-07-04 基于YOLOv3多伯努利视频多目标检测跟踪方法
US16/869,645 US11094070B2 (en) 2019-04-23 2020-05-08 Visual multi-object tracking based on multi-Bernoulli filter with YOLOv3 detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910328735.XA CN110084831B (zh) 2019-04-23 2019-04-23 基于YOLOv3多伯努利视频多目标检测跟踪方法

Publications (2)

Publication Number Publication Date
CN110084831A CN110084831A (zh) 2019-08-02
CN110084831B true CN110084831B (zh) 2021-08-24

Family

ID=67416267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910328735.XA Active CN110084831B (zh) 2019-04-23 2019-04-23 基于YOLOv3多伯努利视频多目标检测跟踪方法

Country Status (2)

Country Link
CN (1) CN110084831B (zh)
WO (1) WO2020215492A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472588B (zh) * 2019-08-19 2020-11-24 上海眼控科技股份有限公司 锚点框确定方法、装置、计算机设备和存储介质
CN110647818A (zh) * 2019-08-27 2020-01-03 北京易华录信息技术股份有限公司 一种遮挡目标物体的识别方法及装置
CN112465859A (zh) * 2019-09-06 2021-03-09 顺丰科技有限公司 快速运动目标的检测方法、装置、设备和储存介质
CN110765363B (zh) * 2019-09-27 2023-05-05 复旦大学 一种基于高斯分布表示的深度推荐系统
CN110780164B (zh) * 2019-11-04 2022-03-25 华北电力大学（保定） 基于yolo的绝缘子红外故障定位诊断方法及装置
CN111107427B (zh) * 2019-11-20 2022-01-28 Oppo广东移动通信有限公司 图像处理的方法及相关产品
CN112850436A (zh) * 2019-11-28 2021-05-28 宁波微科光电股份有限公司 一种电梯智能光幕的行人趋势检测方法及系统
CN111126235B (zh) * 2019-12-18 2023-06-16 浙江大华技术股份有限公司 一种船只违章停泊检测处理方法及装置
CN111079694A (zh) * 2019-12-28 2020-04-28 神思电子技术股份有限公司 一种柜面助手履职监控装置和方法
CN111274917B (zh) * 2020-01-17 2023-07-18 江南大学 一种基于深度检测的长时目标跟踪方法
CN111292355B (zh) * 2020-02-12 2023-06-16 江南大学 一种融合运动信息的核相关滤波多目标跟踪方法
CN111340855A (zh) * 2020-03-06 2020-06-26 电子科技大学 一种基于轨迹预测的道路移动目标检测方法
CN111402295B (zh) * 2020-03-11 2023-08-08 桂林理工大学 基于对象检测和跟踪的移动物体识别方法
CN111524095A (zh) * 2020-03-24 2020-08-11 西安交通大学 一种用于旋转物体的目标检测方法
CN111754545B (zh) * 2020-06-16 2024-05-03 江南大学 一种基于iou匹配的双滤波器视频多目标跟踪方法
CN111797802B (zh) * 2020-07-14 2023-06-02 华侨大学 一种基于ai视觉的扶梯不安全行为实时预警方法
CN111680689B (zh) * 2020-08-11 2021-03-23 武汉精立电子技术有限公司 一种基于深度学习的目标检测方法、系统及存储介质
US11889227B2 (en) 2020-10-05 2024-01-30 Samsung Electronics Co., Ltd. Occlusion processing for frame rate conversion using deep learning
CN112507874B (zh) * 2020-12-10 2023-02-21 上海芯翌智能科技有限公司 一种用于检测机动车加塞行为的方法与设备
CN112529942B (zh) * 2020-12-22 2024-04-02 深圳云天励飞技术股份有限公司 多目标跟踪方法、装置、计算机设备及存储介质
CN112329893A (zh) * 2021-01-04 2021-02-05 中国工程物理研究院流体物理研究所 基于数据驱动的异源多目标智能检测方法及系统
CN112967320B (zh) * 2021-04-02 2023-05-30 浙江华是科技股份有限公司 一种基于桥梁防撞的船舶目标检测跟踪方法
CN113139468B (zh) * 2021-04-24 2023-04-11 西安交通大学 融合局部目标特征与全局特征的视频摘要生成方法
CN113205544B (zh) * 2021-04-27 2022-04-29 武汉大学 基于交并比估计的空间注意力强化学习跟踪方法
CN113537077B (zh) * 2021-07-19 2023-05-26 江苏省特种设备安全监督检验研究院 基于特征池优化的标签多伯努利视频多目标跟踪方法
CN113674306A (zh) * 2021-07-29 2021-11-19 杭州宇泛智能科技有限公司 基于鱼眼镜头的行人轨迹获取方法、系统、装置和介质
CN113421288B (zh) * 2021-08-23 2021-12-17 杭州云栖智慧视通科技有限公司 一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法
CN113920164B (zh) * 2021-10-27 2024-05-24 浙江工商大学 一种剧场环境下基于近红外防伪油墨的演员身份重识别方法
CN113724298B (zh) * 2021-11-01 2022-03-18 深圳市城市交通规划设计研究中心股份有限公司 多点位感知融合方法及装置、计算机可读存储介质
CN114092515B (zh) * 2021-11-08 2024-03-05 国汽智控(北京)科技有限公司 用于障碍遮挡的目标跟踪检测方法、装置、设备及介质
CN113989332B (zh) * 2021-11-16 2022-08-23 苏州魔视智能科技有限公司 一种目标跟踪方法、装置、存储介质及电子设备
CN114972418B (zh) * 2022-03-30 2023-11-21 北京航空航天大学 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
CN115471773B (zh) * 2022-09-16 2023-09-15 北京联合大学 一种面向智慧教室的学生跟踪方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408594A (zh) * 2016-09-28 2017-02-15 江南大学 基于多伯努利特征协方差的视频多目标跟踪方法
CN108876819A (zh) * 2018-06-11 2018-11-23 深圳市唯特视科技有限公司 一种基于泊松多伯努利滤波的三维多目标追踪算法
CN109118523A (zh) * 2018-09-20 2019-01-01 电子科技大学 一种基于yolo的图像目标跟踪方法
CN109325407A (zh) * 2018-08-14 2019-02-12 西安电子科技大学 基于f-ssd网络滤波的光学遥感视频目标检测方法
CN109598742A (zh) * 2018-11-27 2019-04-09 湖北经济学院 一种基于ssd算法的目标跟踪方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176164B (zh) * 2013-04-11 2016-01-13 北京空间飞行器总体设计部 基于无线传感器网络的多目标无源跟踪方法
CN104766320B (zh) * 2015-04-02 2017-06-13 西安电子科技大学 阈值化量测下的多伯努利滤波弱目标检测与跟踪方法
CN105354860B (zh) * 2015-08-26 2018-03-06 西安电子科技大学 基于箱粒子滤波的扩展目标CBMeMBer跟踪方法
CN105182291B (zh) * 2015-08-26 2017-08-25 西安电子科技大学 自适应目标新生强度的phd平滑器的多目标跟踪方法
US10242266B2 (en) * 2016-03-02 2019-03-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for detecting actions in videos
CN106910205A (zh) * 2017-03-03 2017-06-30 深圳市唯特视科技有限公司 一种基于随机有限集滤波器耦合的多目标跟踪方法
CN109002783A (zh) * 2018-07-02 2018-12-14 北京工业大学 救援环境中的人体检测以及姿态识别方法
CN109508444B (zh) * 2018-12-18 2022-11-04 桂林电子科技大学 区间量测下交互式多模广义标签多伯努利的快速跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408594A (zh) * 2016-09-28 2017-02-15 江南大学 基于多伯努利特征协方差的视频多目标跟踪方法
CN108876819A (zh) * 2018-06-11 2018-11-23 深圳市唯特视科技有限公司 一种基于泊松多伯努利滤波的三维多目标追踪算法
CN109325407A (zh) * 2018-08-14 2019-02-12 西安电子科技大学 基于f-ssd网络滤波的光学遥感视频目标检测方法
CN109118523A (zh) * 2018-09-20 2019-01-01 电子科技大学 一种基于yolo的图像目标跟踪方法
CN109598742A (zh) * 2018-11-27 2019-04-09 湖北经济学院 一种基于ssd算法的目标跟踪方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A generalised labelled multi-Bernoulli filter for extended multi-target tracking;Beard, Michael, et al.;《2015 18th International Conference on Information Fusion (Fusion).IEEE》;20151231;全文 *
Image-based multi-target tracking through multi-bernoulli filtering with interactive likelihoods;Hoak, Anthony, et.al;《Sensors》;20171231;全文 *
卷积特征多伯努利视频多目标跟踪算法;杨金龙，等;《计算机科学与探索》;20181114;全文 *
复杂条件下多目标跟踪关键技术研究;井沛良;《中国优秀硕士学位论文全文数据库》;20160401;全文 *

Also Published As

Publication number Publication date
CN110084831A (zh) 2019-08-02
WO2020215492A1 (zh) 2020-10-29

Similar Documents

Publication Publication Date Title
CN110084831B (zh) 基于YOLOv3多伯努利视频多目标检测跟踪方法
US11094070B2 (en) Visual multi-object tracking based on multi-Bernoulli filter with YOLOv3 detection
Maksai et al. Non-markovian globally consistent multi-object tracking
CN108470354B (zh) 视频目标跟踪方法、装置和实现装置
CN105335986B (zh) 基于特征匹配和MeanShift算法的目标跟踪方法
CN106778712B (zh) 一种多目标检测与跟踪方法
CN111292355A (zh) 一种融合运动信息的核相关滤波多目标跟踪方法
CN111932583A (zh) 一种基于复杂背景下的时空信息一体化智能跟踪方法
CN109434251B (zh) 一种基于粒子滤波的焊缝图像跟踪方法
CN115995063A (zh) 作业车辆检测与跟踪方法和系统
CN110532921B (zh) 基于ssd检测广义标签多伯努利视频多目标跟踪方法
CN111582349B (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN113052873B (zh) 一种在线自监督学习场景适应的单目标跟踪方法
CN110349188B (zh) 基于tsk模糊模型的多目标跟踪方法、装置及存储介质
CN110490907A (zh) 基于多目标特征和改进相关滤波器的运动目标跟踪方法
CN113327272B (zh) 一种基于相关滤波的鲁棒性长时跟踪方法
CN111754545A (zh) 一种基于iou匹配的双滤波器视频多目标跟踪方法
CN108920997A (zh) 基于轮廓判断非刚性目标是否存在遮挡的跟踪方法
CN112233145A (zh) 一种基于rgb-d时空上下文模型的多目标遮挡跟踪方法
CN113537077A (zh) 基于特征池优化的标签多伯努利视频多目标跟踪方法
Azari et al. Real time multiple object tracking and occlusion reasoning using adaptive kalman filters
Zhang et al. Residual memory inference network for regression tracking with weighted gradient harmonized loss
CN113012193B (zh) 一种基于深度学习的多行人跟踪方法
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN111223126A (zh) 一种基于迁移学习的跨视角轨迹模型构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant