CN111754545A - 一种基于iou匹配的双滤波器视频多目标跟踪方法 - Google Patents

一种基于iou匹配的双滤波器视频多目标跟踪方法 Download PDF

Info

Publication number
CN111754545A
CN111754545A CN202010547158.6A CN202010547158A CN111754545A CN 111754545 A CN111754545 A CN 111754545A CN 202010547158 A CN202010547158 A CN 202010547158A CN 111754545 A CN111754545 A CN 111754545A
Authority
CN
China
Prior art keywords
target
frame
detection
feature
iou
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010547158.6A
Other languages
English (en)
Other versions
CN111754545B (zh
Inventor
杨金龙
程小雪
缪佳妮
张媛
刘建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202010547158.6A priority Critical patent/CN111754545B/zh
Publication of CN111754545A publication Critical patent/CN111754545A/zh
Application granted granted Critical
Publication of CN111754545B publication Critical patent/CN111754545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于IOU匹配的双滤波器视频多目标跟踪方法,属于信息处理技术领域。本发明在多伯努利滤波中，引入相关滤波器作为弱滤波器来采样粒子，首先提取泛化能力较强的VGG19网络卷积特征训练多个相关滤波器，利用训练好的相关滤波器，得到多个目标状态估计，最后对得到的目标状态集进行扩充作为采样的粒子集。本发明能有效减少标签跳变和轨迹碎片，提高目标跟踪精度。

Description

一种基于IOU匹配的双滤波器视频多目标跟踪方法
技术领域
本发明涉及一种基于IOU匹配的双滤波器视频多目标跟踪方法，属于计算机视觉、模式识别和信息处理技术领域。
背景技术
在计算机视觉中，多目标跟踪常用于行人、车辆以及生物中细胞等跟踪。尽管目标跟踪技术取得重大进步，但是多目标跟踪仍是一项具有挑战性的任务，目标数目不确定，目标遮挡、检测器失效和杂波干扰等问题一直是多目标跟踪的难点。早期的多假设跟踪(Multiple Hypothesis Tracking，MHT)和联合概率数据关联滤波(Joint ProbabilisticData Association，JDAF)等通过数据关联的方法，在存在噪声和检测不确定等情况下将检测框分配给现有目标。但是当被跟踪目标数量增加时，这些方法的复杂性呈指数增长。Mahler提出的随机有限集(Random Finite Set，RFS)理论，避免了复杂的数据关联。基于RFS理论的算法在多目标跟踪中得到进一步应用。多伯努利滤波(Multi-BernoulliFilter，MBF)就是基于RFS理论算法中的一个重要分支，有效应对了多目标跟踪过程中的数目变化问题。
基于检测的目标跟踪方法是当前多目标跟踪广泛的跟踪框架，近几年，检测器性能得到大幅度提升，尤其是深度神经网络的发展，极大程度上推动了检测器的发展，比如单步多框检测器(Single Shot MultiBox Detector，SSD)得益于日益精确的目标检测算法，基于检测的跟踪方法也逐步简化。Bewley等人将与目标轨迹高度重叠的检测框关联起来，而重叠度则根据交并比(Intersection over union，IOU)计算得来。Bewley等人提出了基于检测的在线多目标跟踪框架，简单的结合卡尔曼滤波和匈牙利算法来实现一个快速的多目标跟踪。随后又进一步改进，在目标跟踪过程中，加入深度特征，提取目标的表观模型来优化检测框匹配，一定程度上缓解了目标遮挡问题，减少标签跳变。但是过于依赖检测框的准确性，同时轨迹中包含大量的错误框。Bewley等人提出的IOU-T算法不使用图片信息，只利用目标检测框信息，通过计算相邻帧检测框之间的交并比，加入阈值，以贪心的方式实现目标跟踪。这种方法同样依赖于底层检测器的性能，有很好的跟踪效率，但是会导致大量的轨迹碎片和标签跳变。
发明内容
技术问题：
解决IOU关联下容易导致标签跳变和轨迹碎片的问题。
技术方案：
本发明提供了一种基于IOU匹配的双滤波器视频多目标跟踪方法，所述方法包括：
步骤一：在初始时刻k＝0，当前帧目标检测集为
Figure BDA0002541110990000021
检测框
Figure BDA0002541110990000022
为第i个检测框的状态向量，其中
Figure BDA0002541110990000023
分别表示检测框左上角横坐标、纵坐标，检测框宽、检测框高和置信度；当
Figure BDA00025411109900000213
时，将检测框加入存活目标集
Figure BDA0002541110990000024
其中h为检测框置信度阈值，m为满足条件
Figure BDA0002541110990000025
的检测框个数，目标框
Figure BDA0002541110990000026
Figure BDA0002541110990000027
li分别表示目标框的左上角横纵坐标坐标，目标框宽、目标框高和对应赋值的目标标签；所述目标用li表示，同时设置相应的伯努利
Figure BDA0002541110990000028
Figure BDA0002541110990000029
分别表示目标li的存在概率和概率分布，且
Figure BDA00025411109900000210
步骤二：在k时刻，当前帧目标检测集为
Figure BDA00025411109900000211
进行每个目标轨迹与检测框的IOU匹配，所述检测框为利用贪心算法贪心的选择当前帧目标检测集中与目标轨迹IOU最大的检测框
Figure BDA00025411109900000212
步骤三：将对与目标轨迹相匹配的检测框，将检测框作为跟踪结果加入轨迹集并进行多伯努利参数赋值，对于未匹配到检测框的目标，进行多伯努利滤波求解，所述多伯努利滤波求解包括：目标框卷积层特征提取；对提取的卷积层特征进行滤波器训练得到不同卷积层特征对应的多个目标位置估计、对多个目标位置估计进行加权求和并扩充得到粒子集、进行多伯努利预测；
步骤四：利用目标与粒子的量测似然更新未匹配目标的多伯努利参数，对于已匹配或新生目标，直接更新伯努利参数；
步骤五：更新目标模板。
在本发明的一种实施方式中，所述进行目标轨迹与检测框的匹配的匹配方法为：
a、设IOU匹配阈值为δIOU，若
Figure BDA0002541110990000031
且
Figure BDA0002541110990000032
则将当前帧第i个检测框加入目标lj(i≠j)轨迹中，并在检测集
Figure BDA0002541110990000033
中剔除检测框
Figure BDA0002541110990000034
b、若
Figure BDA0002541110990000035
且
Figure BDA0002541110990000036
则表示检测框
Figure BDA0002541110990000037
没有相匹配的轨迹，此时将检测框
Figure BDA0002541110990000038
作为新生目标加入到目标轨迹集当中，为其赋值标签ln+1，n为所有轨迹总个数；同时，对于目标lj，当前帧不存在与该轨迹满足阈值δIOU的检测框；
c、若
Figure BDA0002541110990000039
则表示检测框
Figure BDA00025411109900000310
的置信度较低，将其判断为杂波，在检测集
Figure BDA00025411109900000311
中剔除检测框
Figure BDA00025411109900000312
在本发明的一种实施方式中，所述特征提取采用VGG19特征提取，包括：设当前目标框宽、高分别为M、N，扩展目标搜索区域至2M×2N；将当前目标框区域图像插值调整尺寸到224*224作为VGG19输入图像；VGG19的卷积网络中间层输出作为提取到的卷积层特征X；为了消除卷积层特征X的不连续性，将提取出的卷积特征层X乘以余弦窗口，并插值调整大小到(M/8×N/8)。
在本发明的一种实施方式中，所述滤波器训练过程包括：
a、利用VGG19提取的卷积特征X的循环变化表示为：
Xm,n(m,n)∈{0,1,…,M-1}×{0,1,…,N-1}；
其中，M、N分别为提取目标框的宽、高；
b、在滤波器训练时，需要记录特征的变换过程，将每次变换的标签Y定义为下式的高斯分布：
Figure BDA00025411109900000313
c、采用傅里叶变换得到特征和标签在频域内的表示，即X＝F(X),Y＝F(Y)，F(＊)表示傅里叶变换；相关滤波器为：
Figure BDA00025411109900000314
其中，
Figure BDA0002541110990000041
λ为大于等于0的规则化参数；在特征通道ds上求解模型参数:
Figure BDA0002541110990000042
式中，Xds为卷积层特征X在特征通道ds上的特征图，Xi为卷积层特征X在特征通道i上的特征图，
Figure BDA0002541110990000043
为Xi的复共轭；⊙为Hadamard积；
d、目标跟踪过程中，被跟踪目标的搜索区域R为目标在上一帧中的位置，计算其通过VGG19传播的结果：
Zds＝VGG(R)，ds∈[1,2,…,D]
其中，VGG(＊)表示VGG19向前传播计算。
e、计算特征X对相关滤波器响应：
Figure BDA0002541110990000044
其中，F-1(*)表示傅里叶逆变换；所述S最大响应为被跟踪目标估计位置
Figure BDA0002541110990000045
即
Figure BDA0002541110990000046
在本发明的一种实施方式中，所述粒子集生成包括：分别提取的多层VGG19卷积层特征训练多个滤波器W*，通过滤波器计算的最大响应位置得到不同卷积层特征对应的多个目标位置估计，将这些目标位置估计进行加权求和并扩充得到最终粒子集。
在本发明的一种实施方式中，所述利用目标与粒子的量测似然更新未匹配目标的多伯努利参数包括：卷积特征提取，将目标框
Figure BDA0002541110990000047
的尺寸规范化为n×n，并转化为灰度图像，记为I，使用大小为w×w的滑动窗口,以步长Δ对目标图像进行卷积操作，得到目标图像块集合y＝{Y1,Y2,...,Yl}，其中Yi∈Rw×w，l＝(n-w+Δ)×(n-w+Δ)，将每个目标图像块减去自身均值并二范数归一化处理，采用k-means算法选出d个子块
Figure BDA0002541110990000051
用第i个子块Fi o∈Rw×w在图像I上做卷积操作，得到一个目标特征图
Figure BDA0002541110990000052
Figure BDA0002541110990000053
目标模板建立时，在目标附近随机平移目标框来采集num个背景样本，所述平移值大于目标框宽和高的1/4，与目标特征采集时使用同样预处理操作，使用k-means算法选取d个特征小块，第i个背景样本的特征子块集合为
Figure BDA0002541110990000054
对num个背景样本得到的特征集平均池化得到背景平均特征子块集合：
Figure BDA0002541110990000055
将其与图像I做卷积操作，得到背景在图像上的特征图：
Figure BDA0002541110990000056
用目标特征图
Figure BDA0002541110990000057
减去背景特征图
Figure BDA0002541110990000058
得到能区分目标与背景的特征图集S＝{Si}i＝1,...,d，其中
Figure BDA0002541110990000059
将d个特征图按行展开，成为d个一维向量，并按顺序拼接，最终得到目标的卷积特征f，
Figure BDA00025411109900000510
两个目标框的量测似然计算公式为：
Figure BDA00025411109900000511
其中f1,f2为对应的目标框卷积特征，
Figure BDA00025411109900000512
表示f的二范数。
在本发明的一种实施方式中，所述目标模板更新为：
Figure BDA00025411109900000513
其中，
Figure BDA00025411109900000514
为第k-1帧目标li对应的卷积特征模板，
Figure BDA00025411109900000515
为第k帧目标li跟踪结果卷积特征的稀疏表示，ρ为模板的学习速率。
在本发明的一种实施方式中，若目标lj的模板未建立，则提取目标特征建立目标模板，利用该目标轨迹
Figure BDA0002541110990000061
建立该轨迹目标模板，所述目标模板由所述提取的卷积特征表示。
本发明的一种基于IOU匹配的双滤波器视频多目标跟踪方法用于行人、车辆跟踪。
有益效果
本发明通过在检测框交并比关联的目标跟踪框架下，融合可视化的多伯努利跟踪方法，在目标轨迹未寻找到匹配的高质量检测框时，采用多伯努利滤波方式对目标继续跟踪，解决因为检测框缺失而导致的轨迹碎片问题。同时，根据IOU阈值判断和相似性比较，关联目标轨迹与目标再次被检测到的高质量检测框，减少目标发生标签跳变，减少标签跳变和轨迹碎片，提高目标跟踪精度。
附图说明
图1是IOU-T基本原理；
图2多伯努利滤波与IOU-T融合原理；
图3多伯努利滤波与IOU-T融合算法流程图；
图4双滤波器跟踪框架；
图5密集人群场景实验结果图；(a1)IOU-T：第159帧，(a2)IOU-T：第178帧，(b1)CF-MBF：第159帧，(b2)CF-MBF：第178帧；
图6目标尺寸变化实验结果图；(c1)IOU-T：第14帧，(c2)IOU-T：第37帧，(d1)CF-MBF：第14帧，(d2)CF-MBF：第37帧；
图7目标交叉运动实验结果图；(e1)DET-MBF:第17帧，(e2)DET-MBF:第59帧，(e3)DET-MBF:第90帧，(f1)CF-MBF:第17帧，(f2)CF-MBF:第59帧，(f3)CF-MBF:第90帧；
图8稀疏目标场景实验结果图；(g1)DET-MBF:第128帧，(g2)DET-MBF:第177帧，(g3)DET-MBF:第180帧，(h1)CF-MBF:第128帧，(h2)CF-MBF:第177帧，(h3)CF-MBF:第180帧；
图9目标数目估计与OSPA距离估计对比；(I1)实验(3)目标数目估计，(I2)实验(3)OSPA估计，(J1)实验(4)目标数目估计，(J2)实验(4)OSPA估计。
具体实施方式
实施例1
本发明提出算法结合IOU-T与多伯努利滤波方法，在没有可用检测框关联，或者检测框置信度较低的情况下，利用多伯努利滤波实现轨迹的跟踪，IOU-T基本原理如图1所示，多伯努利滤波与IOU-T融合原理如图2所示。多伯努利滤波与IOU-T融合流程图如图3所示。本发明在多伯努利滤波的基础上引入相关滤波(Correlation Filter，CF)作为弱滤波器采样粒子，构成双滤波器跟踪框架，双滤波器跟踪框架如图4所示。整个算法过程具体分为以下几个步骤：
步骤一 初始化
在初始时刻k＝0，当前帧目标检测集为
Figure BDA0002541110990000071
检测框
Figure BDA0002541110990000072
为第i个检测框的状态向量，其中
Figure BDA0002541110990000073
分别表示检测框左上角横、纵坐标，检测框宽、高和置信度；当
Figure BDA0002541110990000074
时，将该检测框加入存活目标集
Figure BDA0002541110990000075
其中h为检测框置信度阈值，m为满足条件的检测框个数，目标框
Figure BDA0002541110990000076
为第i个目标框的状态向量，
Figure BDA0002541110990000077
li分别表示目标框的左上角横纵坐标坐标，目标框宽、高和对应赋值的目标标签；所述目标用li表示；同时设置相应的伯努利RFS(随机有限集)
Figure BDA0002541110990000078
Figure BDA0002541110990000079
分别表示目标li的存在概率和概率分布，且
Figure BDA00025411109900000710
步骤二 IOU检测匹配
根据存活目标轨迹集和当前帧目标检测集进行目标框与检测框的IOU匹配，对于已匹配的目标框，将其对应检测框作为跟踪结果加入轨迹集并进行多伯努利参数赋值，对于未匹配的检测框判断是否为杂波或新生目标，进行相应处理，具体过程如下：
在k(k>0)时刻，当前帧目标检测集为
Figure BDA00025411109900000711
计算每个目标轨迹
Figure BDA00025411109900000712
与检测框的IOU，所述检测框为(利用贪心算法)贪心地选择当前帧目标检测集
Figure BDA00025411109900000713
中与目标轨迹IOU最大的检测框
Figure BDA00025411109900000714
设IOU匹配阈值为δIOU，若
Figure BDA00025411109900000715
且
Figure BDA00025411109900000716
则将当前帧第i个检测框加入目标lj(i≠j)轨迹中，并在检测集
Figure BDA00025411109900000717
中剔除检测框
Figure BDA00025411109900000718
若
Figure BDA0002541110990000081
且
Figure BDA0002541110990000082
则表示检测框
Figure BDA0002541110990000083
没有相匹配的轨迹，此时将检测框
Figure BDA0002541110990000084
作为新生目标加入到目标轨迹集当中，为其赋值标签ln+1，n为所有轨迹总个数。同时，对于目标lj，当前帧不存在与该轨迹满足阈值δIOU的检测框。
若
Figure BDA0002541110990000085
则表示检测框
Figure BDA0002541110990000086
的置信度较低，将其判断为杂波，在检测集
Figure BDA0002541110990000087
中剔除检测框
Figure BDA0002541110990000088
步骤三 多伯努利预测
根据步骤二中的检测框匹配，对于未匹配到检测框的目标，进行多伯努利滤波求解，所述求解包括：特征提取、多伯努利预测等，在多伯努利预测步骤中，训练相关滤波器采样粒子，其具体过程如下。
3.1、VGG19特征提取
VGG19凭借其较强的泛化能力，常被用于提取目标特征，VGG19是AlexNet的改进版本，采用3个连续3x3的卷积核代替7x7的卷积核，2个3x3卷积核来代替5x5的卷积核，不仅保证了相同的感受野，还提升了网络层的的深度。VGG19的网络结构非常一致，整个过程采用3x3的卷积2x2的最大池化，包含19个隐藏层(16个卷积层和3个全连接层)，使得整个结构非常简洁。并且加深了网络，从而提高性能。VGG19具有较高的泛化能力，不同层的特征刻画目标的不同信息。
设当前目标框宽、高分别为M、N，扩展目标搜索区域至2M×2N，将该区域图像插值调整尺寸到224*224作为VGG19输入图像，卷积网络中间层输出作为提取到的卷积特征。为了消除特征图的不连续性，将提取出的特征图乘以余弦窗口，并插值调整大小到(M/8×N/8)。
3.2、相关滤波器训练
设提取出的特征为
Figure BDA0002541110990000089
其中M为特征图的宽、N为特征图的高，D为特征图通道数。特征X的循环变化表示为Xm,n(m,n)∈{0,1,…,M-1}×{0,1,…,N-1}，在滤波器训练时，需要记录特征的变换过程，将每次变换的标签Y定义为下式的高斯分布：
Figure BDA0002541110990000091
采用傅里叶变换得到特征和标签在频域内的表示，即X＝F(X),Y＝F(Y)，F(＊)表示傅里叶变换。相关滤波器为：
Figure BDA0002541110990000092
其中，
Figure BDA0002541110990000093
λ为大于等于0的规则化参数。在特征通道ds上求解模型参数:
Figure BDA0002541110990000094
式中，Xds为卷积层特征X在特征通道ds上的特征图，Xi为卷积层特征X在特征通道i上的特征图，
Figure BDA0002541110990000095
为Xi的复共轭；⊙为Hadamard积。
目标跟踪过程中，被跟踪目标的搜索区域R为目标在上一帧中的位置，计算其通过VGG19传播的结果：
Zds＝VGG(R)，ds∈[1,2,…,D]
其中，VGG(＊)表示VGG19向前传播计算。
计算该特征X对相关滤波器响应：
Figure BDA0002541110990000096
其中，F-1(*)表示傅里叶逆变换。所述S最大响应为被跟踪目标估计位置
Figure BDA0002541110990000097
即
Figure BDA0002541110990000098
3.3、粒子集生成
分别采用提取的多层VGG19卷积层特征训练多个相关滤波器，通过滤波器计算的最大响应位置得到不同卷积层特征对应的多个目标位置估计，将这些目标位置估计进行加权求和并扩充得到最终粒子集。
3.4、多伯努利预测
(1)若目标lj的模板未建立，则提取目标特征建立目标模板，利用该目标轨迹
Figure BDA0002541110990000101
建立该轨迹目标模板，其目标模板由步骤四中提取的卷积特征表示，当前目标轨迹的伯努利参数
Figure BDA0002541110990000102
设置为：
Figure BDA0002541110990000103
其中，
Figure BDA0002541110990000104
为该目标的存在概率，
Figure BDA0002541110990000105
为最近目标状态的检测框置信度，
Figure BDA0002541110990000106
表示第k-1帧目标lj的概率分布，由一组加权粒子表示。
Figure BDA0002541110990000107
表示第k-1帧目标lj的第i个采样粒子的权值，
Figure BDA0002541110990000108
表示第k-1帧目标lj的第i个采样粒子的状态向量，
Figure BDA0002541110990000109
为目标lj的采样粒子个数，δ(·)为狄拉克函数。
对于未匹配目标li，其伯努利参数预测
Figure BDA00025411109900001010
可由下式得到:
Figure BDA00025411109900001011
Figure BDA00025411109900001012
其中，
Figure BDA00025411109900001013
Figure BDA00025411109900001014
Figure BDA00025411109900001015
为目标存活概率，
Figure BDA00025411109900001016
为目标li第j个采样粒子的状态。
(2)若目标li为已匹配或新生目标，其多伯努利参数
Figure BDA0002541110990000111
预测为
Figure BDA0002541110990000112
步骤四 多伯努利更新
根据步骤二中的检测匹配信息和步骤三中未匹配目标的多伯努利预测，进行存活目标
Figure BDA0002541110990000113
多伯努利更新，其中未匹配目标根据目标与粒子的量测似然更新其多伯努利参数，具体过程如下。
4.1、卷积特征提取。
将目标框
Figure BDA0002541110990000114
的尺寸规范化为n×n，并转化为灰度图像，记为I，使用大小为w×w的滑动窗口,以步长Δ对目标图像进行卷积操作，得到目标图像块集合y＝{Y1,Y2,...,Yl}，其中Yi∈Rw×w，l＝(n-w+Δ)×(n-w+Δ)，将每个目标图像块减去自身均值并二范数归一化处理，采用k-means算法选出d个子块
Figure BDA0002541110990000115
用第i个子块Fi o∈Rw×w在图像I上做卷积操作，得到一个目标特征图
Figure BDA0002541110990000116
目标模板建立时，在目标附近随机平移目标框来采集num个背景样本，所述平移值大于目标框宽和高的1/4，与目标特征采集时使用同样预处理操作，使用k-means算法选取d个特征小块，第i个背景样本的特征子块集合为
Figure BDA0002541110990000117
对num个背景样本得到的特征集平均池化得到背景平均特征子块集合：
Figure BDA0002541110990000118
将其与图像I做卷积操作，得到背景在图像上的特征图：
Figure BDA0002541110990000119
用目标特征图
Figure BDA00025411109900001110
减去背景特征图
Figure BDA00025411109900001111
得到能区分目标与背景的特征图集S＝{Si}i＝1,...,d，其中
Figure BDA00025411109900001112
将d个特征图按行展开，成为d个一维向量，并按顺序拼接，最终得到目标的卷积特征f，
Figure BDA00025411109900001113
两个目标框的量测似然计算公式为：
Figure BDA00025411109900001114
其中f1,f2为对应的目标框卷积特征，
Figure BDA0002541110990000121
表示f的二范数。
4.2、多伯努利更新
对于未匹配目标，通过粒子的量测似然更新多目标多伯努利参数集：
Figure BDA0002541110990000122
若连续tl帧都没有匹配的检测框，则在目标状态更新时，对目标存在概率加入递减因子η，加速目标消失，即：
Figure BDA0002541110990000123
Figure BDA0002541110990000124
Figure BDA0002541110990000125
其中，
Figure BDA0002541110990000126
Figure BDA0002541110990000127
为目标li对应模板的卷积特征
Figure BDA0002541110990000128
与粒子
Figure BDA0002541110990000129
特征之间的量测似然。
对于已匹配或新生目标，直接更新其伯努利参数：
Figure BDA00025411109900001210
步骤五 目标模板更新
目标运动过程中，周围环境及自身状态会不断发生变化，如背景变化、自身扭曲、旋转及尺度变化等，因此，需要对目标模板进行实时更新，本发明方法在使用多伯努利滤波时，对目标模板进行跟新：
Figure BDA00025411109900001211
其中，
Figure BDA0002541110990000131
为第k-1帧目标li对应的卷积特征模板，
Figure BDA0002541110990000132
为第k帧目标li跟踪结果卷积特征的稀疏表示，目标特征的稀疏表示可以更加凸显目标的主要特征，利用主要特征去更新目标模板，可以降低非主要特征的干扰；ρ为模板的学习速率。
实施例2
1、实验条件及参数
本发明方法采用Matlab2016a实现，在处理器为Intel Core i7-8700、3.2GHz×12，内存为16GB，显卡为NVIDIA Geforce GTX 1080 Ti的电脑上运行，并与2017年ErikBochinski在文章《High-Speed Tracking-by-Detection Without Using ImageInformation》里提出的IOU-T方法和论文《检测优化的多伯努利视频多目标跟踪算法》的方法DET-MBF进行性能比较与分析，同时，在实验中将本发明方法命名为CF-MBF。
本发明的性能分析采用MOT评价指标MOTA、MOTP、MT、IDs；OSPA和目标数目变化。实验数据包括稀疏人群与密集人群场景，同时存在目标遮挡、小目标、图像模糊等问题。实验结果的定量分析与定性分析如下。
2实验结果的定性分析
(1)密集人群场景
为了验证本发明算法在目标密集情况下处理轨迹碎片与标签跳变等问题的能力，本发明选取数据集MOT17中的视频序列MOT17-04进行实验，该实验数据是一个夜晚的街道场景，人群十分密集且包含一部分小目标。图5为MOT17-04视频序列在FRCNN检测集上的实验结果图，(a1)、(a2)为IOU-T跟踪结果，(b1)、(b2)为本发明算法CF-MBF跟踪结果。可以看出，由于频繁的目标紧邻和互相遮挡，多个目标没有被检测器检测到，IOU-T无法关联漏检目标，导致目标被漏跟，出现标签跳变情况。而CF-MBF算法采用双滤波器结合，从检测框消失的前一帧开始对目标进行处理，实现后续的跟踪。根据第178帧实验结果图中，IOU-T最大目标标签为69，而CF-MBF算法最大目标标签为48，可以得出，本发明算法CF-MBF能较好的处理标签跳变与轨迹碎片问题。
(2)目标尺寸变化
为了评估本发明算法CF-MBF对目标尺寸变化的处理能力，本发明选取数据集MOT17中的视频序列MOT17-09进行实验。该实验数据是一个商场门口的场景，人群较为密集，目标尺寸变化大，且存在大量遮挡。图6为MOT17-04视频序列在FRCNN检测集上的实验结果图，(c1)、(c2)为IOU-T跟踪结果，(d1)、(d2)为CF-MBF算法跟踪结果。可以看出，尽管部分目标姿态发生较大变化，但是通过检测器可以很好地检测出该目标，IOU-T算法和CF-MBF算法都能根据检测框信息对该目标进行很好的跟踪。图中目标发生遮挡，无法获得其检测信息，本发明提出的CF-MBF算法，能够跟踪到被短期遮挡的目标。实验结果表明本发明算法CF-MBF对目标尺寸变化具有较好的处理能力。
(3)目标交叉运动
为了本发明算法CF-MBF对目标交叉运动时出现的遮挡等问题的处理能力，本发明在Visual Tracker Benchmark TB100中的视频序列Subway上进行实验，该实验数据为地铁入口处街道监控视频，包含目标紧邻、遮挡、交叉运动等情形，同时序列图像质量较低，存在部分目标模糊。实验结果如图7所示，(e1)-(e3)为DET-MBF跟踪结果，(f1)-(f3)为本发明算法CF-MBF的跟踪结果。根据结果图可以看出，目标被部分遮挡多帧，算法DET-MBF与CF-MBF均能对目标进行比较准确的定位，但是连续的遮挡导致DET-MBF出现部分跟踪框偏移情况，当目标脱离遮挡状态时，DET-MBF算法采用高置信度检测框对跟踪框进行调整，减少了误差的叠加。本发明算法CF-MBF，同样会出现部分跟踪框偏移现象，但是偏移程度较小，能够实现整体较为准确的跟踪。
(4)稀疏目标场景
为了综合评估本发明算法CF-MBF处理问题的能力，本发明在CAVUAR数据集中的视频序列上EnterExitCrossingPaths1cor进行实验，该实验数据为商场走廊监控视频数据，同时包含上述目标紧邻、遮挡、交叉运动、小目标、目标尺寸变化等问题，实验结果如图8所示，(g1)-(g3)为DET-MBF跟踪结果，(h1)-(h3)为本发明算法CF-MBF的跟踪结果。根据结果图可以看出，两种算法在目标脱离遮挡后，均保持目标标签不变，实现多目标的连续跟踪。同时，两种算法能够很好的利用高置信度检测框信息实时调整目标尺寸，实现自适应跟踪。但是对于无对应检测框的目标的持续跟踪，DET-MBF存在部分跟踪框有偏差的情况，而本发明算法CF-MBF，采用弱滤波器采样粒子，更好的包含真实目标状态，提高了目标跟踪精度。
3实验结果的定量分析
对于2中实验(1)和实验(2)，选取MOTA、MOTP、MT、IDs这四个评价指标，对IOU-T算法、本发明算法CF-MBF进行对比，如表1所示，本发明算法CF-MBF在MOTA、MT、IDs上都要优于对比算法，IOU-T的跟踪效果依赖于检测结果，当目标出现漏检等情况，会导致IOU-T出现部分轨迹碎片和标签跳变的情况，所以在MOTA、MT、IDs这三个指标上相对较差。本发明算法CF-MBF通过结合滤波算法实现漏检目标继续跟踪与轨迹关联，能够减少目标漏跟情况，实现目标状态连续估计，同时，本发明算法CF-MBF，采用CF作为弱滤波器采样高质量粒子，能够很好的采样出目标真实状态，提高跟踪框质量，所以整体优于IOU-T算法。
表5-1 实验(1)、(2)结果对比(表中↑表示值越大越好，↓表示值越小越好)
Figure BDA0002541110990000151
对于2中实验(3)和实验(4)，本发明选取OSPA估计与目标数目变化估计来对实验结果进行定量分析，对DET-MBF算法与本发明算法CF-MBF进行对比。图9给出了对比算法的OSPA估计与目标数目估计，(I1)、(I2)为实验(3)目标数目估计与OSPA估计，(J1)、(J2)为实验(4)目标数目估计与OSPA估计。从图中可以看出，当新生目标部分出现时，检测器无法提供高置信度检测框，目标新生短暂延迟，使得OSPA值增大。在跟踪过程中，CF-MBF算法使用弱滤波器精准采样粒子，同时结合高置信度目标检测框，实现对目标的准确跟踪，OSPA估计值相对较低。在目标开始消失时，检测器无法检测到已部分消失的目标，DET-MBF算法和CF-MBF算法在没有检测信息的情况下，可能会出现目标消失不敏感，导致OSPA估计值上升，且目标数目估计较大。从图(I2)、(J2)中可以发现，在中间帧目标被稳定跟踪时，对比算法的OSPA估计值基本一样且波动较小。这是因为在目标不受到复杂情况影响时，检测器能够得到高置信度目标检测框，而对比算法在跟踪过程中都充分利用高置信度检测框信息。
本发明的保护范围并不仅局限于上述实施例，凡是在本发明构思的精神和原则之内，本领域的专业人员能够做出的任何修改、等同替换和改进等均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于IOU匹配的双滤波器视频多目标跟踪方法，其特征在于，所述方法包括：
步骤一：在初始时刻k＝0，当前帧目标检测集为
Figure FDA0002541110980000011
检测框
Figure FDA0002541110980000012
为第i个检测框的状态向量，其中
Figure FDA0002541110980000013
分别表示检测框左上角横坐标、纵坐标，检测框宽、检测框高和置信度；当
Figure FDA0002541110980000014
时，将检测框加入存活目标集
Figure FDA0002541110980000015
其中h为检测框置信度阈值，m为满足条件
Figure FDA0002541110980000016
的检测框个数，目标框
Figure FDA0002541110980000017
Figure FDA0002541110980000018
li分别表示目标框的左上角横坐标、纵坐标，目标框宽、目标框高和对应赋值的目标标签；所述目标用li表示，同时设置相应的伯努利
Figure FDA0002541110980000019
Figure FDA00025411109800000110
分别表示目标li的存在概率和概率分布，且
Figure FDA00025411109800000111
步骤二：在k时刻，当前帧目标检测集为
Figure FDA00025411109800000112
进行每个目标轨迹
Figure FDA00025411109800000113
与检测框的IOU匹配，所述检测框为利用贪心算法贪心地选择当前帧目标检测集中与目标轨迹IOU最大的检测框
Figure FDA00025411109800000114
步骤三：将与目标轨迹
Figure FDA00025411109800000115
相匹配的检测框作为目标的跟踪结果加入轨迹集并进行多伯努利参数赋值，对于未匹配到检测框的目标，进行多伯努利滤波求解，所述多伯努利滤波求解包括：目标框卷积层特征提取；对提取的卷积层特征进行滤波器训练得到不同卷积层特征对应的多个目标位置估计、对多个目标位置估计进行加权求和并扩充得到粒子集、进行多伯努利预测；
步骤四：利用目标与粒子的量测似然更新未匹配目标的多伯努利参数，对于已匹配或新生目标，直接更新伯努利参数；
步骤五：更新目标模板。
2.如权利要求1所述的一种基于IOU匹配的双滤波器视频多目标跟踪方法，其特征在于，所述进行目标轨迹与检测框的匹配方法为：
a、设IOU匹配阈值为δIOU，若
Figure FDA0002541110980000021
且
Figure FDA0002541110980000022
则将当前帧第i个检测框加入目标lj(i≠j)轨迹中，并在检测集
Figure FDA0002541110980000023
中剔除检测框
Figure FDA0002541110980000024
b、若
Figure FDA0002541110980000025
且
Figure FDA0002541110980000026
则表示检测框
Figure FDA0002541110980000027
没有相匹配的轨迹，此时将检测框
Figure FDA0002541110980000028
作为新生目标加入到目标轨迹集当中，为其赋值标签ln+1，n为所有轨迹总个数；同时，对于目标lj，当前帧不存在与该轨迹满足阈值δIOU的检测框；
c、若
Figure FDA0002541110980000029
则表示检测框
Figure FDA00025411109800000210
的置信度较低，将其判断为杂波，在检测集
Figure FDA00025411109800000211
中剔除检测框
Figure FDA00025411109800000212
3.如权利要求2所述的一种基于IOU匹配的双滤波器视频多目标跟踪方法，其特征在于，所述特征提取采用VGG19特征提取，包括：设当前目标框宽、高分别为M、N，扩展目标搜索区域至2M×2N；将当前目标框区域图像插值调整尺寸到224*224作为VGG19输入图像；VGG19的卷积网络中间层输出作为提取到的卷积层特征X；为了消除卷积层特征X的不连续性，将提取出的卷积特征层X乘以余弦窗口，并插值调整大小到(M/8×N/8)。
4.如权利要求3所述的一种基于IOU匹配的双滤波器视频多目标跟踪方法，其特征在于，所述滤波器训练过程包括：
a、利用VGG19提取的卷积层特征为
Figure FDA00025411109800000213
其中M为特征图的宽、N为特征图的高，D为特征图通道数，X的循环变化表示为：
Xm,n(m,n)∈{0,1,…,M-1}×{0,1,…,N-1}；
b、在滤波器训练时，需要记录特征的变换过程，将每次变换的标签Y定义为下式的高斯分布：
Figure FDA00025411109800000214
c、采用傅里叶变换得到特征和标签在频域内的表示，即X＝F(X),Y＝F(Y)，F(*)表示傅里叶变换；相关滤波器为：
Figure FDA0002541110980000031
其中，
Figure FDA0002541110980000032
λ为大于等于0的规则化参数；在特征通道ds上求解模型参数:
Figure FDA0002541110980000033
式中，Xds为卷积层特征X在特征通道ds上的特征图，Xi为卷积层特征X在特征通道i上的特征图，
Figure FDA0002541110980000034
为Xi的复共轭；⊙为Hadamard积；
d、目标跟踪过程中，被跟踪目标的搜索区域R为目标在上一帧中的位置，计算其通过VGG19传播的结果：
Zds＝VGG(R)，ds∈[1,2,…,D]
其中，VGG(*)表示VGG19向前传播计算。
e、计算特征X对相关滤波器响应：
Figure FDA0002541110980000035
其中，F-1(*)表示傅里叶逆变换；所述S最大响应为被跟踪目标估计位置
Figure FDA0002541110980000036
即
Figure FDA0002541110980000037
5.如权利要求4所述的一种基于IOU匹配的双滤波器视频多目标跟踪方法，其特征在于，所述粒子集生成包括：分别提取的多层VGG19卷积层特征训练多个滤波器W*，通过滤波器计算的最大响应位置得到不同卷积层特征对应的多个目标位置估计，将这些目标位置估计进行加权求和并扩充得到最终粒子集。
6.如权利要求5所述的一种基于IOU匹配的双滤波器视频多目标跟踪方法，其特征在于，所述利用目标与粒子的量测似然更新未匹配目标的多伯努利参数包括：卷积特征提取，将目标框
Figure FDA0002541110980000041
的尺寸规范化为n×n，并转化为灰度图像，记为I，使用大小为w×w的滑动窗口,以步长Δ对目标图像进行卷积操作，得到目标图像块集合y＝{Y1,Y2,...,Yl}，其中Yi∈Rw×w，l＝(n-w+Δ)×(n-w+Δ)，将每个目标图像块减去自身均值并二范数归一化处理，采用k-means算法选出d个子块
Figure FDA0002541110980000042
用第i个子块Fi o∈Rw×w在图像I上做卷积操作，得到一个目标特征图
Figure FDA0002541110980000043
目标模板建立时，在目标附近随机平移目标框来采集num个背景样本，所述平移值大于目标框宽和高的1/4，与目标特征采集时使用同样预处理操作，使用k-means算法选取d个特征小块，第i个背景样本的特征子块集合为
Figure FDA0002541110980000044
对num个背景样本得到的特征集平均池化得到背景平均特征子块集合：
Figure FDA0002541110980000045
将其与图像I做卷积
Figure FDA00025411109800000413
操作，得到背景在图像上的特征图：
Figure FDA0002541110980000046
用目标特征图
Figure FDA0002541110980000047
减去背景特征图
Figure FDA0002541110980000048
得到能区分目标与背景的特征图集S＝{Si}i＝1,...,d，其中
Figure FDA0002541110980000049
将d个特征图按行展开，成为d个一维向量，并按顺序拼接，最终得到目标的卷积特征f，
Figure FDA00025411109800000410
两个目标框的量测似然计算公式为：
Figure FDA00025411109800000411
其中f1,f2为对应的目标框卷积特征，
Figure FDA00025411109800000412
表示f的二范数。
7.如权利要求6所述的一种基于IOU匹配的双滤波器视频多目标跟踪方法，其特征在于，所述目标模板更新为：
Figure FDA0002541110980000051
其中，
Figure FDA0002541110980000052
为第k-1帧目标li对应的卷积特征模板，
Figure FDA0002541110980000053
为第k帧目标li跟踪结果卷积特征的稀疏表示，ρ为模板的学习速率。
8.如权利要求7所述的一种基于IOU匹配的双滤波器视频多目标跟踪方法，其特征在于，若目标lj的模板未建立，则提取目标特征建立目标模板，利用该目标轨迹
Figure FDA0002541110980000054
建立该轨迹目标模板，所述目标模板由所述提取的卷积特征表示。
9.权利要求1-8任一项所述的一种基于IOU匹配的双滤波器视频多目标跟踪方法，其特征在于，所述方法用于行人、车辆跟踪。
CN202010547158.6A 2020-06-16 2020-06-16 一种基于iou匹配的双滤波器视频多目标跟踪方法 Active CN111754545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010547158.6A CN111754545B (zh) 2020-06-16 2020-06-16 一种基于iou匹配的双滤波器视频多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010547158.6A CN111754545B (zh) 2020-06-16 2020-06-16 一种基于iou匹配的双滤波器视频多目标跟踪方法

Publications (2)

Publication Number Publication Date
CN111754545A true CN111754545A (zh) 2020-10-09
CN111754545B CN111754545B (zh) 2024-05-03

Family

ID=72676235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010547158.6A Active CN111754545B (zh) 2020-06-16 2020-06-16 一种基于iou匹配的双滤波器视频多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN111754545B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651996A (zh) * 2020-12-22 2021-04-13 南京市城市与交通规划设计研究院股份有限公司 目标检测跟踪方法、装置、电子设备和存储介质
CN113223054A (zh) * 2021-05-28 2021-08-06 武汉卓目科技有限公司 对eco跟踪框的抖动性进行改进的目标跟踪方法及装置
CN113327273A (zh) * 2021-06-15 2021-08-31 中国人民解放军火箭军工程大学 一种基于可变窗函数相关滤波的红外目标跟踪方法
CN113421288A (zh) * 2021-08-23 2021-09-21 杭州云栖智慧视通科技有限公司 一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法
WO2022142466A1 (zh) * 2020-12-29 2022-07-07 上海微创卜算子医疗科技有限公司 细胞跟踪方法、精子优选方法、电子设备和存储介质
WO2023197232A1 (zh) * 2022-04-14 2023-10-19 京东方科技集团股份有限公司 目标跟踪方法及装置、电子设备、计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408594A (zh) * 2016-09-28 2017-02-15 江南大学 基于多伯努利特征协方差的视频多目标跟踪方法
CN109344725A (zh) * 2018-09-04 2019-02-15 上海交通大学 一种基于时空关注度机制的多行人在线跟踪方法
CN110084831A (zh) * 2019-04-23 2019-08-02 江南大学 基于YOLOv3多伯努利视频多目标检测跟踪方法
CN110532921A (zh) * 2019-08-21 2019-12-03 江南大学 基于ssd检测广义标签多伯努利视频多目标跟踪方法
CN110929560A (zh) * 2019-10-11 2020-03-27 杭州电子科技大学 融合目标检测与跟踪的视频半自动目标标注方法
US20200160061A1 (en) * 2017-12-11 2020-05-21 Zhuhai Da Hengqin Technology Development Co., Ltd. Automatic ship tracking method and system based on deep learning network and mean shift

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408594A (zh) * 2016-09-28 2017-02-15 江南大学 基于多伯努利特征协方差的视频多目标跟踪方法
US20200160061A1 (en) * 2017-12-11 2020-05-21 Zhuhai Da Hengqin Technology Development Co., Ltd. Automatic ship tracking method and system based on deep learning network and mean shift
CN109344725A (zh) * 2018-09-04 2019-02-15 上海交通大学 一种基于时空关注度机制的多行人在线跟踪方法
CN110084831A (zh) * 2019-04-23 2019-08-02 江南大学 基于YOLOv3多伯努利视频多目标检测跟踪方法
CN110532921A (zh) * 2019-08-21 2019-12-03 江南大学 基于ssd检测广义标签多伯努利视频多目标跟踪方法
CN110929560A (zh) * 2019-10-11 2020-03-27 杭州电子科技大学 融合目标检测与跟踪的视频半自动目标标注方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
冯新喜;蒲磊;孔云波;王雪;: "基于随机有限集理论的多扩展目标跟踪技术综述", 空军工程大学学报(自然科学版), no. 03, 25 June 2016 (2016-06-25) *
蔡如华;杨标;吴孙勇;李瞳;孙希延;: "弱目标箱粒子标签多伯努利多目标检测与跟踪算法", 红外与毫米波学报, no. 02, 15 April 2019 (2019-04-15) *
袁大龙;纪庆革;: "协同运动状态估计的多目标跟踪算法", 计算机科学, no. 2, 15 November 2017 (2017-11-15) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651996A (zh) * 2020-12-22 2021-04-13 南京市城市与交通规划设计研究院股份有限公司 目标检测跟踪方法、装置、电子设备和存储介质
WO2022142466A1 (zh) * 2020-12-29 2022-07-07 上海微创卜算子医疗科技有限公司 细胞跟踪方法、精子优选方法、电子设备和存储介质
CN113223054A (zh) * 2021-05-28 2021-08-06 武汉卓目科技有限公司 对eco跟踪框的抖动性进行改进的目标跟踪方法及装置
CN113327273A (zh) * 2021-06-15 2021-08-31 中国人民解放军火箭军工程大学 一种基于可变窗函数相关滤波的红外目标跟踪方法
CN113327273B (zh) * 2021-06-15 2023-12-19 中国人民解放军火箭军工程大学 一种基于可变窗函数相关滤波的红外目标跟踪方法
CN113421288A (zh) * 2021-08-23 2021-09-21 杭州云栖智慧视通科技有限公司 一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法
WO2023197232A1 (zh) * 2022-04-14 2023-10-19 京东方科技集团股份有限公司 目标跟踪方法及装置、电子设备、计算机可读介质

Also Published As

Publication number Publication date
CN111754545B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN111754545A (zh) 一种基于iou匹配的双滤波器视频多目标跟踪方法
CN110084831B (zh) 基于YOLOv3多伯努利视频多目标检测跟踪方法
CN109816689B (zh) 一种多层卷积特征自适应融合的运动目标跟踪方法
CN107424171B (zh) 一种基于分块的抗遮挡目标跟踪方法
CN107481264B (zh) 一种自适应尺度的视频目标跟踪方法
US8045783B2 (en) Method for moving cell detection from temporal image sequence model estimation
CN111080673B (zh) 一种抗遮挡目标跟踪方法
CN111523447B (zh) 车辆跟踪方法、装置、电子设备及存储介质
CN113034548A (zh) 一种适用于嵌入式终端的多目标跟踪方法及其系统
Rout A survey on object detection and tracking algorithms
CN112308881A (zh) 一种基于遥感图像的舰船多目标跟踪方法
CN110532921B (zh) 基于ssd检测广义标签多伯努利视频多目标跟踪方法
CN112085765B (zh) 结合粒子滤波及度量学习的视频目标跟踪方法
CN110555868A (zh) 一种复杂地面背景下运动小目标检测方法
CN110400294B (zh) 一种红外目标探测系统及探测方法
WO2020202505A1 (en) Image processing apparatus, image processing method and non-transitoty computer readable medium
Hassan et al. An adaptive sample count particle filter
CN110827262A (zh) 一种基于连续有限帧红外图像的弱小目标检测方法
CN108010066B (zh) 基于红外目标灰度互相关和角度信息的多假设跟踪方法
CN110717934A (zh) 一种基于strcf的抗遮挡目标跟踪方法
CN112164093A (zh) 一种基于边缘特征和相关滤波的人物自动跟踪方法
CN113763427A (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法
Tang et al. Salient moving object detection using stochastic approach filtering
CN111833377A (zh) 一种基于tbd复杂环境下运动小目标检测方法
CN113129332A (zh) 执行目标对象跟踪的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant