CN111241965A - 一种基于多示例学习进行遮挡检测的目标跟踪方法 - Google Patents

一种基于多示例学习进行遮挡检测的目标跟踪方法 Download PDF

Info

Publication number
CN111241965A
CN111241965A CN202010010441.5A CN202010010441A CN111241965A CN 111241965 A CN111241965 A CN 111241965A CN 202010010441 A CN202010010441 A CN 202010010441A CN 111241965 A CN111241965 A CN 111241965A
Authority
CN
China
Prior art keywords
target
occlusion
local
tracking
cosine similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010010441.5A
Other languages
English (en)
Inventor
周非
孙帮武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010010441.5A priority Critical patent/CN111241965A/zh
Publication of CN111241965A publication Critical patent/CN111241965A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多示例学习进行遮挡检测的目标跟踪方法，该方法包括：联合多示例学习的分类能力和局部加权余弦相似度最大值的分布特征构建遮挡预测机制，根据预估结果跟踪器从正常模式和遮挡模式中选择一种模式进行工作。在正常模式下，直接对跟踪器进行在线更新；在遮挡模式下，激活重检测机制，最后根据搜索结果来判断是否执行在线更新。实施本发明，能够使跟踪方法在抗遮挡方面具有良好的性能。

Description

一种基于多示例学习进行遮挡检测的目标跟踪方法
技术领域
本发明属于目标跟踪技术应用领域，具体涉及一种基于多示例学习进行遮挡检测的目标跟踪方法。
背景技术
目标跟踪属于计算机视觉处理的研究范畴，一直以来受到了研究人员的关注。目标跟踪的处理对象一般为视频或者图像序列，其目的是在一系列连续的图像中对特定的目标物体进行检测、提取、辨别和跟踪。从这一系列操作过程中获得目标的相关参数，如位置、大小、速度、方向。最后依据这些参数信息对目标进行分析和行为的理解，甚至在此基础上完成更加高级、智能的任务。
目标跟踪是计算机视觉领域最重要的研究课题之一，其在人类生活中有着重要的应用，例如：智能交通、安防监控、人机交互、视频检索等。但在实际场景中，跟踪目标常常会受到多种因素的影响，例如场景中多目标之间的局部遮挡、由目标进入不可视区域导致的全局遮挡等。因此，研究如何实现遮挡环境下对运动目标的鲁棒跟踪就成为一个重要的课题。
综上所述，现有技术存在的问题是：
现阶段，很多跟踪方法不能很好的应对遮挡挑战，因而极易导致跟踪漂移。目标跟踪方法需要应对的主要挑战是目标与遮挡物外观的相似程度、遮挡面积以及遮挡时间。目标被遮挡的越严重且遮挡时间越长，模板集越容易失效，目标往往也越容易发生跟踪漂移。
解决上述技术问题的难度：
遮挡是目标跟踪过程中常见的现象，如何设计一个高效的遮挡预测机制是本发明的难点之一；当目标因遮挡发生跟踪漂移时，如何准确快速地重新捕获目标是本发明的另一个难点。
解决上述技术问题的意义：
在实际的应用场景中，跟踪目标经常被运动或静止的物体遮挡。遮挡挑战是制约目标跟踪方法性能的主要因素之一，因而提高跟踪方法的抗遮挡能力尤为重要。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于多示例学习进行遮挡检测的目标跟踪方法，用于解决传统目标跟踪算法在遮挡场景下易出现跟踪漂移的问题。
为实现上述目的及其他相关目的，本发明提供一种基于多示例学习进行遮挡检测的目标跟踪方法，所述跟踪方法包括：
步骤S1、通过多示例学习获取候选样本的遮挡程度Docc和局部图像块的权重向量w＝[ω1,ω2,...,ωN]；
步骤S2、利用多模板局部加权余弦相似度构造观测模型；
步骤S3、局部加权余弦相似度最大值与目标的遮挡程度相关，遮挡程度越高，局部加权余弦相似度最大值越小。根据此特点，构造一判断机制，同时联合多示例学习获取的遮挡程度Docc共同判断目标是否发生遮挡；
步骤S4、当目标发生遮挡时，激活重检测机制重新捕获目标；
步骤S5、对目标模板和分类器进行合理的更新。
可选地，将目标区域均匀分割成N个重叠的局部图像块，并通过mi-SVM算法得到一个分类器。初始通过k-d树获取第二帧至第n帧的最优候选样本，然后用前n帧的最优候选样本作为训练集。使用分类器预测局部块的遮挡情况，用σk表示局部块的遮挡情况，即：
Figure BDA0002356950940000021
则目标的遮挡程度表示为
Figure BDA0002356950940000022
Docc越小表示遮挡越严重。位于边界框中间的目标包含更多的目标信息和较少的背景信息。因此，位于中间的局部块在整体相似度测量中占较大的贡献值，位于边缘的局部块占较小的贡献值。根据局部块的遮挡情况和位置信息，可以获得局部块对整体相似度测量的贡献值。
用ak表示局部块的贡献值：
Figure BDA0002356950940000031
其中，i＝1,2,..,R；j＝1,2,...,C，β为一个常数，(i,j)表示局部块的位置，R和C分别表示每一行和每一列的图像块数。根据贡献值ak，可以计算第k个局部块的权重：
Figure BDA0002356950940000032
可选地，本发明用k-d树获得的跟踪结果构造目标模板集T＝[T1,T2,...,Tz]，
Figure BDA0002356950940000033
表示第i个目标模板。u＝[u1,u2,...,uz]为目标模板集的权重集合，初始权重均为1/z。w＝[ω1,ω2,...,ωN]为局部图像块的权重向量，候选目标
Figure BDA0002356950940000034
与第i个目标模板Ti的局部加权余弦相似度为：
Figure BDA0002356950940000035
其中
Figure BDA0002356950940000036
表示向量
Figure BDA0002356950940000037
和向量
Figure BDA0002356950940000038
的余弦相似度。则候选目标
Figure BDA0002356950940000039
的观测模型可构造为：
Figure BDA00023569509400000310
其中
Figure BDA00023569509400000311
表示目标状态变量xt的第j个样本。
可选地，局部加权余弦相似度最大值与目标的遮挡程度相关，遮挡程度越高，局部加权余弦相似度最大值越小。根据此特点，构造如下判断机制：
Sk+1-S(k-N,k)＜0
其中Sk+1其中表示第k+1帧跟踪结果的局部加权余弦相似度，S(k-N,k)为局部加权余弦相似度的期望，其计算方式如下：
Figure BDA00023569509400000312
其中Si表示第i帧跟踪结果的局部加权余弦相似度，θi为权重系数，计算方式如式为：
Figure BDA0002356950940000041
第i帧跟踪结果的局部加权余弦相似度与局部加权余弦相似度均值越接近，其权重系数越大。联合遮挡程度Docc构建遮挡预测机制，即当Sk+1＜S(k-N,k)并且Docc＜τ或者Docc＝0时，判断目标此时发生严重遮挡或已丢失，跟踪器进入遮挡模式。
可选地，当目标发生遮挡时，激活重检测机制重新捕捉目标。以目标区域为中心向外扩大构造一个搜索区域。通过粒子滤波方法在搜索区域采样M个候选目标，并通过mi-SVM算法获取每个候选目标的遮挡程度，为减少计算量，根据遮挡程度的大小将无效候选目标筛选出去。最后计算出候选目标局部加权相似度的最大值
Figure BDA0002356950940000042
和对应的遮挡程度
Figure BDA0002356950940000043
如果
Figure BDA0002356950940000044
和
Figure BDA0002356950940000045
满足下式：
Figure BDA0002356950940000046
and
Figure BDA0002356950940000047
则表示搜索成功，并分别对模板和分类器的训练集进行更新；否则，当前帧的结果为上一帧的跟踪结果，同时不进行在线更新。
可选地，在实际的应用场景中，跟踪目标的状态一直在变化，如果不对目标模板和分类器进行合理的更新，必定会影响跟踪算法的准确度。所以自适应的更新方法是必要的。
(1)模板更新：设y＝[y1,y2,...,yN]表示当前帧的跟踪结果，用跟踪结果与目标模板的局部加权余弦相似度更新目标模板的权重：
Figure BDA0002356950940000048
接着用跟踪结果的局部图像块去更新模板集中权值最小的目标模板：
Figure BDA0002356950940000049
其中μ为预设的更新率，τ1是预先设定的阈值。
(2)分类器更新：每隔θ帧图像，通过最新的n帧跟踪结果重新采集正负包，更新分类器。为防止发生严重遮挡的跟踪结果影响分类器的性能，当遮挡程度Docc不超过阈值τ2时，该跟踪结果不可以加入训练集。此外，因为首帧目标始终真实，故始终保持首帧目标在训练集中。
综上所述，本发明的一种基于多示例学习进行遮挡检测的目标跟踪方法，具有以下有益效果：
(1)本发明联合多示例学习的分类能力和局部加权余弦相似度最大值的分布特征构建的遮挡预测机制，能够准确地判断目标是否发生遮挡，这使得该方法能够防止模板集被遮挡物所干扰；
(2)当目标发生遮挡时，本发明能够激活重检测机制准确快速地重新捕获目标，从而提升跟踪方法的跟踪精度；
(3)从OTB测试数据集中选取具有遮挡属性的视频序列进行对比实验，实验结果表明，本发明方法与SCM、ASLA、WLCS、LWIST相比在抗遮挡方面具有更高的跟踪精度。
附图说明
图1是本发明实施例提出的目标跟踪方法流程图。
图2是本发明实施例提供的目标搜索示意图。
图3是本发明实施例提供的目标跟踪效果图。
图4是本发明实施例提供的仿真结果的中心误差曲线图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为本发明的流程示意图。参照图1，本发明的具体实现过程如下：
步骤1、通过多示例学习获取候选样本的遮挡程度Docc和局部图像块的权重向量w＝[ω1,ω2,...,ωN]。将目标区域均匀分割成N个重叠的局部图像块，并通过mi-SVM算法得到一个分类器。初始通过k-d树获取第二帧至第n帧的最优候选样本，然后用前n帧的最优候选样本作为训练集。使用分类器预测局部块的遮挡情况，用σk表示局部块的遮挡情况，即：
Figure BDA0002356950940000061
则目标的遮挡程度表示为
Figure BDA0002356950940000062
Docc越小表示遮挡越严重。位于边界框中间的目标包含更多的目标信息和较少的背景信息。因此，位于中间的局部块在整体相似度测量中占较大的贡献值，位于边缘的局部块占较小的贡献值。根据局部块的遮挡情况和位置信息，可以获得局部块对整体相似度测量的贡献值。
用ak表示局部块的贡献值：
Figure BDA0002356950940000063
其中，i＝1,2,..,R；j＝1,2,...,C，β为一个常数，(i,j)表示局部块的位置，R和C分别表示每一行和每一列的图像块数。根据贡献值ak，可以计算第k个局部块的权重：
Figure BDA0002356950940000064
步骤2，利用多模板局部加权余弦相似度构造观测模型。本发明用k-d树获得的跟踪结果构造目标模板集T＝[T1,T2,...,Tz]，
Figure BDA0002356950940000065
表示第i个目标模板。u＝[u1,u2,...,uz]为目标模板集的权重集合，初始权重均为1/z。w＝[ω1,ω2,...,ωN]为局部图像块的权重向量，候选目标
Figure BDA0002356950940000066
与第i个目标模板Ti的局部加权余弦相似度为：
Figure BDA0002356950940000067
其中
Figure BDA0002356950940000068
表示向量
Figure BDA0002356950940000069
和向量
Figure BDA00023569509400000610
的余弦相似度。则候选目标
Figure BDA00023569509400000611
的观测模型可构造为：
Figure BDA00023569509400000612
其中
Figure BDA0002356950940000071
表示目标状态变量xt的第j个样本。
步骤3，构建遮挡预测机制。局部加权余弦相似度最大值与目标的遮挡程度相关，遮挡程度越高，局部加权余弦相似度最大值越小。根据此特点，构造如下判断机制：
Sk+1-S(k-N,k)＜0 (6)
其中Sk+1其中表示第k+1帧跟踪结果的局部加权余弦相似度，S(k-N,k)为局部加权余弦相似度的期望，其计算方式如下：
Figure BDA0002356950940000072
其中Si表示第i帧跟踪结果的局部加权余弦相似度，θi为权重系数，计算方式如式为：
Figure BDA0002356950940000073
第i帧跟踪结果的相似度与相似度的均值越接近，其权重系数越大。联合遮挡程度Docc构建遮挡预测机制，即当Sk+1＜S(k-N,k)并且Docc＜τ或者Docc＝0时，判断目标此时发生严重遮挡或已丢失，跟踪器进入遮挡模式。
步骤4，重检测机制。当目标发生遮挡时，跟踪器激活重检测机制重新捕捉目标。如图2所示，以目标区域为中心向外扩大构造一个搜索区域，其中中心的黑色框为目标区域，外围的白色框为搜索区域。通过粒子滤波方法在搜索区域采样M个候选目标，并通过mi-SVM算法获取每个候选目标的遮挡程度，为减少计算量，根据遮挡程度的大小将无效候选目标筛选出去。最后计算出候选目标局部加权相似度的最大值
Figure BDA0002356950940000074
和对应的遮挡程度
Figure BDA0002356950940000075
如果
Figure BDA0002356950940000076
和
Figure BDA0002356950940000077
满足下式：
Figure BDA0002356950940000079
and
Figure BDA0002356950940000078
则表示搜索成功，并分别对模板和分类器的训练集进行更新；否则，当前帧的结果为上一帧的跟踪结果，同时不进行在线更新。
步骤5，在线更新。在实际的应用场景中，跟踪目标的状态一直在变化，如果不对目标模板和分类器进行合理的更新，必定会影响跟踪算法的准确度。所以自适应的更新方法是必要的。
(1)模板更新：设y＝[y1,y2,...,yN]表示当前帧的跟踪结果，用跟踪结果与目标模板的局部加权余弦相似度更新目标模板的权重：
Figure BDA0002356950940000081
接着用跟踪结果的局部图像块去更新模板集中权值最小的目标模板：
Figure BDA0002356950940000082
其中μ为预设的更新率，τ1是预先设定的阈值。
(2)分类器更新：每隔θ帧图像，通过最新的n帧跟踪结果重新采集正负包，更新分类器。为防止发生严重遮挡的跟踪结果影响分类器的性能，当遮挡程度Docc不超过阈值τ2时，该跟踪结果不可以加入训练集。此外，因为首帧目标始终真实，故始终保持首帧目标在训练集中。
证明部分
本发明的效果可以通过OTB测试数据集里的视频序列进行仿真进一步说明。计算机环境为：CPU为Intel Core i3，内存为8GB。实验平台：Matlab2016b。参数设置如下：粒子个数M设为400，目标模板集个数为z＝12，常数β＝1，系数α＝0.95，分类器更新间隔为θ＝10，更新率为μ＝0.95，目标模板的更新阈值为τ1＝0.85，阈值τ＝τ2＝4。
图3是本发明所给出的方法与其他方法在5个发生遮挡视频序列上的跟踪结果。其他方法分别是SCM、ASLA、WLCS、LWIST。Coupon测试序列背景复杂，由图3(a)可以看出，在第140帧图像中，由于局部遮挡和相似背景的干扰，WLCS发生跟踪漂移，LWIST将背景误认为目标。David3测试序列主要测试算法在遮挡、形变、复杂背景和旋转等场景下的性能。由图3(b)可以看出，在第90帧中，目标经历大树的遮挡后又重新出现，此时SCM发生跟踪漂移；在第137帧中，目标发生旋转，ASLA和LWIST跟踪出现偏差。Girl2测试视频中存在目标遮挡、旋转、形变、光照变化和快速运动。由图3(c)可以看出，在第585帧中，由于目标发生旋转、形变和快速运动，ASLA和SCM丢失了目标，WLCS算法出现了偏差；在第1390帧中，目标的大部分区域被背景覆盖，本发明所提出的方法依然准确跟踪。Jogging1测试视频能够检验算法在遮挡、形变和旋转方面的跟踪性能。由图3(d)可以看出，在第68帧中，因为目标被背景完全遮挡，WLCS对目标的定位出现偏差；在第90帧中，目标的遮挡已经结束，只有本发明所提出的方法保持对目标的准确跟踪。Suv测试视频主要检验算法在遮挡、旋转和目标在视野之外等场景下的性能。由图3(e)可以看出，在第573帧中，目标经历长期遮挡后重新出现，WLCS和LWIST出现跟踪漂移；在第680帧中，目标被树所遮挡，ASLA对目标的定位发生偏差。在图3中，黑色点线框、黑色点画线框、黑色虚线框、黑色加粗虚线框和黑色实线框分别代表SCM、ASLA、WLCS、LWIST和本发明所提出的方法。
本发明采用中心误差和跟踪重叠率作为跟踪准确性的标准。中心误差是指跟踪结果中心与目标真实位置中心的欧式距离，中心误差越小表示跟踪准确性越高。表1列出了各个方法在8个测试数据上的中心误差，‘-’表示跟踪失败。图4显示了5种方法的中心误差曲线图。跟踪重叠率定义为SC＝(Sg∩St)/(Sg∪St)，St表示跟踪结果的区域面积，Sg表示目标真实位置的区域面积。跟踪重叠率越大表示跟踪准确性越高。表2列出了各个方法在8个测试数据上的跟踪重叠率。表1、表2和图4的实验结果表明：相比其他4种方法，本发明所提出的方法在抗遮挡方面表现更优。
表1不同方法在8个视频序列上的中心误差
Figure BDA0002356950940000091
表2不同方法在8个视频序列上的跟踪重叠率
Figure BDA0002356950940000101
表3不同方法的性能指标
Figure BDA0002356950940000102
表3列出了5种方法在8个测试数据上的平均中心位置、平均重叠率和平均速率。从表中可以看出，本发明所提出的方法在平均中心误差和重叠率上均是最优的，本发明所提出的方法能够有效处理遮挡问题。虽然本发明所提出的方法在跟踪速率上低于WLCS和LWIST，但跟踪性能更加准确和稳定。这说明本发明构建的遮挡检测机制能够有效检测目标的遮挡情况，并且当遮挡在目标区域消失时能够重新捕获到目标，能够抑制因遮挡而出现的跟踪漂移。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多示例学习进行遮挡检测的目标跟踪方法，其特征在于，所述跟踪方法包括：
步骤S1、通过多示例学习获取候选样本的遮挡程度Docc和局部图像块的权重向量w＝[ω1,ω2,...,ωN]；
步骤S2、利用多模板局部加权余弦相似度构造观测模型；
步骤S3、局部加权余弦相似度最大值与目标的遮挡程度相关，遮挡程度越高，局部加权余弦相似度最大值越小。根据此特点，构造一判断机制，同时联合多示例学习获取的遮挡程度Docc共同判断目标是否发生遮挡；
步骤S4、当目标发生遮挡时，激活重检测机制重新捕获目标；
步骤S5、对目标模板和分类器进行合理的更新。
2.如权利要求1所述的基于多示例学习进行遮挡检测的目标跟踪方法，其特征在于，将目标区域均匀分割成N个重叠的局部图像块，并通过mi-SVM算法得到一个分类器。初始通过k-d树获取第二帧至第n帧的最优候选样本，然后用前n帧的最优候选样本作为训练集。使用分类器预测局部块的遮挡情况，用σk表示局部块的遮挡情况，即：
Figure FDA0002356950930000011
则目标的遮挡程度表示为
Figure FDA0002356950930000012
Docc越小表示遮挡越严重。位于边界框中间的目标包含更多的目标信息和较少的背景信息。因此，位于中间的局部块在整体相似度测量中占较大的贡献值，位于边缘的局部块占较小的贡献值。根据局部块的遮挡情况和位置信息，可以获得局部块对整体相似度测量的贡献值。用ak表示局部块的贡献值：
Figure FDA0002356950930000013
其中，i＝1,2,..,R；j＝1,2,...,C，β为一个常数，(i,j)表示局部块的位置，R和C分别表示每一行和每一列的图像块数。根据贡献值ak，可以计算第k个局部块的权重：
Figure FDA0002356950930000021
。
3.如权利要求1所述的基于多示例学习进行遮挡检测的目标跟踪方法，其特征在于，本发明用k-d树获得的跟踪结果构造目标模板集T＝[T1,T2,...,Tz]，
Figure FDA0002356950930000022
表示第i个目标模板。u＝[u1,u2,...,uz]为目标模板集的权重集合，初始权重均为1/z。w＝[ω1,ω2,...,ωN]为局部图像块的权重向量，候选目标
Figure FDA0002356950930000023
与第i个目标模板Ti的局部加权余弦相似度为：
Figure FDA0002356950930000024
其中
Figure FDA0002356950930000025
表示向量
Figure FDA0002356950930000026
和向量
Figure FDA0002356950930000027
的余弦相似度。则候选目标
Figure FDA0002356950930000028
的观测模型可构造为：
Figure FDA0002356950930000029
其中
Figure FDA00023569509300000210
表示目标状态变量xt的第j个样本。
4.如权利要求1所述的基于多示例学习进行遮挡检测的目标跟踪方法，其特征在于，局部加权余弦相似度最大值与目标的遮挡程度相关，遮挡程度越高，局部加权余弦相似度最大值越小。根据此特点，构造如下判断机制：
Sk+1-S(k-N,k)＜0
其中Sk+1其中表示第k+1帧跟踪结果的局部加权余弦相似度，S(k-N,k)为局部加权余弦相似度的期望，其计算方式如下：
Figure FDA00023569509300000211
其中Si表示第i帧跟踪结果的局部加权余弦相似度，θi为权重系数，计算方式如下：
Figure FDA00023569509300000212
第i帧跟踪结果的局部加权余弦相似度与局部加权余弦相似度均值越接近，其权重系数越大。联合遮挡程度Docc构建遮挡预测机制，即当Sk+1＜S(k-N,k)并且Docc＜τ或者Docc＝0时，判断目标此时发生严重遮挡或已丢失，跟踪器进入遮挡模式。
5.如权利要求1所述的基于多示例学习进行遮挡检测的目标跟踪方法，其特征在于，当目标发生遮挡时，激活重检测机制重新捕捉目标。以目标区域为中心向外扩大构造一个搜索区域。通过粒子滤波方法在搜索区域采样M个候选目标，并通过mi-SVM算法获取每个候选目标的遮挡程度，为减少计算量，根据遮挡程度的大小将无效候选目标筛选出去。最后计算出候选目标局部加权余弦相似度的最大值
Figure FDA0002356950930000031
和对应的遮挡程度
Figure FDA0002356950930000032
如果
Figure FDA0002356950930000033
和
Figure FDA0002356950930000034
满足下式：
Figure FDA0002356950930000035
则表示搜索成功，并分别对模板和分类器的训练集进行更新；否则，当前帧的结果为上一帧的跟踪结果，同时不进行在线更新。
6.如权利要求1所述的基于多示例学习进行遮挡检测的目标跟踪方法，其特征在于，在实际的应用场景中，跟踪目标的状态一直在变化，如果不对目标模板和分类器进行合理的更新，必定会影响跟踪算法的准确度。所以自适应的更新方法是必要的。
(1)模板更新：设y＝[y1,y2,...,yN]表示当前帧的跟踪结果，用跟踪结果与目标模板的局部加权余弦相似度更新目标模板的权重：
Figure FDA0002356950930000036
接着用跟踪结果的局部图像块去更新模板集中权值最小的目标模板：
Figure FDA0002356950930000037
其中μ为预设的更新率，τ1是预先设定的阈值。
(2)分类器更新：每隔θ帧图像，通过最新的n帧跟踪结果重新采集正负包，更新分类器。为防止发生严重遮挡的跟踪结果影响分类器的性能，当遮挡程度Docc不超过阈值τ2时，该跟踪结果不可以加入训练集。此外，因为首帧目标始终真实，故始终保持首帧目标在训练集中。
CN202010010441.5A 2020-01-06 2020-01-06 一种基于多示例学习进行遮挡检测的目标跟踪方法 Pending CN111241965A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010010441.5A CN111241965A (zh) 2020-01-06 2020-01-06 一种基于多示例学习进行遮挡检测的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010010441.5A CN111241965A (zh) 2020-01-06 2020-01-06 一种基于多示例学习进行遮挡检测的目标跟踪方法

Publications (1)

Publication Number Publication Date
CN111241965A true CN111241965A (zh) 2020-06-05

Family

ID=70874287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010010441.5A Pending CN111241965A (zh) 2020-01-06 2020-01-06 一种基于多示例学习进行遮挡检测的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN111241965A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111887834A (zh) * 2020-07-15 2020-11-06 西安电子科技大学 基于多示例学习和进化优化的逐搏心率检测方法
CN112950687A (zh) * 2021-05-17 2021-06-11 创新奇智(成都)科技有限公司 一种确定跟踪状态的方法、装置、存储介质和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325125A (zh) * 2013-07-03 2013-09-25 北京工业大学 基于改进多示例学习算法的运动目标跟踪方法
CN106127766A (zh) * 2016-06-24 2016-11-16 国家新闻出版广电总局广播科学研究院 基于空间耦合关系和历史模型的目标跟踪方法
CN106204638A (zh) * 2016-06-29 2016-12-07 西安电子科技大学 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法
CN106780552A (zh) * 2016-11-08 2017-05-31 西安电子科技大学 基于局部区域联合跟踪检测学习的抗遮挡目标跟踪方法
CN108776973A (zh) * 2018-05-14 2018-11-09 上海狮尾智能化科技有限公司 基于局部图像数据学习的无人机目标跟踪方法
US20190012800A1 (en) * 2017-07-10 2019-01-10 Electronics And Telecommunications Research Institute Real time multi-object tracking apparatus and method using global motion
CN110426671A (zh) * 2019-07-04 2019-11-08 重庆邮电大学 Wsn中基于模型概率实时修正的imm目标跟踪方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325125A (zh) * 2013-07-03 2013-09-25 北京工业大学 基于改进多示例学习算法的运动目标跟踪方法
CN106127766A (zh) * 2016-06-24 2016-11-16 国家新闻出版广电总局广播科学研究院 基于空间耦合关系和历史模型的目标跟踪方法
CN106204638A (zh) * 2016-06-29 2016-12-07 西安电子科技大学 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法
CN106780552A (zh) * 2016-11-08 2017-05-31 西安电子科技大学 基于局部区域联合跟踪检测学习的抗遮挡目标跟踪方法
US20190012800A1 (en) * 2017-07-10 2019-01-10 Electronics And Telecommunications Research Institute Real time multi-object tracking apparatus and method using global motion
CN108776973A (zh) * 2018-05-14 2018-11-09 上海狮尾智能化科技有限公司 基于局部图像数据学习的无人机目标跟踪方法
CN110426671A (zh) * 2019-07-04 2019-11-08 重庆邮电大学 Wsn中基于模型概率实时修正的imm目标跟踪方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NA LI等: "《An improved multiple instance learning tracking algorithm based on occlusion detection》", 《2018 13TH IEEE CONFERENCE ON INDUSTRIAL ELECTRONICS AND APPLICATIONS (ICIEA)》 *
周非等: "《无线传感网络中基于误差椭圆的自适应节点选择目标跟踪算法》", 《传感技术学报》 *
瞿中等: "《一种抗遮挡的自适应尺度目标跟踪算法》", 《计算机科学》 *
薛陈等: "《遮挡情况下目标跟踪算法综述》", 《中国光学与应用光学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111887834A (zh) * 2020-07-15 2020-11-06 西安电子科技大学 基于多示例学习和进化优化的逐搏心率检测方法
CN112950687A (zh) * 2021-05-17 2021-06-11 创新奇智(成都)科技有限公司 一种确定跟踪状态的方法、装置、存储介质和电子设备
CN112950687B (zh) * 2021-05-17 2021-08-10 创新奇智(成都)科技有限公司 一种确定跟踪状态的方法、装置、存储介质和电子设备

Similar Documents

Publication Publication Date Title
CN110070074B (zh) 一种构建行人检测模型的方法
CN111461038B (zh) 一种基于分层多模式注意力机制的行人再识别方法
CN108198209B (zh) 在发生遮挡和尺度变化情况下行人跟踪方法
CN112836639A (zh) 基于改进YOLOv3模型的行人多目标跟踪视频识别方法
CN111582349B (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN107844739B (zh) 基于自适应同时稀疏表示的鲁棒性目标追踪方法
CN107368802B (zh) 基于kcf和人脑记忆机制的运动目标跟踪方法
CN110555870A (zh) 基于神经网络的dcf跟踪置信度评价与分类器更新方法
CN110458022A (zh) 一种基于域适应的可自主学习目标检测方法
CN108985375B (zh) 考虑粒子权值空间分布的多特征融合跟踪方法
CN111241965A (zh) 一种基于多示例学习进行遮挡检测的目标跟踪方法
CN110097067B (zh) 一种基于层进式特征变换的弱监督细粒度图像分类方法
CN113643330A (zh) 一种基于动态语义特征的目标跟踪方法及系统
CN110222585B (zh) 一种基于级联检测器的运动目标跟踪方法
CN107392246A (zh) 一种基于特征模型到背景模型距离的背景建模方法
CN113538512B (zh) 基于多层旋转记忆模型的光电信息处理方法
CN112614158B (zh) 一种采样框自适应的多特征融合在线目标跟踪方法
CN111242980B (zh) 一种面向点目标的红外焦平面盲元动态检测方法
CN113920155A (zh) 一种基于核相关滤波的动目标跟踪算法
CN115249227A (zh) 基于融合差异图和形态学重建的sar图像变化检测方法
El Rai et al. Moving Objects Segmentation in Infrared Scene Videos
CN117635637B (zh) 一种自主构想的智能目标动态探测系统
CN113744314B (zh) 一种基于目标-干扰感知的目标跟踪方法
CN112991390B (zh) 一种基于背景感知的多跟踪器融合目标跟踪方法
CN114399530B (zh) 一种基于样本差异化学习的相关滤波目标跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230228