CN113963023A - 一种用于长期跟踪的可靠性重检测方法 - Google Patents

一种用于长期跟踪的可靠性重检测方法 Download PDF

Info

Publication number
CN113963023A
CN113963023A CN202111222583.9A CN202111222583A CN113963023A CN 113963023 A CN113963023 A CN 113963023A CN 202111222583 A CN202111222583 A CN 202111222583A CN 113963023 A CN113963023 A CN 113963023A
Authority
CN
China
Prior art keywords
tracking
detection
target
reliability
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111222583.9A
Other languages
English (en)
Inventor
孙希延
付文涛
梁维彬
鞠涛
杜洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanning Guidian Electronic Technology Research Institute Co ltd
Guilin University of Electronic Technology
Original Assignee
Nanning Guidian Electronic Technology Research Institute Co ltd
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanning Guidian Electronic Technology Research Institute Co ltd, Guilin University of Electronic Technology filed Critical Nanning Guidian Electronic Technology Research Institute Co ltd
Priority to CN202111222583.9A priority Critical patent/CN113963023A/zh
Publication of CN113963023A publication Critical patent/CN113963023A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域,具体公开了一种用于长期跟踪的可靠性重检测方法,包括如下步骤:基于多特征自适应地检查目标的可靠性和更新跟踪模型;利用不可靠性和可靠性检查标准,生成可靠的跟踪结果;运用重采样检测更新机制,对每一帧的跟踪结果进行判定,当目标丢失时,扩大搜索区域以重新定位。通过提出基于跟踪准确性的判断重采样检测机制,在算法置信度较低,即出现跟踪目标遮挡、快速移动的情况,尝试对目标的跟踪结果进行修正;通过多特征自适应地检查目标的可靠性和更新跟踪模型;通过不可靠性和可靠性检查标准,本发明可以生成可靠的跟踪结果。

Description

一种用于长期跟踪的可靠性重检测方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种用于长期跟踪的可靠性重检测方法。
背景技术
目标跟踪是计算机视觉中的一项基本任务。尽管在过去几十年中取得了重大进展,但仍然存在许多挑战。在本文中,将重点放在长期跟踪上,目标可能会经历严重的遮挡、显著的外观变化甚至移出视野。在长期跟踪中,当出现严重遮挡或显著的外观变化时,检测模型的结果可能不可靠,模型更新容易出现误差传播。因此,必须仔细检查检测结果的可靠性,这将导致检测模型的更新。由于很少的训练数据和先验知识,额外的信息会增强跟踪器。模型更新的过程是至关重要的,但是存在背景漂移的风险。一些算法将模板合并到第一帧或在线更新的先验知识中。然而,依赖固定模型或先验限制了检测器处理外观和比例变化的能力。最近基于部分的方法由于其对外观变化和部分遮挡的鲁棒性而被积极研究。然而,这些方法在处理完全遮挡和具有大的视觉均匀区域的对象时有困难。其他算法试图通过组合多个特征来增强鲁棒性,但是不良更新的影响仍然存在。
对于长期跟踪,检测跟踪中的另一个常见问题是,当前跟踪结果不可靠时,如何识别更好的结果,因此有效的重新检测模块是必要的。除此之外,再检测技术也与日益受到关注的实际应用高度相关,例如人的再识别和多目标跟踪。然而,许多长期跟踪器严重依赖检测模型来避免训练集污染,因此无法重新检测对象。具有重检测模型的其他算法大多忽略了重检测对象的质量,这可能会进一步损坏检测器。重新检测对象的可靠性对于检测模型在长期跟踪中保持其辨别能力至关重要,而现有的长期跟踪者未能充分探索这种可靠性问题,并且通常信任其重新检测的目标,就像检测器总是信任其自己的结果一样。此外,在许多长期跟踪算法中,多个跟踪器的结合导致跟踪速度明显降低。由于许多实际应用对效率的要求,实时处理能力对于跟踪算法也是必不可少的。作为最先进的检测跟踪方法之一,基于鉴别相关滤波器(DCF)的跟踪器由于其令人印象深刻的鲁棒性和速度而获得了持续的关注。在基于DCF的跟踪器中,感兴趣区域通常被裁剪在前一帧中目标的位置,大小是目标本身的2.5倍。然而,检测范围有时会限制基于DCF的跟踪器的跟踪能力。通过惩罚对象边界之外的滤波器系数,最近的SRDCF算法同时增加了检测范围和性能,但是实时能力受到严重限制。
发明内容
本发明提出一种用于长期跟踪的可靠性重检测方法,能够识别不可靠的跟踪结果以防止检测器的模型更新被破坏,以及当出现不可靠的结果时能够重新检测目标。
为实现上述目的,本发明采用的一种用于长期跟踪的可靠性重检测方法,包括如下步骤:
基于多特征自适应地检查目标的可靠性和更新跟踪模型;
利用不可靠性和可靠性检查标准,生成可靠的跟踪结果;
运用重采样检测更新机制,对每一帧的跟踪结果进行判定,当目标丢失时,扩大搜索区域以重新定位。
其中,运用重采样检测更新机制,对每一帧的跟踪结果进行判定,具体为:
对于跟踪过程中当前帧的跟踪结果,引入基于PSR跟踪准确性机制评估其跟踪置信度,若置信度大于跟踪阈值,则直接输出当前帧的跟踪结果;
若判定为跟踪失败,则进行重采样检测,对跟踪模型进行训练与更新,同时再次对跟踪准确性进行评估,并更新跟踪因子,输出目标位置及最终的跟踪置信度。
其中,分别使用DCF模型和颜色直方图模型来生成响应图,然后对两个响应图进行线性积分,识别出响应值最大的目标位置,以此通过检测来跟踪对象。
其中,通过检测来跟踪对象,具体为:
相关滤波器响应生成:典型的相关跟踪器通过搜索相应响应图的最大值来学习鉴别分类器并定位目标;
基于相关滤波器的跟踪器使用大小为m*n的图像块x进行训练;
训练图像以目标为中心,所有圆形移位xm,n(m,n)∈{0,1,...,M-1}×{0,1,...,N-1}都被生成为具有高斯的训练样本在移位距离方面,函数标记y(m,n),通过最小化回归错误来训练分类器w,
Figure BDA0003313152810000031
其中φ表示映射到一个Hilbert空间,λ是一个正则化参数,通过采用内核k(x,x')=<φ(x),φ(x')>,即可被表示为w=∑m,nα(m,n)k(xm,n,x),其中α是由w定义的双变量;
颜色直方图响应生成:对于单个图像,颜色直方图模型应从一组矩形块x及其相应的标签y中学习,包括作为正样本的正确位置,通过最小化回归误差来训练直方图权重向量m:
Figure BDA0003313152810000032
其中m是直方图权重向量,
Figure BDA0003313152810000033
表示有限区域R中块x的特征像素;
目标定位:基于HOG的相关滤波模型和颜色直方图模型检测出目标,对于每一帧,在计算相关滤波器响应图和颜色直方图响应图之后,最终响应图为它们的线性组合:
Figure BDA0003313152810000034
其中,
Figure BDA0003313152810000035
为基于HOG的相关滤波器计算的第i帧响应图,
Figure BDA0003313152810000036
为颜色直方图计算的响应图,ξ为加权因子,通过搜索最大值f(i)的位置来检测目标在当前帧中的位置。
其中,利用HOG和颜色特征的响应来估计跟踪结果的可靠性,之后运用不可靠性检查和可靠性检查来生成当前帧中的最终跟踪结果,实现可靠性估计。
其中,运用重采样检测具体步骤为:
当跟踪判定为失败后,以上一帧中目标中心位置为基准,适当扩充搜索区域,成为重采样检测区域;
在重采样检测区域内,以偏移量S对跟踪目标框进行便宜变换,构造出M个子检测模块,而后在M+1个区域内进行独立检测,将所有检测区域中,响应最大的位置作为当前帧目标的中心位置。
本发明的一种用于长期跟踪的可靠性重检测方法,即提出基于跟踪准确性的判断重采样检测机制,在算法置信度较低,即出现跟踪目标遮挡、快速移动的情况,尝试对目标的跟踪结果进行修正;通过多特征自适应地检查目标的可靠性和更新跟踪模型;通过不可靠性和可靠性检查标准,本发明可以生成可靠的跟踪结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的跟踪算法流程图。
图2是本发明的总体框架图。
图3是本发明的重采样检测流程图。
具体实施方式
请参阅图1至图3,本发明提供了一种用于长期跟踪的可靠性重检测方法,包括如下步骤:
基于多特征自适应地检查目标的可靠性和更新跟踪模型;
利用不可靠性和可靠性检查标准,生成可靠的跟踪结果;
运用重采样检测更新机制,对每一帧的跟踪结果进行判定,当目标丢失时,扩大搜索区域以重新定位。
运用重采样检测更新机制,对每一帧的跟踪结果进行判定,具体为:
对于跟踪过程中当前帧的跟踪结果,引入基于PSR跟踪准确性机制评估其跟踪置信度,若置信度大于跟踪阈值,则直接输出当前帧的跟踪结果;
若判定为跟踪失败,则进行重采样检测,对跟踪模型进行训练与更新,同时再次对跟踪准确性进行评估,并更新跟踪因子,输出目标位置及最终的跟踪置信度。
分别使用DCF模型和颜色直方图模型来生成响应图,然后对两个响应图进行线性积分,识别出响应值最大的目标位置,以此通过检测来跟踪对象。
通过检测来跟踪对象,具体为:
相关滤波器响应生成:典型的相关跟踪器通过搜索相应响应图的最大值来学习鉴别分类器并定位目标;
基于相关滤波器的跟踪器使用大小为m*n的图像块x进行训练;
训练图像以目标为中心,所有圆形移位xm,n(m,n)∈{0,1,...,M-1}×{0,1,...,N-1}都被生成为具有高斯的训练样本在移位距离方面,函数标记y(m,n),通过最小化回归错误来训练分类器w,
Figure BDA0003313152810000051
其中φ表示映射到一个Hilbert空间,λ是一个正则化参数,通过采用内核k(x,x')=<φ(x),φ(x')>,即可被表示为w=∑m,nα(m,n)k(xm,n,x),其中α是由w定义的双变量;
颜色直方图响应生成:对于单个图像,颜色直方图模型应从一组矩形块x及其相应的标签y中学习,包括作为正样本的正确位置,通过最小化回归误差来训练直方图权重向量m:
Figure BDA0003313152810000052
其中m是直方图权重向量,
Figure BDA0003313152810000053
表示有限区域R中块x的特征像素;
目标定位:基于HOG的相关滤波模型和颜色直方图模型检测出目标,对于每一帧,在计算相关滤波器响应图和颜色直方图响应图之后,最终响应图为它们的线性组合:
Figure BDA0003313152810000054
其中,
Figure BDA0003313152810000055
为基于HOG的相关滤波器计算的第i帧响应图,
Figure BDA0003313152810000056
为颜色直方图计算的响应图,ξ为加权因子,通过搜索最大值f(i)的位置来检测目标在当前帧中的位置。
利用HOG和颜色特征的响应来估计跟踪结果的可靠性,之后运用不可靠性检查和可靠性检查来生成当前帧中的最终跟踪结果,实现可靠性估计。
运用重采样检测具体步骤为:
当跟踪判定为失败后,以上一帧中目标中心位置为基准,适当扩充搜索区域,成为重采样检测区域;
在重采样检测区域内,以偏移量S对跟踪目标框进行便宜变换,构造出M个子检测模块,而后在M+1个区域内进行独立检测,将所有检测区域中,响应最大的位置作为当前帧目标的中心位置。
对于基于HOG的相关滤波器响应图,可计算峰值旁瓣比PSR来量化相关峰值的锐度;如果PSR值较低,则当前帧和先前帧之间的相关性较低,另外将相关滤波器响应图的PSR定义为HOG特征的分数:
Figure BDA0003313152810000061
其中
Figure BDA0003313152810000062
是基于HOG的相关滤波器的第i个响应图,μi和σi分别是响应的均值和标准差;
根据跟踪难度的不确定性,响应图的HOG分数会在不同的值上下波动,通过计算每个帧的HOG分数,并将它们组合成一个集合
Figure BDA0003313152810000063
将Mh定义为Ch的平均值。
对于颜色信息,基于第一帧中的颜色直方图计算每像素得分图,并对目标区域内的所有像素求和以获得颜色区域;
由于第一帧中的对象不存在遮挡,因此将每像素分数图作为比较标准,然后对于每个单独的帧,其中对于颜色信息采取相同的步骤,将颜色面积的百分比定义为颜色分数:
Figure BDA0003313152810000064
在上式中,
Figure BDA0003313152810000065
是第i帧的颜色分数,分母表示基础真实帧的颜色区域,通过计算每个帧的颜色分数,并将它们放入一个集合
Figure BDA0003313152810000066
中,将其定义为集合的平均值。通过Mc为定义集合Cc,丢弃满足
Figure BDA0003313152810000067
的显著低颜色分数;
检查每一帧中结果的可靠性,如果目标HOG分数Sh<oh·Mh或目标颜色分数Sc<oc·Mc,则跟踪结果是不可靠的;
若跟踪结果满足Sh>τh·Mh和Sc>τc·Mc,则跟踪结果是可靠的,其中τ是比o高的阈值。
其中,本发明提出的一种用于长期跟踪的可靠性重检测方法,该方法中包含检测跟踪和再检测模块,受Staple出色性能的启发,结合了HOG和颜色特征,仍有很大的改进空间,本发明将其作为基线,并利用这些特征进行重新检测,以探索基于DCF的跟踪器的潜力。本发明的方法的核心模块是重采样检测模块,首先对于跟踪过程中当前帧的跟踪结果,引入基于PSR跟踪准确性机制评估其跟踪置信度,若置信度大于跟踪阈值,则直接输出当前帧的跟踪结果;若判定为跟踪失败,则进行重采样检测,对跟踪模型进行训练与更新,同时再次对跟踪准确性进行评估,并更新跟踪因子,输出目标位置及最终的跟踪置信度。本发明在重新检测中应用“不可靠性检查”标准,将潜在的污染检测结果带入重新检测过程。此外,本发明在重新检测开关中设置了以精度为主的“可靠性检查”标准,以确保重新检测结果的质量,然后将其替换为检测到的不可靠结果。基于检测可靠性的度量,自适应地更新检测模型。
长期跟踪:
与以往的重检测方法不同,本发明的方法充分利用基线跟踪器进行重检测,不需要加入额外的特征或跟踪器。本发明旨在通过设计更好的搜索策略来探索基于离散余弦变换的跟踪器的潜力。在长期跟踪中,除了重新检测之外,另一个主要任务是识别状态(如部分或完全遮挡)以及避免混乱的更新。
本发明与上述算法不同的是:(1)通过多特征自适应地检查目标的可靠性和更新跟踪模型;(2)通过“不可靠性和可靠性检查”标准,本发明可以生成可靠的跟踪结果;(3)提出了重采样检测更新机制,对每一帧的跟踪结果进行判定,当目标丢失时,扩大搜索区域以重新定位。为了处理长期跟踪任务中的严重遮挡和显著外观变化,本发明的方法由逐检测跟踪和再检测模块组成。总体框架如图2所示。
通过检测进行跟踪:
为了通过检测来跟踪对象,本发明分别使用DCF模型和颜色直方图模型来生成响应图,然后本发明对两个响应图进行线性积分,识别出响应值最大的目标位置。相关滤波器响应生成:典型的相关跟踪器通过搜索相应响应图的最大值来学习鉴别分类器并定位目标。
基于相关滤波器的跟踪器使用大小为m*n的图像块x进行训练。训练图像以目标为中心,所有圆形移位xm,n(m,n)∈{0,1,...,M-1}×{0,1,...,N-1}都被生成为具有高斯的训练样本在移位距离方面,函数标记y(m,n),由于通过转换图像块xm,n,因此可以大大提高分类器的辨别力,通过最小化回归错误来训练分类器w:
Figure BDA0003313152810000081
其中φ表示映射到一个Hilbert空间,λ是一个正则化参数,通过采用内核k(x,x')=<φ(x),φ(x')>,即可被表示为w=∑m,nα(m,n)k(xm,n,x),其中α是由w定义的双变量;
颜色直方图响应生成:为了处理长期跟踪中的变形和颜色变化,本发明在检测器中采用了颜色直方图模型。对于单个图像,颜色直方图模型应该从一组矩形块x及其相应的标签y中学习,包括作为正样本的正确位置。类似于相关滤波,可以通过最小化回归误差来训练直方图权重向量m:
Figure BDA0003313152810000082
其中m是直方图权重向量,
Figure BDA0003313152810000083
表示有限区域R中块x的特征像素。上式尽管有着与类似的表达,直方图权重向量不能用循环移位来学习。对于m通道特征变换,随着特征通道数量的增加,计算成本将难以承受。
目标定位:基于HOG的相关滤波模型和颜色直方图模型都能够检测出目标,在密集平移搜索中两者的结合能够实现更强的鲁棒性。对于每一帧,在计算相关滤波器响应图和颜色直方图响应图之后,最终响应图是它们的线性组合:
Figure BDA0003313152810000084
其中,
Figure BDA0003313152810000085
为基于HOG的相关滤波器计算的第i帧响应图,
Figure BDA0003313152810000086
为颜色直方图计算的响应图,ξ为加权因子,通过搜索最大值f(i)的位置来检测目标在当前帧中的位置。
可靠性估计:
在重检测模块中,本发明首先讨论了如何利用HOG和颜色特征的响应来估计跟踪结果的可靠性。然后本发明提出一个“不可靠性检查”和一个“可靠性检查”来生成当前帧中的最终跟踪结果。
对于基于HOG的相关滤波器响应图,可以计算峰值旁瓣比PSR来量化相关峰值的锐度。如果PSR值较低,则当前帧和先前帧之间的相关性较低,本发明将相关滤波器响应图的PSR定义为HOG特征的分数:
Figure BDA0003313152810000087
其中
Figure BDA0003313152810000088
是基于HOG的相关滤波器的第i个响应图,μi和σi分别是响应的均值和标准差。
对于某个相关滤波器,当跟踪结果不可靠时,PSR值会有一定程度的波动,并且要低得多。然而,预先预定一个恒定的阈值来判断电流的可靠性是不合适的。由于跟踪难度的不确定性,响应图的HOG分数可能会在不同的值上下波动。例如,当PSR低于某个阈值时,这意味着视频A中的失败,而由于B中包含的更具有挑战性的因素,这可能表明另一个视频B中的成功。因此本发明考虑视频的平均得分来估计跟踪结果的可靠性。本发明计算每个帧的HOG分数,并将它们组合成一个集合
Figure BDA0003313152810000091
本发明把Mh定义为Ch的平均值。此外,本发明不会通过定义一个小系统来接受每个进入系统。如果
Figure BDA0003313152810000092
本发明认为第i帧的结果表现不佳,并丢弃相应的HOG分数。通过考虑集成的平均分,自适应地逐帧改变HOG得分的可靠性标准。满足
Figure BDA0003313152810000093
的显著低通常意味着一定程度的闭塞或变形。
对于颜色信息,本发明基于第一帧中的颜色直方图计算每像素得分图,并对目标区域内的所有像素求和以获得颜色区域。由于第一帧中的对象不存在遮挡,因此将每像素分数图作为比较标准,然后对于每个单独的帧,本发明采取相同的步骤,本发明将颜色面积的百分比定义为颜色分数,这在实践中既简单又有效:
Figure BDA0003313152810000094
在上式中,
Figure BDA0003313152810000095
是第i帧的颜色分数,分母表示基础真实帧的颜色区域,通过计算每个帧的颜色分数,并将它们放入一个集合
Figure BDA0003313152810000096
中,本发明将其定义为集合的平均值。通过Mc为定义集合Cc,丢弃了满足
Figure BDA0003313152810000097
的显著低颜色分数;
检查每一帧中结果的可靠性,如果目标HOG分数Sh<oh·Mh或目标颜色分数Sc<oc·Mc,则跟踪结果是不可靠的。另一方面,如果跟踪结果满足Sh>τh·Mh和Sc>τc·Mc,则跟踪结果是可靠的,其中τ是比o高的阈值。一旦发现初始跟踪结果不可靠,本发明就启动重新检测过程;如果重新检测的输出是可靠的,本发明将其替换为原始的不可靠检测目标。否则本发明保留原始模型,但降低模型更新的学习率。
重采样检测模块:
目标快速移动导致跟踪失败的根本原因在于相关滤波算法在检测过程中选择的样本检测区域较为有限,无法包含本检测目标,而且当目标运动到检测样本的边缘时,由于对检测样本进行加窗操作损失了边缘信息,造成目标信息不够完整,也会很大程度上降低了跟踪器检出目标的可能性。然而,如果仅仅在原有的算法基础上,直接扩展搜索区域,不仅算法的复杂度及计算成本会相应增加,并且模板会引入更多的背景干扰,降低跟踪准确性。针对此类问题,本发明提出了重采样检测策略,该策略的整体流程如图3所示,首先对于跟踪过程中当前帧的跟踪结果,引入基于PSR跟踪准确性机制评估其跟踪置信度,若置信度大于跟踪阈值,则直接输出当前帧的跟踪结果;若判定为跟踪失败,则进行重采样检测,对跟踪模型进行训练与更新,同时再次对跟踪准确性进行评估,并更新跟踪因子,输出目标位置及最终的跟踪置信度。
重采样策略的具体实施步骤如下:当跟踪判定为失败后,以上一帧中目标中心位置为基准,适当扩充搜索区域,成为重采样检测区域;在重采样区域内,以偏移量S对跟踪目标框进行便宜变换,构造出M个子检测模块,而后在M+1个区域内进行独立检测,将所有检测区域中,响应最大的位置作为当前帧目标的中心位置。在重采样检测过程结束后,需要重新对跟踪因子进行计算。需要注意的是,上述重采样机制针对的是每个特征独立跟踪的过程。
自适应模型更新:
根据可靠性准则,本发明的跟踪模型使用可靠的结果进行更新。当被跟踪目标被认为不可靠时,将颜色直方图模型的学习率设置为零,以避免遮挡、光照变化或视野外引入的突然颜色变化的的更新。考虑到相关滤波器同时学习目标和背景信息,本发明利用幂函数来设计:
Figure BDA0003313152810000101
Figure BDA0003313152810000102
其中P和Q是常数,β是幂函数的幂指数,v∈[0,1]是限制了学习率最大值的惩罚系数。设计的幂函数保持了样本的可靠性,并惩罚分数低的样本。
综上所述,本发明致力于解决以下问题:如何识别不可靠的跟踪结果以防止检测器的模型更新被破坏,以及当出现不可靠的结果时如何重新检测目标。本发明的方法的核心模块是重采样检测模块,首先对于跟踪过程中当前帧的跟踪结果,引入基于PSR跟踪准确性机制评估其跟踪置信度,若置信度大于跟踪阈值,则直接输出当前帧的跟踪结果;若判定为跟踪失败,则进行重采样检测,对跟踪模型进行训练与更新,同时再次对跟踪准确性进行评估,并更新跟踪因子,输出目标位置及最终的跟踪置信度。本发明在重新检测中应用“不可靠性检查”标准,将潜在的污染检测结果带入重新检测过程。此外,本发明在重新检测开关中设置了以精度为主的“可靠性检查”标准,以确保重新检测结果的质量,然后将其替换为检测到的不可靠结果。基于检测可靠性的度量,自适应地更新检测模型。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (6)

1.一种用于长期跟踪的可靠性重检测方法,其特征在于,包括如下步骤:
基于多特征自适应地检查目标的可靠性和更新跟踪模型;
利用不可靠性和可靠性检查标准,生成可靠的跟踪结果;
运用重采样检测更新机制,对每一帧的跟踪结果进行判定,当目标丢失时,扩大搜索区域以重新定位。
2.如权利要求1所述的用于长期跟踪的可靠性重检测方法,其特征在于,运用重采样检测更新机制,对每一帧的跟踪结果进行判定,具体为:
对于跟踪过程中当前帧的跟踪结果,引入基于PSR跟踪准确性机制评估其跟踪置信度,若置信度大于跟踪阈值,则直接输出当前帧的跟踪结果;
若判定为跟踪失败,则进行重采样检测,对跟踪模型进行训练与更新,同时再次对跟踪准确性进行评估,并更新跟踪因子,输出目标位置及最终的跟踪置信度。
3.如权利要求1所述的用于长期跟踪的可靠性重检测方法,其特征在于,
分别使用DCF模型和颜色直方图模型来生成响应图,然后对两个响应图进行线性积分,识别出响应值最大的目标位置,以此通过检测来跟踪对象。
4.如权利要求3所述的用于长期跟踪的可靠性重检测方法,其特征在于,通过检测来跟踪对象,具体为:
相关滤波器响应生成:典型的相关跟踪器通过搜索相应响应图的最大值来学习鉴别分类器并定位目标;
基于相关滤波器的跟踪器使用大小为m*n的图像块x进行训练;
训练图像以目标为中心,所有圆形移位xm,n(m,n)∈{0,1,...,M-1}×{0,1,...,N-1}都被生成为具有高斯的训练样本在移位距离方面,函数标记y(m,n),通过最小化回归错误来训练分类器w,
Figure FDA0003313152800000011
其中φ表示映射到一个Hilbert空间,λ是一个正则化参数,通过采用内核k(x,x')=<φ(x),φ(x')>,即可被表示为w=∑m,nα(m,n)k(xm,n,x),其中α是由w定义的双变量;
颜色直方图响应生成:对于单个图像,颜色直方图模型应从一组矩形块x及其相应的标签y中学习,包括作为正样本的正确位置,通过最小化回归误差来训练直方图权重向量m:
Figure FDA0003313152800000021
其中m是直方图权重向量,
Figure FDA0003313152800000022
表示有限区域R中块x的特征像素;
目标定位:基于HOG的相关滤波模型和颜色直方图模型检测出目标,对于每一帧,在计算相关滤波器响应图和颜色直方图响应图之后,最终响应图为它们的线性组合:
Figure FDA0003313152800000023
其中,
Figure FDA0003313152800000024
为基于HOG的相关滤波器计算的第i帧响应图,
Figure FDA0003313152800000025
为颜色直方图计算的响应图,ξ为加权因子,通过搜索最大值f(i)的位置来检测目标在当前帧中的位置。
5.如权利要求4所述的用于长期跟踪的可靠性重检测方法,其特征在于,
利用HOG和颜色特征的响应来估计跟踪结果的可靠性,之后运用不可靠性检查和可靠性检查来生成当前帧中的最终跟踪结果,实现可靠性估计。
6.如权利要求1所述的用于长期跟踪的可靠性重检测方法,其特征在于,运用重采样检测具体步骤为:
当跟踪判定为失败后,以上一帧中目标中心位置为基准,适当扩充搜索区域,成为重采样检测区域;
在重采样检测区域内,以偏移量S对跟踪目标框进行便宜变换,构造出M个子检测模块,而后在M+1个区域内进行独立检测,将所有检测区域中,响应最大的位置作为当前帧目标的中心位置。
CN202111222583.9A 2021-10-20 2021-10-20 一种用于长期跟踪的可靠性重检测方法 Pending CN113963023A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111222583.9A CN113963023A (zh) 2021-10-20 2021-10-20 一种用于长期跟踪的可靠性重检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111222583.9A CN113963023A (zh) 2021-10-20 2021-10-20 一种用于长期跟踪的可靠性重检测方法

Publications (1)

Publication Number Publication Date
CN113963023A true CN113963023A (zh) 2022-01-21

Family

ID=79465080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111222583.9A Pending CN113963023A (zh) 2021-10-20 2021-10-20 一种用于长期跟踪的可靠性重检测方法

Country Status (1)

Country Link
CN (1) CN113963023A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985375A (zh) * 2018-07-14 2018-12-11 李军 考虑粒子权值空间分布的多特征融合跟踪方法
CN111091583A (zh) * 2019-11-22 2020-05-01 中国科学技术大学 长期目标跟踪方法
KR102175491B1 (ko) * 2019-05-08 2020-11-06 군산대학교산학협력단 상관 필터 기반 객체 추적 방법
CN113096157A (zh) * 2021-04-30 2021-07-09 华侨大学 一种可靠的局部目标跟踪方法及跟踪器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985375A (zh) * 2018-07-14 2018-12-11 李军 考虑粒子权值空间分布的多特征融合跟踪方法
KR102175491B1 (ko) * 2019-05-08 2020-11-06 군산대학교산학협력단 상관 필터 기반 객체 추적 방법
CN111091583A (zh) * 2019-11-22 2020-05-01 中国科学技术大学 长期目标跟踪方法
CN113096157A (zh) * 2021-04-30 2021-07-09 华侨大学 一种可靠的局部目标跟踪方法及跟踪器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王阳;黄煜;李占峰;王淑荣;: "利用恒星对天文观测系统光轴平行性检校", 红外与激光工程, no. 05, 25 May 2017 (2017-05-25) *

Similar Documents

Publication Publication Date Title
Yuan et al. Particle filter re-detection for visual tracking via correlation filters
US8989442B2 (en) Robust feature fusion for multi-view object tracking
EP2064652B1 (en) Method of image processing
US8885876B2 (en) Visual tracking system and method thereof
US7167578B2 (en) Probabilistic exemplar-based pattern tracking
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
Dawoud et al. Fast template matching method based optimized sum of absolute difference algorithm for face localization
CN111667506B (zh) 一种基于orb特征点的运动估计方法
Tie et al. Automatic landmark point detection and tracking for human facial expressions
US20030108220A1 (en) Robust, on-line, view-based appearance models for visual motion analysis and visual tracking
CN110175649B (zh) 一种关于重新检测的快速多尺度估计目标跟踪方法
CN108564598B (zh) 一种改进的在线Boosting目标跟踪方法
CN112785622B (zh) 一种水面无人船长时跟踪方法、装置及存储介质
CN111429485B (zh) 基于自适应正则化和高信度更新的跨模态滤波跟踪方法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN114897932A (zh) 一种基于特征和灰度融合的红外目标跟踪实现方法
WO2008125854A1 (en) Method for tracking multiple objects with occlusions
CN110147768B (zh) 一种目标跟踪方法及装置
CN113033356B (zh) 一种尺度自适应的长期相关性目标跟踪方法
CN113963023A (zh) 一种用于长期跟踪的可靠性重检测方法
CN114842506A (zh) 一种人体姿态估计方法及系统
CN113470074B (zh) 一种基于分块判别的自适应时空正则化目标跟踪方法
CN115619827A (zh) 基于Transformer和时空记忆的多目标跟踪方法
CN112633078B (zh) 目标跟踪自校正方法、系统、介质、设备、终端及应用
CN114022510A (zh) 一种基于内容检索的目标长时跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination