CN110889865A - 一种基于局部加权稀疏特征选择的视频目标跟踪方法 - Google Patents

一种基于局部加权稀疏特征选择的视频目标跟踪方法 Download PDF

Info

Publication number
CN110889865A
CN110889865A CN201911053931.7A CN201911053931A CN110889865A CN 110889865 A CN110889865 A CN 110889865A CN 201911053931 A CN201911053931 A CN 201911053931A CN 110889865 A CN110889865 A CN 110889865A
Authority
CN
China
Prior art keywords
local
target
dictionary
sparse
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911053931.7A
Other languages
English (en)
Other versions
CN110889865B (zh
Inventor
詹瑾
黄智慧
郑鹏根
赵慧民
郑伟俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN201911053931.7A priority Critical patent/CN110889865B/zh
Publication of CN110889865A publication Critical patent/CN110889865A/zh
Application granted granted Critical
Publication of CN110889865B publication Critical patent/CN110889865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于局部加权稀疏特征选择的视频目标跟踪方法,所述方法包括以下步骤:对目标局部进行外观建模,构建局部判别字典表示;对当前帧搜索区域进行采样,将样本的稀疏分解系数作为特征,选出目标候选样本;通过加权函数将局部噪声能量添加到重构误差中,增强重构误差在噪声干扰下的表征能力和判别稳定性,并选出最佳跟踪结果;利用长短时间结合的更新方法,以自适应噪声能量阈值作为执行更新的条件,并随机选择两个局部字典进行更新。本发明实施例通过局部判别字典学习、噪声能量分析和加权决策的方法提高稀疏特征选择的性能,达到增加跟踪准确度的目的,抑制背景噪声信息对目标检测的干扰,提高了模型判别的稳定性。

Description

一种基于局部加权稀疏特征选择的视频目标跟踪方法
技术领域
本发明涉及计算机技术领域,尤其涉及一种基于局部加权稀疏特征选择的视频目标跟踪方法。
背景技术
近二十年来,视觉跟踪研究领域出现了很多针对特定场景的经典算法,例如基于稀疏表示、深度学习和相关滤波的跟踪方法。以粒子滤波框架为基础的稀疏跟踪方法属于生成式跟踪方法,其核心是将目标跟踪看作特征空间下的匹配优化或相似性度量问题。例如,L1跟踪和原型稀疏跟踪等方法利用稀疏表示字典和正交PCA基向量建立静态的目标外观模型,对遮挡非常有效,然而忽略了目标外观变化导致的目标模板不匹配问题,采用字典学习更新模型可以更好地适应目标外观变化的问题。目前有相关技术使用了LC-KSVD的方法将目标的正负样本一起训练得到具有判别性的稀疏字典,使得模型在跟踪过程中对正负样本有更强的判别性能。然而,在实际中目标外观在稀疏化过程中具有一定的随机性,并不能保证每次稀疏的最优化。
基于深度学习和基于相关滤波(CF)的方法是目标跟踪领域新的研究热点。基于相关滤波的跟踪方法表现出很强的计算效率和跟踪鲁棒性。目前已存在利用图像循环变换和核空间变换,并结合HOG特征提出了高效的目标跟踪方法,以及利用多尺度模型来解决目标尺度变化问题。相关滤波的方法在跟踪效率上有很大的优势,但跟踪效果容易受到边界效应的影响,不能充分利用目标背景信息。深度学习的跟踪方法的主要优势在于深度特征对目标强大的表征能力,但仅利用视频第一帧获得的先验知识,远未能满足深度模型训练对标签数据量的要求。目前所涉及的跟踪方法使用非任务的跟踪数据预训练,在跟踪过程中调整跟踪模型,使得模型适应当前的跟踪任务,表现出很高的跟踪准确度。但是,深度网络的多层结构会导致计算的复杂度增加,降低跟踪过程的实时性。后续还出现了深度学习与相关滤波结合的方法,但这些方法计算量大且容易受到CF边界效应的限制。
发明内容
本发明的目的在于克服现有技术的不足,本发明提供了一种基于局部加权稀疏特征选择的视频目标跟踪方法,该方法均优于同类经典方法,特别是在背景干扰、尺度变化、遮挡、目标外观变化的跟踪任务中具备良好的跟踪性能。
为了解决上述问题,本发明提出了一种基于局部加权稀疏特征选择的视频目标跟踪方法,所述方法包括以下步骤:
对目标局部进行外观建模,构建局部判别字典表示;
对当前帧搜索区域进行采样,将样本的稀疏分解系数作为特征,选出目标候选样本;通过加权函数将局部噪声能量添加到重构误差中,增强重构误差在噪声干扰下的表征能力和判别稳定性,并选出最佳跟踪结果;
利用长短时间结合的更新方法,以自适应噪声能量阈值作为执行更新的条件,并随机选择两个局部字典进行更新。
所述对目标局部进行外观建模,构建局部判别字典表示包括:
将目标划分成四个区块作为提取局部特征的模板,对局部特征进行字典学习的同时加入稀疏编码误差的约束,使得局部字典兼具稀疏和判别性能,提高后续帧样本的分解系数的稀疏性。
所收将目标划分成四个区块作为提取局部特征的模板包括:
在目标外观表示上,采用2×2的局部分块表示方法,将给定目标划分为左上、右上、左下、右下4个大小相同的块,块与块之间、块与目标整体之间有明确的空间关系,且每个局部块包含了不同程度的细节丰富度;
对四个局部块分别构建相应的局部字典,每个局部字典由目标模板T、线索模板B和噪声模板I三部分组成。
所述每个局部字典所包含的模板采用过程如下:
以局部块的中心为圆点,对半径为r1的范围内进行随机采样得到样本集合,作为目标模板T;
在半径为r1到r2的环形范围内密集采样得到样本集合,作为背景模板B,所述r1<r2;
设置样本特征维度都为m,则线索模板I是m维的单位矩阵;
设样本特征为y,则4个局部子字典的重构之和表示:
Figure BDA0002256042720000031
其中
Figure BDA0002256042720000032
是局部子字典,
Figure BDA0002256042720000033
是局部稀疏编码,zk和vk分别是局部目标系数和背景系数,e是噪声系数,k=1,2,3,4。
所述对局部特征进行字典学习的同时加入稀疏编码误差的约束,使得局部字典兼具稀疏和判别性能,提高后续帧样本的分解系数的稀疏性包括:
采用LC-KSVD方法把字典学习和分类标注统一起来,表示为一个混合了重构误差和判别性能的方程,为分别对四个局部字典进行迭代求解。
所述对当前帧搜索区域进行采样,将样本的稀疏分解系数作为特征,选出目标候选样本包括:
以上一帧目标中心为圆心进行二维高斯采样,得到n个样本pi(i=1,2,…,n),每个样本分割后可得到四个子样本集
Figure BDA0002256042720000034
利用上节中的四个局部字典分别进行稀疏分解得到四个稀疏系数
Figure BDA0002256042720000035
利用字典空间的基向量X、Y的欧式距离来表示样本局部与目标局部之间的相似性;
将第i个样本4个局部块与目标局部的相似性之积作为该样本与目标的综合相似度;
选出与目标相似性最大的少量样本作为候选样本。
所述通过加权函数将局部噪声能量添加到重构误差中,增强重构误差在噪声干扰下的表征能力和判别稳定性,并选出最佳跟踪结果包括:
对所选出的与目标最相似的t个候选样本,使用每个候选样本pj(j∈[1,t])的四个稀疏系数
Figure BDA0002256042720000036
得到4个局部位置对应的噪声能量,然后选出该样本噪声能量最小的2个局部位置,则样本pj在该局部位置的重构误差为有效重构误差;
使用sigmoid函数作为加权函数加载到有效重构误差上选出最佳跟踪结果。
所述利用长短时间结合的更新方法,以自适应噪声能量阈值作为执行更新的条件,并随机选择两个局部字典进行更新包括:
采用长短时结合的字典更新方法,设定当前帧f为周期更新时间点,先判断所有局部候选样本的噪声能量
Figure BDA0002256042720000041
是否超过相关的阈值
Figure BDA0002256042720000042
阈值
Figure BDA0002256042720000043
是1到f-1帧噪声能量值总体Uk(k=1,2,3,4)的上侧α分位数,则有
Figure BDA0002256042720000044
如果第f帧跟踪结果中存在某一局部的噪声能量大于阈值,则认为当前帧潜在跟踪漂移或遮挡,选择长时的触发式自适应更新方案,否则对字典执行短时周期更新,及时适应目标外观变化情况。
在本发明实施例中,通过局部判别字典学习、噪声能量分析和加权决策的方法提高稀疏特征选择的性能,达到增加跟踪准确度的目的。其中初始目标位置以固定的空间结构分割成四个局部块,构成了四个局部判别字典。在后续帧中,样本经由局部字典分解得到稀疏系数,结合噪声分析和加权重构误差,抑制背景噪声信息对目标检测的干扰,提高了模型判别的稳定性。在跟踪中采用长短时间增量更新局部判别字典,增强了跟踪模型对目标外观和背景变化的适应性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于局部加权稀疏特征选择的视频目标跟踪方法流程图;
图2是本发明实施例中的目标跟踪方法原理示意图;
图3是本发明实施例中的加权稀疏特征选择流程原理示意图;
图4是本发明实施例中的字典更新过程原理示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
视频目标跟踪是计算机视觉研究中的一个重要基础内容,由于实际应用中视频经常存在遮挡、目标变形、旋转、尺度变化、光照变化、视角变化、背景杂乱等复杂场景,对目标跟踪的准确率和实时性又有较高的要求,因此,实现实时鲁棒的视觉跟踪算法一直是一个具有挑战的难题。目前,目标跟踪算法大体可分为以分类器为主的判别式模型和以匹配预测为主的生成式模型这两类,前者主要研究和寻找目标和背景的决策边界,后者通过目标外观模型在图像范围内求解最优目标位置。在处理视频目标的非线性复杂变化方面,两类方法均采用了在线学习或增量学习的方法。
基于稀疏表示的跟踪方法将目标通过基函数字典映射成稀疏向量特征,因为对遮挡噪声不敏感,能够较好的处理遮挡情况。然而,静态字典存在无法更新以适应目标外观变化的问题,且目标外观在稀疏化过程中具有一定的随机性,并不能保证每次稀疏分解的最优化。本文提出了一种基于局部加权稀疏特征选择的目标跟踪方法,首先构建了目标的局部判别字典,然后在利用局部加权组合的稀疏特征来选择候选样本,再通过噪声分析得到加权重构误差,降低背景噪声信息对目标检测的干扰,提高目标判别的准确性。
本发明实施例所涉及的方法主要包括以下:
(1)对目标局部进行外观建模,构建局部判别字典表示:将目标划分成四个区块作为提取局部特征的模板,对局部特征进行字典学习的同时加入稀疏编码误差的约束,使得局部字典兼具稀疏和判别性能,提高后续帧样本的分解系数的稀疏性。
(2)提出局部加权重构误差的特征选择算法:对当前帧搜索区域进行采样,将样本的稀疏分解系数作为特征,选出目标候选样本;通过加权函数将局部噪声能量添加到重构误差中,增强重构误差在噪声干扰下的表征能力和判别稳定性,并选出最佳跟踪结果。
(3)采用在线字典增量更新策略:利用长短时间结合的更新方法,以自适应噪声能量阈值作为执行更新的条件,并随机选择两个局部字典进行更新,减少误差累积影响。
具体的,图1示出了本发明实施例中的基于局部加权稀疏特征选择的视频目标跟踪方法流程图,包括以下步骤:
S101、初始字典构建;
在目标外观表示上,本发明实施例中采用2×2的局部分块表示方法,将给定目标划分为左上、右上、左下、右下4个大小相同的块,块与块之间、块与目标整体之间有明确的空间关系,且每个局部块包含了不同程度的细节丰富度。本发明实施例中对四个局部块分别构建了相应的局部字典,每个局部字典由目标模板T、线索模板B和噪声模板I三部分组成。
每个局部字典所包含的模板采样过程如下:首先,以局部块的中心为圆点,对半径为r1的范围内进行随机采样得到样本集合,作为目标模板T;然后,在半径为r1到r2(r1<r2)的环形范围内密集采样得到样本集合,作为背景模板B。
本发明实施例中设样本特征维度都为m,则线索模板I是m维的单位矩阵,每个局部子字典表示为:
Figure BDA0002256042720000061
k=1,2,3,4;其中p和q分别为目标模板和背景模板的样本数量,这里将每个样本划分成四个局部块(2*2),分别是左上、左下、右上、右下,k就代表其中的某个局部位置,用1、2、3、4表示局部块的不同。
本发明实施例中设定样本特征为y,则可用4个局部子字典的重构之和表示:
Figure BDA0002256042720000071
其中:其中
Figure BDA0002256042720000072
是局部子字典,
Figure BDA0002256042720000073
是局部稀疏编码,zk是局部目标系统,vk分别是背景系数,e是噪声系数。
S102、局部判别字典学习;
广义K-均值算法(即K-SVD)表示依据误差最小原则,对误差项进行SVD(singularValue Decomposition)分解,选择使用误差最小的分解项作为更新的字典原子和对应的原子系数,经过不断的迭代从而得到优化的解。将改进的K-SVD算法称为LC-KSVD(LabelConsist K-SVD)。
这里采用LC-KSVD方法把字典学习和分类标注统一起来,表示为一个混合了重构误差和判别性能的方程,为分别对四个局部字典进行迭代求解。
本实施例采用LC-KSVD(LabelConsist K-SVD)方法把字典学习和分类标注统一起来,表示为一个混合了重构误差和判别性能的方程,对公式(1)的求解可以转化为分别对四个局部字典进行求解,求解过程统一表达如下:
Figure BDA0002256042720000074
公式(2)中的第一项是重构误差,第二个项是稀疏编码误差,β是与正则项的贡献相一致的范围控制系数,G是初始模板分类的判别稀疏编码,使得γ逼近初始标注的稀疏编码,转移矩阵A使γ在稀疏特征空间具有更高的判别性。这里Y为样本特征,D是局部字典,γ是稀疏系数,A是转移矩阵,Dγ是对样本Y的重构。公式(2)是一个目标函数,表示重构误差和稀疏编码误差之和,λ‖γ‖1是正则项,argmin是令误差和最小的意思。
根据T、线索模板B和噪声模板I的正负样本标注,G的定义如下:
Figure BDA0002256042720000075
其中:
g1和g2是全1的矩阵即所有元素都为1的矩阵,矩阵大小依赖于目标模板的个数p。g1是p*p大小,g2是(q+m)*(q+m)大小。这里的大写R表示一个维度空间,矩阵维度,也可以说是一个实数集,p是目标模板个数,q是线索模板个数,m是特征维度同时也是噪声模板的个数。
为了求解公式(2)的最优解,可将公式(2)转化为如下形式:
Figure BDA0002256042720000081
其中:
Figure BDA0002256042720000082
Figure BDA0002256042720000083
由于公式(2)不便于求解,因此将其改写为一般求解形式,即将两个误差项进行了合并,其中Ynew和Dnew就是合并后的表示。这样公式(4)可以用K-SVD算法进行迭代求解,得到Dnew和每个样本的稀疏系数γ。上标T表示矩阵转置,Y、G、A为矩阵,YT表示对矩阵Y进行转置,β是与正则项的贡献相一致的范围控制系数。
使用K-SVD算法可以求解公式(4),字典Dnew的学习过程会生成判别稀疏编码γ,且具有相同类别的样本间会有相似稀疏编码的特性。本文对样本的四个局部字典进行了判别字典学习,得到四个局部字典
Figure BDA0002256042720000084
进行了判别字典学习,得到四个局部子字典用于后续跟踪的加权特征选择和增量字典更新。
需要说明的是,步骤S101和S102实现了对目标局部进行外观建模,构建局部判别字典表示:首先,在第一帧,对给定目标按左上、左下、右上、右下平均划分成4个局部块。对每个块,提取相应的样本特征模板(含目标模板T、线索模板B和噪声模板I)并构建初始局部字典。其次,利用判别字典学习方法,得到4个局部判别字典。由于对初始局部字典进行学习的同时加入稀疏编码误差的约束,使得局部判别字典兼具稀疏和判别性能,提高了后续帧样本的分解系数的稀疏性。本发明所实现的方法原理框图如图2的左上部分所示。
S103、度量样本与目标的相似性;
本发明实施例在后续跟踪中提出了加权稀疏特征选择方法。在后续帧,根据上一帧目标中心位置进行高斯采样,得到候选样本。再根据候选样本的四个分割块的位置提取特征,用相应的局部字典
Figure BDA0002256042720000091
进行稀疏分解,每个候选样本得到4个局部稀疏系数。为了选出与目标相似性较高的候选粒子,计算候选样本的加权重构误差以得到最优跟踪结果,其中加权重构误差综合考虑了噪声系数能量和局部重构误差,如图2右下部分所示。图3所示为本文加权稀疏特征选择的具体过程。
在当前帧,这里以上一帧目标中心为圆心进行二维高斯采样,得到n个样本pi(i=1,2,…,n),每个样本分割后可得到四个子样本集
Figure BDA0002256042720000092
利用上节中的四个局部字典分别进行稀疏分解得到四个稀疏系数
Figure BDA0002256042720000093
这些系数中的大部分元素对样本信息没有贡献,只有最大值所对应的字典基向量(稀疏特征)是与当前样本具有最大相关性,由此每个样本都用四个稀疏特征表示。
本发明实施例中采用字典空间的基向量X、Y的欧式距离来表示样本局部与目标局部之间的相似性,计算公式如下:
Figure BDA0002256042720000094
其中:
Figure BDA0002256042720000095
为第i个样本的第k个局部字典基向量,Yk为字典的主基向量(即第一帧目标在局部字典
Figure BDA0002256042720000096
中的基向量)。公式(5)是一个求欧式距离的公式,即平方和开根号,也可用2范式表示。
然后,将第i个样本4个局部块与目标局部的相似性之积作为该样本与目标的综合相似度csi,定义如下:
Figure BDA0002256042720000101
其中:C是归一化系统,k=1,2,3,4,通过以上公式,选出与目标相似性最大的少量样本作为候选样本,从而排除异常样本的干扰。
S104、计算加权重构误差;
现有技术中常采用最小重构误差直接从候选样本中获得最佳跟踪结果,但在遮挡等噪声干扰项较强的场景中,字典对目标整体的表征能力下降,此时再使用整体重构误差来判断会导致跟踪性能下降。本发明实施例中采用局部加权重构误差的方法,利用局部块包含的不同噪声能量分布信息,来决策最佳跟踪结果。
通过S103中所选出的与目标最相似的t个候选样本,先使用每个候选样本pj(j∈[1,t])的四个稀疏
Figure BDA0002256042720000102
得到4个局部位置对应的噪声能量,然后选出该样本噪声能量最小的2个局部位置(如图3中所示),则候选样本pj在该局部位置的有效重构误差为:
Figure BDA0002256042720000103
其中:μ是标准化系数,r是噪声最小的局部位置编号(r∈[1,2,3,4]),j是样本下标。由于噪声系数会增加重构误差量,本发明实施例将加权函数设置为具有增益效果的函数,使用sigmoid函数作为加权函数,则第j个候选点在其中第r个局部块上的权重为:
Figure BDA0002256042720000104
其中:
Figure BDA0002256042720000105
表示第j个候选点在其中第r个块上的噪声能量(背景稀疏+噪声系数),a和c是权重函数的范围调节系数。
将候选样本的有效重构误差与权重结合起来,得到加权重构误差,最优跟踪结果的样本下标
Figure BDA0002256042720000106
由下式可得到:
Figure BDA0002256042720000111
其中:
Figure BDA0002256042720000112
Figure BDA0002256042720000113
分别是公式(7)和(8)计算出的,前者是有效重构误差,后者是局部块的权重。
步骤S103和S104,其通过对当前帧搜索区域进行采样,将样本的稀疏分解系数作为特征,选出目标候选样本;通过加权函数将局部噪声能量添加到重构误差中,增强重构误差在噪声干扰下的表征能力和判别稳定性,并选出最佳跟踪结果。
S105、增量式字典更新策略。
在线字典更新的目的是维护随时序变化的目标外观模型,通过获取足够的目标和背景变化信息,使跟踪模型适应目标背景变化;另一方面,字典在更新过程中容易积累误差,最终将导致跟踪漂移。因此,在线字典的更新策略对跟踪准确性有很大影响,需要减少误差累积和过拟合的同时保持良好的跟踪效率。
在跟踪过程中,对样本分割后的局部与整体的空间关系是固定的,部分候选样本的全局背景噪声较强,但其局部的噪声干扰强度各不相同,这些噪声能量由噪声系数e决定,其值远小于目标系数z或背景系数v。原有的字典经过更新,重新学习后得到新的字典D′,使得跟踪器对目标姿态变化和背景杂乱场景下的跟踪性能得到提升。这里通过利用长短时间结合的更新方法,以自适应噪声能量阈值作为执行更新的条件,并随机选择两个局部字典进行更新。
这里采用长短时结合的字典更新方法,设定当前帧f为周期更新时间点先判断所有局部候选样本的噪声能量
Figure BDA0002256042720000117
是否超过相关的阈值
Figure BDA0002256042720000114
阈值
Figure BDA0002256042720000118
是1到f-1帧噪声能量值总体Uk(k=1,2,3,4)的上侧α分位数,则有
Figure BDA0002256042720000115
P是指概率,上侧α分位数是使概率
Figure BDA0002256042720000116
的数α。若第f帧跟踪结果中存在某一局部的噪声能量大于阈值,可认为当前帧潜在跟踪漂移或遮挡,选择长时的触发式自适应更新方案,否则对字典执行短时周期更新,及时适应目标外观变化情况。
局部新字典D′的学习过程如图4中所示,以当前帧f的估计目标位置为中心进行正负样本的采样,将这部分采样样本与第1帧目标位置的正负采样样本组成新的样本集,再使用LC-KSVD对新的样本集学习得到更新后的局部字典D′。
本发明实施中为了提高跟踪效率和减轻字典更新的误差积累效应,在更新时只随机选择2个局部字典进行更新操作。
在本发明实施例中,其通过局部判别字典学习、噪声能量分析和加权决策的方法提高稀疏特征选择的性能,达到增加跟踪准确度的目的。其中初始目标位置以固定的空间结构分割成四个局部块,构成了四个局部判别字典。在后续帧中,样本经由局部字典分解得到稀疏系数,结合噪声分析和加权重构误差,抑制背景噪声信息对目标检测的干扰,提高了模型判别的稳定性。另外,本文在跟踪中采用长短时间增量更新局部判别字典,增强了跟踪模型对目标外观和背景变化的适应性。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,ReadOnly Memory)、随机存取存储器(RAM,Random AccessMemory)、磁盘或光盘等。
另外,以上对本发明实施例所提供的基于局部加权稀疏特征选择的视频目标跟踪方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于局部加权稀疏特征选择的视频目标跟踪方法,其特征在于,所述方法包括以下步骤:
对目标局部进行外观建模,构建局部判别字典表示;
对当前帧搜索区域进行采样,将样本的稀疏分解系数作为特征,选出目标候选样本;通过加权函数将局部噪声能量添加到重构误差中,增强重构误差在噪声干扰下的表征能力和判别稳定性,并选出最佳跟踪结果;
利用长短时间结合的更新方法,以自适应噪声能量阈值作为执行更新的条件,并随机选择两个局部字典进行更新。
2.如权利要求1所述的基于局部加权稀疏特征选择的视频目标跟踪方法,其特征在于,所述对目标局部进行外观建模,构建局部判别字典表示包括:
将目标划分成四个区块作为提取局部特征的模板,对局部特征进行字典学习的同时加入稀疏编码误差的约束,使得局部字典兼具稀疏和判别性能,提高后续帧样本的分解系数的稀疏性。
3.如权利要求2所述的基于局部加权稀疏特征选择的视频目标跟踪方法,其特征在于,所收将目标划分成四个区块作为提取局部特征的模板包括:
在目标外观表示上,采用2×2的局部分块表示方法,将给定目标划分为左上、右上、左下、右下4个大小相同的块,块与块之间、块与目标整体之间有明确的空间关系,且每个局部块包含了不同程度的细节丰富度;
对四个局部块分别构建相应的局部字典,每个局部字典由目标模板T、线索模板B和噪声模板I三部分组成。
4.如权利要求3所述的基于局部加权稀疏特征选择的视频目标跟踪方法,其特征在于,所述每个局部字典所包含的模板采用过程如下:
以局部块的中心为圆点,对半径为r1的范围内进行随机采样得到样本集合,作为目标模板T;
在半径为r1到r2的环形范围内密集采样得到样本集合,作为背景模板B,所述r1<r2;
设置样本特征维度都为m,则线索模板I是m维的单位矩阵;
设样本特征为y,则4个局部子字典的重构之和表示:
Figure FDA0002256042710000021
其中
Figure FDA0002256042710000022
是局部子字典,
Figure FDA0002256042710000023
是局部稀疏编码,zk和vk分别是局部目标系数和背景系数,e是噪声系数,k=1,2,3,4。
5.如权利要求4所述的基于局部加权稀疏特征选择的视频目标跟踪方法,其特征在于,所述对局部特征进行字典学习的同时加入稀疏编码误差的约束,使得局部字典兼具稀疏和判别性能,提高后续帧样本的分解系数的稀疏性包括:
采用LC-KSVD方法把字典学习和分类标注统一起来,表示为一个混合了重构误差和判别性能的方程,分别对四个局部字典进行迭代求解。
6.如权利要求5所述的基于局部加权稀疏特征选择的视频目标跟踪方法,其特征在于,所述对当前帧搜索区域进行采样,将样本的稀疏分解系数作为特征,选出目标候选样本包括:
以上一帧目标中心为圆心进行二维高斯采样,得到n个样本pi(i=1,2,…,n),每个样本分割后可得到四个子样本集
Figure FDA0002256042710000024
利用上节中的四个局部字典分别进行稀疏分解得到四个稀疏系数
Figure FDA0002256042710000025
利用字典空间的基向量X、Y的欧式距离来表示样本局部与目标局部之间的相似性;
将第i个样本4个局部块与目标局部的相似性之积作为该样本与目标的综合相似度;
选出与目标相似性最大的少量样本作为候选样本。
7.如权利要求6所述的基于局部加权稀疏特征选择的视频目标跟踪方法,其特征在于,所述通过加权函数将局部噪声能量添加到重构误差中,增强重构误差在噪声干扰下的表征能力和判别稳定性,并选出最佳跟踪结果包括:
对所选出的与目标最相似的t个候选样本,使用每个候选样本pj(j∈[1,t])的四个稀疏系数
Figure FDA0002256042710000031
得到4个局部位置对应的噪声能量,然后选出该样本噪声能量最小的2个局部位置,则样本pj在该局部位置的有效重构误差;
使用sigmoid函数作为加权函数加载到有效重构误差上选出最佳跟踪结果。
8.如权利要求7所述的基于局部加权稀疏特征选择的视频目标跟踪方法,其特征在于,所述利用长短时间结合的更新方法,以自适应噪声能量阈值作为执行更新的条件,并随机选择两个局部字典进行更新包括:
采用长短时结合的字典更新方法,设定当前帧f为周期更新时间点,先判断所有局部候选样本的噪声能量
Figure FDA0002256042710000032
是否超过相关的阈值
Figure FDA0002256042710000033
阈值
Figure FDA0002256042710000034
是1到f-1帧噪声能量值总体Uk(k=1,2,3,4)的上侧α分位数,则有
Figure FDA0002256042710000035
如果第f帧跟踪结果中存在某一局部的噪声能量大于阈值,则认为当前帧潜在跟踪漂移或遮挡,选择长时的触发式自适应更新方案,否则对字典执行短时周期更新,及时适应目标外观变化情况。
CN201911053931.7A 2019-10-31 2019-10-31 一种基于局部加权稀疏特征选择的视频目标跟踪方法 Active CN110889865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911053931.7A CN110889865B (zh) 2019-10-31 2019-10-31 一种基于局部加权稀疏特征选择的视频目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911053931.7A CN110889865B (zh) 2019-10-31 2019-10-31 一种基于局部加权稀疏特征选择的视频目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110889865A true CN110889865A (zh) 2020-03-17
CN110889865B CN110889865B (zh) 2023-08-25

Family

ID=69746692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911053931.7A Active CN110889865B (zh) 2019-10-31 2019-10-31 一种基于局部加权稀疏特征选择的视频目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110889865B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111458745A (zh) * 2020-04-24 2020-07-28 中国地震局地震研究所 一种面向预警的地震信号稀疏去噪方法
CN112288776A (zh) * 2020-10-26 2021-01-29 杭州电子科技大学 一种基于多时间步金字塔编解码器的目标跟踪方法
CN113260044A (zh) * 2021-04-12 2021-08-13 北京邮电大学 基于双层字典学习的csi指纹定位方法、装置及设备
CN113536971A (zh) * 2021-06-28 2021-10-22 中科苏州智能计算技术研究院 一种基于增量学习的目标检测方法
CN114140501A (zh) * 2022-01-30 2022-03-04 南昌工程学院 目标跟踪方法、装置及可读存储介质
CN117093692A (zh) * 2023-08-23 2023-11-21 广东技术师范大学 一种基于深度融合的多粒度图像-文本匹配方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150269441A1 (en) * 2014-03-24 2015-09-24 International Business Machines Corporation Context-aware tracking of a video object using a sparse representation framework
CN105931273A (zh) * 2016-05-04 2016-09-07 江南大学 基于l0正则化的局部稀疏表示目标跟踪方法
CN107274436A (zh) * 2017-06-02 2017-10-20 浙江师范大学 一种鲁棒性的加权局部多任务稀疏跟踪方法
CN109584270A (zh) * 2018-11-13 2019-04-05 大连大学 基于判别字典学习的视觉跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150269441A1 (en) * 2014-03-24 2015-09-24 International Business Machines Corporation Context-aware tracking of a video object using a sparse representation framework
CN105931273A (zh) * 2016-05-04 2016-09-07 江南大学 基于l0正则化的局部稀疏表示目标跟踪方法
CN107274436A (zh) * 2017-06-02 2017-10-20 浙江师范大学 一种鲁棒性的加权局部多任务稀疏跟踪方法
CN109584270A (zh) * 2018-11-13 2019-04-05 大连大学 基于判别字典学习的视觉跟踪方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111458745A (zh) * 2020-04-24 2020-07-28 中国地震局地震研究所 一种面向预警的地震信号稀疏去噪方法
CN111458745B (zh) * 2020-04-24 2022-04-19 中国地震局地震研究所 一种面向预警的地震信号稀疏去噪方法
CN112288776A (zh) * 2020-10-26 2021-01-29 杭州电子科技大学 一种基于多时间步金字塔编解码器的目标跟踪方法
CN113260044A (zh) * 2021-04-12 2021-08-13 北京邮电大学 基于双层字典学习的csi指纹定位方法、装置及设备
CN113260044B (zh) * 2021-04-12 2022-04-05 北京邮电大学 基于双层字典学习的csi指纹定位方法、装置及设备
CN113536971A (zh) * 2021-06-28 2021-10-22 中科苏州智能计算技术研究院 一种基于增量学习的目标检测方法
CN114140501A (zh) * 2022-01-30 2022-03-04 南昌工程学院 目标跟踪方法、装置及可读存储介质
CN117093692A (zh) * 2023-08-23 2023-11-21 广东技术师范大学 一种基于深度融合的多粒度图像-文本匹配方法及系统

Also Published As

Publication number Publication date
CN110889865B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN110889865B (zh) 一种基于局部加权稀疏特征选择的视频目标跟踪方法
Zhong et al. From shallow feature learning to deep learning: Benefits from the width and depth of deep architectures
CN110532920B (zh) 基于FaceNet方法的小数量数据集人脸识别方法
Kristan et al. Multivariate online kernel density estimation with Gaussian kernels
Liu et al. Fuzzy spectral clustering with robust spatial information for image segmentation
CN113033398B (zh) 一种手势识别方法、装置、计算机设备及存储介质
CN108256486B (zh) 一种基于非负低秩和半监督学习的图像识别方法及装置
Wu et al. Manifold kernel sparse representation of symmetric positive-definite matrices and its applications
Albelwi et al. Automated optimal architecture of deep convolutional neural networks for image recognition
CN113344045B (zh) 一种结合hog特征提高sar船只分类精度的方法
CN111723759B (zh) 基于加权张量稀疏图映射的非约束人脸识别方法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
Qian et al. A hybrid network with structural constraints for SAR image scene classification
Ma et al. Visual object tracking via coefficients constrained exclusive group LASSO
CN108388918B (zh) 具有结构保持特性的数据特征选择方法
CN111144220B (zh) 适于大数据的人员检测方法、装置、设备和介质
CN110717402B (zh) 一种基于层级优化度量学习的行人再识别方法
CN116884067A (zh) 一种基于改进的隐式语义数据增强的微表情识别方法
CN115392474B (zh) 一种基于迭代优化的局部感知图表示学习方法
Liu et al. Discriminative self-adapted locality-sensitive sparse representation for video semantic analysis
Wang et al. Visual tracking based on online sparse feature learning
CN111767825B (zh) 一种人脸属性不变鲁棒性人脸识别方法及系统
CN112200224A (zh) 医学图像特征处理方法和装置
CN117671704B (zh) 一种手写体数字识别方法、装置及计算机存储介质
van Staden et al. An Evaluation of YOLO-Based Algorithms for Hand Detection in the Kitchen

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant