CN108921872B - 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法 - Google Patents

一种适用于长程跟踪的鲁棒性视觉目标跟踪方法 Download PDF

Info

Publication number
CN108921872B
CN108921872B CN201810463293.5A CN201810463293A CN108921872B CN 108921872 B CN108921872 B CN 108921872B CN 201810463293 A CN201810463293 A CN 201810463293A CN 108921872 B CN108921872 B CN 108921872B
Authority
CN
China
Prior art keywords
sample
tracking
target
value
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810463293.5A
Other languages
English (en)
Other versions
CN108921872A (zh
Inventor
顾国华
顾烨仪
万敏杰
钱惟贤
任侃
路东明
陈钱
顾芷西
隋修宝
何伟基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201810463293.5A priority Critical patent/CN108921872B/zh
Publication of CN108921872A publication Critical patent/CN108921872A/zh
Application granted granted Critical
Publication of CN108921872B publication Critical patent/CN108921872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种适用于长程跟踪的鲁棒性视觉目标跟踪方法,首先根据视频序列的初始帧图像与目标在初始帧中的位置信息提取正负样本,对样本图像块作特征提取得到低维特征向量,使用线性支持向量机技术初始化目标外观模型;然后对得到的支持向量机模型进行逻辑斯蒂回归,对目标外观模型在粒子滤波框架下估计目标位置;随后,将中值流跟踪算法与当前的粒子滤波算法结合协同跟踪,在跟踪过程中采用增量减量技术在线更新外观模型,将原始的外观模型与新样本结合在线更新外观模型,直到最后一帧结束更新,从而实现了鲁棒性的视觉目标跟踪。本发明实现了机制迥异的两路跟踪方法的并行互补,解决了跟踪进程中不断产生新信息而造成空间冗余的问题。

Description

一种适用于长程跟踪的鲁棒性视觉目标跟踪方法
技术领域
本发明属于光学信号处理与数字图像处理技术领域,特别是一种适用于长程跟踪的鲁棒性视觉目标跟踪方法。
背景技术
对于复杂情况下的鲁棒性目标跟踪算法研究,长久以来都在光学信号处理应用领(如军事目标打击、视频监控和机器人视觉等)中占据一席之地。由于目标跟踪具有滞后性,往往是通过前段视频序列中的信息来估计后一帧目标出现的位置,而在实际场景下,目标在二维图像中的显示的外观总是随着干扰因素而不断变化的,这些干扰因素可能是来自自身的形变、转动、姿势变化等,也可以是源于外界的光源扰动、遮挡等。因此,例如光流跟踪、模板匹配、粒子滤波等传统的跟踪方法往往只能适应一些简单场景下的目标跟踪并且存在漂移累积的问题。近年来,统计学习理论在目标跟踪领域得到了广泛的应用,利用统计学习方法构建在线模型来取代简单的模板使得原始的跟踪方法在鲁棒性和稳定性上得到了很大的提升。其中,较为常见的有基于随机森林(张丹,陈兴文,赵姝颖.基于改进的随机森林TLD目标跟踪方法[J].大连民族大学学报,2016,18(3):255-259.)、支持向量机(郑建宾.基于粒子滤波和在线训练支持向量机的目标跟踪新方法[J].电脑知识与技术,2008,4(32):1190-1193.)、boost发法(蔡明琼,郭太良,姚剑敏.基于改进On-line Boosting算法的视频目标跟踪[J].电视技术,2015,39(16):65-68.)等理论的目标跟踪方法。然而,现有的技术研究,大多只是在已有理论成果上对跟踪算法本身从单一的角度进行修正与改进以提高精度,而缺少实际应用下稳健跟踪方法的系统设计。
针对稳健的跟踪任务,其关键在于建立一个鲁棒的在线外观模型及相应的更新策略,为了克服目标外观变化所产生的跟踪问题,大量基于外观模型的算法应运而生,可以分为两类:生成式模型和判别式模型。生成式模型单纯得根据目标样本建模,再在候选样本中寻找与目标函数最为匹配的样本作为跟踪结果,并在线更新模型,比较有效的几种算法是基于增量学习、PCA主成分分析、稀疏矩阵等。该些算法大多着重于通过特征分析技术来提取出目标块的显著特征信息,去除冗余的无用信息,然后在后一帧中寻找最为接近的样本。而判别式模型则是通过对正负样本同时分析来获取一个能够分辨是目标还是背景的分类器,判别式的模型由于兼顾了对背景的分析,因此在目标较大变化的情况下较生成式模型具有更好的鲁棒性。然而,无论是基于生成式模型还是判别式目标外观模型的跟踪方法,都涉及了模型的建立、更新及状态决策等诸多问题。尽管现有的理论研究已经较好的将统计学习的理论植入了视觉目标跟踪的领域中,但针对样本采集、尺度适应、模型更新、跟踪漂移等实际的问题缺少实施方案的设计,算法的改进也只是从某一单一因素进行克服,例如针对遮挡、光照的问题,但是对复杂的情况缺少可靠方法来应对实际情况下可能出现的上述问题。
发明内容
本发明的目的在于提供一种基于在线目标判别式外观模型与中值流跟踪的协同运作的适用于长程跟踪的鲁棒性视觉目标跟踪方法,解决了多变复杂情况下的鲁棒性视觉目标跟踪问题。
实现本发明目的的技术解决方案为:一种适用于长程跟踪的鲁棒性视觉目标跟踪方法,首先根据视频序列的初始帧图像与目标在初始帧中的位置信息提取大量随机的正负样本图像块用于目标外观模型的初始化训练;然后,对每个样本图像块提取特征得到一个低维特征向量,并利用定义的核函数将表示样本图像块的低维特征向量映射至高维特征空间;接着,将样本的高维特征向量集作为线性支持向量机模型的输入,计算出最优解即模型参数,从而完成目标外观模型的初始化;随后,对目标外观模型作进一步的逻辑斯蒂回归,并将建立起的目标外观模型置于粒子滤波的框架下,与中值流跟踪方法结合形成协同的跟踪回路;在跟踪过程中,对跟踪结果进行筛选选取可信度高的结果作为新样本,采用增量减量技术,将原始的外观模型与新样本结合在线更新外观模型,直到最后一帧结束更新,从而实现了鲁棒性的视觉目标跟踪。
本发明与现有技术相比,其显著优点:(1)利用支持向量机的统计学习方法,并基于统计直方图向量的特征表示方法,建立了一个鲁棒的判别式目标外观模型。(2)以逻辑斯蒂回归所定义的负样本最大后验概率值为基准,实现了机制迥异的两路跟踪方法的并行互补,从而得到形成一个稳定的跟踪系统。(3)采用了增量减量学习技术用于目标模型跟新,解决了跟踪进程中不断产生新信息而造成空间冗余的问题。(4)通过模型隔帧更新的方法,并根据正样本的后验概率值以及粒子滤波粒子集后验概率的变异系数值构建置信度,对样本进行筛选,有效抑制了模型偏移的问题,使得跟踪过程不会因短暂的失败的完全漂移,从而达到长久的跟踪。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明的流程示意图。
图2是本发明提出的跟踪方法对目标视觉跟踪基准库中8段不同的视频序列的跟踪结果示意图。
图3是本发明同对比方法所计算的结果与真实值中心的欧式距离曲线图。
具体实施方式
结合图1,本发明适用于长程跟踪的鲁棒性视觉目标跟踪方法,首先,根据视频序列的初始帧图像与目标在初始帧中的位置信息提取大量随机的正负样本图像块用于目标外观模型的初始化训练(大量是指正负样本的取样数,根据实际情况选取,下面具体实施步骤中举例说明了);然后,对每个样本图像块提取特征得到一个低维特征向量,并利用定义的核函数将表示样本图像块的低维特征向量映射至高维特征空间;接着,将样本的高维特征向量集作为线性支持向量机模型的输入,计算出最优解即模型参数,从而完成目标外观模型的初始化;随后,对目标外观模型作进一步的逻辑斯蒂回归,并将建立起的目标外观模型置于粒子滤波的框架下,与中值流跟踪方法结合形成协同的跟踪回路;在跟踪过程中,对跟踪结果进行筛选选取可信度高的结果作为新样本,采用增量减量技术,将原始的外观模型(在更新之前的目标外观模型)与新样本结合在线更新外观模型(直到最后一帧结束更新),从而实现了鲁棒性的视觉目标跟踪。将所提出的视觉跟踪方法用于公开的测试序列集进行定性定量的实验测试并作出相关分析。
实现上述用于复杂情况下视觉跟踪的稳健跟踪策略的的具体实施步骤如下:
第一步:在目标初始帧整个画面中密集定义大量网格(一个网格即表示图像中某一块区域的位置坐标信息,及横纵方向的尺度信息),根据视频序列的初始帧图像与目标在初始帧中的位置信息提取正负样本。具体如下:根据给出的目标框尺度scale,在整幅图像上对scale*sizerate^[-m,m]的(2m+1)个尺度按照步长分别排布网格,如以m=5为例,scale*sizerate^[-5,5](在尺度缩放率sizerate=1.05下的尺度缩放度m取值为5)的11个尺度按照步长step=2分别排布网格。然后求出全部这些网格与目标的重叠度overlap:
Figure BDA0001661445960000041
式中,RT为目标框的区域;RG为网格框的区域。随后根据重叠度值随机采集一定数量的正样本和负样本,实验中取overlap值大于0.8(该值表示正样本采样的overlap率下限值range+,实验采用经验值0.8,取值范围为0.6~0.9)的正样本数Nobject=20,overlap值小于0.2(该值表示负样本采样的overlap率上限值range-,实验采用经验值0.2,取值范围为0.1~0.4)的负样本数Nbackground=600。
第二步:对样本图像块作特征提取得到低维特征向量。具体操作如下:对每个样本块区域在RGB颜色空间(即红、绿、蓝三个基色通道)下进行3*nbin*nbin通道(以nbin=3为例表示对单一颜色通道的划分组数)的直方图统计得到一个3*nbin*nbin(即27)维的特征向量p={p(n),n=1,...,3*nbin*nbin}(即p={p(n),n=1,...,27})。考虑到光照的影响,另外再对图像进行R*R(窗口半径R=3,即3*3)窗口的局部二值模式(简称LBP)滤波计算,并对每个样本块统计旋转等价不变特性下的直方图,加上其余的非等价模式像素(局部二值模式特征的现有技术)的分布率得到一个10维的特征向量q={q(n),n=1,...,10},将这两个分别反映了颜色及纹理分布的向量结合得到3*nbin*nbin+10(即37)维的联合特征x={p,q}用以表示每个图像块(对于灰度图像下的视觉跟踪,仅取10维的LBP特征)。
第三步:使用线性支持向量机技术初始化目标外观模型。将采集的正负样本向量拼接构成用于输出线性支持向量机的样本数据集
Figure BDA0001661445960000051
其中,下标i表示样本序号;l表示样本数;y是样本的二值化标签,正样本为1,负样本为-1;
Figure BDA0001661445960000052
为样本的输入空间。根据采集的样本集,用线性支持向量机的方法训练模型,即通过下述公式的优化求解参数w和b解得模型:
Figure BDA0001661445960000053
其中,min(·)为求取极小值;Lh为合页损失函数;C为惩罚参数,由应用问题决定,这里取值为100;f(x)=w·Φ(x)+b为目标的决策函数,其实际的物理意义是一个定义在特征空间上的分离超平面,其中w,b分别为权重向量和偏差阈值,即通过求取这两个参数来确定正负样本的分离超平面,Φ(x)为映射函数即核函数(即前面所定义的核函数),将样本样本由输入空间
Figure BDA0001661445960000054
映射至特征空间
Figure BDA0001661445960000055
Figure BDA0001661445960000056
其中,
Figure BDA0001661445960000057
为一个一元变换函数,可将线性支持向量近似于交叉核支持向量机。由于括号内的式子有固定取值范围,因此可在该范围内划定ρ个等级通过数值比较实现一元变换从而将向量映射至高维。在我们的实验中,ρ取50,因此得到一个1850维的向量用于分类计算。另外,x表示样本向量,下标+表示样本为正样本;exp(·)表示以e为底的幂次方求解;mean(·)为均值求解。
第四步:对得到的支持向量机模型进行逻辑斯蒂回归。由于支持向量机模型的样本决策值输出的实质意义是输入值在样本空间内至分离超平面的带符号距离,没有固定的取值范围。因此,难以直接作为后项模块的输入使用。本发明通过逻辑斯蒂回归,可拟合分类决策值至[0,1]的范围,实现了概率化输出。逻辑斯蒂回归的实质是sigmoid函数拟合,如下式:
Figure BDA0001661445960000061
其中,Pr为样本在外观模型下的后验概率值;P为支持向量机决策值的逻辑斯蒂回归拟合值;f为支持向量机决策函数的输出值;exp(·)是求解以e为底的幂次方;A、B为回归参数,通过求解下面的正则化最大似然问题所得:
Figure BDA0001661445960000062
其中,min(·)表示极小化;log(·)表示以e为底的对数求解。另外:
Figure BDA0001661445960000063
其中,t+、t-表示正负样本的标签值。考虑到sigmoid函数的稀疏性,采用下式定义了目标的最大后验概率值:
Figure BDA0001661445960000064
其中,N+、N-分别表示正负样本的数量。
第五步:对目标外观模型在粒子滤波框架下估计目标位置。将支持向量机模型决策函数引入粒子滤波框架下,用作粒子似然值即权重值的求解式,归一化后通过求解粒子均值估计目标的当前状态:
Figure BDA0001661445960000065
其中,E[S]为目标当前位置状态的最优估计值;
Figure BDA0001661445960000066
为第t帧中分布的粒子集,实验中采用了四维高斯分布,采样粒子数Nparticle取值300,
Figure BDA0001661445960000071
是粒子的状态向量,描述了粒子的中心横纵坐标位置(x,y),横向尺度s,和宽高比r,π(n)是粒子对应的权重。
第六步:将中值流跟踪算法与当前的粒子滤波算法结合协同跟踪。对于任意跟踪任务,由中值流算法对首帧图像中目标率先展开跟踪,在中值流算法的跟踪过程中,对其产生的结果提取对应特征向量并输入训练好的外观模型进行外观判别,若输出的决策值小于负样本的最大后验概率值λt-,则启用上一步粒子滤波算法求得当前帧中的目标位置代替中值流算法的结果,并在该结果的基础上继续根据中值流算法计算后续帧中目标的位置。其中t-为式(7)中定义的负样本最大后验概率值,λ为定义的补偿系数,实验中取值为3。
第七步:采用增量减量技术在线更新外观模型。利用跟踪的结果对外观模型进行更新,为了有效控制模型漂移的问题,采用每隔10帧更新一次的策略。为进行目标模型更新,首先对跟踪过程中产生的结果图像块进行筛选选取新的正样本,根据:
Figure BDA0001661445960000072
根据置信度抽检出较高的一部分结果作为新的正样本,其中,θ为当前分类模型的参数值;p(+|x;θ)表征了结果估计值对外观模型的后验概率;
Figure BDA0001661445960000073
对应粒子集的变异系数,σ是粒子集后验概率Pr(+|x;St)的标准差,E为概率均值,并通过高斯累积分布对各帧结果概率值及变异系数值作了进一步的归一化处理;κ作为两个数值间的平衡系数,取0.2。每一次更新只取更新周期中
Figure BDA0001661445960000074
的一部分,max(·)表示取最大值。
此外,每一次更新还会在距当前帧位值samplestep-(如samplestep-=100)步长内的范围随机取Nupdate(如Nupdate=100)个重叠度小于0.2(该值表示负样本采样的overlap率上限值range-,实验采用经验值0.2,取值范围为0.1~0.4)的区域作为新的负样本,新的正样本和负样本共同构成了新样本集
Figure BDA0001661445960000081
J表示样本数。接着进行模型更新,模型更新采用了增量与减量技术,具体如下:
对原始的目标外观模型,用一个示例集进行概括
Figure BDA0001661445960000082
以实现增量学习,Φ(x)表示了一个示例,ω为示例的二值标签,一个示例的权值为s,该值描述了示例所对应的支持向量数,B是预定义的最大数量。
每更新完一次支持向量机分类器,就要将新产生的支持向量作为一个新的示例加入到示例集,并赋权值1,当示例数超过了B,就将最相似,即通过比较欧式距离,并将最为接近的两个同类型示例结合为一个新的示例Φ(x*):
Figure BDA0001661445960000083
下标i1和i2表示原始示例,上标*表示该特征向量或权值对应于结合生成的一个新示例,以此解决了空间冗余的问题。
结合式(2)的线性支持向量机模型,用表征了原始模型的示例集和表征新信息的新样本集更新模型:
Figure BDA0001661445960000084
Figure BDA0001661445960000085
其中,α+、α-是新样本的学习率,实验中α-取1,α+根据正示例的总权重值变化,即取值为示例集
Figure BDA0001661445960000086
中示例的权值之和;W+和W-分别表示正样本和负样本的总权重。
以上是对本发明所提出的用于长程跟踪的鲁棒性视觉目标跟踪方法的详细步骤说明,此外,为验证本发明所提出方法的有效性,同时还对目标视觉跟踪基准库中8段不同的视频序列进行了实验测试并作简要效果分析。
图2是本发明提出的跟踪方法对目标视觉跟踪基准库中8段不同的视频序列的跟踪结果示意图,每组序列第一张图片中的初始框是根据视觉目标数据库提供的实际位置所决定的,并且对于各帧序列做如下说明:(另附表1,对各影响因素的字母缩写说明:尺度变换SV、遮挡OCC、平面内旋转IPR、平面外旋转OPR、形变DEF、光照影响IV、动态相机MC、背景杂波BC、快速运动FM)。
Figure BDA0001661445960000091
表1目标视觉跟踪基准库中8段测试视频的对应问题说明列表
利用上述跟踪模型对这些测试集进行试验。如表1中所述,8段视频对应了多种不同性质的目标,如动物、行人、人脸及刚体目标。另外,在八段视频集中分别穿插了视觉目标跟踪问题中可能存在的多种挑战因素。首先,通过这8段视频对本方法进行定性试验,得到图2的结果展示图:在Panda中,目标跟踪存在显著的旋转、尺度变化问题,验证本方法对于旋转、尺度的鲁棒性;在Dog中,存在显著的形变,验证本方法对于形变因素的鲁棒性;在Jogging-1序列中,目标被完全遮档,验证了本发明可解决遮挡漂移的问题;在Lemming序列中,存在强烈的尺度、旋转、遮档,验证本方法对于这三种挑战因素的鲁棒性;在Singer1中,有剧烈的光照变化和尺度变化,说明本方法对光照变化或尺度变化显著的跟踪任务同样有效;Dudek序列中同样存在显著的旋转,说明本方法对于旋转目标跟踪的适应性;在序列Carscale中,目标发生了剧烈的尺度变化及部分遮挡,说明本方法对尺度变化和部分遮挡因素的鲁棒性;Rubik中的目标不断旋转并出现了遮挡,表明本方法对旋转、遮挡问题的鲁棒性。综合这8段视频的测试,验证了本方法对应于视觉跟踪中尺度变换、遮挡、平面内旋转、平面外旋转、形变、光照影响、动态相机、背景杂波、快速运动等挑战因素均具有一定的鲁棒性。如图3所示,接着通过绘制跟踪结果与实际中心位置的欧式距离曲线来衡量测试结果的偏移量pixel error,距离越小,表明跟踪结果与标准结果越接近。同时,通过对比优秀的Struck算法对这8段视频的测试结果,验证说明了本发明提出的策略对于多种挑战因素共存下的复杂跟踪问题,能保持稳健长久的跟踪且具有较高的准确度。

Claims (8)

1.一种适用于长程跟踪的鲁棒性视觉目标跟踪方法,其特征在于:首先,根据视频序列的初始帧图像与目标在初始帧中的位置信息提取随机的正负样本图像块用于目标外观模型的初始化训练;然后,对每个样本图像块提取特征得到一个低维特征向量,并利用定义的核函数将表示样本图像块的低维特征向量映射至高维特征空间;接着,将样本的高维特征向量集作为线性支持向量机模型的输入,计算出最优解即模型参数,从而完成目标外观模型的初始化;随后,对目标外观模型作进一步的逻辑斯蒂回归,并将建立起的目标外观模型置于粒子滤波的框架下,与中值流跟踪方法结合形成协同的跟踪回路;在跟踪过程中,对跟踪结果进行筛选选取可信度高的结果作为新样本,采用增量减量技术,将原始的外观模型与新样本结合在线更新外观模型,直到最后一帧结束更新,从而实现了鲁棒性的视觉目标跟踪。
2.根据权利要求1所述的适用于长程跟踪的鲁棒性视觉目标跟踪方法,其特征在于:在目标初始帧中密集分布网格,根据视频序列的初始帧图像与目标在初始帧中的位置信息提取正负样本,具体如下:根据给出的目标框尺度scale,在整幅图像上对scale*sizerate^[-m,m]的(2m+1)个尺度按照步长分别排布网格;然后求出全部这些网格与目标的重叠度overlap:
Figure FDA0003306443180000011
式中,RT为目标框的区域;RG为网格框的区域,随后根据重叠度值随机采集一定数量的正样本和负样本,sizerate为采样过程中不同尺度间的尺度缩放率。
3.根据权利要求1所述的适用于长程跟踪的鲁棒性视觉目标跟踪方法,其特征在于对样本图像块作特征提取得到低维特征向量:对每个样本块区域在RGB颜色空间下进行3*nbin*nbin通道的直方图统计得到一个3*nbin*nbin维的特征向量p={p(n),n=1,...,3*nbin*nbin},考虑到光照的影响,另外再对图像进行R*R窗口的局部二值模式滤波计算,并对每个样本块统计旋转等价不变特性下的直方图,加上剩下的非等价模式像素的分布率得到一个10维的特征向量q={q(n),n=1,...,10},将这两个分别反映了颜色及纹理分布的向量结合得到3*nbin*nbin+10维的联合特征x={p,q}用以表示每个图像块,n是用于表征特征向量维度的变量,x表示样本向量。
4.根据权利要求1所述的适用于长程跟踪的鲁棒性视觉目标跟踪方法,其特征在于使用线性支持向量机技术初始化目标外观模型:将采集的正负样本向量按行顺序拼接为矩阵,构成用于输出线性支持向量机的样本数据集
Figure FDA0003306443180000021
其中,下标i表示样本序号;l表示样本数;y是样本的二值化标签,正样本为1,负样本为-1;
Figure FDA0003306443180000022
为样本的输入空间;
根据采集的样本集,用线性支持向量机的方法训练模型,即通过下述公式的优化求解参数w和b解得模型:
Figure FDA0003306443180000023
其中,min(·)为求取极小值;Lh为合页损失函数;C为惩罚参数;f(x)=w·Φ(x)+b为目标的决策函数,其实际的物理意义是一个定义在特征空间上的分离超平面,其中w,b分别为权重向量和偏差阈值,即通过求取这两个参数来确定正负样本的分离超平面,Φ(x)为映射函数即核函数,将样本由输入空间
Figure FDA0003306443180000025
映射至特征空间H:
Figure FDA0003306443180000024
其中,K(·)为一个一元变换函数,可将线性支持向量近似于交叉核支持向量机;x表示样本向量,下标+表示样本为正样本;exp(·)表示以e为底的幂次方求解;mean(·)为均值求解。
5.根据权利要求1所述的适用于长程跟踪的鲁棒性视觉目标跟踪方法,其特征在于对得到的支持向量机模型进行逻辑斯蒂回归:逻辑斯蒂回归的实质是sigmoid函数拟合,如下式:
Figure FDA0003306443180000031
其中,Pr为样本在外观模型下的后验概率值;P为支持向量机决策值的逻辑斯蒂回归拟合值;f为支持向量机决策函数的输出值;exp(·)是求解以e为底的幂次方;A、B为回归参数,通过求解下面的正则化最大似然问题所得:
Figure FDA0003306443180000032
其中,min(·)表示极小化;log(·)表示以e为底的对数求解;另外:
Figure FDA0003306443180000033
其中,t+、t-表示正负样本的标签值;
考虑到sigmoid函数的稀疏性,采用下式定义了目标的最大后验概率值:
Figure FDA0003306443180000034
其中,N+、N-分别表示正负样本的数量,f为支持向量机决策函数的输出值,t为样本标签值,下标i用于标记不同样本。
6.根据权利要求1所述的适用于长程跟踪的鲁棒性视觉目标跟踪方法,其特征在于对目标外观模型在粒子滤波框架下估计目标位置:支持向量机模型决策函数作为粒子似然值即权重值的求解式,归一化后通过求解粒子均值估计目标的当前状态:
Figure FDA0003306443180000035
其中,E[S]为目标当前位置状态的最优估计值;
Figure FDA0003306443180000041
为第t帧中分布的粒子集,实验中采用了四维高斯分布,采样粒子数Nparticle取值300,
Figure FDA0003306443180000042
是粒子的状态向量,描述了粒子的中心横纵坐标位置(x,y),横向尺度s,和宽高比r,π(n)是粒子对应的权重。
7.根据权利要求1所述的适用于长程跟踪的鲁棒性视觉目标跟踪方法,其特征在于将中值流跟踪算法与当前的粒子滤波算法结合协同跟踪:对于任意跟踪任务,由中值流算法对首帧图像中目标率先展开跟踪,在中值流算法的跟踪过程中,对其产生的结果提取对应特征向量并输入训练好的外观模型进行外观判别,若输出的决策值小于负样本的最大后验概率值λt-,则启用上述粒子滤波算法求得当前帧中的目标位置代替中值流算法的结果,并在该结果的基础上继续根据中值流算法计算后续帧中目标的位置,t-为负样本最大后验概率值,λ为定义的补偿系数。
8.根据权利要求1所述的适用于长程跟踪的鲁棒性视觉目标跟踪方法,其特征在于在跟踪过程中采用增量减量技术在线更新外观模型:利用跟踪的结果对外观模型进行更新,首先对跟踪过程中产生的结果图像块进行筛选选取新的正样本,根据:
Figure FDA0003306443180000043
根据置信度抽检出一部分结果作为新的正样本,其中,θ为当前分类模型的参数值;p(+|x;θ)表征了结果估计值对外观模型的后验概率;
Figure FDA0003306443180000044
对应粒子集的变异系数,σ是粒子集后验概率Pr(+|x;St)的标准差,E为概率均值,并通过高斯累积分布对各帧结果概率值及变异系数值作了进一步的归一化处理;κ作为两个数值间的平衡系数,每一次更新只取更新周期中x∈{x|L<0.5*maxL}的一部分,max(·)表示取最大值;
此外,每一次更新还会在距当前帧位置samplestep-步长内的范围根据重叠度随机取Nupdate个新的负样本,新的正样本和负样本共同构成了新样本集
Figure FDA0003306443180000051
J表示样本数;接着进行模型更新,模型更新采用了增量与减量技术,具体如下:
对原始的目标外观模型,用一个示例集进行概括
Figure FDA0003306443180000052
以实现增量学习,Φ(x)表示了一个示例,ω为示例的二值标签,一个示例的权值为s,该值描述了示例所对应的支持向量数,B是预定义的最大数量;
每更新完一次支持向量机分类器,就要将新产生的支持向量作为一个新的示例加入到示例集,并赋权值1,当示例数超过了B,就将最为相似,即通过比较欧式距离,并将最为接近的两个同类型示例结合为一个新的示例Φ(x*):
Figure FDA0003306443180000053
下标i1和i2表示原始示例,上标*表示该特征向量或权值对应于结合生成的一个新示例;
结合式(2)的线性支持向量机模型,用表征了原始模型的示例集和表征新信息的新样本集更新模型:
Figure FDA0003306443180000054
Figure FDA0003306443180000055
其中,α+、α-是新样本的学习率,α+根据正示例的总权重值变化,即取值为示例集Q中示例的权值之和;W+和W-分别表示正样本和负样本的总权重,变量x和y分别表示样本向量及样本对应的标签值,通过下标i标记不同样本。
CN201810463293.5A 2018-05-15 2018-05-15 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法 Active CN108921872B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810463293.5A CN108921872B (zh) 2018-05-15 2018-05-15 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810463293.5A CN108921872B (zh) 2018-05-15 2018-05-15 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法

Publications (2)

Publication Number Publication Date
CN108921872A CN108921872A (zh) 2018-11-30
CN108921872B true CN108921872B (zh) 2022-02-01

Family

ID=64404263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810463293.5A Active CN108921872B (zh) 2018-05-15 2018-05-15 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法

Country Status (1)

Country Link
CN (1) CN108921872B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401178B (zh) * 2020-03-09 2023-06-13 蔡晓刚 一种基于深度特征融合与自适应相关滤波的视频目标实时跟踪方法及系统
CN112950676A (zh) * 2021-03-25 2021-06-11 长春理工大学 一种智能机器人回环检测方法
CN115953430B (zh) * 2022-12-21 2023-07-25 贵州财经大学 基于改进的批量样本损失函数的视频单目标跟踪方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877130A (zh) * 2009-04-29 2010-11-03 中国科学院自动化研究所 复杂场景下基于粒子滤波器的运动目标跟踪方法
CN102156983A (zh) * 2011-03-31 2011-08-17 上海交通大学 基于模式识别与目标跟踪的异常行人位置检测方法
CN102216957A (zh) * 2008-10-09 2011-10-12 埃西斯创新有限公司 图像中对象的视觉跟踪以及图像分割
CN103150572A (zh) * 2012-12-11 2013-06-12 中国科学院深圳先进技术研究院 在线式视觉跟踪方法
CN103413295A (zh) * 2013-07-12 2013-11-27 长沙理工大学 一种视频多目标长程跟踪方法
CN106056146A (zh) * 2016-05-27 2016-10-26 西安电子科技大学 基于逻辑回归的视觉跟踪方法
CN106203513A (zh) * 2016-07-08 2016-12-07 浙江工业大学 一种基于行人头肩多目标检测及跟踪的统计方法
CN107392210A (zh) * 2017-07-12 2017-11-24 中国科学院光电技术研究所 一种基于tld算法的目标检测跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102216957A (zh) * 2008-10-09 2011-10-12 埃西斯创新有限公司 图像中对象的视觉跟踪以及图像分割
CN101877130A (zh) * 2009-04-29 2010-11-03 中国科学院自动化研究所 复杂场景下基于粒子滤波器的运动目标跟踪方法
CN102156983A (zh) * 2011-03-31 2011-08-17 上海交通大学 基于模式识别与目标跟踪的异常行人位置检测方法
CN103150572A (zh) * 2012-12-11 2013-06-12 中国科学院深圳先进技术研究院 在线式视觉跟踪方法
CN103413295A (zh) * 2013-07-12 2013-11-27 长沙理工大学 一种视频多目标长程跟踪方法
CN106056146A (zh) * 2016-05-27 2016-10-26 西安电子科技大学 基于逻辑回归的视觉跟踪方法
CN106203513A (zh) * 2016-07-08 2016-12-07 浙江工业大学 一种基于行人头肩多目标检测及跟踪的统计方法
CN107392210A (zh) * 2017-07-12 2017-11-24 中国科学院光电技术研究所 一种基于tld算法的目标检测跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于光流法的运动目标快速跟踪算法研究;胡金金;《中国优秀硕士学位论文全文数据库信息科技辑》;20141015(第10期);全文 *
多摄像头系统的目标检测与跟踪方法研究;高翔 等;《计算机技术与发展》;20150731;第25卷(第7期);全文 *
运动目标跟踪算法研究综述;张娟 等;《计算机应用研究》;20091231;第26卷(第12期);全文 *

Also Published As

Publication number Publication date
CN108921872A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
CN106845374B (zh) 基于深度学习的行人检测方法及检测装置
CN107506703B (zh) 一种基于无监督局部度量学习和重排序的行人再识别方法
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN106778687B (zh) 基于局部评估和全局优化的注视点检测方法
CN104598883B (zh) 一种多摄像机监控网络中目标再识别的方法
CN110490158B (zh) 一种基于多级模型的鲁棒人脸对齐方法
CN105574505A (zh) 一种多摄像机间人体目标再识别的方法及系统
CN108921872B (zh) 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法
CN108509925B (zh) 一种基于视觉词袋模型的行人重识别方法
WO2019136591A1 (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
CN106204658A (zh) 运动图像跟踪方法及装置
CN108038515A (zh) 无监督多目标检测跟踪方法及其存储装置与摄像装置
Gao et al. Aurora image segmentation by combining patch and texture thresholding
CN108491857B (zh) 一种视域重叠的多摄像机目标匹配方法
CN112364881B (zh) 一种进阶采样一致性图像匹配方法
CN111199245A (zh) 油菜害虫识别方法
CN112749675A (zh) 一种基于卷积神经网络的马铃薯病害识别方法
CN114463843A (zh) 一种基于深度学习的多特征融合鱼类异常行为检测方法
CN109241932B (zh) 一种基于运动方差图相位特征的热红外人体动作识别方法
CN107423771B (zh) 一种两时相遥感图像变化检测方法
Lin et al. Citrus segmentation for automatic harvester combined with adaboost classifier and Leung-Malik filter bank
Chen et al. Low-rank representation with contextual regularization for moving object detection in big surveillance video data
Liu et al. Fast tracking via spatio-temporal context learning based on multi-color attributes and pca

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant