CN105046717B - 一种鲁棒性的视频目标对象跟踪方法 - Google Patents

一种鲁棒性的视频目标对象跟踪方法 Download PDF

Info

Publication number
CN105046717B
CN105046717B CN201510270455.XA CN201510270455A CN105046717B CN 105046717 B CN105046717 B CN 105046717B CN 201510270455 A CN201510270455 A CN 201510270455A CN 105046717 B CN105046717 B CN 105046717B
Authority
CN
China
Prior art keywords
matrix
particle
target
template
candidate target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510270455.XA
Other languages
English (en)
Other versions
CN105046717A (zh
Inventor
熊继平
汤清华
蔡丽桑
王妃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Normal University CJNU
Original Assignee
Zhejiang Normal University CJNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Normal University CJNU filed Critical Zhejiang Normal University CJNU
Priority to CN201510270455.XA priority Critical patent/CN105046717B/zh
Publication of CN105046717A publication Critical patent/CN105046717A/zh
Application granted granted Critical
Publication of CN105046717B publication Critical patent/CN105046717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种鲁棒性的视频目标对象跟踪方法，包括：基于粒子滤波重要性采样原理采样获取当前帧的候选目标粒子；基于候选目标粒子与前面跟踪结果的余弦相似性滤去离异粒子；筛选后的侯选目标粒子基于模板字典的线性表示；线性系数矩阵的低秩稀疏数学模型；基于不精确拉格朗日乘子优化算法求解系数矩阵；根据判别函数选出最佳的候选目标作为跟踪结果；在线更新模板字典。本发明的方法的鲁棒性保证了方法能够应对各种挑战因素，对视频中目标对象进行准确跟踪。克服视频中目标对象因光照变化、尺度变化、遮挡、变形、运动模糊、快速运动、旋转、背景杂波、低分辨率等原因导致跟踪不准确甚至漂移。

Description

一种鲁棒性的视频目标对象跟踪方法
技术领域
本发明涉及计算机视觉领域，特别是涉及一种能够应对视频中目标对象光照变化、尺度变化、遮挡、变形、运动模糊、快速运动、旋转、背景杂波、低分辨率等各种挑战，能够对目标对象进行连续准确跟踪的鲁棒性的视频目标对象跟踪方法。
背景技术
视频对象跟踪是计算机视觉系统中一个重要的环节，它融合了图像处理、随机过程、人工智能等多领域的理论知识。对象跟踪就是利用指定目标的颜色、纹理、边缘、轮廓等特征对目标进行检测，采用跟踪算法对目标当前时刻的运动状态进行估计，并对下一时刻的状态进行预测，从而实现对指定目标的准确、稳定、快速的跟踪，获得目标的运动参数，例如位置、速度、运动轨迹和加速度等，帮助下一步的处理与分析，实现对运动目标识别及行为理解，以完成更高级的检测任务。视频目标跟踪的关键就是建立每一帧图像中候选目标与事先确定的跟踪目标的对应关系。
对象跟踪技术有着广阔的应用前景和巨大的市场需求，不仅表征了监控行业的未来发展的方向，并且非常符合信息产业链将来发展的趋势，其中蕴涵着巨大的经济效益，也受到了产业界和政府管理部门的高度重视。它在安全监控、交通检测、人机交互、医学应用、军事领域等方面已经得到了成功的应用。
鉴于视频对象跟踪技术的重要应用价值，学术界和公司企业对它进行了广泛的研究，有着20多年的研究发展历史，但是时至今日依然没有一种好的跟踪算法模型能够对对象进行实时准确跟踪。主要原因是跟踪对象存在着光照变化、尺度变化、遮挡、非刚性的对象变形、运动模糊、快速运动、旋转、目标离开视图、背景杂波、低分辨率等各种挑战，这些挑战严重影响了跟踪的准确度以及设计算法的复杂度。
针对现有技术存在的不足，提出本发明。
发明内容
本发明要解决的技术问题是提出一种克服视频中目标对象因光照变化、尺度变化、遮挡、变形、运动模糊、快速运动、旋转、背景杂波、低分辨率等原因导致跟踪不准确甚至漂移的具有良好的鲁棒性的视频目标对象跟踪方法
本发明提供的技术方案是：
一种鲁棒性的视频目标对象跟踪方法，用于对视频中标定的目标对象进行连续跟踪，包括以下步骤：
步骤11)，基于粒子滤波重要性采样原理，采样获取当前帧第t帧的候选目标粒子；
所述步骤11)包括预测和更新两个阶段，其中，预测阶段包括：以第t-1帧的状态变量为均值和常数为方差进行高斯随机采样获得第t帧的状态变量；定位出状态变量在当前帧第t帧图像中所对应的区域；把所述区域映射到规范化大小的矩形模板；对所述矩形模板向量化得到候选目标粒子的灰度观测向量；
更新阶段包括：计算的判别函数值作为筛选后的候选目标粒子所对应状态变量的权重，被滤去的候选目标所对应状态变量权重设为0，并将所有粒子权重进行归一化处理，根据归一化后权值进行重新采样得到新的状态变量。
所述预测阶段具体为，以第t-1帧重采样后的状态变量矩阵为均值，定义的常数δ∈R1×6为方差进行高斯随机采样得到第t帧状态变量矩阵st，
st＝st-1+randn*diag(δ)；
其中，是一个随机矩阵，diag(δ)是一个对角化的操作；n0为粒子的数目，6为每个粒子状态变量的维数，包括2个位置参数和4个变形参数；δ＝(xt,yt,θt,st,at,φt)，xt为x方向的位移、yt为y方向的位移、θt为旋转角度、st为尺度变化、at为宽高比、φt为斜切度；找出st中每个粒子状态变量，即st的每一行在当前帧第t帧图像中所对应的区域并规范化为模板大小，相应的向量化灰度图像观测组成的矩阵为X0＝[x1,x2,…，xn0]，其中xi∈Rd为第i个候选目标粒子的灰度观测向量，d为粒子灰度向量化的维数。
步骤12)，基于候选目标粒子与第t-50、t-40、t-30、t-20、t-10、t-5、t-4、t-3、t-2、t-1帧目标对象跟踪结果的余弦相似度，滤去相似度值都小于阈值的候选目标粒子，余弦相似度的计算公式为：
其中，xi是第i个获选目标粒子的灰度观测向量，yj是第j帧目标对象跟踪结果的灰度观测向量。对于第i个候选目标粒子，若η为常数，都成立，就滤去该候选粒子，剩下的候选目标粒子组成新的矩阵X∈Rd×n,其中n＜＜n0。
步骤13)，对筛选后的侯选目标粒子进行基于模板字典的线性表示；
具体为，通过对第一帧手动标出的目标对象坐标加1或者减1产生目标模板集同时在标出的目标对象约定半径外随机采样产生背景模板集把目标模板集和背景模板集组合成模板字典其中no和nb分别为目标模板集和背景模板集中目标模板和背景模板的个数，d为粒子灰度向量化的维数。为应对目标外观的变化，防止跟踪发生漂移，模板字典必须在跟踪过程中更新；经筛选后的候选目标粒子组成的矩阵X能够被模板字典线性表示，公式表示为：X＝DZ+E，其中X为筛选后的获选目标粒子组成观测矩阵，D为模板字典，Z为线性系数矩阵，E为误差矩阵。
步骤14)，线性系数矩阵的低秩稀疏数学模型；
具体为，利用线性系数矩阵固有属性和前后帧目标对象线性表示系数一致性，建立求解该系数矩阵的数学模型，该线性系数矩阵Z具有低秩、稀疏、行稀疏属性，同时系数矩阵Z的每一列都减去前一帧目标对象的线性表示系数z0后具有列稀疏性，据此建立关于系数矩阵的数学模型为：
λ1||Z||*+λ2||Z||1,2+λ3||Z||1,1+λ4||Z-Z0||2,1+λ5||E||1,1
s.t.X＝DZ+E (式1)；
其中，X为筛选后的候选目标粒子组成的观测矩阵，每一列代表一个候选目标粒子；D为模板字典，包括目标模板集和背景模板集；Z为线性系数矩阵，E为误差矩阵；矩阵Z0＝z01T的每一列都是z0，z0为前一帧目标对象跟踪结果的线性表示系数；||Z||*是矩阵Z核范数，其值等于Z的奇异值之和，用来约束Z的秩，||Z||p,q是矩阵Z的p,q范数，
其中，[Z]ij为矩阵Z的第i行第j个元素，p＝1,q＝2时约束Z行稀疏，p＝2,q＝1约束Z列稀疏，p＝1,q＝1约束Z稀疏。
步骤15)，基于不精确拉格朗日乘子优化算法求解系数矩阵；
具体为，采样不精确拉格朗日乘子优化算法求解(式1)中系数矩阵，引进了四个等式约束：
利用增广拉格朗日乘子法合并(式2)中等式约束和目标函数，得到拉格朗日函数：
其中，Y1,Y2,Y3,Y4,Y5为拉格朗日乘数，μ为大于0的惩罚参数，(式3)通过一个封闭的迭代操作进行优化求出系数矩阵，算法过程为：
输入：X，D，Z0，λ1，...5，ρ，μ，μmax，e
输出Z，E
初始化Z，Z1，...4，E，Y1，...5为0矩阵；
while(norm(X-D*Z-E，′fro′)＞e)
Y1＝Y1+μ(X-DZ-E)
Y2＝Y2+μ(Z-Z1)
Y3＝Y3+μ(Z-Z2)
Y4＝Y4+μ(Z-Z3)
Y5＝Y5+μ(Z-Z4-Z0)
μ＝min(ρμ，μmax)
end
其中，X为筛选后的候选目标粒子组成的观测矩阵，每一列代表一个候选目标粒子；D为模板字典，包括目标模板集和背景模板集；Z为线性系数矩阵，E为误差矩阵；Z1，…，4为与Z等价的中间变量，Y1，…，5为拉格朗日乘数；μ为惩罚参数，ρ，μmax，e为常数参数，本发明中设定μ＝10-6，ρ＝1.1，μmax＝1010，e＝10-8；Sε(Q)、Dε(Q)、Tε(Q)、Wε(Q)是关于矩阵Q和参数ε的函数，公式如下：
Sε(Q)＝max(|Q|-ε，0)sgn(|Q|)，其中sgn(·)为符号函数
Dε(Q)＝USe(∑)VT，其中Q＝U∑VT为奇异值分解
Tε(Q)为对矩阵Q的计算，计算结果为矩阵，在结果矩阵中第i列为
ε＜||qi||2，否则为零向量，其中qi为矩阵Q的第i列；
Wε(Q)为对矩阵Q的计算，计算结果为矩阵，在结果矩阵中第i行为
ε＜||pi||2，否则为零向量，其中pi为矩阵Q的第i行。
步骤16)，根据判别函数值选出最佳的候选目标作为跟踪结果；
包括：
计算候选目标粒子在目标模板集上的重构误差；
计算候选目标粒子在背景模板集上的重构误差；
计算判别函数的值；
根据判别函数值确定当前帧的跟踪结果；其中，判别函数的公式为
上式中，为候选目标粒子xk在目标模板集Do上的重构误差，为候选目标粒子xk在背景模板集Db上的重构误差，使判别函数最大的候选目标粒子xi作为当前帧的跟踪结果yt；为候选目标粒子xk在目标模板集Do上的线性表示系数；为候选目标粒子xk在目标模板集Db上的线性表示系数。
步骤17)，在线更新模板字典。
具体为，模板字典的更新包括目标模板集的更新和背景模板集的更新；其中，目标模板集的更新具体步骤如下：
a：yt是当前帧的跟踪结果，即使判别函数最大的候选目标粒子xi；
b：是当前帧的跟踪结果yt或者xi在目标模板集上的线性表示系数；
c：w是当前权重，wk←||D0(:,k)||2；
d：τ为定义的阈值；
e：根据更新权值：
f：if(cos<yt,Do(:,m)>≤τ),这里的cos为余弦相似度函数，
g：
h：Do(:,k0)←yt；
i：即w的中值；
j：end if
k：归一化w，使得w的和为1；
l：调整w，使得max(w)＝0.3；
m：归一化Do(:,k)，使得||Do(:,k)||2←wk；
其中，Do(:,k)为矩阵Do的第k列；Do(:,m)为矩阵Do的第m列；||Do(:,k)||2为求矩阵第k列D0(:,k)的L2范式；mo为k的最大取值范围。
所述的背景模板集的更新为：以当前帧目标对象的中心为圆心，在大于r小于R的圆环内随机采样mb个与当前跟踪的目标一样大的图像块作为背景模板集。
本发明的有益效果是：
本发明与现有技术相比，本发明利用余弦相似性滤去离异的候选目标粒子，减小了后续过程中需处理的候选目标粒子数目，降低了计算复杂度，加快了跟踪速度。同时本发明提出了一个鲁棒性的关于系数矩阵的低秩稀疏数学模型，经筛选后的候选目标粒子之间的相似性较大，能更好的保证模型中系数矩阵低秩、稀疏、行稀疏以及前后帧目标对象线性表示系数一致性。本发明能够对各种场景中目标对象进行准确跟踪，能够在目标对象发生光照变化、尺度变化、遮挡、变形、运动模糊、快速运动、旋转、背景杂波、低分辨率等情况下依然能够进行连续准确跟踪，不发生漂移。
附图说明
当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：
图1为本发明提出的鲁棒性的视频对象跟踪方法的流程框图；
图2为目标模板集的更新流程图；
图3为本发明提出的视频目标对象跟踪方法对小汽车的跟踪效果图；
图4为本发明提出的视频目标对象跟踪方法对足球运动员跟踪效果图；
图5为本发明提出的视频目标对象跟踪方法对一个女孩跟踪效果图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提出了一种鲁棒性的视频目标对象跟踪方法，用于对视频中标出的目标进行连续跟踪。该方法能够对各种场景中目标对象进行准确跟踪，能够在目标对象发生光照变化、尺度变化、遮挡、变形、运动模糊、快速运动、旋转、背景杂波、低分辨率等情况下依然能够进行连续准确跟踪，不发生漂移。本实例中一种鲁棒性的视频目标对象跟踪方法的流程如图1所示，主要包括如下步骤：
步骤11)，基于粒子滤波重要性采样原理采样获取当前帧的候选目标粒子；
步骤12)，基于候选目标粒子与第t-50、t-40、t-30、t-20、t-10、t-5、t-4、t-3、t-2、t-1帧目标对象跟踪结果的余弦相似性滤去离异粒子；
步骤13)，对筛选后的侯选目标粒子进行基于模板字典的线性表示；
步骤14)，线性系数矩阵的低秩稀疏数学模型；
步骤15)，基于不精确拉格朗日乘子优化算法求解系数矩阵；
步骤16)，根据判别函数选出最佳的候选目标作为跟踪结果；
步骤17)，在线更新模板字典。
下面根据本发明的视频目标对象跟踪方法的执行顺序给出每个步骤的具体过程，包括对过程的详细文字描述和相应的公式。
步骤11)，基于粒子滤波重要性采样原理采样获取当前帧的候选目标粒子：
基于粒子滤波重要性采样原理获取当前帧(第t帧)的候选目标粒子，该采样方法包括预测和更新(重采样)两个阶段。在预测阶段：以t-1帧重采样后的状态变量矩阵(n0为粒子的数目，6为每个粒子状态变量的维数，包括2个位置参数和4个变形参数)为均值，定义的常数δ∈R1×6(δ＝(xt,yt,θt,st,at,φt)，xt为x方向的位移、yt为y方向的位移、θt为旋转角度、st为尺度变化、at为宽高比、φt为斜切度)为方差进行高斯随机采样得到第t帧状态变量矩阵st，公式如下：
st＝st-1+randn*diag(δ)
其中是一个随机矩阵，diag(·)是一个对角化的操作。找出st中每个粒子状态变量(即st的每一行)在当前帧图像中所对应的区域并规范化为模板大小，相应的向量化灰度图像观测组成的矩阵为X0＝[x1,x2,…，xn0]，其中xi∈Rd为第i个候选目标粒子的灰度观测向量，d为粒子灰度向量化的维数；在重采样阶段:计算的判别函数值作为筛选后的候选目标粒子所对应状态变量的权重，被滤去的候选目标所对应状态变量权重设为0，并将所有粒子权重进行归一化处理，根据归一化后权值进行重新采样得到新的状态变量矩阵st。
步骤12)，基于候选目标粒子与前面跟踪结果的余弦相似性滤去离异粒子：
基于粒子滤波采样获得的候选目标中存在离异粒子，这些离异粒子影响跟踪性能，本发明采用余弦相似性排除这些离异粒子。计算候选目标粒子与第t-50、t-40、t-30、t-20、t-1、0t-、5t-4、t-3、t-2、t-1帧目标对象的余弦相似度，滤去相似度值都小于阈值的候选目标粒子，这样在后续过程中不再需要对滤去的粒子进行处理了，减小了算法的复杂度，加快了速度，同时更好的保证了系数矩阵低秩、稀疏、列稀疏以及前后帧目标对象线性表示系数一致性。余弦相似度的计算公式如下：
其中，xi是第i个获选目标粒子的灰度观测向量，yj是第j帧目标对象跟踪结果的灰度观测向量。对于第i个候选目标粒子，如果η为常数，都成立，就滤去该候选粒子，剩下的候选目标粒子组成新的矩阵X∈Rd×n,其中n＜＜n0。
步骤13，筛选后的侯选目标粒子基于模板字典的线性表示：
经筛选后的侯选目标粒子能够被模板字典(目标模板集和背景模板集)线性表示。通过对第一帧手动标出的目标对象坐标加1或者减1产生目标模板集同时在标出的目标对象一定半径外随机采样产生背景模板集把目标模板集和背景模板集组合成模板字典其中no和nb分别为目标模板集和背景模板集中目标模板和背景模板的个数，d为粒子灰度向量化的维数。为应对目标外观的变化，防止跟踪发生漂移，模板字典必须在跟踪过程中更新。经筛选后的候选目标粒子组成的矩阵X能够被模板字典线性表示，公式表示为：X＝DZ+E，其中X为筛选后的获选目标粒子组成观测矩阵，D为模板字典，Z为线性系数矩阵，E为误差矩阵。
步骤14)，线性系数矩阵的低秩稀疏数学模型：
利用线性系数矩阵固有属性和前后帧目标对象线性表示系数一致性建立求解该系数矩阵的数学模型的特征在于，该线性系数矩阵Z具有低秩、稀疏、行稀疏属性，同时系数矩阵Z的每一列都减去前一帧目标对象的线性表示系数z0后具有列稀疏性。据此，建立如下的关于系数矩阵的数学模型：
λ1||Z||*+λ2||Z||1,2+λ3||Z||1,1+λ4||Z-Z0||2,1+λ5||E||1,1
s.t.X＝DZ+E (式1)
其中，X为筛选后的候选目标粒子组成的观测矩阵，每一列代表一个候选目标粒子；D为模板字典，包括目标模板集和背景模板集；Z为线性系数矩阵，E为误差矩阵；矩阵Z0＝z01T的每一列都是z0，||Z||*是矩阵Z核范数，其值等于Z的奇异值之和，用来约束Z的秩，||Zp,q是矩阵Z的p,q范数，公式表示如下：
其中[Z]ij为矩阵Z的第i行第j个元素，p＝1,q＝2时约束Z行稀疏，p＝2,q＝1约束Z列稀疏，p＝1,q＝1约束Z稀疏。
步骤15)，基于不精确拉格朗日乘子优化算法求解系数矩阵：
为了在保证求解系数矩阵精度的同时保证算法的收敛速度，本发明采样不精确拉格朗日乘子优化算法求解(式1)中系数矩阵。为了解(式1)中复杂的目标函数，我们引进了四个等式约束：
λ1||Z1||*+λ2||Z2||1,2+λ3||Z3||1,1+λ4||Z4||2,1+λ5||E||1,1
s.t X＝DZ+E
Z＝Z1
Z＝Z2
Z＝Z3
Z＝Z4+Z0 (式2)
利用增广拉格朗日乘子法合并(式2)中等式约束和目标函数，得到拉格朗日函数如下：
其中，Y1,Y2,Y3,Y4,Y5为拉格朗日乘数，μ为大于0的惩罚参数。(式3)能够通过一个封闭的迭代操作进行优化求出系数矩阵，算法过程如下：
输入：X,D,Z0,λ1,…5,ρ,μ,μmax,e
输出：Z,E
初始化Z，Z1,…4,E,Y1,5为0矩阵；
while(norm(X-D*Z-E,'fro')＞e)
Y1＝Y1+μ(X-DZ-E)
Y2＝Y2+μ(Z-Z1)
Y3＝Y3+μ(Z-Z2)
Y4＝Y4+μ(Z-Z3)
Y5＝Y5+μ(Z-Z4-Z0)
μ＝min(ρμ,μmax)
end
其中，X为筛选后的候选目标粒子组成的观测矩阵，每一列代表一个候选目标粒子；D为模板字典，包括目标模板集和背景模板集；Z为线性系数矩阵，E为误差矩阵；Z1，…，4为与Z等价的中间变量，Y1，…，5为拉格朗日乘数；μ为惩罚参数，ρ，μmax，e为常数参数，本发明中设定μ＝10-6，ρ＝1.1，μmax＝1010，e＝10-8；Sε(Q)、Dε(Q)、Tε(Q)、Wε(Q)是关于矩阵Q和参数ε的函数，公式如下：
Sε(Q)＝max(|Q|-ε，0)sgn(|Q|)，其中sgn(·)为符号函数
Dε(Q)＝USε(∑)VT，其中Q＝U∑VT为奇异值分解
Tε(Q)为对矩阵Q的计算，计算结果为矩阵，在结果矩阵中第i列为
ε＜||qi||2，否则为零向量，其中qi为矩阵Q的第i列；
Wε(Q)为对矩阵Q的计算，计算结果为矩阵，在结果矩阵中第i行为
ε＜||pi||2，否则为零向量，其中pi为矩阵Q的第i行。
步骤16)，根据判别函数值选出最佳的候选目标作为跟踪结果：
利用不精确拉格朗日乘子优化算法求解系数矩阵Z，候选目标粒子的表示系数zk(即系数矩阵Z的第k列)由目标模板集上的系数和背景模板集上的系数两部分组成。如果一个候选粒子在目标模板集上有较小的重构误差，在背景模板集上有较大的重构误差，就认为该候选粒子为跟踪的目标。判别函数的公式如下：
上式中，为候选目标粒子xk在目标模板集Do上的重构误差，为候选目标粒子xk在背景模板集Db上的重构误差，使判别函数最大的候选目标粒子xi作为当前帧的跟踪结果yt；为候选目标粒子xk在目标模板集Do上的线性表示系数；为候选目标粒子xk在目标模板集Db上的线性表示系数。
步骤17)，在线更新模板字典：
为应对目标外观的变化和背景变化，防止跟踪发生漂移，模板字典在跟踪过程需进行更新。模板字典的更新包括目标模板集的更新和背景模板集的更新。目标模板集的更新流程如图2所示，具体步骤如下：
a：yt是当前帧的跟踪结果(即使判别函数最大的候选目标粒子xi)；
b：是当前帧的跟踪结果yt或者xi在目标模板集上的线性表示系数；
c：w是当前权重，wk←||D0(:,k)||2；
d：τ为定义的阈值；
e：根据更新权值：
f：if(cos<yt,Do(:,m)>≤τ),这里的cos为余弦相似度函数，
g：
h：Do(:,k0)←yt；
i：即w的中值；
j：end if
k：归一化w，使得w的和为1；
l：调整w，使得max(w)＝0.3；
m：归一化Do(:,k)，使得||Do(:,k)||2←wk；
其中，Do(:,k)为矩阵Do的第k列；Do(:,m)为矩阵Do的第m列；||Do(:,k)||2为求矩阵第k列D0(:,k)的L2范式；mo为k的最大取值范围。
背景模板集的更新：背景模板集每一次要完全更新，更新过程很简单，以当前帧目标对象的中心为圆心，在大于r小于R的圆环内随机采样mb个与当前跟踪的目标一样大的图像块作为背景模板集。
本发明利用候选目标粒子与前面跟踪结果的余弦相似性滤去离异候选目标粒子，这样不仅减少了后续过程中需处理的候选目标粒子数目，降低了计算复杂度，加快了跟踪速度，而且能更好的保证模型中系数矩阵低秩、稀疏、行稀疏以及前后帧目标对象线性表示系数一致性，使得提出的线性系数矩阵低秩稀疏数学模型更加鲁棒。本发明的视频目标对象跟踪方法克服了现有方法在目标对象发生光照变化、尺度变化、遮挡、变形、运动模糊、快速运动、旋转、背景杂波、低分辨率等情况下跟踪不准确甚至漂移的缺陷。例如，图3是本方法对公路上的小汽车进行跟踪的效果图，小汽车在行进过程中发生了尺度变化、光照变化、运动模糊、快速运动等情况；图4是本方法对足球运动员的跟踪效果图，在该视频中运动员发生了尺度变化，变形、遮挡、背景杂波等情况；图5是本方法对一个女孩的跟踪效果图，在该视频中女孩发生了背景变化，旋转，遮挡等情况。由于空间限制，附图3、4、5只列出了视频中一些跟踪结果帧。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种鲁棒性的视频目标对象跟踪方法，用于对视频中标定的目标对象进行连续跟踪，其特征在于，包括以下步骤：
步骤11)，基于粒子滤波重要性采样原理，采样获取当前帧第t帧的候选目标粒子；
所述步骤11)包括预测和更新两个阶段，其中，
预测阶段包括：以第t-1帧的状态变量为均值和常数为方差进行高斯随机采样获得第t帧的状态变量；定位出状态变量在当前帧第t帧图像中所对应的区域；把所述区域映射到规范化大小的矩形模板；对所述矩形模板向量化得到候选目标粒子的灰度观测向量；
更新阶段包括：计算的判别函数值作为筛选后的候选目标粒子所对应状态变量的权重，被滤去的候选目标所对应状态变量权重设为0，并将所有粒子权重进行归一化处理，根据归一化后权值进行重新采样得到新的状态变量；
所述预测阶段具体为，以第t-1帧重采样后的状态变量矩阵为均值，定义的常数δ∈R1×6为方差进行高斯随机采样得到第t帧状态变量矩阵st，
st＝st-1+randn*diag(δ)；
其中，是一个随机矩阵，diag(δ)是一个对角化的操作；n0为粒子的数目，6为每个粒子状态变量的维数，包括2个位置参数和4个变形参数；
δ＝(xt,yt,θt,st,at,φt)，xt为x方向的位移、yt为y方向的位移、θt为旋转角度、st为尺度变化、at为宽高比、φt为斜切度；
找出st中每个粒子状态变量，即st的每一行在当前帧第t帧图像中所对应的区域并规范化为模板大小，相应的向量化灰度图像观测组成的矩阵为X0＝[x1,x2,…，xn0]，其中xi∈Rd为第i个候选目标粒子的灰度观测向量，d为粒子灰度向量化的维数；
步骤12)，基于候选目标粒子与第t-50、t-40、t-30、t-20、t-10、t-5、t-4、t-3、t-2、t-1帧目标对象跟踪结果的余弦相似性，滤去离异粒子；
步骤13)，对筛选后的侯选目标粒子进行基于模板字典的线性表示；
步骤14)，建立求解线性系数矩阵的低秩稀疏数学模型；
步骤15)，基于不精确拉格朗日乘子优化算法求解系数矩阵；
步骤16)，根据判别函数值选出最佳的候选目标作为跟踪结果；
步骤17)，在线更新模板字典。
2.如权利要求1所述的一种鲁棒性的视频目标对象跟踪方法，其特征在于：所述的步骤12)为，
计算候选目标粒子与第t-50、t-40、t-30、t-20、t-10、t-5、t-4、t-3、t-2、t-1帧目标对象的余弦相似度，滤去相似度值都小于阈值的候选目标粒子，余弦相似度的计算公式为：
其中，xi是第i个获选目标粒子的灰度观测向量，yj是第j帧目标对象跟踪结果的灰度观测向量；对于第i个候选目标粒子，若η为常数，都成立，就滤去该候选粒子，剩下的候选目标粒子组成新的矩阵X∈Rd×n,其中n<<n0。
3.如权利要求1所述的一种鲁棒性的视频目标对象跟踪方法，其特征在于：所述的步骤13)具体为，通过对第一帧手动标出的目标对象坐标加1或者减1产生目标模板集同时在标出的目标对象约定半径外随机采样产生背景模板集把目标模板集和背景模板集组合成模板字典其中，no和nb分别为目标模板集和背景模板集中目标模板和背景模板的个数，d为粒子灰度向量化的维数；为应对目标外观的变化，防止跟踪发生漂移，模板字典必须在跟踪过程中更新；经筛选后的候选目标粒子组成的矩阵X能够被模板字典线性表示，公式表示为：X＝DZ+E，其中X为筛选后的获选目标粒子组成的观测矩阵，D为模板字典，Z为线性系数矩阵，E为误差矩阵。
4.如权利要求1所述的一种鲁棒性的视频目标对象跟踪方法，其特征在于：所述的步骤14)具体为，利用线性系数矩阵固有属性和前后帧目标对象线性表示系数一致性，建立求解该系数矩阵的数学模型，该线性系数矩阵Z具有低秩、稀疏、行稀疏属性，同时系数矩阵Z的每一列都减去前一帧目标对象的线性表示系数z0后具有列稀疏性，据此建立关于系数矩阵的数学模型为：
λ1||Z||*+λ2||Z||1,2+λ3||Z||1,1+λ4||Z-Z0||2,1+λ5||E||1,1
s.t.X＝DZ+E (式1)；
其中，X为筛选后的候选目标粒子组成的观测矩阵，每一列代表一个候选目标粒子；D为模板字典，包括目标模板集和背景模板集；Z为线性系数矩阵，E为误差矩阵；矩阵Z0＝z01T的每一列都是z0，z0为前一帧目标对象跟踪结果的线性表示系数；||Z||*是矩阵Z核范数，其值等于Z的奇异值之和，用来约束Z的秩，||Z||p,q是矩阵Z的p,q范数，
其中[Z]ij为矩阵Z的第i行第j个元素，p＝1,q＝2时约束Z行稀疏，p＝2,q＝1约束Z列稀疏，p＝1,q＝1约束Z稀疏。
5.如权利要求4所述的一种鲁棒性的视频目标对象跟踪方法，其特征在于：所述的步骤15)具体为，
采样不精确拉格朗日乘子优化算法求解(式1)中系数矩阵，引进了四个等式约束：
利用增广拉格朗日乘子法合并(式2)中等式约束和目标函数，得到拉格朗日函数：
其中，Y1,Y2,Y3,Y4,Y5为拉格朗日乘数，μ为大于0的惩罚参数，(式3)通过一个封闭的迭代操作进行优化求出系数矩阵，算法过程为：
在每一轮的封闭迭代中，首先计算误差矩阵X-D*Z-E的Frobenius范数norm(X-D*Z-E,'fro')，如果该范数值大于大于设定值e，那么继续迭代，也即先固定Y1,Y2,Y3,Y4,Y5的值，然后通过对进行奇异值分解限制得到Z1的估计值，也即通过对进行行稀疏限制得到Z2的估计值，也即通过对进行阈值限制得到Z3的估计值，也即通过对进行列稀疏限制得到Z4的估计值，也即通过对进行阈值限制得到E的估计值，也即通过矩阵运算可以得到Z的估计值，也即利用这些估计值又可以得到Y1、Y2、Y3、Y4、Y5的估计值，也即Y1＝Y1+μ(X-DZ-E)，Y2＝Y2+μ(Z-Z1)，Y3＝Y3+μ(Z-Z2)，Y4＝Y4+μ(Z-Z3)，Y5＝Y5+μ(Z-Z4-Z0)，最后更新μ的值，也即μ＝min(ρμ，μmax)此时一轮迭代结束，回到算法开始检查误差，判断是否要开始包含同样过程的新一轮迭代；
其中，X为筛选后的候选目标粒子组成的观测矩阵，每一列代表一个候选目标粒子；D为模板字典，包括目标模板集和背景模板集；Z为线性系数矩阵，E为误差矩阵；Z1，...，4为与Z等价的中间变量，Y1、Y2、Y3、Y4、Y5为拉格朗日乘数，这些矩阵都初始化为O矩阵；μ为惩罚参数，ρ，μmax，e为常数参数，设定μ＝10-6，ρ＝1.1，μmax＝1010，e＝10-8；Sε(Q)、Dε(Q)、Tε(Q)、Wε(Q)是关于矩阵Q和参数ε的函数，公式为：
Sε(Q)＝max(|Q|-ε，0)sgn(|Q|)，其中sgn(·)为符号函数
Dε(Q)＝USε(∑)VT，其中Q＝U∑VT为奇异值分解
Tε(Q)为对矩阵Q的计算，计算结果为矩阵，在结果矩阵中第i列为ε＜||qi||2，否则为零向量，其中qi为矩阵Q的第i列；
Wε(Q)为对矩阵Q的计算，计算结果为矩阵，在结果矩阵中第i行为ε＜||pi||2，否则为零向量，其中pi为矩阵Q的第i行。
6.如权利要求1所述的一种鲁棒性的视频目标对象跟踪方法，其特征在于：所述的步骤16)中，包括：
计算候选目标粒子在目标模板集上的重构误差；
计算候选目标粒子在背景模板集上的重构误差；
计算判别函数的值；
根据判别函数值确定当前帧的跟踪结果；其中，判别函数的公式为
上式中，为候选目标粒子xk在目标模板集Do上的重构误差，为候选目标粒子xk在背景模板集Db上的重构误差，使判别函数最大的候选目标粒子xi作为当前帧的跟踪结果yt；为候选目标粒子xk在目标模板集Do上的线性表示系数；为候选目标粒子xk在背景模板集Db上的线性表示系数。
7.如权利要求6所述的一种鲁棒性的视频目标对象跟踪方法，其特征在于：所述的步骤17)具体为，模板字典的更新包括目标模板集的更新和背景模板集的更新；其中，目标模板集的更新具体步骤如下：
a：yt是当前帧的跟踪结果，即使判别函数最大的候选目标粒子xi；
b：是当前帧的跟踪结果yt或者xi在目标模板集上的线性表示系数；
c：w是当前权重，wk←||D0(:,k)||2；
d：τ为定义的阈值；
e：根据更新权值：
f：if(cos<yt,Do(:,m)>≤τ),这里的cos为余弦相似度函数，
g：
h：Do(:,k0)←yt；
i：即w的中值；
j：end if
k：归一化w，使得w的和为1；
l：调整w，使得max(w)＝0.3；
m：归一化Do(:,k)，使得||Do(:,k)||2←wk；
其中，Do(:,k)表示目标模板集Do的第k列；Do(:,m)表示目标模板集Do的第m列；||Do(:,k)||2表示表示目标模板集Do的第k列的L2范数；mo为k的最大取值范围。
8.如权利要求7所述的一种鲁棒性的视频目标对象跟踪方法，其特征在于：所述的背景模板集的更新为：以当前帧目标对象的中心为圆心，在大于r小于R的圆环内随机采样mb个与当前跟踪的目标一样大的图像块作为背景模板集。
CN201510270455.XA 2015-05-25 2015-05-25 一种鲁棒性的视频目标对象跟踪方法 Active CN105046717B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510270455.XA CN105046717B (zh) 2015-05-25 2015-05-25 一种鲁棒性的视频目标对象跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510270455.XA CN105046717B (zh) 2015-05-25 2015-05-25 一种鲁棒性的视频目标对象跟踪方法

Publications (2)

Publication Number Publication Date
CN105046717A CN105046717A (zh) 2015-11-11
CN105046717B true CN105046717B (zh) 2019-03-19

Family

ID=54453234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510270455.XA Active CN105046717B (zh) 2015-05-25 2015-05-25 一种鲁棒性的视频目标对象跟踪方法

Country Status (1)

Country Link
CN (1) CN105046717B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513093B (zh) * 2015-12-10 2018-02-16 电子科技大学 一种基于低秩矩阵表示的目标跟踪方法
CN105654069B (zh) * 2016-02-03 2019-05-10 江南大学 基于Lp范数正则化的增量子空间目标跟踪方法
CN106022238B (zh) * 2016-05-12 2019-05-28 清华大学 基于滑窗优化的多目标跟踪方法
CN106296740B (zh) * 2016-08-11 2019-05-14 电子科技大学 一种基于低秩稀疏表达的目标精细轮廓跟踪方法
CN106503647A (zh) * 2016-10-21 2017-03-15 南京理工大学 基于低秩逼近结构化稀疏表示的异常事件检测方法
CN106503652A (zh) * 2016-10-21 2017-03-15 南京理工大学 基于低秩自适应稀疏重建的异常事件检测方法
CN106530330B (zh) * 2016-12-08 2017-07-25 中国人民解放军国防科学技术大学 基于低秩稀疏的视频目标跟踪方法
CN106897735A (zh) * 2017-01-19 2017-06-27 博康智能信息技术有限公司上海分公司 一种快速移动目标的跟踪方法及装置
CN108470354B (zh) * 2018-03-23 2021-04-27 云南大学 视频目标跟踪方法、装置和实现装置
CN108492328B (zh) * 2018-03-23 2021-02-26 云南大学 视频帧间目标匹配方法、装置和实现装置
CN110189356B (zh) * 2019-04-24 2023-05-12 沈阳大学 一种反向低秩稀疏约束下的融合Lasso目标跟踪方法
CN110232705B (zh) * 2019-05-17 2023-05-12 沈阳大学 一种融合分数阶变分调整的反向低秩稀疏学习目标跟踪方法
CN112116627A (zh) * 2020-08-31 2020-12-22 南京理工大学 一种基于近似主成分分析的红外目标跟踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440645A (zh) * 2013-08-16 2013-12-11 东南大学 一种基于自适应粒子滤波和稀疏表示的目标跟踪算法
CN104361609A (zh) * 2014-11-18 2015-02-18 电子科技大学 一种基于稀疏表示的目标跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102026651B1 (ko) * 2012-04-25 2019-09-30 삼성전자주식회사 입자 필터 프레임 워크를 이용한 강건한 객체 추적 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440645A (zh) * 2013-08-16 2013-12-11 东南大学 一种基于自适应粒子滤波和稀疏表示的目标跟踪算法
CN104361609A (zh) * 2014-11-18 2015-02-18 电子科技大学 一种基于稀疏表示的目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于复合约束的视频目标跟踪算法;王梦 等;《计算机仿真》;20140831;第31卷(第8期);第364-367,426页
融合背景信息的分块稀疏表示跟踪算法;侯跃恩 等;《华南理工大学学报》;20130831;第41卷(第8期);第21-27页

Also Published As

Publication number Publication date
CN105046717A (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
CN105046717B (zh) 一种鲁棒性的视频目标对象跟踪方法
CN105138998B (zh) 基于视角自适应子空间学习算法的行人重识别方法及系统
Wan et al. Total variation regularization term-based low-rank and sparse matrix representation model for infrared moving target tracking
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
CN103942575A (zh) 基于场景和马尔科夫逻辑网的智能行为分析系统及方法
CN108830170B (zh) 一种基于分层特征表示的端到端目标跟踪方法
CN107844739B (zh) 基于自适应同时稀疏表示的鲁棒性目标追踪方法
Hu et al. Loop closure detection for visual SLAM fusing semantic information
Yang et al. Overfitting reduction of pose estimation for deep learning visual odometry
Zhang et al. A new visual inertial simultaneous localization and mapping (SLAM) algorithm based on point and line features
Coquelin et al. Towards the use of deep generative models for the characterization in size of aggregated TiO2 nanoparticles measured by Scanning Electron Microscopy (SEM)
CN103955951A (zh) 基于正则化模板与重建误差分解的快速目标跟踪方法
Khoi et al. Object detection for drones on Raspberry Pi potentials and challenges
Tian et al. Robust extraction of 3D line segment features from unorganized building point clouds
Brotchie et al. RIOT: Recursive inertial odometry transformer for localisation from low-cost IMU measurements
CN108469729B (zh) 一种基于rgb-d信息的人体目标识别与跟随方法
Tian et al. Multi-sensor fusion based estimation of tire-road peak adhesion coefficient considering model uncertainty
Tang et al. A small object detection algorithm based on improved faster RCNN
Qin et al. Structure-aware feature disentanglement with knowledge transfer for appearance-changing place recognition
Ozaki et al. DNN-based self-attitude estimation by learning landscape information
Liu et al. YKP-SLAM: A Visual SLAM Based on Static Probability Update Strategy for Dynamic Environments
Qiu et al. A moving vehicle tracking algorithm based on deep learning
Li et al. Robust stereo inertial odometry based on self-supervised feature points
Nozarian et al. Uncertainty quantification and calibration of imitation learning policy in autonomous driving
Wu et al. Real-time compressive tracking with motion estimation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20151111

Assignee: Zhejiang Fengshou e-commerce Co.,Ltd.

Assignor: ZHEJIANG NORMAL University

Contract record no.: X2022980008019

Denomination of invention: A robust video object tracking method

Granted publication date: 20190319

License type: Common License

Record date: 20220623

EE01 Entry into force of recordation of patent licensing contract