CN103077537A - 基于l1正则化的实时运动目标跟踪的新方法 - Google Patents

Abstract

本发明公开了一种基于L1正则化的实时运动目标跟踪的新方法，包括以下步骤：输入第一帧图像并确定跟踪的目标；初始化跟踪姿态；初始化模板集；进行粒子滤波的粒子初始化；获取下一帧图像，转下一步进行跟踪，直到最后一帧；对图像进行预处理；计算粒子与模板的相似度；将最大观测概率的粒子并进行重采样；遮挡检测；模板更新。通过将琐碎模板的系数的二范数项添加到L1最小化模型中，建立新的最小化模型，在模板更新前使用遮挡检测方法检测目标是否存在遮挡，从而改进目标跟踪的精度；利用导数有界和可解析表示求解新的最小化模型，从而使得新的算法能适用于实时运动目标跟踪。本发明可在保证目标跟踪准确度的同时，使算法满足实际应用的性能要求。

Description

基于L1正则化的实时运动目标跟踪的新方法

技术领域

本发明属于智能视频监控技术领域，具体涉及一种基于L1正则化的实时运动目标跟踪的新方法。

背景技术

目前，视频监控技术的应用非常广泛，视频运动目标跟踪技术也随之成为研究的热门课题之一，它融合了计算机图像处理、模式识别、人工智能及自动控制等诸多相关领域的知识与技术。视频目标跟踪的研究目的是模拟人类视觉运动感知功能，赋予机器辨识序列图像中运动目标的能力，为视频分析和理解提供重要的数据依据。

近年来，由于稀疏表示对图像腐蚀，尤其是遮挡具有很高的鲁棒性，因此为未知线性系统求得稀疏解的稀疏表示和压缩传感技术已经引起机器视觉领域的广泛关注。2009年J.Wright等发表在《IEEE Transaction On Pattern Analysis And Machine Intelligence》上的论文“Robust face recognition via sparse representation”，最先将稀疏表示用于人脸识别。2011年，X.Mei和H.Ling发表在《IEEE Transaction On Pattern Analysis And Machine Intelligence》上的论文“Robust Visual Tracking and Vehicle Classification via Sparse Representation”，将稀疏表示运用到目标跟踪与汽车分类上，该方法首先在模板空间下将目标由模板（候选模板与琐碎模板）的线性组合表示，例如目标可以很好地由仅仅几个模板的线性组合近似表示，然后用L1正则化模型表示模板的线性组合，最后使用内点法求解模板的系数，从而得到跟踪结果。由于使用L1正则化能使得稀疏信号有稳定的复原能力，因此该方法在不同的跟踪环境下鲁棒性高。但是基于预处理共轭梯度的内点法求解L1正则化方法计算复杂度高，使得跟踪速度慢，不能满足实时性的要求，并且不能检测目标是否被遮挡。

发明内容

为了克服现有基于预处理共轭梯度的内点法求解L1正则化方法中存在的不足：因计算复杂度高，使跟踪速度慢而不能满足实时性要求，并且不能检测目标是否被遮挡，本发明提供了一种基于L1正则化的实时运动目标跟踪的新方法。

本发明的技术方案是：通过将琐碎模板的系数的二范数项添加到L1正则化模型当中，建立新的正则化模型，在模板更新前使用遮挡检测方法检测目标是否存在遮挡，从而改进目标跟踪的精度，然后利用导数有界（Lipschitz特性）和可解析表示迭代求解L1正则化方法，从而使得新的算法能适用于实时运动目标跟踪。

一种基于L1正则化的实时运动目标跟踪方法，其特征在于包括以下步骤：

步骤1，输入第一帧图像，把它转化为灰度图像，从第一帧图像确定跟踪的目标。

步骤2，初始化跟踪姿态（确定跟踪目标）和粒子，方法如下：

在跟踪的目标上取三个点，形成四边形的跟踪框，然后将这三个点进行仿射变换，形成目标初始姿态的仿射六参数的矩阵，并将初始姿态规定为参考模板。根据参考模板仿射参数构造一个扰动，并作为零均值正态分布的方差；参考模板仿射参数加上这个正态分布的噪声形成NS个仿射参数矩阵作为粒子。

步骤3，初始化模板集，方法如下：

参考模板加上随机扰动形成N个候选模板，然后将这些模板与M个琐碎模板组成模板矩阵（例如候选模板矩阵为A，琐碎模板矩阵为B，则模板矩阵为AB）。其中琐碎模板个数M为目标矩形框像素点个数，琐碎模板为M×M的单位矩阵。

步骤4，获取下一帧图像，如果不是最后一帧图像，转步骤6进行跟踪；否则，跟踪结束。

步骤5，图像进行预处理，将原始图像转换成灰度图像。

步骤6，根据参考模板仿射参数构造一个扰动，并作为零均值正态分布的方差；NS个粒子仿射参数加上这个正态分布的噪声形成新的仿射参数作为新的粒子。

步骤7，一阶段采样，方法如下：

首先，按下式计算观测概率的上界：

$q\left(z_t\right|x_t^i)=\frac{1}{\mathrm{\Γ}}\exp \{-a{\left|\right|T_t\widehat{\mathrm{\α}}-y_t^i\left|\right|}_2^2\}$

其中，为t时刻粒子状态为x_t时观测值为z_t的概率，T_t表示候选与参考模板组成的模板矩阵，y表示粒子的仿射矩阵从当前帧获取的跟踪目标，

为最大观测概率粒子的相应模板系数，a是常数，Γ为概率归一化参数。

然后，将所得的观测概率进行排序。

步骤8，二阶段采样，利用函数的导数有界和可解析求解的迭代求解的L1正则化的最小二乘逼近误差得到模板的系数，然后根据粒子的重构误差计算粒子精确的观测概率，并且找出观测概率最大的粒子。

步骤9，重采样，方法如下：

首先将粒子的观测概率进行归一化，然后用粒子数NS乘归一化后的粒子的观测概率，从而概率较大的粒子衍生出相对较多的后代粒子，而概率较小的粒子衍生出较少的后代粒子。

步骤10，如果观测概率最大的粒子与系数最大的候选模板的余弦相似度大于事先定义的阈值，则进行遮挡检测。遮挡检测的方法如下：将琐碎系数组成二维矩阵，当琐碎系数大于设定阈值，则认为该像素点所在区域可能被遮挡，并标记该像素点。当被标记的连通区域大于设定阈值，则目标是被遮挡，并不更新候选模板集。

步骤11，模板更新：根据概率最大的粒子的模板系数，将其系数最小的候选模板，用其仿射形成的目标模板替换，然后插入到模板矩阵中。

步骤8所述的粒子的观测概率的计算，采用基于L1正则化的实时运动目标跟踪新方法，具体方法如下：

原始L1模型为：

$\underset{\mathrm{\α}}{\arg \min }\frac{1}{2}{\left|\right|y-\mathrm{A\α}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{\α}\left|\right|}_1$

约束条件：α_T≥0

其中，y是粒子，A是模板集，包括候选模板A_T与琐碎模板A_I，α是模板系数，包括候选模板系数α_T和琐碎模板系数α_I，λ是正则化参数，

表示f(α)取最小值时α的取值。

由于琐碎系数能判断像素是否被遮挡，对模型引入琐碎系数的二范数项，使模型处理目标被遮挡的情况，得到改进模型为：

$\underset{\mathrm{\α}}{\arg \min }\frac{1}{2}{\left|\right|y-\mathrm{A\α}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{\α}\left|\right|}_1+\frac{{\mathrm{\μ}}_t}{2}{\left|\right|{\mathrm{\α}}_I\left|\right|}_2^2$

约束条件：α_T≥0

其中，μ_t为控制琐碎模板的参数，由遮挡检测方法自动调整得到。

加速迭代优化L1模型的方法如下：

①将改进的L1正则化模型变换成无约束模型；

由于迭代优化用于求解无约束模型，因此，需先将改进的L1正则化模型转化为无约束的模型。则改进的正则化模型为：

其中，表示所有元素均为1的向量，

表示指示函数，其表达式为：

令 $F\left(\mathrm{\α}\right)=\frac{1}{2}{\left|\right|y-A^{\′}\mathrm{\α}\left|\right|}_2^2+\mathrm{\λ}{1}_T^T{\mathrm{\α}}_T+\frac{{\mathrm{\μ}}_t}{2}{\left|\right|a_I\left|\right|}_2^2,$

利用F(α)函数的导数有界，以及G(α)的可解析求解，求解下述最优化问题：

${\mathrm{\α}}_{k+1}=\underset{\mathrm{\α}}{\arg \min }\frac{L}{2}{\left|\right|\mathrm{\α}-{\mathrm{\β}}_{k+1}+\frac{\▿F\left({\mathrm{\β}}_{k+1}\right)}{L}\left|\right|}_2^2+G\left(\mathrm{\α}\right)$

其中，

表示求梯度，L是F(α)的上界， ${\mathrm{\β}}_{k+1}={\mathrm{\α}}_k+\frac{t_{k-1}-1}{t_k}({\mathrm{\α}}_k-{\mathrm{\α}}_{k-1}),$ $t_{k+1}=\frac{1+\sqrt{1+4t_k^2}}{2},$ k∈[0,∞]，t_k+1为辅助变量(t₀=t_-1=0)。

直到收敛，得到模板系数，从而计算粒子的观测概率。

②计算粒子的观测概率：

$p\left(z_t\right|x_t)=\frac{1}{\mathrm{\Γ}}\exp \{-a{\left|\right|y_t-T_t{\widehat{\mathrm{\α}}}_T\left|\right|}_2^2\}$

其中，

为最大观测概率粒子的相应候选模板系数。

本发明的有益效果是：采用遮挡检测的方法自动控制了琐碎系数的项，提高了跟踪的精度；可快速求解改进的L1正则化模型，从而使新的算法能适用于实时运动目标跟踪。

附图说明

图1为本发明所涉及的方法流程图；

图2为基于L1正则化的实时运动目标跟踪新方法和基于L1正则化的鲁棒视觉跟踪方法(L1Tracker)的每帧所耗时间的比较示意图；

图3为基于L1正则化的实时运动目标跟踪新方法和基于L1正则化的鲁棒视觉跟踪方法(L1Tracker)的跟踪误差的比较示意图。

具体实施方式

本发明利用琐碎模板的系数的二范数项添加到L1正则化模型当中，建立新的正则化模型，在模板更新前使用遮挡检测方法检测目标是否存在遮挡，从而改进目标跟踪的精度，然后利用导数有界（Lipschitz特性）和可解析表示迭代求解L1正则化方法，从而使得新的算法能适用于实时运动目标跟踪。

如图1所示，基于L1正则化的实时运动目标跟踪的新方法包括以下步骤：

步骤1，输入第一帧图像，把它转化为灰度图像，从第一帧图像确定跟踪的目标。

步骤2，初始化跟踪姿态（确定跟踪目标）和粒子，方法如下：

在跟踪的目标上取三个点，形成四边形的跟踪框，然后将这三个点进行放射变换，形成目标初始姿态的仿射六参数的矩阵，并将初始姿态规定为参考模板。根据参考模板仿射参数构造一个扰动，并作为零均值正态分布的方差；参考模板仿射参数加上这个正态分布的噪声形成NS个仿射参数矩阵作为粒子。

步骤3，参考模板加上随机扰动形成10个候选模板，然后将这些模板与180个琐碎模板组成模板矩阵（例如候选模板矩阵为A，琐碎模板矩阵为B，则模板矩阵为AB）。其中琐碎模板个数180为目标矩形框像素点个数，琐碎模板为180×180的单位矩阵。

步骤4，获取下一帧图像，如果不是最后一帧图像，转步骤6进行跟踪；否则，跟踪结束。

步骤5，图像进行预处理，将原始图像转换成灰度图像。

步骤6，根据参考模板仿射参数构造一个扰动，并作为零均值正态分布的方差；NS个粒子仿射参数加上这个正态分布的噪声形成新的仿射参数作为新的粒子。

步骤7，一阶段采样：计算观测概率的上界，并将所得的观测概率进行排序。

步骤8，二阶段采样：利用函数的导数有界和可解析求解的迭代求解的L1正则化的最小二乘逼近误差得到模板的系数，然后根据粒子的重构误差计算粒子精确的观测概率，并且找出观测概率最大的粒子。

步骤9，重采样：首先将粒子的观测概率进行归一化，然后用粒子数NS乘归一化后的粒子的观测概率，从而概率较大的粒子衍生出相对较多的后代粒子，而概率较小的粒子衍生出较少的后代粒子。

步骤10，遮挡检测，方法如下：

首先，利用将概率最大的粒子的180×1琐碎系数转换为12×15大小的矩阵，通过设定阈值将琐碎系数矩阵变换为二值图像，然后将二值图像进行形态学的闭操作，并且从二值图像中找到连通的区域。最后，统计连通区域的大小，若超过阈值如系数图像的30%，则判定为遮挡。出现遮挡之后连续5帧不更新模板集。这时，μ_t=0；否则，将μ_t设为初始值10。

步骤11，模板更新：根据概率最大的粒子的模板系数，将其系数最小的候选模板，用其仿射形成的目标模板替换，然后插入到模板矩阵中。

下面给出一个应用本发明的实验实例。

实验条件如下：计算机配置为AMD Athlon(tm)Dual Core P320，2.69GHz，4GB内存，操作系统为Microsoft Windows XP，实验平台为MATLAB2011b。实验输入数据为人头视频序列（279帧，320×240）。

本实例中，初始设置粒子数位100，角度阈值为30，模板的大小为12×15，候选模板的个数为10，本发明采用每帧所耗的时间衡量跟踪的速度，分别比较两种跟踪方法的跟踪速度，结果如表1所示。

从表1可见，总体上而言，L1Tracker每帧所耗时间是本发明所述方法的18倍左右，因此本发明提出的方法大大提高了跟踪速度，有利于进行实时的目标跟踪。

为了进一步直观的比较两种方法的跟踪速度，把表1中的所耗时间与图像帧数的关系绘制成曲线，如图2所示。由图2可以看出本发明提出的方法的跟踪速度提高了18倍左右。

表1两种不同跟踪方法每帧所耗时间的对比（单位：秒）

同时本发明采用重构误差

衡量粒子与模板之间的误差，即跟踪误差，其中y是权重最大的粒子，T是模板集，α是模板系数。分别计算比较两种跟踪方法的跟踪误差，结果如表2所示。

表2两种不同跟踪方法跟踪误差的对比

从表2可以看出，在前面若干帧中，总体上而言，本发明的方法和L1Tracker的跟踪误差相差35%左右，在经过第77帧时，由于跟踪的目标被遮挡时，本发明的方法与L1Tracker的跟踪误差变大，但是经过第79帧时，本发明的方法的跟踪误差大大降低，而L1Tracker的跟踪误差仍很大，且比本发明的方法的跟踪误差大1倍多；经过第248帧时，目标再次被遮挡时，本发明的方法的跟踪误差仍为L1Tracker的二分之一。因此，基于改进L1正则化的运动目标跟踪方法改进了跟踪的精度。

同样为了进一步直观的比较两种方法的跟踪结果，把表2中的跟踪误差与图像帧数的关系绘制成曲线，如图3所示。从图3可以看出，在保证跟踪速度的同时，本发明的方法使跟踪误差降低，提高了跟踪精度。

实验证明，本发明可有效减少计算复杂度，使算法在保证跟踪精度的同时，最大限度的满足实时性的要求。

Claims (1)

1.一种基于L1正则化的实时运动目标跟踪的新方法，其特征在于包括以下步骤：

步骤1，输入第一帧图像，把它转化为灰度图像，从第一帧图像确定跟踪的目标；

步骤2，初始化跟踪目标的跟踪姿态和粒子，方法如下：

在跟踪的目标上取三个点，形成四边形的跟踪框，然后将这三个点进行仿射变换，形成目标初始姿态的仿射六参数的矩阵，并将初始姿态规定为参考模板；根据参考模板仿射参数构造一个扰动，并作为零均值正态分布的方差；参考模板仿射参数加上这个正态分布的噪声形成NS个仿射参数矩阵作为粒子；

步骤3，初始化模板集，方法如下：

参考模板加上随机扰动形成N个候选模板，然后将这些模板与M个琐碎模板组成模板矩阵（例如候选模板矩阵为A，琐碎模板矩阵为B，则模板矩阵为AB）；其中琐碎模板个数M为目标矩形框像素点个数，琐碎模板为M×M的单位矩阵；

步骤4，获取下一帧图像，如果不是最后一帧图像，转步骤6进行跟踪；否则，跟踪结束；

步骤5，图像进行预处理，将原始图像转换成灰度图像；

步骤6，根据参考模板仿射参数构造一个扰动，并作为零均值正态分布的方差；NS个粒子仿射参数加上这个正态分布的噪声形成新的仿射参数作为新的粒子；

步骤7，一阶段采样，方法如下：

首先，按下式计算观测概率的上界：

$q\left(z_t\right|x_t^i)=\frac{1}{\mathrm{\Γ}}\exp \{-a{\left|\right|T_t\widehat{\mathrm{\α}}-y_t^i\left|\right|}_2^2\}$

其中，

为t时刻粒子状态为x_t时观测值为z_t的概率，T_t表示候选与参考模板组成的模板矩阵，y表示粒子的仿射矩阵从当前帧获取的跟踪目标，为最大观测概率粒子的相应模板系数，a是常数，Γ为概率归一化参数；

然后，将所得的观测概率进行排序；

步骤8，二阶段采样：利用函数的导数有界和可解析求解的迭代求解的L1正则化的最小二乘逼近误差得到模板的系数，然后根据粒子的重构误差计算粒子精确的观测概率，并且找出观测概率最大的粒子，具体方法如下：

原始L1模型为：

$\underset{\mathrm{\α}}{\arg \min }\frac{1}{2}{\left|\right|y-\mathrm{A\α}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{\α}\left|\right|}_1$

约束条件：α_T≥0

其中，y是粒子，A是模板集，包括候选模板A_T与琐碎模板A_I，α是模板系数，包括候选模板系数α_T和琐碎模板系数α_I，λ是正则化参数，

表示f(α)取最小值时α的取值；

由于琐碎系数能判断像素是否被遮挡，对模型引入琐碎系数的二范数项，使模型处理目标被遮挡的情况，得到改进模型为：

$\underset{\mathrm{\α}}{\arg \min }\frac{1}{2}{\left|\right|y-\mathrm{A\α}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{\α}\left|\right|}_1+\frac{{\mathrm{\μ}}_t}{2}{\left|\right|{\mathrm{\α}}_I\left|\right|}_2^2$

约束条件：α_T≥0

其中，μ_t为控制琐碎模板的参数，由遮挡检测方法自动调整得到；

加速迭代优化L1模型的方法如下：

①将改进的L1正则化模型变换成无约束模型；

迭代优化用于求解无约束模型，先将改进的L1正则化模型转化为无约束的模型，则改进的正则化模型为：

其中，

表示所有元素均为1的向量，

表示指示函数，其表达式为：

令 $F\left(\mathrm{\α}\right)=\frac{1}{2}{\left|\right|y-A^{\′}\mathrm{\α}\left|\right|}_2^2+\mathrm{\λ}{1}_T^T{\mathrm{\α}}_T+\frac{{\mathrm{\μ}}_t}{2}{\left|\right|a_I\left|\right|}_2^2,$

利用F(α)函数的导数有界，以及G(α)的可解析求解，求解下述最优化问题：

${\mathrm{\α}}_{k+1}=\underset{\mathrm{\α}}{\arg \min }{\frac{L}{2}\left|\right|\mathrm{\α}-{\mathrm{\β}}_{k+1}+\frac{\▿F\left({\mathrm{\β}}_{k+1}\right)}{L}\left|\right|}_2^2+G\left(\mathrm{\α}\right)$

其中，

表示求梯度，L是F(α)的上界， ${\mathrm{\β}}_{k+1}={\mathrm{\α}}_k+\frac{t_{k-1}-1}{t_k}({\mathrm{\α}}_k-{\mathrm{\α}}_{k-1}),$ $t_{k+1}=\frac{1+\sqrt{1+4t_k^2}}{2},$ k∈[0,∞]，t_k+1为辅助变量(t₀=t_-1=0)；

直到收敛，得到模板系数，从而计算粒子的观测概率；

②计算粒子的观测概率：

$p\left(z_t\right|x_t)=\frac{1}{\mathrm{\Γ}}\exp \{-a{\left|\right|y_t-T_t{\widehat{\mathrm{\α}}}_T\left|\right|}_2^2\}$

其中，

为最大观测概率粒子的相应候选模板系数；

步骤9，重采样，方法如下：

首先将粒子的观测概率进行归一化，然后用粒子数NS乘归一化后的粒子的观测概率，从而概率较大的粒子衍生出相对较多的后代粒子，而概率较小的粒子衍生出较少的后代粒子；

步骤10，如果观测概率最大的粒子与系数最大的候选模板的余弦相似度大于事先定义的阈值，则进行遮挡检测；遮挡检测的方法如下：将琐碎系数组成二维矩阵，当琐碎系数大于设定阈值，则认为该像素点所在区域可能被遮挡，并标记该像素点；当被标记的连通区域大于设定阈值，则目标是被遮挡，并不更新候选模板集；

步骤11，模板更新：根据概率最大的粒子的模板系数，将其系数最小的候选模板，用其仿射形成的目标模板替换，然后插入到模板矩阵中。

Images