CN103544483A - 一种基于局部稀疏表示的联合目标追踪方法及其系统 - Google Patents

Abstract

本发明涉及一种基于局部稀疏表示的联合目标追踪方法及其系统，与现有技术相比解决了视频追踪技术在遇到目标图像遮挡、外观特征变化而无法追踪成功的缺陷。本发明包括以下步骤：初始化目标外观特征模板；追踪目标图像；更新联合目标追踪模板；检查视频是否读取完毕。本发明提高了复杂场景中的目标追踪的精度与效率，提升了目标追踪技术在各类场景中的应用程度。通过在对比过程中分类器模型，对追踪技术采用自学习技术，从而达到目标图像在遇到遮挡时也可以做到准确追踪。

Description

一种基于局部稀疏表示的联合目标追踪方法及其系统

技术领域

本发明涉及智能视频技术领域，具体来说是一种基于局部稀疏表示的联合目标追踪方法及其系统。

背景技术

视频中的目标追踪是计算机视觉领域中一个重要的研究的方向，并且在许多实际的应用中，如视频监控、视频场景的理解、交互视频处理等，都起着至关重要的作用。现阶段研究人员已经提出了不同的追踪算法，并在不同的应用场景下，取得了一定的成功。但是由于所追踪目标在经历过较长视频序列时，遮挡、目标外观的形状、环境的光照等都会发生变化，而导致目标跟踪无法顺利完成。同时目标图像在经过长视频序列后，外观特征发生大的变化后追踪失败，主要原因在于没有一个通用的目标图像外观表示模型。如何设计出一种当目标图像出现遮挡、外观特征变化等情况后仍然可以跟踪成功的方法及其系统已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中视频追踪技术在遇到目标图像遮挡、外观特征变化而无法追踪成功的缺陷，提供一种基于局部稀疏表示的联合目标追踪方法及其系统来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于局部稀疏表示的联合目标追踪方法,包括以下步骤：

初始化目标外观特征模板，通过视频第一帧图像对视频目标位置初始化，构造由稀疏编码直方图得到的特征模板，构造由局部稀疏系数得到的分类器模型，由特征模板和分类器模型组成联合目标追踪模板；

追踪目标图像，通过读取视频下一帧图像，构造候选图像稀疏编码直方图，构造候选图像分类器值，由候选图像稀疏编码直方图和候选图像分类器值组成的候选联合目标追踪模型，并与联合目标追踪模板之间进行相似度比较，最大相似度的为视频目标在下一帧的位置；

更新联合目标追踪模板，将上一步中相似度最大的候选联合目标追踪模型更新为联合目标追踪模板，以供下一帧图像的候选联合目标追踪模型进行相似度比较；

检查视频是否读取完毕，若读取完毕，则完成联合目标追踪，若未读取完毕，则继续进行追踪目标图像的操作。

所述的初始化目标特征模板包括以下步骤：

初始化视频第一帧目标图像位置，寻找到视频第一帧图像中目标图像的位置；

依据视频第一帧目标图像进行多尺度块处理，构建目标图像数据字典；

通过所构建的目标图像数据字典计算目标图像在多尺度下的稀疏系数，并通过稀疏系数计算出稀疏编码直方图，将稀疏编码直方图作为特征模板；

在第一帧目标图像位置周围，选定一定数量的正负目标图像样本，通过计算得到相应的稀疏系数，并经过支持向量机训练出分类器模型，并将特征模板和分类器模型作为联合目标追踪模板。

所述的追踪目标图像包括以下步骤：

读取视频下一帧图像，通过粒子滤波方式在下一帧视频图像中选择一定数量的候选目标位置；

依次对候选目标图像进行多尺度块处理，构建图像数据字典，通过所构建的图像数据字典计算图像在多尺度下的稀疏系数，并通过稀疏系数计算出稀疏编码直方图；

在下一帧图像位置周围，选定一定数量的正负目标图像样本，通过计算得到相应的稀疏系数，并通过支持向量机训练出分类器值；

计算候选目标图像的稀疏编码直方图与第一帧特征模板之间的相似度，计算目标图像稀疏系数的分类器值与第一帧图像分类器模型的相似度，最大相似度的候选目标图像为视频目标在下一帧的位置。

所述的更新联合目标追踪模板包括以下步骤：

更新特征模板的公式如下：

H_new=ωH_first+(1-ω)H_temp

这里ω为更新权值，设定为0.8。H_new表示新的特征模板；

更新分类器模型的方法为通过在目标图像周围采集正样本数 $X^r=\left\{x\right|r>\left|\right|l\left(x\right)-l_1^{*}\left|\right|\}$ 以及负样本图像数据 $X^{r,\mathrm{\&beta;}}=\left\{x\right|r<\left|\right|l\left(x\right)-l_1^{*}\left|\right|<\mathrm{\&beta;}\},$ 计算相应的稀疏系数，将其作为新的样本训练数据集{(A₁,y₁),...,(A_n,y_n)}更新分类器模型。

所述的构建图像数据字典包括以下步骤：

给定视频中所需构建帧的图像I以及对应的目标图像；

通过在目标图像区域内取K个图像局部块，获得集合D={d_i|i=1:K}，这里d_i为第i个局部目标图像块，目标图像数据字典为D。

所述的计算稀疏编码直方图包括以下步骤：

计算稀疏系数，设P={p_i|i=1:K}为目标图像在不同尺度下抽取的局部图像块；通过目标图像字典，每个局部图像块p_i都有一个相对应的稀疏系数，其计算方式如下：

${\hat{a}}_i=\arg \min {\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_1\mathrm{subject\; to}{\left|\right|p_i-{\mathrm{D\&alpha;}}_i\left|\right|}_2<\mathrm{\&epsiv;}$

α_i为对应目标局部图像块p_i的稀疏系数；收集局部稀疏系数并将其表示为目标图像特征，公式如下：

$T={[{\hat{a}}_1,{\hat{a}}_2,...,{\hat{a}}_K]}^T.$

计算稀疏编码直方图通过以下方式计算：

$H_q=C\underset{i}{\overset{K}{\mathrm{\&Sigma;}}}k\left({\left|\right|c_i\left|\right|}^2\right)\left|a_{\mathrm{iq}}\right|$

T_q为第q个稀疏编码直方图bin值,c_i为目标图像第i个局部图像块，k(||c_i||²)为一个权值核函数，远离目标区域图像块获得较小权值系数，C正则化条件参数,a_iq是第i个局部图像块的第q个稀疏系数；

候选目标图像的稀疏编码直方图被定义如下：

$T_q=C\underset{i}{\overset{K}{\mathrm{\&Sigma;}}}k\left({\left|\right|\frac{Y-c_i}{h}\left|\right|}^2\right)\left|a_{\mathrm{iq}}^{*}\right|.$

这里Y表示目标图像块位置，h表示宽度距离。

所述的训练分类器模型包括以下步骤：

l(x)表示目标图像块位置，把集合

作为正样本图像数据，把

集合数据作为负样本图像数据，r，β是取正负样本图像数据位置半径。计算这些正负样本图像的稀疏系数{(T₁,y₁),...,(T_n,y_n)},T_n为第n个训练样本，y_n∈{+1,-1}；

将这些样本数据通过以下分类器进行训练学习

$\underset{w,b}{\min }L(w,b)=\underset{w,b}{\min }\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}l(y_j,w,b,T_j)+\frac{\mathrm{\&lambda;}}{2}{\left|\right|w\left|\right|}^2$

$l(y,w,b,T)=e^{-y(w^{T}T+b)}$ 为损失函数；

当训练分类器训练好以后，下一帧候选目标的分类器值通过以下方式计算：

$\mathrm{score}\left(A\right)=e^{w^{T}A+b}.$

所述的稀疏编码直方图和分类器值相似度的计算包括以下步骤：

sim(T,H)为特征模板和下一帧稀疏编码直方图之间相似度，其定义如下：

sim(T,H)=ρ(T,H)

ρ为两个目标图像之间的Bhattacharyya距离，距离越小相似度越高，定义如下：

$\mathrm{\&rho;}(T,H)=\underset{q=1}{\overset{c}{\mathrm{\&Sigma;}}}\sqrt{T_q\&CenterDot;H_q};$

分类器值与第一帧图像分类器模型的相似度计算，设L^c表示第c个候选目标图像的联合相似度值，其定义如下：

L^c=score(A^c)*sim(T,H^c)

在所有候选目标图像中，上述公式联合的值越大则表明该候选目标在该视频图像中成为最终目标的可能性就越大。

一种基于局部稀疏表示的联合目标追踪系统，包括：

初始化输入模块，用于设定视频中所要追踪目标初始化位置参数，启动视频追踪系统，实时追踪视频目标；

目标局部图像数据字典构建模块，用于对初始化目标图像进行局部数据字典计算及其构建；

目标外观稀疏系数计算模块，用于通过构建的局部图像数据字典，计算目标图像的稀疏系数；

基于局部稀疏表示的辨别式模型计算模块，用于将正负目标图像的稀疏系数作为样本数据，经过支持向量机训练学习获得相应的分类器模型；

目标图像稀疏编码直方图计算模块，用于通过目标图像的稀疏系数构建以及计算相应的稀疏编码直方图，并将该直方图作为产生式追踪模型的特征模板；

联合目标追踪模型计算模块，用于计算候选目标图像的分类器值与相似度值并进行相应的联合；

目标特征模板以及分类器更新模块，用于更新特征模板的稀疏编码直方图以及分类器学习模型，以适应目标在视频中外观的变化；

所述的初始化输入模块通过目标局部图像数据字典构建模块与目标外观稀疏系数计算模块相连，所述的目标外观稀疏系数计算模块分别与基于局部稀疏表示的辨别式模型计算模块和目标图像稀疏编码直方图计算模块相连后与联合目标追踪模型计算模块相连，所述的联合目标追踪模型计算模块与目标特征模板以及分类器更新模块相连，所述的目标特征模板以及分类器更新模块连回目标局部图像数据字典构建模块。

有益效果

本发明的一种基于局部稀疏表示的联合目标追踪方法及其系统，与现有技术相比提高了复杂场景中的目标追踪的精度与效率，提升了目标追踪技术在各类场景中的应用程度。利用视频图像在多尺度下的稀疏表示理论，通过图像多尺度处理、多尺度字典构建、多尺度稀疏表示、相似度计算、目标定位等一系列步骤，自动追踪视频中目标，根据追踪的结果，自动更新目标外观特征模型，以适应复杂视频场景中的目标追踪任务。通过在对比过程中分类器模型，而对追踪技术采用自学习技术，从而达到目标图像在遇到遮挡时也可以做到准确追踪。

附图说明

图1为本发明视频联合目标追踪方法流程图

图2为本发明视频联合目标追踪系统连接结构图

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于局部稀疏表示的联合目标追踪方法,包括以下步骤：

第一步，初始化目标外观特征模板，通过视频第一帧图像对视频目标位置初始化，构造由稀疏编码直方图得到的特征模板，构造由局部稀疏系数得到的分类器模型，由特征模板和分类器模型组成联合目标追踪模板。特征模板和分类器模型都将作为第二帧图像进行对比时的基础数据，从而确定目标图像，在这个比对过程中，加入了分类器模型，起到了系统自我学习的作用，因此当视频中目标图像遇到障碍物时，也可以作到对目标图像的追踪。其初始化目标特征模板包括以下步骤：

（11）初始化视频第一帧目标图像位置，寻找到视频第一帧图像中目标图像的位置。在实际使用中，若需要对人物的头像进行目标追踪，那么人物头像就为目标图像，确定好人物头像的位置，也就是确定了目标图像位置，此目标图像就是后面所需要进行追踪的内容。

（12）依据视频第一帧目标图像进行多尺度块处理，构建目标图像数据字典。由于第一帖的图像已确定，其中的目标图像也确定，目标图像仍为一个图像的范围，在此就需要对目标图像进行各种大小窗口的分割，这种分割的集合就称为目标图像数据字典。其数据字典的构造方法包括以下步骤：

（121）给定视频中所需构建帧的图像I以及对应的目标图像；

（122）通过在目标图像区域内取K个图像局部块，获得集合D={d_i|i=1:K}，这里d_i为第i个局部目标图像块，目标图像数据字典为D。

（13）通过所构建的目标图像数据字典计算目标图像在多尺度下的稀疏系数，并通过稀疏系数计算出稀疏编码直方图，将稀疏编码直方图作为特征模板。特征模板为第一帧与第二帧在进行比对时的比对基础，也是联合目标追踪模板之一。通过对目标图像进行多尺度块处理，则将目标图像进一步细化，保证了目标图像追踪的准确性，再结合目标图像数据字典计算出稀疏系数，针此稀疏系数再计算出稀疏编码直方图，以确保准确排查到下一帧的追踪目标图像。其中，计算稀疏编码直方图包括以下步骤：

（131）计算稀疏系数，设P={p_i|i=1:K}为目标图像在不同尺度下抽取的局部图像块；通过目标图像字典，每个局部图像块p_i都有一个相对应的稀疏系数，其计算方式如下：

${\hat{a}}_i=\arg \min {\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_1\mathrm{subject\; to}{\left|\right|p_i-{\mathrm{D\&alpha;}}_i\left|\right|}_2<\mathrm{\&epsiv;}$

α_i为对应目标局部图像块p_i的稀疏系数；收集局部稀疏系数并将其表示为目标图像特征，公式如下：

$T={[{\hat{a}}_1,{\hat{a}}_2,...,{\hat{a}}_K]}^T.$

（132）计算稀疏编码直方图通过以下方式计算：

$H_q=C\underset{i}{\overset{K}{\mathrm{\&Sigma;}}}k\left({\left|\right|c_i\left|\right|}^2\right)\left|a_{\mathrm{iq}}\right|$

T_q为第q个稀疏编码直方图bin值,c_i为目标图像第i个局部图像块，k(||c_i||²)为一个权值核函数，远离目标区域图像块获得较小权值系数，C正则化条件参数,a_iq是第i个局部图像块的第q个稀疏系数；

候选目标图像的稀疏编码直方图被定义如下：

$T_q=C\underset{i}{\overset{K}{\mathrm{\&Sigma;}}}k\left({\left|\right|\frac{Y-c_i}{h}\left|\right|}^2\right)\left|a_{\mathrm{iq}}^{*}\right|.$

这里Y表示目标图像块位置，h表示宽度距离。

（14）在第一帧目标图像位置周围，选定一定数量的正负目标图像样本，通过计算得到相应的稀疏系数，并经过支持向量机训练出分类器模型，并将特征模板和分类器模型作为联合目标追踪模板。分类器模型就为了系统自学习而设立的，其实现了目标图像在遮挡时的目标追踪。训练分类器模型包括以下步骤：

（141）l(x)表示目标图像块位置，把集合

作为正样本图像数据，把

集合数据作为负样本图像数据，r，β是取正负样本图像数据位置半径。计算这些正负样本图像的稀疏系数{(T₁,y₁),...,(T_n,y_n)},T_n为第n个训练样本，y_n∈{+1,-1}；

（142）将这些样本数据通过以下分类器进行训练学习

$\underset{w,b}{\min }L(w,b)=\underset{w,b}{\min }\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}l(y_j,w,b,T_j)+\frac{\mathrm{\&lambda;}}{2}{\left|\right|w\left|\right|}^2$

$l(y,w,b,T)=e^{-y(w^{T}T+b)}$ 为损失函数；

（143）当训练分类器训练好以后，下一帧候选目标的分类器值通过以下方式计算：

$\mathrm{score}\left(A\right)=e^{w^{T}A+b}.$

至此，则完成了初始化目标特征模板的全过程，实现了对图像第一帧中目标图像的定位和联合目标追踪模板采集过程，为后序图像比对做基础。

第二步，追踪目标图像，通过读取视频下一帧图像，构造候选图像稀疏编码直方图，构造候选图像分类器值，由候选图像稀疏编码直方图和候选图像分类器值组成的候选联合目标追踪模型，并与联合目标追踪模板之间进行相似度比较，最大相似度的为视频目标在下一帧的位置。追踪目标图像步骤过程，则是对第二帧的图像进行处理过程，从中计算出候选图像稀疏编码直方图和候选图像分类器值，并与联合目标追踪模板进行相似度比对，从而确定哪一块才是目标图像在下一帧中的位置，实现了联合目标追踪。其包括以下步骤：

（21）读取视频下一帧图像，通过粒子滤波方式在下一帧视频图像中选择一定数量的候选目标位置。选择一定数量的候选目标位置即进行各种大小窗口的分割，将一帧图像分割成若干大小的窗口，进行多尺度块处理。

（22）依次对候选目标图像进行多尺度块处理，构建图像数据字典，通过所构建的图像数据字典计算图像在多尺度下的稀疏系数，并通过稀疏系数计算出稀疏编码直方图，计算出稀疏编码直方图用于和第一帧的特征模板进行比对。在这个过程中是针对第二帧的画面计算出稀疏编码直方图，其稀疏编码直方图的计算方法与第一帧画面的稀疏编码直方图计算方法相同，参照第13步。

（23）在下一帧图像位置周围，选定一定数量的正负目标图像样本，通过计算得到相应的稀疏系数，并通过支持向量机训练出分类器值。计算出的分类器值用于和第一帧的分类器模型进行比对，在这个过程中是针对第二帧的画面计算出分类器值，其分类器值的计算方法与第一帧画面的训练分类器模型计算方法相同，参照第14步。

（24）计算候选目标图像的稀疏编码直方图与第一帧特征模板之间的相似度，计算目标图像稀疏系数的分类器值与第一帧图像分类器模型的相似度，最大相似度的候选目标图像为视频目标在下一帧的位置。通过稀疏编码直方图和分类器值的联合比对，实现了目标追踪的自学习，因此目标图像在视频过程中遇到遮挡物时也可以进行追踪。其中稀疏编码直方图与特征模板相似度的计算方法如下：

sim(T,H)为特征模板和下一帧稀疏编码直方图之间相似度，其定义如下：

sim(T,H)=ρ(T,H)

ρ为两个目标图像之间的Bhattacharyya距离，距离越小相似度越高，定义如下：

$\mathrm{\&rho;}(T,H)=\underset{q=1}{\overset{c}{\mathrm{\&Sigma;}}}\sqrt{T_q\&CenterDot;H_q}.$

其中分类器值与第一帧图像分类器模型的相似度计算如下，设L^c表示第c个候选目标图像的联合相似度值，其定义如下：

L^c=score(A^c)*sim(T,H^c)

在所有候选目标图像中，上述公式联合的值越大则表明该候选目标在该视频图像中成为最终目标的可能性就越大。将以上两种模型结合对比后，从而实现目标图像的跟踪。

第三步，更新联合目标追踪模板，将上一步中相似度最大的候选联合目标追踪模型更新为联合目标追踪模板，以供下一帧图像的候选联合目标追踪模型进行相似度比较。将第二帧中确定的目标图像替代为联合目标追踪模板，让下一帧的图像来进行相似度比较。其中，更新特征模板的公式如下：

H_new=ωH_first+(1-ω)H_temp

这里ω为更新权值，本方法中设定为0.8。H_new表示新的特征模板。

其中，更新分类器模型的方法为通过在目标图像周围采集正样本数 $X^r=\left\{x\right|r>\left|\right|l\left(x\right)-l_1^{*}\left|\right|\}$ 以及负样本图像数据 $X^{r,\mathrm{\&beta;}}=\left\{x\right|r<\left|\right|l\left(x\right)-l_1^{*}\left|\right|<\mathrm{\&beta;}\},$ 计算相应的稀疏系数，将其作为新的样本训练数据集{(A₁,y₁),...,(A_n,y_n)}更新分类器模型。

第四步，检查视频是否读取完毕，若读取完毕，则完成联合目标追踪，若未读取完毕，则继续进行追踪目标图像的操作。判断当前视频目标追踪是否已经全部完成，若当前视频已经结束，则完成所有的追踪过程；若当前视频没有结束，还有下一帧的画面存在，则继续回到第二步，继续进行追踪目标图像的操作，直至视频结束，追踪过程结束。

如图2所示，本发明所述的一种基于局部稀疏表示的联合目标追踪系统，包括：

初始化输入模块，用于设定视频中所要追踪目标初始化位置参数，启动视频追踪系统，实时追踪视频目标；

目标局部图像数据字典构建模块，用于对初始化目标图像进行局部数据字典计算及其构建；

目标外观稀疏系数计算模块，用于通过构建的局部图像数据字典，计算目标图像的稀疏系数；

基于局部稀疏表示的辨别式模型计算模块，用于将正负目标图像的稀疏系数作为样本数据，经过支持向量机训练学习获得相应的分类器模型；

目标图像稀疏编码直方图计算模块，用于通过目标图像的稀疏系数构建以及计算相应的稀疏编码直方图，并将该直方图作为产生式追踪模型的特征模板；

联合目标追踪模型计算模块，用于计算候选目标图像的分类器值与相似度值并进行相应的联合；

目标特征模板以及分类器更新模块，用于更新特征模板的稀疏编码直方图以及分类器学习模型，以适应目标在视频中外观的变化；

所述的初始化输入模块通过目标局部图像数据字典构建模块与目标外观稀疏系数计算模块相连，所述的目标外观稀疏系数计算模块分别与基于局部稀疏表示的辨别式模型计算模块和目标图像稀疏编码直方图计算模块相连后与联合目标追踪模型计算模块相连，所述的联合目标追踪模型计算模块与目标特征模板以及分类器更新模块相连，所述的目标特征模板以及分类器更新模块连回目标局部图像数据字典构建模块。

初始化输入模块在完成初始化过程后，将数据传给目标局部图像数据字典构建模块进行图像数据字典的计算，再传到目标外观稀疏系数计算模块，用于计算稀疏系数。计算出相应的稀疏系数后，再分别传给基于局部稀疏表示的辨别式模型计算模块和目标图像稀疏编码直方图计算模块。对于目标图像计算稀疏编码直方图和特征模板，用于目标图像周边图像计算和比对分类器值和分类器模型及其相似度。比对结束后再传至目标特征模板以及分类器更新模块，以更新分类器模型和特征模板，再传至目标局部图像数据字典构建模块，进行下一帧画面的目标图像追踪工作。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (9)

1.一种基于局部稀疏表示的联合目标追踪方法,其特征在于,包括以下步骤：

11）初始化目标外观特征模板，通过视频第一帧图像对视频目标位置初始化，构造由稀疏编码直方图得到的特征模板，构造由局部稀疏系数得到的分类器模型，由特征模板和分类器模型组成联合目标追踪模板；

12）追踪目标图像，通过读取视频下一帧图像，构造候选图像稀疏编码直方图，构造候选图像分类器值，由候选图像稀疏编码直方图和候选图像分类器值组成的候选联合目标追踪模型，并与联合目标追踪模板之间进行相似度比较，最大相似度的为视频目标在下一帧的位置；

13）更新联合目标追踪模板，将上一步中相似度最大的候选联合目标追踪模型更新为联合目标追踪模板，以供下一帧图像的候选联合目标追踪模型进行相似度比较；

14）检查视频是否读取完毕，若读取完毕，则完成联合目标追踪，若未读取完毕，则继续进行追踪目标图像的操作。

2.一种基于局部稀疏表示的联合目标追踪方法,其特征在于,所述的初始化目标特征模板包括以下步骤：

21）初始化视频第一帧目标图像位置，寻找到视频第一帧图像中目标图像的位置；

22）依据视频第一帧目标图像进行多尺度块处理，构建目标图像数据字典；

23）通过所构建的目标图像数据字典计算目标图像在多尺度下的稀疏系数，并通过稀疏系数计算出稀疏编码直方图，将稀疏编码直方图作为特征模板；

24）在第一帧目标图像位置周围，选定一定数量的正负目标图像样本，通过计算得到相应的稀疏系数，并经过支持向量机训练出分类器模型，并将特征模板和分类器模型作为联合目标追踪模板。

3.一种基于局部稀疏表示的联合目标追踪方法,其特征在于,所述的追踪目标图像包括以下步骤：

31）读取视频下一帧图像，通过粒子滤波方式在下一帧视频图像中选择一定数量的候选目标位置；

32）依次对候选目标图像进行多尺度块处理，构建图像数据字典，通过所构建的图像数据字典计算图像在多尺度下的稀疏系数，并通过稀疏系数计算出稀疏编码直方图；

33）在下一帧图像位置周围，选定一定数量的正负目标图像样本，通过计算得到相应的稀疏系数，并通过支持向量机训练出分类器值；

34）计算候选目标图像的稀疏编码直方图与第一帧特征模板之间的相似度，计算目标图像稀疏系数的分类器值与第一帧图像分类器模型的相似度，最大相似度的候选目标图像为视频目标在下一帧的位置。

4.根据权利要求1所述的一种基于局部稀疏表示的联合目标追踪方法,其特征在于,所述的更新联合目标追踪模板包括以下步骤：

41）更新特征模板的公式如下：

H_new=ωH_first+(1-ω)H_temp

这里ω为更新权值，设定为0.8。H_new表示新的特征模板；

42）更新分类器模型的方法为通过在目标图像周围采集正样本数 $X^r=\left\{x\right|r>\left|\right|l\left(x\right)-l_1^{*}\left|\right|\}$ 以及负样本图像数据 $X^{r,\mathrm{\&beta;}}=\left\{x\right|r<\left|\right|l\left(x\right)-l_1^{*}\left|\right|<\mathrm{\&beta;}\},$ 计算相应的稀疏系数，将其作为新的样本训练数据集{(A₁,y₁),...,(A_n,y_n)}更新分类器模型。

5.根据权利要求2或3所述的一种基于局部稀疏表示的联合目标追踪方法，其特征在于,所述的构建图像数据字典包括以下步骤：

51）给定视频中所需构建帧的图像I以及对应的目标图像；

52）通过在目标图像区域内取K个图像局部块，获得集合D={d_i|i=1:K}，这里d_i为第i个局部目标图像块，目标图像数据字典为D。

6.根据权利要求2或3所述的一种基于局部稀疏表示的联合目标追踪方法，其特征在于,所述的计算稀疏编码直方图包括以下步骤：

61）计算稀疏系数，设P={p_i|i=1:K}为目标图像在不同尺度下抽取的局部图像块；通过目标图像字典，每个局部图像块p_i都有一个相对应的稀疏系数，其计算方式如下：

${\hat{a}}_i=\arg \min {\left|\right|{\mathrm{\&alpha;}}_i\left|\right|}_1\mathrm{subject\; to}{\left|\right|p_i-{\mathrm{D\&alpha;}}_i\left|\right|}_2<\mathrm{\&epsiv;}$

α_i为对应目标局部图像块p_i的稀疏系数；收集局部稀疏系数并将其表示为目标图像特征，公式如下：

$T={[{\hat{a}}_1,{\hat{a}}_2,...,{\hat{a}}_K]}^T.$

62）计算稀疏编码直方图通过以下方式计算：

$H_q=C\underset{i}{\overset{K}{\mathrm{\&Sigma;}}}k\left({\left|\right|c_i\left|\right|}^2\right)\left|a_{\mathrm{iq}}\right|$

T_q为第q个稀疏编码直方图bin值,c_i为目标图像第i个局部图像块，k(||c_i||²)为一个权值核函数，远离目标区域图像块获得较小权值系数，C正则化条件参数,a_iq是第i个局部图像块的第q个稀疏系数；

候选目标图像的稀疏编码直方图被定义如下：

$T_q=C\underset{i}{\overset{K}{\mathrm{\&Sigma;}}}k\left({\left|\right|\frac{Y-c_i}{h}\left|\right|}^2\right)\left|a_{\mathrm{iq}}^{*}\right|.$

这里Y表示目标图像块位置，h表示宽度距离。

7.根据权利要求2或3所述的一种基于局部稀疏表示的联合目标追踪方法，其特征在于,所述的训练分类器模型包括以下步骤：

71）l(x)表示目标图像块位置，把集合

作为正样本图像数据，把

集合数据作为负样本图像数据，r，β是取正负样本图像数据位置半径。计算这些正负样本图像的稀疏系数{(T₁,y₁),...,(T_n,y_n)},T_n为第n个训练样本，y_n∈{+1,-1}；

72）将这些样本数据通过以下分类器进行训练学习

$\underset{w,b}{\min }L(w,b)=\underset{w,b}{\min }\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}l(y_j,w,b,T_j)+\frac{\mathrm{\&lambda;}}{2}{\left|\right|w\left|\right|}^2$

$l(y,w,b,T)=e^{-y(w^{T}T+b)}$ 为损失函数；

73）当训练分类器训练好以后，下一帧候选目标的分类器值通过以下方式计算：

$\mathrm{score}\left(A\right)=e^{w^{T}A+b}.$

8.根据权利要求3所述的一种基于局部稀疏表示的联合目标追踪方法，其特征在于,所述的稀疏编码直方图和分类器值相似度的计算包括以下步骤：

81）sim(T,H)为特征模板和下一帧稀疏编码直方图之间相似度，其定义如下：

sim(T,H)=ρ(T,H)

ρ为两个目标图像之间的Bhattacharyya距离，距离越小相似度越高，定义如下：

$\mathrm{\&rho;}(T,H)=\underset{q=1}{\overset{c}{\mathrm{\&Sigma;}}}\sqrt{T_q\&CenterDot;H_q};$

82）分类器值与第一帧图像分类器模型的相似度计算，设L^c表示第c个候选目标图像的联合相似度值，其定义如下：

L^c=score(A^c)*sim(T,H^c)

在所有候选目标图像中，上述公式联合的值越大则表明该候选目标在该视频图像中成为最终目标的可能性就越大。

9.一种基于局部稀疏表示的联合目标追踪系统，其特征在于，包括：

初始化输入模块，用于设定视频中所要追踪目标初始化位置参数，启动视频追踪系统，实时追踪视频目标；

目标局部图像数据字典构建模块，用于对初始化目标图像进行局部数据字典计算及其构建；

目标外观稀疏系数计算模块，用于通过构建的局部图像数据字典，计算目标图像的稀疏系数；

基于局部稀疏表示的辨别式模型计算模块，用于将正负目标图像的稀疏系数作为样本数据，经过支持向量机训练学习获得相应的分类器模型；

目标图像稀疏编码直方图计算模块，用于通过目标图像的稀疏系数构建以及计算相应的稀疏编码直方图，并将该直方图作为产生式追踪模型的特征模板；

联合目标追踪模型计算模块，用于计算候选目标图像的分类器值与相似度值并进行相应的联合；

目标特征模板以及分类器更新模块，用于更新特征模板的稀疏编码直方图以及分类器学习模型，以适应目标在视频中外观的变化；

所述的初始化输入模块通过目标局部图像数据字典构建模块与目标外观稀疏系数计算模块相连，所述的目标外观稀疏系数计算模块分别与基于局部稀疏表示的辨别式模型计算模块和目标图像稀疏编码直方图计算模块相连后与联合目标追踪模型计算模块相连，所述的联合目标追踪模型计算模块与目标特征模板以及分类器更新模块相连，所述的目标特征模板以及分类器更新模块连回目标局部图像数据字典构建模块。

Images