CN103646407A - 一种基于成分距离关系图的视频目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于成分距离关系图特征的目标跟踪方法，其包括：步骤1、对于待跟踪目标所在的视频，采用粒子滤波方法采样一定数目的粒子，作为候选目标状态；步骤2、对于每个所述候选目标状态对应的表观，构建成分距离关系图特征向量；步骤3、根据所述成分距离关系图特征向量得到表示整个待跟踪目标表观的矩阵，并计算所述表示整个待跟踪目标表观的矩阵到2D PCA(二维主成分分析)子空间的距离；步骤4、根据所述距离获得每个候选目标状态的评价值，将最大评价值对应的候选目标状态作为目标的跟踪状态；步骤5、更新2D PCA子空间，并进行下一帧目标的跟踪。

Description

一种基于成分距离关系图的视频目标跟踪方法

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于成分距离关系图的视频目标跟踪(Visual Object Tracking)方法。

背景技术

作为计算机视觉的一个重要研究领域，目标跟踪在一段视频上对目标的特征采用一定的模型来进行描述，并通过一定的搜索策略来对目标状态进行搜索。一般来讲，目标跟踪的结果是得到目标在各个时刻的状态。目标跟踪在计算机视觉的许多方面都有重大的应用，比如行为理解和人机交互等。

目标跟踪有两个比较重要的研究内容，搜索策略和表观建模。搜索策略是指给定目标的历史信息，如何搜索到新的状态或候选状态。常用的搜索策略有均值漂移、卡尔曼滤波以及粒子滤波等。其中均值漂移和卡尔曼滤波属于确定性搜索，即给定历史信息以及当前表观信息的情况下，当前的目标状态是确定的。粒子滤波属于随机性搜索，即给定历史信息以及当前表观信息，用采样的方式搜索目标可能的状态。表观建模在跟踪中也具有很重要的意义。一般表观模型可分为判别式表观模型和产生式表观模型。判别式表观模型主要考虑的是如何将前景与背景有效的分开，而产生式模型主要考虑目标自身的表观信息。根据前景与背景的差异，判别式表观模型可较好的处理漂移等问题。但是当背景变化剧烈的时候，依据判别式模型可能会得到不正确的判别信息，从而导致跟踪失败。相对于判别式表观模型，产生式表观模型受背景影响较小。通过有效利用目标自身表观的历史信息，产生式表观模型可对目标进行有效的跟踪。

在产生式表观模型中，许多方法并不计算目标各组成成分间的距离信息，而有效的利用此距离信息可更好的描述目标各组成成分间的关系，对光照变化具有较好的鲁棒性。

发明内容

(一)要解决的技术问题

本发明的目的在于提出一种新的特征，使其对跟踪中的光照问题鲁棒，同时对遮挡等问题也可较好的处理。

(二)技术方案

为了实现上述目的，本发明提出一种基于距离的表观模型，通过计算目标各组成成分之间的距离信息，对光照变化具有较好的鲁棒性。

本发明提出的一种基于成分距离关系图特征的目标跟踪方法，其包括：

步骤1、对于待跟踪目标所在的视频，采用粒子滤波方法采样一定数目的粒子，作为候选目标状态；

步骤2、对于每个所述候选目标状态对应的表观，构建成分距离关系图特征向量；

步骤3、根据所述成分距离关系图特征向量得到表示整个待跟踪目标表观的矩阵，并计算所述表示整个待跟踪目标表观的矩阵到2D PCA子空间的距离；

步骤4、根据所述距离获得每个候选目标状态的评价值，将最大评价值对应的候选目标状态作为目标的跟踪状态；

步骤5、更新2D PCA子空间，并进行下一帧目标的跟踪。

(三)有益效果

本发明所提出的基于成分距离关系图的跟踪方法，通过计算目标各部分间的距离信息可使跟踪对光照比较鲁棒。同时，所提出的基于熵的计算局部化尺度参数的方法，可得到更有判别力的特征，从而更精确得确定目标的状态。

附图说明

图1是本发明中基于成分距离关系图的视频目标跟踪方法的流程图；

图2(a)是本发明的目标状态及一个目标块的示意图；

图2(b)是图2(a)中所示目标块的基于行纹理距离得到的行之间的关系图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明的方法具体运行的硬件和编程语言并不受限制，用任何语言编写都可以实现本发明的方法。本发明采用一台CPU频率为2.53GHz内存为2G的电脑，并用C++语言来编程实现本发明的方法。

图1示出了本发明提供的基于成分距离关系图的视频目标跟踪方法的流程图。如图1所示，该方法包括：

步骤1：对于待跟踪目标所在的视频，采用粒子滤波方法采样一定数目的粒子。

步骤2：对各粒子对应的表观(当前观测值，即图像)，构建成分距离关系图特征(描述行纹理之间的距离)，并利用2D PCA进行评价。

步骤3：更新2D PCA子空间。

步骤4：选择最有判别力的特征。

下面详细给出本发明技术方案中所涉及的各个步骤。

步骤1：对于待跟踪目标所在的视频，采用粒子滤波方法采样一定数目的粒子。在粒子滤波方法中，定义X_t+1为t+1时刻目标在视频帧的图像上的位置和尺寸状态信息(如图2(a))，O_t+1为t+1时刻视频中目标所呈现的表观，表观表示当前观测值，即图像。那么给定表观序列O_1：t+1，目标状态X_t+1的后验贝叶斯概率为

$p\left(X_{t+1}\right|O_{1:t+1})\∝p\left(O_{t+1}\right|X_{t+1})\∫p\left(X_{t+1}\right|X_t)p\left(X_t\right|O_{1:t})d{X}_t.$

此处p(O_t+1|X_t+1)表示粒子X_t+1的似然值，p(X_t+1|X_t)表示基于前一时刻目标状态对当前状态预测的概率密度。根据p(X_t+1|O_1：t+1)采样一定数目的粒子。其中采样得到的粒子对应待跟踪目标所在视频中的候选目标状态。

对于步骤2，对各粒子对应的表观，构建成分距离关系图特征，并利用2D PCA进行评价。包含如下步骤：

步骤2a：对候选目标状态对应的表观进行分块，此处假定分成6×6的目标块，目标块之间可互相重叠。图2(a)的白框给出了其中一个目标块。在一个目标块中，将目标块第a行的纹理r_a与第b行的纹理r_b的关系表示为：

$q^l(a,b)=\exp (-\frac{{\left|\right|r_a-r_b\left|\right|}_2}{N_R})\frac{{|a-b|}^l}{\stackrel{\‾}{a}},$

其中，

N_R是目标块行数(此处假定为7)。幂次l∈R是一个参数，称为特征的局部化尺度参数。本方法中，假定l有3个候选值，0，1，2。最有判别力的l的候选值被选来评价候选目标状态。参数l根据步骤4所描述的内容进行更新，其初始值可以设定为上述3个候选值中的一个。考虑此目标块任意两行之间的关系，得到一个向量 ${\tilde{q}}^l=[q^l\left(\mathrm{0,0}\right),q^l\left(\mathrm{0,1}\right),...,q^l(a,b),...,q^l\left(\mathrm{6,6}\right)].$ 此向量就是此目标块的成分距离关系图向量，其用于描述块的行纹理之间的距离。

步骤2b：指定标号为(i，j)，i，j＝0，...，5的目标块的成分距离关系图向量为

根据各目标块的成分距离关系图向量特征，得到两个矩阵：

$M^{l,\left(2\right)}=[{\tilde{q}}_{\mathrm{0,0}}^l,{\tilde{q}}_{\mathrm{0,1}}^l,...,{\tilde{q}}_{i,j}^l,...,{\tilde{q}}_{\mathrm{5,5}}^l],$

M^l,(1)＝M^l,(2)T.

使用上述两个矩阵来表示整个目标的表观。

步骤2c：计算M⁽¹⁾和M⁽²⁾到相应2D PCA子空间的距离为

$E_{t,1}={\left|\right|W_t((M_t^{\left(1\right)}-{\stackrel{\‾}{M}}_t^{\left(1\right)})-U_1{U}_1^T(M_t^{\left(1\right)}-{\stackrel{\‾}{M}}_t^{\left(1\right)}))\left|\right|}_2,$

$E_{t,2}={\left|\right|((M_t^{\left(2\right)}-{\stackrel{\‾}{M}}_t^{\left(2\right)})-U_2{U}_2^T(M_t^{\left(2\right)}-{\stackrel{\‾}{M}}_t^{\left(2\right)}))W_t\left|\right|}_2.$

其中，

为t时刻相应各个目标块的权重，

与

分别表示矩阵M⁽¹⁾和M⁽²⁾直到t时刻的均值，U₁和U₂分别为M⁽¹⁾和M⁽²⁾对应的2D PCA子空间，其是根据已知的一系列M⁽¹⁾和M⁽²⁾的样本值进行训练得到的2D PCA子空间值。对候选目标状态的评价值为：

$p\left(O_l\right|X_l)\∝{\mathrm{\Σ}}_{i_0=1}^2\exp (-E_{l,i_0}).$

其中，最大的评价值对应的候选状态被选为目标最终的状态。

对于步骤3，更新2D PCA子空间。包含如下步骤：

步骤3a：定义标号为(i，j)的目标块的成分距离关系图向量

关于直到当前帧的所有帧的均值(对所有成分距离关系图向量取平均)和方差(对各向量到均值的欧氏距离的平方取平均)分别为

和υ_i，j。指定目标块(i，j)在时刻t时的特征为q_i，j，那么此目标块在时刻t+1的权重被定义为：

$w_1^{i,j}\∝\frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\υ}}_{i,j}}}\exp \frac{-{\left|\right|q_{i,j}-{\stackrel{\‾}{q}}_{i,j}\left|\right|}^2}{2{\mathrm{\υ}}_{i,j}\mathrm{}},$

此处依据最优局部化尺度参数l^*来计算目标块权重。

步骤3b：对目标块(i，j)，定义为当前帧最优粒子对应的目标块的成分距离关系图向量特征，如果

则认为此块未污染，即未被遮挡等，此处α是一个常数。如果未污染的块数大于一个阈值，则保存当前样本，即目标的成分距离关系图向量特征。每保存五帧的样本，更新一次系统。指定

为前n+1时刻的样本，即

的协方差，

为最近(时刻n后)保存的5帧样本的协方差，则当前样本协方差用如下增量方式计算：

$D_{\mathrm{new}}^{\left(i_0\right)}=s{D}_n^{\left(i_0\right)}+(1-s){\tilde{D}}^{\left(i_0\right)},$

此处s为一尺度常数。对进行特征值分解，用得到的最大的若干个特征值对应的特征向量来构成

即更新2D PCA子空间模型，获得最新的此处，对于各个参数l，分别计算各l对应的新的2D PCA子空间。

步骤4：选择最有判别力的特征。对于局部化尺度参数l，定义

为第i₁个粒子对应的评价值(即p(O_t|X_t))，N_p为粒子数目，

与

分别为

中最大的与最小的评价值。定义

${\tilde{g}}^{l,i_1}=g^{l,i_1}-g_{\min }^l.$

将

按和为1的约束进行规范化，即将

除以

$i_1=0,...,N_p-1$ 的和，得到

采用 ${\stackrel{\‾}{g}}^{l,i_1},i_1=0,...,N_p-1$ 来计算评价值的熵值。基于粒子评价的熵值计算为：

$H^l=-\underset{i_1=0}{\overset{N_p-1}{\mathrm{\Σ}}}{\stackrel{\‾}{g}}^{l,i_1}\log \left({\stackrel{\‾}{g}}^{l,i_1}\right).$

对每个保存的视频帧样本，均保存各参数l对应的熵值。对每个参数l，每5个保存的视频帧的样本，计算保存的熵值的平均值并选择最小的

对应的参数l作为最有判别力的参数l^*，用于下一轮的候选状态评价。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于成分距离关系图特征的目标跟踪方法，其包括：

步骤1、对于待跟踪目标所在的视频，采用粒子滤波方法采样一定数目的粒子，作为候选目标状态；

步骤2、对于每个所述候选目标状态对应的表观，构建成分距离关系图特征向量；

步骤3、根据所述成分距离关系图特征向量得到表示整个待跟踪目标表观的矩阵，并计算所述表示整个待跟踪目标表观的矩阵到2D PCA子空间的距离；

步骤4、根据所述距离获得每个候选目标状态的评价值，将最大评价值对应的候选目标状态作为目标的跟踪状态；

步骤5、更新2D PCA子空间，并进行下一帧目标的跟踪。

2.如权利要求1所述的方法，其中步骤2中，所述成分距离关系图特征向量如下构建：

将每个候选目标状态对应的表观进行分块，对于每一个分块计算其行与行之间的纹理间距，任意两行之间的纹理间距构成了该分块的成分距离关系图向量，其中所述纹理间距如下计算：

$q^l(a,b)=\exp (-\frac{{\left|\right|r_a-r_b\left|\right|}_2}{N_R})\frac{{|a-b|}^l}{\stackrel{\‾}{a}}$

其中，a和b为分块的任意两行，r_a为第a行的纹理，r_b为第b行的纹理，

N_R为分块的行数，幂次

为特征的局部化尺度参数，其值在一定条件下进行更新。

3.如权利要求2所述的方法，其中步骤5具体为：对目标块(i，j)，定义

为当前帧最大评价值对应的候选目标状态所对应的目标块的成分距离关系图向量特征，如果则认为此块未污染，α是一个常数，如果未污染的目标块数大于一个阈值，则保存目标的成分距离关系图向量特征，每保存五帧的样本，则更新一次2D PCA子空间。

4.如权利要求3所述的方法，其中，2D PCA子空间如下更新：

指定 $D_n^{\left(i_0\right)},i_0=\mathrm{1,2}$ 为 $M_{t_0}^{\left(i_0\right)},t_0=0,\·\·\·,n$ 的协方差， ${\tilde{D}}^{\left(i_0\right)},i_0=\mathrm{1,2}$ 为第n帧后保存的5帧样本的协方差，n为自然数，则当前样本协方差用如下增量方式计算：

$D_{\mathrm{new}}^{\left(i_0\right)}=s{D}_n^{\left(i_0\right)}+(1-s){\tilde{D}}^{\left(i_0\right)},$

其中，s为一尺度常数，

为目标块的成分距离关系图向量特征；对进行特征值分解，用得到的最大的若干个特征值对应的特征向量来构成即更新后的2D PCA子空间。

5.如权利要求4所述的方法，其中，所述局部化尺度参数包括多个候选值，步骤2中采用最有判别力的局部化尺度参数评价候选目标状态。

6.如权利要求5所述的方法，其中，如下选择最有判别力的局部化尺度参数：

对于局部化尺度参数l，定义

为第i₁个粒子对应的评价值，N_p为粒子数目，与

分别为

中最大的与最小的评价值，定义

${\tilde{g}}^{l,i_1}=g^{l,i_1}-g_{\min }^l$

将

按和为1进行规范化，采用

来计算评价值的熵值：

$H^l=-\underset{i_1=0}{\overset{N_p-1}{\mathrm{\Σ}}}{\stackrel{\‾}{g}}^{l,i_1}\log \left({\stackrel{\‾}{g}}^{l,i_1}\right)$

对每个保存的视频帧样本，均保存各局部化尺度参数l对应的熵值，对每个参数l，每5个保存的视频帧的样本，计算保存的熵值的平均值

并选择最小的

对应的参数l作为最有判别力的参数l^*，用于下一轮的候选状态评价。

7.如权利要求2所述的方法，其中，整个待跟踪目标表观的矩阵如下所示： $M^{l,\left(2\right)}=[{\tilde{q}}_{\mathrm{0,0}}^l,{\tilde{q}}_{\mathrm{0,1}}^l,...,{\tilde{q}}_{i,j}^l,...,{\tilde{q}}_{F-1,F-1}^l],$

M^l，(1)＝M^l，(2)T

其中， ${\tilde{q}}_{i,j}^l=[q^l\left(\mathrm{0,0}\right),q^l\left(\mathrm{0,1}\right),\·\·\·\·\·\·,q^l(a,b),\·\·\·\·\·\·],$ 其中，待跟踪目标被划分成F×F块，其中a和b表示每块的行号。

8.如权利要求7所述的方法，其中，所述表示整个待跟踪目标表观的矩阵到2D PCA子空间的距离如下所示：

$E_{t,1}={\left|\right|W_t((M_t^{\left(1\right)}-{\stackrel{\‾}{M}}_t^{\left(1\right)})-U_1{U}_1^T(M_t^{\left(1\right)}-{\stackrel{\‾}{M}}_t^{\left(1\right)}))\left|\right|}_2,$

$E_{t,2}={\left|\right|((M_t^{\left(2\right)}-{\stackrel{\‾}{M}}_t^{\left(2\right)})-U_2{U}_2^T(M_t^{\left(2\right)}-{\stackrel{\‾}{M}}_t^{\left(2\right)}))W_t\left|\right|}_2.$

其中，为t时刻相应各个目标块的权重，

与

分别表示矩阵M^l，(1)和M^l，(2)直到t时刻的均值，U₁和U₂分别为M^l，(1)和M^l，(2)对应的2D PCA子空间，其是根据已知的一系列M^l，(1)和M^l，(2)的样本值进行训练得到的。

9.如权利要求8所述的方法，其中，每个候选目标状态的评价值如下计算：

$p\left(O_l\right|X_l)\∝{\mathrm{\Σ}}_{i_0=1}^2\exp (-E_{l,i_0})$

其中，X_t为t时刻目标在视频帧的图像上的位置和尺寸状态信息，O_t为t时刻视频中目标所呈现的表观。

Images