CN103886325B - 一种分块的循环矩阵视频跟踪方法 - Google Patents

Abstract

本发明公开一种分块的循环矩阵视频跟踪方法，包括以下步骤：首先，将目标分成个相同大小的子目标，并对每个子目标进行加余弦窗预处理；然后，分别对每个子目标进行循环矩阵跟踪，得到每个子目标的跟踪结果，并计算该结果的置信度；最终，融合这些子目标跟踪结果和置信度，得到目标的真实位置。本发明利用分治的思想，将目标进行分块处理，对每个子目标分别进行循环矩阵跟踪，充分利用了目标和背景的空间分布信息，提高了视频跟踪算法的鲁棒性。本发明能够对复杂场景视频进行鲁棒跟踪，有效的处理目标尺度变化、严重遮挡、目标快速变化和3D旋转等情况。此外，本发明的跟踪速度快，其视频处理速度可达到几十帧每秒，完全满足实时要求。

Description

一种分块的循环矩阵视频跟踪方法

技术领域

本发明属于计算机视觉与模式识别领域，涉及一种对视频目标进行跟踪的方法。

背景技术

目标跟踪是计算机视觉领域的一个极具有挑战性的研究课题，在智能视频监控、增强现实、手势识别以及自动驾驶等方面具有广泛的应用前景。高效的目标跟踪算法需要解决跟踪过程中的目标尺度变化、光照变化、部分遮挡、相机旋转和目标快速变化等问题，近二十年来，人们提出了许多算法，其中，基于在线学习的方法是目标视频跟踪领域的主流方法。

基于在线学习的算法主要可以分为两类：基于生成模型的目标跟踪算法和基于判别模型的目标跟踪算法。基于生成模型的跟踪算法首先学习一个目标表现模型，然后在每帧图像上搜索与该模型最相似的目标。基于判别模型的跟踪算法将目标跟踪问题看作是一个二元分类问题，通过在线学习一个分类器将目标和背景分开。

基于判别模型的跟踪算法需要提取大量正负样本，并在线或离线训练分类器，计算量很大，仅适合用于对跟踪的实时性要求不高的场合。因此，Henriques等人提出了一种非常快速的跟踪算法，即循环矩阵跟踪算法，该算法的跟踪速度可达几百帧每秒。虽然循环矩阵跟踪算法也是基于判别模型的视频跟踪算法，但是，它与其他分类器跟踪算法有很大的不同。基于判别模型的跟踪算法一般采用稀疏随机采样的方式提取正负训练样本，而循环矩阵跟踪算法则采用密集采样的方式提取正负样本。稀疏采样忽略了样本之间的内在结构，而且样本存在很多重叠，使得训练数据有很大的冗余。如果采用密集采样的话，提取图像块的过程会产生一个循环矩阵，该矩阵能够与傅里叶分析联系起来。利用快速傅里叶变换，能够快速的学习分类器，极大的提高视频跟踪速度。

循环矩阵跟踪算法计算量小，目标定位精度高，在很多情况下都能实现稳定的跟踪。然而，当目标快速变化、尺度变化和严重遮挡这些情况同时发生时，循环矩阵跟踪算法容易丢失目标。因为循环矩阵跟踪算法仅提取目标本身及其周围的背景信息，而忽略了图像中的其他大部分背景信息，当遇到跟踪场景非常复杂的情况时，跟踪出现漂移，甚至失败。

发明内容

本发明的目的是克服现有技术的不足，提供一种分块的循环矩阵视频跟踪方法。

分块的循环矩阵视频跟踪方法包含以下步骤：

1）用一个矩形图像像素集来表示目标O，目标O大小为h×w，将目标O分成3×3个相同大小的子目标，并对每个子目标进行加余弦窗预处理；

2）对每个子目标进行循环矩阵跟踪，得到每个子目标的跟踪结果；

3）按如下公式更新每个子目标跟踪结果的置信度，

$C_t^i={\mathrm{\λ}}_w{C}_{t-1}^i+(1-{\mathrm{\λ}}_w){\hat{C}}_t^i$

式中，λ_w是滤波系数，取值在0至1之间，是在当前帧中，子目标i的估计权值，是在前一帧中，子目标i的估计权值，更新全部子目标的置信度之后，进行归一化处理；

4）根据每个子目标的跟踪结果和置信度，计算目标的真实位置(x_t,y_t)，

$x_t={\mathrm{\Σ}}_{i=1}^N{C}_t^i{x}_t^i$

$y_t={\mathrm{\Σ}}_{i=1}^N{C}_t^i{y}_t^i.$

所述的步骤1）为：

（1）将目标O分成3×3个相同大小的子目标，用表示分块之后的目标模板，其中，N＝9，表示子目标i的在第t帧的位置，是子目标i的估计权值，它表示子目标i跟踪结果的可信程度，称作置信度，满足条件：

（2）将目标O分块之后，对每个子目标，选取一个包含该子目标的图像块进行加余弦窗预处理，图像块的大小为{h/3,w/3}×(1+β)，其中，β是一个常数，取值为1，对该图像块进行加余弦窗预处理的公式为：

$x_{\mathrm{ij}}=(x_{\mathrm{ij}}^{\mathrm{raw}}-0.5)\sin (\mathrm{\πi}/n)\sin (\mathrm{\πj}/n),\∀i,j=0,...,n-1.$

式中，为图像块中坐标(i,j)处的原像素值，x_ij为对图像块进行预处理之后的像素值，图像块大小为n×n。

所述的步骤2）中，对每个子目标进行循环矩阵跟踪的具体方法如下：

（1）计算训练样本标记矩阵y的初始值，其中，训练样本标记矩阵y的元素y_ij为：

$y_{\mathrm{ij}}=\exp (-({(i-i^{\′})}^2+{(j-j^{\′})}^2)/s^2),\∀i,j=0,...,n-1$

式中，s为带宽，(i′,j′)为该子目标初始位置的中心坐标；

（2）以前一帧图像的目标位置为中心，在当前帧图像中截取一个图像块x，图像块x的大小为该子目标大小的(1+β′)倍，β′为一个常数，然后计算图像块x的高斯核函数矩阵κ(x,z)，公式为：

k＝exp(-1/σ²(‖x‖²+‖z‖²-2F^-1(F(x)⊙F^*(z))))

式中，z是前一帧图像中包含该子目标并具有循环结构的图像块，F和F^-1分别为傅里叶变换和逆变换，利用快速傅里叶变换进行运算，⊙是对应项相乘，*表示复共轭，σ＝0.2，如果当前帧图像为视频的第1帧图像，则有z=x；

（3）计算核正则化最小二乘分类器的α值，

$\mathrm{\α}=F^{-1}\left(\frac{F\left(y\right)}{F\left(k\right)+\mathrm{\λ}}\right)$

式中，λ为正则化参数，y为训练样本标记矩阵，k为高斯核函数矩阵；

（4）通过滑动窗口的方式得到图像块x的所有子窗口，循环矩阵跟踪算法利用高斯核函数的循环结构同时计算所有子窗口的响应

响应最大的子窗口即为该子目标的真实位置；

（5）根据当前帧中该子目标的真实位置，更新α和z，

α＝(1-ξ)α+ξα′

z＝(1-ξ)z+ξz′

其中，α和z是前一帧的值，α′和z′当前帧的值，ξ为线性插值系数；

（6）读入下一帧图像，跳转到步骤（2）处进行下一帧处理。

所述的步骤3）中的的估算公式为：

${\hat{C}}_t^i={\mathrm{\η}}_t^i\frac{1}{1+e^{{\mathrm{\λ}}_D(\mathrm{mdst}(L_t^i,L_t^j)-T_D)}}$

式中，是所有子窗口的响应；表示该子目标的位置同其他子目标位置的欧氏距离的均值；λ_D是一个常数，取值为0.25，T_D是一个常数，取值在20至50之间。

本发明的有益效果是：

1）提出了一种分块的循环矩阵视频跟踪方法，该方法利用分治的思想，将目标进行分块处理，对每个子目标分别进行循环矩阵跟踪，充分利用了目标和背景的空间分布信息，提高了视频跟踪算法的鲁棒性。

2）本发明能够对复杂场景视频进行鲁棒跟踪，能够有效处理目标尺度变化、严重遮挡、目标快速变化和3D旋转等情况。

3）本发明比循环矩阵跟踪算法更加鲁棒，在跟踪过程中，当同时遇到目标姿态快速变化、尺度变化和严重遮挡等复杂的情况时，循环矩阵跟踪算法容易丢失目标，而本发明则保持着良好的鲁棒性。

4）本发明的跟踪速度很快，其视频处理速度可达到几十帧每秒，完全满足实时要求。

附图说明

图1（a）为本发明的目标分块示意图；

图1（b）为本发明的目标初始置信度；

图2为分块的循环矩阵视频跟踪方法流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

本发明提出了一种分块的循环矩阵视频跟踪方法。本发明利用分治思想，采用将目标分块的方式进行跟踪，充分利用了目标的空间分布信息，提高了目标跟踪的鲁棒性。本算法首先将目标分成3×3个子目标，然后分别对每个子目标进行循环矩阵跟踪，对于每个子目标的跟踪结果，赋予不同的置信度，最后，根据这些子目标跟踪结果及置信度得到目标的真实位置。

如图1和图2所示，分块的循环矩阵视频跟踪方法包含以下步骤：

1）用一个矩形图像像素集来表示目标O，目标O大小为h×w，将目标O分成3×3个相同大小的子目标，并对每个子目标进行加余弦窗预处理；

2）对每个子目标进行循环矩阵跟踪，得到每个子目标的跟踪结果；

3）按如下公式更新每个子目标跟踪结果的置信度，

$C_t^i={\mathrm{\λ}}_w{C}_{t-1}^i+(1-{\mathrm{\λ}}_w){\hat{C}}_t^i$

式中，λ_w是滤波系数，取值在0至1之间，是在当前帧中，子目标i的估计权值，是在前一帧中，子目标i的估计权值，更新全部子目标的置信度之后，进行归一化处理；

4）根据每个子目标的跟踪结果和置信度，计算目标的真实位置(x_t,y_t)，

$x_t={\mathrm{\Σ}}_{i=1}^N{C}_t^i{x}_t^i$

$y_t={\mathrm{\Σ}}_{i=1}^N{C}_t^i{y}_t^i.$

所述的步骤1）为：

（1）将目标O分成3×3个相同大小的子目标，用表示分块之后的目标模板，其中，N＝9，表示子目标i的在第t帧的位置，是子目标i的估计权值，它表示子目标i跟踪结果的可信程度，称作置信度，满足条件：

（2）将目标O分块之后，对每个子目标，选取一个包含该子目标的图像块进行加余弦窗预处理，图像块的大小为{h/3,w/3}×(1+β)，其中，β是一个常数，取值为1，对该图像块进行加余弦窗预处理的公式为：

$x_{\mathrm{ij}}=(x_{\mathrm{ij}}^{\mathrm{raw}}-0.5)\sin (\mathrm{\πi}/n)\sin (\mathrm{\πj}/n),\∀i,j=0,...,n-1.$

式中，为图像块中坐标(i,j)处的原像素值，x_ij为对图像块进行预处理之后的像素值，图像块大小为n×n。

所述的步骤2）中，对每个子目标进行循环矩阵跟踪的具体方法如下：

（1）计算训练样本标记矩阵y的初始值，其中，训练样本标记矩阵y的元素y_ij为：

$y_{\mathrm{ij}}=\exp (-({(i-i^{\′})}^2+{(j-j^{\′})}^2)/s^2),\∀i,j=0,...,n-1$

式中，s为带宽，(i′,j′)为该子目标初始位置的中心坐标；

（2）以前一帧图像的目标位置为中心，在当前帧图像中截取一个图像块x，图像块x的大小为该子目标大小的(1+β′)倍，β′为一个常数，然后计算图像块x的高斯核函数矩阵κ(x,z)，公式为：

k＝exp(-1/σ²(‖x‖²+‖z‖²-2F^-1(F(x)⊙F^*(z))))

式中，z是前一帧图像中包含该子目标并具有循环结构的图像块，F和F^-1分别为傅里叶变换和逆变换，利用快速傅里叶变换进行运算，⊙是对应项相乘，*表示复共轭，σ＝0.2，如果当前帧图像为视频的第1帧图像，则有z=x；

（3）计算核正则化最小二乘分类器的α值，

$\mathrm{\α}=F^{-1}\left(\frac{F\left(y\right)}{F\left(k\right)+\mathrm{\λ}}\right)$

式中，λ为正则化参数，y为训练样本标记矩阵，k为高斯核函数矩阵；

（4）通过滑动窗口的方式得到图像块x的所有子窗口，循环矩阵跟踪算法利用高斯核函数的循环结构同时计算所有子窗口的响应

响应最大的子窗口即为该子目标的真实位置；

（5）根据当前帧中该子目标的真实位置，更新α和z，

α＝(1-ξ)α+ξα′

z＝(1-ξ)z+ξz′

其中，α和z是前一帧的值，α′和z′当前帧的值，ξ为线性插值系数；

（6）读入下一帧图像，跳转到步骤（2）处进行下一帧处理。

所述的步骤3）中的的估算公式为：

${\hat{C}}_t^i={\mathrm{\η}}_t^i\frac{1}{1+e^{{\mathrm{\λ}}_D(\mathrm{mdst}(L_t^i,L_t^j)-T_D)}}$

式中，是所有子窗口的响应；表示该子目标的位置同其他子目标位置的欧氏距离的均值；λ_D是一个常数，取值为0.25，T_D是一个常数，取值在20至50之间。

实施例1

一种分块的循环矩阵跟踪方法，包括以下步骤：

1）读入一段视频的初始图像帧，初始化目标位置参数{x,y,w,h}，其中{x,y}为目标左上角像素点的坐标，w和h表示目标的宽度和高度。

2）如图1（a）所示，对目标进行分块，并初始化子目标块的置信度，如图1（b）所示。

3）将目标分块之后，对每个子目标，选取一个包含该子目标的图像块进行加余弦窗预处理，图像块的大小为{h/3,w/3}×(1+β)，其中，β＝1，对该图像块进行加余弦窗预处理：

$x_{\mathrm{ij}}=(x_{\mathrm{ij}}^{\mathrm{raw}}-0.5)\sin (\mathrm{\πi}/n)\sin (\mathrm{\πj}/n),\∀i,j=0,...,n-1$

式中，为图像块中坐标(i,j)处的原像素值，x_ij为对图像块进行预处理之后的像素值，图像块大小为n×n。

4）计算训练样本标记矩阵y的初始值，这里，矩阵y的元素y_ij为：

$y_{\mathrm{ij}}=\exp (-({(i-i^{\′})}^2+{(j-j^{\′})}^2)/s^2),\∀i,j=0,...,n-1$

式中，s＝1/16，(i′,j′)为目标初始位置的中心坐标。

5）对每个子目标，以该子目标在前一帧图像中的位置为中心，在当前帧图像中截取一个图像块x，图像块x的大小为该子目标大小的(1+β′)倍，β′＝1，然后计算图像块x的高斯核函数矩阵κ(x,z)，公式为：

k＝exp(-1/σ²(‖x‖²+‖z‖²-2F^-1(F(x)⊙F^*(z))))

式中，z是前一帧图像中，一个包含目标，并具有循环结构的图像块，F和F^-1分别为傅里叶变换和逆变换，利用快速傅里叶变换进行运算，⊙是对应项相乘，*表示复共轭，σ＝0.2，如果当前帧图像为视频的第1帧图像，则有z=x；

6）计算每个子目标的核正则化最小二乘分类器的α值，

$\mathrm{\α}=F^{-1}\left(\frac{F\left(y\right)}{F\left(k\right)+\mathrm{\λ}}\right)$

式中，λ＝0.01，为正则化参数，矩阵y为训练样本标记矩阵，k为高斯核函数矩阵。

7）通过滑动窗口的方式得到图像块x的所有子窗口，循环矩阵跟踪算法利用高斯核函数的循环结构同时计算所有子窗口的响应

响应最大的子窗口即为目标的真实位置

8）根据当前帧中目标的真实位置，更新α和z，

α＝(1-ξ)α+ξα′

z＝(1-ξ)z+ξz′

其中，α和z是前一帧的值，α′和z′当前帧的值，ξ＝0.075，为线性插值系数。

9）更新每个子目标跟踪结果的置信度

$C_t^i={\mathrm{\λ}}_w{C}_{t-1}^i+(1-{\mathrm{\λ}}_w){\hat{C}}_t^i$

式中，λ_w＝0.95，是滤波系数，,是在当前帧中，子目标i的估计权值，其估算方法为：

${\hat{C}}_t^i={\mathrm{\η}}_t^i\frac{1}{1+e^{{\mathrm{\λ}}_D(\mathrm{mdst}(L_t^i,L_t^j)-T_D)}}$

式中，是所有子窗口的响应；表示该子目标的位置同其他子目标位置的欧氏距离的均值；λ_D是一个常数，取值为0.25，T_D＝25。

11）重复步骤5）至步骤9），直到9个子目标均已处理完毕。

12）根据每个子目标的跟踪结果和置信度计算目标的真实位置(x_t,y_t)：

$x_t={\mathrm{\Σ}}_{i=1}^N{C}_t^i{x}_t^i$

$y_t={\mathrm{\Σ}}_{i=1}^N{C}_t^i{y}_t^i.$

13）判断是否为视频最后一帧，如果是的话，整个算法流程结束，不是的话，读入下一帧图像，然后，转到步骤3）。

以上所述仅为本发明的较佳实施例而已，并不以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种分块的循环矩阵视频跟踪方法，其特征在于，包含以下步骤：

1)用一个矩形图像像素集来表示目标O，目标O大小为h×w，将目标O分成3×3个相同大小的子目标，并对每个子目标进行加余弦窗预处理；

2)对每个子目标进行循环矩阵跟踪，得到每个子目标的跟踪结果；

3)按如下公式更新每个子目标跟踪结果的置信度，

$C_t^i={\mathrm{\λ}}_w{C}_{t-1}^i+(1-{\mathrm{\λ}}_w){\hat{C}}_t^i$

式中，λ_w是滤波系数，取值在0至1之间，是在当前帧中，子目标i的估计权值，是在前一帧中，子目标i的估计权值，更新全部子目标的置信度之后，进行归一化处理；

的估算公式为：

${\hat{C}}_t^i={\mathrm{\η}}_t^i\frac{1}{1+e^{{\mathrm{\λ}}_D\left(mdst\right(L_t^i,L_t^j)-T_D)}}$

式中， 是所有子窗口的响应；表示该子目标的位置同其他子目标位置的欧氏距离的均值，其中分别表示子目标i和j在第t帧的位置；λ_D是一个常数，取值为0.25，T_D是一个常数，取值在20至50之间；

4)根据每个子目标的跟踪结果和置信度，计算目标的真实位置(x_t,y_t)，

$x_t={\mathrm{\Σ}}_{i=1}^N{C}_t^i{x}_t^i$

$y_t={\mathrm{\Σ}}_{i=1}^N{C}_t^i{y}_t^i$

其中：上标N表示i的上限值，分别为子目标i在第t帧的横坐标和纵坐标。

2.根据权利要求1所述的一种分块的循环矩阵视频跟踪方法，其特征在于，所述的步骤1)为：

(1)将目标O分成3×3个相同大小的子目标，用表示分块之后的目标模板，其中，N＝9，表示子目标i的在第t帧的位置，是子目标i的估计权值，它表示子目标i跟踪结果的可信程度，称作置信度，满足条件：

(2)将目标O分块之后，对每个子目标，选取一个包含该子目标的图像块进行加余弦窗预处理，图像块的大小为{h/3,w/3}×(1+β)，其中，β是一个常数，取值为1，对该图像块进行加余弦窗预处理的公式为：

$x_{ij}=(x_{ij}^{raw}-0.5)sin(\mathrm{\π}i/n)sin(\mathrm{\π}j/n),\∀i,j=0,...,n-1.$

式中，为图像块中坐标(i,j)处的原像素值，x_ij为对图像块进行预处理之后的像素值，图像块大小为n×n，n为图像块边长对应的子目标个数。

3.根据权利要求2所述的一种分块的循环矩阵视频跟踪方法，其特征在于，所述的步骤2)中，对每个子目标进行循环矩阵跟踪的具体方法如下：

(1)计算训练样本标记矩阵y的初始值，其中，训练样本标记矩阵y的元素y_ij为：

$y_{ij}=\exp (-({\left(i-i^{\′}\right)}^2+{\left(j-j^{\′}\right)}^2)/s^2),\∀i,j=0,...,n-1$

式中，s为带宽，(i′,j′)为该子目标初始位置的中心坐标；

(2)以前一帧图像的目标位置为中心，在当前帧图像中截取一个图像块x，图像块x的大小为该子目标大小的(1+β′)倍，β′为一个常数，然后计算图像块x的高斯核函数矩阵κ(x,z)，公式为：

k＝exp(-1/σ²(||x||²+||z||²-2F^-1(F(x)⊙F^*(z))))

式中，z是前一帧图像中包含该子目标并具有循环结构的图像块，F和F^-1分别为傅里叶变换和逆变换，利用快速傅里叶变换进行运算，⊙是对应项相乘，*表示复共轭，σ＝0.2，如果当前帧图像为视频的第1帧图像，则有z＝x；

(3)计算核正则化最小二乘分类器的α值，

$\mathrm{\α}=F^{-1}\left(\frac{F\left(y\right)}{F\left(k\right)+\mathrm{\λ}}\right)$

式中，λ为正则化参数，y为训练样本标记矩阵，k为高斯核函数矩阵；

(4)通过滑动窗口的方式得到图像块x的所有子窗口，循环矩阵跟踪算法利用高斯核函数的循环结构同时计算所有子窗口的响应

响应最大的子窗口即为该子目标的真实位置；

(5)根据当前帧中该子目标的真实位置，更新α和z，

α＝(1-ξ)α+ξα′

z＝(1-ξ)z+ξz′

其中，α和z是前一帧的值，α′和z′当前帧的值，ξ为线性插值系数；

(6)读入下一帧图像，跳转到步骤(2)处进行下一帧处理。