CN101650829A - 一种基于灰度约束的协方差矩阵跟踪方法 - Google Patents

Abstract

本发明属于图像检测技术领域，涉及一种基于灰度约束的协方差矩阵跟踪方法，包括下列步骤，对于一副图像，框选矩形区域作为目标模型进行跟踪；计算目标模型的每个点的灰度值；提取目标模型的每个点的特征向量；计算目标模型的协方差矩阵；在后继帧中，以目标模型为中心长宽各扩大后得到跟踪窗口，选取候选目标，检查是否满足灰度约束；对于满足灰度约束的候选目标，计算它与目标模型的协方差矩阵的差异值，差异值最小的候选目标区域即为被跟踪目标的位置。本发明具有目标定位更准确、跟踪速度更快、实时性更强的优点。

Description

一种基于灰度约束的协方差矩阵跟踪方法

技术领域

本发明属于图象检测技术领域，涉及一种可用于实时视频监控的运动目标跟踪方法。

背景技术

本发明中涉及到的背景技术有：

(1)协方差矩阵跟踪算法(见文献[1])：协方差矩阵跟踪算法对输入视频序列逐帧找出目标区域的特征，并使用协方差矩阵对目标进行特征建模，然后根据协方差矩阵找出最佳特征匹配区域。这种方法很好的实现了目标多特征的融合，对旋转、尺度缩放以及亮度变化都有很强的适应性。

(2)Mean shift算法(见文献[2])：Mean shift算法是一种非参数概率密度估计算法，一般采用直方图对目标进行建模，然后通过相似性度量Bhattacharyya系数，最终实现目标的匹配和跟踪。其计算简单，鲁棒性较强，具有良好的实时性，被广泛应用于运动目标的跟踪。但由于Mean shift方法中核函数直方图对目标的特征描述比较弱，故在对灰度图像或者纹理信息较少图像的目标跟踪时，尤其是当目标和背景的颜色相近时，不能取得理想的跟踪结果。

发明内容

本发明的目的在于客服现有技术的上述不足，提供一种高效、鲁棒的目标跟踪方法。可以用于各种实时性要求较高的视频监控领域。

为此，本发明采用如下的技术方案：一种基于灰度约束的协方差矩阵跟踪方法，包括下列步骤：

(1)对于视频序列的一副图像，框选一长为M像素，宽为N像素的矩形区域作为目标模型进行跟踪。

(2)利用下列公式计算目标模型的每个点的灰度值g_k，并计算目标模型的所有点的灰度值的平均值，g_k＝0.2989*R_k+0.5870*G_k+0.1140*B_kk∈[1，...，MN]，其中，R_k为红色通道的值，G_k为绿色通道的值，B_k为蓝色通道的值；

(3)提取目标模型的每个点的特征向量f_k＝[x，y，R，G，B，G_x，G_y]，并计算目标模型的所有点的平均特征向量μ_R，其中，x，y分别代表一个像素点的x轴和y轴坐标，R，G，B分别代表它红、绿、蓝三个通道的值。G_x，G_y分别是它的x轴和y轴方向灰度的梯度值；

(4)计算目标模型的协方差矩阵C_R， $C_R=\frac{1}{\mathrm{MN}}\underset{k=1}{\overset{\mathrm{MN}}{\mathrm{\Σ}}}(f_k-{\mathrm{\μ}}_R){(f_k-{\mathrm{\μ}}_R)}^T;$

(5)在后继帧中，以目标模型为中心长宽各扩大后得到跟踪窗口，选取其中任意M×N大小的区域作为候选目标，按照步骤(2)给出的方法计算候选目标的所有点的灰度均值，检查是否满足下列灰度约束：候选目标与目标模型的灰度值平均值之差的绝对值比上目标模型的灰度均值小于设定阈值；

(6)对于满足灰度约束的候选目标，计算它与目标模型的协方差矩阵的差异值 $\mathrm{\ρ}(C_i,C_j)=\sqrt{\underset{k=1}{\overset{d}{\mathrm{\Σ}}}{\ln }^2{\mathrm{\λ}}_k(C_i,C_j)},$ 差异值最小的候选目标区域即为被跟踪目标的位置，其中，λ_k(C_i，C_j)是协方差矩阵C_i和C_j的广义特征值：λ_kC_ix_k-C_jx_k＝0  k＝1...d，x_k是协方差矩阵C_i和C_j的广义特征向量。

本发明在传统的协方差矩阵跟踪方法的基础上，结合灰度约束和协方差矩阵的相关性度量来计算区域间的匹配程度，使得在目标与背景相似时，目标定位更准确；此外，由于查找匹配区域前首先排除了不满足灰度约束的候选目标，因此大幅降低了匹配计算量，有更快的跟踪速度，实时性更强。

本发明是对传统协方差矩阵跟踪方法的改进，能很好的实现目标多特征的融合，对旋转、尺度缩放以及亮度变化都有很强的适应性。与传统协方差矩阵跟踪方法和meanshift跟踪方法相比，本发明有如下优点：首先，本发明根据相邻帧之间目标的灰度值变化较小的特点，利用灰度约束直接排除大部分不满足要求的候选目标，可以大大减少目标匹配的计算量，与未采用灰度约束的协方差矩阵跟踪相比，跟踪速度更快(本专利实验中提高了53.16％)。其次，本发明除了通过协方差矩阵的相关性度量来计算区域间的匹配程度，还同时利用了灰度信息，故在目标与背景相似时，目标定位比传统协方差矩阵跟踪方法更准确。而相对mean shift算法来讲，由于后者要求被标记的物体特征明显，故在目标与背景相似时，本发明对目标定位的准确率更高。

附图说明

图1基于灰度约束的协方差矩阵跟踪方法总体流程图。

图2选取目标。

图3跟踪目标的搜索窗口范围。

图4标出跟踪目标。

图5是对一段从室外获取的行人运动的视频使用本发明和传统协方差矩阵跟踪方法的实验结果比较。其中，由上至下的6幅图分别对应实验视频的第1，21，51，86，91，116帧。(a)是传统协方差矩阵跟踪的结果，(b)是本发明的实验结果。

具体实施方式

本发明对视频序列中的每一帧图像，在协方差矩阵跟踪的基础上加入灰度约束的方法。具体地，本发明采用协方差矩阵对跟踪目标进行描述，并利用灰度约束来筛选出候选目标，进而用协方差矩阵的差异值来判断候选目标和跟踪目标的匹配程度，最后根据匹配程度对跟踪目标进行定位。

本发明是基于灰度约束的协方差矩阵跟踪方法，图1为总体流程图，具体包括以下步骤：

1.选择跟踪目标

如图2所示，在图像中选择一个目标。图2中实线矩形区域为所选中被跟踪目标的初始位置，长为M像素，宽为N像素。此矩形区域被称为目标模型。

2.计算目标模型的灰度值

按照下面的公式(1)计算图2矩形区域中每个点的灰度值g_k，并按照公式(2)求出所有点的灰度值的平均值T。

g_k＝0.2989*R_k+0.5870*G_k+0.1140*B_k  k∈[1，...，MN](1)

R_k为红色通道的值，G_k为绿色通道的值，B_k为蓝色通道的值；MN为目标模型中像素点的个数。

$T=\frac{1}{\mathrm{MN}}\underset{k=1}{\overset{\mathrm{MN}}{\mathrm{\Σ}}}{g}_k---\left(2\right)$

3.提取目标模型的每个点的特征向量f_k，并计算目标模型的所有点的平均特征向量μ_R。

按照公式(3)提取图2矩形区域每个点的特征向量f_k，并且按照公式(6)计算所有点的平均特征向量μ_R。

f_k＝[x，y，R，G，B，G_x，G_y]      (3)

其中x、y分别代表一个像素点的的x轴和y轴坐标，R、G、B分别代表它红、绿、蓝三个通道的值。G_x、G_y分别是它的x轴和y轴方向灰度的梯度值。设点(x，y)处的灰度值为g(x，y)，则

G_x＝g(x+1，y)-g(x-1，y)          (4)

G_y＝g(x，y+1)-g(x，y-1)          (5)

${\mathrm{\μ}}_R=\frac{1}{\mathrm{MN}}\underset{k=1}{\overset{\mathrm{MN}}{\mathrm{\Σ}}}{f}_k---\left(6\right)$

4.计算目标模型的协方差矩阵C_R。

用特征点的协方差矩阵C_R来表示M×N的矩形区域，计算计算目标模型的协方差矩阵：

$C_R=\frac{1}{\mathrm{MN}}\underset{k=1}{\overset{\mathrm{MN}}{\mathrm{\Σ}}}(f_k-{\mathrm{\μ}}_R){(f_k-{\mathrm{\μ}}_R)}^T---\left(7\right)$

其中f_k是一个点的特征向量，μ_R是所有点的平均特征向量。

5.在后继帧中，搜索窗口(跟踪窗口)定义为以目标模型为中心的M×h×N×h的大小，对跟踪窗口内每一个候选目标，计算所有点的灰度值之和T_i，检查是否满足灰度约束。

图3所示的大的虚线矩形区域是M×h×N×h的搜索窗口。对这个范围内的所有M×N的矩形区域(即候选目标，如图3中小的虚线矩形区域)，计算它的灰度和，并根据下列的公式(8)检查是否满足灰度约束。灰度约束是指候选目标与目标模型的灰度值平均值之差的绝对值比上目标模型的灰度均值要小于已知阈值。若满足，该候选目标被保留，否则，该候选目标被排除，并继续扫描下一个候选目标，以此方式遍历所有的候选目标。

$\frac{|T_i-T|}{T}<\mathrm{\&delta;}---\left(8\right)$

其中T_i是候选目标的所有点的灰度均值，T是目标模型的所有点的灰度均值，δ是已知阈值。如果满足此公式，T_i被做为候选目标保留，否则T_i被排除。

6.对于所有满足灰度约束的候选目标，按照下列的公式(9)计算它们与目标模型的协方差矩阵的差异值ρ(C_i，C_j)。差异值最小的候选目标即是跟踪目标的具体位置。

与目标模型的协方差矩阵的差异值(9)最小的候选目标就是跟踪的目标，用实线矩形把它标出，如图4。

$\mathrm{\&rho;}(C_i,C_j)=\sqrt{\underset{k=1}{\overset{d}{\mathrm{\&Sigma;}}}{\ln }^2{\mathrm{\&lambda;}}_k(C_i,C_j)}---\left(9\right)$

其中λ_k(C_i，C_j)是协方差矩阵C_i和C_j的广义特征值。

λ_kC_ix_k-C_jx_k＝0  k＝1...d    (10)

其中λ_k是协方差矩阵C_i和C_j的广义特征值，x_k是协方差矩阵C_i和C_j的广义特征向量。

图5是对一段从室外获取的行人运动的视频使用本发明和传统协方差矩阵跟踪方法的实验结果比较。其中，由上至下的6幅图分别对应实验视频的第1，21，51，86，91，116帧。(a)是传统协方差矩阵跟踪的结果，(b)是本发明的实验结果。可以看出在目标与背景差异明显时，如1，21，51帧，两种方法的结果相近，但是当目标与背景差别较小时，如86，91，116帧，当人的衣着和周围颜色区分不明显，本发明有更准确的空间定位。

此外，在运行速度上本发明的优势明显，能达到实时要求。实验视频共138帧，本发明运行时间5.703s，跟踪速度可达24.2fps，而标准方法运行时间8.734s，速度为15.8fps。本发明的跟踪速度提高了53.16％。

参考文献

[1]F.Porikli，O.Tuzel，P.Meer，“使用基于黎曼流形上的均值的模型更新的协方差矩阵跟踪Covariance Tracking using Model Update Based on Means on Riemannian Manifolds”，Proc.IEEE Conf.on Computer Vision and Pattern Recognition.NewYork，NY.

[2]D.Comaniciu，V.Ramesh，and P.Meer，“基于核的目标跟踪Kernel-Based ObjectTracking”，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.25，No.5，2003，pp.564-575.

Claims (1)

1.一种基于灰度约束的协方差矩阵跟踪方法，包括下列步骤：

(1)对于视频序列的一副图像，框选一长为M像素，宽为N像素的矩形区域矩形区域作为目标模型进行跟踪。

(2)利用下列公式计算目标模型的每个点的灰度值g_k，并计算目标模型的所有点的灰度值的平均值，g_k＝0.2989*R_k+0.5870*G_k+0.1140*B_k k∈[1，...，MN]，其中，R_k为红色通道的值，G_k为绿色通道的值，B_k为蓝色通道的值；

(3)提取目标模型的每个点的特征向量f_k＝[x，y，R，G，B，G_x，G_y]，并计算目标模型的所有点的平均特征向量μ_R，其中，x，y分别代表一个像素点的x轴和y轴坐标，R，G，B分别代表它红、绿、蓝三个通道的值。G_x，G_y分别是它的x轴和y轴方向灰度的梯度值；

(4)计算目标模型的协方差矩阵C_R，

(5)在后继帧中，以目标模型为中心长宽各扩大后得到跟踪窗口，选取其中任意M×N大小的区域作为候选目标，按照步骤(2)给出的方法计算候选目标的所有点的灰度均值，检查是否满足下列灰度约束：候选目标与目标模型的灰度值平均值之差的绝对值比上目标模型的灰度均值小于设定阈值；

(6)对于满足灰度约束的候选目标，计算它与目标模型的协方差矩阵的差异值

差异值最小的候选目标区域即为被跟踪目标的位置，其中，λ_k(C_i，C_j)是协方差矩阵C_i和C_j的广义特征值：λ_kC_ix_k-C_jx_k＝0 k＝1...d，x_k是协方差矩阵C_i和C_j的广义特征向量。

Images