CN101739687A - 基于协方差矩阵的快速机动目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于协方差矩阵的快速机动目标跟踪方法，包括：提取目标的颜色、边缘、像素几何位置特征构建描述目标的协方差矩阵模型；利用遗传算法的快速寻优特性在大范围窗口内粗略搜索目标；在遗传算法获得的最佳个体附近邻域逐点搜索，依据协方差矩阵间的距离度量函数精确定位目标。本发明的基于协方差矩阵的快速目标跟踪方法融合了多种特征描述目标，可在复杂环境下稳定地跟踪目标，同时，将遗传算法的粗匹配与逐点精匹配相结合，缩短了计算时间，保障了大范围搜索快速机动目标的实时性。

Description

基于协方差矩阵的快速机动目标跟踪方法

技术领域

本发明涉及一种图像处理技术领域的目标跟踪方法，具体地说，是涉及一种基于协方差矩阵的快速机动目标跟踪方法。

背景技术

目标跟踪是计算机视觉领域的重要研究课题，在视频监控、协助驾驶、运动分析、人机交互等领域都有着广泛的应用。

目标跟踪经常遭遇的困难包括背景的混乱、目标被遮挡、目标尺寸变化等。目标跟踪的性能依赖于描述目标的特征模型。然而大多数跟踪算法都是利用单一特征来描述目标，如颜色、形状、纹理等。当一种特征不足以区分目标与背景的时候，单一特征在目标跟踪过程中很容易失效，尤其在复杂背景下该问题尤为突出。采用多种特征描述目标将增强特征模型的辨别能力，提高目标跟踪的稳定性。协方差矩阵在描述目标方面表现出了优异的性能。其主要优势在于可融合多维特征、实现全局搜索。该方法的具体内容请见参考文献1：Fatih Porikli，Oncel Tuzel，Peter Meer.Covariance tracking using model update based on Liealgebra.IEEE CVPR，2006.

快速机动目标运动的速度快，且速度变化较快。因此跟踪快速机动目标除了要克服背景的混乱、目标被遮挡、目标尺寸变化等难点外，还要扩大搜索窗口的范围以适应目标的快速运动。同时，搜索范围的扩大将直接导致计算量的增加，而整个应用系统除了目标跟踪还包括目标识别等其他任务，因此，分配给目标跟踪的处理时间有限。可以看出，快速机动目标跟踪方法需要具备以下特点：快速、全局搜索、能克服复杂环境。

发明内容

本发明的目的是克服快速机动目标跟踪过程中环境复杂、目标运动过快造成的目标匹配稳定度低、计算量大的问题，提供一种快速、稳定的应用于快速机动目标跟踪的有效方法。

为了实现上述目的，本发明提供了一种基于协方差矩阵的快速机动目标跟踪方法，包括：

(1)提取图像像素的几种特征

包括：R(x，y)，G(x，y)，B(x，y)三维颜色特征，各颜色分量的边缘特征E_R(x，y)，E_G(x，y)，E_B(x，y)，及像素的几何位置特征d(x，y)。

(2)随机采样

为了提高协方差矩阵的计算速度，不统计图像区域内的所有像素点，而从中随机抽取一定数量的样本，从而获得与区域大小无关的计算速度。本步骤所抽取的样本数N＝100。

(3)构造区域协方差矩阵

对于图像区域R，利用步骤(1)中所提取的七种特征，考虑随机抽取的N个样本，构造相关联的特征向量f_k，进而根据特征向量f_k计算其区域协方差矩阵C_R。协方差矩阵是一个对称矩阵，其对角线上的元素代表每个特征的方差，而非对角线上的元素代表了各个特征之间的相关性。

(4)协方差矩阵的距离度量

为了寻找与给定目标最相似的区域，需要计算目标模板与候选区域的协方差矩阵间的距离。然而，协方差矩阵不属于欧几里德空间，因此，对两个矩阵相减不能用来测量其距离。假定特征向量中没有完全相同的特征，则协方差矩阵为正定矩阵，因此由两个协方差矩阵间的广义特征值的对数平方和来计算其距离ρ。在每一帧图像，我们搜索与当前目标模板协方差矩阵距离最小的区域。这个最佳匹配位置定位了目标在当前帧的位置。

(5)遗传算法

为了克服大范围全局搜索实时性差的弊端，我们引入了遗传算法来加速搜索过程。遗传算法能利用简单的编码技术和繁殖机制来表现复杂的现象，从而可以解决非常困难的问题。而且由于它不受搜索空间限制性假设的约束，不必要求诸如单调、连续等假设，因此能以很大的概率快速找到全局最优解。本发明针对目标跟踪的特点，采用整数编码，以目标窗口与候选窗口的协方差矩阵间的距离值为适应度值，采用交叉、变异、选择、排序等遗传操作进行遗传搜索，最后输出粗匹配的最优值。

附图说明

图1为本发明的基于协方差矩阵的快速机动目标跟踪方法的流程图；

图2为本发明的基于协方差矩阵的快速机动目标跟踪方法的具体实现步骤流程图。

具体实施方式

下面结合附图和具体实施方式，对本发明的快速机动目标跟踪方法作进一步的说明。参考图1、图2，本发明的基于协方差矩阵的快速机动目标跟踪方法包含以下步骤：

步骤10、初始化目标模型，利用颜色、边缘、像素的几何位置等特征构建描述目标的协方差矩阵模型，本步骤的具体实现步骤如下：

步骤11、在第一帧图像中捕获目标，选择要跟踪的目标区域，以一矩形区域作为目标模板；

步骤12、提取模板图像的颜色、边缘、几何位置特征。以R(x，y)，G(x，y)，B(x，y)表达目标三维颜色特征，边缘特征的提取方法是将彩色图像分解为R，G，B三个通道的灰度图像，针对每个通道利用Sobel算子提取其边缘图像E_R(x，y)，E_G(x，y)，E_B(x，y)，X，Y方向的Sobel梯度可按下式检测：

A_xf(x，y)＝[f(x-1，y+1)+2f(x，y+1)+f(x+1，y+1)]

                                                (1)

-[f(x-1，y-1)+2f(x，y-1)+f(x+1，y-1)]

Δ_yf(x，y)＝[f(x-1，y-1)+2f(x-1，y)+f(x-1，y+1)]            (2)

-[f(x+1，y-1)+2f(x+1，y)+f(x+1，y+1)]

像素的几何位置特征为

(x′，y′)＝(x-x₀，y-y₀)，其中，(x′，y′)是像素相对与区域中心(x₀，y₀)的坐标；

步骤13、依据步骤12所提取的七维特征随机抽取样本点来计算图像区域的协方差矩阵；

对于M×N大小的图像区域R，构造相关联的特征向量f_k

f_k＝[R(x，y) G(x，y) B(x，y) d(x，y) E_R(x，y) E_G(x，y) E_B(x，y)]     (3)

采用均匀分布来实现随机采样，随机变量x的概率密度函数可以用公式(4)来表示：

$\mathrm{\&phi;}\left(x\right)=\left\{\begin{array}{cc}\frac{1}{b-a}& a<x<b\\ 0& \mathrm{othet}\end{array}\right.---\left(4\right)$

则该区域的协方差矩阵C_R可表示为

$C_R=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}(f_k-{\mathrm{\&mu;}}_R){(f_k-{\mathrm{\&mu;}}_R)}^T---\left(5\right)$

其中μ_R是区域R中各个像素点对应特征的均值；

步骤20、利用遗传算法的快速寻优特性克服大范围广域搜索实时性差的弊端，具体步骤如下：

步骤21、种群初始化。首先对当前帧图像上的各个点的横坐标和纵坐标的位置信息进行整数编码；然后采用抽样法，以固定间隔在当前帧图像上抽取M个点，形成初始种群R₁(x₁，y₁)，R₂(x₂，y₂)，...R_i(x_n，y_n)，i＝0，1，2...M；其中x、y分别为各点的横坐标值和纵坐标值；

步骤22、两个区域协方差矩阵间的距离由两个矩阵的广义特征值的对数平方和来计算，如下式：

$\mathrm{\&rho;}(C_i,C_j)=\sqrt{\underset{k=1}{\overset{d}{\mathrm{\&Sigma;}}}{\ln }^2{\mathrm{\&lambda;}}_k(C_i,C_j)}---\left(6\right)$

其中{λ_k(C_i，C_j)}是矩阵C_i与C_j的广义特征值，根据下式计算：|λC_i-C_j|＝0。ρ越小则两个协方差矩阵越相似。本发明以式(6)为适应度函数来计算每个个体的适应度值；

步骤23、通过选择、交叉、变异、排序等遗传操作进行遗传搜索：

需要说明的是，理论上来说，在遗传算法中，交叉操作的作用是主要的，变异操作的作用是次要的，所以在传统遗传操作中变异概率常常小于0.1。但由于本发明中交叉操作和变异操作具有特殊性，变异操作在搜索中起主要作用，故应预设一个较大的变异概率，一般要大于0.3；

步骤24、判断遗传操作是否满足终止条件，即判断迭代次数是否超过预设值，如果迭代次数超过预设值，则完成遗传操作，输出最佳个体位置，否则转至步骤22，重复遗传操作过程，迭代次数预设值根据搜索区域的大小进行确定；

步骤30、在基于遗传算法的粗匹配的基础上，在最佳个体附近进行精匹配，以获得目标精确定位。具体步骤如下：

步骤31、以步骤20粗略计算的目标位置为中心，遍历搜索其10×10的邻域，在每一位置划分出与目标相同大小的候选区域，对该区域运用步骤12、步骤13的方法求取候选区域的协方差矩阵；

步骤32、初始化协方差矩阵间最小距离为变量ρ_min＝99999，设目标最后输出坐标为OX、OY，循环遍历步骤31所述的每一候选区域，依据步骤22所述的协方差矩阵间度量准则，计算候选区域与目标模板之间的相似度ρ。若ρ_min＞ρ，则令ρ_min＝ρ，并将该候选区域位置赋给OX和OY；

步骤33、步骤32循环结束后，输出OX和OY。

Claims (7)

1.一种基于协方差矩阵的快速机动目标跟踪方法，包括如下步骤：

1)利用颜色、边缘、像素几何位置等特征构建描述目标的协方差矩阵模型：

1-1)提取图像像素的R，G，B三维彩色特征，提取各彩色通道的边缘特征以及像素的几何位置特征，用以上七维特征构建特征向量：

f_k＝[R(x，y) G(x，y) B(x，y) d(x，y) E_R(x，y) E_G(x，y) E_B(x，y)]

1-2)利用随机采样技术在图像区域内随机抽取N个采样点，利用这N个样本点的七种特征的方差和相关性构造区域协方差矩阵，作为目标的特征模型；

2)利用遗传算法的快速寻优特性，完成目标的粗定位，提高跟踪方法的实时性：

2-1)首先对当前帧图像上各个点的横坐标和纵坐标的位置信息进行整数编码；然后采用抽样法，对种群进行初始化；

2-2)计算两个协方差矩阵间的距离ρ作为遗传算法中个体的适应度值；

2-3)通过选择、交叉、变异、排序等遗传操作进行遗传搜索，当迭代次数达到设定阈值时，迭代终止，输出最佳个体位置，即粗定位；

3)在基于遗传算法的粗匹配的基础上，在最佳个体附近邻域逐点精匹配，从而获得与目标协方差矩阵最相似的位置，获得目标精确定位。

2.根据权利要求1所述的基于协方差矩阵的快速机动目标跟踪方法，其特征在于，在所述的步骤1-1)中，边缘和几何位置特征的计算包括：

1-1-1)依据R，G，B三个颜色通道分别利用Sobel边缘检测算子计算其梯度特征；

1-1-2)利用像素点到区域中心的距离描述各像素点的几何位置特征。

3.根据权利要求1所述的基于协方差矩阵的快速机动目标跟踪方法，其特征在于，在所述的步骤1-2)中，区域协方差矩阵的计算包括：

1-2-1)利用均匀分布函数实现图像区域内像素点的随机采样：

$\mathrm{\&phi;}\left(x\right)=\left\{\begin{array}{cc}\frac{1}{b-a}& a<x<b\\ 0& \mathrm{other}\end{array}\right.$

1-2-2)区域协方差矩阵的计算公式为：

$C_R=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}(f_k-{\mathrm{\&mu;}}_R){(f_k-{\mathrm{\&mu;}}_R)}^T$

其中f_k是步骤1-1)所构建的特征向量，μ_R是区域R中各个像素点对应特征的均值。

4.根据权利要求1所述的基于协方差矩阵的快速机动目标跟踪方法，其特征在于，在所述的步骤2-1)中，抽样法的计算具体如下：以固定间隔在当前帧图像上抽取M个点，形成初始种群R₁(x₁，y₁)，R₂(x₂，y₂)，...R_i(x_n，y_n)，i＝0，1，2...M；其中x、y分别为各点的横坐标值和纵坐标值。

5.根据权利要求1所述的基于协方差矩阵的快速机动目标跟踪方法，其特征在于，在所述的步骤2-2)中，协方差矩阵间的距离测度计算公式为：

$\mathrm{\&rho;}(C_i,C_j)=\sqrt{\underset{k=1}{\overset{d}{\mathrm{\&Sigma;}}}{\ln }^2{\mathrm{\&lambda;}}_k(C_i,C_j)}$

其中{λ_k(C_i，C_j)}是矩阵C_i与C_j的广义特征值。

6.根据权利要求3所述的基于协方差矩阵的快速机动目标跟踪方法，其特征在于，随机采样的样本数选择为100个。

7.根据权利要求1所述的基于协方差矩阵的快速机动目标跟踪方法，其特征在于，在所述的步骤2-3)中，定义了新的遗传操作算子包括：

2-3-1)交叉：定义交叉算子为直接交换两个父代个体的横坐标或者纵坐标，对两个父代个体A₀(x_a，y_a)和B₀(x_b，y_b)，交叉操作产生两个新个体：A₁(x_a，y_b)和新个体B₁(x_b，y_a)；

2-3-2)变异：定义变异算子为：

x′＝x+n    n∈[-N′，N′]

x为一个需要进行变异操作的基因，即个体的横坐标或纵坐标；x′为变异后基因，n为-N′～N′之间的一个随机常数，N′为固定值，根据待匹配图像的灰度确定。

Images