CN103077531A - 基于边缘信息的灰度目标自动跟踪方法 - Google Patents

Abstract

一种基于边缘信息的灰度目标自动跟踪方法，步骤为：(1)对灰度目标图像进行预处理，包括图像去噪和Sobel微分算子滤波；(2)利用预处理后的灰度目标图像建立边缘信息特征空间；(3)提取目标边缘信息作为特征模版；(4)利用目标直方图计算候选目标的反向投影，并以此描述候选目标；(5)利用Kalman滤波器预测当前帧中目标的起始搜索位置；(6)利用Mean Shift方法在Kalman滤波器预测的目标起始位置附近搜索目标的最优位置；(7)结合Canny算子对目标区域进行更新。本方法充分利用目标的边缘信息，在目标形状、尺寸、灰度分布以及背景发生变化的情况下，实现了对灰度目标快速、稳健的跟踪。

Description

基于边缘信息的灰度目标自动跟踪方法

技术领域

本发明涉及一种灰度目标自动跟踪方法，特别适用于解决灰度图像序列中目标自动跟踪的问题。属于图像处理技术领域。 

背景技术

目标跟踪已经被广泛地应用于计算机视觉、监控系统、民用安检和精确制导等领域。目标跟踪的本质是确定目标在图像序列中的位置和几何信息。目前，国内外对于彩色目标的跟踪方法已经做了很多工作，提出了不少有效的跟踪方法，例如模版匹配方法、信任域方法、Mean Shift方法及粒子滤波方法等。其中，Mean Shift方法作为一种性能出色的跟踪方法，在彩色目标跟踪领域已经得到了较为广泛的应用。但与彩色目标相比，灰度目标所包含的信息较少，当采用灰度直方信息作为目标的特征空间时，Mean Shift方法的跟踪效果并不好，当目标的纹理、形状或尺寸发生改变时，往往会导致跟踪失败，并且跟踪过程很容易受到背景灰度变化的影响；此外，Mean Shift方法只在目标的邻域内有效，当目标运动速度较快时，无法进行有效跟踪。为了解决上述问题，可考虑先采用Kalman滤波器对目标位置进行预测，再在Mean Shift方法中用灰度目标的边缘信息作为描述目标的特征，从而增强跟踪方法的稳健性，并提高跟踪方法的效率。 

发明内容

本发明的目的在于提出一种基于边缘信息的灰度目标自动跟踪方法，该方法在Mean Shift跟踪算法的基础上，摒弃采用目标灰度信息作为特征空间的方法，而是充分利用目标的边缘信息，并结合Kalman滤波器对目标位置进行预测，实现了对形状、纹理、尺寸及背景均有变化的灰度目标的快速、稳健跟踪。 

本发明不涉及目标检测部分，假设在初始帧图像中，已确定目标区域的大小和位置，为一个包含目标像素的最小矩形框。若将图像序列中第k帧图像称为当前帧，则k-1帧图像称为前一帧。 

本发明提出了一种基于边缘信息的灰度目标自动跟踪方法，通过以下技术方案实现： 

步骤1、对灰度目标图像进行预处理，包括图像去噪和微分算子滤波处理； 

步骤2、利用预处理后的灰度目标图像建立边缘信息特征空间； 

步骤3、基于灰度目标图像特征空间，提取目标边缘信息作为特征模版； 

步骤4、利用目标直方图计算候选目标的反向投影，并以此描述候选目标； 

步骤5、当第k-1帧跟踪结束后，利用Kalman滤波器预测第k帧目标的起始搜索位置； 

步骤6、利用Mean Shift方法在Kalman滤波器预测的目标起始位置附近搜索第k帧目标的最优位置； 

步骤7、结合Canny算子对目标区域进行更新。 

本发明提出了一种基于边缘信息的灰度目标自动跟踪方法，具体实现步骤如下： 

步骤1、对灰度目标图像进行预处理，包括图像去噪和微分算子滤波处理。 

针对灰度目标图像噪声强、背景杂波大等特点，本发明首先对每一帧灰度目标图像进行预处理，以减少噪声和背景的干扰。预处理过程的实现方法如下： 

（1）灰度目标图像中最常见的噪声是高斯噪声和椒盐噪声。根据噪声种类的不同，采用不同的平滑方法。对于高斯噪声，选择高斯平滑方法处理；而对于椒盐噪声，选择中值滤波方法处理。 

（2）利用一阶Sobel微分算子对去噪后的灰度目标图像x、y方向进行滤波处理，x方向选取的滤波器掩模为[-1 0 1]，y方向选取的滤波器掩模为[-1 0 1]^T，得到1幅x方向滤波灰度图像和1幅y方向滤波灰度图像。 

步骤2、利用预处理后的灰度目标图像建立边缘信息特征空间。 

本发明选择边缘信息作为灰度目标的特征空间，其构建方法如下： 

将每一帧目标图像经过预处理后得到的目标图像x方向滤波灰度图像和y方向滤波灰度图像作为RGB彩色图像的两个通道图像，再将x方向滤波灰度图像重复利用一次作为RGB彩色图像的第三个通道图像，合成一幅RGB彩色图像；将该RGB图像变换为HSV图像，限制其H、S及V通道的像素值范围分别为[0,180)、[30,256)和[10,256)，超出此范围的像素被剔除；提取HSV图像的H通道得到H色度图像，将该H色度图像作为灰度目标的特征空间。 

步骤3、基于灰度目标图像特征空间，提取目标边缘信息作为特征模版。 

步骤2中得到的灰度目标图像的特征空间包含了实现跟踪需要的边缘信息，基于此特征空间计算目标区域的直方图，作为灰度目标的特征模板。 

步骤4、利用目标直方图计算候选目标的反向投影，并以此描述候选目标。 

基于步骤3所得目标区域的直方图计算候选目标的反向投影图像。反向投影图像的像素值是观测数组在目标区域直方图下的概率。 

步骤5、当第k-1帧跟踪结束后，利用Kalman滤波器预测第k帧目标的起始搜索位置。 

目标在每一帧图像中的位置构成了目标运动的轨迹。Kalman滤波器作为一种有效的运动估计手段，可以对快速运动目标的位置进行预测。 

当第k-1帧跟踪结束后，本发明利用第k帧目标的起始搜索位置，实现方法如下： 

对于第k帧图像，Kalman滤波器的状态向量选取为X(k)＝[x(k)y(k)x′(k)y′(k)]^T，其中x(k)和y(k)分别表示目标中心的横坐标和纵坐标，x′(k)和y′(k)则分别表示目标中心在横坐标轴和纵坐标轴上的速度；测量向量为Y(k)＝[x_c(k)y_c(k)]^T，其中x_c(k)和y_c(k)分别表示目标中心在横坐标轴和纵坐标轴上的观测值。于是，状态模型可用下式表示 

X(k)＝A(k-1)X(k-1)    （1） 

观测模型为 

Y(k)＝C(k)X(k)        （2） 

则Kalman滤波器可以由以下两式表示 

$\left[\begin{array}{c}x\left(k\right)\\ y\left(k\right)\\ x^{\′}\left(k\right)\\ y^{\′}\left(k\right)\end{array}\right]=\left[\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x(k-1)\\ y(k-1)\\ x^{\′}(k-1)\\ y^{\′}(k-1)\end{array}\right]---\left(3\right)$

$\left[\begin{array}{c}{x}_c\left(k\right)\\ y_c\left(k\right)\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]\left[\begin{array}{c}x\left(k\right)\\ y\left(k\right)\\ x^{\′}\left(k\right)\\ y^{\′}\left(k\right)\end{array}\right]---\left(4\right)$

初始值设为X(0)＝[x₀ y₀ 0 0]，x₀和y₀表示初始帧目标的中心坐标。 

步骤6、利用Mean Shift方法在Kalman滤波器预测的目标起始位置附近搜索第k帧目标的最优位置。 

Mean Shift方法是一种基于核密度估计的跟踪方法，通过Mean Shift向量的迭代计算，可在当前帧中搜索到与目标模板特征分布最相似的候选目标，两者间的相似度用Bhattacharyya系数来度量。目标的定位过程实质上就是迭代计算Mean Shift向量使之小于阈值的过程。 

本发明中核函数选取为Epanechnikov核函数，设k(x)为其剖面函数，为 

$k\left(x\right)=\left\{\begin{array}{cc}1-x& x\≤1\\ 0& x>1\end{array}\right.---\left(5\right)$

Mean Shift向量定义为 

$M_{h,G}\left(x\right)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_{i}g\left({\left|\right|\frac{x-x_i}{h}\left|\right|}^2\right)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}g\left({\left|\right|\frac{x-x_i}{h}\left|\right|}^2\right)}-x_c---\left(6\right)$

其中{x_i}_i＝1...n为目标的像素集合，x_c为目标的中心像素，g(x)＝-k'(x)，由于本发明选取Epanechnikov核函数，此时g(x)＝1。 

候选目标{p_u}_{u＝1，...，m}与目标模版{q_u}_{u＝1，...,m}之间特征分布的Bhattacharyya系数定义为 

$\mathrm{\ρ}\left(y_c\right)=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{q_u\left(x_c\right)p_u\left(y_c\right)}---\left(7\right)$

目标最优定位就是要在当前帧中找到一个位置y使其可以最大化Bhattacharyya系数，这需要使Mean Shift向量为0。如果当前候选目标的位置为y₀，当Mean Shift向量为0时，可以得到新的候选目标的位置为 

$y_i=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{w}_{i}g\left({\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_{i}g\left({\left|\right|\frac{y_0-x_i}{h}\left|\right|}^2\right)}---\left(8\right)$

其中w_i为x_i对应的权值。 

目标最优定位过程实际上就是Mean Shift向量的迭代计算过程，方法如下： 

如果在当前帧中搜索的初始位置为y₀，那么重复以下步骤可得到目标的最优位置y₁： 

（1）计算y₀处候选目标的特征{p_u}_{u＝1，...，m}，计算 

$\mathrm{\ρ}\left(y_0\right)=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u\left(y_0\right)}\sqrt{q_u}$

（2）利用Mean Shift算法计算目标的新位置 

$y_1=\frac{{\mathrm{\Σ}}_{i=1}^{n_k}{x}_i{w}_{i}g\left({\left|\right|\frac{{\hat{y}}_0-x_i}{h}\left|\right|}^2\right)}{{\mathrm{\Σ}}_{i=1}^{n_k}{w}_{i}g\left({\left|\right|\frac{{\hat{y}}_0-x_i}{h}\left|\right|}^2\right)}$

（3）更新{p_u(y₁)}_{u＝1，...,m}，计算 

$\mathrm{\ρ}\left(y_1\right)=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u\left(y_1\right)}\sqrt{q_u}$

（4）如果||y₁-y₀||＜ε，则停止迭代计算，否则将y₁的值赋予y₀，转到第（2）步继续循环。 

其中ε是移动距离的门限值，本发明取为1。 

步骤7、结合Canny算子对目标区域进行更新。 

利用Mean Shift方法找到当前帧的目标位置后，取步骤2中合成的RGB图像，将其转换为灰度图像，并用Canny算子对该灰度图像进行边缘滤波，设置Canny算子的阈值上下限值分别为120和40，阈值上限用于控制强边缘的初始分割，阈值下限用于控制边缘连接。在边缘滤波所得二值图像的目标位置上选取尺寸为原目标区域1.2倍的区域，在此区域内搜索当前目标的边缘像素即可获得当前目标区域的精确位置和尺寸，完成对目标区域的更新。 

本发明的理论基础是Mean Shift方法和Kalman滤波方法，实现方法是步骤1-7，其完整的实现流程如图1所示。本发明的创新之处在于以下两点：首先，选取边缘信息作为目标特征，并采用一种新的目标特征提取方法，即将不同方向的Sobel滤波灰度图像合成为RGB图像并变换为HSV图像，继而提取其H通道 得到H色度图像作为特征空间；其次，结合Canny滤波算子对目标区域进行更新。 

本发明的优点及功效在于：基于边缘信息的灰度目标自动跟踪方法实现了在目标形状、灰度、尺寸以及背景发生变化的情况下，对灰度目标的稳健跟踪；同时，该方法还具有很好的实时性，具有很高的应用价值。 

附图说明

图1为本发明完整的实现流程框图。 

图2为本发明实施例中灰度目标序列的初始帧图像。 

图3为本发明实施例中的原始灰度目标图像序列。 

图4为本发明实施例中由Sobel滤波灰度图像合成的RGB图像序列。 

图5为本发明实施例中经过Canny边缘滤波后的目标边缘图像序列。 

图6为本发明实施例中得到的目标跟踪结果序列。 

具体实施方式

以下通过具体的实施例并结合附图对本发明的技术方案作进一步的描述。 

对一组目标的灰度分布、形状、尺寸及背景灰度均有变化的飞机灰度图像序列采用本发明的跟踪方法进行跟踪。图像尺寸为360×268，目标尺寸变化范围为39×26变化至13×41。初始帧图像如图2所示，窗口标出的部分为初始目标。原始灰度目标图像序列如图3所示。 

整个实施例的具体实现过程如下： 

步骤1、对灰度目标图像进行预处理，包括图像去噪和微分算子滤波处理。 

针对灰度目标图像噪声强、背景杂波大等特点，本发明首先对每一帧灰度目标图像进行预处理，以减少噪声和背景的干扰。预处理过程的实现方法如下： 

（1）本实施例中的灰度图像目标的噪声是常见的高斯噪声，选择高斯平滑方法进行处理，使用的滤波器掩膜为 $16\×\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right].$

（2）利用一阶Sobel微分算子对去噪后的灰度目标图像x、y方向进行滤波处理，x方向选取的滤波器掩模为[-1 0 1]，y方向选取的滤波器掩模为[-1 0 1]^T，得到1幅x方向滤波灰度图像和1幅y方向滤波灰度图像。 

步骤2、利用预处理后的灰度目标图像建立边缘信息特征空间。 

将每一帧目标图像经过预处理后得到的目标图像x方向滤波灰度图像和y方向滤波灰度图像作为RGB彩色图像的两个通道图像，再将x方向滤波灰度图像重复利用一次作为RGB彩色图像的第三个通道图像，合成一幅RGB彩色图像；将该RGB图像变换为HSV图像，限制其H、S及V通道的像素值范围分别为[0,180)、[30,256)和[10,256)，超出此范围的像素被剔除；提取HSV图像的H通道得到H色度图像，将该H色度图像作为灰度目标的特征空间。由Sobel滤波灰度图像合成的RGB图像序列如图4所示。 

步骤3、基于灰度目标图像特征空间，提取目标边缘信息作为特征模版。 

基于步骤2中所得灰度目标图像的特征空间，计算目标区域的直方图，作为灰度目标的特征模板。 

步骤4、利用目标直方图计算候选目标的反向投影，并以此描述候选目标。 

基于步骤3所得目标区域的直方图计算候选目标的反向投影图像，并以此描述候选目标。 

步骤5、当第k-1帧跟踪结束后，利用Kalman滤波器预测第k帧目标的起始搜索位置。 

对于第k帧图像，Kalman滤波器的状态向量选取为X(k)＝[x(k)y(k)x′(k)y′(k)]^T，其中x(k)和y(k)分别表示目标中心的横坐标和纵坐标，x′(k)和y′(k)则分别表示目标中心在横坐标轴和纵坐标轴上的速度；测量向量为Y(k)＝[x_c(k)y_c(k)]^T，其中x_c(k)和y_c(k)分别表示目标中心在横坐标轴和纵坐标轴上的观测值。则Kalman滤波器可以由以下两式表示 

$\left[\begin{array}{c}x\left(k\right)\\ y\left(k\right)\\ x^{\′}\left(k\right)\\ y^{\′}\left(k\right)\end{array}\right]=\left[\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x(k-1)\\ y(k-1)\\ x^{\′}(k-1)\\ y^{\′}(k-1)\end{array}\right]---\left(9\right)$

$\left[\begin{array}{c}{x}_c\left(k\right)\\ y_c\left(k\right)\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]\left[\begin{array}{c}x\left(k\right)\\ y\left(k\right)\\ x^{\′}\left(k\right)\\ y^{\′}\left(k\right)\end{array}\right]---\left(10\right)$

初始值设为X(0)＝[x₀ y₀ 0 0]，x₀和y₀表示初始帧目标的中心坐标。 

当当第k-1帧跟踪结束后，将所得的k-1帧目标中心的横坐标、纵坐标、在横坐标轴上的速度及在纵坐标轴上的速度作为Kalman滤波器的输入，即可计算出第k帧目标起始搜索点的横坐标和纵坐标。 

步骤6、利用Mean Shift方法在Kalman滤波器预测的目标起始位置附近搜索第k帧目标的最优位置。 

假设Kalman滤波器预测的目标起始位置为y₀，目标最优定位过程就是MeanShift向量的迭代计算过程，方法如下： 

（1）计算y₀处候选目标的特征{p_u}_{u＝1，...，m}，计算 

$\mathrm{\ρ}\left(y_0\right)=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u\left(y_0\right)}\sqrt{q_u}$

（2）利用Mean Shift算法计算目标的新位置 

$y_1=\frac{{\mathrm{\Σ}}_{i=1}^{n_k}{x}_i{w}_{i}g\left({\left|\right|\frac{{\hat{y}}_0-x_i}{h}\left|\right|}^2\right)}{{\mathrm{\Σ}}_{i=1}^{n_k}{w}_{i}g\left({\left|\right|\frac{{\hat{y}}_0-x_i}{h}\left|\right|}^2\right)}$

（3）更新{p_u(y₁)}_{u＝1，...,m}，计算 

$\mathrm{\ρ}\left(y_1\right)=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u\left(y_1\right)}\sqrt{q_u}$

（4）如果||y₁-y₀||＜ε，则停止迭代计算，否则将y₁的值赋予y₀，转到第（2）步继续循环。 

其中门限值ε取为1。 

步骤7、结合Canny算子对目标区域进行更新。 

利用Mean Shift方法找到当前帧的目标后，取步骤2中合成的RGB图像，将其转换为灰度图像，并用Canny算子对该灰度图像进行边缘滤波，设置Canny算子的阈值上下限值分别为120和40，阈值上限用于控制强边缘的初始分割，阈值下限用于控制边缘连接。在边缘滤波所得二值图像的目标位置上选取长和宽皆为原目标区域长和宽1.2倍的区域，在此区域内搜索当前目标的边缘像素即可获得当前目标区域的精确位置和尺寸，完成对目标区域的更新。经过Canny边 缘滤波后的目标边缘图像序列如图5所示。目标跟踪结果序列如图6所示。 

Claims (4)

1.本发明提出了一种基于边缘信息的灰度目标自动跟踪方法，该方法不涉及目标检测部分，并假设在初始帧图像中已确定目标区域的大小和位置，为一个包含目标像素的最小矩形框；若将图像序列中第k帧图像称为当前帧，则k-1帧图像称为前一帧；该方法的实现步骤如下：

步骤1、对灰度目标图像进行预处理，包括图像去噪和微分算子滤波处理；

步骤2、利用预处理后的灰度目标图像建立边缘信息特征空间；

步骤3、基于灰度目标图像特征空间，提取目标边缘信息作为特征模版；

步骤4、利用目标直方图计算候选目标的反向投影，并以此描述候选目标；

步骤5、当第k-1帧跟踪结束后，利用Kalman滤波器预测第k帧目标的起始搜索位置；

步骤6、利用Mean Shift方法在Kalman滤波器预测的目标起始位置附近搜索第k帧目标的最优位置；

步骤7、结合Canny算子对目标区域进行更新。

2.根据权利要求1所述方法，其步骤1中的特征在于：利用一阶Sobel微分算子对去噪后的灰度目标图像x、y方向进行滤波处理，x方向选取的滤波器掩模为[-1 0 1]，y方向选取的滤波器掩模为[-1 0 1]^T，得到1幅x方向滤波灰度图像和1幅y方向滤波灰度图像。

3.根据权利要求1所述方法，其步骤2中的特征在于：将按照权利要求2所述方法得到的目标图像x方向滤波灰度图像和y方向滤波灰度图像作为RGB彩色图像的两个通道图像，再将x方向滤波灰度图像重复利用一次作为RGB彩色图像的第三个通道图像，合成一幅RGB彩色图像；将该RGB图像变换为HSV图像，限制其H、S及V通道的像素值范围分别为[0,180)、[30,256)和[10,256)，超出此范围的像素被剔除；提取HSV图像的H通道得到H色度图像，将该H色度图像作为灰度目标的特征空间。

4.根据权利要求1所述方法，其步骤7中的特征在于：

利用Mean Shift方法找到当前帧的目标位置后，将按照权利要求2所述方法合成的RGB图像转换为灰度图像，并用Canny算子对该灰度图像进行边缘滤波，设置Canny算子的阈值上下限值分别为120和40；在边缘滤波所得二值图像的目标位置上选取尺寸为原目标区域1.2倍的区域，在此区域内搜索当前目标的边缘像素即可获得当前目标区域的精确位置和尺寸，完成对目标区域的更新。

Images