CN102737385A - 一种基于camshift和卡尔曼滤波的视频目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于CAMSHIFT和卡尔曼滤波的视频目标跟踪方法。该方法以搜索窗口为参数，使用卡尔曼滤波器预测搜索窗口Win；以Win为参数调用CAMSHIFT算法寻找目标，返回包含候选模型的窗口targetWin；计算targetWin和目标模型的相似度；若相似度大于给定阈值，则找到目标，返回目标窗口；若相似度不大于给定阈值，则将上一帧的目标窗口以及卡尔曼滤波器预测的距离代替enlarge作为扩大窗口的参数，调用自适应迭代搜索算法。通过该方法引入了相似度判定以及重定位技术，有效地解决了背景干扰，提高了跟踪的精度。

Description

一种基于CAMSHIFT和卡尔曼滤波的视频目标跟踪方法

技术领域

本发明涉及视频监控技术领域，尤其涉及一种基于CAMSHIFT和卡尔曼滤波的视频目标跟踪方法。

背景技术

随着计算机视觉技术的发展，运动视频目标跟踪技术已经成为武器制导、模式识别，计算机视觉等领域的重要课题。由于运动视频目标跟踪技术在军事和民用领域都有广阔的应用前景，国内外有许多学者从事这一课题的研究，并提出了许多经典的目标跟踪算法。运动视频目标跟踪把图像处理、计算机视觉和信息科学有机结合起来，形成了一种能从视频图像中实时地自动识别出目标，提取目标位置信息，自动跟踪目标的技术。由于现实环境具有复杂性，如目标被遮挡、背景中存在与目标特征相似的物体、光线亮度的变化、目标快速运动、背景物体的运动等问题，如何提高目标跟踪实时性、准确性和鲁棒性，解决复杂背景下的目标跟踪一直是人们研究的热点。

目前，国外学者对目标跟踪技术都进行了比较深入的研究。1994年，Jim Ivins等人提出用限制性主动区域模型对彩色图形序列进行快速跟踪的方法。1995年，YZ.Chen将无参估计理论应用到目标跟踪领域，提出基于Mean Shift算法的目标跟踪算法。1996年，S.Asaad在机器人视觉实验中运用边缘信息有效进行了目标跟踪。1997年，P.Fieguth和D.Terzopoulos1g等人进行了基于颜色的目标跟踪方法的研究。1998年，M.Kass等人提出用主动轮廓模型进行目标跟踪。2000年，Y.Zhong等人提出了基于可变形模板进行目标跟踪的方法。2001年，Gi-Jeong Jang等人提出用自适应颜色模型进行目标跟踪，同年Y.Bar-Shalom等人提出基于运动估计的估计跟踪算法。2003年，RyuzoOkada等人基于光流的边缘信息，进行了运动目标跟踪的研究。2007年，R.Venkatesh Babu等提出基于运动估计与颜色模型相结合的跟踪算法。

在Mean Shift跟踪算法中，通常核窗口由初始跟踪窗口的大小决定，而且在整个跟踪过程中不再发生变化。然而，当目标存在明显尺度变化的时候，尤其是当目标尺寸逐渐增大以至超出核窗宽范围的时候，固定不变的核窗宽常常会导致目标的丢失。

CAMSH IFT算法作为连续自适应的Mean Shift，通过自动调节核窗口大小以及被跟踪目标在图像中的大小从而可以有效地解决目标变形问题，但其算法也收敛于局部最大值，并没有对目标的相似度做判定。当CAMSHIFT的搜索窗口里面包含多个特征相似候选模型时，CAMSHIFT算法无法辨别是否出现干扰，经常出现跟踪精度不够的问题。而且，当目标运动物体缓慢地通过障碍物或进行快速无规则运动时，CAMSHIFT算法将很容易失效，导致目标跟踪丢失。同时，当目标瞬间有个较大的加速度或被遮挡时，CAMSHIFT跟踪算法容易失效。

发明内容

本发明的目的是为了克服现有技术的缺陷，提供一种基于CAMSHIFT和卡尔曼滤波的视频目标跟踪方法，通过该方法引入了相似度判定以及重定位技术，有效地解决了背景干扰，提高了跟踪的精度。

一种基于CAMSHIFT和卡尔曼滤波的视频目标跟踪方法，采用卡尔曼滤波方法先预测出搜索窗口，再结合自适应局部搜索算法进行CAMSHIFT跟踪，具体步骤如下：

step1：该方法以搜索窗口为参数，使用卡尔曼滤波器预测搜索窗口Win；

step2：以Win为参数调用CAMSHIFT算法寻找目标，返回包含候选模型的窗口targetWin；

step3：计算targetWin和目标模型的相似度；

step4：若相似度大于给定阈值，则转step6；

step5：若相似度不大于给定阈值，则将上一帧的目标窗口以及卡尔曼滤波器预测的距离代替enlarge作为扩大窗口的参数，调用自适应迭代搜索算法；

step6：返回目标窗口。

优选地，针对计算量以及视频亮度变化不定的问题，采用HSV，H为色度分量，S为色彩饱和度分量，V为亮度分量，模型中的色度HUE分量作为跟踪的特征，采用反向投影图进行处理；

读取视频每一帧图像时，提取其HSV格式中HUE通道的图像HImg；初始化搜索窗口，选择目标区域的大小和位置)，计算该区域的颜色直方图；假定使用m级量化的直方图，{x_i}_i＝1...n为目标区域图像的像素位置，定义c：R²→{1...m}来表示像素x_i对应的像素值，那么目标颜色直方图分布为：

${\hat{q}}_u=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\δ}[c\left(x_i\right)-u]---\left(1\right)$

其中u＝1，…，m，δ为Kronecker Delta函数。为使得到的概率分布在[0，255]范围内，需将直方图进行缩放：

${\{p_u=\min (\frac{255}{\max \left(\hat{q}\right)}{\hat{q}}_u,255)\}}_{u=1,...,m}---\left(2\right)$

对当前帧视频图像作反向投影，将Hlmg图像中x_i对应的像素值u替换为p_u，即得到所求的反向投影图。

优选地，本方法基于CAMSHIFT思想，先确定当前帧的搜索窗口及其质心位置，然后调整搜索窗口的大小，将搜索窗口的中心移动到质心，如果移动距离大于预设的阈值，则重新计算调整后的窗口质心，进行新一轮的窗口位置和尺寸更新，直到移动窗口的位置小于阈值或迭代次数超过一个最大值，最后将窗口的位置和尺寸作为下一帧运算的输入值，如此循环迭代；

为了计算反向投影图中搜索窗口的质心，可以通过如下方法计算；

计算零阶矩：

$M_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)---\left(3\right)$

分别计算出x和y的一阶矩：

$M_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y);$ $M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y)---\left(4\right)$

计算搜索窗口的质心：

$x_c=\frac{M_{10}}{M_{00}};$ $y_c=\frac{M_{01}}{M_{00}}---\left(5\right)$

优选地，在CAMSHIFT的基础上，提出了一种重定位窗口的方法，并引入相似度判定的约束，来获取更加精确的候选模型；当执行CAMSHIFT算法，获得候选模型的窗口Win时，将其分裂为5个子窗口：将Win按其宽度的一半和长度的一半等分为4个窗口；以Win中心点为中心点，以其宽度一半为宽度，其长度一半为长度，设置第5个窗口；通过相似度度量方法即采用相关系数法或者巴氏距离比对法，分别计算这五个窗口的候选模型与目标模型的相似度，选出相似度最高的窗口maxWin，以maxWin作为参数再调用CAMSHIFT，返回候选模型。

优选地，进行CAMSHIFT算法时，由于搜索窗口的扩大，导致得到的候选模型窗口尺度大于目标模型，往往无法准确地定位出目标的位置；为了在候选模型窗口中得到目标窗口，在重定位方法的基础上，引入最大相似度阈值和最小相似度阈值，设计出一种迭代缩小的技术；通过迭代分裂窗口以及迭代进行CAMSHIFT的过程，即可以准确定位目标。

优选地，用迭代缩小算法的特点，在其基础上，本方法引入了扩大窗口的参数；每次进行迭代缩小算法，若未能使相似度达到最大相似度阈值即未能准确找到目标，则每次以enlarge的幅度扩大搜索窗口，再进行迭代缩小算法。

优选地，基于卡尔曼滤波器的目标运动轨迹预测方法采用目标运动过程中的任意一点作为起点开始预测，采用递归滤波的方法计算；利用卡尔曼滤波进行状态估计分为三步：初始化、预测和更新；描述系统的状态方程和观测方程分别如式(6)和(7)所示：

X(k)＝F(k)X(k-1)+w(k)    (6)

Z(k)＝H(k)X(k)+v(k)      (7)

式中k≥1，F(k)和H(k)分别是系统的状态转移矩阵和观测矩阵，w(k)和v(k)分别是满足正态分布的过程噪声和观测噪声向量，它们是互不相关的零均值白噪声序列，即w(k)□N(0，Q(k))，v(k)□N(0，R(k))；Q(k)为过程噪声的协方差矩阵，R(k)为观测噪声的协方差矩阵。

本发明技术方案带来的有益效果：本发明分析了目前计算机视觉领域比较典型的视频目标跟踪方法，并细致地分析了它们的缺陷，为实现较为理想的视频目标跟踪方法，提出了一种基于CAMSHIFT算法和卡尔曼滤波预测，并结合自适应局部搜索技术的视频目标跟踪框架。该方法引入了相似度判定以及重定位技术，有效地解决了背景干扰，提高了跟踪的精度。针对卡尔曼滤波预测只能处理线性高斯运动、CAMSHIFT抗遮挡能力差的问题，提出了基于这两者的一种自适应局部搜索视频目标跟踪方法，该算法具有抗遮挡性好、实时性强、能有效跟踪快速非线性运动目标和有效解决背景特征干扰等优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明中候选模型窗口的分裂图；

图2是本发明基于CAMSHIFT和卡尔曼滤波的视频目标跟踪方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明基于CAMSHIFT视频目标跟踪算法，从运动目标跟踪的三个指标：实时性、准确性和鲁棒性出发，针对CAMSHIFT算法容易被相似背景特征干扰、无法跟踪快速无规则运动物体以及抗遮挡能力差等情况，提出了一种基于CAMSHIFT，并引入卡尔曼滤波的预测型自适应局部搜索跟踪方法。此算法具有高实时性，抗遮挡，对非线性运动有较高鲁棒性等特点。

反向投影图的计算

针对计算量以及视频亮度变化不定的问题，采用HSV(H为色度分量；S为色彩饱和度分量；V为亮度分量)模型中的色度HUE分量作为跟踪的特征，采用反向投影图进行处理。

读取视频每一帧图像时，提取其HSV格式中HUE通道的图像HImg。初始化搜索窗口，选择目标区域的大小和位置，计算该区域的颜色直方图。假定使用m级量化的直方图，{x_i}_i＝1...n为目标区域图像的像素位置，定义c：R²→{1...m}来表示像素x_i对应的像素值，那么目标颜色直方图分布为：

${\hat{q}}_u=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\δ}[c\left(x_i\right)-u]---\left(1\right)$

其中u＝1，…，m，δ为Kronecker Delta函数。为使得到的概率分布在[0，255]范围内，需将直方图进行缩放：

${\{p_u=\min (\frac{255}{\max \left(\hat{q}\right)}{\hat{q}}_u,255)\}}_{u=1,...,m}---\left(2\right)$

对当前帧视频图像作反向投影，将HImg图像中x_i对应的像素值u替换为p_u，即得到所求的反向投影图。

均值搜索过程

本发明基于CAMSHIFT思想，先确定当前帧的搜索窗口及其质心位置，然后调整搜索窗口的大小，将搜索窗口的中心移动到质心，如果移动距离大于预设的阈值，则重新计算调整后的窗口质心，进行新一轮的窗口位置和尺寸更新，直到移动窗口的位置小于阈值或迭代次数超过一个最大值，最后将窗口的位置和尺寸作为下一帧运算的输入值，如此循环迭代。

为了计算反向投影图中搜索窗口的质心，可以通过如下方法计算。

计算零阶矩：

$M_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)---\left(3\right)$

分别计算出x和y的一阶矩：

$M_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y);$ $M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y)---\left(4\right)$

计算搜索窗口的质心：

$x_c=\frac{M_{10}}{M_{00}};$ $y_c=\frac{M_{01}}{M_{00}}---\left(5\right)$

基于相似度判定的重定位方法

本发明在CAMSHIFT的基础上，提出了一种重定位窗口的方法，并引入相似度判定的约束，来获取更加精确的候选模型。当执行CAMSHIFT算法，获得候选模型的窗口Win时，将其分裂为5个子窗口：将Win按其宽度的一半和长度的一半等分为4个窗口；以Win中心点为中心点，以其宽度一半为宽度，其长度一半为长度，设置第5个窗口，如图2所示。通过相似度度量方法(这里采用相关系数法或者巴氏距离比对法)，分别计算这五个窗口的候选模型与目标模型的相似度，选出相似度最高的窗口maxWin，以maxWin作为参数再调用CAMSHIFT，返回候选模型。

显然，若传统CAMSHIFT获得的候选模型不存在干扰的话，则由算法的特点，缩小搜索窗口再运行一次CAMSHIFT算法则获得的候选模型与原来的相同；若存在干扰，则通过重定位方法，缩小搜索窗口继续调用一次CAMSHIFT，可获得相似度更高的候选模型，从而提高跟踪的精度。

迭代缩小算法

进行CAMSHIFT算法时，由于搜索窗口的扩大，导致得到的候选模型窗口尺度大于目标模型，往往无法准确地定位出目标的位置。为了在候选模型窗口中得到目标窗口，本发明在重定位方法的基础上，引入最大相似度阈值和最小相似度阈值，设计出一种迭代缩小的技术。通过迭代分裂窗口以及迭代进行CAMSHIFT的过程，即可以准确定位目标。迭代缩小算法的描述如表1所示。

自适应局部搜索算法ALS

利用迭代缩小算法的特点，在其基础上，本发明引入了扩大窗口的参数。每次进行迭代缩小算法，若未能使相似度达到最大相似度阈值(即未能准确找到目标)，则每次以enlarge的幅度扩大搜索窗口，再进行迭代缩小算法。自适应局部搜索算法ALS的描述如表2所示。

表1  迭代缩小算法的描述

表2  自适应局部搜索算法ALS的描述

结合卡尔曼滤波预测的自适应局部搜索CAMSHIFT

针对CAMSHIFT算法在目标跟踪中没有利用运动方向和运动速度信息并受到背景干扰的问题，在这种情况下，本发明采用卡尔曼滤波方法，先预测出搜索窗口，再结合自适应局部搜索算法进行CAMSHIFT跟踪。

基于卡尔曼滤波器的目标运动轨迹预测方法可以用目标运动过程中的任意一点作为起点开始预测，采用递归滤波的方法计算。利用卡尔曼滤波进行状态估计可以分为三步：初始化、预测和更新。描述系统的状态方程和观测方程分别如式(6)和(7)所示：

X(k)＝F(k)X(k-1)+w(k)    (6)

Z(k)＝H(k)X(k)+v(k)      (7)

式中k≥1，F(k)和H(k)分别是系统的状态转移矩阵和观测矩阵，w(k)和v(k)分别是满足正态分布的过程噪声和观测噪声向量，它们是互不相关的零均值白噪声序列，即w(k)□N(0，Q(k))，v(k)□N(0，R(k))。Q(k)为过程噪声的协方差矩阵，R(k)为观测噪声的协方差矩阵。本发明提出的基于CAMSHIFT和卡尔曼滤波预测的结合自适应局部搜索技术的视频目标跟踪方法可描述如表3所示。

表3  基于CAMSHIFT和卡尔曼滤波预测的视频目标跟踪方法的描述

至此，本发明提出的一种基于CAMSHIFT和卡尔曼滤波的视频目标跟踪方法流程如图2所示。

本发明技术方案带来的有益效果：

本发明分析了目前计算机视觉领域比较典型的视频目标跟踪方法，并细致地分析了它们的缺陷，为实现较为理想的视频目标跟踪方法，提出了一种基于CAMSHIFT算法和卡尔曼滤波预测，并结合自适应局部搜索技术的视频目标跟踪框架。该方法引入了相似度判定以及重定位技术，有效地解决了背景干扰，提高了跟踪的精度。针对卡尔曼滤波预测只能处理线性高斯运动、CAMSHIFT抗遮挡能力差的问题，提出了基于这两者的一种自适应局部搜索视频目标跟踪方法，该算法具有抗遮挡性好、实时性强、能有效跟踪快速非线性运动目标和有效解决背景特征干扰等优点。

以上对本发明实施例所提供的一种基于CAMSHIFT和卡尔曼滤波的视频目标跟踪方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于CAMSHIFT和卡尔曼滤波的视频目标跟踪方法，其特征在于，该方法采用卡尔曼滤波方法先预测出搜索窗口，再结合自适应局部搜索算法进行CAMSHIFT跟踪，具体步骤如下：

step1：该方法以搜索窗口为参数，使用卡尔曼滤波器预测搜索窗口Win；

step2：以Win为参数调用CAMSHIFT算法寻找目标，返回包含候选模型的窗口targetWin；

step3：计算targetWin和目标模型的相似度；

step4：若相似度大于给定阈值，则转step6；

step5：若相似度不大于给定阈值，则将上一帧的目标窗口以及卡尔曼滤波器预测的距离代替enlarge作为扩大窗口的参数，调用自适应迭代搜索算法；

step6：返回目标窗口。

2.如权利要求1所述的方法，其特征在于，针对计算量以及视频亮度变化不定的问题，采用HSV，H为色度分量，S为色彩饱和度分量，V为亮度分量，模型中的色度HUE分量作为跟踪的特征，采用反向投影图进行处理；

读取视频每一帧图像时，提取其HSV格式中HUE通道的图像HImg；初始化搜索窗口，选择目标区域的大小和位置)，计算该区域的颜色直方图；假定使用m级量化的直方图，{x_i}_i＝1...n为目标区域图像的像素位置，定义c：R²→{1...m}来表示像素xi对应的像素值，那么目标颜色直方图分布为：

${\hat{q}}_u=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\δ}[c\left(x_i\right)-u]---\left(1\right)$

其中u＝1，…，m，δ为Kronecker Delta函数。为使得到的概率分布在[0，255]范围内，需将直方图进行缩放：

${\{p_u=\min (\frac{255}{\max \left(\hat{q}\right)}{\hat{q}}_u,255)\}}_{u=1,...,m}---\left(2\right)$

对当前帧视频图像作反向投影，将Hlmg图像中x_i对应的像素值u替换为p_u，即得到所求的反向投影图。

3.如权利要求1或2所述的方法，其特征在于，本方法基于CAMSHIFT思想，先确定当前帧的搜索窗口及其质心位置，然后调整搜索窗口的大小，将搜索窗口的中心移动到质心，如果移动距离大于预设的阈值，则重新计算调整后的窗口质心，进行新一轮的窗口位置和尺寸更新，直到移动窗口的位置小于阈值或迭代次数超过一个最大值，最后将窗口的位置和尺寸作为下一帧运算的输入值，如此循环迭代；

为了计算反向投影图中搜索窗口的质心，可以通过如下方法计算；

计算零阶矩：

$M_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)---\left(3\right)$

分别计算出x和y的一阶矩：

$M_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y);$ $M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y)---\left(4\right)$

计算搜索窗口的质心：

$x_c=\frac{M_{10}}{M_{00}};$ $y_c=\frac{M_{01}}{M_{00}}---\left(5\right)$

4.如权利要求1所述的方法，其特征在于，在CAMSHIFT的基础上，提出了一种重定位窗口的方法，并引入相似度判定的约束，来获取更加精确的候选模型；当执行CAMSHIFT算法，获得候选模型的窗口Win时，将其分裂为5个子窗口：将Win按其宽度的一半和长度的一半等分为4个窗口；以Win中心点为中心点，以其宽度一半为宽度，其长度一半为长度，设置第5个窗口；通过相似度度量方法即采用相关系数法或者巴氏距离比对法，分别计算这五个窗口的候选模型与目标模型的相似度，选出相似度最高的窗口maxWin，以maxWin作为参数再调用CAMSHIFT，返回候选模型。

5.如权利要求1或4所述的方法，其特征在于，进行CAMSHIFT算法时，由于搜索窗口的扩大，导致得到的候选模型窗口尺度大于目标模型，往往无法准确地定位出目标的位置；为了在候选模型窗口中得到目标窗口，在重定位方法的基础上，引入最大相似度阈值和最小相似度阈值，设计出一种迭代缩小的技术；通过迭代分裂窗口以及迭代进行CAMSHIFT的过程，即可以准确定位目标。

6.如权利要求1或5所述的方法，其特征在于，用迭代缩小算法的特点，在其基础上，本方法引入了扩大窗口的参数；每次进行迭代缩小算法，若未能使相似度达到最大相似度阈值即未能准确找到目标，则每次以enlarge的幅度扩大搜索窗口，再进行迭代缩小算法。

7.如权利要求1所述的方法，其特征在于，基于卡尔曼滤波器的目标运动轨迹预测方法采用目标运动过程中的任意一点作为起点开始预测，采用递归滤波的方法计算；利用卡尔曼滤波进行状态估计分为三步：初始化、预测和更新；描述系统的状态方程和观测方程分别如式(6)和(7)所示：

X(k)＝F(k)X(k-1)+w(k)    (6)

Z(k)＝H(k)X(k)+v(k)      (7)

式中k≥1，F(k)和H(k)分别是系统的状态转移矩阵和观测矩阵，w(k)和v(k)分别是满足正态分布的过程噪声和观测噪声向量，它们是互不相关的零均值白噪声序列，即w(k)□N(0，Q(k))，v(k)□N(0，R(k))；Q(k)为过程噪声的协方差矩阵，R(k)为观测噪声的协方差矩阵。

Images