CN103679756A - 基于颜色和形状特征的自动目标跟踪方法及系统 - Google Patents

Abstract

本发明提出一种基于颜色和形状特征的自动目标跟踪方法，包括：A：输入视频序列，并获取视频序列的目标区域；B：获得目标区域的颜色和形状特征联合概率分布直方图；C：根据颜色和形状特征联合概率分布直方图得到目标区域在当前帧图像中的窗口大小和准确位置；D：根据目标区域在当前帧图像中的窗口大小和准确位置，利用卡尔曼滤波得到目标区域在下一帧图像中的初始搜索位置估计值；E：以初始搜索位置估计值作为目标区域在下一帧图像中的初始搜索窗口大小和位置，转至步骤B以便实现视频序列中目标的连续跟踪。根据本发明实施例的方法具有目标跟踪准确、稳定的优点。本发明还提出了一种基于颜色和形状特征的自动目标跟踪系统。

Description

基于颜色和形状特征的自动目标跟踪方法及系统

技术领域

本发明涉及目标跟踪技术领域，特别涉及一种基于颜色和形状特征的自动目标跟踪方法。

背景技术

目标跟踪是智能视频监控的关键技术之一，跟踪效果的好坏很大程度上取决于移动目标的描述方法，传统的Camshift算法基于颜色直方图特征跟踪目标，这种方法简单有效，但是算法存在着很多弊端，首先，目标特征描述只考虑了被跟踪对象的颜色信息，缺乏形状和空间信息，对被跟踪对象的特征描述过于单一，缺乏其他有价值的信息量，其次，当目标颜色与背景颜色相近时，很难区分被跟踪的目标，从而导致跟踪失败，最后，Camshift算法缺乏预测机制，当目标运动速度过快时，会导致下一帧图像中目标真实位置距离初始搜索位置过远，延长搜索时间，甚至会出现跟踪失败的情况。总之，使用原有Camshift算法跟踪目标，当目标遭遇严重遮挡，受到大面积同色背景干扰或者运动速度过快的情况下，不能有效的完成跟踪任务。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种基于颜色和形状特征的自动目标跟踪方法。该方法可提高连续跟踪视频序列中目标区域的准确性和稳定性。

本发明的另一目的在于提出一种基于颜色和形状特征的自动目标跟踪系统。

为了实现上述目的，本发明第一方面实施例提出了一种基于颜色和形状特征的自动目标跟踪方法，包括以下步骤：A：输入视频序列，并获取所述视频序列的目标区域；B：获得所述目标区域的颜色和形状特征联合概率分布直方图；C：根据所述颜色和形状特征联合概率分布直方图得到所述目标区域在当前帧图像中的窗口大小和准确位置；D：根据所述目标区域在当前帧图像中的窗口大小和准确位置，利用卡尔曼滤波得到所述目标区域在下一帧图像中的初始搜索位置估计值；E：以所述初始搜索位置估计值作为目标区域在所述下一帧图像中的初始搜索窗口大小和位置，并转至步骤B以便实现所述视频序列中目标的连续跟踪。

根据本发明实施例的基于颜色和形状特征的自动目标跟踪方法，通过增加目标形状特征的描述，即增加了具有旋转不变性的形状特征，使目标信息更加丰富和鲁棒，克服目标跟踪时遭遇遮挡，大面积同色背景干扰和运动速度过快的不利影响，从而提高视频序列中跟踪目标区域的准确性和稳定性。并且该方法利用卡尔曼（Kalman）滤波预测机制，估计出后续每一帧图像初始搜索窗口的位置，减少了误跟踪的概率和候选区域的数目，进一步提高了目标跟踪的效率。

另外，根据本发明上述实施例的基于颜色和形状特征的自动目标跟踪方法还可以具有如下附加的技术特征：

在一些示例中，利用三帧差分法获取所述视频序列的目标区域。

在一些示例中，所述获得所述目标区域的颜色和形状特征联合概率分布直方图，进一步包括：根据所述目标区域的颜色直方图反向投影方法，得到所述目标区域的颜色概率分布图；提取所述目标区域的Zernike矩旋转不变特征；根据所述Zernike矩旋转不变特征得到所述目标区域的形状直方图；根据所述颜色概率直方图和所述形状直方图计算得到所述颜色和形状特征联合概率分布直方图。

在一些示例中，所述根据所述目标区域的颜色直方图反向投影方法，得到所述目标区域的颜色概率分布图，进一步包括：将所述目标区域对应的所述视频序列中当前帧的彩色图像由RGB空间转换到HSV彩色空间；在所述HSV彩色空间中提取H颜色分量直方图；将所述H颜色分量直方图利用颜色直方图反向投影方法获得所述颜色概率分布图。

在一些示例中，所述根据所述Zernike矩旋转不变特征得到所述目标区域的形状直方图，进一步包括：提取不同阶的Zernike矩旋转不变特征；将所述不同阶的Zernike矩旋转不变特征进行组合得到特征向量；根据所述特征向量得到所述形状直方图。

在一些示例中，根据所述颜色和形状特征联合概率分布直方图，利用Camshift算法得到所述目标区域在当前帧图像中的窗口大小和准确位置。

本发明第二方面的实施例提供了一种基于颜色和形状特征的自动目标跟踪系统，包括：目标区域获取模块，用于根据输入的视频序列获取所述视频序列的目标区域；直方图生成模块，用于生成所述目标区域的颜色和形状特征联合概率分布直方图；窗口大小和位置确定模块，用于根据所述颜色和形状特征联合概率分布直方图得到所述目标区域在当前帧图像中的窗口大小和准确位置；估计模块，用于根据所述目标区域在当前帧图像中的窗口大小和准确位置，利用卡尔曼滤波得到所述目标区域在下一帧图像中的初始搜索位置估计值；以及返回模块，用于以初始搜索位置估计值作为目标区域在所述下一帧图像中的初始搜索窗口大小和位置，将所述初始搜索窗口大小和位置提供给所述直方图生成模块。

根据本发明实施例的基于颜色和形状特征的自动目标跟踪系统，通过增加目标形状特征的描述，即增加了具有旋转不变性的形状特征，使目标信息更加丰富和鲁棒，克服目标跟踪时遭遇遮挡，大面积同色背景干扰和运动速度过快的不利影响，从而提高视频序列中目标区域跟踪的准确性和稳定性。并且该系统利用卡尔曼（Kalman）滤波预测机制，估计出后续每一帧图像初始搜索窗口的位置，减少了误跟踪的概率和候选区域的数目，进一步提高了目标跟踪的效率。

另外，根据本发明上述实施例的基于颜色和形状特征的自动目标跟踪系统还可以具有如下附加的技术特征：

在一些示例中，所述目标区域获取模块用于利用三帧差分法获取所述视频序列的目标区域。

在一些示例中，所述直方图生成模块用于：根据所述目标区域的颜色直方图反向投影方法，得到所述目标区域的颜色概率分布图；提取所述目标区域的Zernike矩旋转不变特征；根据所述Zernike矩旋转不变特征得到所述目标区域的形状直方图；根据所述颜色概率直方图和所述形状直方图计算得到所述颜色和形状特征联合概率分布直方图。

在一些示例中，所述直方图生成模块还用于：将所述目标区域对应的所述视频序列中的当前帧彩色图像由RGB空间转换到HSV彩色空间；在所述HSV彩色空间中提取H颜色分量直方图；将所述H颜色分量直方图利用颜色直方图反向投影方法获得所述颜色概率分布图。

在一些示例中，所述直方图生成模块还用于：提取不同阶的Zernike矩旋转不变特征；将所述不同阶的Zernike矩旋转不变特征进行组合得到特征向量；根据所述特征向量得到所述形状直方图。

在一些示例中，所述窗口大小和位置确定模块利用Camshift算法得到所述目标区域在当前帧图像中的窗口大小和准确位置。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的基于颜色和形状特征的自动目标跟踪方法的流程图；

图2是根据本发明另一个实施例的基于颜色和形状特征的自动目标跟踪方法的流程图；以及

图3是根据本发明一个实施例的基于颜色和形状特征的自动目标跟踪系统的结构框图。

具体实施方式

现在将详细描述本发明的实施例，所述实施例的示例在附图中示出。虽然示出了特定实施例，但是应理解不意味着将本发明限于这些特定实施例。相反地，本发明包括在所附的权利要求的精神和范围内的替代、修改和等同。阐明多个具体细节是为了提供对本文提出的主题的全面理解。但是本领域的普通技术人员应明白，可以不使用这些具体细节来实施该主题。在其他情况下，没有详细描述公知的方法、程序、部件和电路，从而避免不必要地使本实施例的方面模糊。

尽管本文可能使用术语第一、第二等等来描述各种元件，但是这些元件不应受这些术语限制。这些术语仅仅用于将一个元件与另一个元件区别开。例如第一排序标准可以称为第二排序标准，类似地，第二排序标准可以称为第一排序标准，在不脱离本发明的范围的情况下。第一排序标准和第二排序标准都是排序标准，但是它们不是相同的排序标准。

本文中本发明的描述中使用的术语仅仅是为了描述特定实施例的目的，并不意味着对本发明的限制。如本发明及所附权利要求的描述中所使用的，单数形式“一个”“一种”和“所述”意味着也包括复数形式，除非上下文另外清楚指出。还应理解，本文所使用的术语“和/或”表示并包含一个或多个的相关联的列出的项目的任何一个和所有可能组合。还应进一步理解，当在说明书中使用时，术语“包括”和/或“包含”指定陈述的特征、操作、元件和/部件的存在，但不排除一个或多个其他特征、操作、元件、部件和/或它们的组的存在或添加。

如本文所使用的，根据上下文，术语“如果”可理解为是指“当”或“在......时”或“响应于确定”或“根据......的确定”或“响应于检测”，陈述的先决条件是真实的。类似地，根据上下文，短语“如果确定[陈述的先决条件是真实的]”或“如果[陈述的先决条件是真实的]”或“当[陈述的先决条件是真实的]”可理解为是指“在确定......时”或“响应于确定”或“根据.......的确定”或“在检测......时”或“对应于检测”陈述的先决条件是真实的。

以下结合附图描述根据本发明实施例的基于颜色和形状特征的自动目标跟踪方法及系统。

图1是根据本发明一个实施例的基于颜色和形状特征的自动目标跟踪方法的流程图。如图1所示，根据本发明一个实施例的基于颜色和形状特征的自动目标跟踪方法，包括如下步骤：

步骤S101：输入视频序列，并获取视频序列的目标区域。

例如：利用三帧差分法获取所述视频序列的目标区域。具体地，包括如下步骤：

1、对于视频图像序列，选取连续三帧图像f_k-1(x,y)、f_k(x,y)和f_k+1(x,y)，且分别计算相邻两帧图像的差分图像D_k(x,y)和D_k+1(x,y)。即：

$\left\{\begin{array}{c}{D}_k(x,y)=|f_k(x,y)-f_{k-1}(x,y)|\\ D_{k+1}(x,y)=|f_{k+1}(x,y)-f_k(x,y)|\end{array}\right.---\left(1\right)$

2、分别选取阈值T，二值化处理差分图像D_k(x,y)和D_k+1(x,y)，得到二值化图像d_k(x,y)和d_k+1(x,y)。

3、在每一个像素位置，对二值化图像d_k(x,y)和d_k+1(x,y)进行与运算，得到二值图像d_and(x,y)。即：

d_and(x,y)=d_k(x,y)and d_k+1(x,y)    （2）

进而获得目标的初始大小和位置，即获得目标区域。

步骤S102：获得目标区域的颜色和形状特征联合概率分布直方图。

在本发明的一个实施例中，获得目标区域的颜色和形状特征联合概率分布直方图，进一步包括：

1、根据目标区域的颜色直方图反向投影方法，得到目标区域的颜色概率分布图。

2、提取目标区域的Zernike矩旋转不变特征。

3、根据Zernike矩旋转不变特征得到目标区域的形状直方图。

4、根据颜色概率直方图和形状直方图计算得到颜色和形状特征联合概率分布直方图。

在上述步骤1中，根据目标区域的颜色直方图反向投影方法，得到目标区域的颜色概率分布图，进一步包括：

11、将目标区域对应的视频序列中的当前帧彩色图像由RGB空间转换到HSV彩色空间。

12、在HSV彩色空间中提取H颜色分量直方图。

13、将H颜色分量直方图利用颜色直方图反向投影方法获得颜色概率分布图。

在上述步骤3中，根据Zernike矩旋转不变特征得到所述目标区域的形状直方图，进一步包括：

31、提取不同阶的Zernike矩旋转不变特征。

32、将不同阶的Zernike矩旋转不变特征进行组合得到特征向量。

33、根据特征向量得到形状直方图。

换言之，对于步骤S102的进一步解释如下：

步骤1：将初始目标区域颜色直方图利用反向投影方法，得到颜色概率分布图。

具体而言，将上述连续三帧图像中的第二帧彩色图像从RGB空间转换到HSV空间，公式如下：

V=max(R,G,B)

$H=\left\{\begin{array}{cc}60(G-B)/S& V=R\\ (120+60(B-R))/S& V=G\\ (240+60(R-G))/S& V=B\end{array}\right.$

提取H颜色分量做直方图，如下式所示：

$q_u=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\δ}[c\left(x_i\right)-u]---\left(4\right)$

其中q_u为直方图分量u的值，c(x_i)为像素x_i的量化值，δ为Kronecker函数。将直方图的尺度利用如下公式从[0,max(q)]变成[0,255]，

$p_u=\min (\frac{255}{\max \left(q_u\right)}{q}_u,255),(u=1,...,m)---\left(5\right)$

这样，将原图像中像素点x的灰度值u变为p_u，即通过颜色直方图将原始图像反向投影成颜色概率分布图P={p₁,p₂,...,p_m}。

步骤2：对初始目标区域提取Zernike矩旋转不变特征，得到目标形状直方图。利用Zernike矩提取目标区域的旋转不变量形状特征，其形式为：

$A_{\mathrm{nm}}=\frac{n+1}{\mathrm{\π}}\underset{x^2+y^2\≤1}{\∫\∫}{V}_{\mathrm{nm}}(\mathrm{\ρ},\mathrm{\θ})f(x,y)\mathrm{dxdy}---\left(6\right)$

对于数字图像，上式可以转变为如下形式：

$A_{\mathrm{nm}}=\frac{n+1}{\mathrm{\π}}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{V}_{\mathrm{nm}}(\mathrm{\ρ},\mathrm{\θ})f(x,y),x^2+y^2\≤1---\left(7\right)$

这里V_nm(ρ,θ)为复杂的多项式，其形式为：

V_nm(x,y)=V_nm(ρ,θ)=R_nm(ρ)exp(jmθ)    （8）

该多项式确保正交集{V_nm(x,y)}落入单位元x²+y²=1内，n为正整数或0，m为正整数或负整数，且满足n-|m|为偶数，|m|≤n。ρ为起始点到像素位置(x,y)处的向量的长度，θ为x轴沿逆时针方向旋转至向量ρ的角度，R_nm(ρ)径向多项式描述如下

$R_{\mathrm{nm}}\left(\mathrm{\ρ}\right)=\underset{s=0}{\overset{n-\left|m\right|/2}{\mathrm{\Σ}}}{(-1)}^s\·\frac{(n-s)!}{s!(\frac{n+\left|m\right|}{2}-s)!(\frac{n-\left|m\right|}{2}-s)!}{\mathrm{\ρ}}^{n-2s}---\left(9\right)$

并且R_n,-m(ρ)=R_nm(ρ)。同时多项式满足正交性和如下关系

$\underset{x^2+y^2\≤1}{\∫\∫}\left[V_{\mathrm{nm}}(x,y)\right]V_{\mathrm{pq}}(x,y)\mathrm{dxdy}=\frac{\mathrm{\π}}{n+1}{\mathrm{\δ}}_{\mathrm{np}}{\mathrm{\δ}}_{\mathrm{mq}}---\left(10\right)$

这里

而Zernike矩是图像在这些正交基函数上的投影。

当计算给定图像的Zernike矩时，图像质心被设为初始圆点，像素坐标被投影到单位圆内，落到圆外的像素并没有被使用，并且A_nm=A_n,-m。通过理论证明，Zernike矩具有旋转不变属性，也就是说，如果图像被旋转θ角度，那么原始图像和旋转后图像的Zernike矩A_nm和A′_nm之间具有如下关系：

A′_nm=A_nmexp(-jmθ)    （11）

如果对图像进行简单的预处理，Zernike矩同时具有尺度和平移不变性。使用公式（13），可以获得不同阶的Zernike矩，例如A₀₀,A₁₁,A₂₀,A₂₂等等，因此，可以使用由不同阶的Zernike矩组成的向量Z来表示图像的形状和空间信息，形式如下：

Z=[A₀₀,A₁₁,A₂₀,A₂₂,....,A_nm]    （12）

步骤3：利用颜色概率直方图P和Zernike矩形状直方图Z计算联合概率分布直方图T。

步骤S103：根据颜色和形状特征联合概率分布直方图得到目标区域在当前帧图像中的窗口大小和准确位置，即窗口大小和位置。

在本发明的一个实施例中，根据颜色和形状特征联合概率分布直方图，可利用Camshift算法得到目标区域在当前帧图像中的窗口大小和位置。

具体地说，利用得到的颜色-形状联合概率直方图T运行Meanshift算法，获得搜索窗口的大小和位置，窗口的质心位置如下式所示：

零阶矩M₀₀为

$M_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)---\left(13\right)$

一阶矩M₁₀和M₀₁为

$\left\{\begin{array}{c}{M}_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y)\\ M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y)\end{array}\right.---\left(14\right)$

其中I(x,y)是坐标(x,y)的像素值，x和y的变化范围为搜索窗口大小。重新设置的搜索窗口大小s为：

$s=2\sqrt{M_{00}/256}---\left(15\right).$

步骤S104：根据目标区域在当前图像帧中的窗口大小和准确位置（即窗口大小和位置），利用卡尔曼滤波得到目标区域在下一帧图像中的初始搜索位置估计值。

具体地，以当前帧搜索窗口大小和位置作为Kalman滤波的观测值来更新Kalman滤波状态，获得下一帧图像目标的初始搜索位置估计值，具体包括：

将当前帧搜索窗口大小和位置作为Kalman滤波的观测值，带入下式：

Z(k)=C·X(k)+V(k)    （16）

X(k)=A·X(k-1)+B·U(k)+W(k)

其中，Z(k)为k时刻的观测值，X(k)为系统的状态变量，由运动目标中心点的坐标和运动目标在x轴和y轴的运动速度构成。U(k)为系统的控制量。A和B为系统参数，对于多模型系统为矩阵，C为测量系统的参数，对于多测量系统为矩阵，W(k)和V(k)分别为过程和测量的噪声，一般假设为白噪声，其协方差分别为Q和R。通过不断更新kalman滤波状态，获得下一时刻目标位置的估计值。

步骤S105：以初始搜索位置估计值作为目标区域在下一帧图像中的初始搜索窗口大小和位置，并转至步骤S102以便以实现视频序列中目标的连续跟踪。即以初始位置估计值作为下一帧图像目标区域的初始搜索位置，重复上述操作，获得该帧图像目标区域的准确位置，以此类推，实现视频序列中感兴趣目标的连续跟踪。

具体而言，以Kalman滤波得到的估计值作为下一帧目标的初始搜索位置，再利用Camshift算法跟踪目标，不断重复上述步骤S102至步骤S104，实现视频序列中目标（如感兴趣的目标）的连续跟踪，利用目标颜色-形状特征的Camshift算法联合使用Kalman滤波的具体流程如图2所示。根据本发明实施例的基于颜色和形状特征的自动目标跟踪方法，通过增加目标形状特征的描述，即增加了具有旋转不变性的形状特征，使目标信息更加丰富和鲁棒，克服目标跟踪时遭遇遮挡，大面积同色背景干扰和运动速度过快的不利影响，从而提高目标区域在连续的视频序列中跟踪的准确性和稳定性。并且该方法利用卡尔曼（Kalman）滤波预测机制，估计出后续每一帧图像初始搜索窗口的位置，减少了误跟踪的概率和候选区域的数目，进一步提高了目标跟踪的效率。

本发明的进一步实施例提供了一种基于颜色和形状特征的自动目标跟踪系统。如图3所示，根据本发明一个实施例的基于颜色和形状特征的自动目标跟踪系统300，包括：目标区域获取模块310、直方图生成模块320、窗口大小和位置确定模块330、估计模块340和返回模块350。

其中，目标区域获取模块310用于根据输入的视频序列获取所述视频序列的目标区域。直方图生成模块320用于生成所述目标区域的颜色和形状特征联合概率分布直方图。窗口大小和位置确定模块330用于根据颜色和形状特征联合概率分布直方图得到目标区域在当前帧图像中的窗口大小和准确位置。估计模块340用于根据目标区域在当前帧图像中的窗口大小和准确位置，利用卡尔曼滤波得到目标区域在下一帧图像中的初始搜索位置估计值。返回模块350用于以初始搜索位置估计值作为目标区域在下一帧图像中的初始搜索窗口大小和位置，将初始搜索窗口大小和位置提供给直方图生成模块320。在本发明的一个实施例中，目标区域获取模块310用于利用三帧差分法获取所述视频序列的目标区域。

在本发明的一个实施例中，直方图生成模块320用于：根据所述目标区域的颜色直方图反向投影方法，得到所述目标区域的颜色概率分布图；提取所述目标区域的Zernike矩旋转不变特征；根据所述Zernike矩旋转不变特征得到所述目标区域的形状直方图；根据所述颜色概率直方图和所述形状直方图计算得到所述颜色和形状特征联合概率分布直方图。

进一步地，直方图生成模块320还用于：将所述目标区域对应的所述视频序列中的当前帧彩色图像由RGB空间转换到HSV彩色空间；在所述HSV彩色空间中提取H颜色分量做直方图；将所述H颜色分量的直方图利用颜色直方图反向投影方法获得所述颜色概率分布图。

更进一步地，直方图生成模块320还用于：提取不同阶的Zernike矩旋转不变特征；将所述不同阶的Zernike矩旋转不变特征进行组合得到特征向量；根据所述特征向量得到所述形状直方图。

根据上述的一个或者多个示例，窗口大小和位置确定模块330可利用Camshift算法得到所述目标区域在当前帧图像中的窗口大小和准确位置。

本发明实施例的系统与本发明实施例的方法的原理相同，为了减少冗余，此处不对本发明实施例的系统的工作原理进行详细描述。

根据本发明实施例的基于颜色和形状特征的自动目标跟踪系统，通过增加目标形状特征的描述，即增加了具有旋转不变性的形状特征，使目标信息更加丰富和鲁棒，克服目标跟踪时遭遇遮挡，大面积同色背景干扰和运动速度过快的不利影响，从而提高视频序列中目标跟踪的准确性和稳定性。并且该系统利用卡尔曼（Kalman）滤波预测机制，估计出后续每一帧图像初始搜索窗口的位置，减少了误跟踪的概率和候选区域的数目，进一步提高了目标跟踪的效率。

尽管在各种附图中的一些中示出特定排序的多个逻辑步骤，但是不依赖顺序的步骤可以被重新排序且结合或插入其他步骤。虽然特别地提及一些重新排序或其他组合，但是其他重新排序或组合对于本领域的技术人员应是明显的，因此不再提出替换方式的详尽列表。例如，机顶盒可能发送未处理的音频信号至电视内容识别服务器，然后电视内容识别服务器负责将音频信号转换为音频指纹。而且，应理解，上述步骤可以在硬件、固件、软件或它们的任意组合中实施。

为了说明的目的，已经参考特定实施方式进行了上述描述。然而，以上说明性的讨论不意味着详尽讨论或者将本发明限于公开的精确形式。鉴于上述教导，进行许多修改和变化是可能的。所选取和描述的实施方式是为了最好地说明本发明的原则和它的实际应用，从而使得本领域的其他技术人员能够最好地利用本发明以及具有各种适合于预期的特殊用途的修改的各种实施方式。实施方式包括在所附权利要求的精神和范围内的替换、修改和等同。阐明多个具体细节是为了提供对本文提出的主题的全面理解。但是本领域的普通技术人员应明白，可以不使用这些具体细节来实施该主题。在其他情况下，没有详细描述公知的方法、程序、部件和电路，从而避免不必要地使本实施方式的方面模糊。

Claims (12)

1.一种基于颜色和形状特征的自动目标跟踪方法，其特征在于，包括以下步骤：

A：输入视频序列，并获取所述视频序列的目标区域；

B：获得所述目标区域的颜色和形状特征联合概率分布直方图；

C：根据所述颜色和形状特征联合概率分布直方图得到所述目标区域在当前帧图像中的窗口大小和准确位置；

D：根据所述目标区域在当前帧图像中的窗口大小和准确位置，利用卡尔曼滤波得到所述目标区域在下一帧图像中的初始搜索位置估计值；

E：以所述初始搜索位置估计值作为目标区域在所述下一帧图像中的初始搜索窗口大小和位置，并转至步骤B以便实现所述视频序列中目标的连续跟踪。

2.如权利要求1所述的基于颜色和形状特征的自动目标跟踪方法，其特征在于，利用三帧差分法获取所述视频序列的目标区域。

3.如权利要求1所述的基于颜色和形状特征的自动目标跟踪方法，其特征在于，所述获得所述目标区域的颜色和形状特征联合概率分布直方图，进一步包括：

根据所述目标区域的颜色直方图反向投影方法，得到所述目标区域的颜色概率分布图；

提取所述目标区域的Zernike矩旋转不变特征；

根据所述Zernike矩旋转不变特征得到所述目标区域的形状直方图；

根据所述颜色概率直方图和所述形状直方图计算得到所述颜色和形状特征联合概率分布直方图。

4.如权利要求3所述的基于颜色和形状特征的自动目标跟踪方法，其特征在于，所述根据所述目标区域的颜色直方图反向投影方法，得到所述目标区域的颜色概率分布图，进一步包括：

将所述目标区域对应的所述视频序列中的当前帧的彩色图像由RGB空间转换到HSV彩色空间；

在所述HSV彩色空间中提取H颜色分量直方图；

将所述H颜色分量直方图利用颜色直方图反向投影方法获得所述颜色概率分布图。

5.如权利要求3所述的基于颜色和形状特征的自动目标跟踪方法，其特征在于，所述根据所述Zernike矩旋转不变特征得到所述目标区域的形状直方图，进一步包括：

提取不同阶的Zernike矩旋转不变特征；

将所述不同阶的Zernike矩旋转不变特征进行组合得到特征向量；

根据所述特征向量得到所述形状直方图。

6.如权利要求1-5任一项所述的基于颜色和形状特征的自动目标跟踪方法，其特征在于，根据所述颜色和形状特征联合概率分布直方图，利用Camshift算法得到所述目标区域在当前帧图像中的窗口大小和准确位置。

7.一种基于颜色和形状特征的自动目标跟踪系统，其特征在于，包括：

目标区域获取模块，用于根据输入的视频序列获取所述视频序列的目标区域；

直方图生成模块，用于生成所述目标区域的颜色和形状特征联合概率分布直方图；

窗口大小和位置确定模块，用于根据所述颜色和形状特征联合概率分布直方图得到所述目标区域在当前帧图像中的窗口大小和准确位置；

估计模块，用于根据所述目标区域在当前帧图像中的窗口大小和准确位置，利用卡尔曼滤波得到所述目标区域在下一帧图像中的初始搜索位置估计值；以及

返回模块，用于以初始搜索位置估计值作为目标区域在所述下一帧图像中的初始搜索窗口大小和位置，将所述初始搜索窗口大小和位置提供给所述直方图生成模块。

8.如权利要求7所述的基于颜色和形状特征的自动目标跟踪系统，其特征在于，所述目标区域获取模块用于利用三帧差分法获取所述视频序列的目标区域。

9.如权利要求7所述的基于颜色和形状特征的自动目标跟踪系统，其特征在于，所述直方图生成模块用于：

根据所述目标区域的颜色直方图反向投影方法，得到所述目标区域的颜色概率分布图；

提取所述目标区域的Zernike矩旋转不变特征；

根据所述Zernike矩旋转不变特征得到所述目标区域的形状直方图；

根据所述颜色概率直方图和所述形状直方图计算得到所述颜色和形状特征联合概率分布直方图。

10.如权利要求9所述的基于颜色和形状特征的自动目标跟踪系统，其特征在于，所述直方图生成模块还用于：

将所述目标区域对应的所述视频序列中的当前帧的彩色图像由RGB空间转换到HSV彩色空间；

在所述HSV彩色空间中提取H颜色分量直方图；

将所述H颜色分量直方图利用颜色直方图反向投影方法获得所述颜色概率分布图。

11.如权利要求9所述的基于颜色和形状特征的自动目标跟踪系统，其特征在于，所述直方图生成模块还用于：

提取不同阶的Zernike矩旋转不变特征；

将所述不同阶的Zernike矩旋转不变特征进行组合得到特征向量；

根据所述特征向量得到所述形状直方图。

12.如权利要求7-11任一项所述的基于颜色和形状特征的自动目标跟踪系统，其特征在于，所述窗口大小和位置确定模块利用Camshift算法得到所述目标区域在当前帧图像中的窗口大小和准确位置。

Images