CN101540833B - 一种抗干扰的实时物体轮廓跟踪方法 - Google Patents

Abstract

本发明公开了一种抗干扰的实时物体轮廓跟踪方法。视频监控中的实时轮廓跟踪存在着两个问题。一个是速度较慢，另一个是阴影等噪声的影响。本发明与传统的水平集方法相比，避免了重复解偏微分方程的高计算复杂度。此外，在RGB色彩空间上分析了颜色的信息，从而在前景提取的过程中消除了阴影和噪音。与传统方法不同，这一过程无需手动设置大量的阈值。更进一步地，本发明利用了前景提取的过程来获取被跟踪物体的大致轮廓位置。这一步骤同样是自动完成，大大降低了水平集方法中轮廓演化的时间消耗。基于这一方法，实时视频监控系统得以实现，并且在室内监控环境下获得了良好的效果。

Description

一种抗干扰的实时物体轮廓跟踪方法

技术领域

本发明涉及实时的计算机视觉技术，特别是涉及一种抗干扰的实时物体轮廓跟踪方法。

背景技术

物体跟踪是应用中的关键问题之一，如视频监控、视频会议等。当前一些面向对象的视频编码标准，如MPEG4、MPEG7等，也在编码阶段之前需要对视频中的物体进行提取。大量研究者投身于研究解决该问题的方法。目前有多种不同的方法来描述被跟踪的物体，如曲率、颜色、纹理、轮廓等。在这些方法中，轮廓是最为常用的描述符之一。

对轮廓进行跟踪比较困难。早期方法如活动轮廓方法等需要很多手动的初始化操作。最近，水平集方法在物体跟踪中获得了较多的关注。很多基于水平集模型的方法被提出。但是大部分都需要解偏微分方程，因此计算复杂度很高。即使是比较新颖的窄带技术和快速行进技术都无法解决该问题。另一个问题在于这些方法都没有去除阴影和噪声的影响，跟踪结果会出现偏差。

发明内容

为了解决物体轮廓跟踪过程中受噪声影响大、速度慢等问题，本发明的目的在于提供一种抗干扰的实时轮廓跟踪方法。

本发明解决其技术问题采用的技术方案如下：

(1)在RGB色彩空间以及归一化RGB色彩空间上进行颜色分析，提取物体前景信息，排除阴影、光照和噪声的影响。

(2)基于水平集的快速曲线演化方法，从而对目标物体的轮廓进行实时的跟踪。

本发明具有的有益效果是：

本发明提出了全新的轮廓跟踪方法，具有速度快和抗噪声干扰的特点。本发明首先引入了色彩分析消除了阴影和光照的影响，提取被跟踪物体的前景。其次避免了解开偏微分方程的高计算复杂度，进行快速的曲线演化，跟踪物体的轮廓。因此，本发明实现了运动物体轮廓的实时跟踪，并且应用到实时的视频监控系统中。

附图说明

附图是前景提取步骤中的颜色分析流程图。

具体实施方式

本发明包括以下两大步骤，如附图所示：

(1)在RGB色彩空间以及归一化RGB色彩空间上进行颜色分析，提取物体前景信息，排除阴影、光照和噪声的影响。

(2)基于水平集的快速曲线演化方法，从而对目标物体的轮廓进行实时的跟踪。

具体步骤如下：

1.提取前景信息，排除阴影、光照和噪声的影响，并且在初始化过程中加以利用，加快曲线演化：设F_t表示视频中的第t帧，F_t(x，y)表示该帧中(x，y)坐标上的像素，B表示作为背景的参考帧；由于光照的变化，背景总是随着时间变化而变化；于是建立了一个更为可靠的参考帧来克服这个问题；本方法使用视频中前面的几个静止帧来建立参考帧B，如下公式：

$B=\underset{t=i}{\overset{n}{\mathrm{\Σ}}}{w}_t{F}_t---\left(1\right)$

其中w_t表示权重系数。典型地，它被设置为：

$w_t=\frac{1}{n}---\left(2\right)$

除了可靠的背景帧，本方法还利用前景、背景、阴影和噪声像素的不同颜色特征对它们进行区分；流程如图1。

对于点F_t(x，y)，灰度图的绝对差值D_t(x，y)为：

D_t(x，y)＝|F_t(x，y)-B(x，y)|(3)

其中F_t(x，y)表示当前帧F_t上(x，y)坐标位置像素的灰度值而B(x，y)表示参考帧B上(x，y)坐标位置像素的灰度值。在图1中，T₁和T₂是用于界定当前帧与参考帧相比是否存在明显变化的阈值。如果D_t(x，y)＜T₁，(x，y)位置上的像素并无明显变化，因此判定为背景。如果D_t(x，y)＞T₁，那么该位置上的像素有明显变化，它可能为前景点、阴影点或噪声点；如果D_t(x，y)＞T₂，那么该点变化相当明显，必然为前景点；

下一步进行噪音和阴影的检测；首先进行噪声的检测；图1中条件1为：

$\left\{\begin{array}{c}{G}_t(x,y)-B(x,y)>T_3\\ G_t(x,y)-B(x,y)<T_4\end{array}\right.---\left(4\right)$

T₃和T₄定义了噪音的灰度值范围；如果像素点的变化在这一范围内，则认为该点为噪声点；

其次在RGB空间和归一化RGB空间上进行阴影检测；从RGB空间上到归一化RGB颜色进行转化的公式为：

$r=\frac{R}{R+G+B}$ $g=\frac{G}{R+G+B}$ $b=\frac{B}{R+G+B}---\left(5\right)$

其中r、g和b为归一化后的颜色信息。

图1中所示条件2为：

c₁为RGB色彩空间上最大分量的值，c₂为RGB色彩空间上中间值分量的值。而c₃为归一化RGB色彩空间上最大分量的值，c₄为归一化RGB色彩空间上中间值分量的值。除了(6)中公式所定义的条件外，判断像素是否为阴影的附加条件为阴影位置上RGB和归一化RGB空间上各个色彩分量的大小顺序不会改变；

如果以上条件满足，那么该点被判定为阴影点。否则该点判定为物体点；

在检测物体点的过程中，我们初始化了只有前景的差值图像和大致的物体轮廓，为下一步进行曲线演化做准备。差值图像I_t由以下公式获得：

曲线演化直接在该差值图像上进行，而不在原始图像上进行；

除了建立差值图像，x和y轴上检测到物体点的坐标最大值和最小值被用来建立一个矩形。该矩形为曲线演化的初始范围，从而避免在整帧中进行曲线演化。组成该矩形的像素点被放入一个链表L。

2.基于水平集方法的实时曲线演化：曲线演化过程所需的数据包括为像素点的链表L，水平集方程的值φ和链表L的插入位置P；链表L表示了组成当前轮廓的点，其中的元素包含了这些点的信息，包括坐标和在差值图像I_t中对应位置的值；L中的点表示为L(x，y)，而L中的第一个点表示为L_f(x，y)。实际上链表L被P分割为背景点集合和物体点集合两个部分；背景点在P位置之前，而物体点在P之后。

为了简化和加速运算，本方法定义水平集方程为：

在初始化过程中，本方法已经将大致轮廓范围外的所有点的水平集方程值设置为-1，因此在曲线演化过程中无需对它们进行处理；

曲线演化需要进行多次循环；在每一次循环中，先检查链表中的第一个点L_f(x，y)是否为物体点；如果该点为背景点，那么它的四个邻接点都进行是否为物体点的判断；如果该邻接点已经进行过该判断，那么忽略该邻接点以避免重复运算；如果该邻接点为物体点，那么该点被插入到P位置；如果该邻接点为背景点，那么该点被插入到P位置并且将P向后移动一个位置；通过移动P的简单操作，我们保持了背景点和物体点两个集合之间的插入位置，从而进一步提高了速度。在插入完毕后，该点的水平集方程值设置为φ(x，y)＝0；当L_f(x，y)的四个邻接点都检查完毕，L_f(x，y)从链表中删除，并且设置水平集方程值为φ(x，y)＝-1。每次循环中，L_f(x，y)都重复以上操作，而曲线演化的结束条件定义为：

对L_f(x，y)而言，I_t(x，y)＞0(9)

此时，链表L中的点全部为物体点，从而得到物体的轮廓。

Claims (2)

1.一种抗干扰的实时物体轮廓跟踪方法，其特征在于：

(1)在RGB色彩空间以及归一化RGB色彩空间上进行颜色分析，提取物体前景信息，排除阴影、光照和噪声的影响；

(2)基于水平集方法的实时曲线演化，从而对目标物体的轮廓进行实时的跟踪；

所述步骤(1)提取物体前景信息，排除阴影、光照和噪声的影响，并且在步骤(2)初始化过程中加以利用，加快曲线演化；设F_t表示视频中的第t帧，F_t(x，y)表示该帧中(x，y)坐标上的像素，B表示作为背景的参考帧；由于光照的变化，背景总是随着时间变化而变化；于是建立了一个更为可靠的参考帧来克服这个问题；使用视频中前面的几个静止帧来建立参考帧B，如下公式：

$B=\underset{t=i}{\overset{n}{\mathrm{\&Sigma;}}}{w}_t{F}_t---\left(1\right)$

其中w_t表示权重系数；典型地，它被设置为：

$w_t=\frac{1}{n}---\left(2\right)$

除了可靠的背景帧，还利用前景、背景、阴影和噪声像素的不同颜色特征对它们进行区分；

对于点F_t(x，y)，灰度图的绝对差值D_t(x，y)为：

D_t(x，y)＝|F_t(x，y)-B(x，y)|                                    (3)

其中F_t(x，y)表示当前帧F_t上(x，y)坐标位置像素的灰度值而B(x，y)表示参考帧B上(x，y)坐标位置像素的灰度值；T₁和T₂是用于界定当前帧与参考帧相比是否存在明显变化的阈值；如果D_t(x，y)＜T₁，(x，y)位置上的像素并无明显变化，因此判定为背景；如果D_t(x，y)＞T₁，那么该位置上的像素有明显变化，它可能为前景点、阴影点或噪声点；如果D_t(x，y)＞T₂，那么该点变化相当明显，必然为前景点；

下一步进行噪音和阴影的检测；首先进行噪声的检测；条件为：

$\left\{\begin{array}{c}{G}_t(x,y)-B(x,y)>T_3\\ G_t(x,y)-B(x,y)<T_4\end{array}\right.---\left(4\right)$

T₃和T₄定义了噪音的灰度值范围；如果像素点的变化在这一范围内，则认为该点为噪声点；

其次在RGB空间和归一化RGB空间上进行阴影检测；从RGB空间上到归一化RGB颜色进行转化的公式为：

$r=\frac{R}{R+G+B}$ $g=\frac{G}{R+G+B}$ $b=\frac{B}{R+G+B}---\left(5\right)$

其中r、g和b为归一化后的颜色信息；

条件为：

c₁为RGB色彩空间上最大分量的值，c₂为RGB色彩空间上中间值分量的值；而c₃为归一化RGB色彩空间上最大分量的值，c₄为归一化RGB色彩空间上中间值分量的值；除了(6)中公式所定义的条件外，判断像素是否为阴影的附加条件为阴影位置上RGB和归一化RGB空间上各个色彩分量的大小顺序不会改变；

如果以上条件满足，那么该点被判定为阴影点；否则该点判定为物体点；

检测物体点的过程同时初始化了只有前景的差值图像和大致的物体轮廓，为下一步进行曲线演化做准备；差值图像I_t由以下公式获得：

曲线演化直接在该差值图像上进行，而不在原始图像上进行；

除了建立差值图像，x和y轴上检测到物体点的坐标最大值和最小值被用来建立一个矩形；该矩形为曲线演化的初始范围，从而避免在整帧中进行曲线演化；组成该矩形的像素点被放入一个链表L。

2.根据权利要求1所述的一种抗干扰的实时物体轮廓跟踪方法，其特征在于：所述步骤(2)中基于水平集方法的实时曲线演化：曲线演化过程所需的数据包括为像素点的链表L，水平集方程的值φ和链表L的插入位置P；链表L表示了组成当前轮廓的点，其中的元素包含了这些点的信息，包括坐标和在差值图像I_t中对应位置的值；L中的点表示为L(x，y)，而L中的第一个点表示为L_f(x，y)

实际上链表L被P分割为背景点集合和物体点集合两个部分；背景点在P位置之前，而物体点在P之后；

为了简化和加速运算，本方法定义水平集方程为：

在初始化过程中，本方法已经将大致轮廓范围外的所有点的水平集方程值设置为-1，因此在曲线演化过程中无需对它们进行处理；

曲线演化需要进行多次循环；在每一次循环中，先检查链表中的第一个点L_f(x，y)是否为物体点；如果该点为背景点，那么它的四个邻接点都进行是否为物体点的判断；如果该邻接点已经进行过该判断，那么忽略该邻接点以避免重复运算；如果该邻接点为物体点，那么该点被插入到P位置；如果该邻接点为背景点，那么该点被插入到P位置并且将P向后移动一个位置；通过移动P的简单操作，我们保持了背景点和物体点两个集合之间的插入位置，从而进一步提高了速度；在插入完毕后，该点的水平集方程值设置为φ(x，y)＝0；当L_f(x，y)的四个邻接点都检查完毕，L_f(x，y)从链表中删除，并且设置水平集方程值为φ(x，y)＝-1；每次循环中，L_f(x，y)都重复以上操作，而曲线演化的结束条件定义为：

对L_f(x，y)而言，I_t(x，y)＞0                                     (9)

此时，链表L中的点全部为物体点，从而得到物体的轮廓。

Images