CN1537299A - 利用块增大和变化检测掩码识别视频中的运动对象 - Google Patents

Abstract

一种将块增大和变化检测相结合的方法。在对输入视频滤波以消除噪声之后，由视频帧形成时空数据结构并选择标记。根据所述标记，利用基于颜色相似度的形心链接方法使块增大。然后利用局部颜色特征从视频中的相邻帧中提取变化检测掩码。变化检测掩码与每块交叉，以确定仅在位于该块范围内的掩码部分中的变化像素数目。如果交叉区中的变化像素数目超过某个门限，那么将块识别为运动对象。

Description

利用块增大和变化检测掩 码识别视频中的运动对象

技术领域

本发明一般地涉及视频处理，具体地说，涉及识别视频中的运动对象。

背景技术

正如MPEG-4和MPEG-7标准化工作所示，许多视频要求处理，以找到对象、确定事件、与量化应用有关的视觉评价，以及分析视频序列特性，参见例如R.Castagno、T.Ebrahimi和M.Kunt的文章“用于交互式多媒体应用的基于多种特征的视频分割”(IEEETrans.on Circuits and Systems for Video Technology，Vol.8，No.5，pp.562-571，September 1998)。基于内容的视频表示要求将图像或视频序列分解成特定的对象，例如，使运动对象与静态背景分离。

许多电视广播包含人在相对静止的背景前讲话的场面，即新闻节目、讨论会、传记、肥皂剧等等。而且，视频会议应用广泛采用头部、肩部画面取得可视通信。将来，可用性越来越好的移动视频摄像机将会超过对等的、带宽受限的面部通信。因此，对头肩类型视频序列(亦称为“发言者头部特写”)的精确对象分割是视频处理的重要方面。

然而，对头肩类型序列自动分割是困难的。因为发言者头部通常位于几乎不运动的桌子旁边，基于参数的方法不能精确地估计这种类型序列中对象的运动。而且，基于运动的分割方法计算量大且不可靠。基于区域的方法具有过度分割的缺点，故不能确定感兴趣的区域。基于帧差异的方法的缺点是不精确的对象形状确定。

另一种用于对象分割的方法利用块增大以获得最小的颜色一致的视频分量，参见例如F.Porikli和Y.Wang的文章“采用视频块的无监控多分辨率对象提取算法”(Proceedings of Int.Conf.ImageProcess，Thesselaniki，2001)，亦参见Porikli于2001年4月4日提交的美国专利申请09/826333“用于多分辨率视频对象分割的方法”。首先，对视频利用快速中值滤波，以消除局部颜色不规则性，参见例如M.Kopp和W.Purgathofer的文章“有效的3×3中值滤波计算”(Technical University，Vienna，1994)。然后，通过对图像帧及其特征加索引，从输入视频形成时空数据结构。通过将连续的视频帧作为3D(三维)数据结构平面处理，可以将对象消息向前和向后传播。在对视频序列滤波之后，按颜色梯度选择标记点。利用色距使围绕各标记的块增大。视频块存在的问题是运动对象不能与静止对象区分。例如，利用块增大，色彩鲜明的空白墙将会形成块。

变化检测掩码(CDM)是在视频序列中一对帧的前一帧和当前帧之间变化的像素图。CDM定义为有关一组给定规则的两帧的颜色不相似度。考虑到摄像机稳定、对象一致以及照明条件不变，故一对相邻帧的像素颜色差异表示场景中的运动对象。然而，并非所有颜色变化因运动对象而出现，摄像机移动、强度变化和因视频帧上的不均匀照明造成的阴影以及图像噪声都会造成帧差异。计算简单使CDM可实际用于实时应用，参见C.S.Regazzoni、G.Fabri和G.Vernazza的文章“基于视频的高级监控系统”(Kluwer Academic Pub.，1999)。然而，单独使用CDM来确定运动对象使分割性能变差。

因此，需要改进的完全自动的方法，用于精确地识别视频中任意数目的运动对象，尤其是在对象相对于背景几乎不运动的情况下，例如发言者头部特写情况下。所述方法应该结合视频在时间上的运动和颜色特征。分割应该在合理的时期内发生，并且不依赖于初始用户分割，也不依赖于同类运动约束。

发明公开

本发明提供自动识别视频中运动对象的方法。所述方法将块增大与变化检测相结合。在对输入视频滤波以消除噪声之后，从视频帧形成时空数据结构，并选择标记。根据这些标记，基于形心链接方法利用颜色相似度使块增大。然后利用局部颜色特征从视频中相邻帧中提取变化检测掩码。使变化检测掩码与每块交叉，确定仅位于所述块范围内的各掩码部分中的变化像素的数目。如果交叉区的变化像素数目超过某个门限，那么就将该块识别为运动对象。

附图简要说明

图1是根据本发明的用于识别视频中运动对象的方法的框图；

图2是图1所示方法的分块步骤框图；

图3是图1所示提取变化检测掩码步骤的框图；以及

图4是图1所示视频运动对象步骤的框图。

实施本发明的最佳方式

本发明利用空时块增大和变化检测掩码识别视频101中的运动对象。用于识别视频中几乎不运动的对象(如“发言者头部特写”)，本发明特别有用。如图1所示，第一步骤200通过由视频帧101构成时空数据结构来分割来自视频101的块241。从数据结构选择标记mi。所述标记是使块Vi 241增大的起始点。第二步骤300从输入视频101提取变化检测掩码341。通过确定相邻的一对帧中相应像素颜色特征的变化，提取标记。在第三步骤400中，将所提取的掩码341应用于块241，以识别视频101中的运动对象421。

分块

构造时空数据结构S

图2显示图1的分块步骤200的细节。首先，在任选的预处理步骤210中对视频101应用快速中值滤波以便消除局部不规则性。下一步骤220根据输入视频101的帧像素构造时空数据结构S 221。数据结构S(x，y，t)中的每个元素都是向量w(x，y，t)，它包括颜色值和位置(x，y，t)处像素的变化检测得分，其中(x，y)是输入视频101的特定帧t中像素的坐标。

标记选择

把具有最小颜色梯度值的向量选为标记231(步骤230)。标记231是未提纯(unrefined)块241增大的起始点(步骤240)。在一个最佳实施例中，采用YUW彩色空间，这是因为该彩色空间符合人类视觉感，且可以按照振幅或欧几里得规范计算颜色间距离。对颜色间距离公式作相应修改，就可以采用任何彩色空间。

通过确定哪一个向量221具有最小的颜色梯度值，选择标记(步骤230)，这是因为具有最小梯度值的向量最适合于表征纹理均匀的局部像素邻域。颜色梯度值|S|由下式确定：

|S(x，y，t)|＝|w_y(x^-，y，t)-w_y(x⁺，y，t)|+|w_u(x，y^-，t)-w_u(y⁺，t)|

               +|w_v(x，y，t^-)-w_v(x，y，t⁺)|

                                                     (1)

其中，( )^-和( )⁺表示局部邻域中距离中心像素的等距离。为了计算简单，仅使用亮度分量w_y。然后，将具有最小梯度值的向量选为标记231 m_i(步骤230)。

块增大

围绕标记231使未提纯块241增大(步骤240)。形心链接方法用于使块增大(步骤240)。形心c_i是标记的向量w(m_i)。有效外壳包括当前块241的所有外部边界p⁺。在6个邻域中选择相邻向量p^-，它包括向量(x+1，y，t)，(x-1，y，t)，(x，y+1，t)，(x，y-1，t)，(x，y，t+1)，(x，y，t-1)，以得到向量(x，y，t)。把与活动外壳相邻的向量p^-比作形心，并且确定形心和各相邻向量p^-之间的颜色距离d(c_i，p^-)。如果形心和相邻向量之间的颜色距离小于门限ε，就将相邻向量包括于未提纯块中，并更新形心c_i。为了确定颜色距离门限ε，通过彩色空间中的向量群集并利用主颜色，将输入视频101的像素量化。量化通过简化彩色光谱改进形心链接方法的健壮性。

当块241增大了时，就根据下式从集合Ω中删除它的向量：

其中，Ω是所有向量221的集合。

接着，把剩余集合中具有最小梯度值的下一向量选为下一标记，并重复块增大过程(步骤235)，直到不再剩余向量221。

块合并

合并(步骤250)减少未提纯块241中的不规则性。让小于最小尺寸的块与相邻块合并。例如，使小于块V(即整个视频)的0.001倍的块合并，以加速此过程，合并(步骤250)以分层方式进行，它从最小的块开始，结束于不满足最小尺寸要求的最大块。不满足最小尺寸要求的最小块与最近的块合并。按照尺寸增大的顺序对所有小块重复该过程。

提取变化检测掩码

确定距离

图3显示图1所示提取步骤300的细节。该步骤从相邻的成对帧中提取变化检测掩码。首先，确定(步骤310)当前帧t局部窗口中像素p(x，y，t)和相邻帧t-1中像素q_n(x_m，y_m，t-1)的距离311：

$\mathrm{\δ}(p,q_n)=\underset{i,j}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}|w_k(x,y,t)-w_k(x_{\mathrm{ni}},y_{\mathrm{nj}},t-1)|,---\left(3\right)$

其中，x_ni，y_nj是窗口N₁中中心像素q_n(x_n，y_n，t)周围的像素坐标，k是彩色分量y，u，v，得到距离δ(p，q)311。在另一窗口N₂中选择各点q_n(x_m，y_m，t-1)。彩色分量可从任何彩色空间(即RGB，HIS等等)中选取。如果使用单通道输入，则k表示输入通道，即灰度等级。

选择最小得分

选择最小得分(步骤320)防止运动估计中的一些较小的误差。根据下式将另一窗口N₂中的最小距离δ(p，q_n)311指定为各像素p的得分Δ(p)：

$\mathrm{\Δ}\left(p\right)=\underset{n}{\min }(p,q_n),q_n\∈N_2------\left(4\right)$

对得分求平均

在窗口N₃中对得分求平均(步骤330)，得到用于阈值处理340的平均得分331。

对得分作阈值处理

对得分作阈值处理(步骤340)得到二进制变化检测掩码cdm(p)341，

其中，μ是门限。可以将它指定为彩色分量动态范围的加权平均。选择得分门限，使平均分331与一组变化点而不是与单个点对应。以同样的方式对小区域滤波。

备选的变化检测掩码

可以采用其它变化检测掩码代替以上方法。这些掩码包括但不限于帧差异算子、全局运动补偿掩码、非二级制变化检测掩码。因此本公开所述的方法包括所有变化检测掩码提取方法。一种简单的变化检测掩码可以为：

$\mathrm{cdm}\left(p\right)$ $=\underset{k}{\mathrm{\Σ}}$ $|w_k(x,y,t)-$ $w_k(x,y,t-1)$ $|------\left(6\right)$

其中，像素p是帧t中的像素，k表示彩色分量。

将变化检测掩码应用于分割块

图4显示图1识别步骤400的细节。在分割块(步骤200)和提取掩码(步骤300)之后，识别运动对象(步骤400)。针对每个块对掩码与该块交叉区中的变化像素计数。可以对总计数归一化，将计数超过预定门限的块识别为运动对象421。

本发明可以精确地识别视频中的运动对象，特别是在对象几乎不运动的情况下，例如，首部肩部类型的视频序列。该方法同时利用时间上的运动和颜色特征。识别在合理的时期内进行，且不依赖于初始的用户分割，也不依赖于同类运动约束。识别了的运动对象就可以容易地加以分割。

本发明的另一优点是，它不要求背景登记。此外，本发明可以精确地提取对象边界，而不用基于蛇形的模型或边界校正方法。所提出的方法还可以分割平滑的有纹理的对象。

尽管已通过最佳实施方式示例对本发明作了描述，但是显然，在本发明的精神和范围之内可以作出各种其它变化和修改。因此，所附权利要求书的目的是要包括属于本发明精神和范围之内的所有这种变化和修改。

Claims (8)

1.一种用于识别视频中运动对象的方法，所述方法包括：

把所述视频分成多个块；

从所述视频中提取多个掩码；以及

将所述多个掩码应用于所述多个块，以识别与运动对象对应的块。

2.如权利要求1所述的方法，其中，所述视频包括多个帧并且每个帧包括多个像素，其特征在于所述方法还包括：

由所述帧的所述像素构造时空数据结构，其中，所述数据结构中的每个元素是包括像素(x，y，t)的颜色值的向量，这里(x，y)是所述视频中特定帧t中像素的坐标；

用最小颜色梯度值作为标记选择向量；

增大每个标记附近的未提纯的块；

从所述数据结构中删除所述未提纯的块；以及

重复所述选择、增大以及删除步骤直到所述数据结构为空。

3.如权利要求2所述的方法，其特征在于还包括：

将不满足最小尺寸要求的未提纯的块与最接近的较大的块合并。

4.如权利要求3所述的方法，其特征在于所述颜色梯度值|S|由下式确定：

|S(x，y，t)|＝|w_y(x^-，y，t)-w_y(x⁺，y，t)|+|w_u(x，y^-，t)-w_u(y⁺，t)|

              +|w_v(x，y，t^-)-w_v(x，y，t⁺)|

其中，()^-和()⁺表示距离像素局部相邻区中中心像素的相等距离。

5.如权利要求1所述的方法，其特征在于还包括：

确定当前帧窗口中某个像素与相邻帧窗口中多个像素之间的多个距离；

选择所述多个距离中的最小距离，作为相邻帧窗口中各像素的得分；

对所述多个得分求平均；以及

对所述得分作阈值处理以产生所述掩码。

6.如权利要求1所述的方法，其特征在于还包括：

利用帧差作为变化检测掩码。

7.如权利要求1所述的方法，其特征在于将所述多个掩码应用于所述多个块以识别运动对象的步骤还包括：

对与每块相交的所述掩码的各部分中变化像素的数目计数；以及

选择计数值超过预定门限的块作为运动对象。

8.如权利要求6所述的方法，其特征在于还包括：

将所述总计数值归一化。

Images