CN101719979A - 基于时域定区间记忆补偿的视频对象分割方法 - Google Patents

Abstract

本发明公开了一种基于时域定区间记忆补偿的视频对象分割方法，步骤如下：首先，使用对称帧帧差累计法及帧差图像的四阶矩检测出初始运动变化区域；然后采用时域定区间记忆补偿法对检测出的初始运动变化区域进行补偿，并进一步整合形成全局运动记忆母板；在空域，使用Sobel边缘检测算子较为精确地检测得到当前帧中的所有边缘；然后进行时空融合，从而提取出完整精细的运动对象轮廓；最后，通过填充得到视频运动对象模板。这是一种新的并行时空融合自动分割方法，它的提出有效地解决了时空融合时经常出现的视频对象内部缺失严重以及采用帧差检测运动区域时不可避免的遮挡(覆盖/显露)问题，同时，在精确性、通用性和速度方面也有了较大的改善。

Description

基于时域定区间记忆补偿的视频对象分割方法

技术领域

本发明涉及一种视频对象提取中的处理方法，特别涉及一种基于时域定区间记忆补偿的视频对象分割方法。

背景技术

以MPEG-4为代表的第二代视频编码标准，其基于对象的编码和交互功能促使语义视频对象分割(VOP)这一项挑战性的难题，逐渐成为视频处理领域中的研究热点。视频对象分割技术作为视频处理和视频分析的关键环节，不仅在模式识别、计算机视觉领域中得到了广泛应用，而且在视频检索、视频编码、多媒体交互等新兴领域中也越来越重要。

目前，已经有多种视频分割方法。按照是否需要人工参于分割过程分为自动分割(参见Huang S S，FU L C，Hsiao P Y.Region-Level motion-based background modelingand subtraction using MRFs[J].IEEE Transactions on Image Processing，2007，16(5)：1446-1456.)和半自动分割(参见Candemir Toklu，A.Murat Tekalp，A.TanJUErdem.Semi-automatic video object segmentation in the presence of occlusion[J].IEEE Transactions on Circuits and Systems for Video Technology，2000，10(4)：624-629.)；按照应用目标的不同，可以分为精确分割(参见Tsai Y，Lai C C，HuangY P，Shih Z C.A Bayesian approach to video object segmentation via merging 3-DWatershed[J].IEEE Transactions on Circuits and Systems for Video Technology，2005，5(1)：175-180.)和实时分割(参见Jiang H T，Hakan Ardo，Viktor Owall.Ahandware architecture for real-time video segmentation utilizing memoryreduction techniques[J].IEEE Transactions on Circuits and Systems for VideoTechnology，2009，19(2)：226-235.)；按照用途不同可以分为用于视频压缩编码的分割和基于内容的交互式多媒体应用分割；按照所提供视频素材的不同，可以分为压缩域分割(参见Wang W Q，Yang J，Gao W.Modeling background and segmentation movingobjects from compressed video[J].IEEE Transactions on Circuits and Systems forVideo Technology，2008，14(5)：670-681.)和非压缩域分割；按照信息处理平台的不同分为基于运动的分割、时空融合分割(参见Ioannis Kompatsiaris，MichaelGerassimos Strintzis.Spatiotemporal segmentation and tracking of object forvisualization of videoconference image sequences[J].IEEE Transactions onCircuits and Systems for Video Technology，2000，10(8)：1388-1402.)及帧间匹配跟踪分割(参见Andrea Cavallaro，Olivier Steiger，Touradj Ebrahimi.Trackingvideo objects in cluttered background[J].IEEE Transactions on Circuits andSystems for Video Technology，2005，15(4)：575-584.)。

而结合时域与空域信息的时空融合方法则是当前的主流。其中，时域分割常用的方法有光流法(参见张泽旭，李金宗，李宁宁.基于光流场分割和Canny边缘提取融合算法的运动目标检测[J].电子学报，2003，31(9)：1299-1302.)，参数法，变化检测法(参见任明艺，李晓峰，李在铭.运动视频对象的时空联合检测技术[J].光电子·激光，2009，20(7)：911-915.)等；空域分割常用的方法有两类：一类是基于区域的区域增长法，贝叶斯法，分水岭分割法(参见祝世平，林云宇，张庆荣.一种基于定时段区域补偿的视频对象分割算法[J].光电子·激光，2009，20(10)：1376-1380.)等；一类是基于轮廓的Sobel和Canny算子等的提取法。

直接通过帧间差分获取运动对象的变化区域，方法简单但对噪声和环境光线变化比较敏感，通常不能获得完整的运动区域，此外，如果帧差数选择不当也会造成遮挡区域的扩大。而且当视频对象内部纹理相似性较高，部分暂时停止运动或运动幅度微小时，会使检测到的变化区域充满漏洞。这些都会降低最终视频对象提取的准确性与完整性。

发明内容：

本发明要解决的技术问题是：

(1)当直接通过帧间差分获取运动对象的变化区域时，对噪声和光线变化敏感且获取完整的运动区域存在严重缺失的问题；

(2)视频对象运动过程中产生的遮挡(覆盖/显露)问题。

本发明解决其技术问题所采用的技术方案：基于时域定区间记忆补偿的视频对象分割方法，包括以下步骤：

(1)时域运动变化检测：通过对称帧差累计得到原始帧差图像；经过四阶矩检测获取初始的运动变化区域；采用时域定区间记忆补偿法对初始的运动变化区域进行补偿；整合形成全局运动记忆母板；

(2)空域边缘检测：对原始视频的每一帧用Sobel算子进行边缘检测；二值化边缘检测的结果以突显并保留重要边缘细节；

(3)时空融合提取运动对象：采用并行融合的方式将由步骤(1)形成的全局运动记忆母板与视频序列的每一帧通过步骤(2)得到的二值化边缘检测结果“相与”提取出运动对象的精确边界轮廓；根据边界填充运动对象模板；进行必要的形态学修补。

本发明与现有技术相比所具有的优点在于：

(1)本发明方法通过深入分析视频图像不同特性的运动结构，在时域提出了一种称为时域定区间记忆补偿的新方法以及全局运动记忆母板的形成方法，结合这两种方法有效地解决了帧差变化检测时经常存在的提取出的视频对象模板的严重缺失问题；

(2)在并行时空融合时，通过由全局运动记忆母板与边缘检测结果“相与”提取出的视频边界将遮挡部分准确地剔除；

(3)采用本发明方法提取视频对象速度快、精确性高。

附图说明：

图1是本发明的基于时域定区间记忆补偿的视频对象分割方法的流程图；

图2是Claire视频序列变化检测和记忆补偿效果图：其中(a)表示Claire视频序列的第7帧；(b)表示Claire视频序列的第17帧；(c)表示图(a)通过帧差累计四阶矩检测后得到的初始运动变化区域；(d)表示图(b)通过帧差累计四阶矩检测后得到的初始运动变化区域；(e)表示图(c)经时域定区间记忆补偿后的运动变化区域；(f)表示图(d)经时域定区间记忆补偿后的运动变化区域；

图3是Akiyo视频序列变化检测和记忆补偿效果图：其中(a)表示Akiyo视频序列的第3帧；(b)表示Akiyo视频序列的第13帧；(c)表示图(a)通过帧差累计四阶矩检测后得到的初始运动变化区域；(d)表示图(b)通过帧差累计四阶矩检测后得到的初始运动变化区域；(e)表示图(c)经时域定区间记忆补偿后的运动变化区域；(f)表示图(d)经时域定区间记忆补偿后的运动变化区域；

图4是Claire和Akiyo视频序列的全局运动记忆母板(GMM)图：其中(a)表示Claire视频序列的全局运动记忆母板；(b)表示Akiyo视频序列的全局运动记忆母板；

图5是Claire和Akiyo视频序列的全局运动记忆母板(GMM)经填充后的效果图：其中(a)表示Claire视频序列的全局运动记忆母板经填充后的效果图；(b)表示Akiyo视频序列的全局运动记忆母板经填充后的效果图；

图6是Hall monitor视频序列VOP提取效果图：其中(a)表示Hall monitor视频序列的第68帧；(b)表示Hall monitor视频序列的第141帧；(c)表示从图(a)中提取到的VOP；(d)表示从图(b)中提取到的VOP；

图7是Claire、Akiyo及Mother and daughter视频序列采用本发明方法提取出的VOP效果图：其中(a)表示Claire视频序列的第1帧；(b)表示从图(a)中提取到的VOP；(c)表示Claire视频序列的第25帧；(d)表示从图(c)中提取到的VOP；(e)表示Akiyo视频序列的第76帧；(f)表示从图(e)中提取到的VOP；(g)表示Akiyo视频序列的第78帧；(h)表示从图(g)中提取到的VOP；(i)表示Mother and daughter视频序列的第1帧；(j)表示从图(i)中提取到VOP；(k)表示Mother and daughter视频序列的第6帧；(1)表示从图(k)中提取到VOP。

具体实施方式：

下面结合附图及具体实施方式进一步详细介绍本发明。

本发明的基于时域定区间记忆补偿的视频对象分割方法，包括以下步骤：

步骤1：时域运动变化检测：通过对称帧差累计得到原始帧差图像；经过四阶矩检测获取初始的运动变化区域；采用时域定区间记忆补偿法对初始的运动变化区域进行补偿；整合形成全局运动记忆母板。

差分图像中包括噪声和由运动目标所引起的运动变化区域两部分，其中运动变化区域又包括运动的视频对象和遮挡区域两部分。因此，要想从差分图像中得到运动的视频对象，需要有效地去除绝大部分噪声和正确识别遮挡区域。

进行时域分割时，如果目标部分运动不明显，就难以找到包含完整视频对象的运动区域，所以首先采用对称帧距帧差来进行运动累计。

设视频序列灰度化后第k帧为f_k(x，y)，对称帧距为δ，则当前帧的累计帧差为：

d_k(x，y)＝|f_k+δ(x，y)-f_k(x，y)|+|f_k-δ(x，y)-f_k(x，y)|

帧差累计虽然在一定程度上反映了运动目标的轮廓，但是也反映了累计的噪声。其噪声一般具有高斯分布的特性，所以可以从图像中提取非高斯信号以滤除噪声得到最初的运动区域。采用帧差图像的四阶矩检测运动区域。先在帧差图像上计算以(x，y)为中心的矩形窗口w(x，y)(窗口尺寸为N_w×N_w，一般取N_w为3)的四阶矩：

$D_k^4(x,y)=\frac{1}{N_w^2}\underset{(p,q)\∈w(x,y)}{\mathrm{\Σ}}{(d_k(p,q)-\stackrel{\‾}{d_{\mathrm{kw}}}(x,y))}^4$

式中 $\stackrel{\‾}{d_{\mathrm{kw}}}(x,y)=\frac{1}{N_w^2}\underset{(p,q)\∈w(x,y)}{\mathrm{\Σ}}{d}_k(p,q)$ 是w(x，y)内帧差信号均值。

假设帧差图像上远离运动目标的静止背景区域为S(x，y)，则可以在图像边界上选取S(x，y)(尺寸为N_s×N_s，一般取N_s＝12)，其噪声方差可计算如下：

$\stackrel{\‾}{{\mathrm{\σ}}_d^2}=\frac{1}{N_s^2}\underset{(p,q)\∈S(x,y)}{\mathrm{\Σ}}{(d_k(p,q)-\stackrel{\‾}{d_{\mathrm{ks}}}(x,y))}^2$

式中d_ks(x，y)是S(x，y)内帧差信号均值。

因为运动目标位于图像的中间，所以在具体实现时可以选取帧差图像4个角上的12×12像素块作为静止背景区域，求出每个区域的方差，并求出这4个方差的均值作为最终的噪声方差。最后，每个像素的四阶矩和阈值比较，即

其中H₀表示静止的背景，H₁表示前景或覆盖/显露的背景，μ为实验中确定的常数系数。

如果运动目标的内部纹理具有高度的一致性，运动目标整个或局部在某个时间静止或运动缓慢，仅使用上述变化检测方法不能检测到完整的运动区域，从而导致在时空融合时，无法得到精确的运动目标边界轮廓，从而在最终的提取中造成目标缺失。实际上，这是时空联合方法的瓶颈问题之一。

针对这种情况，本发明方法在时域分割时就引入了补偿，据此提出了时域定区间记忆补偿法能够有效解决运动区域边界的缺失空洞。我们知道在视频序列的各帧之间具有时域相关性，目标的运动也就具有连续性。因此可以认为在某一个较短的时间段内，运动具有记忆的功能。即在这段时间段内出现次数频繁的部分应该作为有效记忆片段出现在整个运动时段内，通过这种方式我们就能够实现记忆补偿。

设记忆补偿的时区长度为m，在这段时区中的视频序列分别为F₁，F₂，…，F_m-1，F_m，该区段对应的记忆模板MT(memory template)，与视频每帧大小相同。成为有效记忆片段的标准为：

$\mathrm{MT}(x,y)=\left\{\begin{array}{cc}255,& n_i/m\&GreaterEqual;T\\ 0,& n_i/m<T\end{array}\right.$

其中n_i为点(x，y)在视频序列F₁，F₂，…，F_m-1，F_m中被标记为目标运动点的次数，T为一个比例阈值。T值的选取要根据不同视频序列来进行选取。对于运动速度较快，运动幅度较大的视频可以选取较大的值，对于运动速度较慢，运动幅度较小的视频要选择较小的值。F₁，F₂，…，F_m-1，F_m实际上就是我们前面经过检测得到的帧差FD₁(x，y)，FD₂(x，y)，…，FD_m-1(x，y)，FD_m(x，y)经过噪声抑制后的二值化模板：FD_i(x，y)＝255，表明该点被标记为目标运动点；FD_i(x，y)＝0，表明该点被标记为目标背景点。在完成有效记忆片段的标记后就可以进行该时段内的记忆补偿了。

对于点(x，y)，如果MT(x，y)为0，则放弃补偿，若MT(x，y)为255，则说明该点为有效记忆点，应该进行补偿，即

F₁(x，y)＝255，F₂(x，y)＝255，...，F_m-1(x，y)＝255，F_m(x，y)＝255

本发明方法中，将记忆补偿的时区长度m作为一个记忆单元。图2和图3分别是Claire和Akiyo进行检测和记忆补偿后的结果。图2中，选取的对称帧距δ＝4，记忆补偿中比例阈值T取2/12。图3中，选取的对称帧距δ＝2，记忆补偿中比例阈值T取2/12。

从图2和图3中可以看出，经过变化检测的帧差图像中的运动区域中有许多的孤立点，运动目标的边界轮廓并不完整，但是经过记忆补偿后效果有了相当大的改进，不仅得到了完整的边界轮廓，而且运动区域本身也获得了更丰富的运动信息。

经过时域定区间记忆补偿后，虽然效果得到了很大的改善，但是各帧间仍然存在不同程度运动区域的缺失，所以，本方法又进一步提出了全局运动记忆母板GMM(globalmovement motherboard)的概念。

$\mathrm{GMM}(x,y)=\underset{1\&le;k\&le;N}{\mathrm{\&cup;}}\left((F_{k1}(x,y)\&cup;...\&cup;F_{\mathrm{km}}(x,y)\right),N=\mathrm{totalframe}/m$

图4是Claire和Akiyo序列的GMM。实际上，全局运动记忆母板是由记忆补偿后得到的二值模板F_ki(x，y)整合形成，对于每个视频序列有且只有一个全局运动记忆母板，它描述了在整个视频序列中，运动目标移动的运动最大范围。

在时空融合阶段，该全局运动记忆母板起着举足重轻的作用。如果GMM过大，则会造成背景混杂于前景中，若GMM过小，则会造成边界轮廓的缺失，使前景的某一部分无法提取出来。所以对GMM的后期处理也非常重要。这些后处理包括GMM平面的填充和形态学算子滤波修正。

开启、闭合是形态学中重要的操作，它们是由膨胀和腐蚀级连结合使用形成的。开操作一般使图像的轮廓变得光滑，断开狭窄的间断和轮廓上的毛刺。闭操作同样可使轮廓线更为光滑，但与开操作相反的是，它通常消除狭窄的尖端和长细的鸿沟，消除小的空洞，并填补轮廓线中的断裂。同时由于开闭操作会使计算量增大，因此对于轮廓比较光滑的GMM，就不需要进行形态学滤波修正了，只需要进行填充即可。例如，图4中的GMM轮廓连续且光滑，可以直接填充，其填充结果如图5所示。

根据边界填充运动对象模板步骤：

(1)进行水平填充，即：遍历整个运动对象模板，找到每一行中第一个边界点和最后一个边界点，将这两点之间的像素点全部标记为运动对象内部点；

(2)进行垂直填充，即：遍历整个运动对象模板，找到每一列中第一个边界点和最后一个边界点，将这两点之间的像素点全部标记为运动对象内部点；

(3)然后将水平填充结果与垂直填充结果取交集，得到最终填充完毕后的视频运动对象模板。

步骤2：空域边缘检测：对原始视频的每一帧用Sobel算子进行边缘检测；二值化边缘检测的结果以突显并保留重要边缘细节。

边缘检测是图像分割的一个重要途径。本方法采用Sobel算子进行边缘检测，主要是由于在满足检测精度的条件下，Sobel算子对噪声具有一定的抑制作用，不需要经过平滑处理，不会出现很多孤立的边缘像素点，同时运算简单、快速。

为了突显并保留某些重要边缘细节，本方法在边缘检测后将得到的边缘进行了二值化处理。二值化阈值的选取要以确保所有的主要的边界轮廓清晰完整为原则，至于边界内部一些边缘的弃留并没有特别的要求，这里记原始视频序列经过边缘检测后的结果为E_Sobel。

步骤3：时空融合提取运动对象：采用并行融合的方式将由步骤(1)形成的全局运动记忆母板与视频序列的每一帧通过步骤(2)得到的二值化边缘检测结果“相与”提取出运动对象的精确边界轮廓；根据边界填充运动对象模板；进行必要的形态学修补。

目前，时空融合方式分为串行融合和并行融合。本方法采用并行融合的方式。前面已经获得了时域完整的全局运动记忆母板GMM和空域二值化边缘检测结果E_Sobel，则提取二值运动对象掩膜如下：

BVOP(x，y)＝GMM(x，y)∩E_sobel(x，y)

当点(x，y)处映射在全局运动记忆母板GMM和空域二值化边缘检测结果E_Sobel上均为亮点(即GMM(x，y)＝255且E_Sobel(x，y)＝255)时，它对应的BVOP(x，y)应为255，即该点被最终标记为前景。否则BVOP(x，y)为0，即被标记为背景。

遮挡的形成是视频对象运动的必然结果，是视频处理中一个较难解决的问题。具体地，遮挡指的是一个表面的覆盖和显露问题，它是由于仅有部分观察场的物体的三维旋转及平移引起的。采用这样的融合方式，很显然能够将全局运动记忆母板中由于视频对象运动而产生的遮挡区域通过边界的约束剔除掉。接着，需要根据边界进行运动对象模板的填充以及必要的形态学修补以平滑模板边缘。其填充的方法与步骤1中GMM的填充方法相同。采用必要的形态学开闭操作修补以平滑视频运动对象模板的边界轮廓，下面两式分别表示形态学的开操作和闭操作：

上面公式中的

和

分别是灰度膨胀和灰度腐蚀操作，其定义如下：

$(A\&CirclePlus;B)(s,t)=\max \{A(s-x,t-y)+B(x,y)|(s-x,t-y)\&Element;D_A;(x,y)\&Element;D_B\}$

其中D_A和D_B分别是A和B的定义域，B是用于重构操作的正方形结构单元。

最后，结合原始彩色图像COLOR(x，y)，即可获得彩色运动对象：

$\mathrm{CVOP}(x,y)=\left\{\begin{array}{cc}\mathrm{COLOR}(x,y),& \mathrm{BVOP}(x,y)=255\\ 255,& \mathrm{BVOP}(x,y)=0\end{array}\right.$

本方法选择C语言作为所述方法的实现语言，CPU为Core^TM 2 Duo E6300，1.86GHz主频，内存大小为2G，使用Visual C++6.0开发环境编程实现。

为了验证本方法的有效性，对多个QCIF格式视频测试序列进行了实验。

Hall monitor序列是监控类型的视频，运动对象较小但速度快，且具有复杂的背景，受光线变化和噪声影响较大，图6显示利用本发明方法，能较为准确地提取出运动对象。

Claire是对象运动速度较慢的头肩序列，且衣服纹理存在较高一致性，采用时域定区间记忆补偿和全局运动记忆母板克服了由此产生的缺失，提取结果很精确。Akiyo背景较为复杂，且运动对象运动幅度较小，利用本发明方法也取得了令人满意的提取效果。Mother and daughter背景复杂，局部尤其是小孩部分几乎静止很容易造成缺失，且在利用对称帧距帧差累计检测时会产生严重的遮挡(覆盖/显露)问题。通过采用时域定区间记忆补偿和全局运动记忆母板弥补了大量的缺失，通过GMM和Sobel边缘检测结果的融合完全解决了严重的遮挡(覆盖/显露)问题，最终获得了很好的分割效果，如图7所示。

实验结果表明，本方法提出的视频对象分割方法，不仅对视频序列背景的复杂程度具有鲁棒性，而且对运动对象的运动速度具有通用性，尤其是对于运动速度较慢、运动幅度较小的头肩序列，能快速准确的获得运动对象。

为了客观评价本方法的正确性和有效性，本方法采用在MPEG-4核心实验中由Wollborn等提出的评价准则。该准则定义每帧的分割对象掩膜的空间准确度SA(spatialaccuracy)为：

$\mathrm{SA}=1-\frac{{\mathrm{\&Sigma;}}_{(x,y)}{A}_t^{\mathrm{est}}(x,y)\&CirclePlus;A_t^{\mathrm{ref}}(x,y)}{{\mathrm{\&Sigma;}}_{(x,y)}{A}_t^{\mathrm{ref}}(x,y)}$

式中，A_t ^ref(x，y)和A_t ^est(x，y)分别表示第t帧的参考分割和实际分割方法所得到的对象模板；

代表二值的“异或”操作。空间准确度反映了每一帧的分割结果与参考分割模板之间的形状相似程度，SA越大，表明分割越准确，SA越小，表明分割越不准确。

本方法通过手工来获取参考分割的对象模板。表1给出了图6至图7中每帧分割结果的SA值。可以看出，本方法具有较好的SA。

表1本方法视频对象提取的空间准确度

为了验证本方法的快速性，表2给出了在这种条件下视频分割的速度。

视频序列名称	分割速度(帧/秒)
		Hall monitor	30
Claire	34
		Akiyo	25
Mother and daughter	20

表2本方法的视频分割速度

以上实施例表明：本发明的基于时域定区间记忆补偿的视频对象分割方法有效地解决了时空融合中经常出现的视频对象内部缺失严重和遮挡(覆盖/显露)问题，同时运算简单快速。实验结果证明，本方法不仅对视频监控序列有较好的分割效果，而且还能对运动速度较慢，运动幅度较小的头肩序列取得令人满意的分割结果。

Claims (3)

1.一种基于时域定区间记忆补偿的视频对象分割方法，该分割方法的主要特征在于：当进行时域运动区域检测时提出了时域定区间记忆补偿法，同时提出了全局运动记忆母板的概念及其形成方法，该视频对象分割方法的具体步骤如下：

(1)时域运动变化检测：通过对称帧差累计得到原始帧差图像；经过四阶矩检测获取初始的运动变化区域；采用时域定区间记忆补偿法对初始的运动变化区域进行补偿；整合形成全局运动记忆母板；

(2)空域边缘检测：对原始视频的每一帧用Sobel算子进行边缘检测；二值化边缘检测的结果以突显并保留重要边缘细节；

(3)时空融合提取运动对象：采用并行融合的方式将由步骤(1)形成的全局运动记忆母板与视频序列的每一帧通过步骤(2)得到的二值化边缘检测结果“相与”提取出运动对象的精确边界轮廓；根据边界填充运动对象模板；进行形态学修补。

2.根据权利要求1中所述的一种基于时域定区间记忆补偿的视频对象分割方法，其特征在于：所述步骤(1)的时域运动变化检测：先计算对称帧的累计帧差，然后通过四阶矩检测，再进行时域定区间记忆补偿，最后整合形成全局运动记忆母板，具体步骤如下：

(i)设视频序列灰度化后第k帧为f_k(x，y)，对称帧距为δ，则当前帧的累计帧差为：d_k(x，y)＝|f_k+δ(x，y)-f_k(x，y)|+|f_k-δ(x，y)-f_k(x，y)|；

(ii)采用帧差图像的四阶矩检测滤除高斯噪声，检测初始的运动变化区域：先在帧差图像上计算以(x，y)为中心的矩形窗口w(x，y)的四阶矩，窗口的宽、高均为N_w：

$D_k^4(x,y)=\frac{1}{N_w^2}\underset{(p,q)\&Element;w(x,y)}{\mathrm{\&Sigma;}}{(d_k(p,q)-\stackrel{\&OverBar;}{d_{\mathrm{kw}}}(x,y))}^4$

式中 $\stackrel{\&OverBar;}{d_{\mathrm{kw}}}(x,y)=\frac{1}{N_w^2}\underset{(p,q)\&Element;w(x,y)}{\mathrm{\&Sigma;}}{d}_k(p,q)$ 是w(x，y)内帧差信号均值；

假设帧差图像上远离运动目标的静止背景区域为S(x，y)，则可以在图像边界上选取S(x，y)，其尺寸为N_s×N_s，其噪声方差可计算如下：

$\stackrel{\&OverBar;}{{\mathrm{\&sigma;}}_d^2}=\frac{1}{N_s^2}\underset{(p,q)\&Element;S(x,y)}{\mathrm{\&Sigma;}}{(d_k(p,q)-\stackrel{\&OverBar;}{d_{\mathrm{ks}}}(x,y))}^2$

式中d_ks(x，y)是S(x，y)内帧差信号均值；

因为运动目标位于图像的中间，所以在具体实现时可以选取帧差图像四个角上的N×N像素块作为静止背景区域，求出每个区域的方差，并求出这四个方差的均值作为最终的噪声方差；最后，每个像素的四阶矩和阈值比较，即

其中H₀表示静止的背景，H₁表示前景或覆盖/显露的背景，μ为实验中确定的常系数；

(iii)时域定区间记忆补偿：在视频序列的各帧之间具有时域相关性，目标的运动也就具有连续性，因此可以认为在某一个较短的时间段内，运动具有记忆的功能，即在这段时间段内出现次数频繁的部分应该作为有效记忆片段出现在整个运动时段内，通过统计并记录有效记忆片段，实现记忆补偿；

设记忆补偿的时区长度为m，在这段时区中的视频序列分别为F₁，F₂，…，F_m-1，F_m，该区段对应的记忆模板MT，与视频每帧大小相同。成为有效记忆片段的标准为：

$\mathrm{MT}(x,y)=\left\{\begin{array}{cc}255,& n_i/m\&GreaterEqual;T\\ 0,& n_i/m<T\end{array}\right.$

其中n_i为点(x，y)在视频序列F₁，F₂，…，F_m-1，F_m中被标记为目标运动点的次数，T为一个比例阈值；

F₁，F₂，…，F_m-1，F_m实际上就是我们经过对称帧差累计及四阶矩检测后得到的帧差图像FD₁(x，y)，FD₂(x，y)，…，FD_m-1(x，y)，FD_m(x，y)经过噪声抑制后的二值化模板：FD_i(x，y)＝255，表明该点被标记为目标运动点；FD_i(x，y)＝0，表明该点被标记为目标背景点；

对于点(x，y)，如果MT(x，y)为0，则放弃补偿，若MT(x，y)为255，则说明该点为有效记忆点，应该进行补偿，即

F₁(x，y)＝255，F₂(x，y)＝255，…，F_m-1(x，y)＝255，F_m(x，y)＝255

(iv)经过时域定区间记忆补偿后，虽然效果得到了很大的改善，但是各帧间仍然存在不同程度运动区域的缺失，所以，本方法又进一步提出了全局运动记忆母板GMM的概念：

$\mathrm{GMM}(x,y)=\underset{1\&le;k\&le;N}{\&cup;}\left((F_{k1}(x,y)\&cup;...\&cup;F_{\mathrm{km}}(x,y)\right)$ N＝totalframe/m；

全局运动记忆母板是由记忆补偿后得到的二值模板F_ki(x，y)整合形成，对于每个视频序列有且只有一个全局运动记忆母板，它描述了在整个视频序列中，运动目标移动的运动最大范围。

3.根据权利要求1中所述的一种基于时域定区间记忆补偿的视频对象分割方法，其特征在于，所述步骤(3)的时空融合提取视频对象，具体步骤如下：

(i)全局运动记忆母板GMM与空域二值化边缘检测结果E_Sobel融合提取二值运动对象模板：

BVOP(x，y)＝GMM(x，y)∩E_sobel(x，y)

当点(x，y)处映射在全局运动记忆母板GMM和空域二值化边缘检测结果E_Sobel上均为亮点，即GMM(x，y)＝255且E_Sobel(x，y)＝255时，它对应的BVOP(x，y)应为255，即该点被最终标记为前景；否则BVOP(x，y)为0，即被标记为背景；

(ii)根据边界填充运动对象模板步骤：

(a)进行水平填充，即：遍历整个运动对象模板，找到每一行中第一个边界点和最后一个边界点，将这两点之间的像素点全部标记为运动对象内部点；

(b)进行垂直填充，即：再次遍历整个运动对象模板，找到每一列中第一个边界  点和最后一个边界点，将这两点之间的像素点全部标记为运动对象内部点；

(c)然后将水平填充结果与垂直填充结果取交集，得到最终填充完毕后的视频运动对象模板；

(iii)必要的形态学开闭操作修补以平滑视频运动对象模板的边界轮廓，下面两式分别表示形态学的开操作和闭操作：

上面公式中的 $A\&CirclePlus;B$ 和

分别是灰度膨胀和灰度腐蚀操作，其定义如下：

$(A\&CirclePlus;B)(s,t)=\max \{A(s-x,t-y)+B(x,y)|(s-x,t-y)\&Element;D_A;(x,y)\&Element;D_B\}$

其中D_A和D_B分别是A和B的定义域，B是用于重构操作的正方形结构单元。

Images