CN101087413A - 视频序列中运动物体的分割方法 - Google Patents

Abstract

本发明公开了一种视频序列中运动物体的分割方法。为解决现有技术受到物体运动快慢、阴影效应、背景误判等因素的问题而发明。本发明视频序列中运动物体的分割方法是对当前帧灰度图像和前一帧灰度图像进行帧差及其统计分析、全局运动估计、形态滤波、边缘检测、运动对象检测及后处理、背景图像生成、全局运动补偿、变换场景检测、运动对象跟踪、背景图像更新等来完成的，采用上述的方法后，不但能够以较小的计算量有效克服阴影效应、背景误判等不利因素，而且可以获得较好的分割结果。

Description

视频序列中运动物体的分割方法

技术领域

本发明涉及多媒体通信领域中的数字视频压缩技术的MPEG-4标准，特别涉及MPEG-4标准中视频对象的分割方法。

背景技术

传统的视频压缩标准MPEG-1、MPEG-2、H.261、H.263，采用的均是带有运动补偿的预测编码与DCT变换编码相结合的混合矩形帧压缩编码方法，没有对视频场景进行分割或分析，属于低级压缩编码技术。随着多媒体应用的快速增长和基于内容的交互需求，这些基于帧压缩编码技术的视频标准无法满足要求，为此，MPEG专家组制订了新的基于内容的视频压缩国际标准——MPEG-4，通过引入视频对象(VO)、视频对象平面(VOP)的概念，将输入视频序列的每一帧分割成相应形状的图形区域，使每一帧视频对象都代表语义上有意义的对象或感兴趣的视频内容，能实现许多基于内容的多媒体交互功能，如视频会议、电子商务、远程监控及医疗和教学等。视频分割，实质上就是从视频序列中抽取运动物体的形状信息，是实现基于内容压缩编码、多媒体内容描述及智能信号处理等技术的关键。

根据分割准则的不同，传统的视频分割方法主要有两大类：空域一致性方法和变化检测方法。空域一致性方法的基本处理步骤是先利用形态滤波器简化要处理的矩形视频帧，再借助watershed等方法将整个矩形帧分成若干个小区域，然后通过区域合并形成最后的对象区域。变化检测方法通过相邻两帧的帧差信息来检测运动物体的位置和形状，利用空域、时域信息优化检测的结果。运动物体的运动是不同于背景的，空域一致性方法在不知道运动信息的情况下，单纯利用空域信息分割背景，会浪费大量的计算资源，所以变化检测方法更为高效，但是传统的变化检测方法会受到物体运动快慢、阴影效应、背景误判等因素的影响，常用的去除这些不利因素的方法所需的计算量很大，且效果不佳。

发明内容

为了克服上述的缺陷和不足，本发明目的在于提供一种能以较小的计算量有效克服阴影效应、背景误判等不利因素，并获得较好的分割结果的视频序列中运动物体的分割方法。

为了达到上述目的，本发明一种视频序列中运动物体的分割方法，包括以下步骤：

(1)将当前帧灰度图像和前一帧灰度图像输入帧差及统计分析模块进行分析计算获得二值运动图像，发送该二值运动图像到运动对象检测及后处理模块；同时，将当前帧灰度图像输入边缘检测模块和场景切换模块；

(2)边缘检测模块根据当前帧灰度图像计算得到当前帧的边缘图像，发送该当前帧的边缘图像到运动对象检测及后处理模块和运动对象跟踪模块；

(3)运动对象检测及后处理模块收到二值运动图像，将该二值图像通过高效快速的形态滤波技术得到二值运动图像的边缘图像；

(4)运动对象检测及后处理模块对所述二值运动图像的边缘图像和收到的当前帧的边缘图像进行运算得到精细的运动物体边缘，通过水平方向和垂直方向的填充方法得到运动对象；

(5)判断该运动对象是否带有毛刺噪声，如果判断结果为是，则通过滤波技术消除这些毛刺噪声，进入步骤(6)；如果判断结果为否，进入步骤(6)；

(6)背景图像生成模块根据运动对象检测及后处理模块的处理结果，通过运算生成背景图像后，发送到全局运动补偿模块；

(7)全局运动补偿模块根据收到的背景图像中特殊像素块相对于当前要分割的视频图像做运动估计所得的运动矢量做统计平均来获得全局运动矢量，利用该全局运动矢量对前一帧灰度图像进行全局运动补偿后，发送到场景切换模块；

(8)场景切换模块接收经过全局运动补偿的前一帧灰度图像和当前帧灰度图像，判断是否发生场景切换，如果判断结果为是，则返回步骤(1)；如果判断结果为否，则将经过全局运动补偿的前一帧灰度图像发送到运动对象跟踪模块，进入步骤(9)；

(9)运动对象跟踪模块接收场景切换模块的结果和当前帧的边缘图像，从当前帧的所有边缘像素点中找到运动对象边缘；

(10)背景图像更新模块根据运动对象跟踪模块的处理结果，对背景图像进行更新，发送到全局运动补偿模块；

(11)全局运动补偿模块根据收到更新的背景图像中特殊像素块相对于当前要分割的视频图像做运动估计所得的运动矢量做统计平均来获得全局运动矢量，利用该全局运动矢量对前一帧灰度图像进行全局运动补偿。

作为本发明的进一步改进，所述的步骤(1)分析计算获得二值运动图像的方法具体为：

(A)对当前帧灰度图像和前一帧灰度图像通过公式FD(x，y，t)＝|I(x，y，t)-I(x，y，t-1)|计算得到两帧的帧差图像；

其中，所述的FD(x，y，t)为帧差图像，所述的I(x，y，t)为当前帧的灰度图像，所述的I(x，y，t-1)为前一帧的灰度图像；

(B)对帧差图像中的每个像素按照公式

$m_i=\left(\underset{k\∈s_i}{\mathrm{\Σ}}{\mathrm{dy}}_k\right)/M$

${{\mathrm{\σ}}_i}^4=\left(\underset{k\∈s_i}{\mathrm{\Σ}}{({\mathrm{dy}}_k-m_i)}^4\right)/M$

计算得到一幅二值运动图像；

其中，所述的m_i为局部区域的均值，所述的dy_k是帧差图像FD(x，y，t)中像素的灰度值，所述的s_i为以像素i为中心的窗口，所述的M为该窗口中所包含像素的数目，所述的σ_i ⁴为局部区域的四阶矩，所述的T为得到的通过对每一像素的σ_i ⁴进行统计分析得到的一阈值，所述的f_i为判断像素属于运动物体或是属于背景；

(C)判断该二值运动图像中等于1的像素的覆盖范围为相对集中还是为相对发散，如果判断结果为相对集中，则对该二值运动图像进行水平方向和垂直方向的填充来获得填充后的二值运动图像；如果判断结果为相对发散，则根据视频图像的大小来选取像素块大小，对包含二值运动图像中等于1的像素对应的像素块进行运动估计，首先，对当前块和其在参考帧中对应块的差值的和取平均得到一个值，然后将当前帧中对应块的所有像素点的灰度值都减去或加上该值的绝对值再重新参考帧中与该像素块对应的位置进行绝对帧差和运算，再对这些像素块的运动矢量进行简单的统计分析判断，可得到全局运动矢量，对那些运动矢量明显不同于全局运动矢量的像素块，其内部的像素全部置为1，对那些运动矢量等于或近似等于全局运动矢量的像素块，其内部的像素全部置为0后，能够得到新的二值运动图像，对该二值运动图像进行水平方向和垂直方向的填充得到填充后的二值运动图像。

作为本发明的进一步改进，所述步骤(2)中计算得到当前帧的边缘图像的方法为Sobel算法、Watershed算法、域值法、聚类法、贝叶斯法或是Canny算子。

作为本发明的进一步改进，所述步骤(4)中得到精细的运动物体边缘的方法是通过公式

$O_{e,i}=\{e\∈E_b|\underset{x\∈E_c}{\min }\left|\right|e-x\left|\right|\≥{\mathrm{Th}}_{\mathrm{init}}\}\∪\{x\∈E_c\left|\underset{e\∈E_b}{\min }\right||x-e||\≤{\mathrm{Th}}_{\mathrm{init}}\}$

得到的；

其中，所述的O_e，i为运动物体的边缘，所述的E_b为二值运动图像的边缘，所述的E_c为通过Canny算子得到的边缘，所述的Th_init为一阈值。

作为本发明的进一步改进，所述步骤(6)中生成背景图像的方法是通过调整公式

$\mathrm{SP}(x,y,t)=\left\{\begin{array}{cc}\mathrm{SP}(x,y,t-1)+1,& \mathrm{MO}(x,y)=0\\ 0,& \mathrm{MO}(x,y)=1\end{array}\right.$

中的变量取值，生成背景图像；

其中，所述的SP(x，y，t)为视频图像位置(x，y)对应像素连续被标记为背景的次数，所述的MO(x，y)为分割得到的运动图像对应位置处的像素值，所述的BG(x，y，t)为背景图像位置(x，y)处对应的像素值，所述的I(x，y，t)为当前图像在位置(x，y)处的灰度值，所述的Fth为常数。

作为本发明的进一步改进，所述步骤(7)中做统计平均来获得全局运动矢量的方法是通过公式

${\mathrm{GMV}}_x=\mathrm{round}(\left(\underset{i=1}{\overset{N_{\mathrm{sb}}}{\mathrm{\Σ}}}{\mathrm{MV}}_x\left(i\right)\right)/N_{\mathrm{sb}})$

${\mathrm{GMV}}_y=\mathrm{round}(\left(\underset{i=1}{\overset{N_{\mathrm{sb}}}{\mathrm{\Σ}}}{\mathrm{MV}}_y\left(i\right)\right)/N_{\mathrm{sb}})$

来完成的；

其中，所述GMV_x为全局运动矢量水平方向的大小，N_sb为背景图像中特殊像素块的数目，GMV_y为全局运动矢量垂直方向的大小。

作为本发明的进一步改进，所述步骤(9)中找到运动对象边缘的方法为hausdorff距离算法或是简单的欧氏距离匹配算法。

采用上述的方法后，利用视频序列的时域空域信息，通过全局运动估计、边缘检测、背景图像生成、形态滤波、变换场景检测、对象跟踪等技术，能以较小的计算量有效克服阴影效应、背景误判等不利因素，并可以获得较好的分割结果。

附图说明

图1(a)、图1(b)为本发明的方法流程图。

图2(a)至图2(j)为Akiyo视频序列分割结果。

图3(a)至图3(f)为Coastguard视频序列分割结果。

图4(a)至图4(d)为带相机抖动视频序列分割结果。

图5(a)、图5(b)为Mother_daughter视频序列分割结果。

图6为Hall_monitor视频序列分割结果

图7为Claire视频序列分割结果

具体实施方式

下面结合附图对本发明的具体实施方式作进一步详细说明。

如图1(a)、图1(b)所示，包括运动对象初始化和运动对象更新两部分。

帧差及其统计分析：

视频序列中当前帧的灰度图像与前一帧的灰度图像通过公式(1)计算得到两帧的帧差图像，然后对帧差图像中的每个像素按照公式(2)、(3)、(4)计算得到一幅二值运动图像，通过对该图像中等于1的像素的覆盖范围和集中程度做判断获得二值运动图像：

a)如果该二值运动图像中等于1的像素的覆盖范围相对集中在图像的某几个区域，对该二值运动图像进行先水平方向后垂直方向(或先垂直后水平方向)填充得到填充后的二值运动图像，具体来说，就是先找到每一行或每一列上第一个属于运动对象边缘的像素点，然后找到每一行或每一列上最后一个属于运动对象边缘的像素点，它们之间的点都属于候选像素点，赋值为1；

b)如果等于1的像素的覆盖范围相对分散则需要通过运动估计来重新获得二值运动图像，进行运动估计时，运动估计的算法可利用简单高效的快速算法，像素块大小的选择可根据视频图像的大小来确定，图像越大，像素块相对可选的大些来减少计算量，而且可根据先前得到的二值运动图像的结果只对那些包含二值运动图像中等于1的像素对应的像素块进行运动估计，需要指出，修改的运动估计算法中先对当前块和其在参考帧中对应块的差值的和取平均得到一个值Avr，然后将当前帧中对应块的所有像素点的灰度值都减去(Avr为正)或加上(Avr为负)该值的绝对值再重新参考帧中与该像素块对应的位置进行绝对帧差和运算，再对这些像素块的运动矢量进行简单的统计分析判断，可得到全局运动矢量，对那些运动矢量明显不同于全局运动矢量的像素块，其内部的像素全部置为1，对那些运动矢量等于或近似等于全局运动矢量的像素块，其内部的像素全部置为0，这样就可以得到新的二值运动图像，对该二值运动图像进行先水平方向后垂直方向(或先垂直后水平方向)填充得到填充后的二值运动图像；

可选择地，使用滤波技术来对该二值运动图像来平滑它的边缘。

FD(x，y，t)＝|I(x，y，t)-I(x，y，t-1)|    (1)

公式(1)中，FD(x，y，t)表示帧差图像，I(x，y，t)表示当前帧的灰度图像(Y图像)，I(x，y，t-1)表示前一帧的灰度图像。

$m_i=\left(\underset{k\∈s_i}{\mathrm{\Σ}}{\mathrm{dy}}_k\right)/M---\left(2\right)$

${{\mathrm{\σ}}_i}^4=\left(\underset{k\∈s_i}{\mathrm{\Σ}}{({\mathrm{dy}}_k-m_i)}^4\right)/M---\left(3\right)$

公式(2)中，m_i为局部区域的均值，dy_k是帧差图像FD(x，y，t)中像素的灰度值，s_i代表以像素i为中心的窗口，M为该窗口中所包含像素的数目，通常M＝9，公式(3)中σ_i ⁴为局部区域的四阶矩，公式(4)中T为一阈值，该值的确定可通过对公式(3)中得到的每一像素的σ_i ⁴进行统计分析得到，f_i＝1表示像素i属于运动物体，为0时表示像素i属于背景。

边缘检测：

采用边缘检测算法得到当前帧的边缘，如Sobel算法、Watershed算法、域值法、聚类法、贝叶斯法等分割方法，也可利用结合高斯去噪和梯度锐化方法优点的Canny算子对当前帧图像进行边缘检测，提取当前帧所有边缘像素点，得到边缘图像。

运动对象检测及后处理：

帧差及其统计分析模块得到的二值运动图像作为运动对象检测及后处理模块的输入，该模块首先利用高效快速的形态滤波技术得到二值运动图像的边缘图像，该边缘图像和通过边缘检测算子得到的边缘图像按照公式(5)运算后得到比较精细的运动物体的边缘，然后通过先水平方向后垂直方向(或先垂直后水平)的填充方法得到可能带有毛刺的运动对象，再通过滤波技术消除这些毛刺。

$O_{e,i}=\{e\∈E_b|\underset{\∈E_c}{\min }\left|\right|e-x\left|\right|\≥{\mathrm{Th}}_{\mathrm{init}}\}\∪\{x\∈E_c\left|\underset{e\∈E_b}{\min }\right||x-e||\≤{\mathrm{Th}}_{\mathrm{init}}\}---\left(5\right)$

公式(5)中，O_e，i表示运动物体的边缘，E_b表示二值运动图像的边缘，E_c表示通过Canny算子得到的边缘，Th_init为一阈值，通常取1～4个像素，公式的含义是如果二值运动图像的某个边缘像素点与通过Canny算子得到的边缘像素点的距离小于Th_init，则二值运动图像的该边缘像素点被Canny算子得到的边缘像素点替换，否则保留，采用该公式的原因在于Canny算子得到的运动物体的边缘通常是不连续的。

背景图像生成：

该模块根据运动对象检测及后处理模块的结果，调整公式(6)、(7)中变量的取值，生成背景图像。

$\mathrm{SP}(x,y,t)=\left\{\begin{array}{cc}\mathrm{SP}(x,y,t-1)+1,& \mathrm{MO}(x,y)=0\\ 0,& \mathrm{MO}(x,y)=1\end{array}\right.---\left(6\right)$

公式(6)中，SP(x，y，t)表示视频图像位置(x，y)处对应像素连续被标记为背景的次数，其初值为0，MO(x，y)为分割得到的运动图像对应位置处的像素值，为0表示属于静止对象，为1表示属于运动物体。公式(7)中，BG(x，y，t)表示背景图像位置(x，y)处对应的像素值，其初值为0，所述的I(x，y，t)为当前图像在位置(x，y)处的灰度值，所述的Fth为常数；如果SP(x，y，t)≥Fth，则该背景位置像素点被赋予当前图像对应位置处的灰度值I(x，y，t)，否则为0，为运算简单，通常可令Fth为1。

全局运动补偿：

当摄像机进行平动时，所摄得的视频图像与前一帧的视频图像之间会有一个全局运动矢量存在，可利用对背景图像生成模块中得到的背景图像中某些特殊像素块相对于当前要分割的视频图像做运动估计所得的运动矢量做统计平均(公式(8)、(9))来获得这一全局运动矢量。背景图像中特殊像素块要离运动物体有一定距离且本身有比较明显的梯度变化。得到全局运动矢量后，可利用该矢量对前一帧灰度图像进行全局运动补偿，补偿后，前一帧灰度图像中可能会有一些位置由于原有像素的移动而变空，这些位置处对应公式(6)、(7)中的SP(x，y，t)＝0、BG(x，y，t)＝0，其不再属于背景。

${\mathrm{GMV}}_x=\mathrm{round}(\left(\underset{i=1}{\overset{N_{\mathrm{sb}}}{\mathrm{\Σ}}}{\mathrm{MV}}_x\left(i\right)\right)/N_{\mathrm{sb}})---\left(8\right)$

${\mathrm{GMV}}_y=\mathrm{round}(\left(\underset{i=1}{\overset{N_{\mathrm{sb}}}{\mathrm{\Σ}}}{\mathrm{MV}}_y\left(i\right)\right)/N_{\mathrm{sb}})---\left(9\right)$

公式(8)中，GMV_x表示全局运动矢量水平方向的大小，N_sb为背景图像中特殊像素块的数目，公式(9)中，GMV_y表示全局运动矢量垂直方向的大小。

场景切换判断：

前一帧灰度图像和当前帧灰度图像一起输入到场景切换判断模块中，前一帧图像中属于背景的像素块通过在当前帧中进行运动估计来判断在当前帧中是否发生了场景切换，如果像素块通过运动估计得到的运动矢量相对分散，则认为发生了场景切换，重复运动对象初始化过程，否则进入运动对象更新模块。

运动对象跟踪：

运动对象运动时，可能会发生旋转或变形，因此在每一帧中必须对运动对象进行更新，其实质就是从当前帧的所有边缘像素点中找到运动对象的边缘，可以采用常用的距离匹配算法，如hausdorff距离算法、简单的欧氏距离匹配算法等。

这样，利用视频序列的时域空域信息，通过全局运动估计、边缘检测、背景图像生成、形态滤波、变换场景检测、对象跟踪等技术，能以较小的计算量有效克服阴影效应、背景误判等不利因素，并可以获得较好的分割结果。

如图2所示，显示了Akiyo视频序列第51帧(图2(a))中运动对象的分割过程及利用hausdorff距离的跟踪结果。由于该视频序列背景内容相对简单且录制质量很好，所以在运动对象初始化过程中帧差及其统计分析模块不需要利用运动估计来获得二值运动图像(图2(b))，然后对该图像进行形态细化滤波得到该二值运动图像的边缘图像(图2(c))，随后该图像和经过Canny算子得到的原始图像的边缘图像经过运动对象检测及后处理模块得到运动对象模型(图2(f))和运动对象(图2(g))，接着通过背景生成模块得到原始图像中的背景(图2(h))，图2(i)、(j)是通过hausdorff距离跟踪得到的第56、62帧中的运动对象，可以看出，对Akiyo视频序列，本发明的分割算法取得了很好的分割结果。

图3显示了Coastguard视频序列中第119帧(图3(a))中运动对象的分割过程及利用hausdorff距离的跟踪结果。由于该视频序列中背景相对比较复杂且存在一定的运动，所以在运动对象初始化过程中的帧差及其统计分析模块需要利用运动估计来区分背景和运动对象，如图3(b)所示，图中中间没有横线的块表示运动矢量明显不同与全局运动矢量的运动块，然后通过运动估计得到的二值运动图像的边缘图像和通过Canny算子得到的原始图像的边缘图像(图3(c))进入运动对象检测及后处理模块，得到运动对象(图3(d))，图3(e)、(f)是通过hausdorff距离跟踪得到的第125、130帧中的运动对象，可以看出，由于Coastguard视频序列中波浪(纹理复杂，且有一部分的运动矢量和运动对象接近)的影响，所以分割结果中不是特别理想。

图4表现了本发明提出的分割算法中全局运动补偿对视频序列分割结果的影响，其中图4(b)是没有使用全局运动补偿时的分割结果，可以看出，属于背景的纹理比较复杂的部分由于相机抖动的影响而被误判为运动对象，而属于运动对象的部分则被误判为背景，图4(c)是从前一帧背景图像中提取出来的符合要求的特征块(纹理相对复杂且距离运动对象有一定距离)，通过对这些块进行运动估计(图4(a))为参考得到全局运动矢量，图4(d)显示使用全局运动补偿的分割结果，可以看出，通过全局运动补偿可以获得很好的视频分割结果。

图5是Mother_daughter视频序列第50、95帧的分割结果，其中图5(a)由于小女孩运动此时较少，而背景中与她脸颊相近的地方颜色纹理很接近，所以造成小女孩脸颊处的过分割，而图5(b)由于小女孩此时也开始运动，所以取得了不错的分割结果。图6是Hall_monitor视频序列第60、70帧的分割结果，由于采用Canny算子、改进的运动估计算法及统计分析可以很好的减弱人物对象在地面上形成的阴影，提高分割质量。图7是Claire视频序列第50、100帧的分割结果，其分割效果较好。

Claims (7)

1、一种视频序列中运动物体的分割方法，其特征在于，包括以下步骤：

(1)将当前帧灰度图像和前一帧灰度图像输入帧差及统计分析模块进行分析计算获得二值运动图像，发送该二值运动图像到运动对象检测及后处理模块；同时，将当前帧灰度图像输入边缘检测模块和场景切换模块；

(2)边缘检测模块根据当前帧灰度图像计算得到当前帧的边缘图像，发送该当前帧的边缘图像到运动对象检测及后处理模块和运动对象跟踪模块；

(3)运动对象检测及后处理模块收到二值运动图像，将该二值图像通过高效快速的形态滤波技术得到二值运动图像的边缘图像；

(4)运动对象检测及后处理模块对所述二值运动图像的边缘图像和收到的当前帧的边缘图像进行运算得到精细的运动物体边缘，通过水平方向和垂直方向的填充方法得到运动对象；

(5)判断该运动对象是否带有毛刺噪声，如果判断结果为是，则通过滤波技术消除这些毛刺噪声，进入步骤(6)；如果判断结果为否，进入步骤(6)；

(6)背景图像生成模块根据运动对象检测及后处理模块的处理结果，通过运算生成背景图像后，发送到全局运动补偿模块；

(7)全局运动补偿模块根据收到的背景图像中特殊像素块相对于当前要分割的视频图像做运动估计所得的运动矢量做统计平均来获得全局运动矢量，利用该全局运动矢量对前一帧灰度图像进行全局运动补偿后，发送到场景切换模块；

(8)场景切换模块接收经过全局运动补偿的前一帧灰度图像和当前帧灰度图像，判断是否发生场景切换，如果判断结果为是，则返回步骤(1)；如果判断结果为否，则将经过全局运动补偿的前一帧灰度图像发送到运动对象跟踪模块，进入步骤(9)；

(9)运动对象跟踪模块接收场景切换模块的结果和当前帧的边缘图像，从当前帧的所有边缘像素点中找到运动对象边缘；

(10)背景图像更新模块根据运动对象跟踪模块的处理结果，对背景图像进行更新，发送到全局运动补偿模块；

(11)全局运动补偿模块根据收到更新的背景图像中特殊像素块相对于当前要分割的视频图像做运动估计所得的运动矢量做统计平均来获得全局运动矢量，利用该全局运动矢量对前一帧灰度图像进行全局运动补偿。

2、按照权利要求1所述的视频序列中运动物体的分割方法，其特征在于，所述的步骤(1)分析计算获得二值运动图像的方法具体为：

(A)对当前帧灰度图像和前一帧灰度图像通过公式FD(x，y，t)＝|I(x，y，t)-I(x，y，t-1)|计算得到两帧的帧差图像；

其中，所述的FD(x，y，t)为帧差图像，所述的I(x，y，t)为当前帧的灰度图像，所述的I(x，y，t-1)为前一帧的灰度图像；

(B)对帧差图像中的每个像素按照公式

$m_i=\left(\underset{k\∈s_i}{\mathrm{\Σ}}d{y}_k\right)/M$

${{\mathrm{\σ}}_i}^4=\left(\underset{k\∈s_i}{\mathrm{\Σ}}{({\mathrm{dy}}_k-m_i)}^4\right)/M$

计算得到一幅二值运动图像；

其中，所述的m_i为局部区域的均值，所述的dy_k是帧差图像FD(x，y，t)中像素的灰度值，所述的s_i为以像素i为中心的窗口，所述的M为该窗口中所包含像素的数目，所述的σ_i ⁴为局部区域的四阶矩，所述的T为得到的通过对每一像素的σ_i ⁴进行统计分析得到的一阈值，所述的f_i为判断像素属于运动物体或是属于背景；

(C)判断该二值运动图像中等于1的像素的覆盖范围为相对集中还是为相对发散，如果判断结果为相对集中，则对该二值运动图像进行水平方向和垂直方向的填充来获得填充后的二值运动图像；如果判断结果为相对发散，则根据视频图像的大小来选取像素块大小，对包含二值运动图像中等于1的像素对应的像素块进行运动估计，首先，对当前块和其在参考帧中对应块的差值的和取平均得到一个值，然后将当前帧中对应块的所有像素点的灰度值都减去或加上该值的绝对值再重新参考帧中与该像素块对应的位置进行绝对帧差和运算，再对这些像素块的运动矢量进行简单的统计分析判断，可得到全局运动矢量，对那些运动矢量明显不同于全局运动矢量的像素块，其内部的像素全部置为1，对那些运动矢量等于或近似等于全局运动矢量的像素块，其内部的像素全部置为0后，能够得到新的二值运动图像，对该二值运动图像进行水平方向和垂直方向的填充得到填充后的二值运动图像。

3、按照权利要求1所述的视频序列中运动物体的分割方法，其特征在于，所述步骤(2)中计算得到当前帧的边缘图像的方法为Sobel算法、Watershed算法、域值法、聚类法、贝叶斯法或是Canny算子。

4、按照权利要求1所述的视频序列中运动物体的分割方法，其特征在于，所述步骤(4)中得到精细的运动物体边缘的方法是通过公式

$O_{e,i}=\{e\∈E_b|\underset{x\∈E_c}{\min }\left|\right|e-x\left|\right|\≥{\mathrm{Th}}_{\mathrm{init}}\}\∪\{x\∈E_c\left|\underset{e\∈E_b}{\min }\right||x-e||\≤{\mathrm{Th}}_{\mathrm{init}}\}$

得到的；

其中，所述的O_e，i为运动物体的边缘，所述的E_b为二值运动图像的边缘，所述的E_c为通过Canny算子得到的边缘，所述的Th_init为一阈值。

5、按照权利要求1所述的视频序列中运动物体的分割方法，其特征在于，所述步骤(6)中生成背景图像的方法是通过调整公式

$\mathrm{SP}(x,y,t)=\left\{\begin{array}{cc}\mathrm{SP}(x,y,t-1)+1,& \mathrm{MO}(x,y)=0\\ 0,& \mathrm{MO}(x,y)=1\end{array}\right.$

中的变量取值，生成背景图像；

其中，所述的SP(x，y，t)为视频图像位置(x，y)对应像素连续被标记为背景的次数，所述的MO(x，y)为分割得到的运动图像对应位置处的像素值，所述的BG(x，y，t)为背景图像位置(x，y)处对应的像素值，所述的I(x，y，t)为当前图像在位置(x，y)处的灰度值，所述的Fth为常数。

6、按照权利要求1所述的视频序列中运动物体的分割方法，其特征在于，所述步骤(7)中做统计平均来获得全局运动矢量的方法是通过公式

${\mathrm{GMV}}_x=\mathrm{round}(\left(\underset{i=1}{\overset{N_{\mathrm{sb}}}{\mathrm{\Σ}}}{\mathrm{MV}}_x\left(i\right)\right)/N_{\mathrm{sb}})$

${\mathrm{GMV}}_y=\mathrm{round}(\left(\underset{i=1}{\overset{N_{\mathrm{sb}}}{\mathrm{\Σ}}}{\mathrm{MV}}_y\left(i\right)\right)/N_{\mathrm{sb}})$

来完成的；

其中，所述GMV_x为全局运动矢量水平方向的大小，N_sb为背景图像中特殊像素块的数目，GMV_y为全局运动矢量垂直方向的大小。

7、按照权利要求1所述的视频序列中运动物体的分割方法，其特征在于，所述步骤(9)中找到运动对象边缘的方法为hausdorff距离算法或是简单的欧氏距离匹配算法。

Images