CN1691065A - 一种视频运动对象分割方法 - Google Patents

Abstract

本发明涉及一种视频运动对象分割方法，该方法包括先对图像进行时序分割，将包含运动对象的初始区域和背景分离，随后的空间分割以及区域的分类、合并都仅在初始区域上进行，从而大大减少了计算开销，提高分割速度；根据区域的空间、时序和邻域相似度在MRF模型中加入空间约束、时序约束和邻域约束，并通过求解MRF的最大后验概率对区域分类，最终准确地分割出运动对象，克服了运动估计易受不规则运动和光照影响的缺点。

Description

一种视频运动对象分割方法

技术领域

本发明涉及视频领域，尤其涉及一种视频运动对象分割方法。

背景技术

视频运动对象分割是指将视频中的运动对象从背景中分割出来，它是基于对象的视频检索、面向对象的视频压缩编码、基于视频的智能人机交互等基于内容的视频应用的基础。

目前，视频对象分割算法主要有三类：空域算法、时序算法和混合算法。空域分割主要依据图像的亮度、颜色、纹理、边缘等空间属性进行分割，它能获得精确的对象轮廓边缘，但由于只使用了空域信息，分割结果在语义上不一定完整；时序分割依据时间(运动)属性分割图像，比如利用帧差，可以快速地检测出帧间的变化区域，但仅使用运动信息不能获得精确的对象轮廓；混合算法综合利用时空属性对图像进行分割，它们通常先在全图上进行空间分割，将全图分割成若干空间属性一致的区域，然后对各个区域进行分类，分类主要依据由运动估计获得的运动信息进行，最后将各区域按类合并得到具有语义的视频对象。混合算法能够准确地分割出语义对象，但由于在全图上进行分割、合并，往往需要大量的计算开销。同时，运动估计易受对象的不规则运动(如快速移动、非刚性形变)，和光照的影响，从而造成对区域的分类不准确。

综上所述，要准确地分割出视频中的运动对象，必须综合考虑视频序列的时空属性。而现有的混合算法又存在着分割速度慢，且分割的准确度易受对象的不规则运动和光照的影响。

发明内容

本发明的目的是为了克服上述技术缺陷，为了提高视频运动对象的分割速度，提高分割的准确度，克服基于运动估计的区域分类易受不规则运动和光照的影响，从而提供一种视频运动对象分割方法。

为了解决上述技术问题，本发明提供一种视频运动对象分割方法，包括以下步骤：

a)对相邻的视频帧进行全局运动估计和补偿；

b)对相邻帧的帧差进行二值化；

c)计算运动对象多帧间的连续差分获得准确的初始区域；

d)初始区域内的彩色梯度计算，得出彩色梯度信息，彩色梯度是在YCbCr颜色空间计算的，通过对标准化后的Y、Cb、Cr的梯度求取加权最大获得；

e)根据彩色梯度信息，在初始区域上进行快速分水岭分割，按照相邻区域的相似度合并小区域以消除图像的过度分割；

f)根据区域的空间、时序和邻域相似度，对区域的分类分别加以空间约束、时序约束和邻域约束，并使用MRF模型将这三类约束结合，通过求解MRF的最大后验概率，即后验能量函数的最小，将各区域分类为前景或背景，从而获得准确的区域分类；

g)将所有的前景区域合并，分割出运动对象。

在上述方案中，所述后验能量为空间约束能量、时序约束能量和邻域约束能量之和。

在上述方案中，所述后验能量函数表示后验能量为空间约束能量、时序约束能量和邻域约束能量的加权和。

在上述方案中，所述空间约束是根据割域与周围背景的相似度，判断割域为背景的可能性，空间相似度比阈值越大，割域为背景的可能性越高。

在上述方案中，所述时序约束是根据割域与前一帧分割结果的相似度，判断割域为背景的可能性，时序相似度比阈值越大，割域为前景的可能性越大。

在上述方案中，所述邻域约束是根据相邻割域的相似度，判断割域的分类。

在上述方案中，所述相邻割域越相似，它们的分类就越可能相同。

由上可知，为了提高分割速度，本发明在对图像进行空间分割之前，先进行时序分割，将包含运动对象的初始区域和背景分离，随后的空间分割以及对区域的分类、合并都仅在初始区域上进行，从而大大减少了计算开销；为了克服基于运动估计的区域分类的缺点，本发明根据区域与背景、前一帧分割结果及其相邻区域的相似度在MRF模型中分别加入空间、时序和邻域约束，通过求解MRF的最大后验概率获得准确的区域分类，最终准确地分割出运动对象。

附图说明

图1是本发明一种视频运动对象分割方法的流程图。

具体实施方式

本发明首先对图像进行时序分割，它在完成全局运动估计和补偿、帧差二值化后，通过计算多帧间的连续差分准确地将包含运动对象的初始区域和背景分离；接着，用基于彩色梯度的分水岭算法将初始区域分割成若干空间属性一致的区域；最后对区域进行分类和合并，它通过求解结合空间、时序和邻域约束的MRF的最大后验概率对区域进行分类和合并实现准确的对象分割。

下面结合附图详细说明本发明的技术方案。

如图1所示的视频运动对象分割方法，包括以下步骤：

步骤100，对相邻的视频帧进行全局运动估计和补偿；在步骤100中，若背景存在运动(主要是由摄像机的平移、旋转和缩放等运动造成)，则必须在求取帧差前进行全局运动估计和补偿，以消除背景运动对帧差的影响。全局运动可用6参数仿射变换模型表示：

$\left\{\begin{array}{c}{x}^{\′}=\mathrm{ax}+\mathrm{by}+e\\ y^{\′}=\mathrm{cx}+\mathrm{dy}+f\end{array}\right.$

设(x，y)为某像素点在当前帧中的位置，(x′，y′)为该点在相邻帧中的位置，(a，b，e，c，d，f)为全局运动参数。全局运动估计可用Gauss-Newton(GN)方法迭代求解。为提高效率，GN方法在三层金字塔上计算，  金字塔用[1/4，1/2，1/4]滤波器产生。完成全局运动估计后，通过全局运动补偿就可将运动背景问题转化为静止背景问题。

步骤110，对相邻帧的帧差进行二值化；在步骤110中，用d_t，t′表示相邻两帧I_t和I_t′的帧差，d_t，t′(p)＝W×I_t(p)-W×I_t′(p′)，W为平滑滤波的窗口函数。二值差分模板D_t，t′为：

$D_{t,t^{\′}}\left(p\right)=\left\{\begin{array}{cc}1& {\mathrm{ifd}}_{t,t^{\′}}\left(p\right)>T\\ 0& \mathrm{else}\end{array}\right.$

其中阈值T的选取与摄像机噪声的大小相关，可根据具体的视频应用场合在5~10之间选取。

求得D_t，t′后，对其进行连通成份分析，消除由摄像机噪声造成的小面积、孤立噪声区域，并填充前景区域中的空缺。然后，用闭操作和开操作平滑前景区域的边缘。

步骤120，计算运动对象多帧间的连续差分获得准确的初始区域；在步骤120中，在D_t，t′中通常会包含一部分背景。为了获得更为精确的初始区域，我们用当前帧I_t的前一帧I_t-1和后一帧I_t+1计算连续差分：令D_t，t-1，D_t，t+1分别为I_t和I_t-1、I_t和I_t+1的二值化差分模板，求D_t，t-1和D_t，t+1的交集获得细化的初始区域模板D_t：

                      D_t＝D_t，t-1ID_t，t+1

通过连续差分我们可以获得更为精确的初始区域IF_t和当前背景IB_t，在IF_t中只留下了很少的背景区域。

上述步骤100、步骤110和步骤120完成了对运动对象的时序分割，获得了运动对象准确的初始区域，从而使得包含运动对象的初始区域与背景分离。

步骤130，初始区域内的彩色梯度计算；在步骤130中，计算初始区域IF_t在YCbCr颜色空间的彩色梯度，Y是指灰度，Cb、Cr是指两个色度，用Canny算子计算图像在Y、Cb和Cr分量上的梯度图G_Y、G_Cb和G_Cr，由于这三个梯度图的取值范围并不一致，先将它们标准化至[0，255]区间得到G_Y′、G_Cb′和G_Cr′，再计算彩色梯度G_col：

$G_{\mathrm{col}}\left(p\right)=\left\{\begin{array}{cc}255\·\max \{{\mathrm{\ω}}_Y\·G_Y^{\′}\left(p\right),{\mathrm{\ω}}_{\mathrm{Cb}}\·G_{\mathrm{Cb}}^{\′}\left(p\right),{\mathrm{\ω}}_{\mathrm{Cr}}\·G_{\mathrm{Cr}}^{\′}\left(p\right)\}& {\mathrm{ifD}}_t\left(p\right)=1\\ 0& \mathrm{else}\end{array}\right.$

其中，ω_Y，ω_Cb，ω_Cr分别为三个分量的权值。求得G_col后，可使用Fast ImmersionSimulation方法实现快速分水岭分割，然后按照相邻区域的相似度合并小区域以消除图像的过度分割。

步骤140，在初始区域上进行快速分水岭分割，  按照相邻区域的相似度合并小区域以消除图像的过度分割。

在步骤140中，求得G_col后，可使用Fast Immersion Simulation(快速浸入模拟法)方法实现快速分水岭分割。

通过对初始区域进行基于彩色梯度的分水岭分割，可将初始区域分割成了若干空间属性一致的区域，同时也大大减少了后继分类处理中所需计算的区域数量。为了表述方便，用 $R_t=\{R_t^l,L,R_t^K\}$ 表示空间分割所获得的区域集合，N_i为R_t ⁱ内的像素数，Nor(R_t ⁱ)为R_t ⁱ的邻居集合。E为所有的邻接关系集合，即 $E=\left\{(i,j)\right|R_t^j\∈\mathrm{Nor}\left(R_t^i\right)$ 且i≠j}。对象初始区域 ${\mathrm{IF}}_t=\underset{i=1}{\overset{K}{U}}{R}_t^i,$ 当前背景IB_t＝I_t-IF_t。用IO_t-1表示从前一帧I_t-1中分割出的运动对象，即 ${\mathrm{IO}}_{t-1}=\underset{L\left(R_{t-1}^i\right)=F}{U}{R}_{t-1}^i,$ L(R_t-1 ⁱ)表示区域R_t-1 ⁱ的分类( $L\left(R_{t-1}^i\right)\∈\{F,B\},$ F为前景，B为背景)。

上述步骤130和步骤140完成了运动对象初始区域上的空间分割，产生了不同的运动对象区域分类。

步骤150，根据区域的空间、时序和邻域相似度，即区域与背景、前一帧分割结果及其相邻区域的相似度，对区域的分类分别加以空间约束、时序约束和邻域约束，并使用MRF模型将这三类约束结合，通过求解MRF的最大后验概率(即后验能量函数的最小)将各区域分类为前景或背景，从而获得准确的区域分类。后验概率是指各个区域设定为不同的分类时，MRF有不同的后验概率。而与MRF的最大后验概率相对应的各区域的分类才是最终的解。若所有的区域本身都是背景，而对他们的分类也都是背景时，MRF的后验概率为1，若对他们的分类都是前景时，MRF的后验概率为0；若所有的区域本身都是前景，而对他们的分类也都是前景时，MRF的后验概率为1，若对他们的分类都是背景时，MRF的后验概率为0。

在步骤150中，后验能量为空间约束能量、时序约束能量和邻域约束能量之和。

在本发明中，对空间约束、时序约束和邻域约束定义如下：

A．空间约束：根据割域与周围背景的相似度SD(R_t ⁱ)，  判断割域是为背景的可能性。

$\mathrm{SD}\left(R_t^i\right)=\underset{v}{\min }\frac{1}{N_b}\underset{l=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ω}}_l\·\underset{p\∈R_t^i}{\mathrm{\Σ}}|I_t^l\left(p\right)-I_t^l(p+v)|,D_t(p+v)=0$ 且 $N_b>\frac{2}{3}{N}_i$

B．时序约束：根据割域与前一帧分割结果的相似度TD(R_t ⁱ)，判断割域是为背景的可能性。

$\mathrm{TD}\left(R_t^i\right)=\underset{R_{t-1}^j}{\min }\underset{l=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ω}}_l\·|\underset{p\∈R_t^i}{\mathrm{avg}}{I}_t^l\left(p\right)-\underset{p\∈R_{t-1}^j}{\mathrm{avg}}{I}_{t-1}^l\left(p\right)|,L\left(R_{t-1}^j\right)=F$

C.邻域约束：根据相邻割域的相似度RD(R_t ⁱ，R_t ^j)，判断割域的分类。若相邻割域越相似，它们的分类就越有可能相同。

$\mathrm{RD}(R_t^i,R_t^j)=\underset{l=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ω}}_l\·|\underset{p\∈R_t^i}{\mathrm{avg}}{I}_t^l\left(p\right)-\underset{p\∈R_t^j}{\mathrm{avg}}{I}_t^l\left(p\right)|,R_t^j\∈\mathrm{Nor}\left(R_t^i\right)$

令X＝{X₁，L X_K}为一组离散随机变量，X_t表示区域R_t ⁱ的分类的随机变量，即X_t∈{F，B}。O＝{O₁，L，O_K}为各个区域的观察集合。根据Hammersley-Cliffod理论^]和Bayes规则，可将复杂的MRF最大后验概率(MAP)转化为简单的后验能量最小问题：

$\hat{X}=\arg \underset{X}{\max }P\left(X\right|O)=\arg \underset{X}{\min }{U}_p\left(X\right|O)$

其中，P(X|O)为MRF的后验概率，U_p(X|O)为后验能量。 使得P(X|O)最大，它是所要求取的各个区域的分类。后验能量的最小化可使用HCF(HighConfidence First)算法快速求解。

定义MRF的后验能量函数U_p(X|O)：

$U_p\left(X\right|O)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{\α}\·V_i^S(X,O)+\mathrm{\β}\·V_i^T(X,O)+\underset{(i,j)\∈E}{\mathrm{\Σ}}\mathrm{\γ}\·V_{\mathrm{ij}}^R(X,O)$

其中，V_i ^S(X，O)、V_i ^T(X，O)、V_ij ^R(X，O)分别为表示空间约束、时序约束和邻域约束的能量函数，α、β、γ分别表示空间约束能量、时序约束能量和邻域约束能量的权重。

A.空间约束能量V_i ^S(X，O)

$V_i^S(X,O)=\left\{\begin{array}{cc}f(\mathrm{SD}\left(R_t^i\right),T_s,{\mathrm{SD}}_h,{\mathrm{SD}}_l)& X_i=B\\ 1-f(\mathrm{SD}\left(R_t^i\right),T_s,{\mathrm{SD}}_h,{\mathrm{SD}}_l)& X_i=F\end{array}\right.$

其中， ${\mathrm{SD}}_h=\underset{i}{\max }\mathrm{SD}\left(R_t^i\right),$ ${\mathrm{SD}}_l=\underset{i}{\min }\mathrm{SD}\left(R_t^i\right),$ SD(R_t ⁱ)为R_t ⁱ与IB_t匹配的空间相似度：

$\mathrm{SD}\left(R_t^i\right)=\underset{v}{\min }\frac{1}{N_b}\underset{l=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ω}}_l\·\underset{p\∈R_t^i}{\mathrm{\Σ}}|I_t^l\left(p\right)-I_t^l(p+v)|,$ 且 $N_b>\frac{2}{3}{N}_i$

I_t ¹(p)，I_t ²(p)，I_t ³(p)分别为Y、Cb和Cr分量在位置p上的值，ω₁，ω₂，ω₃分别为三个分量的权值，v为R_t ⁱ的匹配向量，可在w×w的匹配窗口内取值，N_b为与R_t ⁱ匹配的背景像素的数量。函数f(d，T，d_h，d_l)为分段量化函数，它将d量化至[0，1]区间：

$f(d,T,d_h,d_l)=\left\{\begin{array}{cc}0.5\&times;(d-d_l)/(T-d_l)& \mathrm{ifd}<T\\ 0.5+0.5\&times;(d-T)/(d_h-T)& \mathrm{else}\end{array}\right.$

V_i ^S(X，O)根据区域R_t ⁱ的空间相似度与阈值T_s的大小关系描述它为背景或前景的可能性。由于IFt中只有一小部分区域不属于运动对象，并且它们与周围IBt中的区域很相似，因此可以根据区域与背景的相似度，计算它为背景的可能性，这样不仅克服了基于运动估计的区域分类易受不规则运动和光照影响的缺陷，同时也解决了覆盖背景和显露背景的分类问题。空间相似度比T_s越大，它为背景的可能性就越高。

B.时序约束能量V_l ^T(X，O)

$V_i^T(X,O)=\left\{\begin{array}{cc}f(\mathrm{TD}\left(R_t^i\right),T_t,{\mathrm{TD}}_h,{\mathrm{TD}}_l)& X_i=F\\ 1-f(\mathrm{TD}\left(R_t^i\right),T_t,{\mathrm{TD}}_h,{\mathrm{TD}}_l)& X_i=B\end{array}\right.$

其中， ${\mathrm{TD}}_h=\underset{i}{\max }\mathrm{TD}\left(R_t^i\right),$ ${\mathrm{TD}}_l=\underset{i}{\min }\mathrm{TD}\left(R_t^i\right),$ TD(R_t ⁱ)为R_t ⁱ与IO_t-1的匹配的时序相似度：

$\mathrm{TD}\left(R_t^i\right)=\underset{R_{t-1}^j}{\min }\underset{l=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_l\&CenterDot;|\underset{p\&Element;R_t^i}{\mathrm{avg}}{I}_t^l\left(p\right)-\underset{p\&Element;R_{t-1}^j}{\mathrm{avg}}{I}_{t-1}^l\left(p\right)|,L\left(R_{t-1}^j\right)=F$

V_i ^T(X，O)根据区域R_t ⁱ的时序相似度和阈值T_t的大小关系描述它归类为背景或前景的可能性，时序相似度比T_t越大，它为前景的可能性就越高，区域R_t ⁱ与前一帧已分割出的对象IO_t-1越相似，就越有可能被归类为前景。通过引入时序约束能量，我们可以防止将与背景相似的前景区域错误分类。

C.邻域约束能量V_ij ^R(X，O)：

$V_{\mathrm{ij}}^R(X,O)=\left\{\begin{array}{cc}(\mathrm{RD}(R_t^i,R_t^j)-{\mathrm{RD}}_l)/({\mathrm{RD}}_h-{\mathrm{RD}}_l)& X_i=X_j\\ 1-(\mathrm{RD}(R_t^i,R_t^j)-{\mathrm{RD}}_l)/({\mathrm{RD}}_h-{\mathrm{RD}}_l)& X_i\&NotEqual;X_j\end{array}\right.---\left(13\right)$

其中， $R{D}_h=\underset{i,j}{\max }\mathrm{RD}(R_t^i,R_t^j),$ ${\mathrm{RD}}_l=\underset{i,j}{\min }\mathrm{RD}(R_t^i,R_t^j),$ RD(R_t ⁱ，R_t ^j)为邻域相似度：

$\mathrm{RD}(R_t^i,R_t^j)=\underset{l=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_l\&CenterDot;|\underset{p\&Element;R_t^i}{\mathrm{avg}}{I}_t^l\left(p\right)-\underset{p\&Element;R_t^j}{\mathrm{avg}}{I}_t^l\left(p\right)|,R_t^j\&Element;\mathrm{Nor}\left(R_t^i\right)---\left(14\right)$

V_ij ^R(X，O)表示若相邻割域R_t ^l和R_t ^j越相似，它们的分类就越有可能相同。

计算各割域在各种不同分类(即前景或背景)下的总体后验能量，取最小后验能量所对应的各割域的分类为最后的解。这种方法计算复杂度很大。可使用HCF算法求得后验能量函数U_p(X|O)的最小，从而获得使MRF的后验概率最大的各个区域的分类。HCF(High Confidence First)-高可信度优先算法是一种确定性迭代算法，它可在近线性的计算复杂度下求解U_p(X|O)的最小，它是由P.B.Chou等在文献“The theoryand practice of Bayesian image labeling”中提出的。

步骤160，将所有的前景区域合并，分割出运动对象。

Claims (7)

1、一种视频运动对象分割方法，包括以下步骤：

a)对相邻的视频帧进行全局运动估计和补偿；

b)对相邻帧的帧差进行二值化；

c)计算运动对象多帧间的连续差分获得准确的初始区域；

d)初始区域内的彩色梯度计算，得出彩色梯度信息，彩色梯度是在YCbCr颜色空间计算的，通过对标准化后的Y、Cb、Cr的梯度求取加权最大获得；

e)根据彩色梯度信息，在初始区域上进行快速分水岭分割，按照相邻区域的相似度合并小区域以消除图像的过度分割；

f)根据区域的空间、时序和邻域相似度，对区域的分类分别加以空间约束、时序约束和邻域约束，并使用MRF模型将这三类约束结合，通过求解MRF的最大后验概率，即后验能量函数的最小，将各区域分类为前景或背景，从而获得准确的区域分类；

g)将所有的前景区域合并，分割出运动对象。

2、如权利要求1所述的一种视频运动对象分割方法，其特征在于，所述后验能为空间约束能量、时序约束能量和邻域约束能量之和。

3、如权利要求1所述的一种视频运动对象分割方法，其特征在于，后验能量函数表示后验能量为空间约束能量、时序约束能量和邻域约束能量的加权和。

4、权利要求1所述的一种视频运动对象分割方法，其特征在于，所述空间约束是根据割域与周围背景的相似度，判断割域是为背景的可能性，空间相似度比阈值越大，割域为背景的可能性越高。

5、如权利要求1所述的一种视频运动对象分割方法，其特征在于，所述时序约束是根据割域与前一帧分割结果的相似度，判断割域是为背景的可能性，时序相似度比阈值越大，割域为前景的可能性越大。

6、如权利要求1所述的一种视频运动对象分割方法，其特征在于，所述邻域约束是根据相邻割域的相似度，判断割域的分类。

7、如权利要求5所述的一种视频运动对象分割方法，其特征在于，所述相邻割域越相似，它们的分类就越可能相同。

Images