CN101527043A - 基于运动目标轮廓信息的视频对象分割方法 - Google Patents

Abstract

本发明公开了一种可以实现静止背景下视频运动目标的实时自动分割的基于目标轮廓信息的视频对象分割方法，其步骤是：1)确定运动目标轮廓信息表征目标区域运动特性；2)输入视频图像帧；3)采用自适应阀值的运动区域变化检测方法对目标运动区域进行检测；4)获取运动目标轮廓信息；5)获取目标运动区域二值化模板；6)结合原始图像帧与步骤5)中的二值化模板输出运动图像区域。本发明主要应用在基于内容的视频检索与视频监控的底层视频处理技术中。

Description

基于运动目标轮廓信息的视频对象分割方法

技术领域

本发明涉及到视频运动目标的分割方法，尤其涉及到一种基于运动目标轮廓信息的视频对象分割方法。

背景技术

视频分割是指按一定的标准把视频帧分成多个区域，其目的是为了从视频序列中分离出有意义的实体。目前，国内外许多专家学者提出了很多相关的分割算法。按照分割时是否有人的参与，可将这些分割算法分为交互式分割算法和自动分割算法。

在交互式分割方法中，首先通过人工交互描绘出了需要提取的视频对象，然后再通过分割得到空间同质的精细划分，最后得到分割的视频对象。交互式分割方法对静止背景序列和运动背景序列都能获得十分理想的结果，边缘定位也比较精确。但是，交互式分割算法中每一帧都需要人为的判断和校正来提高分割的准确性，需要结合人的主观分析和人为介入，工作效率低，难以满足实时性要求。自动分割算法在分割过程中无需人工参与，可以自动地从视频序列中分割出视频对象。但自动分割方法普遍存在着分割过程中分割准确度与计算量的矛盾问题，难以同时满足分割的实时性与分割的准确性要求。

发明内容

本发明所要解决的技术问题是：提供一种可以实现静止背景下视频运动目标的实时自动分割的基于目标轮廓信息的视频对象分割方法。

为解决上述技术问题，本发明采用的技术方案为：基于目标运动轮廓信息的视频对象分割方法，其步骤是：

1)确定运动目标轮廓信息表征目标区域运动特性；

2)输入视频图像帧；

3)采用自适应阀值的运动区域变化检测方法对目标运动区域进行检测；

4)获取运动目标轮廓信息，其步骤为：

①计算原始图像序列的形态梯度图像；

②对获取的形态梯度图像进行给定阀值的非线性变换；

③对非线性变换后获取的图像进行尺度等级划分；

④对进行尺度等级划分后的形态梯度图像采用分水岭浸没算法进行进水淹没，标记区域和水线；

5)获取目标运动区域二值化模板，其步骤为：

①根据时域相邻帧差信息以及步骤3)中对目标运动区域检测的结果，提取初始的运动区域，得到初始的二值化模板；

②对得到的二值化模板进行基于MRF随机场模型检验，得到最终的二值化模板；

6)结合原始图像帧与步骤5)中的二值化模板输出运动图像区域，其步骤为：

①采用时空联合分割法中的比重法，对步骤4)中所得到的区域与步骤5)中最终提取的二值化模板进行比重运算，得到视频运动对象的二值运动掩模图像；

②结合原始图像与所获取的视频运动对象的二值运动掩模图像，提取最终的视频运动对象，并将该视频运动对象输出。

所述的自适应阀值的运动区域变化检测方法，其步骤为：

①求取自适应阀值；

②根据求得的自适应阀值提取初始的运动区域，得到初始的二值化模板。

本发明的有益效果是：

1、采用运动目标的轮廓信息来表征运动目标区域的运动特性，一方面，可以避免传统的以整个运动区域来表征目标的运动特性的方法中，在区域运动或者形变过程中，由于区域运动前后的重叠而使得内部出现部分较小的帧差导致时空投影运算的失败；另一方面，还可以避免运动区域内部和边界的所有像素参与运算，从而降低了运算量，提高了运动目标分割的速度。

2、通过对初始的二值运动掩模图像进行基于MRF随机运动场的进一步检验，可以得到更为完整的二值运动掩模图像，从而提高了最终运动目标的分割准确度。

附图说明

图1是本发明所述视频对象分割方法的流程图。

具体实施方式

下面结合附图，详细描述本发明的具体实施方案。

如图1所示，本发明所述的基于目标运动轮廓信息的视频对象分割方法，其步骤是：

1)确定采用运动目标的轮廓信息来表征运动目标区域的运动特性；

2)输入视频图像帧；

3)采用自适应阀值的运动区域变化检测方法对目标运动区域进行检测；其步骤为：

①求取自适应阀值，具体步骤为：

A.求取图像f(x，y)的均值f_ave；

B.差分图像为z(x，y)，求出其各行各列的均值，分别存放于两个一维数组H(X，1)、L(1，Y)当中，其中(X，Y)＝size(f)；

C.求出H(X，1)的中值和中值绝对差分别为h₁，h₂；求出L(1，Y)的中值和中值绝对差分别为l₁，l₂；

D.利用差分图像的中值、中值绝对差及原始图像均值信息，求出

t₁＝h₁+f_aveh₂，t₂＝l₁+f_avel₂

E.取阈值T＝σ(t₁+t₂)＝4(t₁+t₂)；

②根据求得的自适应阀值提取初始的运动区域，得到初始的二值化模板；具体步骤为：

通过所求阈值T，将视频分割成相对于前一帧“变化”和“未变化”区域，变化的部分代表运动区域，未变化的区域表示静止的背景；变化检测规则为：

$\left\{\begin{array}{c}M(x,y)=\left\{\begin{array}{cc}1,& {\mathrm{FD}}_{t-1}^t(x,y)\&GreaterEqual;T\\ 0,& {\mathrm{FD}}_{t-1}^t(x,y)<T\end{array}\right.\\ {\mathrm{FD}}_{t-1}^t(x,y)=|I_t(x,y)-I_{t-1}(x,y)|\end{array}\right.$

式中：I_t(x，y)和I_t-1(x，y)分别是第t-1帧、第t帧的图像灰度值，相应地，FD_t-1 ^t(x，y)为该相邻两帧的帧差，T是二值化所需的阈值，M(x，y)为变化检测模板，即初始的二值运动掩模图像；变化检测模板M(x，y)中为1的象素对应图像中的运动部分，为0的象素则对应图像中的背景部分；

4)获取运动目标轮廓信息，其步骤为：

①计算原视频序列当前帧t的形态梯度图像G(x，y)；

②对获取的形态梯度图像进行给定阈值T_g的非线性变换；

$G(x,y)=\left\{\begin{array}{cc}{T}_g& G(x,y)\&le;T_g\\ G(x,y),& G(x,y)>T_g\end{array}\right.$

从图像上整体消除噪声，抑制梯度值较小的噪声边缘；

③对变换后的梯度图像进行基于灰度等级划分的非线性变换，去除伪对象边缘，同时又保留了真正的视频对象边缘，即根据形态梯度图像灰度的最大值和最小值确定一个灰度尺度g，定义形态梯度图像的尺度等级变换如下：

$\tilde{G}(x,y)=\mathrm{int}\left\{\frac{G(x,y)-\min \left[G(x,y)\right]}{g}\right\}+1$

其中：int()函数是取整运算，min()是最小值运算；

④对进行尺度等级划分后的形态梯度图像采用分水岭浸没算法进行进水淹没，标记区域和水线；

5)获取目标运动区域二值化模板，其步骤为：

①根据时域相邻帧差信息以及步骤3)中对目标运动区域检测的结果，提取初始的运动区域，得到初始的二值化模板M(x，y)；

②对得到的二值化模板M(x，y)进行基于MRF随机场模型检验，得到最终的二值化模板

其具体步骤为：

定义集合{B_i|i∈S}的邻域系统n＝{n(B_i)|i∈S}，且有：

$\left\{\begin{array}{cc}\&ForAll;i\&Element;S,& B_i\&NotElement;n\left(B_i\right)\\ \&ForAll;i,j\&Element;S,& B_i\&Element;n\left(B_j\right)\&DoubleLeftRightArrow;B_j\&Element;n\left(B_i\right)\end{array}\right.$

建立图像基元邻域系统上MRF随机场模型，运用该MRF随机场模型进一步检验二值化模板M(x，y)得到最终各个图像基元的运动状态，进而得到最终较为完整的二值运动掩模图像

6)结合原始图像帧与步骤5)中的二值化模板

输出运动图像区域，其步骤为：

①采用时空联合分割法中的比重法，对步骤4)中所得到的区域与步骤5)中最终提取的二值化模板进行比重运算，得到视频运动对象的二值运动掩模图像；

A.参照步骤5)中空域分割掩模图像

对待分割的图像区域利用分水岭算法进行帧内分区；设R_i(i＝0，1，…，L-1)为分水岭分割得到的各个区域，S_i为对应区域R_i包含的像素数目，L是分水岭分割所得的区域数目；

B.根据时空联合分割方法中广为采用的比重法，对帧内分区所得区域R_i与时域最终提取的二值运动掩模图像

进行比重运算，从而得到视频运动对象的二值掩模图像M_o(x，y)。给定阈值T_s，定义比重运算：

$\left\{\begin{array}{c}{R}_i=\left\{\begin{array}{cc}1,& [\tilde{M}(x,y)\&cap;R_i]/S_i\&GreaterEqual;T_s,(x,y)\&Element;R_i\\ 0,& [\tilde{M}(x,y)\&cap;R_i]/S_i>T_s,(x,y)\&Element;R_i\end{array}\right.\\ M_o(x,y)=\left[R_i\right|R_i=1]\end{array}\right.$

其中i＝1，2，…，L-1；

②结合原始图像与所获取的视频运动对象的二值运动掩模图像M_o(x，y)，提取最终的视频运动对象，并将该视频运动对象输出。

Claims (2)

1.基于目标运动轮廓信息的视频对象分割方法，其步骤是：

1)确定运动目标轮廓信息表征目标区域运动特性；

2)输入视频图像帧；

3)采用自适应阀值的运动区域变化检测方法对目标运动区域进行检测；

4)获取运动目标轮廓信息，其步骤为：

①计算原始图像序列的形态梯度图像；

②对获取的形态梯度图像进行给定阀值的非线性变换；

③对非线性变换后获取的图像进行尺度等级划分；

④对进行尺度等级划分后的形态梯度图像采用分水岭浸没算法进行进水淹没，标记区域和水线；

5)获取目标运动区域二值化模板，其步骤为：

①根据时域相邻帧差信息以及步骤3)中对目标运动区域检测的结果，提取初始的运动区域，得到初始的二值化模板；

②对得到的二值化模板进行基于MRF随机场模型检验，得到最终的二值化模板；

6)结合原始图像帧与步骤5)中的二值化模板输出运动图像区域，其步骤为：

①采用时空联合分割法中的比重法，对步骤4)中所得到的区域与步骤5)中最终提取的二值化模板进行比重运算，得到视频运动对象的二值运动掩模图像；

②结合原始图像与所获取的视频运动对象的二值运动掩模图像，提取最终的视频运动对象，并将该视频运动对象输出。

2.如权利要求1所述的视频对象分割方法，其特征在于：所述的自适应阀值的运动区域变化检测方法，其步骤为：

①求取自适应阀值；

②根据求得的自适应阀值提取初始的运动区域，得到初始的二值化模板。

Images