CN103514610A - 一种背景静止的运动目标分割方法 - Google Patents

Abstract

本发明公开了一种基于对称差分法和联合双边滤波相结合的背景静止的运动目标分割方法。该方法首先对连续三帧图像进行差分得到运动区域即对称差分图；然后采用不同滤波模板以当前帧为引导图对对称差分图进行联合双边滤波，并将滤波后的结果进行线性相加，得到运动目标图；对当前帧及运动目标图进行边缘检测，检测结果取并值得到更为完整的边缘（边缘图）；最后，利用此边缘对运动目标图细化即进行扫描搜索赋值，从而分割出完整并精确的运动目标。实验表明，本发明的方法可以快速完整并精确将运动目标从视频图像中分割出来。

Description

一种背景静止的运动目标分割方法

技术领域

本发明属于视频图像处理技术领域，更为具体地讲，涉及一种背景静止的运动目标分割方法。

背景技术

运动目标分割作为多媒体技术应用的一个关键技术，在视频编码、检索、多媒体交互等应用中存在着广泛的前景，而且在计算机视觉中也有着极为重要的应用。

现阶段，国内外专家学者已提出许多运动目标分割方法，但由于视频图像本身内容复杂及噪声影响，目前还不存在一种通用的、对各类视频都有效的解决方案。邓玉春等根据视频分割方法的特点将运动目标分割分为：基于运动的分割方法、时空分割方法和交互式分割方法。

基于运动的分割方法主要利用视频序列的运动信息，通常处理的是有刚体运动的场景；时空分割方法不仅利用视频图像的时域信息还利用空间信息，它使用了运动分割中相同的运动估计技术，但是在时空分割中主要利用了空间信息来修正和增强时域分割结果；交互式分割方法主要采用人工交互的方式来确定分割对象的方法，通过此类分割方法，可以提高视频分割的精度。

目前常用的运动目标分割方法具有易受到噪声、亮度突变的影响等缺陷，很难提取出完整的运动目标。

发明内容

本发明的目的在于克服现有技术的不足，提供一种背景静止的运动目标分割方法，以快速有效地分割出完整并精确的运动目标。

为实现上述目的，本发明背景静止的运动目标分割方法，其特征在于，包括以下步骤：

（1）、首先当前帧图像分别与前后帧图像进行差分，得到两帧包括运动区域的差分图，然后对两帧差分图进行合并，得到对称差分图；

（2）、对对称差分图进行形态学闭运算，然后采用不同滤波模板，分别以当前帧为引导图，对对称差分图进行联合双边滤波；将采用不同滤波板进行联合双边滤波后的结果进行线性相加，得到运动目标图；

（3）、对当前帧及运动目标图分别进行边缘检测，检测结果取并值，得到边缘图；

（4）、将边缘图叠加到运动目标图上即在运动目标图像上标记上边缘，然后对运动目标图从上到下，从左到右进行扫描；

当碰到标记的边缘时，对其上下左右四个方向进行搜索：在搜索时，遇到0时，停止搜索，并将经过此搜索路径的像素值赋值为0；或者遇到新边缘标记点时，停止搜索，经过此搜索路径的像素值保持不变；

搜索赋值完毕后，继续扫描，碰到标记的边缘进行相同的搜索赋值，直到所有的像素点扫描完毕，扫描搜索赋值完毕后运动目标图像中非0像素点构成的图像即为分割出来的运动目标。

本发明的发明目的是这样实现的：

本发明提出一种基于对称差分法和联合双边滤波相结合的背景静止的运动目标分割方法。该方法首先对连续三帧图像进行差分得到运动区域即对称差分图；然后采用不同滤波模板以当前帧为引导图对对称差分图进行联合双边滤波，并将滤波后的结果进行线性相加，得到运动目标图；对当前帧及运动目标图进行边缘检测，检测结果取并值得到更为完整的边缘（边缘图）；最后，利用此边缘对运动目标图细化即进行扫描搜索赋值，从而分割出完整并精确的运动目标。实验表明，本发明的方法可以快速完整并精确将运动目标从视频图像中分割出来。

本发明提出的分割方法属于时空结合的分割方法，不仅适用于刚体的运动目标分割，对非刚体也有很好分割效果。使用联合双边滤波填充运动目标，在填充运动目标空洞时，能滤除差分图上小的噪点。利用当前帧和运动目标图的边缘细化运动目标后，可以得到精确的运动目标。

附图说明

图1是本发明背景静止的运动目标分割方法一种具体实施方式流程图；

图2是直方图匹配实例图；

图3是形态学闭运算前后的对称差分图实例；

图4是采用不同模板对对称差分图进行联合双边滤波的结果以及运动目标图；

图5是边缘检测结果实例图；

图6是叠加边缘后的运动目标图；

图7是搜索赋值示意图；

图8是获得运动目标实例图；

图9是获得运动目标几个实例图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明背景静止的运动目标分割方法一种具体实施方式流程图；

在本实施例中，如图1所示，本发明背景静止的运动目标分割方法包括四个大的步骤：基于块的对称差分1、联合双边滤波2、Canny边缘检测3、后处理4。整个方法是输入为视频序列图像，输出为获取的运动目标。

在步骤1中，首先将输入的3帧图像即前一帧、当前帧以及后一帧转为灰度图，然后进行图像增强，使用对称差分法得到对称差分图，将对称差分图归一化到0-255后，再使用直方图规定化，将对称差分图上大于0的值匹配到155-255，以方便联合双边滤波；接下来在步骤2中，对对称差分图进行形态学闭运算，然后采用不同滤波模板，分别以当前帧为引导图，对对称差分图进行联合双边滤波，将不同滤波板滤波后的结果进行线性相加，得到运动目标图；然后，在步骤3中，运动目标图及当前帧的灰度图进行canny边缘检测得到取并集的边缘图，使用边缘图对运动目标图进行后处理，得到最终的运动目标。

下面对每一个步骤进行详细说明

1、基于块的对称差分

为减少计算量，在本实施例中，首先将输入的3三帧即前一帧、当前帧以及后一帧彩色图转为灰度图像，然后使用参考文献（Li,R.,S.Yu,and X.Yang,Efficient spatio-temporal segmentation for extracting moving objects in videosequences.Consumer Electronics,IEEE Transactions on,2007.53(3):p.1161-1167）的图像增强方法来获得更多的运动目标信息。

为了减速计算量，依据的参考文献的方法，将三帧灰度图像都分为大小为BxB的MxN块，I_B(m,n,t)表示当前帧(m,n)块的值，可以通过（1）得到。

$I_B(m,n,t)=\mathrm{mean}(m,n,t)+\frac{\mathrm{\α}}{B^2}(N_1(m,n,t)-N_{-1}(m,n,t))---\left(1\right)$

其中正权重参数α取值小于1，mean(m,n,t)为第t帧（当前帧）的块（m,n）的灰度平均值，N₁(m,n,t)为此块内大于均值的像素个数，N-₁(m,n,t)为此块内小于均值的像素个数。通过（1）得到的灰度图像对运动更敏感并且抗噪能力更强。

由于对称差分法简单快速，实时性好，对动态环境有较强的自适应性，所以使用对称差分法来获取运动目标信息。

按公式（2）、（3），得到差分图，其中，FD₁和FD₂为前一帧与当前帧以及当前帧与后一帧的差分图。为简化计算，将FD₁和FD₂归一化到0-255。为减少噪声，采用自适应阈值Th₁和Th₂来滤除噪声。Th₁和Th₂分别为差分图FD₁和FD₂的均值。我们通过（4）来获得最终的对称差分图FD_p。

FD₁(m,n,t)=|I_B(m,n,t)-I_B(m,n,t-1)|   （2）

FD₂(m,n,t)=|I_B(m,n,t)-I_B(m,n,t+1)|   （3）

其中，t-1表示前一帧，t+1表示后一帧，m,n表示块的位置，0≤m≤M，0≤n≤N。

为方便联合双边滤波，我们将对称差分图中大于0的值通过直方图规定化匹配到155-255上。直方图匹配前后的对称差分图如2图所示，其中（a）为匹配前的对称差分图，（b）为匹配后的对称差分图。从图2可以看出，匹配后的对称差分图明显比匹配前亮度增加。

2、联合双边滤波

联合双边滤波（joint bilateral filter）最早用于对曝光图像的增。对于给定的同一场景的两幅图像：闪光灯拍摄的图片和未利用闪光灯拍摄的图片，结合一幅图像中的高频部分与另一幅图像中的低频部分，将双边滤波器中的边界滤波模板用在高频图像上左为引导图像，获得了很好的图像增强效果。J.Konrad[6]使用联合双边滤波来极大的改善了估计出的深度图像。在本发明中，使用联合双边滤波来填充差分图中运动目标的空洞。（5）为联合双边滤波公式，其中I_r(p,t)和I_r(p’,t)分别为当前帧的引导图像（灰度图）的在p(滤波窗中心点坐标)及p’（滤波窗中心点的相邻坐标）点的像素值，I(p’,t)为被滤波图像的在p’点的像素值。h_б(p)为高斯核函数，k(p)为归一化因子，Ω为滤波窗的坐标域。

$I(p,t)=\frac{1}{k\left(p\right)}\underset{p^{\′}\∈\mathrm{\Ω}}{\mathrm{\Σ}}{h}_{{\mathrm{\σ}}_s}(p^{\′}-p)h_{{\mathrm{\σ}}_e}(I_r(p^{\′},t)-I_r(p,t))I(p^{\′},t)---\left(5\right)$

$k\left(p\right)=\underset{p^{\′}\∈\mathrm{\Ω}}{\mathrm{\Σ}}{h}_{{\mathrm{\σ}}_s}(p^{\′}-p)h_{{\mathrm{\σ}}_e}(I_r(p^{\′},t)-I_r(p,t)),h_{\mathrm{\σ}}\left(p\right)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-\frac{\left|\right|x\left|\right|}{2{\mathrm{\σ}}^2}}---\left(6\right)$

在本实施例中，首先，将对称差分图采用10x10模板进行形态学闭运算。图3是形态学闭运算前后的对称差分图实例，其中，图3（a）为形态学闭运算前的对称差分图，图3（b）为形态学闭运算后的对称差分图。从图3可以看出，经过形态学闭运算后，对称差分图中为0的像素点（像素块）减少。

然后对形态学闭运算后的对称差分图采用不同滤波模板进行滤波，分别以当前帧为引导图，对对称差分图进行联合双边滤波。在本实施例中，采用10x10、20x20、30x30、40x40这4个模板，并将四个滤波板进行联合双边滤波后的结果进行线性相加，得到运动目标图。在本实施例中，得到的运动目标图还需归一化到0-255。叠加不同滤波结果是为了抑制采用大滤波窗造成的运动目标边缘扩散并弥补采用小滤波窗时运动目标大的空洞填充不完整的情况。如图4所示，其中，图4（a）～（d）分为10x10、20x20、30x30、40x40模板进行联合双边滤波后的结果图，图4（e）为线性叠加后得到的运动目标图。

3、canny边缘检测

在本实施例中，采用canny边缘检测算法进行边缘检测，它具有信噪比大和检测精度高的优点。对第t帧（当前帧）的灰度图及运动目标图分别进行边缘检测，然后，用2x2模板分别对检测边缘结果进行膨胀，最后取并值，以获得较为封闭的边缘。边缘检测结果如图5所示，其中，图5（a）为运动目标图的边缘检测结果，图5（b）为使用2x2模板的对图5(a)进行膨胀后的边缘检测结果，图5（c）为第t帧（当前帧）的边缘检测结果，图5（d）为使用2x2模板的对图5(c)进行膨胀后的边缘检测结果，图5（e）为图5（b）和图5（d）取并值得到的边缘图。

4、后处理

后处理是为了去除联合双边滤波后的运动目标图的边缘扩散部分。首先将边缘检测得到的边缘图叠加到联合双边滤波后的运动目标图上。在本实施例中，将图5中的(e)图叠加到图4上的(e)图上。

如图6所示，(a)为8bit格式的运动目标图，(b)为叠加了边缘的运动目标图，其中白色线条为边缘即在运动目标图像上标记上边缘，然后对运动目标图从上到下，从左到右进行扫描；

当碰到标记的边缘时，对其上下左右四个方向进行搜索：在搜索时，遇到0时，停止搜索，并将经过此搜索路径的像素值赋值为0；或者遇到新边缘标记点时，停止搜索，经过此搜索路径的像素值保持不变；

搜索赋值完毕后，继续扫描，碰到标记的边缘进行相同的搜索赋值，直到所有的像素点扫描完毕，扫描搜索赋值完毕后运动目标图像中非0像素点构成的图像即为分割出来的运动目标。

图7(a)是搜索方向示意图，如图7(a)所示，对标记上边缘的运动目标图从上到下，从左到右进行扫描，当碰到标记的边缘时，对其上下左右四个方向进行搜索。在搜索时，遇到0时，停止搜索，并将经过此搜索路径的像素值赋值为0；或者遇到新边缘标记点时，停止搜索，经过此搜索路径的像素值保持不变。在本实施例中，搜索路径的最大长度为200像素值。从图7(b)是后处理后的运动目标图，从图7(b)可以看到，经过搜索重新赋值后，仍有部分扩散的边缘未被消除，通过形态学开运算可以边角及细长的剩余部分，在本实施例中，采用10x10模板进行形态学开运算。

图8是获得运动目标实例图。其中，（a）是第t帧图像（当前帧），(b)运动目标，(c)运动目标对应的彩色图。

实验

本实验采用常用的标准测试序列如bookarrival、suzie、bowing等进行了测试，实验的目的是获取序列中的运动物体。

图9可以看出，本发明可以完整分割出运动目标，采用双边滤波能完整的填充出对称差分法后存在空洞的运动目标，但对于大部分静止的运动目标，仍不能有效的填充出来，本发明方法采用了对称差分，可以消除由于运动目标形状改变造成的误差，获得更准确的运动目标，并且采用了自适应阈值与经验阈值想结合的方法，可以更有效的抑制光照等照成的噪声。

结论

针对目前常用的视频分割算法复杂度高，易受到噪声、亮度突变的影响，很难提取出完整的运动目标这一问题，提出一种基于对称差分法和联合双边滤波相结合的视频分割算法。该方法首先对连续三帧图像进行差分得到运动区域，然后采用不同滤波模板以当前帧为引导图对差分图进行联合双边滤波。将滤波后的结果综合为一个运动目标图，对当前帧及采用最大模板滤波后的运动目标图进行canny边缘检测，结合二者的检测结果得到更为完整的边缘。利用此边缘对运动运动目标图细化，从而分割出完整并精确的运动目标。实验表明，该算法可以快速有效地将运动物体用视频序列中自动分割出来。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种背景静止的运动目标分割方法，其特征在于，包括以下步骤：

（1）、首先当前帧图像分别与前后帧图像进行差分，得到两帧包括运动区域的差分图，然后对两帧差分图进行合并，得到对称差分图；

（2）、对对称差分图进行形态学闭运算，然后采用不同滤波模板，分别以当前帧为引导图，对对称差分图进行联合双边滤波；将采用不同滤波板进行联合双边滤波后的结果进行线性相加，得到运动目标图；

（3）、对当前帧及运动目标图分别进行边缘检测，检测结果取并值，得到边缘图；

（4）、将边缘图叠加到运动目标图上即在运动目标图像上标记上边缘，然后对运动目标图从上到下，从左到右进行扫描；

当碰标记的边缘时，对其上下左右四个方向进行搜索：在搜索时，遇到0时，停止搜索，并将经过此搜索路径的像素值赋值为0；或者遇到新边缘标记点时，停止搜索，经过此搜索路径的像素值保持不变；

搜索赋值完毕后，继续扫描，碰到标记的边缘进行相同的搜索赋值，直到所有的像素点扫描完毕，扫描搜索赋值完毕后运动目标图像中非0像素点构成的图像即为分割出来的运动目标。

2.根据权利要求1所示的运动目标分割方法，其特征在于，步骤（1）所述的当前帧图像分别与前后帧图像进行差分，得到两帧包括运动区域的差分图，然后对两帧差分图进行合并，得到对称差分图为：

2.1）、将输入的三帧即前一帧、当前帧以及后一帧彩色图转为灰度图像；

2.2）、将三帧灰度图像都分为大小为BxB的MxN块，I_B(m,n,t)表示当前帧(m,n)块的值，可以通过（1）得到；

$I_B(m,n,t)=\mathrm{mean}(m,n,t)+\frac{\mathrm{\α}}{B^2}(N_1(m,n,t)-N_{-1}(m,n,t))---\left(1\right)$

其中正权重参数α取值小于1，mean(m,n,t)为第t帧（当前帧）的块（m,n）的灰度平均值，N₁(m,n,t)为此块内大于均值的像素个数，N-₁(m,n,t)为此块内小于均值的像素个数；

按公式（2）、（3）得到差分图FD₁和FD₂，其中，差分图FD₁和FD₂为前一帧与当前帧以及当前帧与后一帧的差分图；

采用自适应阈值Th₁和Th₂来滤除噪声，Th₁和Th₂分别为差分图FD₁和FD₂的均值，通过（4）来获得最终的对称差分图FD_p；

FD₁(m,n,t)=|I_B(m,n,t)-I_B(m,n,t-1)|   （2）

FD₂(m,n,t)=|I_B(m,n,t)-I_B(m,n,t+1)|   （3）

3.根据权利要求1所示的运动目标分割方法，其特征在于，步骤（4）分割出来的运动目标还需要采用10x10模板进行形态学开运算。

Images