CN103871076B - 基于光流法和超像素分割的运动目标提取方法 - Google Patents

Abstract

本发明公开一种基于超像素分割和光流法的运动目标提取方法，主要解决现有运动目标提取方法的噪声多、高频信息丢失、边界不准确等问题。其实现步骤为：(1)输入一幅图像，将其预分割成超像素集合S，得到标记图I2；(2)取视频序列中的相邻两帧图像应用Horn—Schunck光流法来确定出运动目标的粗略位置；(3)由光流法得到水平方向速度u和垂直方向速度v，,其中V为光流法的速度幅度；(4)对光流结果V进行中值滤波，高斯滤波，二值化操作及形态学开闭运算来得到V4；(5)运用超像素分割的结果对光流结果进一步校正，提取得到精确的运动目标。将属于运动区域的超像素精确的提取出来。经仿真实验表明，与现有技术比较，本发明具有操作简单，噪声小，边缘清晰等优点，可用于视频序列中运动目标的提取。

Description

基于光流法和超像素分割的运动目标提取方法

技术领域

本发明属于图像处理领域，特别是涉及一种基于超像素分割和Horn—Schunck光流法的运动目标提取，可用于目标跟踪和目标检测。

背景技术

运动目标提取是指单幅图像或序列图像中将运动的目标与背景分割开来，从图像中识别和解译有意义的物体实体而提取不同的图像特征的操作。根据摄像头是否静止，运动检测分为静态背景和动态背景两种，大多数视频监控系统是摄像头固定的，因此静态背景下运动目标检测受到广泛关注。常用的运动目标提取方法有背景减去法、帧间差分法和光流法三种。背景减去法：将含有运动目标的前景图像和事先通过背景模型得到的背景图像相减得到运动目标。这种方法虽然简单易行，但是受外界因素影响太大，另外阈值的选择也很关键，因此需要和其他方法配合使用才能得到较满意的结果。帧间差分法：该方法通过连续两帧或者三帧图像的像素差确定运动区域。该方法能够快速有效的从背景中检测出目标，对动态目标具有较强的适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内易产生空洞现象。

光流法：基于光流法的运动目标提取采用运动目标随时间变化的光流特性，用来描述相邻帧之间某像素点的运动，通过计算运动物体在帧间的运动向量来得到运动区域的大小。该方法能在背景剧烈变化，甚至摄像机移动的情况下分离出运动物体，但是，大多数的光流方法计算复杂，且抗噪性能差。在诸多的运动分析方法中,光流计算具有明显的优点:(1)光流计算可以基本正确地检测到亚像素的移动距离,精度较高;(2)光流计算适合检测相对复杂的运动,如旋转、缩放等。光流方法可分为基于差分的方法、基于频域的方法和基于相关性的方法等。其中,HS方法和LK(Lucas-Kanade)方法是两种经典的基于差分的光流计算方法。HS方法由于采用了一阶不变灰度梯度,最小均方差迭代的最终收敛点会产生偏移,从而导致光流计算结果不准确。

光流法检测运动物体的基本原理是：给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动物体，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和图像背景存在相对运动，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置。采用光流法进行运动物体检测的问题主要在于大多数光流法计算耗时，实时性和实用性都较差。但是光流法的优点在于光流不仅携带了运动物体的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出运动对象。

对于视频监控系统来说，所用的图像基本都是摄像机静止状态下摄取得，所以对有实时性和准确性要求的系统来说，纯粹使用光流法来检测目标不太实际。更多的是利用光流计算方法与其它方法相结合来实现对目标检测和运动估计。

图像分割是计算机视觉与数字图像处理中最基本的问题之一，它是对图像进一步分析、识别、跟踪和理解的基础。图像分割将图像中的像素按照不同的视觉特征或者语义分割成不同的子集。具体的讲，图像分割是为图像中的每个像素指定一个标号的过程，其目的是使具有相似视觉特征或相同语义的像素具有相同的标号。同时，研究图像分割具有十分重要的意义，它可广泛应用于半自动图像检索，视频会议，2D转3D技术，目标提取与跟踪及医学图像分析等众多领域。

简单线性迭代聚类（SLIC）是一种由k均值聚类方法改变而来的超像素产生方法。SLIC的超像素分割方法和其他的超像素方法相比，具有以下优点：能够保持好的边缘信息，节省时间，节约内存，明显的提高分割效果，容易使用，参数易调节，易于扩展到超体元的产生。

仅仅使用光流法只能知道运动目标的大概位置，并不能精确的提取出运动目标，本发明结合超像素的图像分割方法更加精确地提取出运动目标。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种运动目标提取方法，以保持图像数据一致性，获得清晰的目标边缘，提高提取目标结果的精度。

实现本发明的技术方案包括如下步骤：

步骤1，取视频序列中的一帧视频图像O，将其预分割成超像素集合S；

步骤2，取视频序列中与图像O相邻且在图像O之后的一帧图像O1，根据这两帧视频图像得到O中每个位置像素的水平运动速度矩阵u和垂直运动速度矩阵v；

步骤3，根据水平运动速度矩阵u和垂直运动速度矩阵v得到每一个像素点的速度幅度矩阵

步骤4，使用中值滤波器对矩阵V进行中值滤波，得到矩阵V1；

步骤5，使用高斯滤波器对V1进行高斯滤波，得到矩阵V2；

步骤6，对矩阵V2进行二值化，得到矩阵元素的值为0或1的二值化矩阵V3；

步骤7，对V3进行形态学开运算去除杂点，闭运算进行填充空洞，得到一个含杂点较少的二值化矩阵V4；

步骤8，使矩阵V4中矩阵元素的值为1的矩阵元素等于矩阵I2中对应位置的标记值，矩阵V4中其他矩阵元素仍为0，得到新的矩阵A，统计矩阵A中的不同标记值，并对所述不同标记值进行由小到大的排序，放入一个含有和A中的不同元素个数相同的一维矩阵B；如果A中含有B（k）的数量LA（k）和I2中含有B(k)的数量LI（k）之比小于等于设定值p，则将矩阵A中等于B（k）的矩阵元素的值标记为0；

步骤9，将视频图像O中对应于矩阵A中矩阵元素等于0的位置标记为0，其他位置像素值不变，此时像素值为0的区域即为背景区域，像素值不等于0的区域即为运动目标所在的区域，从而提取出运动目标。

本发明将图像预分割成多个超像素，将该图像和其相邻的帧进行光流法，对光流结果做一些后处理，然后结合超像素结果来提取出运动目标。本发明与现有技术相比具有以下特点：

1.本发明由于选择简单线性迭代聚类算法进行图像预分割，获得超像素集合，使每个超像素都具有相同的颜色和空间特征；本发明在超像素的基础上分割图像，不仅能有效保持前景目标的边缘，而且降低了要处理的图像数据，提高了计算效率。

2.本发明利用Horn—Schunck光流法算法实现简单，运算量较小。

3.本发明利用简单线性迭代聚类方法实现了边缘保持很好的图像分割，我们可以调节超像素的数量和颜色信息与空间信息所占的比重，达到我们想要的分割效果。

仿真实验结果表明，本发明结合简单线性迭代聚类算法和Horn—Schunck光流方法有效进行运动目标提取，能获得具有清晰目标边缘的运动目标，是一种鲁棒性良好的运动目标提取方法。

附图说明

图1是本发明的流程图；

图2是本发明仿真试验中使用的四幅原始测试图像；

图3是用现有方法和本发明在第一幅测试图像上的分割结果；

图4是用现有方法和本发明在第二幅测试图像上的分割结果；

图5是用现有方法和本发明在第三幅测试图像上的分割结果；

图6是用现有方法和本发明在第四幅测试图像上的分割结果。

具体实施方式

以下参照附图对本发明的具体实现及效果作进一步详细表述：

参照图1，本发明的实施步骤如下：

步骤1，取视频序列中的一帧视频图像O，将其预分割成超像素集合S。

首先，取视频序列一帧视频图像O，将该视频图像进行图像预分割，得到每一个像素点的标记；并将分割结果记为矩阵I2；

然后，将具有相同标记的像素集合称为一个超像素，得到n个超像素，分别标识为s_i，i＝1,2,...,n，其中，s_i为预分割视频图像O所得的第i个超像素的标记，获得预分割图像的超像素集n表示S所含超像素的个数。

进行超像素分割的意义就是将图像分割成不同的区域，每个区域含有一个标记，对应一个标记值。

将视频图像进行图像预分割具有多种方法，例如可以采用简单线性迭代聚类方法（SLIC），也可以采用分水岭方法获得输入图像的超像素集。

所述简单线性迭代聚类算法参见文献：Radhakrishna Achanta,Appu Shaji,Kevin Smith,“SLIC Superpixels Compared to State-of-the-Art SuperpixelMethods，”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.34,no.11,NOVEMBER 2012。

步骤2，取视频序列中与图像O相邻且在图像O之后的一帧图像O1，根据这两帧图像得到O中每个位置像素的水平运动速度矩阵u和垂直运动速度矩阵v。

根据这两帧图像得到水平运动速度矩阵u和垂直运动速度矩阵v可以采用对这两帧视频图像应用Horn—Schunck光流法来确定出运动目标的粗略位置，进而得到水平运动速度矩阵u和垂直运动速度矩阵v。

所述Horn—Schunck光流法参见文献：Horn B K P,Schunck B G.Determiningoptical flow[J].Artificial Intelligence,1981,17(1-3):185～204.

步骤3，根据水平运动速度矩阵u和垂直运动速度矩阵v得到每一个像素点的速度幅度矩阵

步骤4，使用中值滤波器对矩阵V进行中值滤波，得到矩阵V1。

中值滤波器的窗口大小为N*N。优选地，采用窗口大小为3*3的中值滤波器进行滤波。

所谓窗口大小为3*3的中值滤波器的中值滤波，就是将3×3覆盖区域的9个像素值值排序之后的中间值作为该区域内中心的像素值。

步骤5，使用高斯滤波器对V1进行高斯滤波，得到矩阵V2。

高斯滤波器宽度(决定着平滑程度)是由参数sigma表征的，sigma越大，高斯滤波器的频带就越宽，平滑程度就越好.窗口的大小也可以调整。

经多次试验证实，采用sigma为0.8，窗口大小为3*3的高斯滤波适合处理本发明处理的图像

步骤6，对矩阵V2进行二值化，得到一个二值化矩阵V3。

所谓二值化操作，是将原来矩阵中的元素全部变为0或1两个值，相当于将与矩阵元素对应的图像上的像素点的灰度值设置为0或1，使得整个图像呈现出只有黑和白的视觉效果，视觉效果明显。

二值化的阈值level可以通过大津（OSTU）阈值分割方法得到的阈值，也可以是人工设定阈值。将低于阈值的像素值设定为0，大于等于阈值的像素值设定为1。

步骤7，对V3进行形态学开运算去除杂点，闭运算进行填充空洞，得到一个含杂点较少的二值化矩阵V4。

杂点是指图像中的一些噪声斑点。

空洞是指在一个物体内部含有的空洞区域，也就是空心的意思。

腐蚀操作会去掉物体的边缘点，细小物体所有的点都会被认为是边缘点，因此会整个被删去。再做膨胀时，留下来的大物体会变回原来的大小，而被删除的小物体则永远消失了。膨胀操作会使物体的边界向外扩张，如果物体内部存在小空洞的话，经过膨胀操作这些洞将被补上，因而不再是边界了。再进行腐蚀操作时，外部边界将变回原来的样子，而这些内部空洞则永远消失了。先腐蚀后膨胀的过程称为开运算。用来消除小物体、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其面积。闭运算是先膨胀后腐蚀的过程，其功能是用来填充物体内细小空洞、连接邻近物体、平滑其边界，同时不明显改变其面积。

形态学开和闭的结构元素（sterl）大小和形状我们可以根据需要自行设定大小。

所谓结构元素，就是开运算和闭运算要消除或者填充的细小空洞的大小。

在对V3进行形态学开运算去除杂点，闭运算进行填充空洞时，如果还有一些空洞，则将这些空洞填充，用MATLAB实现时，可以使用MATLAB中的填充函数imfill操作，得到一个含杂点较少的二值化矩阵V4。

步骤8，使矩阵V4中矩阵元素的值为1的矩阵元素等于矩阵I2中对应位置的标记值，矩阵V4中其他矩阵元素仍为0，得到新的矩阵A，统计矩阵A中的不同标记值，并对所述不同标记值进行由小到大的排序，放入一个含有和A中的不同元素个数相同的一维矩阵B；如果A中含有B（k）的数量LA（k）和I2中含有B(k)的数量LI（k）之比小于等于设定值p，则将矩阵A中等于B（k）的矩阵元素的值标记为0。

通过实验证实，p的范围为[0.7,1]是一个优选的范围。

具体实现时，可以设定一个和表示原图像的矩阵大小相同的空矩阵A，如果V4（i,j）=1，则A(i,j)=I2(i,j)；A中除标记值为0的元素外还有其他标记值，统计出A中所含有的不同标记值，并进行由大到小的排序，将这些不同标记值作为矩阵的元素形成一维矩阵B；计算出A中对应于各个标记B（k）（B中第k个元素）的个数LA(k)，同时统计出I2中含有各个标记B(k)的个数LI（k），若LA（k）/LI(k)小于等于设定值时，则A中等于B(k)的元素的值设为0。

步骤9，将视频图像O中对应于矩阵A中矩阵元素等于0的位置标记为0，其他位置像素值不变，此时含有黑色的区域即为背景区域，像素值不等于0的区域即为运动目标所在的区域，从而提取出运动目标。

依据超像素标记向量A【见步骤8中，如果V4（i,j）=1，则A(i,j)=I2(i,j);可以实现A由空矩阵变为超像素标记矩阵】，将标记为0的超像素颜色设置为黑色，标记为非0的超像素的颜色保持不变，输出并显示结果图像。

本发明的效果可以通过以下实验进一步说明：

1.仿真条件：

在CPU为pentium(R)4处理器：主频1.86GHZ，内存2G，操作系统：WINDOWSXP SP3，仿真平台：Matlab7.10平台上进行。

仿真图像选择图2所示的四幅原始测试图像，其中，图2（a）为手机图像，图2（b）为people图像，图2（c）为玩具图像，图2（d）为人图像。

2.仿真内容：

仿真1，利用本发明方法与现有的光流法，帧间差分法和VIBE运动目标提取方法分别对图2（a）所示的手机图像进行分割，结果如图3，其中图3（a）是利用本发明方法分割的结果，图3（b）是利用帧间差分法分割的结果，图3（c）是利用光流法分割的结果，图3（d）是利用VIBE运动目标提取方法分割的结果。

从图3可见，本发明能有效保持手机的边缘以及手机本身的数据一致性，有效的将手机这一前景目标从背景中提取出来，分割结果稳定；帧间差分方法将手机周围的背景信息也提取出来了；光流法提取了更多的周围背景信息，其同质区域一致性差，分割结果不够稳定，VIBE方法极大的依赖于关键帧的选取。

仿真2，利用本发明方法与现有的光流法，帧间差分法和VIBE运动目标提取方法分别对图2（b）所示的people图像进行分割，结果如图4，其中图4（a）是利用本发明方法分割的结果，图4（b）是利用帧间差分法分割的结果，图4（c）是利用光流法分割的结果，图4（d）是利用VIBE运动目标提取方法分割的结果。

从图4可见，本发明能能完整的将人从复杂的背景中提取出来，边缘光滑且清晰，能良好的保持同质区域一致性，没有噪声点，而且分割结果稳定；；帧间差分方法将人所处的背景信息也提取出来了；光流法提取了更多的周围背景信息，将其误认为是前景，其同质区域一致性差，分割结果不够稳定，VIBE方法极大的依赖于关键帧的选取，提取出的结果含有很多空洞和噪点。

仿真3，利用本发明方法与现有的光流法，帧间差分法和VIBE运动目标提取方法分别对图2（c）所示的玩具图像进行分割，结果如图5，其中图5（a）是利用本发明方法分割的结果，图5（b）是利用帧间差分法分割的结果，图5（c）是利用光流法分割的结果，图5（d）是利用VIBE运动目标提取方法分割的结果。

从图5可见，本发明能能完整的将玩具从复杂的背景中提取出来，边缘光滑且清晰，能良好的保持同质区域一致性，没有噪声点，而且分割结果稳定；；帧间差分方法将玩具所处的背景信息也提取出来了；光流法提取了更多的周围背景信息，将其误认为是前景，其同质区域一致性差，分割结果不够稳定，VIBE方法极大的依赖于关键帧的选取，提取出的结果含有很多空洞和噪点。

仿真4，利用本发明方法与现有的光流法，帧间差分法和VIBE运动目标提取方法分别对图2（d）所示的Akko&Kayo图像进行分割，结果如图6，其中图6（a）是利用本发明方法分割的结果，图6（b）是利用帧间差分法分割的结果，图6（c）是利用光流法分割的结果，图6（d）是利用VIBE运动目标提取方法分割的结果。

从图6可见，本发明能能完整的将人从复杂的背景中提取出来，边缘光滑且清晰，能良好的保持同质区域一致性，没有噪声点，而且分割结果稳定；；帧间差分方法将人所处的背景信息也提取出来了；光流法提取了更多的周围背景信息，将其误认为是前景，其同质区域一致性差，分割结果不够稳定，VIBE方法极大的依赖于关键帧的选取，提取出的结果含有很多空洞和噪点。

Claims (8)

1.一种运动目标提取方法，包括如下步骤：

步骤1，取视频序列中的一帧视频图像O，将其预分割成超像素集合S；

具体包括：

(1)取视频序列一帧视频图像O，将该视频图像进行图像预分割，得到每一个像素点的标记；并将分割结果记为矩阵I2；

(2)将具有相同标记的像素集合称为一个超像素，得到n个超像素，分别标识为s_i，i＝1,2,...,n，其中，s_i为预分割视频图像O所得的第i个超像素的标记，获得预分割图像的超像素集n表示S所含超像素的个数；

步骤2，取视频序列中与图像O相邻且在图像O之后的一帧图像O1，根据这两帧视频图像得到O中每个位置像素的水平运动速度矩阵u和垂直运动速度矩阵v；

步骤3，根据水平运动速度矩阵u和垂直运动速度矩阵v得到每一个像素点的速度幅度矩阵

步骤4，使用中值滤波器对矩阵V进行中值滤波，得到矩阵V1；

步骤5，使用高斯滤波器对V1进行高斯滤波，得到矩阵V2；

步骤6，对矩阵V2进行二值化，得到矩阵元素的值为0或1的二值化矩阵V3；

步骤7，对V3进行形态学开运算去除杂点，闭运算进行填充空洞，得到一个含杂点较少的二值化矩阵V4；

步骤8，使矩阵V4中矩阵元素的值为1的矩阵元素等于矩阵I2中对应位置的标记值，矩阵V4中其他矩阵元素仍为0，得到新的矩阵A，统计矩阵A中的不同标记值，并对所述不同标记值进行由小到大的排序，放入一个含有和A中的不同元素个数相同的一维矩阵B；如果A中含有B(k)的数量LA(k)和I2中含有B(k)的数量LI(k)之比小于等于设定值p，则将矩阵A中等于B(k)的矩阵元素的值标记为0，B(k)表示B中第k个元素；

步骤9，将视频图像O中对应于矩阵A中矩阵元素等于0的位置标记为0，其他位置像素值不变，此时像素值为0的区域即为背景区域，像素值不等于0的区域即为运动目标所在的区域，从而提取出运动目标。

2.如权利要求1所述的运动目标提取方法，其中，将视频图像进行图像预分割采用简单线性迭代聚类方法(SLIC)或者分水岭方法。

3.如权利要求1或2所述的运动目标提取方法，其中，根据这两帧视频图像得到O中每个像素的水平运动速度矩阵u和垂直运动速度矩阵v采用对这两帧视频图像应用Horn—Schunck光流法。

4.如权利要求1所述的运动目标提取方法，其中，中值滤波器的窗口大小为N*N。

5.如权利要求4所述的运动目标提取方法，其中，中值滤波器的窗口大小为3*3。

6.如权利要求1所述的运动目标提取方法，其中，高斯滤波器的sigma为0.8，窗口大小为3*3。

7.如权利要求1所述的运动目标提取方法，其中，步骤7中在对V3进行形态学开运算去除杂点，闭运算进行填充空洞时，如果还有一些空洞，则将这些空洞填充，得到一个含杂点较少的二值化矩阵V4。

8.如权利要求1所述的运动目标提取方法，其中，设定值p的范围为[0.7,1]。