CN105809673B - 基于surf算法和合并最大相似区域的视频前景分割方法 - Google Patents

Abstract

本发明涉及一种基于SURF算法和合并最大相似区域的视频前景分割方法，该方法针对亮度变化的静态场景视频设计了一种前景分割算法，包括四个步骤：（1）首先求取当前帧的梯度标记，然后对极小修正后的梯度图像进行标记分水岭变换，从而得到初始分割结果；（2）通过Surf特征点匹配操作及制定的规则确定当前帧的前景和背景标记；（3）根据区域最大相似度和区域标记对初始分割结果做区域合并；（4）如果结果不精确，采用基于区域标记交互式修改的方式对自动分割结果进行纠正。较之传统的视频分割方法，本发明提出的方法对光照变化及噪声等有较强的鲁棒性，在视频对象分割的精度、效率以及降低用户交互量上，都有一定的提高，具有工程应用价值。

Description

基于SURF算法和合并最大相似区域的视频前景分割方法

技术领域

本发明涉及视频处理及计算机视觉领域，特别涉及一种基于SURF(Speeded-UpRobust Features，快速鲁棒特征提取)算法和合并最大相似区域的视频前景分割方法。

背景技术

视频序列中的前景分割一直是计算机视觉领域的研究热点，它是目标定位、目标识别以及视频修复的基础，能否完整准确的分割对象，直接关系到后续工作的开展。伴随着视频分割技术的发展，已经有较多优秀的前景分割技术和理论产生。

视频的前景分割有几种流行的方法，分别是帧差法、光流法、基于统计的学习方法以及背景差分法。帧差法主要是利用相邻两帧做差的方式求取运动的前景，计算较为简单，分割效果也相对稳定，但只能检测发生相对运动的前景，很难获得完整的前景目标。光流法采用运动参数估计，建立相应的模型，此种方法能够在没有充分获得场景信息的情况下检测前景目标，但缺点是要求亮度恒定，而且计算机量大。基于统计学习的方法把视频序列看成是随机过程进行分析，把视频帧的改变表征为随机场中参数的变化，通过检测参数变化来判断运动的前景，此种方法具有较强的抗噪能力，但需要大量的学习样本。背景差分法是先通过多幅图像建立背景图，然后在后续的前景分割时，只需选定任意帧与背景图做差即可得到前景，此种方法算法思想较为简单，但对环境变化较为敏感。

发明内容

本发明提供了一种结合空间域和时间域信息的视频前景分割方法，能够提高视频前景分割的精度和效率。

为达到上述目的，本发明采用如下的技术方案：

一种基于SURF算法和合并最大相似区域的视频前景分割方法，包含以下操作步骤：

步骤1：通过标记分水岭变换和尺度参数的设定对视频中选定帧进行初步分割；

步骤2：通过当前帧和参考帧的SURF特征点匹配确定图像中的运动目标，并通过制定规则完成对初始分割区域的标记；

步骤3：利用区域标记和相邻区域间的最大相似度，通过改进的MSRM(MaximalSimilarity based Region Merging，基于最大相似度的区域合并)算法对初始分割结果做区域合并操作，完成视频序列中一帧的前景分割；

步骤4：对自动分割结果进行交互式的纠正，通过手动选中区域的方式来增加或减少前景和背景标记，然后重新执行步骤3，完成区域合并。

所述步骤1的标记分水岭分割包括如下操作：

(1)计算当前帧的彩色梯度幅值图像；

所述彩色梯度幅值图像计算表达式如下：

式中是彩色梯度图像，B表示所选的结构元素，代表提取最大值，即分别计算三个通道对应原始图像的形态学梯度，选择最大的分量梯度作为彩色图像的梯度。

(2)对梯度幅值图像进行二阶巴特沃斯低通滤波，把滤波器中的截止频率作为可调节尺度参数；

所述二阶巴特沃斯低通滤波器表达式如下：

H(u,v)＝1/(1+(D(u,v)/D₀)²ⁿ)

式中D(u,v)是频率域中点(u,v)与频率矩形中心的距离，滤波器的截止频率D₀不宜过小，如果过小的话，会破坏图像的边缘信息。利用二阶巴特沃斯低通滤波器(BLPF-2)对梯度图像进行滤波操作得到其低频成分。

(3)对滤波后的梯度图像进行扩展极小值运算，得到二值标记图像，把运算中的极小阈值作为另一个可调节的尺度参数；

所述扩展极小值变换表达式如下：

式中为经过二阶巴特沃斯滤波后的彩色梯度图像，Mark代表经过标记的梯度图像，Emin()代表形态学的扩展极小值变换，h是极小阈值；扩展极小值是消除与其邻域像素亮度之差小于给定阈值h的极小值，而标记与其邻域像素亮度之差大于给定阈值h的极小值的运算。

(4)用形态学强制极小标定运算修正梯度图像；

所述形态学强制极小标定运算表达式如下：

式中IMmin()代表形态学极小值标定运算操作，表示修正后的梯度图像。

(5)对修正后的梯度图像做分水岭变换，得到初步分割的结果。

所述分水岭变换表达式如下：

式中f^WS表示图像区域分割结果，WTS()表示分水岭的分割变换算子。

所述步骤2的区域标记包括如下操作：

(1)在时间域上，从视频序列中选取与当前帧有一定间距的参考帧，可根据视频类型手动输入，其默认值为相隔10帧；

(2)采用SURF方法分别提取当前帧与参考帧中的特征点，并采用最近邻匹配得到两帧图像的匹配点对；

(3)在当前帧中，如果其SURF特征点与参考帧中匹配点间的空间位移不超过一个像素单位，则选为背景特征点；

(4)在当前帧中，如果其SURF特征点与参考帧中匹配点间的距离小于阈值T，且空间位移不超过一定范围，则选为前景特征点；其中T在0.7～1.0之间取值，位移与所选参考帧有关，可根据视频类型手动输入，默认值为视频宽度的20％；

(5)对初始分割结果中的区域进行标记，如果区域中有至少一个背景特征点，则此区域设定为背景标记区域，如果区域中有至少一个前景特征点，则此区域设定为前景标记区域，如果区域中背景和前景特征点均存在，取数量多的，若数量相同，此区域不做标记。

所述步骤3的区域合并包括如下操作：

(1)建立初始分割区域的邻接图(Region Adjacency Graph，RAG)，RAG的结点存放区域的彩色直方图，RAG的边存放相邻区域的相似度；

所述相似度计算表达式如下：

式中ρ(R_i,R_j)是R_i和R_j区域的巴氏系数，它也表示两相邻区域的相似度，和是两个区域在第i个分隔区域的归一化直方图。

(2)对初始分割结果中每一个背景标记区域进行操作，如果该区域的邻域是未标记区域，且二者之间的相似度是该未标记区域与其所有邻域相似度中最大的，则合并这两个区域，记新区域为背景标记区域，重复此过程，直至找不到新的合并对象；

(3)对初始分割结果中每一个未标记区域进行操作，如果该区域的邻域有未标记区域且二者之间的相似度最大，则合并这两个区域，记新区域仍为未标记区域，重复此过程，直至不再发生区域合并；

(4)重复上述(2)和(3)两步操作，直至无区域合并操作发生，区域合并结束，剩下一个前景标记区域，即为视频帧的前景，另一个为背景标记区域，即为视频帧的背景，至此，前景自动分割操作结束。

附图说明

图1是本发明基于SURF算法和合并最大相似区域的视频前景分割方法的流程图。

图2是本方法中步骤1的详细计算流程框图。

图3是本方法中步骤2的详细计算流程框图。

图4是本方法中步骤3的详细计算流程框图。

图5是实施例中所选定的当前帧。

图6是采用步骤1对当前帧操作后得到的初始分割结果。

图7是当前帧与参考帧中前景的SURF特征点匹配结果。

图8是当前帧与参考帧中背景的SURF特征点匹配结果。

图9是对待合并区域进行标记后的结果。

图10是采用步骤1-3操作后对当前帧前景的分割结果。

图11是交互式修改后的区域标记结果。

图12是当前帧的最终前景分割结果。

图13是分割结果的二值图像。

具体实施方式

以下结合附图对本发明的实施例进行详细的说明：

参见图1至图4，一种基于SURF算法和合并最大相似区域的视频前景分割方法，包含以下操作步骤：

步骤1：(1)读入视频序列，本例序列为静态背景，即背景保持不变，前景运动；本例视频序列经过人为修改后，帧序列之间亮度是变化的。(2)随机选择一帧作为测试的当前帧，如图5所示，帧图像大小为288×352，接下来的任务就是把目标对象从视频中提取出来。(3)采用标记分水岭变换对当前帧进行初步分割，具体的实施步骤分为计算梯度幅值图像、二阶巴特沃斯低通滤波、扩展极小值运算、形态学强制极小标定以及分水岭变换；在本例中，使用的两个尺度调节参数的取值分别是D₀＝200，h＝2，这样的参数设定也是本专利方法的默认取值，可以看到通过使用默认取值或简单的调节就可以达到较好的分割效果，有效的避免了过分割和欠分割，为后续的区域合并操作提供了保障。(4)经过上述步骤的操作，参考帧被分割为1946个区域，且这些区域同质性较高，如图6所示。

步骤2：(1)选定与当前帧进行特征点匹配的参考帧，在本例中，选择了在时间域上和当前帧相差10帧以外的随机一帧；另外，为了突出本专利提出的方法在亮度或色彩变化等情况下的有效性和鲁棒性，本例参考帧亮度相较于当前帧是变化的。(2)采用SURF算法分别对两帧图像提取特征点，并使用最近邻匹配方法对这些特征点进行计算，得到的匹配对数目为329。(3)如果两帧的匹配点对之间的空间位移不超过一个像素单位，则当前帧中的这些特征点就被选为背景特征点，如图7所示为背景特征点对，数量为113个。(4)如果两帧的匹配点对之间的距离小于阈值且空间位移小于视频帧宽度的20％，则被选为前景特征点，在本例中这两个参数分别取0.7和57，如图8所示为前景特征点对，数量为38个。(5)对步骤1分割后的1946个区域进行标记；如果区域中有至少一个背景特征点，则此区域设定为背景标记区域；如果区域中有至少一个前景特征点，则此区域设定为前景标记区域；如果区域中背景和前景特征点均存在，取数量多的，若数量相同，此区域不做标记。标记结果如图9所示，黑色为前景标记区域，灰色为背景标记区域，其它均为未标记区域。

步骤3：(1)计算初始分割的1946个区域的彩色直方图和相邻区域的巴氏系数，从而建立邻接图数据结构。(2)根据步骤2计算的区域标记以及改进的MSRM规则进行区域合并操作，在本例中合并操作迭代了两个回合，最终结果如图10所示，基本上完成了对前景的提取。

步骤4：(1)为了充分考虑所有情况，本例中的测试需要执行最后的交互修改步骤，本方法支持鼠标选中区域以增加和删减区域标记。(2)图10中用箭头指出了三个误分割之处，三处皆为背景区域误分为前景。(3)图11显示了本例中的交互式修改操作结果，左起第一个箭头表明添加图像左边缘所有涉及区域为背景标记，左起第二个箭头表明所指向的区域添加为背景标记，左起第三个箭头表明所指向区域的标记被删除，最终修改后的区域标记结果如图11所示。(4)图12为最终的分割结果，图13为最终分割结果的二值图像。

通过本例的实验表明，该方法对亮度变化的视频序列的前景分割，具有边缘提取精确且简单易行等特点。

Claims (3)

1.一种基于SURF算法和合并最大相似区域的视频前景分割方法，其特征在于，包含以下操作步骤：

步骤1：通过标记分水岭变换和尺度参数的设定对视频中选定帧进行初始分割，并且将滤波器中的截止频率运算中的极小阈值作为可调节的尺度参数来达到对视频中选定帧进行初步分割；

步骤2：通过当前帧和参考帧的SURF特征点匹配确定图像中的运动目标，并通过制定规则完成对初始分割区域的标记，并且采用最近邻匹配进行特征匹配，其中通过比较参考帧和当前帧的距离来进行初始分割区域标记，进行制定规则；

步骤3：利用区域标记和相邻区域间的最大相似度，通过改进的MSRM算法对初始分割区域做区域合并操作，完成视频序列中一帧的前景分割；

步骤4：对自动分割结果进行交互式的纠正，通过手动选中区域的方式来增加或减少前景和背景标记，然后重新执行步骤3，完成区域合并；

所述步骤2的初始分割区域标记包括如下操作：

(1)在时间域上，从视频序列中选取与当前帧有一定间距的参考帧，根据视频类型手动输入，一定间距默认值为相隔10帧；

(2)采用SURF方法分别提取当前帧与参考帧中的特征点，并采用最近邻匹配得到两帧图像的匹配点对；

(3)在当前帧中，如果其SURF特征点与参考帧中匹配点间的空间位移不超过一个像素单位，则选为背景特征点；

(4)在当前帧中，如果其SURF特征点与参考帧中匹配点间的距离小于阈值T，且空间位移不超过一定范围，则选为前景特征点，其中T在0.7～1.0之间取值，而空间位移与所选参考帧有关，根据视频类型手动输入，空间位移值为视频宽度的20％；

(5)对初始分割区域进行标记，如果区域中只有背景特征，则此区域设定为背景标记区域，如果区域中只有前景特征点，则此区域设定为前景标记区域，如果区域中背景和前景特征点均存在，取特征点数量多的作为相应标记区域，若特征点数量相同，此区域不做标记。

2.根据权利要求1所述的基于SURF算法和合并最大相似区域的视频前景分割方法，其特征在于，所述步骤1的标记分水岭变换包括如下操作：

1)计算当前帧的彩色梯度幅值图像；

2)对彩色梯度幅值图像进行二阶巴特沃斯低通滤波，把滤波器中的截止频率作为可调节尺度参数；

3)对滤波后的彩色梯度幅值图像进行扩展极小阈值运算，得到二值标记图像，把运算中的极小阈值作为另一个可调节的尺度参数；

4)用形态学强制极小标定运算修正梯度图像；

5)对修正后的彩色梯度幅值图像做分水岭变换，得到初步分割的结果。

3.根据权利要求1所述的基于SURF算法和合并最大相似区域的视频前景分割方法，其特征在于，所述步骤3的区域合并包括如下操作：

a.建立初始分割区域的邻接图，即RAG，RAG的结点存放区域的彩色直方图，RAG的边存放相邻区域的相似度；

b.对初始分割区域中每一个背景标记区域进行操作，如果该区域的邻域是未标记区域，且二者之间的相似度是该未标记区域与其所有邻域相似度中最大的，则合并这两个区域，记新区域为背景标记区域，重复此过程，直至找不到新的合并对象；

c.对初始分割结果中每一个未标记区域进行操作，如果该区域的邻域有未标记区域且二者之间的相似度最大，则合并这两个区域，记新区域仍为未标记区域，重复此过程，直至不再发生区域合并；

d.重复上述步骤b和c两步操作，直至无区域合并操作发生，区域合并结束，剩下一个前景标记区域，即为视频帧的前景，另一个为背景标记区域，即为视频帧的背景，至此，前景自动分割操作结束。