CN106570830A - 一种基于GrabCut改进的图像分割方法 - Google Patents

Abstract

本发明提供一种基于GrabCut改进的图像分割方法，包括以下步骤：多尺度分水岭预分割，优化能量函数，改进的GrabCut算法。本发明采用多尺度分水岭对梯度图像平滑去噪，对新梯度图像再次进行分水岭运算，不仅增强了图像的边缘点，还减少了后续处理的计算量，再用熵惩罚因子优化分割能量函数，抑制了目标信息的损失。

Description

一种基于GrabCut改进的图像分割方法

技术领域

本发明涉及数字图像处理的技术领域，特别是一种基于GrabCut改进的图像分割方法。

背景技术

Graph cut算法是基于马尔可夫随机场(Markov RandomField，MRF)能量最小化框架兴起的一个研究热点，该理论的新颖之处在于它可以结合多种理论知识进行全局最优求解。Graph cut算法因其自身的优势，引起了许多研究人员的关注。2004年Rother等以Graphcut为基础，提出了GrabCut算法。该算法通过非完全标记方法，用矩形框标出背景区域，对前景、背景颜色空间建立高斯混合模型(Gaussian MixtureModel，GMM)，用GMM参数学习、估计过程中可进化的迭代算法取代一次最小估计来完成能量最小化。GrabCut算法是对Graphcut算法的改进和扩展，是目前图割理论应用于图像分割领域的成熟运用的代表之一。许多学者对GrabCut算法进行了改进，如构建颜色、纹理和形状等信息模型以优化能量函数，从而提高分割精度，增加预处理和迭代步骤以提高效率。Chen等通过最优化GMM提高GrabCut的分割性能；Han等使用多维非线性结构结合颜色特征取代了GMM。这些方法虽然提高了目标提取结果的精度，但是很耗时。针对GrabCut算法需处理海量的像素级单元而耗时的缺陷，王菌铭等人先通过分水岭预分割，得到颜色相似的若干小区域，将小区域当作节点来进行后续处理，提高了分割效率；孙凡等人采用二叉树颜色量化算法代替k-means算法进行聚类，提高了收敛速度；徐秋平等引入多尺度分析方法，以塔式分解的多尺度图像序列代替固定尺度的原始图像序列估计GMM参数，图像分割效率显著提高；丁红等通过降低图像的分辨率，缩小图像，加快了收敛速度，但获取的目标边缘模糊；为了提高分割效率和精度，周胜安等人将前景物形态因子融入到GrabCut算法中，但用户需先指定前景物的基本形态，用户交互比较多。由于GrabCut算法中的最大流最小割算法存在着对于局部噪声较敏感，而且目标提取的边缘效果不好等缺陷。

公开号为CN101493932A的专利文件公开了一种基于形态Haar小波纹理梯度提取的分水岭纹理图像分割方法，该方法的具体实施步骤为：(1)对原始纹理图像用形态Haar小波变换提取器纹理梯度图TG；(2)将源图像顺时针旋转90度后用形态Haar小波提取其纹理梯度图RTG；(3)将纹理梯度图RTG和纹理梯度图TG做旋转加权得到纹理梯度图G；(4)对纹理梯度图G做形态滤波，得到平滑后的纹理梯度图OCG；(5)对纹理梯度图OCG进行标记分水岭分割，得到最终的纹理分割结果。该方法只考虑了纹理信息，忽略了颜色特征，Haar小波的参数设定复杂，不包含尺度信息，对于细节，分割精度不高。

发明内容

为了上述的技术问题，本发明以GrabCut算法为基础，先用多尺度分水岭对图像进行预分割，平滑去噪；接着对新的梯度图像再次进行分水岭运算，减少节点；最后用熵惩罚因子对分割能量函数进行优化，尽量保存了图像的边缘细节，使得图像的分割精度提高。

本发明提供一种基于GrabCut改进的图像分割方法，包括以下步骤：

步骤1：多尺度分水岭预分割；

步骤2：优化能量函数；

步骤3：改进的GrabCut算法。

优选的是，通过将图像变换到频域空间表示，计算得到一幅离散二维图像的所述多尺度多方向的纹理特征。

在上述任一方案中优选的是，其特征在于：所述多尺度形态梯度算子定义如下式所示：

其中B_i(0≤i≤n)为一组正方形的结构元素，B_i的大小为i×i的像素。

在上述任一方案中优选的是，使用所述多尺度分水岭对梯度图像进行预分割，并除去噪声。

在上述任一方案中优选的是，用形态学中的闭开运算对所述梯度图像进行平滑处理。

在上述任一方案中优选的是，以新梯度图像中的一组新的极小值为起点再次进行淹没过程，从而得到各个谷底之间的分水岭，最终获得改进的二次分水岭的分割结果。

在上述任一方案中优选的是，输入图像x＝(x₁，…，x_n，…，x_N)，x_i(1，2，…，N)的维数为d，采用GMM描述前景与背景像素的分布情况。

在上述任一方案中优选的是，每个像素点由K个GMM的混合特征表示m＝(k₁，…，k_n，…，k_N)，且k_n∈<1，2，…，K>；a_n表示像素点的透明度，a_n＝0表示背景，a_n＝1表示前景。

其中x_i是在第k类高斯分布下的密度函数。

其中：θ＝<π_k，u_k，Σ_k>为模型参数，π_k为混合比例参数，u_k为各个高斯概率分布的均值，Σ_k为协方差。

在上述任一方案中优选的是，最大混合负对数似然估计如下式：

原GrabCut中Gibbs能量函数如下式：

E(α，m，θ，x)＝U(a，m，θ，x)+V（a，x)＝Σ_nD(a_n，k_n，θ，x_n)+V(a，x)

其中：U(a，m，θ，x)表示数据项，V(a，x)表示平滑项。由上述两式可得到；

最后对GMM参数进行更新，得到：

θ＝argminU(a，m，θ，x)

V(α，x)＝γ∑_(m，n)∈c[a_m≠a_n]exp(-β||x_m-x_n||²)

其中：γ＝50；c是相邻像素点对的集合；[·]是取值为0或1的函数，当a_m≠a_n时，[a_m≠a_n]＝1；当且仅当a_m＝a_n时，[a_m≠a_n]＝0。β＝(2＜||x_m-x_n||²＞)^-1，<·>表示样本的数学期望。

在上述任一方案中优选的是，采用混合比例的负熵对所述Gibbs能量函数进行惩罚。

在上述任一方案中优选的是，所述熵定义为：

其反映属性π所包含的信息量多少。

在上述任一方案中优选的是，优化后的能量函数如下式：

优化后的分割能量函数不仅能将多余的高斯分量消除掉，而且尽可能地保留图像的细节信息，提高图像的分割精度。其中ρ为惩罚因子。

在上述任一方案中优选的是，改进的所述GrabCut算法步骤如下：

步骤a：预处理；

步骤b：初始化；

步骤c：迭代最小化；

步骤d：目标输出。

在上述任一方案中优选的是，所述步骤a为输入图像I，对于I进行二次分水岭预分割，将得到的小区域的颜色均值当作像素的节点来做后续处理。

在上述任一方案中优选的是，所述步骤b包含以下属子步骤：步骤b1：非完全编号，用户通过设定背景T_B将三元图T转化为二元标号问题。用户初始交互只需要确定T_B，将前景置空，即T_U取背景的补集，即

步骤b2：对所有背景像素，将它们的透明度a置为0，即a＝0；对于未知区域T_U，令a＝1；

步骤b3：对于a＝0和a＝1两个集合，用k-means聚类方法来初始化前景、背景的GMM，获得GMM参数(π_k，u_k，Σ_k)的初值。

在上述任一方案中优选的是，所述步骤c包含以下子步骤：

步骤c1：求出每个像素x_n所对应的GMM参数k_n，

步骤c2：将每个像素a标记进行优化，即更新判断每个像素是属于前景或者背景区域，a＝argmin_aE(a，m，θ，x，H)，

步骤c3：由图像的节点求得GMMθ:θ＝argmin_θU(a，m，θ，x)，获得GMM参数(π_k，u_k，Σ_k)的估计值。此过程不仅获得节点到前景和背景的距离D，同时计算出混合比例的熵惩罚H(π)；

步骤c4：在通过最大期望(Expectation Maximum，EM)算法估计各个像素的GMM所得到的数据项U(α，m，θ，x)及经过熵惩罚处理得到的索引号后，再对其按照平滑项部分进行约束，获得能量E(α，m，θ，x，H)；

步骤c5：对T_U构造s-t网络图，用最大流最小割算法来得到初始分割，

步骤c6：返回步骤c1重复执行，直到收敛为止；

步骤c7：执行边界优化。

在上述任一方案中优选的是，所述步骤d为得到新的a＝0，a＝1像素集，将a＝1的图像像素输出，实现前景目标输出。

本发明针对GrabCut算法对于局部噪声敏感、耗时且提取边缘不理想等缺点，提出一种基于GrabCut改进的图像分割新算法。所提算法同传统算法的分割结果相比较，降低了错误率，增大了Kappa系数，提高了运行效率，并且，提取的边缘也更完整、平滑，适用于不同类型的图像分割。

附图说明

图1为按照本发明的基于GrabCut改进的图像分割方法的一优选实施例的流程图。

图1a为按照本发明的基于GrabCut改进的图像分割方法的如图1所示的最大流最小割的实施例的实施过程图。

图2为按照本发明的基于GrabCut改进的图像分割方法的如图1所示的改进GrabCut算法的实施例的流程图

图3为按照本发明的基于GrabCut改进的图像分割方法的改进GrabCut算法的如图2所示的对图像进行初始化的实施例的流程图

图4为按照本发明的基于GrabCut改进的图像分割方法的改进GrabCut算法的如图2所示的进行迭代最小化的实施例的流程图

图5为按照本发明的基于GrabCut改进的图像分割方法的一优选实施例的原始图。

图5a为按照本发明的基于GrabCut改进的图像分割方法的如图3所示的实施例的一次分水岭分割结果图。

图5b为按照本发明的基于GrabCut改进的图像分割方法的如图3所示的实施例的二次分水岭分割结果图。

图6为按照本发明的基于GrabCut改进的图像分割方法的另一优选实施例的原始图。。

图6a为按照本发明的基于GrabCut改进的图像分割方法的如图6所示的使用WGC算法的实施例的效果图。

图6b为按照本发明的基于GrabCut改进的图像分割方法的如图6所示的使用GrabCut改进的图像分割方法的实施例的效果图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的阐述。

实施例一

如图1所示，一种基于GrabCut改进的图像分和算法包括一下步骤：

执行步骤100，多尺度分水岭的预分割。

分水岭算法是一种经典分割算法，它不仅能很好地保留原始图像的边缘，而且能保证每个小区域的差异足够小。但由于量化误差、物体细节、噪声等影响，容易导致过分割现象。

针对过分割现象及最终获取的边缘细节不好等缺点，本文使用基于多尺度形态梯度算子的分水岭算法对图像进行预处理。传统的形态梯度算子如下式所示：

其中：和⊙分别表示膨胀和腐蚀运算，B为结构元素。上式又称单尺度形态梯度算子，其性能取决于B的大小。但是单尺度形态梯度算子仍会产生过分割现象，所以文献尺度形态梯度算子定义如下式:

其中B_i(0≤i≤n)为一组正方形的结构元素，B_i的大小为i×i的像素。由于多尺度的形态梯度算子使用取平均运算，所以抗噪能力更强。使用多尺度分水岭预分割，可以增强模糊的边缘信息，同时去除噪声。

本发明使用多尺度分水岭对梯度图像进行预分割，并且除去噪声；用形态学中的闭开运算对梯度图像进行平滑；以新梯度图像中的一组新的极小值为起点再次进行淹没过程，从而得到各个谷底之间的分水岭，最终获得改进的二次分水岭的分割结果。

执行步骤110，优化能量函数。

输入图像x＝(x₁，…，x_n，…，x_N)，x_i(1，2，…，N)的维数为d，采用GMM描述前景与背景像素的分布情况。每个像素点由K个GMM的混合特征表示m＝(k₁，…，k_n，…，k_N)，且k_n∈<1，2，…，K>；a_n表示像素点的透明度，a_n＝0表示背景，a_n＝1表示前景。

其中x_i是在第k类高斯分布下的密度函数。

其中：θ＝<π_k，u_k，Σ_k>为模型参数，π_k为混合比例参数，u_k为各个高斯概率分布的均值，Σ_k为协方差。最大混合负对数似然估计如下式:

原GrabCut中Gibbs能量函数如下式：

E(α，m，θ，x)＝U(a，m，θ，x)+V(a，x)＝∑_nD(a_n，k_n，θ，x_n)+V(a，x)

其中：U(a，m，θ，x)表示数据项，V(a，x)表示平滑项。由上述两式可得到；

最后对GMM参数进行更新，得到：

θ＝argminU(a，m，θ，x)

V(α，x)＝γ∑_(m，n)∈c[a_m≠a_n]exp(-β||x_m-x_n||²)

其中：γ＝50；c是相邻像素点对的集合；[·]是取值为0或1的函数，当a_m≠a_n时，[a_m≠a_n]＝1；当且仅当a_m＝a_n时，[a_m≠a_n]＝0。β＝(2＜||x_m-x_n||²＞)^-1，<·>表示样本的数学期望。

熵是平均信息量的表征，是信息量的度量。熵最大的事物最可能接近它的真实状态，而且熵最大的预测出现的概率占绝对优势。熵值越大，图像所包含的信息越丰富。本发明算法充分考虑到熵的特性，采用混合比例的负熵对Gibbs能量函数进行惩罚。根据信息论，熵定义为：

其反映属性π所包含的信息量多少。优化后的能量函数如下式:

优化后的分割能量函数不仅能将多余的高斯分量消除掉，而且尽可能地保留图像的细节信息，提高图像的分割精度。其中ρ为惩罚因子，在本算法实验中取ρ＝5。

执行步骤120，改进GrabCut算法。

执行步骤130，得到最终图像。

实施例二

如图2所示，实施例1中的改进GrabCut算法的步骤如下：

执行步骤200，对图像进行预处理。输入图像I，对于I进行二次分水岭预分割，将得到的小区域的颜色均值当作像素的节点来做后续处理。

执行步骤210，对图像进行初始化。

执行步骤220，进行迭代最小化。

执行步骤230，目标输出。得到新的a＝0，a＝1像素集，将a＝1的图像像素输出，实现前景目标输出。

实施例三

如图3所示，实施例2中的对图像进行初始化的步骤如下：

执行步骤300，非完全编号，用户通过设定背景T_B将三元图T转化为二元标号问题。用户初始交互只需要确定T_B，将前景置空，即T_U取背景的补集，即

执行步骤310，对所有背景像素，将它们的透明度a置为0，即a＝0；对于未知区域T_U，令a＝1。

执行步骤320，对于a＝0和a＝1两个集合，用k-means聚类方法来初始化前景、背景的GMM，获得GMM参数(π_k，u_k，Σ_k)的初值。

实施例四

如图4所示，实施例2中的进行迭代最小化的步骤如下：

执行步骤400，求出每个像素x_n所对应的GMM参数k_n，

执行步骤410，将每个像素a标记进行优化，即更新判断每个像素是属于前景或者背景区域。

a＝argmin_aE(a，m，θ，x，H)

执行步骤420，由图像的节点求得GMMθ:θ＝argmin_θU(a，m，θ，x)，获得GMM参数(π_k，u_k，Σ_k)的估计值。此过程不仅获得节点到前景和背景的距离D，同时计算出混合比例的熵惩罚H(π)

执行步骤430，在通过最大期望(Expectation Maximum，EM)算法估计各个像素的GMM所得到的数据项U(α，m，θ，x)及经过熵惩罚处理得到的索引号后，再对其按照平滑项部分进行约束，获得能量E(α，m，θ，x，H)。

执行步骤440，对T_U构造s-t网络图，用最大流最小割算法来得到初始分割:

执行步骤450，判断是否已经收敛。如果尚未收敛，则返回步骤400，重新执行步骤流程。如果已经收敛，则执行步骤460，执行边界优化。

实施例五

如图5、5a、5b所示，使用多尺度分水岭对梯度图像进行预分割，并且除去噪声；用形态学中的闭开运算对梯度图像进行平滑；以新梯度图像中的一组新的极小值为起点再次进行淹没过程，从而得到各个谷底之间的分水岭，最终获得改进的二次分水岭的分割结果。

如图5所示，输入图像camera的大小为379×374，像素节点为141476。如图5a所示，进行一次分水岭处理后把图像分成了166个区域。如图5b所示，进行二次分水岭处理后把图像分成62个区域，将62个区域看作62个输入点，大大减少了图像的节点数目，降低了后面的计算量。由于分水岭算法对微弱边缘具有良好的响应，因此边缘封闭连续性得到保证。改进的二次分水岭算法不仅尽可能地保持图像边缘，而且可以提高运行效率

分水岭算法的浸水-淹没过程。分水岭分割方法，是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。分水岭的概念和形成可以通过模拟浸入过程来说明。在每一个局部极小值表面，刺穿一个小孔，然后把整个模型慢慢浸入水中，随着浸入的加深，每一个局部极小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑大坝，即形成分水岭。

实施例六

如图6、6a、6b所示，把原图使用WGC算法进行切割，步骤如下：1、选定提取目标；2、分水岭预分割；3、提取前景，选择背景；4、GrabCut图像分割。

可以看到的是，使用WGC算法得到的图像与使用本申请的算法得到的图像相比较，前者没有考虑纹理信息和尺度信息，细节分割效果不好，体现在耳朵和马掌处。

为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本发明的方法、装置和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种基于GrabCut改进的图像分割方法，包括以下步骤：

步骤1：多尺度分水岭预分割；

步骤2：优化能量函数；

步骤3：改进GrabCut算法。

2.如权利要求1所述的基于GrabCut改进的图像分割方法，其特征在于：使用基于多尺度形态梯度算子的分水岭算法对图像进行预处理。

3.如权利要求2所述的基于GrabCut改进的图像分割方法，其特征在于：所述多尺度形态梯度算子定义如下式所示：

其中B_i(0≤i≤n)为一组正方形的结构元素，B_i的大小为i×i的像素。

4.如权利要求2所述的基于GrabCut改进的图像分割方法，其特征在于：使用所述多尺度分水岭对梯度图像进行预分割，并除去噪声。

5.如权利要求4所述的基于GrabCut改进的图像分割方法，其特征在于：用形态学中的闭开运算对所述梯度图像进行平滑处理。

6.如权利要求5所述的基于GrabCut改进的图像分割方法，其特征在于：以新梯度图像中的一组新的极小值为起点再次预分割，进行淹没过程，从而得到各个谷底之间的分水岭，最终获得改进的二次分水岭的分割结果。

7.如权利要求1所述的基于GrabCut改进的图像分割方法，其特征在于：输入图像x＝(x₁，…，x_n，…，x_N)，x_i(1，2，…，N)的维数为d，采用GMM描述前景与背景像素的分布情况。

8.如权利要求7所述的基于GrabCut改进的图像分割方法，其特征在于：每个像素点由K个GMM的混合特征表示m＝(k₁，…，k_n，…，k_N)，且k_n∈<1，2，…，K>；a_n表示像素点的透明度，a_n＝0表示背景，a_n＝1表示前景。

$p_k(x_i,\mathrm{\&theta;})=\frac{\exp <-\frac{1}{2}{(x_i-u_k)}^T{\mathrm{\&Sigma;}}_k^{-1}(x_i-u_k)>}{{\left(2\mathrm{\&pi;}\right)}^{\frac{d}{2}}|{\mathrm{\&Sigma;}}_k{|}^{\frac{1}{2}}}$

其中x_i是在第k类高斯分布下的密度函数。

$p(x_i/a_n,\mathrm{\&theta;})=\underset{k=1}{\overset{K}{\&Sigma;}}{\mathrm{\&pi;}}_k{p}_k(x_i,\mathrm{\&theta;})$

其中：θ＝<π_k，u_k，Σ_k>为模型参数，π_k为混合比例参数，u_k为各个高斯概率分布的均值，Σ_k为协方差。

9.如权利要求8所述的基于GrabCut改进的图像分割方法，其特征在于：最大混合负对数似然估计如下式：

$L\left(x\right)=-log\underset{i=1}{\overset{N}{\mathrm{\&Pi;}}}\underset{k=1}{\overset{K}{\&Sigma;}}{\mathrm{\&pi;}}_k{P}_k(x_i,\mathrm{\&theta;})=-\underset{i=1}{\overset{N}{\&Sigma;}}log\&lsqb;\underset{k=1}{\overset{K}{\&Sigma;}}{\mathrm{\&pi;}}_k{P}_k(x_i,\mathrm{\&theta;})\&rsqb;$

原GrabCut中Gibbs能量函数如下式：

E(a，m，θ，x)＝U(a，m，θ，x)+V(a，x)

＝∑_nD(a_n，k_n，θ，x_n)+V(a，x)

其中：U(a，m，θ，x)表示数据项，V(a，x)表示平滑项。由上述两式可得到；

$\begin{array}{c}D\left(a_n,k_n,\mathrm{\&theta;},x_n\right)=-\log \&lsqb;{\mathrm{\&pi;}}_k{p}_k\left(x_n,\mathrm{\&theta;}\right)\&rsqb;\\ =-{\mathrm{log\&pi;}}_k-{\mathrm{logP}}_k\left(x_n,\mathrm{\&theta;}\right)\\ =-{\mathrm{log\&pi;}}_k+\frac{1}{2}\log \det \mathrm{\&Sigma;}\left(a_n,k_n\right)\\ +\frac{1}{2}{\&lsqb;x_n-u\left(a_n,k_n\right)\&rsqb;}^T\mathrm{\&Sigma;}{\left(a_n,k_n\right)}^{-1}\&lsqb;x_n\\ -u\left(a_n,k_n\right)\&rsqb;\end{array}$

最后对GMM参数进行更新，得到：

θ＝argminU(a，m，θ，x)

V(a，x)＝γ∑_(m，n)∈c[a_m≠a_n]exp(-β||x_m-x_n||²)

其中：γ＝50；c是相邻像素点对的集合；[·]是取值为0或1的函数，当a_m≠a_n时，[a_m≠a_n]＝1；当且仅当a_m＝a_n时，[a_m≠a_n]＝0。β＝(2＜||x_m-x_n||²＞)^-1，<·>表示样本的数学期望。

10.如权利要求9所述的基于GrabCut改进的图像分割方法，其特征在于：采用混合比例的负熵对所述Gibbs能量函数进行惩罚。