CN106952271A - 一种基于超像素分割和em/mpm处理的图像分割方法 - Google Patents

Abstract

本发明涉及一种基于超像素分割和EM/MPM处理的图像分割方法，利用SLIC超像素分割算法，在线性时间内构造出图像的预分割模型，然后利用对原图像的采样，为每个超像素创建灰度值，构造出超像素插值图像，在超像素插值图像的基础上，利用最大期望值/最大边缘概率(EM/MPM)完成最后的图像分割。优越性：能够在传统图像分割方法上，利用超像素分割对图像的预分割，提高分割区域的准确度，让分割区域鲁棒的正确的表示图像的一个部分，极大的降低分割区域中误分割部分，提高图像分割的准确度，为下一步的语义分割和目标提取提供更好的中间信息。

Description

一种基于超像素分割和EM/MPM处理的图像分割方法

技术领域

本发明属于计算机图像分割、目标提取等领域，涉及一种基于超像素分割(superpixel segmentation)和EM/MPM(最大期望值/最大边缘概率)处理的图像分割方法。

背景技术

图像分割指的是根据灰度、颜色、纹理和形状等特征把图像划分成若干互不交迭的区域，并使这些特征在同一区域内呈现出相似性，而在不同区域间呈现出明显的差异性。目前传统的图像分割方法主要有以下几种：

1、基于阈值的分割方法

阈值法的基本思想是基于图像的灰度特征来计算一个或多个灰度阈值，并将图像中每个像素的灰度值与阈值相比较，最后将像素根据比较结果分到合适的类别中。

2、基于边缘的分割方法

所谓边缘是指图像中两个不同区域的边界线上连续的像素点的集合，是图像局部特征不连续性的反映，体现了灰度、颜色、纹理等图像特性的突变。通常情况下，基于边缘的分割方法指的是基于灰度值的边缘检测，它是建立在边缘灰度值会呈现出阶跃型或屋顶型变化这一观测基础上的方法。

3、基于区域的分割方法

此类方法是将图像按照相似性准则分成不同的区域，主要包括种子区域生长法、区域分裂合并法和分水岭法等几种类型。

种子区域生长法是从一组代表不同生长区域的种子像素开始，接下来将种子像素邻域里符合条件的像素合并到种子像素所代表的生长区域中，并将新添加的像素作为新的种子像素继续合并过程，直到找不到符合条件的新像素为止。该方法的关键是选择合适的初始种子像素以及合理的生长准则。

区域分裂合并法(Gonzalez，2002)的基本思想是首先将图像任意分成若干互不相交的区域，然后再按照相关准则对这些区域进行分裂或者合并从而完成分割任务，该方法既适用于灰度图像分割也适用于纹理图像分割。

4、基于图论的分割方法

此类方法把图像分割问题与图的最小割(min cut)问题相关联。首先将图像映射为带权无向图G＝＜V，E＞，图中每个节点N∈V对应于图像中的每个像素，每条边E连接着一对相邻的像素，边的权值表示了相邻像素之间在灰度、颜色或纹理方面的非负相似度。而对图像的一个分割s就是对图的一个剪切，被分割的每个区域C∈S对应着图中的一个子图。而分割的最优原则就是使划分后的子图在内部保持相似度最大，而子图之间的相似度保持最小。基于图论的分割方法的本质就是移除特定的边，将图划分为若干子图从而实现分割。目前所了解到的基于图论的方法有GraphCut，GrabCut和Random Walk等。

目前对图像的处理大多以像素为单位，用二维矩阵来表示一张图像，并未考虑像素之间的空间组织关系，这使得算法处理效率过低。03年超像素被提出，所谓超像素，是指具有相似纹理、颜色、亮度等特征的相邻像素构成的图像块。它利用像素之间特征的相似程度将像素分组，可以获取图像的冗余信息，在很大程度上降低了后续图像处理任务的复杂度。

传统的图像分割算法(例如：聚类，EM，MPM算法等)即便是通过不同的参数设定，去噪等处理依然无法更好的优化误分割问题。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于超像素分割和EM/MPM处理的图像分割方法，通过利用SLIC超像素预处理方法，可以大量获得代表某一区域的超像素，然后利用EM/MPM图像分割技术，在仅仅只增加线性时间O(n)的基础上，得到更好的图像分割效果。

技术方案

一种基于超像素分割和EM/MPM处理的图像分割方法，其特征在于步骤如下：

步骤1、RGB图像转换成LAB图像：

1、首先将RGB图像转换为XYZ：

XYZ空间转换结果：

其中：

2、XYZ空间转LAB空间：

L＝116f(Y/Y_n)-16

A＝500[f(X/X_n)-f(Y/Y_n)]

B＝200[f(Y/Y_n)-f(Z/Z_n)]

步骤2、SLIC超像素分割：采用SLIC超像素分割算法构建原图像的超像素模型，参数选择如下：

1、设置超像素区域大小和正则化参数，令超像素的区域大小为20，最小超像素区域大小为9正则化参数为0.01，则图像被分割成满足正则化0.01的255个超像素；

2、在种子点的5×5邻域内重新选择种子点：计算该邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方；

3、在每个种子点周围的邻域内为每个像素点分配类标签，即属于哪个聚类中心，同时将SLIC的搜索范围限制为5×5；

4、对于每个搜索到的像素点，分别计算它和该种子点的距离：

其中，d_c代表颜色距离，d_s代表空间距离，N_s是类内最大空间距离，定义为适用于每个聚类。取最小值对应的种子点作为该像素点的聚类中心；

5、采用10次迭代进行优化；

6、增强连通性：新建一张标记表，表内元素均为-1，按照“Z”型走向将不连续的超像素、将尺寸小于5×5超像素重新分配给邻近的超像素，遍历过的像素点分配给相应的标签，直到所有点遍历完毕为止；

步骤3、超像素图像灰度插值：原图像I在像素(x,y)的灰度值为I(x,y)，原图像生成超像素标记集为Γ＝{l₁,l₂,...,l_M}，表示原图一共生成了l_M个超像素。集合I_Superpixel(x,y)＝P/|κ|表示对应于超像素标记l_i的原图像像素集合；

令

超像素灰度值插值图像为：

I_Superpixel(x,y)＝P/|κ|；

步骤4：利用EM算法估计模型参数以及利用MPM算法得到最优分割。

所述步骤4利用EM算法估计模型参数以及利用MPM算法得到最优分割时，将分割区域region设置为6，分割过程总迭代次数设置为5次，最大冷却率为1.2，单步冷却率增量为0.025。

有益效果

本发明提出的一种基于超像素分割和EM/MPM处理的图像分割方法，利用SLIC超像素分割算法，在线性时间内构造出图像的预分割模型，然后利用对原图像的采样，为每个超像素创建灰度值，构造出超像素插值图像，在超像素插值图像的基础上，利用最大期望值/最大边缘概率(EM/MPM)完成最后的图像分割。优越性：能够在传统图像分割方法上，利用超像素分割对图像的预分割，提高分割区域的准确度，让分割区域鲁棒的正确的表示图像的一个部分，极大的降低分割区域中误分割部分，提高图像分割的准确度，为下一步的语义分割和目标提取提供更好的中间信息。

附图说明

图1：本发明方法的流程图

图2：色彩空间变换图

图3：EM/MPM算法流程

图4：图像分割效果

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：Inter(R)Core(TM)i3-4160 CPU@3.60GHz 3.60GHz 8GBRAM，运行的软件条件是：Matlab2015b和windows7 64bit。我们调用了VLFeat库Copyright(C)2007-11,Andrea Vedaldi and Brian Fulkerson，Copyright(C)2012-13,The VLFeatTeam。采用了具有天空、房屋、玻璃门和窗户的RGB图像作为实验对象，图像分辨率为：320×320。

本发明具体实施步骤如下：

步骤1：色彩空间转化

由于RGB图像无法直接转换成LAB图像，首先将RGB转换XYZ然后转换LAB。

(1)RGB空间转XYZ空间

其中

XYZ空间转换结果：

(2)XYZ空间转LAB空间

L＝116f(Y/Y_n)-16

A＝500[f(X/X_n)-f(Y/Y_n)]

B＝200[f(Y/Y_n)-f(Z/Z_n)]

将原图像的RGB色彩空间转换成LAB色彩空间，与空间坐标(x,y)一起构建五维向量，作为超像素分割的第一步。Lab色彩模型是由亮度(L)和有关色彩的a，b三个要素组成。L表示亮度(Luminosity)，L的值域由0(黑色)到100(白色)。a表示从洋红色至绿色的范围(a为负值指示绿色而正值指示品红)，b表示从黄色至蓝色的范围(b为负值指示蓝色而正值指示黄色)。Lab颜色空间的优点：

1)不像RGB和CMYK色彩空间，Lab颜色被设计来接近人类生理视觉。它致力于感知均匀性，它的L分量密切匹配人类亮度感知。因此可以被用来通过修改a和b分量的输出色阶来做精确的颜色平衡，或使用L分量来调整亮度对比。这些变换在RGB或CMYK中是困难或不可能的。

2)因为Lab描述的是颜色的显示方式，而不是设备(如显示器、打印机或数码相机)生成颜色所需的特定色料的数量，所以Lab被视为与设备无关的颜色模型。

3)色域宽阔。它不仅包含了RGB，CMYK的所有色域，还能表现它们不能表现的色彩。

步骤2：SLIC超像素分割

利用SLIC(简单的线性迭代器)超像素分割算法构建原图像的超像素模型，SLIC是2010年提出的一种思想简单、实现方便的算法，将彩色图像转化为CIELAB颜色空间和XY坐标下的5维特征向量，然后对5维特征向量构造距离度量标准，对图像像素进行局部聚类的过程。SLIC算法能生成紧凑、近似均匀的超像素，在运算速度，物体轮廓保持、超像素形状方面具有较高的综合评价，比较符合人们期望的分割效果。

本方案实施步骤，参数选择如下：

1、初始化种子点(聚类中心)：按照设定的超像素个数，在图像内均匀的分配种子点。假设图片总共有N个像素点，预分割为K个相同尺寸的超像素，那么每个超像素的大小为N/K，则相邻种子点的距离(步长)近似为

设置超像素区域大小和正则化参数，令超像素的区域大小(Region Size)为20，最小超像素区域(min Region Size)大小为9正则化参数为0.01，此时图像被分割成满足正则化0.01的255个超像素。

2、在种子点的5×5邻域内重新选择种子点。具体方法为：计算该邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方。这样做的目的是为了避免种子点落在梯度较大的轮廓边界上，以免影响后续聚类效果。

3、在每个种子点周围的邻域内为每个像素点分配类标签(即属于哪个聚类中心)。和标准的k-means在整张图中搜索不同，SLIC的搜索范围限制为10×10，可以加速算法收敛，如下图。在此注意一点：期望的超像素尺寸为5×5，但是搜索的范围是10×10。

4.距离度量。包括颜色距离和空间距离。对于每个搜索到的像素点，分别计算它和该种子点的距离。距离计算方法如下：

其中，d_c代表颜色距离，d_s代表空间距离，N_s是类内最大空间距离，定义为适用于每个聚类。最大的颜色距离N_c既随图片不同而不同，也随聚类不同而不同，所以我们取一个固定常数m(取值范围[1,40],一般取10)代替。最终的距离度量D′如下：

由于每个像素点都会被多个种子点搜索到，所以每个像素点都会有一个与周围种子点的距离，取最小值对应的种子点作为该像素点的聚类中心。

5.迭代优化。理论上上述步骤不断迭代直到误差收敛(可以理解为每个像素点聚类中心不再发生变化为止)，实践发现10次迭代对绝大部分图片都可以得到较理想效果，所以一般迭代次数取10。

6.增强连通性。经过上述迭代优化可能出现以下瑕疵：出现多连通情况、超像素尺寸过小，单个超像素被切割成多个不连续超像素等，这些情况可以通过增强连通性解决。主要思路是：新建一张标记表，表内元素均为-1，按照“Z”型走向(从左到右，从上到下顺序)将不连续的超像素、尺寸过小超像素重新分配给邻近的超像素，遍历过的像素点分配给相应的标签，直到所有点遍历完毕为止。所述超像素尺寸过小为5×5。

步骤3超像素图像灰度插值，原图像I在像素(x,y)的灰度值为I(x,y)，原图像生成超像素标记集为Γ＝{l₁,l₂,...,l_M}，表示原图一共生成了l_M个超像素。集合I_Superpixel(x,y)＝P/|κ|表示对应于超像素标记l_i的原图像像素集合

令

超像素灰度值插值图像为：

I_Superpixel(x,y)＝P/|κ|

步骤4EM/MPM对超像素灰度插值图像进行分割：

最大后验概率(Maximum A Posterior，MAP)算法通常用于获取图像模型参数估计和图像最优分割。但在大多数情况下，MAP算法在计算上是难以实现的，并且MAP算法需要给出模型参数的先验分布规律。EM/MPM算法的目的在于最小化误分割像素数的期望值，等价于最大化类别标号的边缘概率。EM/MPM算法的实现包括：利用EM算法估计模型参数以及利用MPM算法得到最优分割。为了解决材料图像模型参数估计以及获取最佳分割的优化准则中存在的以上问题，我们将EM/MPM算法应用到基于区域的统计图像分割方法中，其中MPM算法用于图像分割，EM算法用于分布参数估计。

MPM分割算法假定参数集(μ,Σ)已知，其基本思想在于将图像分割问题表达为优化问题，其中的优化准则为最小化误分割像素数的期望值。最小化该期望值等价于对所有标号l∈{1,...,k}以及所有像素标号L_i(i＝1,...,n)使得p(L_i＝l；Z＝z)最大。为了实现标号场L的MPM估计，需要对每一个像素i找到一个i值，使得如下边缘概率最大

式中，Ω_l,i＝{l|L_i＝l}为标号场L的实现，即所有像素标号组成的标号的集合，而l∈{1,...,k}。为了实现M-H采样，必须对参数(μ,Σ)进行估计。采用EM算法估计该参数。EM算法通过迭代过程近似得到最大似然概率(ML)估计值。每次迭代分两步完成ML估计：计算期望值和最大化期望值。设μ(τ)和Σ(τ)为第τ次迭代时的参数(μ,Σ)估计值，则该次迭代中(μ,Σ)的期望值是：

Q(μ,∑,μ(τ-1),∑(τ-1))＝

E[logp(Z|L,μ,∑)|Z＝z,μ(τ-1),∑(τ-1)]+

E[logp(L|μ,∑)|Z＝z,μ(τ-1),∑(τ-1)]

在利用EM/MPM算法对超像素灰度插值图像进行分割的时候，将region(分割区域)设置为6，分割过程总迭代次数设置为5次(迭代次数越多分割效果越好，但消耗时间越长)，最大冷却率为1.2，单步冷却率增量为0.025，最大冷却率和单步冷却率增量控制着图像分割冷却速率，更高的冷却率能够让图像分割过程收敛，在分割初始化阶段，分割冷却率设定在一个较低值。

Claims (2)

1.一种基于超像素分割和EM/MPM处理的图像分割方法，其特征在于步骤如下：

步骤1、RGB图像转换成LAB图像：

1、首先将RGB图像转换为XYZ：

XYZ空间转换结果：

其中：

2、XYZ空间转LAB空间：

L＝116f(Y/Y_n)-16

A＝500[f(X/X_n)-f(Y/Y_n)]

B＝200[f(Y/Y_n)-f(Z/Z_n)]

步骤2、SLIC超像素分割：采用SLIC超像素分割算法构建原图像的超像素模型，参数选择如下：

1、设置超像素区域大小和正则化参数，令超像素的区域大小为20，最小超像素区域大小为9正则化参数为0.01，则图像被分割成满足正则化0.01的255个超像素；

2、在种子点的5×5邻域内重新选择种子点：计算该邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方；

3、在每个种子点周围的邻域内为每个像素点分配类标签，即属于哪个聚类中心，同时将SLIC的搜索范围限制为5×5；

4、对于每个搜索到的像素点，分别计算它和该种子点的距离：

$d_c=\sqrt{{(l_j-l_i)}^2+{(a_j-a_i)}^2+{(b_j-b_i)}^2}$

$d_s=\sqrt{{(x_j-x_i)}^2+{(y_j-y_i)}^2}$

$D^{\′}=\sqrt{{\left(\frac{d_c}{m}\right)}^2+{\left(\frac{d_s}{S}\right)}^2}$

其中，d_c代表颜色距离，d_s代表空间距离，N_s是类内最大空间距离，定义为适用于每个聚类。取最小值对应的种子点作为该像素点的聚类中心；

5、采用10次迭代进行优化；

6、增强连通性：新建一张标记表，表内元素均为-1，按照“Z”型走向将不连续的超像素、将尺寸小于5×5超像素重新分配给邻近的超像素，遍历过的像素点分配给相应的标签，直到所有点遍历完毕为止；

步骤3、超像素图像灰度插值：原图像I在像素(x,y)的灰度值为I(x,y)，原图像生成超像素标记集为Γ＝{l₁,l₂,...,l_M}，表示原图一共生成了l_M个超像素。集合I_Superpixel(x,y)＝P/|κ|表示对应于超像素标记l_i的原图像像素集合；

令

$P=\underset{(x,y)\∈\mathrm{\κ}}{\Σ}I(x,y)$

超像素灰度值插值图像为：

I_Superpixel(x,y)＝P/|κ|；

步骤4：利用EM算法估计模型参数以及利用MPM算法得到最优分割。

2.根据权利要求1所述基于超像素分割和EM/MPM处理的图像分割方法，其特征在于：所述步骤4利用EM算法估计模型参数以及利用MPM算法得到最优分割时，将分割区域region设置为6，分割过程总迭代次数设置为5次，最大冷却率为1.2，单步冷却率增量为0.025。