CN110930413A

CN110930413A - 一种基于弱监督多核分类优化合并的图像分割方法

Info

Publication number: CN110930413A
Application number: CN201910741976.7A
Authority: CN
Inventors: 司马海峰; 杨合超; 米爱中
Original assignee: Henan University of Technology
Current assignee: Henan University of Technology
Priority date: 2019-08-13
Filing date: 2019-08-13
Publication date: 2020-03-27

Abstract

本发明公开了一种基于弱监督多核学习分类的图像分割算法。方法包括：1使用不同尺度的超像素计算策略提取多层超像素用于特征计算；2通过对超像素平均特征，多尺度纹理和对象性等中层视觉特征进行计算；3利用多核学习策略，将三个混合特征被映射到具有多个内核的高维空间，在平面空间选取若干标记像素以训练支持向量机（SVM）并进行像素分类预测得到初步划分结果；4，在像素预测的基础上对均值漂移预分割结果的进行优化合并得到分割结果。对Berkeley分割数据集和进行了充分的实验，证明该发明具有较好的分割性能。

Description

一种基于弱监督多核分类优化合并的图像分割方法

技术领域

本发明涉及图像信息处理技术领域，尤其涉及多核SVM分类优化合并的图像分割计算方法。

背景技术

图像分割技术的主要难点仍在于语义鸿沟未能解决，其瓶颈就在于分割任务缺乏对先验知识的学习与应用，为了解决这一问题，很多研究都在发掘和融合知识表示或监督学习来指导图像分割技术向前发展，以求得到更加精准的分割结果。如何利用弱监督的标注数据来学习成为了语义分割一大挑战。图像内容是复杂、多样和不确定的，其中蕴含的模式和内容的难以预测，大部分图像会表现出多语义区域，且这些区域具有不同的形状和尺度，如何对其内容进行高效的表示，需要设计合理、可靠、高辨识度的多尺度特征。

超像素分割作为中层视觉信息的获取手段已经得到了普遍关注，并且产生了一系列分割策略及评价准则。超像素算法提取了图像中符合认知规律的同质区域，聚集了像素的群体特征，为进一步的图像分析和理解提供了更丰富的信息与知识。除此之外，分割任务逐渐向多层特征融合倾斜，更多有效的特征融合可以改进分割的性能。多核学习（MKL）能够自然地实现这些信息的融合，当每个基核对应不同的信息源时，如颜色，纹理，边缘等。MKL可看作是介于特征层融合与决策层融合之间的一种信息融合方式。

发明内容

本发明希望利用单幅图像少量标记信息进行多核学习分类指导分割的框架，在图像层面上选取部分标记样本，在中层视觉特征空间定义混合特征用于多核学习，并训练SVM分类器得到快速的全景分类结果，并通过该像素分类结果优化超像素合并得到图像的最终分割结果。目的在于利用多核学习的分类结果指导分割，提高分割结果的准确程度。

为了实现上述目的，本发明采用的技术方案包括以下步骤：

步骤一、输入待分割的图像I，利用均值漂移，图割，熵率提取三个超像素的集合sup_MS,sup_NNG...sup_ER，并选择规范的参数以获取三种不同尺度的结果，见图2

步骤二、利用三组超像素集合sup_MS,sup_NNG...sup_ER分别计算区域的颜色均值描述同质属性： Mean^MS,Mean^NNG,Mean^ER,将三类特征求均值作为第一类颜色均值特征

计算图像I本地模式类图Jmap，通过对图像进行颜色量化降低复杂度，用分裂算法确定图像的类数,最后用算法完成量化，不同同尺度的窗口和量化颜色数量带来不同纹理结构颜色的数量越大纹理模板尺度越小，计算出得纹理越细致，不便于提取大尺度纹理区域，反之，颜色的数量少模板尺度大会将同质纹理进行平滑，则会丢失小尺度纹理区域，采用颜色量化 (5,10,15)分别和类图模板尺度(1,5,10)相结合，得到三个尺度纹理能量图，作为图像的纹理分量特征T^I。

本发明依靠可能包含目标对象的矩形窗口的分值计算像素的对象性，目的是发现每个像素的类属关系，窗口分值的计算分别窗口内部颜色对比(CC)，边缘密度(ED)，超像素交叉(SS)的后验概率得到。

计算对象性的窗口选择分为两部分，一部分是经过coco数据集训练学习得到默认的窗口分布W_{default}，第二部分采用分割结果对候选窗口进行估计，由于分割的任意性，完整目标通常包含多个超像素。那么，任意两个超像素的外接矩形(非包含关系)组成的外接矩形包含目标的可能性很大。因此我们将所有可能的组合作为候选窗口W_{seg}估算分值，作为 Objectness。并将两类objectness合并作为目标特征。

对图像中的所有候选窗口内的颜色对比(CC)，边缘密度(ED)，超像素交叉(SS)分值进行估计，将各个窗口的分数求得到每个像素点的目标性值：

为了进一步加强对象性对于分类的优化，采取对象性平滑操作，将区域超像素均值作为每个内部像素的对象性数值：

将图像划分为K晶格，使晶格邻域之间的距离都近似等于k＝N/K，其中N是图像中的像素个数，这样选取的样本分布较为平均，每个晶格中选取一个标记像素作为训练样本，为分类器训练提供图像完整分类的依据。

将三类特征Mean^I,T,^I O^I利用多核组合融入SVM的训练算法中，产生的分类决策函数具有更强的可靠性，其中核函数选择被验证有很好的提升分类效果的RBF核，

K(yi,yj)＝<Φ(yi),Φ(yj)>＝exp(-||yi-yj||²/2σ²)

SVM的多类划分问题可以用一下优化问题来表示，

SVM最优化求解通过计算拉格朗日方程计算相应参数，

根据参数计算出来的分类规则公式，将图像的每个像素的特征值带入公式得到类标签L，

SVM预测的像素标签是离散的标记结果，不是理想的区域分割结果。本节将利用该结果对区域分割进行优化合并。

当选择适当参数，均值漂移在区域分割的细节和区域完整性上有良好的表现，因此利用MKL分类对I^MS进行合并。统计区域Ri∈I^MS内部标记L的数量，将最大数量标记l _max作为区域的类标号,得到最终的图像分割结果。

附图说明

图1本发明分割方法的流程图，

图2本发明实验中颜色平均特征计算，

(a)ER分割结果；(b)MS分割结果，(c)NNG分割结果图像，

(d)ER颜色平均特征，(e)MS颜色平均特征，(f)NNG颜色平均特征，

图3本发明实验中纹理特征计算结果（多尺度类模板和颜色量化数值），

(a)（S=1,C=5），(b)（S=5,C=10），(c)（S=10,C=15），

图4本发明实验中对象性计算过程，

(a) 输入图像(b)随机窗口选择图示； (c)分割区域外接窗口选择图示，

(d) 随机窗口对象性估计； (e)分割区域外接窗口对象性估计，

(f)随机窗口区域对象性计算； (g)分割区域外接窗口区域对象性计算，

(h)对象性合并计算结果，

图5本发明实验中部分Berkeley图像的分割结果，

图6选取Berkeley库中图像#24036采取不同方法分割结果对比，

(a)待分割彩色图像；(b)MS分割结果图像；(c)FH分割结果图像，

(d)JSEG分割结果图像；(e)CTM 分割结果图像；(f) SAS分割结果图像，

(g) G-graph 分割结果图像；(h)R-graph分割结果图像；(i)本发明方法分割结果图像，

图7选取Berkeley库中图像#118020采取不同方法分割结果对比，

(a)待分割彩色图像；(b)MS分割结果图像；(c)FH分割结果图像，

图8选取Berkeley库中图像#97033采取不同方法分割结果对比，

(a)待分割彩色图像；(b)MS分割结果图像；(c)FH分割结果图像，

图9选取Berkeley库中图像#48055采取不同方法分割结果对比，

(a)待分割彩色图像；(b)MS分割结果图像；(c)FH分割结果图像，

(g) G-graph 分割结果图像；(h)R-graph分割结果图像；(i)本发明方法分割结果图像。

具体实施方式

下面结合附图说明具体实施方案进行详细说明，

参见图1，本发明基于弱监督多核分类的图像分割方法包括以下步骤，

1、输入待处理的RGB彩色图像，

2、初始化MS,NNG和MS参数的超像素参数，计算超像素，并提取每个超像素块像素点的颜色均值，

3、根据三种类图模板和颜色数量计算多尺度纹理图，

4、根据MS和NNG分割结果估计候选窗口，并联合随机窗口计算窗口对象性和MS分割结果计算区域对象性，

5、在图像中平均晶格选择（400像素）样本，并将颜色均值特征，纹理特征和对象性特征和类标记结果投入多核学习SVM，训练分类规则，

6、根据分类规则对输入图像所有像素进行分类，

7、根据分类结果L对MS分割结果进行优化合并得到分割结果，颜色和空间带宽分别为12和10。

下面结合仿真图对本发明的效果做进一步描述。

1、实验条件

计算机Intel Corei53.0GHZ CPU,8G内存，在MATLAB2014a软件下进行。

2、实验内容

选择Berkeley分割库中的图像进行实验，并进行准确率指标评价。评价指标包括：PRI(概率随机指数)，VOI (信息变化指数)，GCE (全局一致性误差)，BDE (边界偏移误差)。

PRI值越大表示算法分割的结果与真实的分割结果越接近，分割的结果越好。

VoI指的是一个聚类与另一个聚类之间的信息量差异，用互信息和熵来估算两个聚类之间的距离，VOI值越小表示两个分割结果越相近，分割结果越好。

GCE是度量不同分割之间一致性，检测分割结果的区域是另一个结果的程度，GCE的值越小，证明误差越小，分割结果越理想。

BDE是对算法分割结果与真实分割结果边缘像素之间的平均距离进行度量，值越小，证明误差越小。

3.实验效果分析

通过对比8种分割方法在Berkeley库上的分割结果，可以看出本发明在分割精度上取得很好的效果。

如图5所示，通过对弱标记复合特征（图2,3,4）学习获取的分类指导区域合并的分割结果，能够准确的提取完整目标物体。

如图6，7，8，9所示，我们选择了数据库中4幅图像进行了视觉效果对比，从整体上看我们的分割结果相对完整，在局部视觉区域一致性上有更好的表现，例如像#48055，#118020，对目标整体轮廓以及其他背景区域的分割都相对完整。对于相对目标区域多，交叉混合区域的复杂图像，局部一致性也相对更强，如图#24036和#97033。

表1八种对比算法分割在Berkeley数据库上的性能对比

	MS	FH	JSEG	CTM	SAS	GL-graph	R-graph	Ours
									PRI	0.7958	0.7139	0.7756	0.7263	0.8319	0.8384	0.7470	0.8453
VOI	1.9725	3.3949	2.3217	2.1010	1.6849	1.8010	3.4467	1.5473
									GCE	0.1888	0.1746	0.1989	0.2071	0.1779	0.1934	0.1342	0.1720
BDE	14.41	16.67	14.40	9.42	11.29	10.66	14.09	10.3343

通过表1对八种分割算法的指标对比，能够看出本发明算法要明显优于其它几种优秀的分割方法。从图6-9可以观察到MS算法在颜色平滑区域表现良好，但是分割性能过分依赖于颜色和空间带宽参数设定，大量图像的适用能力较差。FH在整体类确定情况下能够很好处理整体区域，但是细节紊乱。JSEG的分割结果对纹理区域的识别具有较好的特异性和正确性，但整体性能欠佳，容易产生过分割区域或欠分割区域。对低对比度、小区域和窄区域进行分割比较困难。CTM通常和JSEG类似，但是该方法计算纹理相当耗时。B-graph和GL-graph在同质区域分割方面优于其他方法，但在复杂区域不能很好地工作。R-graph对于预先设定 graph-partition参数依赖较大，固定类数量不适用于大量图像的分割。实验结果表明，本发明技术能得到更优秀的分割结果。

Claims

1.一种基于弱监督多核分类优化合并的图像分割方法，其特征在于，包括以下步骤:

1)根据图像颜色、区域大小的适用性的不同，选取图割，均值漂移，熵率分割等不同超像素计算策略，以提高同质区域的完备程度；

2)计算超像素颜色空间平均特征，多尺度J-map纹理和区域对象性(objectness)等中层视觉特征，用于多核空间学习得到相应的分类结果；

3)利用多核学习策略，将三个混合特征被映射到具有多个内核的高维空间，在图像平面空间选取若干标记像素以训练支持向量机(SVM)并进行像素分类得到初步预测结果；

4)在像素预测的基础上对均值漂移预超像素进行优化合并得到分割结果；

2.根据权利要求1所述的一种于弱监督多核分类的图像分割方法,其特征在于,所述的步骤1)中的超像素计算策略，进一步包括：

1)图割超像素模型采用一种自上而下的全局聚类分割方法，它将图像中所有像素视为无向加权图的节点，连接图节点之间的边依靠像素的相邻关系来构建，所有边的权重通过像素在特征空间的相似性来分配，对图上的节点进行近邻聚类来实现，目标是使同一区域内的元素尽可能相似，不同区域的元素尽可能不相似，且生成的超像素就是相似像素集合组成的最小生成树；

2)均值漂移计算方法是对图像光谱和位置信息进行同质估计能实现较好的区域平滑，该方法是一种基于滑动窗口的密度估计进行聚类的方法，向相同特征密集的地方漂移，经过迭代之后会停止在峰值，所有收敛到数据峰值的像素都被标记形成分割区域；在经过不同的特征窗口漂移过程，可以得到相应特征和空间解析度下的超像素分割结果

3)熵率超像素是基于图划分的计算策略，图像中所有像素视为节点V，相邻节点有边，其目标就是找到一个边的集合A，满足使得最终结果图G(V,A)由K个连通的子图组成，

使用连通子图上随机游走的熵率作为获取紧凑且同质的超像素块的标准，熵率的一个性质就是它能体现结构内部的紧凑性，也叫相似性，即越紧凑，距离越近，相似性越大的结构，具有越高的熵率值。

3.根据权利要求1所述的一种于弱监督多核分类的图像分割方法,其特征在于,所述的步骤2)中的中层特征计算策略，进一步包括：

1)计算颜色空间平均特征Mean，首先对超像素中N个计算平均值作为内部每个超像素的值，计算方法见公式(1)