CN104537676B - 一种基于在线学习的渐进式图像分割方法 - Google Patents

Abstract

本发明公开了一种基于在线学习的渐进式图像分割方法，包括以下步骤：对输入图像进行多个层次的分解，得到图像的多层次表示；交互分割过程，基于用户标注，训练及更新分割模型，通过迭代循环，渐进地实现对图像的精确分割。交互分割过程中，由用户标注修正部分分割错误的区域，从用户标注中提取训练样本，并使用样本扩充策略来扩充样本；利用扩充得到的训练样本训练及更新分割模型，对输入图像进行分割预测，并在此基础上利用图割优化方法得到平滑的对象区域划分结果。

Description

一种基于在线学习的渐进式图像分割方法

技术领域

本发明涉及一种数字图像的分割方法，属于图像处理技术领域，具体地说是一种基于在线学习的渐进式图像分割方法。

背景技术

图像分割是将图像划分为多个同质区域的过程。对于许多数字图像处理任务而言，图像分割是非常重要的基础处理步骤。更进一步，将图像分割为具有语义的对象级别的同质区域集合，是一项有挑战性，但具有更重大意义的任务。

尽管已经有大量的研究者对图像的同质区域划分问题展开了研究，如文献1：Comaniciu D,Meer P.Mean shift:A robust approach toward feature space analysis[J].Pat-tern Analysis and Machine Intelligence,IEEE Transactions on,2002,24(5):603-619，文献2：Felzenszwalb P F,Huttenlocher D P.Efficient graph-basedimage segmentation[J].In-ternational Journal of Computer Vision,2004,59(2):167-181。他们利用诸如颜色、纹理等基本的局部特征，使用聚类等技巧得到对原图的区域划分。但是这些方法关注的只是局部一致性，因此通常都会导致过分割的问题，即只是将颜色或纹理类似的相邻像素划分到同一个区域，可能会将同一对象划分为多个不同的区域。

对象级的分割要求将图像中的对象作为一个整体分割出来，带语义的分割则还需要识别出不同的区域表示的是否为同一对象类别。近些年，研究者开始关注这种带语义的对象级分割问题，并提出了多种解决方案。如文献3：Shotton J,Winn J,Rother C,etal.Textonboost:Joint appearance,shape and context modeling for multi-classobject recog-nition and segmentation[M].Computer Vision–ECCV 2006.SpringerBerlin Heidelberg,2006:1-15.提出了一种有监督方法，通过在大量预先标记的图像上训练得到一个判别模型，利用该判别模型对图像进行语义分割。但是此方法需要大量预先分割标注的图像作为训练集，这也是所有有监督学习方法所面临的一个问题。同时，此类方法的用户可控性太差，分割结果完全由训练数据决定，用户难以按照自己的意愿对其进行修改。文献4：Rother C,Minka T,Blake A,et al.Cosegmentation of image pairs byhistogram matching-incorporating a global constraint into mrfs[C].ComputerVision and Pattern Rec-ognition,2006 IEEE Computer Society Conferenceon.IEEE,2006,1:993-1000.提出了一种叫做“联合分割”(co-segmentation)的图像分割方法，通过对一组图像进行联合分析，分割出图像中共有的对象类别。然而，此方法需要将所有待分割图像同时提交，且所有的图像必须包含同类对象。同时，此类方法在处理新的图像或对象类别时，难以对分割模型进行更新。文献5：Rother C,Kolmogorov V,BlakeA.Grabcut:Interactive fore-ground extraction using iterated graph cuts[J].ACMTransactions on Graphics(TOG),2004,23(3):309-314.提出了一种交互式的图像分割方法，只需要用户绘制矩形框住图像中的前景对象，便能准确的将其分割出来。但这种方法是单图像分割方法，这意味着分割多幅图像时需要用户对每幅图像进行标注，用户的工作量太大。总而言之，现有技术主要存在三个缺陷：第一，需要大量预先分割标注的图像作为训练集，或一次性提交所有的待分割图像；第二，分割模型难以累积或更新，难以处理新的图像或新的对象类别；第三，用户难以控制分割过程。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种图像分割方法，用于缓和、减轻或消除上述缺点。

为了解决上述技术问题，本发明公开了一种基于在线学习的渐进式图像分割方法，包括以下步骤：

步骤一：多层次图像分析：在多个层次上对输入图像进行分析，包括多层次图像表示和特征提取；

步骤二，图像分割：基于用户标注，训练或更新分割模型。通过迭代循环，渐进地实现对图像的对象级分割。

本发明步骤一中所述多层次图像分析包括以下步骤：

步骤11，多层次图像表示。获取输入图像细粒度的超像素层次表示和粗粒度的过分割层次表示，结合原图的像素层次表示，组成输入图像的三层表示；

步骤12，特征提取。提取图像的像素级的特征，包括：Texton纹理基元、像素位置以及颜色信息，组合成像素级特征向量；在超像素层次上，计算每个超像素内所有像素的特征向量均值，作为超像素的特征向量。

本发明步骤二中所述图像分割包括以下步骤：

步骤21，分割预测。在超像素层次进行分割预测。若分割模型已初始化，则利用分割模型计算每个超像素样本属于每一个对象类别的置信度{f(x_i,k)|1≤i≤N,1≤k≤K}，其中，x_i表示第i个超像素样本，N表示超像素总数，K表示对象类别总数，f(x_i,k)表示x_i属于第k个对象类别的置信度；若分割模型没有初始化，则将所有超像素属于每一类的置信度均设置为1；利用置信度，计算超像素分类概率；

步骤22，分割优化。在像素层进行分割优化。根据步骤21中的超像素分类概率，计算每个像素的分类概率，作为能量函数的数据项；使用图割优化算法最小化能量函数，实现分割优化，得到分割结果，即每个像素的对象类别标签L＝{l₁,l₂,...,l_V}，V表示图像中的像素总数，l_j∈[1,K]表示第j个像素的对象类别标签，j取值1～V。分割优化后，由用户交互判断分割结果是否准确，如果准确，则完成对此输入图像的分割，输出分割结果；否则，转步骤23；

步骤23，用户标注及超像素样本扩充。用户在输入图像上进行标注，修改分割错误的超像素样本的对象类别标签，基于过分割层次表示，扩充用户标记的对象类别标签，即将用户标注所在过分割区域内所有未标注的超像素样本的对象类别标签设置为用户标记的标签；

步骤24，训练或更新在线分割模型。将步骤23中得到的带标签的超像素作为训练样本，若分割模型没有初始化，则训练得到初始的在线分割模型；若分割模型已初始化，则利用训练样本对其进行更新；完成后转步骤21

步骤21中，利用置信度，计算超像素分类概率公式如下：

其中，SP(x_i,t)表示超像素x_i分割为第t个对象类别的概率，1≤t≤K，即，将超像素样本属于某一类的置信度与所有置信度之和的比值作为属于该对象类别的概率。

步骤22中，记像素p分割为第l个对象类别的概率为P(p,l)，l∈[1,K]_，其计算方法为：若用户直接标记过该像素为第l_p个对象类别，则将其属于第l_p个对象类别的概率设置为1，属于其他对象类别的概率为0，即：

否则，将其设置为步骤21中得到的像素p所在的超像素x_p分割为第l个对象类别的概率，即对P(p,l)＝SP(x_p,l)。

步骤22中，图割优化中的能量函数定义如下：

其中，λ为权重因子，取值范围0～1；Π表示输入图像的8-邻域系统中的无序像素对集合；R_p(l_p)为数据项，表示像素p与对象类别l_p的匹配程度，计算公式为：

R_p(l_p)＝-log(P(p,l_p))；

B_{p,q}为平滑项，表征像素p和像素q之间的不一致性对分割结果的影响，计算公式如下：

其中，dist(p,q)为像素p和像素q在图像中的坐标距离，I_p-I_q表示两者之间的颜色差异，σ表示Π中所有像素对之间颜色差异的标准差。

δ(l_p,l_q)为指示函数，指示像素p和像素q的对象类别l_p和l_q是否相同，定义如下：

步骤二中的分割模型为基于在线学习的判别模型。

有益效果：本发明具有以下优点：首先，本发明可以渐进地训练和更新分割模型，不需要一次性提交大量的训练数据。其次，本发明可以得到满足用户意图的多样性的分割结果。最后，随着用户分割图像的增加，本发明可以越来越准确的得到图像的分割结果，减少达到精确分割所需的用户交互量。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明的处理流程示意图。

图2a～2g是实施例的完整分割处理过程示意图。

图3a～3c是对图2a输入图像的多层次图像表示示意图。

图4a是用户在图2a输入图像上画点交互的示意图。

图4b是用户在图2a输入图像上画线交互的示意图。

图5a是在图4a中用户交互基础上进行样本扩充的示意图。

图5b是在图4b中用户交互基础上进行样本扩充的示意图。

具体实施方式：

如图1所示，本发明公开的是一种基于在线学习的渐进式图像分割方法，具体包括以下步骤：

步骤一：多层次图像分析：在多个层次上对输入图像进行分析，包括多层次图像表示和特征提取。

步骤二，图像分割：基于用户标注，训练或更新分割模型。通过迭代循环，渐进地实现对图像的对象级分割。

下面具体介绍各个步骤的主要流程：

1.多层次图像分析

多层次图像分析过程对输入图像进行多个层次的分解，保障后续图像分割的有效性和效率，包括多层次图像表示和特征提取两个步骤。

步骤11，多层次图标表示：获取输入图像细粒度的超像素层次表示和粗粒度的过分割层次表示，结合原图的像素层次表示，组成输入图像的三层表示。细粒度的超像素层次表示使用文献6：Achanta R,Shaji A,Smith K,et al.SLIC superpixels compared tostate-of-the-art superpixel methods[J].Pattern Analysis and MachineIntelligence,IEEE Transactions on,2012,34(11):2274-2282.中所述的SLIC超像素，超像素的初始大小设置为5×5像素。粗粒度的过分割层次表示使用文献2中所述的Graph-Based算法得到。

步骤12，特征提取：提取图像的多个像素级特征，组合成像素的特征向量。在超像素层次上，计算每个超像素内所有像素特征向量的均值，作为该超像素的特征向量。这里所提取的特征包括文献7：Leung T,Malik J.Representing and recognizing the visualappearance of materials using three-dimensional textons[J].InternationalJournal of Com-puter Vision,2001,43(1):29-44.中所述Texton纹理基元特征，归一化的像素位置以及CIE Lab空间上的颜色值。

2.图像分割

图像分割过程中，基于用户标注生成学习样本，用于训练或更新分割模型。通过一个迭代的过程，逐步训练使得分割模型更精确，分割得到令用户更满意的结果。包括以下步骤：

步骤21，分割预测。在超像素层次进行分割预测。若分割模型已初始化，则利用分割模型计算每个超像素样本属于每一个对象类别的置信度{f(x_i,k)|1≤i≤N,1≤k≤K}，其中，x_i表示第i个超像素，N表示超像素个数，K表示对象类别个数，f(x_i,k)表示x_i属于第k个对象类别的置信度；若分割模型没有初始化，则将所有超像素属于每一类的置信度均设置为1。利用置信度，计算超像素分类概率，计算公式如下：

其中，SP(x_i,t)表示超像素x_i分割为第t个对象类别的概率，1≤t≤K，即，将超像素样本属于某一类的置信度与所有置信度之和的比值作为属于该对象类别的概率。

步骤22，分割优化。在像素层进行分割优化，通过最小化如下能量函数实现对分割结果的优化：

其中，L＝{l₁,l₂,...,l_V}表示每个像素的对象类别标签，V表示图像中总的像素个数，l_j∈[1,K]表示第j个像素的对象类别标签，j取值1～V；λ为权重因子，取值范围0～1，可设置为0.4；Π表示输入图像的8-邻域系统中的无序像素对集合；R_p(l_p)为数据项，表示像素p与对象类别l_p的匹配程度，计算公式如下：

R_p(l_p)＝-log(P(p,l_p))，

其中，P(p,l_p)表示像素p分割为第l_p个对象类别的概率。若用户直接标记过该像素为第l_p个对象类别，则将其属于第l_p个对象类别的概率设置为1，属于其他对象类别的概率为0，即：

否则，将其设置为步骤21中得到的像素p所在的超像素x_p分割为第l个对象类别的概率，即对P(p,l)＝SP(x_p,l)；

B_{p,q}为平滑项，表征像素p和像素q之间的不一致性对分割结果的影响，计算公式如下：

其中，dist(p,q)为像素p和像素q在图像中的坐标距离，I_p-I_q表示两者之间的颜色差异，这里用CIE Lab色彩空间上两者颜色的欧氏距离表示，σ表示Π中所有像素对之间颜色差异的标准差；

δ(l_p,l_q)为指示函数，指示像素p和像素q的对象类别l_p和l_q是否相同，定义如下：

本申请使用文献8：Boykov Y, Veksler O, Zabih R. Fast approximate energymin-imization via graph cuts[J]. Pattern Analysis and Machine Intelligence,IEEE Transac-tions on, 2001, 23(11): 1222-1239. 中所述的图割优化算法最小化此能量函数，得到优化的分割结果。

分割优化后， 由用户交互判断分割结果是否准确，如果准确，则完成对此输入图像的分割，输出分割结果；否则，转步骤23。

步骤23，用户标注及超像素样本扩充。用户在输入图像上进行标注，修改分割错误的超像素样本的对象类别标签。基于过分割层次表示，扩充用户标记的对象类别标签，具体实现方法为：将用户标记所覆盖的超像素的对象类别标签直接设定为用户标记的标签；找出用户标记像素所在的过分割区域，将该区域内所有未直接标记的超像素的对象类别标签设置为该区域内已直接标记的超像素的标签；样本扩充时需要忽略跨越过分割区域边界的超像素。

步骤24，训练或更新在线分割模型。将步骤23中得到的带标签的超像素作为训练样本，若分割模型没有初始化，则训练得到初始的在线分割模型；若分割模型已初始化，则利用训练样本对其进行更新，完成后转步骤21。

本申请使用文献9：Saffari A,Godec M,Pock T,et al.Online multi-classLPBoost[C].Computer Vision and Pattern Recognition(CVPR),2010IEEE Conferenceon.IEEE,2010:3570-3577.中的OMCLPBoost在线学习算法作为分割模型。

实施例

本实施例中，如图2a所示为输入的第一幅待分割图像，图2b为用户在输入图像2a上标注的位置及对应的对象类别，不同的灰度级表示不同的对象类别。这里标注了3个对象类别，依次为树木、草地、牛。图2c为基于图2b中的用户标注，训练出初始分割模型后，对输入图像2a进行分割得到的结果，不同的灰度级表示不同的对象类别区域。图2d为输入的第二幅待分割图像，图2e为当前分割模型对输入图像2d进行分割后得到的结果。图2f为用户在图2e分割结果的上，用户对部分分割不满意的区域所做的标注修正。图2g是基于图2f中的用户标注，更新分割模型后，对输入图像2d进行分割得到的结果。由于本发明的特殊性，本实施例中的附图，需要使用灰度效果显示。本实施例中，用户标注及分割区域展示时，使用了4个灰度级，从亮到暗依次表示空白、树木、草地、牛。

具体实施过程如下：

步骤一中，对输入图像进行多层次图像分析。得到输入图像的多层次表示，如图3a为像素层表示，即为原图；图3b为细粒度超像素层次表示，图中的线条表示不同超像素区域之间的边界；图3c为粗粒度的过分割层表示，图中的曲线表示不同过分割区域之间的边界。

步骤二中，基于用户交互，对图像进行分割。首先执行分割预测和分割优化过程，本实施例中，对于第一幅输入图像2a，由于分割模型尚未初始化，故分割预测和分割优化结果无实际意义。而对于第二幅输入图像2d，执行分割预测和分割优化后，得到如图2e的分割结果。若用户对分割结果满意，则直接输出此结果；否则，用户交互修正部分不满意的区域。对于图2a的无意义的初始分割结果，用户标记修正不满意的区域，如图2b；对图2d的初始分割结果图2e，用户标记修正不满意的区域，如图2f。用户可使用的标记方式包括：画线标记，如图4a；画点标记，如图4b。图4a，图4b中的1、2、3分别表示用户标记的对象类型为树木、草地、牛。

用户标记结束后，基于过分割区域，对用户标记的样本进行扩充。如图5a为对图4a的用户标记扩充后的结果；图5b为对图4b的标记内容扩充后的结果。利用扩充后的样本，训练或更新分割模型，分割模型未初始化，则为训练分割模型，否则为更新分割模型。训练或更新分割模型后，重新对输入图像进行分割，如图2c为对图2a重新分割后的结果，图2g为对图2d重新分割后的结果。

本发明提供了一种基于在线学习的渐进式图像分割方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种基于在线学习的渐进式图像分割方法，其特征在于，包括以下步骤：

步骤一：多层次图像分析：在多个层次上对输入图像进行分析，包括多层次图像表示和特征提取；

步骤二，图像分割：基于用户标注，训练或更新分割模型，通过迭代循环，渐进地实现对图像的对象级分割；

步骤一中所述多层次图像分析包括以下步骤：

步骤11，多层次图像表示：获取输入图像细粒度的超像素层次表示和粗粒度的过分割层次表示，结合原图的像素层次表示，组成输入图像的三层表示；

步骤12，特征提取：提取图像的像素级的特征，包括：Texton纹理基元、像素位置以及颜色信息，组合成像素级特征向量；在超像素层次上，计算每个超像素内所有像素的特征向量均值，作为超像素的特征向量；

步骤二中所述图像分割包括以下步骤：

步骤21，分割预测：若分割模型已初始化，则在超像素层次进行分割预测，得到每个超像素样本属于每一个对象类别的置信度{f(x_i,k)|1≤i≤N,1≤k≤K}，其中，x_i表示第i个超像素样本，N表示超像素总数，K表示对象类别总数，f(x_i,k)表示超像素x_i属于第k个对象类别的置信度；若分割模型没有初始化，则将所有超像素属于每一类的置信度均设置为1；利用置信度，计算超像素分类概率；

步骤22，分割优化：根据步骤21中的超像素分类概率，计算每个像素的分类概率，并将每个像素的分类概率设置为能量函数的数据项；使用图割优化算法最小化能量函数，实现分割优化，得到分割结果，即每个像素的对象类别标签L＝{l₁,l₂,...,l_V}，V表示图像中的像素总数，l_j∈[1,K]表示第j个像素的对象类别标签，j取值1～V；分割优化后，由用户交互判断分割结果是否准确，如果准确，则完成对此输入图像的分割，输出分割结果；否则，转步骤23；

步骤23，用户标注及超像素样本扩充：用户在输入图像上进行标注，修改分割错误的超像素样本的对象类别标签，基于过分割层次表示，扩充用户标记的对象类别标签，即将用户标注所在过分割区域内所有未标注的超像素样本的对象类别标签设置为用户标记的标签；

步骤24，训练或更新在线分割模型：将步骤23中得到的带标签的超像素作为训练样本，若分割模型没有初始化，则训练得到初始的在线分割模型；若分割模型已初始化，则利用训练样本对其进行更新；完成后转步骤21。

2.根据权利要求1所述的一种基于在线学习的渐进式图像分割方法，其特征在于，步骤二中的分割模型为基于在线学习判别的分割模型。

3.根据权利要求2所述的一种基于在线学习的渐进式图像分割方法，其特征在于，步骤21中利用置信度，计算超像素分类概率公式如下：

$SP(x_i,t)=f(x_i,t)/\underset{k=1}{\overset{K}{\Σ}}f(x_i,k),$

其中，SP(x_i,t)表示超像素x_i分割为第t个对象类别的概率，1≤t≤K，即，将超像素样本属于一类的置信度与所有置信度之和的比值作为属于该对象类别的概率。

4.根据权利要求3所述的一种基于在线学习的渐进式图像分割方法，其特征在于，步骤22中所述的像素分类概率的计算方法如下：

记像素p分割为第l个对象类别的概率为P(p,l)，l∈[1,K]，若用户直接标记过该像素为第l_p个对象类别，则将其属于第l_p个对象类别的概率设置为1，属于其他对象类别的概率为0，即：

$P(p,l)=\left\{\begin{array}{cc}1,& l=l_p\\ 0,& l\≠l_p\end{array}\right.;$

否则，将其设置为步骤21中得到的像素p所在的超像素x_p分割为第l对象类别的概率，即对P(p,l)＝SP(x_p,l)。

5.根据权利要求4所述的一种基于在线学习的渐进式图像分割方法，其特征在于，步骤22中所述的能量函数计算公式如下：

$E\left(L\right)=\mathrm{\&lambda;}\underset{p=1}{\overset{V}{\&Sigma;}}{R}_p\left(l_p\right)+\underset{<p,q>\&Element;\&Pi;}{\&Sigma;}{B}_{\{p,q\}}\&CenterDot;\mathrm{\&delta;}(l_p,l_q),$

其中，λ为权重因子，取值范围0～1；Π表示输入图像的8-邻域系统中的无序像素对集合；R_p(l_p)为数据项，表示像素p与对象类别l_p的匹配程度；B_{p,q}为平滑项，表征像素p和像素q之间的不一致性对分割结果的影响；δ(l_p,l_q)为指示函数，指示像素p和像素q的对象类别l_p和l_q是否相同，定义如下：

$\mathrm{\&delta;}(l_p,l_q)=\left\{\begin{array}{cc}0,& l_p=l_q\\ 1,& l_p\&NotEqual;l_q\end{array}\right..$

6.根据权利要求5所述的一种基于在线学习的渐进式图像分割方法，其特征在于，步骤22中所述的能量函数的数据项R_p(l_p)计算公式如下：

R_p(l_p)＝-log(P(p,l_p))。

7.根据权利要求6所述的一种基于在线学习的渐进式图像分割方法，其特征在于，步骤22中所述的能量函数的平滑项B_{p,q}计算公式如下：

$B_{\{p,q\}}=\frac{1}{dist(p,q)}\&CenterDot;\exp (-\frac{{(I_p-I_q)}^2}{2{\mathrm{\&sigma;}}^2}),$

其中，dist(p,q)为像素p和像素q在图像中的坐标距离，I_p-I_q表示两者之间的颜色差异，σ表示Π中所有像素对之间颜色差异的标准差。