CN104077765A - 图像分割装置、图像分割方法和程序 - Google Patents

Abstract

本申请公开了一种图像分割装置、图像分割方法和程序。该图像分割装置包括：图像特征提取单元，被配置为提取输入图像中的各个图像块的图像特征，每个图像块包括一个或更多个像素；评估单元，被配置为基于各图像块的图像特征来评估在空间上相邻的两个或更多个相邻图像块被聚类到同一聚类中的置信度；以及聚类单元，被配置为对图像块进行基于样例的聚类，其中在聚类过程中考虑了评估单元的评估结果，图像块的每一聚类形成输入图像的一个分割区域。

Description

图像分割装置、图像分割方法和程序

技术领域

本发明涉及图像处理领域，具体地，涉及一种采用基于空间一致性的样例聚类的图像分割装置、图像分割方法和程序。

背景技术

在计算机视觉应用中，数字图像或视频中的图像分割是一个重要任务。图像分割是将图像中具有特殊含义和较强关联的不同区域分割开，以提取图像中的各种信息或特征。

因此，期望提供一种准确、快速的图像分割方法。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于背景技术部分所述的需求，本发明关注于如何快速准确地对图像进行分割，更具体地，本发明提出了采用基于空间一致性的样例聚类的图像分割装置、图像分割方法和程序。

根据本发明的一个方面，提供了一种图像分割装置，包括：图像特征提取单元，被配置为提取输入图像中的各个图像块的图像特征，每个图像块包括一个或更多个像素；评估单元，被配置为基于各图像块的图像特征来评估在空间上相邻的两个或更多个相邻图像块被聚类到同一聚类中的置信度；以及聚类单元，被配置为对图像块进行基于样例的聚类，其中在聚类过程中考虑了评估单元的评估结果，图像块的每一聚类形成输入图像的一个分割区域。

根据本发明的另一个方面，提供了一种图像分割方法，包括：提取输入图像中的各个图像块的图像特征，每个图像块包括一个或更多个像素；基于各图像块的图像特征来评估在空间上相邻的两个或更多个相邻图像块被聚类到同一聚类中的置信度；以及对图像块进行基于样例的聚类，其中在聚类过程中考虑了评估的结果，图像块的每一聚类形成输入图像的一个分割区域。

依据本发明的其它方面，还提供了相应的计算机程序代码、计算机可读存储介质和计算机程序产品。

根据本申请的图像分割装置、图像分割方法和程序在采用基于样例的聚类方法对图像进行分割的过程中还考虑了图像的空间一致性、即邻近的图像块更可能属于同一分割区域这一规律，从而实现了更准确和快速的图像分割。

通过以下结合附图对本发明的优选实施例的详细说明，本发明的这些以及其他优点和特征将更加明显。

附图说明

为了进一步阐述本申请的以上和其它优点和特征，下面结合附图对本申请的具体实施方式作进一步详细的说明。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分。具有相同的功能和结构的元件用相同的参考标号表示。应当理解，这些附图仅描述本申请的典型示例，而不应看作是对本申请的范围的限定。在附图中：

图1是示出了根据本申请的一个实施例的图像分割装置的结构的框图；

图2是示出了根据本申请的另一个实施例的图像分割装置的结构的框图；

图3是示出了根据本申请的一个实施例的评估单元的结构的框图；

图4是示出了根据本申请的一个实施例的聚类单元的结构的框图；

图5是示出了根据本申请的一个实施例的图像分割方法的示意性流程图；

图6是示出了根据本申请的一个实施例的图像分割方法中的评估步骤的子步骤的示意性流程图；

图7是示出了根据本申请的一个实施例的图像分割方法中的聚类步骤的子步骤的示意性流程图；以及

图8是其中可以实现根据本发明的实施例的方法和/或装置的通用个人计算机的示例性结构的框图。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的设备结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

下文中的描述按如下顺序进行：

1．图像分割装置

2．图像分割方法

3.用以实施本申请的装置和方法的计算设备

[1．图像分割装置]

下面参照图1描述根据本申请的一个实施例的图像分割装置100的结构和功能。如图1所示，图像分割装置100包括：图像特征提取单元101，被配置为提取输入图像中的各个图像块的图像特征，每个图像块包括一个或更多个像素；评估单元102，被配置为基于各图像块的图像特征来评估在空间上相邻的两个或更多个相邻图像块被聚类到同一聚类中的置信度；以及聚类单元103，被配置为对图像块进行基于样例的聚类，其中在聚类过程中考虑了评估单元102的评估结果，图像块的每一聚类形成输入图像的一个分割区域。

图像分割装置100用于对输入的图像进行分割，以获得具有整体含义或者内部关联密切的分割区域。输入图像可以看作是由多个图像块构成的，每个图像块包括一个或更多个像素。因此，从该意义上看，图像分割装置100用于基于一定规则对这些图像块进行聚类，以获得规模相对较大的一个或更多个分割区域或聚类集群。

本申请的图像分割装置100采用了基于样例的聚类的思想，但是在进行基于样例的聚类还考虑了相邻图像块的空间一致性的贡献，从而实现了一种更快速、准确的无监督的图像分割装置。

其中，图像特征提取单元101用于提取各个图像块的图像特征。这里所述的图像特征可以根据实际应用来选取，例如可以使用图像的颜色、灰度等中的至少一个特征作为图像特征。虽然这里示出了颜色或灰度作为示例，但是显然可以采用的特征不限于此，例如还可以使用方向梯度直方图（HOG）、高维特征等。

在图像块包括多个像素的情况下，除了图像块中各个像素的图像特征之外，图像特征提取单元101还被配置为计算图像块中图像特征的均值或中值作为该图像块的图像特征。例如，分别针对每个图像块，计算该图像块中所有像素的颜色特征或灰度特征，并取其均值或中值作为该图像块的图像特征。

然后，基于所获得的图像特征对这些图像块进行聚类。在进行聚类之前，使用评估单元102来进行各图像块之间空间一致性的估算。空间一致性指的是相邻的图像块被聚类到同一聚类中的置信度。该置信度的估算基于相邻的图像块更可能落入同一分割区域中这一假定，因此，该置信度也可以理解为两个相邻的图像块被聚类到不同的聚类中所引起的损失。

具体地，例如，如果使两个相邻的图像块属于同一聚类，则评估单元102将这种聚类的置信度设置为0，否则将其设置为一个正值。但是，应该注意，评估单元102在计算置信度时并没有进行聚类，而是通过图像特征提取单元101所提取的各个图像块的图像特征来进行评估的。例如，根据相邻图像块的图像特征的连续性或一致性进行评估。

然后，聚类单元103对上述图像块进行基于样例的聚类，但是与普通的样例聚类不同，聚类单元103在执行聚类时还考虑了评估单元102的评估结果，即考虑了空间一致性的影响。最终获得的图像块的每一个聚类形成输入图像的一个分割区域。其中，获得的分割区域的个数不是预先确定的，而是在算法的执行过程中自动得出的。这使得可以本申请的图像分割装置100可以应用于更广泛的类型的图像分割。

此外，在根据本申请的另一个实施例的图像分割装置200中，如图2所示，为了加快图像分割速度，图像分割装置200还包括初始分割单元201，被配置为将输入图像分割为多个图像块，每个图像块包括多个像素。这种图像块也可以称为超像素表示。作为一个示例，例如可以通过均值漂移或者归一化割（Normalized cut）算法将输入图像转化为这种超像素表示。对于初始分割单元201分割后的图像块，图像分割装置200的图像特征提取单元101、评估单元102和聚类单元103对其进行与针对图像分割装置200所述的同样的处理，在此不再赘述。

下面参照图3描述根据本申请的一个实施例的评估单元102的功能和配置。如图3所示，评估单元102包括：边缘图提取模块2001，被配置为对输入图像进行边缘提取，得到边缘图；边缘损失计算模块2002，被配置为计算边缘图中与相邻图像块对应的相邻边缘图块之间的边缘损失；以及置信度计算模块2003，被配置为基于边缘损失来评估相邻图像块被聚类到同一聚类中的置信度。

在该实施例中，评估单元102通过计算边缘图中与相邻图像块对应的相邻边缘图块之间的边缘损失来设置对应的相邻图像块被聚类到同一聚类中的置信度。其中，边缘图提取模块2001可以通过局部边缘检测算法获得边缘图。在一个实施例中，可以使用Sobel边缘检测算法。

例如，所获得的边缘图用E表示，其中，E(x,y)表示对应的像素(x,y)为边缘像素的概率。换言之，评估单元102利用了相邻图像块中边缘像素的概率来设置上述置信度。

边缘损失计算模块2002用于计算边缘图中与相邻图像块在位置上对应的相邻边缘图块之间的边缘损失。在一个示例中，可以通过下式（1）来计算相邻的图像块i和j之间的边缘损失ω_ij。

其中，b(i,j)表示在图像块i和j之间的边界上的像素点的集合，|b(i,j)|表示该集合中元素的个数。由式（1）可以看出，当图像块i和j之间的边界上的像素点为边缘像素的概率越大时，边缘损失ω_ij越小。

置信度计算模块2003基于该边缘损失设置将对应的相邻图像块聚类到同一聚类中的置信度V。例如，可以按照下式（2）进行设置。

其中，c_i和c_j分别表示相邻图像块i和j的聚类标签。从式（2）可以看出，如果图像块i和j取相同的聚类标签，即聚类到同一聚类中，则引起的代价为0，否则引起的代价为一正值。并且，结合式（1）的含义可以看出，当图像块i和j之间的边界上的像素点为边缘像素的概率越大时，将图像块i和j聚类到不同的聚类中所引起的代价越小。虽然这里用式（2）示出了设置置信度的方式，但是仅是一个示例，本申请并不限于此。在其他实施例中，例如还可以对V进行加权。

下面参照图4描述根据本申请的一个实施例的聚类单元103的功能和结构。如图4所示，聚类单元103包括：能量函数构建模块3001，被配置为基于各图像块的图像特征来计算在图像特征空间中两个图像块之间的距离，并根据该距离以及评估的结果来构建基于样例的聚类的能量函数；以及优化模块3002，被配置为通过最小化该能量函数来进行基于样例的聚类。

基于样例的聚类可以通过最小化能量函数来实现。在该实施例中，能量函数构建模块3001所构建的能量函数除了包括通常的数据点和其聚类标签（代表点）的距离项之外，还包括代表空间一致性的影响的项。优化模块3002可以使用各种算法来最小化该能量函数从而得到多个聚类。

在一个实施例中，优化模块3002使用基于α扩展的最小s-t图割算法来最小化所述能量函数。这是因为所构造的能量函数满足正则条件。并且在实施中只需要运行一次α扩展算法，因此具有较快的运行速度。此外，在本申请中，可以使用各种距离模型来计算图像块之间的距离。

作为一个示例，当输入图像为彩色图像时，图像分割装置100或200还包括转换单元，被配置为将输入图像转换到CIELab颜色空间中。此时，图像块之间的距离为欧氏距离。具体地，当图像块i和j分别包括多个像素时，图像块i和j之间的距离为图形块i中像素的颜色均值或中值与图像块j中像素的颜色均值或中值在CIELab颜色空间中的欧氏距离。

虽然这里示出了欧氏距离作为示例，但是也可以使用其他距离，例如cityblock距离等。

作为一个非限制性示例，下式（3）给出了能量函数F的一种具体表示。

$F\left(c\right)=\underset{p=1}{\overset{N}{\mathrm{\Σ}}}d(x_p,x_{c_p})+\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\δ}}_p\left(c\right)+\mathrm{\λ}\underset{\{i,k\}\∈M}{\mathrm{\Σ}}{V}_{\mathrm{ik}}(c_i,c_k)---\left(3\right)$

其中，δ_p(c)是用于选择x_p作为聚类标签的有效性限制项，即，如果图像块x_p被选作某个图像块的聚类标签，则图像块x_p必须选择它本身作为其聚类标签。通过δ_p(c)确定了满足上述有效性限制的图像块的集合、即合法配置c，换言之，合法配置c中的所有图像块均满足上述限制。

此外，在式（3）中，x_p表示输入图像中的第p个图像块，c_p表示第p个图像块的聚类标签，d（x_i,x_j）表示在所述图像特征空间中第i个图像块和第j个图像块之间的距离，M表示邻域系统，V_ik(c_i,c_k)表示数据块c_i和c_k聚类到同一聚类中的置信度，λ是平衡参数，用于对聚类的保真度和聚类的空间一致性进行平衡。其中，示例性地，d（x_i,x_j）可以如上所述取图像i和j在CIELab颜色空间中的欧氏距离，V_ik(c_i,c_k)可以如上所述按照式（1）和式（2）来设置。

可以看出，能量函数（3）中包括了图像块之间的距离项以及相邻图像块聚类到同一聚类中的置信度的项。通过使用例如基于α扩展的最小s-t图割算法对能量函数（3）优化迭代收敛即可获得分割结果。由于考虑了相邻图像块之间空间一致性的影响，所获得的分割结果更为准确。且仅需要执行一次α扩展算法，因此运行速度快。

虽然以上结合附图描述了根据本申请的一个实施例的图像分割装置的结构和功能，但是本申请的图像分割装置不限于此，还可以实现为其他的形式。上述实施例仅是说明性的，而不是限制性的。

[2．图像分割方法]

以上结合附图描述了根据本发明的图像分割装置的实施方式，在此过程中事实上也描述了一种图像分割方法。下面对所述方法结合附图5予以简要描述，其中的细节可参见前文对图像分割装置的描述。

如图5所示，该图像分割方法包括如下步骤：提取输入图像中的各个图像块的图像特征（S11），每个图像块包括一个或更多个像素；基于各图像块的图像特征来评估在空间上相邻的两个或更多个相邻图像块被聚类到同一聚类中的置信度（S12）；以及对所述图像块进行基于样例的聚类，其中在聚类过程中考虑了所述评估的结果，所述图像块的每一聚类形成所述输入图像的一个分割区域（S13）。

其中，图像特征可以为颜色特征或灰度特征。提取图像块的图像特征可以包括：计算图像块中颜色特征或灰度特征的均值或中值，作为该图像块的图像特征。

此外，虽然图5中未示出，但是为了加快执行聚类的速度，该图像分割方法还可以包括初始分割的步骤：将输入图像初始分割为多个图像块，每个图像块包括多个像素。

图6示出了评估步骤S12的处理的一个示例的流程图，如图6所述，该评估包括：对输入图像进行边缘提取，得到边缘图（S21）；计算边缘图中与相邻图像块对应的相邻边缘图块之间的边缘损失（S22）；以及基于边缘损失来评估该相邻图像块被聚类到同一聚类中的置信度（S23）。

其中，可以通过各种边缘检测算法比如Sobel边缘检测方法等获得边缘图。

图7示出了聚类步骤S13的处理的一个示例的流程图，如图7所示，该步骤包括：基于各图像块的图像特征来计算在图像特征空间中两个图像块之间的距离（S31）；根据该距离以及评估的结果来构建基于样例的聚类的能量函数（S32）；以及通过最小化该能量函数来进行基于样例的聚类（S33）。

其中，由于该能量函数满足正则条件，因此可以使用基于α扩展的最小s-t图割算法来最小化该能量函数。

在一个实施例中，该能量函数为 $F\left(c\right)=\underset{p=1}{\overset{N}{\mathrm{\Σ}}}d(x_p,x_{c_p})+\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\δ}}_p\left(c\right)+\mathrm{\λ}\underset{\{i,k\}\∈M}{\mathrm{\Σ}}{V}_{\mathrm{ik}}(c_i,c_k),$ 其中，以及

其中，x_p是输入图像中的第p个图像块，c_p是第p个图像块的聚类标签，d（x_i,x_j）表示在所述图像特征空间中第i个图像块和第j个图像块之间的距离，δ_p(c)是用于选择x_p作为聚类标签的有效性限制项，通过δ_p(c)确定了合法配置c，合法配置c是满足所述有效性限制项的图像块的集合，M表示邻域系统，V_ik(c_i,c_k)表示图像块c_i和c_k聚类到同一聚类中的置信度，λ是平衡参数。

此外，上述图像分割方法还包括在输入图像为彩色图像时将所述输入图像转换到CIELab颜色空间中，从而在CIELab颜色空间中计算图像块之间的欧氏距离作为图像块之间的距离。

以上实施例中的相关细节已经在对图像分割方法的描述中详细给出，在此不再赘述。

[3．用以实施本申请的装置和方法的计算设备]

上述装置中各个组成模块、单元可通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机（例如图8所示的通用计算机800）安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在图8中，中央处理单元（CPU）801根据只读存储器（ROM）802中存储的程序或从存储部分808加载到随机存取存储器（RAM）803的程序执行各种处理。在RAM803中，也根据需要存储当CPU801执行各种处理等等时所需的数据。CPU801、ROM802和RAM803经由总线804彼此连接。输入/输出接口805也连接到总线804。

下述部件连接到输入/输出接口805：输入部分806（包括键盘、鼠标等等）、输出部分807（包括显示器，比如阴极射线管（CRT）、液晶显示器（LCD）等，和扬声器等）、存储部分808（包括硬盘等）、通信部分809（包括网络接口卡比如LAN卡、调制解调器等）。通信部分809经由网络比如因特网执行通信处理。根据需要，驱动器810也可连接到输入/输出接口805。可移除介质811比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器810上，使得从中读出的计算机程序根据需要被安装到存储部分808中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可移除介质811安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图8所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可移除介质811。可移除介质811的例子包含磁盘（包含软盘（注册商标））、光盘（包含光盘只读存储器（CD-ROM）和数字通用盘（DVD））、磁光盘（包含迷你盘（MD）（注册商标））和半导体存储器。或者，存储介质可以是ROM802、存储部分808中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

最后，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上虽然结合附图详细描述了本发明的实施例，但是应当明白，上面所描述的实施方式只是用于说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本发明的实质和范围。因此，本发明的范围仅由所附的权利要求及其等效含义来限定。

通过上述的描述，本发明的实施例提供了以下的技术方案。

附记1．一种图像分割装置，包括：

图像特征提取单元，被配置为提取输入图像中的各个图像块的图像特征，每个图像块包括一个或更多个像素；

评估单元，被配置为基于各图像块的图像特征来评估在空间上相邻的两个或更多个相邻图像块被聚类到同一聚类中的置信度；以及

聚类单元，被配置为对所述图像块进行基于样例的聚类，其中在聚类过程中考虑了所述评估单元的评估结果，所述图像块的每一聚类形成所述输入图像的一个分割区域。

附记2．根据附记1所述的图像分割装置，其中，所述评估单元包括：

边缘图提取模块，被配置为对所述输入图像进行边缘提取，得到边缘图；

边缘损失计算模块，被配置为计算所述边缘图中与所述相邻图像块对应的相邻边缘图块之间的边缘损失；以及

置信度计算模块，被配置为基于所述边缘损失来评估所述相邻图像块被聚类到同一聚类中的置信度。

附记3．根据附记1或2所述的图像分割装置，所述聚类单元包括：

能量函数构建模块，被配置为基于各图像块的图像特征来计算在所述图像特征空间中两个图像块之间的距离，并根据所述距离以及所述评估的结果来构建基于样例的聚类的能量函数；以及

优化模块，被配置为通过最小化所述能量函数来进行基于样例的聚类。

附记4．根据附记2所述的图像分割装置，其中，所述能量函数为

$F\left(c\right)=\underset{p=1}{\overset{N}{\mathrm{\Σ}}}d(x_p,x_{c_p})+\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\δ}}_p\left(c\right)+\mathrm{\λ}\underset{\{i,k\}\∈M}{\mathrm{\Σ}}{V}_{\mathrm{ik}}(c_i,c_k),$

其中，以及

其中，x_p是输入图像中的第p个图像块，c_p是第p个图像块的聚类标签，d（x_i,x_j）表示在所述图像特征空间中第i个图像块和第j个图像块之间的距离，δ_p(c)是用于选择x_p作为聚类标签的有效性限制项，通过δp(c确定了合法配置c，合法配置c是满足所述有效性限制项的图像块的集合，M表示邻域系统，V_ik(c_i,c_k)表示图像块c_i和c_k聚类到同一聚类中的置信度，λ是平衡参数。

附记5．根据附记3所述的图像分割装置，其中，所述优化模块被配置为使用基于α扩展的最小s-t图割算法来最小化所述能量函数。

附记6．根据附记1或2所述的图像分割装置，还包括：

初始分割单元，被配置为将所述输入图像初始分割为多个图像块，每个图像块包括多个像素。

附记7．根据附记1或2所述的图像分割装置，其中，所述图像特征为颜色特征或灰度特征。

附记8．根据附记7所述的图像分割装置，其中，所述图像特征提取单元还被配置为：计算图像块中颜色特征或灰度特征的均值或中值，作为该图像块的图像特征。

附记9．根据附记1或2所述的图像分割装置，还包括转换单元，被配置为在所述输入图像为彩色图像时将所述输入图像转换到CIELab颜色空间中。

附记10．根据附记3所述的图像分割装置，其中，所述图像块之间的距离为欧氏距离。

附记11．根据附记2所述的图像分割装置，其中，所述边缘图提取模块通过局部边缘检测算法获得所述边缘图。

附记12．一种图像分割方法，包括：

提取输入图像中的各个图像块的图像特征，每个图像块包括一个或更多个像素；

基于各图像块的图像特征来评估在空间上相邻的两个或更多个相邻图像块被聚类到同一聚类中的置信度；以及

对所述图像块进行基于样例的聚类，其中在聚类过程中考虑了所述评估的结果，所述图像块的每一聚类形成所述输入图像的一个分割区域。

附记13．根据附记1所述的图像分割方法，其中，所述评估包括：

对所述输入图像进行边缘提取，得到边缘图；

计算所述边缘图中与所述相邻图像块对应的相邻边缘图块之间的边缘损失；以及

基于所述边缘损失来评估所述相邻图像块被聚类到同一聚类中的置信度。

附记14．根据附记12或13所述的图像分割方法，对所述图像块进行基于样例的聚类包括：

基于各图像块的图像特征来计算在所述图像特征空间中两个图像块之间的距离；

根据所述距离以及所述评估的结果来构建基于样例的聚类的能量函数；以及

通过最小化所述能量函数来进行基于样例的聚类。

附记15．根据附记14所述的图像分割方法，其中，所述能量函数为 $F\left(c\right)=\underset{p=1}{\overset{N}{\mathrm{\Σ}}}d(x_p,x_{c_p})+\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\δ}}_p\left(c\right)+\mathrm{\λ}\underset{\{i,k\}\∈M}{\mathrm{\Σ}}{V}_{\mathrm{ik}}(c_i,c_k),$

其中，以及

其中，x_p是输入图像中的第p个图像块，c_p是第p个图像块的聚类标签，d（x_i,x_j）表示在所述图像特征空间中第i个图像块和第j个图像块之间的距离，δ_p(c)，是用于选择x_p作为聚类标签的有效性限制项，通过δ_p(c)确定了合法配置c，合法配置c是满足所述有效性限制项的图像块的集合，M表示邻域系统，V_ik(c_i,c_k)表示图像块c_i和c_k聚类到同一聚类中的置信度，λ是平衡参数。

附记16．根据附记14所述的图像分割方法，其中，使用基于α扩展的最小s-t图割算法来最小化所述能量函数。

附记17．根据附记12或13所述的图像分割方法，还包括：

将所述输入图像初始分割为多个图像块，每个图像块包括多个像素。

附记18．根据附记12或13所述的图像分割方法，其中，所述图像特征为颜色特征或灰度特征。

附记19．根据附记18所述的图像分割方法，其中，提取图像块的图像特征还包括：计算图像块中颜色特征或灰度特征的均值或中值，作为该图像块的图像特征。

附记20．根据附记12或13所述的图像分割方法，还包括在所述输入图像为彩色图像时将所述输入图像转换到CIELab颜色空间中。

Claims (10)

1.一种图像分割装置，包括：

图像特征提取单元，被配置为提取输入图像中的各个图像块的图像特征，每个图像块包括一个或更多个像素；

评估单元，被配置为基于各图像块的图像特征来评估在空间上相邻的两个或更多个相邻图像块被聚类到同一聚类中的置信度；以及

聚类单元，被配置为对所述图像块进行基于样例的聚类，其中在聚类过程中考虑了所述评估单元的评估结果，所述图像块的每一聚类形成所述输入图像的一个分割区域。

2.根据权利要求1所述的图像分割装置，其中，所述评估单元包括：

边缘图提取模块，被配置为对所述输入图像进行边缘提取，得到边缘图；

边缘损失计算模块，被配置为计算所述边缘图中与所述相邻图像块对应的相邻边缘图块之间的边缘损失；以及

置信度计算模块，被配置为基于所述边缘损失来评估所述相邻图像块被聚类到同一聚类中的置信度。

3.根据权利要求1或2所述的图像分割装置，所述聚类单元包括：

能量函数构建模块，被配置为基于各图像块的图像特征来计算在所述图像特征空间中两个图像块之间的距离，并根据所述距离以及所述评估的结果来构建基于样例的聚类的能量函数；以及

优化模块，被配置为通过最小化所述能量函数来进行基于样例的聚类。

4.根据权利要求3所述的图像分割装置，其中，所述能量函数为

$F\left(c\right)=\underset{p=1}{\overset{N}{\mathrm{\Σ}}}d(x_p,x_{c_p})+\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\δ}}_p\left(c\right)+\mathrm{\λ}\underset{\{i,k\}\∈M}{\mathrm{\Σ}}{V}_{\mathrm{ik}}(c_i,c_k),$

其中，以及

其中，x_p是输入图像中的第p个图像块，c_p是第p个图像块的聚类标签，d（x_i,x_j）表示在所述图像特征空间中第i个图像块和第j个图像块之间的距离，δ_p(c)是用于选择x_p作为聚类标签的有效性限制项，通过δp(c)确定了合法配置c，合法配置c是满足所述有效性限制项的图像块的集合，M表示邻域系统，V_ik(c_i,c_k)表示图像块c_i和c_k聚类到同一聚类中的置信度，λ是平衡参数。

5.根据权利要求3所述的图像分割装置，其中，所述优化模块被配置为使用基于α扩展的最小s-t图割算法来最小化所述能量函数。

6.根据权利要求1或2所述的图像分割装置，还包括：

初始分割单元，被配置为将所述输入图像初始分割为多个图像块，每个图像块包括多个像素。

7.根据权利要求1或2所述的图像分割装置，其中，所述图像特征为颜色特征或灰度特征。

8.根据权利要求7所述的图像分割装置，其中，所述图像特征提取单元还被配置为：计算图像块中颜色特征或灰度特征的均值或中值，作为该图像块的图像特征。

9.根据权利要求1或2所述的图像分割装置，还包括转换单元，被配置为在所述输入图像为彩色图像时将所述输入图像转换到CIELab颜色空间中。

10.一种图像分割方法，包括：

提取输入图像中的各个图像块的图像特征，每个图像块包括一个或更多个像素；

基于各图像块的图像特征来评估在空间上相邻的两个或更多个相邻图像块被聚类到同一聚类中的置信度；以及

对所述图像块进行基于样例的聚类，其中在聚类过程中考虑了所述评估的结果，所述图像块的每一聚类形成所述输入图像的一个分割区域。