CN102165491A - 图像处理设备、图像处理方法以及程序 - Google Patents

Abstract

本发明提供如下的图像处理设备、图像处理方法以及程序：其即使以小区域为单位执行诸如图形切割法的处理，也可以与以像素为单位一样获得相同的结果。预分割执行单元(13)根据像素之间的相关性对图像中的像素分类，并且将图像分割为小区域组。小区域邻近能量计算单元(14)基于小区域组中的一对邻近小区域的边界附近的像素组的像素值之差来计算小区域邻近能量。小区域似然能量计算单元(15)基于三元图图像为各小区域选择对象区域和背景区域，构建概率模型函数，并且针对各小区域计算对象似然和背景似然。分割执行单元(16)使用小区域邻近能量和小区域似然能量来将图像分割为包括前景和背景的二值掩码图像。本发明可应用于分割对象图像的图像处理。

Description

图像处理设备、图像处理方法以及程序

技术领域

本发明涉及图像处理设备、图像处理系统以及程序，并且特别地，涉及这样的图像处理设备、图像处理系统以及程序：其能够提高根据输入图像生成由对象区域和背景区域构成的二值掩码图像的处理速度，并且通过节省存储器来实现处理。

背景技术

获取二值掩码图像(其指定图像中的对象区域和背景区域)的处理被称为图像分割处理。作为该图像分割处理的一种方法，已知图形切割法(参见NPL1)。

在该图形切割法中，通过图形结构利用关于图像的颜色分布和边缘的信息作为能量来表示整个图像，解决了其最大流问题(Maxflow)，并且分配标记零和一，使得能量最小化，由此获得二值掩码图像。

然后，针对所有像素，为了将该图形结构保存在存储器中，存储器使用量非常大，并且限制了将处理的图像的分辨率。

解决这一问题的一种方法在于利用比像素单位稍大的粒度(例如，以诸如像素组的小区域为单位)执行图形切割法的想法。

最初，在图形切割法中，没有限制图形的节点之间的连接状态，并且允许自由连接。因此，可以通过自由形成小区域并且通过用小区域代替像素，来应用该图形切割法。应当注意，需要以与以像素为单位的方法不同的方法来计算被设置为图形的节点和边缘的能量。

在NPL 2和PTL 1中提出了用于定义这样的小区域组并应用该图形切割法的方法。在该方法中，使用小区域的平均颜色来计算像素之间的邻近能量和似然能量(likelihood energy)。

在该方法中，以小区域为单位来执行图形切割法，其中，该小区域的数量小于像素的数量。因此，实现了存储器节省以及更高的速度，并且还可以减少两种能量的计算量。

引用列表

专利文献

PTL 1：“Systems and methods for image data separation”，EP 1624413A2(2006年6月)

非专利文献

NPL 1：“An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Vision”(2004)，Yuri Boykov，Vladimir Kolmogorov，IEEE Transactions on Pattern Analysis and Machine Intelligence

NPL 2：“Lazy snapping”(2004)Yin Li，Jian Sun，Chikeung Tang，Heung-Yeung Shum，ACM Transaction.Graphics.

发明内容

技术问题

然而，在NPL 2和PTL1中所提出的方法中，使用小区域的平均颜色来计算两种能量，因此，两者之间的差比以像素为单位执行的计算中的两者之间的差更大。因此，在一些情况下，不能很好地获得作为图形切割法的处理结果的二值掩码图像。

本发明考虑到了这样的状况，以及本发明旨在提高根据输入图像生成由对象区域和背景区域构成的二值掩码图像的处理速度、并通过节省存储器来实现处理，并且还旨在即使以小区域为单位执行诸如图形切割法的图像分割处理，也能获得与以像素为单位执行该处理所获得的结果类似的结果。

技术方案

根据本发明的一个方面的图像处理设备为一种用于输出图像被分为对象和背景区域的二值掩码图像的图像处理设备，并且该图像处理设备包括：三元图图像(trimap image)获取装置，用于获取图像以及图像被划分为对象区域、背景区域和其他区域的三元图图像；预划分装置，用于基于像素之间的相关性对图像中的像素进行分类，由此将图像划分为小区域组；小区域邻近能量计算装置，用于基于在小区域组中彼此邻近的一对小区域的边界附近的像素组的像素值之差，计算小区域邻近能量；小区域似然能量计算装置，用于基于三元图图像而选择小区域组中的对象区域和背景区域，构建概率模型函数，使用概率模型函数获取各小区域组的对象似然和背景似然，并且使用对象似然和背景似然计算小区域似然能量；划分装置，用于使用小区域邻近能量和小区域似然能量来将图像划分为前景和背景的二值掩码图像；以及输出装置，用于输出由划分装置划分的二值掩码图像。

小区域似然能量计算装置可以使用利用各小区域组的加权平均颜色的概率模型函数，来计算对象似然和背景似然。

预划分装置可以还包括：小区域中心选择装置，用于在图像中的各像素当中将在光栅扫描的正方向上具有像素值的最小值的像素设置为小区域中心候选像素，然后从小区域中心候选像素当中选择在光栅扫描的反方向上具有最小值的像素作为小区域中心。

小区域中心选择装置可以还包括用于对图像执行微分处理的微分处理装置，并且可以将已由微分处理装置执行了微分处理的图像的各像素的像素值当中小于等于期望阈值的像素值设置为零，由此通过减小在小区域中心处的像素数来执行输出。

预划分装置可以还包括：小区域扩展处理装置，用于以量化像素值的升序来设置扩展小区域的顺序。

根据本发明一个方面的图像处理方法是一种用于输出图像被分为对象和背景区域的二值掩码图像的图像处理设备的图像处理方法，并且该图像处理方法包括：三元图图像获取步骤，用于获取图像以及图像被划分为对象区域、背景区域和其他区域的三元图图像；预划分步骤，用于基于像素之间的相关性对图像中的像素进行分类，由此将图像划分为小区域组；小区域邻近能量计算步骤，用于基于在小区域组中彼此邻近的一对小区域的边界附近的像素组的像素值之差，计算小区域邻近能量；小区域似然能量计算步骤，用于基于三元图图像而选择小区域组中的对象区域和背景区域，构建概率模型函数，使用概率模型函数获取各小区域组的对象似然和背景似然，并且使用对象似然和背景似然计算小区域似然能量；划分步骤，用于使用小区域邻近能量和小区域似然能量来将图像划分为前景和背景的二值掩码图像；以及输出步骤，用于输出在划分步骤的处理中划分的二值掩码图像。

根据本发明的一个方面的程序是一种使计算机执行包括以下步骤的处理的程序，其中，该计算机控制用于输出图像被分为对象和背景区域的二值掩码图像的图像处理设备：三元图图像获取步骤，用于获取图像以及图像被划分为对象区域、背景区域和其他区域的三元图图像；预划分步骤，用于基于像素之间的相关性对图像中的像素进行分类，由此将图像划分为小区域组；小区域邻近能量计算步骤，用于基于在小区域组中彼此邻近的一对小区域的边界附近的像素组的像素值之差，计算小区域邻近能量；小区域似然能量计算步骤，用于基于三元图图像而在小区域组中选择对象区域和背景区域，构建概率模型函数，使用概率模型函数获取各小区域组的对象似然和背景似然，并且使用对象似然和背景似然来计算小区域似然能量；划分步骤，用于使用小区域邻近能量和小区域似然能量来将图像划分为前景和背景的二值掩码图像；以及输出步骤，用于输出在划分步骤的处理中划分的二值掩码图像。

在本发明的一个方面中，获取图像以及图像被划分为对象区域、背景区域和其他区域的三元图图像；基于像素之间的相关性对图像中的像素进行分类，由此将图像划分为小区域组；基于在小区域组中彼此邻近的一对小区域的边界附近的像素组的像素值之差来计算小区域邻近能量；基于三元图图像而选择小区域组中的对象区域和背景区域，构建概率模型函数，使用概率模型函数获取各小区域组的对象似然和背景似然，并且使用对象似然和背景似然来计算小区域似然能量；使用小区域邻近能量和小区域似然能量来将图像划分为前景和背景的二值掩码图像；输出所划分的二值掩码图像。

有益效果

根据本发明，即使以小区域为单位执行诸如图形切割法的图像分割处理，也可以获得与以像素为单位执行该处理而获得的结果类似的结果。

附图说明

图1是示出了应用本发明的图像分割设备的实施例的配置示例的图。

图2是示出了图1中的预分割执行单元的配置示例的图。

图3是用于说明图像分割处理的流程图。

图4是示出了输入图像和二值掩码图像的示例的图。

图5是用于说明预分割处理的流程图。

图6是用于说明选择像素作为小区域的中心的处理的图。

图7是用于说明由基于小区域ID图生成的小区域构成的图像的图。

图8是用于说明小区域邻近能量的图。

图9是用于说明设置各个小区域的代表色的处理的图。

图10是示出了通用个人计算机的配置示例的图。

具体实施方式

[图像分割设备的配置示例]

图1是示出了应用本发明的图像分割设备的实施例的配置示例的图。

图像分割设备1通过使用输入图像以及输入图像的像素被分类为对象像素、背景像素和其他像素中的任一个的三元图图像，将输入图像转换为由小区域组构成图像，其中，小区域组中的每个小区域均由多个像素构成。此外，图像分割设备1以小区域为单位执行图像分割，即以小区域为单位将图像分为对象和背景，由此生成并输出二值掩码图像。

图像分割设备1包括输入图像获取单元11、三元图图像获取单元12、预分割执行单元13、小区域邻近能量计算单元14、小区域似然能量计算单元15、分割执行单元16以及输出单元17。

输入图像获取单元11获取普通的输入图像，并将其提供给预分割执行单元13。三元图图像获取单元12获取输入图像和由输入图像的像素被分类为对象像素、背景像素和其他像素中的任一个的信息构成的三元图图像，并且将输入图像和三元图图像提供给小区域似然能量计算单元15。

预分割执行单元13首先将向其提供的输入图像划分成小区域，每个小区域均由多个邻近像素构成。然后，预分割执行单元13设置各个小区域的小区域ID(标识符)以生成小区域ID图，并将其提供给小区域邻近能量计算单元14和小区域似然能量计算单元15。此时，预分割执行单元13将输入图像与小区域ID图一起提供给小区域邻近能量计算单元14和小区域似然能量计算单元15。应当注意，以下将参照图2描述预分割执行单元13的具体配置。

小区域邻近能量计算单元14基于输入图像以及由标识各个小区域的小区域ID构成的小区域ID图，使用位于小区域之间的边界处的像素的像素值来获得邻近能量，并且计算这些小区域的积分值，作为小区域邻近能量。小区域邻近能量计算单元14将所计算出的小区域邻近能量提供给分割执行单元16。

小区域似然能量计算单元15基于从预分割执行单元13提供的输入图像和小区域ID图以及从三元图图像获取单元12提供的三元图图像，计算小区域似然能量。

更具体地，小区域似然能量计算单元15包括绑定区域(bound region)设置单元31、代表色计算单元32、对象似然计算单元33、和背景似然计算单元34。绑定区域设置单元31将由对象图像的像素构成的小区域绑定到对象图像，并且将由背景图像的像素构成的小区域绑定到背景图像。对于包括这两种图像的像素的小区域，绑定区域设置单元31在不矛盾的情况下划分该小区域，或者不将该小区域绑定到任何图像。代表色计算单元32获得构成小区域的像素的颜色信息的加权平均，作为该小区域的代表色。对象似然计算单元33以绑定到对象图像的小区域为单位获得高斯概率模型的函数，并且使用该高斯概率模型的函数来计算对象的似然，作为对象似然。背景似然计算单元34以绑定到背景图像的小区域为单位获得高斯概率模型的函数，并且使用该高斯概率模型的函数来计算背景的似然，作为背景似然。

然后，小区域似然能量计算单元15使用绑定到对象图像的小区域的对象似然以及绑定到背景图像的小区域的背景似然，来计算小区域似然能量。该小区域似然能量计算单元15将所计算出的小区域似然能量提供给分割执行单元16。应当注意，下文将描述小区域邻近能量和小区域似然能量的细节。

分割执行单元16获得从小区域邻近能量计算单元14和小区域似然能量计算单元15提供的输入图像、小区域ID图、小区域邻近能量、和小区域似然能量。然后，分割执行单元16执行图像分割，由此基于输入图像、小区域ID图、小区域邻近能量和小区域似然能量生成二值掩码图像，并且将其提供给输出单元17。

输出单元17将向其提供的二值掩码图像作为处理结果输出。

[预分割执行单元的配置示例]

接下来，将参照图2描述预分割执行单元13的详细配置。

预分割执行单元13包括图像获取单元61、小区域中心选择单元62、小区域ID添加单元63、小区域扩展处理单元64、以及小区域ID图输出单元65。

图像获取单元61获取输入图像，并将其提供给小区域中心选择单元62。小区域中心选择单元62包括微分图像生成单元81、最小值确定单元82、和最小值图像生成单元83。当根据输入图像形成小区域时，小区域中心选择单元62选择在小区域的中心处的像素。更具体地，微分图像生成单元81例如是Sobel算子滤波器等，并且通过处理输入图像的各像素来生成微分图像。最小值确定单元82基于在微分图像的各像素当中以光栅扫描顺序彼此邻近的像素之间的像素值之差，检测最小值像素。最小值图像生成单元83根据被最小值确定单元82确定为具有最小值的像素，生成最小值图像。最小值确定单元82将最小值图像提供给小区域ID添加单元63。

小区域ID添加单元63将被设置为从小区域中心选择单元62提供的最小值图像的最小值的各像素看作被选作小区域中心的像素，并将小区域ID添加到被选作小区域的中心的相应像素，由此生成初始小区域ID图。此外，小区域ID添加单元63将所生成的初始小区域ID图和输入图像提供给小区域扩展处理单元64。

小区域扩展处理单元64根据初始小区域ID图，以被选作小区域中心的各像素的像素值的升序，将小区域ID逐步传播到未被选作小区域中心的像素，由此从小区域的中心起扩展小区域以生成小区域ID图。此外，小区域扩展处理单元64将所生成的小区域ID图和输入图像提供给小区域ID图输出单元65。小区域ID图输出单元65将输入图像和所生成的小区域ID图提供给小区域邻近能量计算单元14和小区域似然能量计算单元15。

[关于图像分割处理]

接下来，将参照图3中的流程图描述图像分割处理。

在步骤S1中，输入图像获取单元11获取普通图像作为输入图像，并将其提供给预分割执行单元13。例如，普通输入图像是在图4的左部分中示出的图像。在图4的左部分中，示出了燕尾蝶在树叶上的图像。注意，在下文中，将基于该燕尾蝶为输入图像中的对象图像以及其他部分中的图像为背景图像的假设给出描述。注意，输入图像不限于该图像，也可以应用其他图像。此外，对象图像不限于燕尾蝶，还可以应用其他图像。

在步骤S2中，三元图图像获取单元12获取输入图像的像素被分类为对象像素、背景像素和其他像素中的任一个的三元图图像，并将其提供给小区域似然能量计算单元15。更具体地，三元图图像是例如通过在图4中使用特定厚度的触摸笔描绘燕尾蝶的轮廓部分而形成的图像。在这种情况下，在构成对象图像的区域中的像素是在用触摸笔围绕的燕尾蝶的区域中的像素。此外，背景图像对应于在未用触摸笔围绕的外部区域中的像素。除此之外，即，在触摸笔的线上的边界区域中的像素未被分类为其中的任一种。

在步骤S3中，预分割执行单元13执行预分割，以生成小区域ID图，并将其提供给小区域邻近能量计算单元14和小区域似然能量计算单元15。

[关于预分割处理]

现在，将参照图5描述预分割处理。

在步骤S31中，图像获取单元61获取输入图像，并将其提供给小区域中心选择单元62。

在步骤S32中，小区域中心选择单元62控制微分图像生成单元81，以生成微分图像。微分图像生成单元81为例如通过以下等式(1)表示的Sobel滤波器。

[数学式1]

$G_y=\left[\begin{array}{ccc}+1& +2& +1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]*A$

$G_x=\left[\begin{array}{ccc}+1& 0& -1\\ +2& 0& -2\\ +1& 0& -1\end{array}\right]*A$

$G=\sqrt{G_x^2+G_y^2}\·\·\·\left(1\right)$

这里，G_y表示通过使用垂直方向的Sobel滤波器处理矩阵A而获得的处理结果，其中，该Sobel滤波器由以下值构成：在上段从左起的值+1、+2和+1，在中段从左起的值0、0和0，以及在下段从左起的值-1、-2和-1。此外，矩阵A是由在三个像素×三个像素的区域中的像素值构成的矩阵，包括在中心处的目标像素以及邻近于目标像素的上、下、左、右、左上、右上、左下、和右下像素。

此外，G_x表示通过使用水平方向的Sobel滤波器处理矩阵A而获得的处理结果，其中，该Sobel滤波器由以下值构成：在上段从左起的值+1、0和-1，在中段从左起的值+2、0和-2，以及在下段从左起的值+1、0和-1。G表示通过将水平方向的Sobel滤波器的处理结果与垂直方向的Sobel滤波器的处理结果合成而获得的处理结果。

即，通过等式(1)表示的Sobel滤波器通过计算图像的微分值和微分方向来检测边缘。注意，等式(1)的Sobel滤波器为示例，并且各个值均可以为其他值。

在步骤S33中，最小值确定单元82将与输入图像的正向光栅扫描的开头位置相对应的像素设置为处理目标像素。

在步骤S34中，最小值确定单元82将处理目标像素的像素值与邻近于该处理目标像素的像素的像素值进行比较。即，最小值确定单元82以光栅扫描顺序布置输入图像的像素，并且将处理目标像素的像素值与布置在处理目标像素前后的像素的像素值进行比较。

在步骤S35中，最小值确定单元82确定处理目标像素的像素值相对于邻近像素的像素值是否为最小值。更具体地，如果不存在值比处理目标像素的值更小的邻近像素，则最小值确定单元82将处理目标像素看作最小值像素。此外，如果存在如下像素，则最小值确定单元82确定处理目标像素不具有最小值：其具有与处理目标像素相同的值，并且被确定为在已经处理并邻近于处理目标像素的像素当中不具有最小值的像素。

例如，如图6的上段中所示出，当以直方图示出按光栅扫描顺序布置的像素P1至P9的像素值时，按以下方式确定像素值是否为最小值。即，在处理目标像素为像素P2的情况下，最小值确定单元82基于关于像素P1与像素P2之差以及像素P3与像素P2之差的信息，确定像素P2是否具有最小值。

在图6的上段中，像素P2的像素值小于邻近像素P1和P3的像素值中的任一个，并且不存在像素值比像素P2的像素值小的像素。因此，最小值确定单元82确定像素P2具有最小值。

此外，在处理目标像素为像素P3的情况下，像素P3的像素值大于邻近像素P2和P4的像素值中的任一个，并且存在像素值比像素P3的像素值小的像素。因此，最小值确定单元82确定像素P3的像素值不是最小值。

此外，在处理目标像素为像素P4的情况下，像素P4的像素值小于邻近像素P3的像素值且等于像素P5的像素值，并且不存在像素值比像素P4的像素值小的像素。因此，最小值确定单元82确定像素P4的像素值是最小值。

此外，在处理目标像素为像素P5的情况下，像素P5的像素值等于邻近像素P4和P6的像素值，并且不存在像素值比像素P5的像素值小的像素。因此，最小值确定单元82确定像素P5的像素值是最小值。

此外，在处理目标像素为像素P6的情况下，像素P6的像素值等于邻近像素P5的像素值且大于P7的像素值，并且存在像素值比像素P6的像素值小的像素。因此，最小值确定单元82确定像素P6的像素值不是最小值。

此外，在处理目标像素为像素P7的情况下，像素P7的像素值小于邻近像素P6的像素值且等于像素P8的像素值，并且不存在像素值比像素P7的像素值小的像素。因此，最小值确定单元82确定像素P7的像素值是最小值。

此外，在处理目标像素为像素P8的情况下，像素P8的像素值等于邻近像素P7的像素值且小于P9的像素值，并且不存在像素值比像素P8的像素值小的像素。因此，最小值确定单元82确定像素P8的像素值是最小值。

如果在步骤S35中确定处理目标像素具有最小值，则在步骤S36中最小值确定单元82将处理目标像素存储为具有最小值的像素。注意，如果在步骤S35中确定处理目标像素不具有最小值，则跳过步骤S36中的处理。

在步骤S37中，最小值确定单元82确定在输入图像中是否存在未作为处理目标像素进行处理的未处理像素。如果存在未处理像素，在处理进行到步骤S38。

在步骤S38中，最小值确定单元82以正向光栅扫描顺序改变处理目标像素，并且处理返回到步骤S34。即，重复步骤S34至步骤S38中的处理，直到以光栅扫描的顺序针对输入图像的所有像素确定像素值是否为最小值为止。然后，在步骤S37中针对输入图像的所有像素确定了像素值是否为最小值，处理进行到步骤S39。

注意，在步骤S39至步骤S44中的处理与步骤S33至步骤S43中的上述处理相同，除了前者以反向光栅扫描顺序执行，而后者以正向光栅扫描顺序执行，因此省略对其的描述。

同时，当在按这种方式以正向光栅扫描顺序执行处理之后以反向光栅扫描顺序执行处理时，可以获得与通过以正向光栅扫描顺序进行该处理而获得的结果不同的结果。

即，当如图6的上段中那样以正向光栅扫描顺序执行处理之后以反向光栅扫描顺序执行处理时，如果处理目标像素为像素P2、P7和P8，则获得了与正向的结果相同的结果，但如图6的下段中，结果对于像素P4和P5是不同的。在像素P5的情况下，曾被处理的像素P6被确定为不具有最小值，然后像素值与像素P6的像素值相同的像素P5变为处理目标像素，因此，确定像素P5不具有最小值。类似地，对于像素P4，在反向光栅扫描顺序的处理中确定像素P5不具有最小值，然后像素值与像素P5的像素值相同的像素P4变为处理目标像素，因此，确定像素P4不具有最小值。

如上所述，正向光栅扫描顺序的处理的处理结果与反向光栅扫描顺序的处理的处理结果不同。因此，在步骤S42中，仅将在反向光栅扫描顺序的处理中确定为具有最小值的像素存储为具有最小值的像素。

在步骤S45中，最小值图像生成单元83基于关于由最小值确定单元82确定为具有最小值并存储的像素的信息而生成最小值图像，并将其与输入图像一起提供给小区域ID添加单元63。注意，这里，确定为不具有最小值的像素为空白的图像被生成为最小值图像。

在步骤S46中，小区域ID添加单元63将小区域ID添加到被设置为向其提供的最小值图像的最小值像素的各个像素。此时，对于最小值图像中的像素，在不是像素单独存在而是多个像素彼此相邻存在的情况下，将由这些相邻像素构成的区域看作小区域，并且共同的小区域ID被添加到构成该小区域的所有像素。在这种情况下，没有给出小区域ID，或者将表示空白的值添加到确定为不具有最小值的像素。

小区域ID添加单元63使用例如UNION-FIND方法(参见“The watershed transform：definitions，algorithms，and parallelization strategies”(2000)，J.B.T.M.Roerdink and A.Meij ster，Fundamenta Informaticae 41，pp.187-228)，以小区域为单位添加小区域ID。

在步骤S47中，小区域ID添加单元63生成初始小区域ID图，其中，按这种方式以被设置为小区域的区域为单位添加小区域ID，并且将该初始小区域ID图与输入图像一起提供给小区域扩展处理单元64。

在步骤S48中，小区域扩展处理单元64基于从小区域ID添加单元63提供的输入图像和初始小区域ID图，将小区域ID图中的各个小区域扩展到不具有小区域ID的空白像素的范围。更具体地，小区域扩展处理单元64重复以下处理：使像素的小区域ID传播到在上、下、左、右、左上、右上、左下、和右下方向上邻近于该像素的八个像素(在下文中，还称为周围的八个邻近像素)当中不具有小区域ID的像素。此时，以小区域中的像素值的升序执行扩展小区域ID的处理，即传播小区域ID的顺序。重复该处理，并且在所有像素均已被添加有任一小区域ID之后，处理结束。

在步骤S49中，小区域扩展处理单元64基于关于以小区域为单位添加的ID的信息而生成小区域ID图，并且将其提供给小区域ID图输出单元65。

在步骤S50中，小区域ID图输出单元65将所生成的小区域ID图提供给小区域邻近能量计算单元14和小区域似然能量计算单元15。

在前述处理中，例如，基于小区域ID图，利用白线划分在图4的左侧部分中示出的输入图像以围绕添加有相同小区域ID的区域，从而生成图像，由此生成被划分成小区域的图像，如图7所示。然后，当输入图像的对象图像与背景图像彼此分开时，可以通过使用该图像、以小区域为单位而不是以像素为单位来执行处理。结果，可以减小确定区域为绑定到对象图像的区域还是绑定到背景图像的区域的处理的次数，使得可以减小处理所需的存储器容量，并且可以提高处理速度。

现在，描述返回到图3中的流程。

在步骤S3的预分割处理中，生成小区域ID图，并且将其与输入图像一起提供给小区域邻近能量计算单元14和小区域似然能量计算单元15之后，处理进行到步骤S4。

在步骤S4中，小区域邻近能量计算单元14基于小区域ID图和输入图像，使用以下等式(2)计算彼此邻近的小区域之间的小区域邻近能量。然后，小区域邻近能量计算单元14将作为计算结果的各个小区域的小区域邻近能量、输入图像和小区域ID图提供至分割执行单元16。

[数学式2]

E_N＝∑exp(-β·||I_p-I_q||²)

β＝(2<||I_p-I_q||²>)^-1 …(2)

这里，E_N表示小区域之间的邻近能量，以及I_p和I_q表示在小区域之间的边界处彼此邻近的一对像素各自的像素值。此外，β表示像素值之差的平方值在整个图像中的期望值，并且是用于将在像素值之差的分布中的中心值调整为约为0.5的值的参数。在β的等式中的符号<A>表示A的期望值。

即，在如图8所示那样存在小区域Z1和Z2的情况下，邻近像素对为像素P1与像素P11、像素P2与像素P12、像素P3与像素P13、像素P3与像素P14、像素P4与像素P14、像素P4与像素P15、像素P5与像素P14、以及像素P6与像素P16。

这样，在小区域之间的邻近能量E_N为通过以小区域为单位累加邻近小区域的邻近像素之间的像素值之差的平方值而获得的值。因此，如果在彼此邻近的小区域中的像素当中存在高相关性的多个像素，则小区域之间的邻近能量E_N较高；以及如果存在低相关性的像素值之差较大的多个像素，则小区域之间的邻近能量E_N较低。

在步骤S5中，小区域似然能量计算单元15控制绑定区域设置单元31，以从三元图图像中提取作为对象图像的像素绑定的像素(即，对象绑定像素)。

在步骤S6中，绑定区域设置单元31基于小区域ID图，将各个小区域中的对象绑定像素设置为对象绑定候选像素。

在步骤S7中，小区域似然能量计算单元15控制绑定区域设置单元31，以从三元图图像中提取作为背景图像的像素绑定的像素(即，背景绑定像素)。

在步骤S8中，绑定区域设置单元31基于小区域ID图，将各个小区域中的背景绑定像素设置为背景绑定候选像素。

在步骤S9中，绑定区域设置单元31将仅包括对象绑定候选像素的小区域设置为对象绑定小区域，并且将仅包括背景绑定候选像素的小区域设置为背景绑定小区域。此外，绑定区域设置单元31在不产生矛盾的情况下划分包括对象绑定候选像素和背景绑定候选像素这两者的小区域，并将它们设置为对象绑定小区域和背景绑定小区域。

在步骤S10中，小区域似然能量计算单元15控制代表色设置单元32，以设置各个小区域的代表色。更具体地，代表色设置单元32计算包括在各个小区域中的像素的像素值的加权平均，由此确定各个小区域的代表色。即，如果计算包括在每个小区域中的像素值的简单平均值作为代表色，则由于在两个小区域之间的边界附近的像素值的颜色混合而获得包括颜色混合的平均像素值，使得不能以高精确性获得下述似然能量。

例如，如在图9的左部中所示，在设置了区域Z1和Z2中的像素值的波形的情况下，在小区域边界Eg附近的像素值的变化非常显著，因此，存在通过混合包括在彼此邻近的小区域Z1和Z2中的多个像素值而生成的多个像素值。因此，如果简单地计算小区域中的所有像素的像素值的平均值，则获得约为两个小区域的中间值的像素值，而不是原始小区域中的像素值的平均值，如图9的右上段所示。结果，不能准确地表达两个小区域的代表色。

然后，如图9的右下段中粗实线所示，对表示像素位置的空间设置在边界附近较小的平均权重，并且各个像素的像素值通过与权重相乘后再相加。这样，可以设置约为小区域Z1和Z2中的像素值的原始波形的代表色，如图9的右侧中段所示。作为用于对表示像素位置的空间设置在边界附近较小的权重的方法，例如，可以使用在图9的右下段以虚线示出的微分图像的微分值的倒数。

因此，代表色设置单元32将像素值与权重相乘，以使权重对于在各边界附近的像素而言较小，如图9的右下段中所示，此外，对它们进行积分以设置用作各个小区域的代表色的像素值。

在步骤S11中，小区域似然能量计算单元15控制对象似然计算单元33，以计算各个小区域的对象似然。更具体地，首先，对象似然计算单元33基于对象绑定小区域(或者背景绑定小区域)生成表示高斯混合模型的函数p(x)。

即，通过将对象绑定小区域用作作为第一数据样本的一个簇(cluster)，对象似然计算单元33计算平均向量μ。此外，通过将对象绑定小区域用作作为第一数据样本的一个簇，对象似然计算单元33计算协方差矩阵∑。然后，对象似然计算单元33基于所计算出的平均向量μ和协方差矩阵∑生成高斯混合模型p(x)，其中，对象绑定小区域为第一数据样本。

这里，高斯混合模型的函数p(x)是表示所给出的D维数据x的似然的函数，如由以下等式(3)所表达的。此外，高斯混合模型的函数p(x)是由等式(4)表达的、与权重H_k相乘后的K个D维高斯函数N(x|μ_k，∑_k)(系数k：k＝1，2...K)的总和。

[数学式3]

$p\left(x\right)=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{H}_{k}N\left(x\right|{\mathrm{\&mu;}}_k,{\mathrm{\&Sigma;}}_k)\&CenterDot;\&CenterDot;\&CenterDot;\left(3\right)$

[数学式4]

$N\left(x\right|\mathrm{\&mu;},\mathrm{\&Sigma;})=\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{D/2}}\frac{1}{{\left|\mathrm{\&Sigma;}\right|}^{1/2}}\exp \{-\frac{1}{2}{(x-\mathrm{\&mu;})}^T{\mathrm{\&Sigma;}}^{-1}(x-\mathrm{\&mu;})\}\&CenterDot;\&CenterDot;\&CenterDot;\left(4\right)$

这里，当给出了以系数k分类的D维数据x时，高斯函数N(x)为如下函数：其使用平均向量μ_k、协方差矩阵∑_k的转置矩阵∑_k ^-1、以及协方差矩阵∑_k的行列式|∑_k|来表示以系数k分类D维数据x的高斯模型的似然。

注意，对于高斯混合模型的构建，已知期望最大化法。具体地，参见“Pattern Recognition and Machine Learning”(2006)，Bishop，Christopher M.，Series：Information Science and Statistics，ISBN：978-0-387-31073-2。

在步骤S12中，小区域似然能量计算单元15控制背景似然计算单元34，以计算各个小区域的背景似然。注意，在该处理中，以与通过对象似然计算单元33执行的方法相似的方法来计算背景似然。

在步骤S13中，小区域似然能量计算单元15基于由对象似然计算单元33计算出的各个小区域的对象似然以及由背景似然计算单元34计算出的各个小区域的背景似然，计算各个小区域的小区域似然能量。更具体地，小区域似然能量计算单元15使用以下等式(5)计算各个小区域的小区域似然能量，并将计算结果提供给分割执行单元16。

[数学式5]

E_L＝log(p_OBJ(x))-log(p_BG(x))…(5)

这里，E_L表示小区域似然能量，P_OBJ(x)表示对象似然，P_BG(x)表示背景似然，以及x表示小区域的代表色。

即，随着代表色x中对象似然与背景似然之差越小，则小区域似然能量E_L越大，而随着对象似然与背景似然之差越大，则小区域似然能量EL越小。

在步骤S14中，分割执行单元16基于小区域邻近能量、小区域似然能量、输入图像和小区域ID图来执行分割处理。利用该处理，分割执行单元16将小区域用作节点来设置图形切割边界。即，分割执行单元16通过将小区域用作节点来根据小区域ID图构建图形，将小区域似然能量和小区域邻近能量设置到图形的边缘，并且计算图形切割边界。结果，基于小区域组而不是像素组，设置图形的边缘。

在步骤S15中，分割执行单元16以小区域为单位沿着所计算出的图形切割边界对属于对象图像的像素设置代表对象图像的值，并且对属于背景图像的像素设置代表背景图像的值。利用该处理，分割执行单元16生成对应于例如图4的左部中所示的输入图像的、由表示图4的右部所示的对象和背景的二进制数构成的二值掩码图像，并且将其提供给输出单元17。输出单元17输出由分割执行单元16生成的二值掩码图像，并且该处理结束。

利用上述处理，当使用图形切割处理生成二值图像时，在通过预分割处理将输入图像划分成小区域之后对其进行处理，使得可以使用小区域而不是像素作为节点来执行图形切割处理。结果，可以降低处理所需的存储器容量，并且可以提高处理速度。

此外，利用以上处理，将小区域的加权平均用作小区域的代表色，并且减小在边界附近的像素值的权重，使得可以减少周围小区域的颜色混合。结果，即使以小区域为单位执行诸如图形切割法的图像分割处理，也可以获得与通过以像素为单元的处理所获得的结果相类似的结果。

另外，以上已描述了由前述预分割执行单元根据输入图像直接生成微分图像的示例。例如，可以在计算微分图像之前应用边缘保留平滑滤波器，从而可以容易地留出边缘。

即，预分割执行单元13构建小区域，同时保留了原始图像的边缘。然后，通过应用边缘保留平滑滤波器，利用保留边缘来进一步扩展小区域，从而可以进一步节约存储器并且可以进一步提高处理速度。

用于图像的边缘保留平滑滤波器的示例包括均值平移滤波器和双边滤波器。

均值平移滤波器是这样的一种滤波器：其用于通过关注于图像的局部区域，找到该区域中密度最高的位置，并且在最高密度的方向上移动或更新处理目标像素，来在留出边缘的同时执行平滑(参见“Mean shift：a robust approach toward feature space analysis”，Comaniciu，D.；Meer，P.，Pattern Analysis and Machine Intelligence，IEEE Transactions on Volume24，Issue 5，May 2002)。

在另一方面，双边滤波器是这样的一种滤波器：其用于以关注于图像的局部区域并且通过混合距离和与目标像素的亮度差的两个权重执行平滑的方法，来在留出边界的同时执行平滑(参见“Bilateral filtering for gray and color images”，Tomasi，C.Manduchi，R.，International Conference on Computer Vision，1998)。

此外，已描述了上述预分割执行单元13使用Sobel滤波器来计算微分图像的示例。然而，可以应用另一边缘检测滤波器。例如，可以使用Canny边缘检测滤波器或Laplacian滤波器。

此外，对于由代表色设置单元32使用的加权平均，不仅可以使用微分图像的微分值的倒数，而且还可以使用另一种方法。作为由代表色设置单元32使用的加权平均，例如，可以通过将在小区域中心处的最小值作为中心颜色来使用周围像素的浓淡差的倒数，或者可以使用可变加权平均滤波。此外，作为由代表色设置单元32使用的加权平均，例如，可以使用k最近邻平均过滤，其中，在局部小区域的像素当中，按照从浓淡水平最接近中心颜色的浓淡水平的像素起的顺序提取k个像素，以获得平均颜色。

此外，在经微分处理的图像的各像素的像素值当中，小于等于特定阈值的像素值可以被设置为零，由此通过减少在小区域中心的像素数量、减小处理负载并且增大处理速度来执行输出。

此外，作为由代表色设置单元32使用的加权平均，仅将在小区域中心与包括在小区域中的像素之间的距离的倒数用于计算权重，或者可以计算并使用测地距。

此外，在计算测地距的情况下，可以选择像素值的变化程度最小的路径，并且可以将像素值的累积变化量用作距离。

此外，已描述了使用预分割处理以及图像分割的示例，但可以仅使用通过预分割处理获得小区域ID图或者将其与另一算法一起使用。

即，通过预分割处理获得小区域ID图(即，小区域图像)，可以将图像表示为简单的镶嵌图像，或者可以通过从输入图像中减去小区域图像来提取纹理信息。

此外，与计算机视觉问题的立体图像对应或对象跟踪相结合，可以提高处理速度和鲁棒性。

此外，仅当分辨率较高时且当期望将通过预分割处理生成的小区域数量与特定的小区域数量相比足够小时，例如，可以根据图像分辨率、使用预分割处理的结果，来执行分割处理。通过仅当可以获得好的效果时执行预分割处理，可以有效地执行处理。

可选地，可以仅当通过预分割处理生成的小区域的数量与特定的小区域数量相比足够小时，使用预分割处理的结果来执行分割处理。即，通过仅在通过预分割处理可以显著减轻图像分割处理的负载的情况下使用预分割处理的处理结果，可以有效地使用预分割处理的结果。

同时，以上一系列处理可以通过硬件来执行，并且也可以通过软件来执行。在通过软件执行这一系列处理的情况下，经由记录介质将构成软件的程序安装到与专用硬件相结合的计算机、或者能够通过安装各种类型的程序来执行各种类型功能的通用个人计算机。

图10示出了通用个人计算机的配置示例。该个人计算机包括CPU(中央处理单元)1001。输入/输出接口1005经由总线1004连接到CPU 1001。ROM(只读存储器)1002和RAM(随机存取存储器)1003连接到总线1004。

由用户用来输入操作命令的诸如键盘和鼠标的输入装置构成的输入单元1006、用于将处理操作画面或处理结果的图像输出到显示装置的输出单元1007、由硬盘驱动器等构成的用于存储程序和各种类型数据的存储单元1008、以及由LAN(局域网)适配器等构成并通过由互联网代表的网络执行通信处理的通信单元1009连接到输入/输出接口1005。此外，还连接了驱动器1010，该驱动器1010从可移动介质1011(诸如，磁盘(包括软盘)、光盘(包括CD-ROM(压缩盘只读存储器)和DVD(数字通用盘))、磁光盘(包括MD(迷你盘))、或者半导体存储器)中读取数据/将数据写入到可移动介质1011上。

CPU 1001根据程序执行各种类型的处理，其中，该程序存储在ROM1002中，或者从诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质1011中读取、安装到存储单元1008中、并且从存储单元1008加载到RAM1003。此外，如果需要，将CPU 1001执行各种类型的处理所需的数据存储到RAM 1003中。

应当注意，在本说明书中，描述处理过程的步骤当然可以根据所描述的顺序以时序执行，或者可以代替以时序执行而并行或单独执行。

附图标记列表

11输入图像获取单元、12三元图图像获取单元、13预分割执行单元、14小区域邻近能量计算单元、15小区域似然能量计算单元、16分割执行单元、17输出单元、61图像获取单元、62小区域中心选择单元、63小区域ID添加单元、64小区域扩展处理单元、65小区域ID图输出单元。

Claims (7)

1.一种图像处理设备，用于输出图像被分为对象和背景区域的二值掩码图像，所述图像处理设备包括：

三元图图像获取装置，用于获取所述图像以及所述图像被划分为对象区域、背景区域和其他区域的三元图图像；

预划分装置，用于基于像素之间的相关性对所述图像中的像素进行分类，由此将所述图像划分为小区域组；

小区域邻近能量计算装置，用于基于在所述小区域组中彼此邻近的一对小区域的边界附近的像素组的像素值之差，计算小区域邻近能量；

小区域似然能量计算装置，用于基于所述三元图图像而选择所述小区域组中的所述对象区域和所述背景区域，构建概率模型函数，使用所述概率模型函数获取各所述小区域组的对象似然和背景似然，并且使用所述对象似然和所述背景似然计算小区域似然能量；

划分装置，用于使用所述小区域邻近能量和所述小区域似然能量来将所述图像划分为前景和背景的二值掩码图像；以及

输出装置，用于输出由所述划分装置划分的所述二值掩码图像。

2.根据权利要求1所述的图像处理设备，

其中，所述小区域似然能量计算装置使用利用各所述小区域组的加权平均颜色的所述概率模型函数，来计算所述对象似然和所述背景似然。

3.根据权利要求1所述的图像处理设备，

其中，所述预划分装置还包括：小区域中心选择装置，用于在所述图像中的各像素当中将在光栅扫描的正方向上具有像素值的最小值的像素设置为小区域中心候选像素，然后从所述小区域中心候选像素当中选择在光栅扫描的反方向上具有最小值的像素作为小区域中心。

4.根据权利要求3所述的图像处理设备，

其中，所述小区域中心选择装置还包括用于对所述图像执行微分处理的微分处理装置，并且

将已由所述微分处理装置执行了所述微分处理的所述图像的各像素的像素值当中小于等于期望阈值的像素值设置为零，由此通过减小在所述小区域中心处的像素数来执行输出。

5.根据权利要求1所述的图像处理设备，

其中，所述预划分装置还包括：小区域扩展处理装置，用于以量化像素值的升序来设置扩展小区域的顺序。

6.一种图像处理方法，用于输出图像被分为对象和背景区域的二值掩码图像的图像处理设备，所述图像处理方法包括：

三元图图像获取步骤，用于获取所述图像以及所述图像被划分为对象区域、背景区域和其他区域的三元图图像；

预划分步骤，用于基于像素之间的相关性对所述图像中的像素进行分类，由此将所述图像划分为小区域组；

小区域邻近能量计算步骤，用于基于在所述小区域组中彼此邻近的一对小区域的边界附近的像素组的像素值之差，计算小区域邻近能量；

小区域似然能量计算步骤，用于基于所述三元图图像而选择所述小区域组中的所述对象区域和所述背景区域，构建概率模型函数，使用所述概率模型函数获取各所述小区域组的对象似然和背景似然，并且使用所述对象似然和所述背景似然计算小区域似然能量；

划分步骤，用于使用所述小区域邻近能量和所述小区域似然能量来将所述图像划分为前景和背景的二值掩码图像；以及

输出步骤，用于输出在所述划分步骤的处理中划分的所述二值掩码图像。

7.一种用于使计算机执行包括以下步骤的处理的程序，其中，所述计算机控制用于输出图像被分为对象和背景区域的二值掩码图像的图像处理设备，所述处理包括：

三元图图像获取步骤，用于获取所述图像以及所述图像被划分为对象区域、背景区域和其他区域的三元图图像；

预划分步骤，用于基于像素之间的相关性对所述图像中的像素进行分类，由此将所述图像划分为小区域组；

小区域邻近能量计算步骤，用于基于在所述小区域组中彼此邻近的一对小区域的边界附近的像素组的像素值之差，计算小区域邻近能量；

小区域似然能量计算步骤，用于基于所述三元图图像而选择所述小区域组中的所述对象区域和所述背景区域，构建概率模型函数，使用所述概率模型函数获取各所述小区域组的对象似然和背景似然，并且使用所述对象似然和所述背景似然来计算小区域似然能量；

划分步骤，用于使用所述小区域邻近能量和所述小区域似然能量来将图像划分为前景和背景的二值掩码图像；以及

输出步骤，用于输出在所述划分步骤的处理中划分的所述二值掩码图像。

Images