CN101673400B

CN101673400B - 图像处理设备和方法

Info

Publication number: CN101673400B
Application number: CN2009101690179A
Authority: CN
Inventors: 山田英史
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-09-08
Filing date: 2009-09-08
Publication date: 2012-09-05
Anticipated expiration: 2029-09-08
Also published as: US8204308B2; JP2010066802A; JP5045619B2; CN101673400A; US20100061658A1

Abstract

本发明公开一种图像处理设备、方法及其程序。该图像处理设备根据二值图像产生三值图像，其中二值图像的第一值和第二值表示输入图像的前景区域和背景区域，第三值表示在前景图像和区域背景图像区域之间的边界的预定宽度的未知区域。根据输入图像和三值图像产生比值图像，其具有表示第一值的比率的第四值。通过限定在三值图像中、与比值图像中的其第四值大于最小值且小于最大值的像素相对应的像素附近预定范围然后把在所限定的范围内的所有像素设置为第三值来更新三值图像。如果确定更新后的三值图像和更新前的三值图像相同或接近相同，则输出更新后的三值图像。

Description

图像处理设备和方法

技术领域

本发明涉及图像处理设备、方法和程序。更具体地说，本发明涉及图像处理设备、方法和程序，借以可以根据二进制掩模图像(mask image)(即二值图像)容易地产生高质量的三分图(trimap image)(即三值图像)。

背景技术

用于从照片或其它数字图像提取呈局部区域形式的对象的典型方法包括下面所述的方法。

第一种方法被称为图像分割法，这是一种使用用户的输入产生二值图像(即二进制掩模图像)从而分开前景对象图像和背景图像的方法。用户首先通过用矩形或自由线(套索工具)包围前景对象的边界，或者通过在前景对象图像和背景图像区域内描绘自由线(涂鸦)，来规定其想要切掉的区域。然后提取规定的区域作为前景对象图像。

图形切割是用于提取前景对象图像的另一种方法。利用图形切割，用户输入的信息被用来根据前景对象图像和背景图像两者的颜色分布或像素的颜色梯度计算构成要被切掉的前景对象图像的区域的边界。然后沿着计算的边界提取前景对象图像。(参见作者为C.Rother，V.Kolmogorov，A.Blake，名称为“Grabcut：Interactive Foreground Extractiion using Iterated Graph Cuts”的文献，发表于ACM Transactions 0n Graphics(SIGGRAPH’04，2004.)

同时，存在被称为α抠图(alpha matting)的第二种方法，利用α抠图，用户分别规定由前景对象图像构成的前景区域、由背景图像构成的背景区域以及未知区域。然后产生具有分别对应于各个区域的三个值的三值图像(三分图)，并产生α掩模图像。

α掩模图像由以像素为单位表示前景对象图像的透明度α的值(下面也称为α值)构成。换句话说，阿尔法(α)掩模图像是一种表示前景对象图像的透明度比率的比值图像(ratio image)。例如，对于构成前景对象图像的色彩模式(color pattern)为100％的区域内的像素，透明度可被设置为α＝1，对于色彩模式为0％的区域，设置α＝0，对于50％的中间颜色，设置α＝0.5。由此，便形成了其像素值表示透明度α的阿尔法掩模图像。因而，通过把前景对象图像的像素值乘以对应的阿尔法掩模图像中的每个像素的透明度α，可以产生包含前景对象图像的提取图像。

如上所述的用于从三值图像产生阿尔法掩模图像的一种方法被称为鲁棒抠图(robust matting)。使用描绘工具或类似功能，用户产生三分图(即三值图像)。然后，使用根据输入图像中的像素值确定的约束参数，或在未知区域的边界附近采样的像素颜色值，程序根据三分图计算未知区域的α值。例如，对于对象，计算的α值可能是α＝1，对于背景，可能是α＝0。(参见作者为Jue Wang和M.F.Cohen，名称为“Optimized ColorSampling for Robust Matting”的文献，发表于Computer Vision andPattern Recognition，2007.)

发明内容

因为通过阿尔法抠图产生的阿尔法掩模图像可以比通过图像分割产生的二进制掩模图像更精确地表达对象边界，阿尔法掩模图像更好地适用于前景对象图像提取。

不过，对于用户，产生输入的三分图是困难而费力的，因为其涉及用户按照区域合适地修改描绘工具的属性，例如画笔颜色和浓度。

此外，三分图的质量极大地影响最终的阿尔法掩模图像，因而需要规定一个尽可能紧密地邻接对象边界的精确的未知区域。

综上所述，虽然通过图像分割进行的处理能够利用用户平凡的输入操作分离背景图像和前景对象图像，结果得到二进制掩模图像，但是精确的对象提取可能是有问题的。

在另一方面，虽然由阿尔法抠图产生的阿尔法掩模图像可以生产精确的对象提取，但阿尔法抠图涉及用户仔细地跟随前景对象图像的轮廓，并设置适合于特定边界的画笔浓度。因而，阿尔法抠图涉及困难而费力的输入操作。

由上述可见，特别需要提供一种能够由二进制掩模图像容易地产生高质量的三分图(三值图像)的手段，借以能够通过对产生的三值图像进行阿尔法抠图来容易地产生阿尔法掩模图像。

按照本发明的一个实施例的图像处理设备包括如下：三值图像产生装置根据二值图像产生由第一值到第三值构成的三值图像，其中二值图像由第一值和第二值构成，第一值以像素为单位表示输入图像中的前景图像区域，第二值类似地表示背景图像区域，以及其中，三值图像的第三值表示与前景图像区域以及背景图像区域二者不同地被限定的未知区域，使得所述未知区域被限定为在前景图像区域和背景图像区域之间的边界具有预定宽度。比值图像产生装置，用于根据输入图像和三值图像产生比值图像，其中比值图像由第四值构成，该第四值以像素为单位表示第一值的比率。更新装置，其通过限定与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、三值图像中的像素附近的预定范围并且把所述限定的范围内的所有像素设为所述第三值来更新所述三值图像。确定装置，其确定由更新装置更新的三值图像是否与更新装置更新之前的三值图像相同或几乎相同。输出装置，其用于如果确定由更新装置更新的三值图像与更新装置更新之前的三值图像相同或几乎相同，则输出更新的三值图像。

图像处理设备还可以被配置以进一步包括扩展量限定装置，其以像素为单位来限定与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、三值图像中的像素附近的范围，所述范围以扩展量的形式被限定。更新装置通过把预定范围内的所有像素设置为第三值来更新所述三值图像，该预定范围是通过扩展量在与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、所述三值图像中的像素附近限定的范围。

图像处理设备还可以被配置以进一步包括扩展方向限定装置，其以像素为单位限定与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、三值图像中的像素附近的范围，所述范围以扩展方向的形式被限定。更新装置通过把预定范围内的所有像素设置为第三值来更新所述三值图像，该预定范围是通过扩展方向在与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、所述三值图像中的像素附近限定的范围。。

图像处理设备还可以被配置以进一步包括扩展矢量限定装置，其以像素为单位限定与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、三值图像中的像素附近的范围，所述范围以扩展矢量的形式被限定，所述扩展矢量由扩展方向和扩展量构成。更新装置通过把预定范围内的所有像素设置为第三值来更新所述三值图像，所述预定范围是通过扩展矢量在与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、所述三值图像中的像素附近限定的范围。

图像处理设备还可以被这样配置，使得扩展矢量的扩展方向包括源自输入图像或比值图像的边缘正切流矢量的方位，或者可替选地，包括相对于由比值图像中取预定比率的像素所形成的边界垂直的方向。

图像处理设备还可以被这样配置，使得如果确定由更新装置更新的三值图像与更新装置更新之前的三值图像相同或几乎相同，则比值图像产生装置根据被更新装置更新的三值图像和输入图像产生比值图像，其中该比值图像由以像素为单位表示第一值的比率的第四值构成。更新装置把与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、所述三值图像内的像素附近的预定范围内的所有像素设置为第三值。

图像处理设备还可以被这样配置，使得在确定由更新装置更新的三值图像与更新装置更新之前的三值图像相同或几乎相同之前，比值图像产生装置和更新装置重复地进行处理，以使得：根据被更新装置更新的三值图像和输入图像产生比值图像，其中该比值图像由以像素为单位表示第一值的比率的第四值构成；以及，把与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、三值图像内的像素附近的预定范围内的所有像素设置为所述第三值。

按照本发明的另一个实施例的一种图像处理方法用于一种图像处理设备。所述图像处理设备包括：三值图像产生装置，用于根据二值图像产生由第一值到第三值构成的三值图像，其中二值图像由第一值和第二值构成，所述第一值以像素为单位表示输入图像中的前景图像区域，所述第二值类似地表示背景图像区域，其中三值图像的第三值表示与前景图像区域以及背景图像区域二者不同地被限定的未知区域，使得所述未知区域被限定为在前景图像区域和背景图像区域之间的边界具有预定宽度；比值图像产生装置，用于根据输入图像和三值图像产生比值图像，其中比值图像由第四值构成，所述第四值以像素为单位表示第一值的比率；更新装置，用于通过限定与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、三值图像中的像素附近的预定范围并且把所述限定的范围内的所有像素设为所述第三值来更新所述三值图像；确定装置，用于确定由更新装置更新的三值图像是否与更新装置更新之前的三值图像相同或几乎相同；以及输出装置，用于如果确定由更新装置更新的三值图像与更新装置更新之前的三值图像相同或几乎相同，则输出更新的三值图像。该所述图像处理方法包括以下步骤：借助于所述三值图像产生装置，根据二值图像产生由第一值到第三值构成的三值图像，其中二值图像由第一值和第二值构成，所述第一值以像素为单位表示输入图像中的前景图像区域，所述第二值类似地表示背景图像区域，其中三值图像的第三值表示与前景图像区域以及背景图像区域二者不同地被限定的未知区域，使得所述未知区域被限定成在前景图像区域和背景图像区域之间的边界具有预定宽度；借助于比值图像产生装置，根据输入图像和三值图像产生比值图像，其中比值图像由第四值构成，所述第四值以像素为单位表示第一值的比率；借助于更新装置，通过限定与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、三值图像中的像素附近的预定范围以及把所述限定的范围内的所有像素设为所述第三值来更新所述三值图像；借助于所述确定装置，确定由更新装置更新的三值图像是否与更新装置更新之前的三值图像相同或几乎相同；以及借助于所述输出装置，如果确定由更新装置更新的三值图像与更新装置更新之前的三值图像相同或几乎相同，则输出更新的三值图像。

根据本发明另一个实施例的程序使得在用于控制图像处理设备的计算机上执行处理。该图像处理设备包括：三值图像产生装置，用于根据二值图像产生由第一值到第三值构成的三值图像，其中二值图像由第一值和第二值构成，所述第一值以像素为单位表示输入图像中的前景图像区域，所述第二值类似地表示背景图像区域，其中三值图像的第三值表示与前景图像区域以及背景图像区域二者不同地被限定的未知区域，使得所述未知区域被限定为在前景图像区域和背景图像区域之间的边界具有预定宽度；比值图像产生装置，用于根据输入图像和三值图像产生比值图像，其中比值图像由第四值构成，所述第四值以像素为单位表示第一值的比率；更新装置，用于通过限定与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、三值图像中的像素附近的预定范围并且把所述限定的范围内的所有像素设为所述第三值来更新所述三值图像；确定装置，用于确定由更新装置更新的三值图像是否与更新装置更新之前的三值图像相同或几乎相同；以及输出装置，用于如果确定由更新装置更新的三值图像与更新装置更新之前的三值图像相同或几乎相同，则输出更新的三值图像。该程序的所述处理包括以下步骤：借助于所述三值图像产生装置，根据二值图像产生由第一值到第三值构成的三值图像，其中二值图像由第一值和第二值构成，所述第一值以像素为单位表示输入图像中的前景图像区域，所述第二值类似地表示背景图像区域，其中三值图像的第三值表示与前景图像区域以及背景图像区域二者不同地被限定的未知区域，使得所述未知区域被限定为在前景图像区域和背景图像区域之间的边界具有预定宽度；借助于比值图像产生装置，根据输入图像和三值图像产生比值图像，其中比值图像由第四值构成，所述第四值以像素为单位表示第一值的比率；借助于更新装置，通过限定与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、三值图像中的像素附近的预定范围以及把所述限定的范围内的所有像素设为所述第三值来更新所述三值图像；借助于所述确定装置，确定由更新装置更新的三值图像是否与更新装置更新之前的三值图像相同或几乎相同；以及借助于所述输出装置，如果确定由更新装置更新的三值图像与更新装置更新之前的三值图像相同或几乎相同，则输出更新的三值图像。

按照本发明的一个实施例，根据二值图像产生由第一值到第三值构成的三值图像，其中二值图像由第一值和第二值构成，第一值以像素为单位表示输入图像中的前景图像区域，第二值类似地表示背景图像区域，以及其中，三值图像的第三值表示与前景图像区域以及背景图像区域二者不同地被限定的未知区域，使得所述未知区域被限定为在前景图像区域和背景图像区域之间的边界具有预定宽度。然后根据输入图像和三值图像产生比值图像，其中比值图像由第四值构成，该第四值以像素为单位表示第一值的比率。接着，其通过限定与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、三值图像中的像素附近的预定范围并且把所述限定的范围内的所有像素设为所述第三值来更新所述三值图像。确定更新的三值图像是否与更新之前的三值图像相同或几乎相同。如果确定更新的三值图像与更新之前的三值图像相同或几乎相同，则输出更新的三值图像。

按照本发明的实施例的图像处理设备可以是独立的装置，或者是执行图像处理的部件。

按照本发明的一个实施例，可能根据二进制掩模图像容易地产生高质量的三分图(即三值图像)，此外，可能通过对产生的三值图像进行阿尔法抠图而容易地产生精确的阿尔法掩模图像。

附图说明

图1是表示可以应用本发明的实施例的图像处理设备的示例配置的方框图；

图2是用于说明根据输入图像产生阿尔法掩模图像的处理的图；

图3是用于说明图1中三分图更新器的示例配置的方框图；

图4是用于说明图3中的边缘流产生器的示例配置的方框图；

图5是用于说明图3中的像素更新器的示例配置的方框图；

图6是用于说明三分图产生处理的第一周期的流程图；

图7表示示例的输入图像；

图8表示示例的二进制掩模图像；

图9表示示例的三分图；

图10是用于说明三分图更新处理的流程图；

图11是用于说明边缘流产生处理的流程图；

图12是用于说明边缘流的图；

图13是用于说明椭圆采样的图；

图14是用于说明在椭圆采样中的采样点的图；

图15是用于说明尺寸阵列的图；

图16是用于说明标记更新处理的流程图；

图17是用于解释标记更新处理的图；

图18表示在重复更新之后的示例的三分图；

图19表示在重复更新之后的示例的阿尔法掩模图像；以及

图20是用于解释个人计算机的示例配置的图。

具体实施方式

[图像处理设备的示例配置]

图1表示应用了本发明的实施例的图像处理设备的示例配置。

在图1所示的图像处理设备1中，用户简单地指定关于输入图像的要被提取的前景对象图像和背景图像。按照这种处理，图像处理设备1能够容易地产生三分图，用来产生在提取前景对象图像时使用的阿尔法掩模图像(即，表示前景对象图像的透明度比率的比值图像)。

图像处理设备1包括输入图像获取器11，二进制掩模图像产生器12，扩展三分图产生器13，阿尔法掩模图像产生器14，三分图更新器15，收敛确定单元16以及输出单元17。

输入图像获取器11获取包含要被提取的前景对象图像的输入图像I，并将输入图像I提供给二进制掩模图像产生器12、扩展三分图产生器13以及阿尔法掩模图像产生器14。

二进制掩模图像产生器12根据输入图像获取器11提供的输入图像I产生二进制掩模图像B。例如，二进制掩模图像产生器12可以借助于图形分割或类似对象提取技术来提取前景对象图像。这样产生的二进制掩模图像B被提供给扩展三分图产生器13。

更具体地说，如图2中以举例方式所示的，使用矩形框F或类似工具选择要从输入图像I中提取的前景对象图像，如图像I’所示。

在此处的输入图像I’中，框F内的幼犬的图像被选作前景对象图像，框F外部的范围被选作背景图像。当对上述输入图像I’应用图形分割时，二进制掩模图像产生器12使用前景对象图像和背景图像中的采样颜色作为利用统计信息(即分布偏倚(bias))分离前景对象图像的基础。

换句话说，二进制掩模图像产生器12这样进行分离，使得在输入图像I’中框F内的边缘部分画出前景对象图像与背景图像之间的边界。结果，像素分别与前景对象图像或背景图像相关地被标以1或0。例如，二进制掩模图像产生器12可以使标记为1的前景对象图像区域内的像素值为白，而使标记为0的所有其它像素为黑。通过这种处理，二进制掩模图像产生器12产生二进制掩模图像B，如图2的右上部所示。

根据输入图像I和二进制掩模图像B，扩展三分图产生器13在前景对象图像和背景图像之间的边界设置一个预定宽度的未知区域。换句话说，扩展三分图产生器13沿着构成前景对象图像的区域和构成背景图像的区域之间的边界限定一个宽度等于预定像素数的带。扩展三分图产生器13将构成所述带的区域内的像素设为未知像素。按照这样的处理，产生三分图T，其由三种类型的像素构成：属于前景对象图像的像素(标记＝1)，属于背景图像的像素(标记＝0)，以及未知像素(标记＝-1)。

换句话说，扩展三分图产生器13产生由三种像素值构成的三分图T，如图2的左下方以举例方式所示的。然后把三分图T提供给阿尔法掩模图像产生器14。在图2所示的三分图T中，在标记为1的前景对象图像区域中的像素值被设为白(即最大像素值)。在标记为0的背景图像区域中的像素值被设为黑(即最小像素值)。在标记为-1的未知区域中的像素值被设为灰(即中间像素值)。然后扩展三分图产生器13把这样产生的三分图T提供给阿尔法掩模图像产生器14和收敛确定单元16。

在初始处理中，阿尔法掩模图像产生器14从扩展三分图产生器13获得三分图T。在初始处理之后的随后的处理中，阿尔法掩模图像产生器14获取由收敛确定单元16提供的三分图T。

阿尔法掩模图像产生器14对三分图T应用鲁棒抠图(见Wang等人)，例如产生阿尔法掩模图像A，如图2的右下方所示的，并把阿尔法掩模图像A提供给三分图更新器15和收敛确定单元16。在阿尔法掩模图像A中，前景对象图像的每个像素的透明度被表示为α＝1，背景图像的透明度被表示为α＝0，在上述之间的中间区域的像素的透明度被表示为α，其中0＜α＜1。

更具体地说，在图2所示的前景对象图像中表示的幼犬具有长的皮毛，以皮毛部分作为与背景区域的边界。出于这个原因，在前景对象图像和背景图像之间的边界附近的像素含有在前景对象区域中的幼犬的皮毛和背景图像两者的混合颜色。因而，在许多情况下，对于边界附近的像素，透明度α取0＜α＜1的值。因而，在输入图像的边界区域的像素的混合比(blendratio)当中，可以把透明度α取作前景对象图像中的颜色的混合比。

三分图更新器15通过定义在阿尔法掩模图像A中的具有0＜α＜1的透明度α的像素以及邻近像素为未知区域中的像素来产生三分图T’。然后，三分图产生器15把这个新产生的三分图T’作为三分图T的更新结果提供给收敛确定单元16。稍后将参照图3说明三分图更新器15的详细配置。

收敛确定单元16比较由三分图更新器15更新之前的三分图T和由三分图更新器15更新过的三分图T’，并确定这些图像是否相同(或几乎相同)。更详细地说，收敛确定单元16确定更新前的三分图T和更新后的三分图T’中的前景对象图像、未知像素和背景图像的分布是否匹配，如果这些图像不匹配或接近匹配，则收敛确定单元16把确定结果，连同三分图T’(现在被设置为三分图T)，一起提供给阿尔法掩模图像产生器14。与此相反，如果确定这些图像相同，则收敛确定单元16把通过对三分图T’进行鲁棒抠图导出的阿尔法掩模图像A，连同三分图T’(现在被设置为三分图T)，一起提供给输出单元17。

输出单元17作为处理结果输出收敛确定单元16提供的三分图T和通过对三分图T(或T’)进行鲁棒抠图导出的阿尔法掩模图像A。

换句话说，通过由二进制掩模图像B的值乘以输入图像I的每个像素，可以提取作为前景对象图像的幼犬的图像。不过，如果使用这种技术提取前景对象图像，在构成前景对象图像的幼犬的外边缘的皮毛部分将含有来自原始背景图像的渗色。因而，例如如果和另一个图像组合，所提取的前景对象图像将显得不自然。

因而，图像处理设备1使用鲁棒抠图使得由三分图T产生阿尔法掩模图像A，然后由产生的阿尔法掩模图像A反复地导出三分图T’。图像处理设备1重复类似的处理，直到三分图T和T’相同或接近相同，并且三分图T和T’中的变化收敛。按照这种处理，导出合适的三分图以及最佳的对应的阿尔法掩模图像。

[三分图更新器的示例配置]

现在参照图3详细说明三分图更新器15的示例配置。

三分图更新器15包括边缘流产生器31，像素更新器32，椭圆阵列管理器33，以及更新三分图输出单元34。借助于这种配置，三分图更新器15通过根据阿尔法掩模图像A和三分图T产生三分图T’来更新三分图T。

边缘流产生器31计算根据每个像素的亮度导出的二维空间中的每个像素的边缘流矢量。然后把计算的边缘流矢量提供给像素更新器32和椭圆阵列管理器33。边缘流矢量是一种二维矢量(tx，ty)，表示单个像素的方向。更详细地说，边缘流矢量由对单个像素设定的三个参数构成：归一化的矢量(tx，ty)，以及矢量幅值。其中，归一化的矢量指幅值为1的矢量。边缘流矢量表示图像中显著的边缘的方向(即流动(flow))，除去图像中角或线相交的位置，其在相邻的像素之间平滑地改变。不过，对于图像的平坦的部分，未定义边缘流矢量，因而可以定义零矢量，或者在合适的情况下复制附近的矢量。稍后将参照图4说明边缘流产生器31的详细配置。

像素更新器32限定一个由边缘流矢量设定的、以在阿尔法掩模图像A中具有0＜α＜1的透明度α的、因而不属于前景对象图像也不属于背景图像的像素为中心的预定椭圆。然后像素更新器32更新由该椭圆限定的包围着的范围内的三分图T中的像素，并把这些像素定义为未知像素。更详细地说，像素更新器32参考在椭圆阵列管理器33中预先设置的尺寸阵列svec，以便对每个像素限定一个椭圆采样区域，然后把椭圆采样区域内的像素设定为未知区域内的像素。按照这种处理，像素更新器32产生三分图T’。把这样产生的三分图T’输出到更新三分图输出单元34。稍后将参照图5说明像素更新器32的详细配置。

在椭圆阵列管理器33中，定义一个尺寸阵列svec，使得要被椭圆采样的若干像素与椭圆的短轴的位置相关联。尺寸阵列svec由像素更新器32用来产生三分图T’。

更新三分图输出单元34连续地存储关于通过像素更新器32参考尺寸阵列svec处理的更新三分图T’的信息。一旦所有像素都被处理，便把该信息提供给收敛确定单元16。

[边缘流产生器的示例配置]

现在参照图4说明边缘流产生器31的详细配置。

边缘流产生器31包括亮度转换器51，水平赛贝尔(Sobel)滤波器52，垂直赛贝尔滤波器53，矢量旋转器54以及非线性平滑处理器55。边缘流产生器31根据阿尔法掩模图像A导出边缘流矢量。

亮度转换器51把阿尔法掩模图像A转换成亮度图像(intensity image)，并把结果提供给水平赛贝尔滤波器52和垂直赛贝尔滤波器53。水平赛贝尔滤波器52应用赛贝尔滤波处理，以便检测亮度图像中各个像素的水平边缘，然后把每个像素的检测结果提供给矢量旋转器54。垂直赛贝尔滤波器53应用赛贝尔滤波处理，以便检测亮度图像中各个像素的垂直边缘，然后把每个像素的检测结果提供给矢量旋转器54。

根据来自水平赛贝尔滤波器52和垂直赛贝尔滤波器53的每个像素的滤波结果，矢量旋转器54构造边缘流矢量，并将其顺时针旋转90度。此时，来自水平赛贝尔滤波器52和垂直赛贝尔滤波器53的每个像素的滤波结果作为垂直于边缘的微分矢量被评价。严格地说，关于垂直于边缘的这些微分矢量的归一化的形式(version)和幅值的信息被称为“边缘梯度流矢量”。与此相对，沿着跟随边缘的方向的矢量，严格地说，被称为“边缘切向流矢量”。换句话说，边缘梯度流矢量和边缘切向流矢量是正交的。

因此，矢量旋转器54通过顺时针旋转边缘梯度流矢量90度，把其转换成边缘切向流矢量。下面，术语“边缘流矢量”用于指边缘切向流矢量，但是应当理解，代替边缘切向流矢量，也可以使用边缘梯度流矢量。关于边缘切向流矢量的更进一步的细节，例如可参见作者为H.Kang，S.Lee，和C.Chui，名称为“Coherent Line Drawing”的文献，发表于Proc.ACMSymposium on Non-photorealistic Animation and Rendering，2007。

非线性平滑处理器55以非线性的方式平滑归一化的矢量(单位幅值的边缘流矢量)，使得从一个像素到一个像素这些矢量平滑地改变。然后把平滑结果提供给像素更新器32。

[像素更新器的示例配置]

现在参照图5说明像素更新器32的示例的详细配置。

像素更新器32包括：标记更新器71，长轴坐标管理器72和短轴坐标管理器73。像素更新器32根据阿尔法掩模图像A更新三分图T，借以产生三分图T’。

根据基于每个像素设置的并被预先存储在椭圆阵列管理器33中的椭圆阵列信息，按照阿尔法掩模图像A中的每个像素的透明度α的值，标记更新器71确定是否将给定的像素标记为未知像素。在合适的情况下，标记更新器71标记给定的像素以及在设置的椭圆范围内的与其相关联的像素为未知像素。因而，标记更新器71对椭圆范围内的像素施加标记，同时使用长轴坐标管理器72和短轴坐标管理器73改变椭圆的长轴和短轴的坐标。

[三分图产生处理]

现在参照图6的流程图说明三分图的产生处理。

在步骤S1，输入图像获取器11确定是否提供了输入图像I，并重复类似的处理直到提供输入图像。例如，如果提供了象图7所示的输入图像I，则处理前进到步骤S2。图7表示一个示例的图像，其描绘一个被置于桌面中心的长毛绒马玩具。下面，在输入图像I中的长毛绒马玩具的图像区域被取作前景对象图像，图像的其余部分作为背景图像被处理。

在步骤S2，输入图像获取器11将上面输入的输入图像I提供给二进制掩模图像产生器12、扩展三分图产生器13和阿尔法掩模图像产生器14。二进制掩模图像产生器12通过使用关于输入图像I中的前景对象图像和背景图像中的采样颜色的统计信息(即分布偏倚)分离前景对象图像，从而产生二进制掩模图像B。产生的二进制掩模图像B被提供给扩展三分图产生器13。

更具体地说，当给定一个如图7所示的输入图像I时，当把中央的长毛绒马玩具设置为前景对象图像时，便产生如图8所示的二进制掩模图像B。图8表示由两个值构成的示例的二进制掩模图像B，使得前景对象图像的区域被标记为1，而背景图像的区域被标记为0。换句话说，在图8中，在前景对象图像和背景图像之间的边界未设置一个未知区域。

在步骤S3，扩展三分图产生器13在前景对象图像和背景图像之间的边界附近设置一个预定宽度的未知区域。例如，如果把用于限定未知区域的宽度设为w(即w个像素的宽度)，则扩展三分图产生器13对未知区域内的像素施加标记-1。扩展三分图产生器13用一种两阶段处理来导出该未知区域，其中在二进制掩模图像B中的所有像素沿水平方向和垂直方向被处理。

更具体地说，在第一阶段，扩展三分图产生器13把二进制掩模图像B作为输入，然后限定一个到要被处理的目标像素的左边w个像素，到要被处理的目标像素的右边w个像素的范围。然后，扩展三分图产生器13确定在所限定的范围内是否具有被与中央目标像素不同地标记的像素。例如，如果存在被与目标像素不同地标记的像素，则扩展三分图产生器13将目标像素识别为被包含在未知区域中，并对其施加标记-1。

与此相反，如果在中央目标像素的左、右各w个像素的范围内没有被和目标像素不同地标记的像素，则扩展三分图产生器13保留目标像素的当前标记不变。结果，扩展三分图产生器13存储由上述的水平处理导出的中间三分图T1。

在第二阶段，扩展三分图产生器13取中间三分图T1为输入，然后限定一个在待处理的目标像素的上、下各w个像素的范围。与水平处理类似，扩展三分图产生器13然后确定在所限定的范围内是否具有被与中央目标像素不同地标记的像素。例如，如果存在被与目标像素不同地标记的像素，则扩展三分图产生器13将目标像素识别为被包含在未知区域中，并对该目标像素施加标记-1。按照这样的处理，三分图T1被更新，从而产生三分图T。

因而，对于二进制掩模图像B中的每个像素，扩展三分图产生器13确定在沿水平和垂直方向一个预定宽度为2w的范围内的包围的像素是否被相同地标记。如果在该范围内的像素未被相同地标记，则在该范围的中央的目标像素被标记为未知像素。按照这样的处理，便产生了如图9以举例方式示出的三分图T，其具有在前景对象图像和背景图像之间的边界附近设置的预定宽度的未知区域。

在图9所示的三分图T中，标记为1的白(即最大像素值)区域是前景对象图像区域。标记为0的黑(最小像素值)区域是背景图像区域。标记为-1的灰(即中间像素值)区域是未知区域。如图9所示，用灰色示出的未知区域总体上具有接近均匀的宽度。

扩展三分图产生器13把这种三分图T提供给阿尔法掩模图像产生器14、三分图更新器15和收敛确定单元16。

在步骤S4，阿尔法掩模图像产生器14使用三分图T作为基础，用于例如通过鲁棒抠图产生阿尔法掩模图像A(见Wang et al.)。产生的阿尔法掩模图像A被提供给三分图更新器15。

在步骤S5，三分图更新器15把三分图T更新为三分图T’，并把结果提供给收敛确定单元16。

[三分图的更新处理]

现在参照图10所示的流程图说明三分图的更新处理。

在步骤S31，边缘流产生器31导出每个像素的边缘流矢量，并把结果提供给像素更新器32和椭圆阵列管理器33。

[边缘流产生处理]

现在参照图11所示的流程图说明边缘流产生处理。

在步骤S51，亮度转换器51把阿尔法掩模图像A转换成亮度图像，并将结果提供给水平赛贝尔滤波器52和垂直赛贝尔滤波器53。

在步骤S52，水平赛贝尔滤波器52检测沿水平方向的边缘，导出垂直于沿图像的水平方向的边缘的边缘梯度流(即微分矢量的水平分量)，并把结果提供给矢量旋转器54。

在步骤S53，垂直赛贝尔滤波器53检测沿垂直方向的边缘，导出垂直于沿图像的垂直方向的边缘的边缘梯度流(即微分矢量的垂直分量)，并把结果提供给矢量旋转器54。

在步骤S54，矢量旋转器54将边缘梯度流矢量顺时针旋转90度，从而产生边缘切向流矢量，并把结果提供给非线性平滑处理器55。在此每个边缘切向流矢量由呈归一化矢量(即幅值为1的矢量)形式的水平分量和垂直分量以及关于矢量幅值的信息构成。如前所述，边缘切向流矢量以后被简称为边缘流矢量。

在步骤S55，非线性平滑处理器55以非线性的方式平滑边缘流矢量，并把平滑的边缘流矢量提供给像素更新器32。换句话说，作为非线性平滑的结果，维持显著的边缘，同时弱(weak)边缘被处理以使得跟随附近的显著的边缘，而不改变每个矢量的幅值。这得到其矢量取向平滑改变的边缘流矢量。

考虑输入图像类似于图12所示的图像P11的情况，该图描绘一只鸟的肖像及其羽毛。在这种情况下，提取应用非线性平滑之前的每个像素边缘流矢量的图像，类似于图像P12，通过对由边缘流矢量构成的图像P12应用非线性平滑，获得类似于图像P13的图像。用这种方式，描画边缘流矢量的图像保留鸟的羽毛的轮廓的特征，并通过应用非线性平滑，表达出羽毛的较为平滑的轮廓。

通过上述处理，导出每个像素的边缘流矢量(px，py)，该矢量由归一化的矢量元素(tx，ty)以及关于矢量幅值(mag)的信息构成。

现在返回图10所示的流程图继续进行说明。

一旦在步骤S31导出边缘流矢量，在步骤S32，三分图更新器15的椭圆阵列管理器33便设置要被用于椭圆采样的尺寸阵列svec。

椭圆采样可被应用于图13所示的像素。在图13中，椭圆的中心被置于三分图T的像素PP(px，py)上，具有长度为3·w的长半轴a和长度为w的短半轴b，并被定位成使得长轴沿着从像素PP得出的边缘流矢量(tx，ty)。椭圆阵列管理器33通过预先计算要被用作与短轴上的位置相关联地沿长轴方向被设置的采样点的像素的数量，限定尺寸阵列svec。该尺寸按照下式计算：

x＝√((1-y²/b²)×a²) (1)

应当理解，长轴和短轴的长度以及其它的长度可以自由地被设置。

更具体的说，在尺寸阵列svec中设置的采样点被假定取整数坐标位置，如图14以举例方式示出的。将讨论限制于第一象限时，对于索引(index)0具有8个采样点(由白圈表示)，其对应于长轴上b＝0，因而尺寸成为8。类似地，对于索引1具有7个采样点，其对应于短轴上的b＝1，因而尺寸为7。同样，对于索引2具有5个采样点，其对应于短轴上的b＝2，因而尺寸为5。对于索引3具有0个采样点，其对应于短轴上的b＝3，因而尺寸为0.

这样，椭圆阵列管理器33组合第一象限内的索引值和尺寸之间的关系，然后限定尺寸阵列svec，如图15以举例方式示出的。

在步骤S33，像素更新器32确定在阿尔法掩模图像A和三分图T内是否存在未被处理的像素。例如，如果存在未被处理的像素，则在步骤S34像素更新器32将未被处理的像素之一设置为目标像素(px，py)。

在步骤S35，确定阿尔法掩模图像A中的目标像素的透明度α是否大于最小值Th_min，此外，还确定透明度α是否小于最大值Th_max。换句话说，在步骤S35，确定被明确地作为目标被处理的像素是否既不属于前景对象图像，也不属于背景图像。

如果在步骤S35目标像素的透明度α大于最小值Th_min并小于最大值Th_max(即像素既不属于前景对象图像，也不属于背景图像)，则处理前进到步骤S36。

在步骤S36，像素更新器32更新由目标像素规定的三分图T上的椭圆范围内所有像素的标记，并把该范围内的像素标记为未知像素。

[标记更新处理]

现在参照图16所示的流程图说明标记更新处理。

在步骤S71，标记更新器71控制短轴坐标管理器73把短轴计数器设置为短轴长度w的负值(t＝-w)。

在步骤S72，短轴坐标管理器73确定计数器t是否小于或等于短轴长度w。例如，如果计数器t小于或等于w，则处理前进到步骤S73。

在步骤S73，标记更新器71计算

bx＝px+tx×t

by＝py+ty×t (2)

以便确定相对于三分图T中目标像素(px，py)要被设置为未知像素的椭圆范围内的像素的位置(bx，by)。

在此，bx和by是图17以举例方式示出的采样点(黑圈)之一的坐标(bx，by)。采样点由目标像素(px，py)限定，并位于椭圆范围内的t轴上。此外，tx，ty是源自目标像素(px，py)的边缘流矢量的Sx轴以及Sy轴分量。此外，t是计数器t的值。

换句话说，在步骤S73的处理中，跟随计数器t的采样点连续地取采样点Sp7，Sp6，Sp5，Sp4，...，和Sp1的位置，如图17所示。在图17中，目标像素(px，py)是像素TP，其被示出为三分图T上的方格单元，被表示为黑圈的采样点Sp4属于所述目标像素。

在步骤S74，长轴坐标管理器72针对存储在椭圆阵列管理器33中的尺寸阵列svec访问椭圆阵列管理器33，并读出对于等于计数器t的绝对值的索引所规定的尺寸(svec[abs(t)])。长轴坐标管理器72然后对读出的尺寸(svec[abs(t)])冠以负号，并把该值定义为计数器s。换句话说，对应于由计数器t设置的索引的尺寸的负值被从沿长轴限定的尺寸当中取出，并把该值定义为计数器s的值。

在步骤S75，长轴坐标管理器72确定计数器s是否小于或等于在椭圆阵列管理器33中存储的尺寸阵列svec中的与计数器t的绝对值相等的索引所对应的尺寸(svec[abs(t)])。

换句话说，计数器s和t分别表示s轴和t轴上的坐标，在这些轴上具有对应于要被设置为未知像素的像素的位置的采样点(s轴和t轴是流矢量(tx，ty)的轴)。为此，在步骤S75，确定在对应于当前计数器t的位置处在垂直于t轴(因而平行于s轴)的线上限定的采样点的s轴坐标当中，计数器s是否小于或等于椭圆范围内的最大值，如图17所示。

例如，如果计数器t是0，则对于索引0，尺寸成为svec[0]或8，如图15所示。从而，确定计数器s是否已经达到图17所示的s轴上的范围内的最右边的采样点。换句话说，确定计数器s是否等于处于由椭圆限定的范围内的最大采样点(s，t)＝(8，0)的左方(在s轴上)的坐标位置。

如果计数器s小于在步骤S75由尺寸阵列svec返回的(svec[abs(t)])，则处理进行到步骤S76。

在步骤S76，例如估算下式

sx＝round(bx+tx×s)

sy＝round(by+ty×s) (3)

以便设置椭圆范围内的目标位置(sx，sy)。

在此，round(x)表示丢弃x的小数点以后的操作。目标位置(sx，sy)是含有沿着s轴限定的采样点(即白圈)的像素的坐标，由图17中的方格表示。换句话说，作为在步骤S76的处理结果，确定在三分图T上的(Sx，Sy)空间内的对应于(s，t)空间内的采样点的像素的坐标。

在步骤S77，标记更新器71把三分图T内的位于对应于采样点(s，t)的坐标位置(sx，sy)的像素标记为-1，这表示该像素是未知像素。把结果输出到更新三分图输出单元34.

在步骤S78，长轴坐标管理器72使计数器加一，处理返回步骤S75。换句话说，重复步骤S75-S78的处理，直到在步骤S75确定计数器s不小于或等于由尺寸阵列返回的svec[abs(t)]的值。

在步骤S75，如果确定计数器s不小于或等于由尺寸阵列返回的svec[abs(t)]的值(即，如果确定计数器s已经超过由采样点限定的椭圆范围)，则处理前进到步骤S79。在步骤S79，短轴坐标管理器73使计数器t加一，处理返回步骤S72。然后重复步骤S72-S79的处理，直到在步骤S72确定计数器t不小于或等于w。

当在步骤S72确定计数器t不小于或等于短轴长度w(即计数器已经超过w)时，则结束处理。

综上所述，考虑这样的情况：其中在三分图T上的被用作处理目标的像素是对应于例如图17所示的椭圆范围内的采样点Sp4的像素Tp。在这种情况下，设置一个椭圆作为用于处理的目标范围。然后，由管理短轴上的坐标的计数器t把t轴上的一个采样点按照以下这种顺序相继地设置为采样点Sp7，Sp6，...，Sp1。此外，在s轴上的对应于t轴上的位置的采样点被相继地从左到右设置。然后设置的采样点所属于的三分图T上的像素(即图17中被表示为有阴影的单元方块的像素)被更新为使得它们的标记变为-1，这表示这些像素是未知像素。

结果，在三分图T上选择要被处理的目标像素，然后以该目标像素为中心这样确定预定范围的椭圆范围，使得其长轴与源自目标像素的边缘流矢量的取向对齐。然后把该椭圆范围内的像素设置为未知像素。因而，便能确定明确地不属于前景对象图像或背景图像的三分图T上的目标像素，这使得相对于边缘流矢量被加权的包围的范围内的像素被设置为未知像素。

现在返回图10所示的流程图进行说明。

在步骤S35，如果确定阿尔法掩模图像A中的目标像素的透明度α不大于最小值Th_min或不小于最大值Th_max，则跳过步骤S36的处理，并把处理返回步骤S33。换句话说，当阿尔法掩模图像中的像素属于前景对象图像或背景图像时，跳过步骤S36的处理。

结果，步骤S33到步骤S36的处理被重复，直到在步骤S33确定所有像素都已被处理。在阿尔法掩模图像A的像素当中，只有既不属于前景对象图像区域也不属于背景图像的那些像素被标记为未知像素。

当在步骤S33确定所有像素都已被处理时，处理前进到步骤S37。

在步骤S37，更新三分图输出单元34把其中存储的更新的三分图T’提供给收敛确定单元16。

换句话说，对应于阿尔法掩模图像A中的既不属于前景对象图像也不属于背景图像的像素的三分图T中的像素被这样更新，使得由相应的目标像素的边缘流矢量设置的椭圆范围内的所有像素都被标记为未知像素。

现在返回图6的流程图进行说明。

在步骤S6，收敛确定单元16比较被三分图更新器15更新之前的三分图T和被三分图更新器15更新的三分图T’，并确定这两个图像是否相同或近似相同。例如，如果确定这两个图像不相同或者不近似相同，则处理前进到步骤S7。

在步骤S7，收敛确定单元16确定步骤S5到S7的处理是否已被执行了规定的次数。如果确定尚未执行规定次数的处理，则前进到步骤S8。

在步骤S8，收敛确定单元16存储更新的三分图T’作为最近的三分图T，并把该三分图T提供给阿尔法掩模图像产生器14。

在步骤S9，阿尔法掩模图像产生器14通过对由收敛确定单元16提供的三分图T进行鲁棒抠图产生新的阿尔法掩模图像A。该新的阿尔法掩模图像A被提供给三分图更新器15，然后处理返回步骤S5。

换句话说，重复步骤S5到S9的处理，直到由三分图更新器15更新之前的三分图T和更新的三分图T’彼此相同或几乎相同，或者可替选地，直到步骤S5到S9的处理被执行预定的次数。此外，对于第一次之后的每次执行，阿尔法掩模图像产生器14不根据扩展三分图产生器13产生的三分图T产生阿尔法掩模图像A，而是根据被代入作为三分图T的最近更新的三分图T’来产生阿尔法掩模图像A。

接着，在重复步骤S5-S9的处理之后，如果在步骤S6确定更新前的三分图T和更新后的三分图T’相同或近似相同，则处理前进到步骤S10。可替选地，在重复步骤S5-S9的处理之后，如果在步骤S7确定步骤S5-S9的处理已被执行规定的次数，则同样地前进到步骤S10。

在步骤S10，收敛确定单元16把三分图T’作为三分图T提供给输出单元17。此时，收敛确定单元16与同时接收的阿尔法掩模图像A相结合地把三分图提供给输出单元17。然后输出单元17输出接收的三分图T和阿尔法掩模图像A。

作为上述的结果，重复进行处理，以便根据阿尔法掩模图像A中每个像素的透明度α把三分图T中的像素设置为未知像素。受影响的像素是由椭圆限定的预定范围内的、对应于既不属于前景对象图像又不属于背景图像的那些像素的像素。

例如，为进行椭圆采样最初限定的椭圆范围可以是小的，但是通过随后重复上述处理，在其中未知像素被限定的范围一般随着三分图更新处理的每次重复而变大。

更具体地说，对应于图7所示的输入图像I的初始三分图T可以如同图9以举例方式示出的那样，其中在前景对象图像和背景图像之间的边界的宽度几乎全部是均匀的。

不过，以灰色所示的其中定义未知像素的区域随着上述步骤5-步骤9的处理的重复而变大。例如，大约20次重复产生如图18所示的三分图。如果用这种方式使处理重复规定的次数，用于更新三分图T的阿尔法掩模图像A便成为如图19以举例方式示出的那样。根据图19中的阿尔法掩模图像A，三分图T在更新之后几乎不呈现变化。用这种方式，一旦三分图达到通过更新不变化的状态，其中像素既不属于前景对象图像也不属于背景图像的中间透明度α值的范围(即定义三分图T中未知像素的范围)便成为可接受的。

因而，可能作为以下操作的结果来定义最佳的未知区域：定义一个三分图T、通过对三分图T的鲁棒抠图产生阿尔法掩模图像A、根据阿尔法掩模图像A和边缘流矢量重复更新三分图T为三分图T’的处理、以及最终更新三分图T。

当扩展未知像素的范围时，从中心延伸的欧几里德(Euclidean)距离(对于圆圈)或曼哈顿(Manhattan)距离(对于方块)通常被用来进行相对于目标像素扩展固定的量的典型的区域扩展。

不过，在其轮廓具有复杂边缘的对象的情况下，优选的是进行在边缘流矢量的方向被加权的扩展。为此，在上述处理中，使用沿一个方向具有膨胀的分布的椭圆采样。

此外，上面说明了一个例子，其中更新处理被重复，直到三分图T和更新的三分图T’变得相同或几乎相同，或者可替选地，直到执行规定次数的所述处理。不过，例如如果缩短的计算时间比图像质量更重要，则执行更新处理的规定的数量可被设置为小的数。例如，规定的次数可以是1。

例如，如果更新处理被执行一次，则三分图对应于图6中步骤S3的处理结果，因而，具有均匀宽度的未知像素的范围可被设置在二进制掩模图像B中前景对象图像和背景图像之间的边界。在这种情况下，因为宽度是均匀的，不可能产生高质量的三分图，不过可以减少计算时间。

此外，在上面的说明中，当扩展三分图T中的未知像素的宽度时，使用阿尔法掩模图像A的边缘切向流矢量。使用该矢量，以使得加权的椭圆范围的长半轴沿该矢量的取向设置。这样，利用沿矢量方向施加的加权来扩展未知区域。不过，除去上述之外，还可以通过限定垂直于二进制掩模图像B中的前景对象图像和背景图像之间的边界被加权的范围来扩展未知区域。

此外，可以根据RGB或类似的输入图像而不根据阿尔法掩模图像A导出上述的边缘切向流矢量。

还可以根据前景对象图像和背景图像的似然图(likelihood map)图像而不根据阿尔法掩模图像A来导出边缘切向流矢量。这里所谓的似然图图像例如可以作为图形切割处理的中间结果而被获得，这是一个含有表示输入图像中的每个像素是否可能属于前景对象图像或背景图像的值的图(见C.Rother等)。

上面说明了一个例子，其中当在图10的步骤S35确定目标像素的透明度α大于最小值Th_min并小于最大值Th_max时利用像素标记-1更新该目标像素。不过，除去上述之外，也可以这样更新目标像素的标记，使得当透明度α小于最小值Th_min时把标记设置为0，而当透明度α大于最大值Th_max时把标记设置为1。

上面还说明了一个例子，其中在初始阶段产生具有相对窄的宽度的三分图T，然后把宽度重复地扩展。不过，在对应于步骤S3的产生初始三分图T的处理中，未知区域可以取相对宽的宽度，则三分图T可被这样更新，以使得未知区域被重复地减小。换句话说，不包含在上述被扩展的范围内的未知像素的标记可从-1(用于未知区域的标记)被更新为0(用于背景图像区域的标记)或者1(用于前景对象图像区域的标记)，该处理被重复地执行，从而逐渐减小被扩展的区域。

此外，虽然在上面的说明中使用二进制掩模图像B作为输入图像I，但是代替二进制图像，可以输入多值标记图像。例如，该多值标记图像可以采用作为一系列值例如整数0，1，2，...，的标记，并可被分割成多个区域。如果输入图像是如上所述的多值标记图像，则可以通过被取作为是通过组合多值标记图像的所有区域而形成的边界的二进制掩模图像的边界来限定未知区域。

如果输入图像是多值标记图像，当更新三分图时则可认为该图像含有两个区域，其中取多值标记中之一来表示前景对象图像，取所有的其它值来表示背景图像。换句话说，可对该图像应用阿尔法抠图，对于前景对象图像中像素的透明度，设置α＝1，对于背景图像中像素的透明度，设置α＝0。然后把该结果用于扩展未知区域。

可以通过重复上述的三分图更新来实现未知像素的范围的扩展，所述重复被这样进行，使得所有多值标记都被作为属于前景对象图像的像素来处理。如果输入是上述的多值标记图像，则作为输出图像而产生的三分图例如可以是含有由如上所述的具有一系列整数值的标记限定的区域的图像，加上被标记为-1的未知区域。

此外，用户还可以通过手动输入产生一个简单的三分图，这样产生的相对低质量的三分图被用作初始三分图。然后可以通过重复地执行前述的三分图更新处理，产生高质量的三分图。换句话说，如本实施例中作为步骤S5-S9的处理所述，对于低质量三分图T中的未知像素的范围，可以由边缘流矢量确定扩展的幅值和方向。然后可以根据所述扩展的幅值和方向来更新三分图，借以使得能够产生高质量的三分图。

按照这样描述的本发明的实施例，可以根据具有在其中限定的前景对象图像和背景图像的二进制掩模图像产生三分图。产生的三分图由属于前景对象图像的像素、属于背景图像的像素以及未知像素构成，并且对于阿尔法掩模图像的配置是最佳的。

结果，可以容易地根据二进制掩模图像(即二值图像)产生高质量的三分图(即三值图像)，从而使得能够通过所产生的三值图像的阿尔法抠图容易地产生阿尔法掩模图像。

上述的信息处理序列也可以由硬件或软件来执行。如果所述处理序列由软件执行，则可以把构成这种软件的程序安装在内置入专用硬件的计算机上。可替选地理地，该程序可以从记录介质被安装到通用个人计算机上，或者安装到通过在其上安装各种程序而能够完成各种功能的类似设备上。

图20表示通用个人计算机的示例配置。这种个人计算机包括CPU(中央处理单元)1001。通过总线1004把CPU 1001连接到输入/输出接口1005。ROM(只读存储器)1002和RAM(随机存取存储器)1003被连接到总线1004。

输入/输出接口1005被连接到以下部件：由输入设备构成的输入单元1006，例如键盘和鼠标，借以供用户输入操作指令；输出单元1007，用于向显示装置输出处理界面屏的图像或处理结果的图像；存储单元1008，其由硬盘驱动器或用于存储程序和各种数据的类似装置构成；以及通信单元1009，其由LAN(局域网)适配器或通过以互联网为代表的网络进行通信处理的类似装置构成。此外，用于读写数据的驱动器1010还被连接到可移除介质1011，例如磁盘(包括软盘)、光盘(包括CD-ROM(致密盘只读存储器)和DVD(数字通用盘))、磁光盘(包括MD(小型盘)或半导体存储器。

上述的程序被存储在ROM 1002中，或者可替选地，被从可移除介质1011(例如磁盘、光盘、磁光盘或半导体存储器)中读出，并被安装到存储单元1008。然后CPU 1001把来自ROM 1002或可移除介质1008的程序装入RAM 1003，并按照该程序执行各种处理。在适当的情况下，RAM1003还存储由CPU 1001执行各种处理使用的数据或其它信息。

还应当理解，在记录介质上存储的程序中规定的步骤不限于按照本说明中描述的处理的顺序以时间序列被执行，而是可被并行或者单独地执行。

本申请包含与2008年9月8日在日本专利局申请的日本在先专利申请JP 2008-229835披露的主题相关的主题，该专利申请的全部内容通过引用被包括在本说明中。

本领域技术人员应当理解，根据设计要求和其它因素，可以具有多种改型、组合、子组合和替换，这些都在所附权利要求或其等同物的范围内。

Claims

1.一种图像处理设备，包括：

三值图像产生装置，用于根据二值图像产生由第一值到第三值构成的三值图像，其中二值图像由第一值和第二值构成，所述第一值以像素为单位表示输入图像中的前景图像区域，所述第二值类似地表示背景图像区域，其中三值图像的第三值表示与前景图像区域以及背景图像区域二者不同地被限定的未知区域，使得所述未知区域被限定为在前景图像区域和背景图像区域之间的边界具有预定宽度；

比值图像产生装置，用于根据输入图像和三值图像产生比值图像，其中比值图像由第四值构成，所述第四值以像素为单位表示第一值的比率；

更新装置，用于通过限定与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、三值图像中的像素附近的预定范围并且把所述限定的范围内的所有像素设为所述第三值来更新所述三值图像；

确定装置，用于确定由更新装置更新的三值图像是否与更新装置更新之前的三值图像相同或几乎相同；以及

输出装置，用于如果确定由更新装置更新的三值图像与更新装置更新之前的三值图像相同或几乎相同，则输出更新的三值图像。

2.如权利要求1所述的图像处理设备，还包括：

扩展量限定装置，用于以像素为单位来限定与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、三值图像中的像素附近的范围，所述范围以扩展量的形式被限定；

其中，更新装置通过把预定范围内的所有像素设置为第三值来更新所述三值图像，所述预定范围是通过扩展量在与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、所述三值图像中的像素附近限定的范围。

3.如权利要求1所述的图像处理设备，还包括：

扩展方向限定装置，其以像素为单位限定与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、三值图像中的像素附近的范围，所述范围以扩展方向的形式被限定；

其中，更新装置通过把预定范围内的所有像素设置为第三值来更新所述三值图像，所述预定范围是通过扩展方向在与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、所述三值图像中的像素附近限定的范围。

4.如权利要求1所述的图像处理设备，还包括：

扩展矢量限定装置，用于以像素为单位限定与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、三值图像中的像素附近的范围，所述范围以扩展矢量的形式被限定，所述扩展矢量由扩展方向和扩展量构成；其中

更新装置通过把预定范围内的所有像素设置为第三值来更新所述三值图像，所述预定范围是通过扩展矢量在与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、所述三值图像中的像素附近限定的范围。

5.如权利要求4所述的图像处理设备，其中扩展矢量的扩展方向包括源自输入图像或比值图像的边缘正切流矢量的方位，或者可替选地，包括相对于由比值图像中取预定比率的像素所形成的边界垂直的方向。

6.如权利要求1所述的图像处理设备，其中

如果确定由更新装置更新的三值图像与更新装置更新之前的三值图像相同或几乎相同，则

比值图像产生装置根据被更新装置更新的三值图像和输入图像产生比值图像，其中所述比值图像由以像素为单位表示第一值的比率的第四值构成，以及

更新装置把与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、所述三值图像内的像素附近的预定范围内的所有像素设置为所述第三值。

7.如权利要求6所述的图像处理设备，其中

在确定由更新装置更新的三值图像与更新装置更新之前的三值图像相同或几乎相同之前，

比值图像产生装置和更新装置重复地进行处理，以使得：

根据被更新装置更新的三值图像和输入图像产生比值图像，其中所述比值图像由以像素为单位表示第一值的比率的第四值构成，以及

把与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、所述三值图像内的像素附近的预定范围内的所有像素设置为所述第三值。

8.一种用于图像处理设备的图像处理方法，所述图像处理设备包括：

输出装置，用于如果确定由更新装置更新的三值图像与更新装置更新之前的三值图像相同或几乎相同，则输出更新的三值图像，所述图像处理方法包括以下步骤：

借助于所述三值图像产生装置，根据二值图像产生由第一值到第三值构成的三值图像，其中二值图像由第一值和第二值构成，所述第一值以像素为单位表示输入图像中的前景图像区域，所述第二值类似地表示背景图像区域，其中三值图像的第三值表示与前景图像区域以及背景图像区域二者不同地被限定的未知区域，使得所述未知区域被限定成在前景图像区域和背景图像区域之间的边界具有预定宽度；

借助于比值图像产生装置，根据输入图像和三值图像产生比值图像，其中比值图像由第四值构成，所述第四值以像素为单位表示第一值的比率；

借助于更新装置，通过限定与比值图像中的其第四值大于最小值且小于最大值的像素相对应的、三值图像中的像素附近的预定范围以及把所述限定的范围内的所有像素设为所述第三值来更新所述三值图像；

借助于所述确定装置，确定由更新装置更新的三值图像是否与更新装置更新之前的三值图像相同或几乎相同；以及

借助于所述输出装置，如果确定由更新装置更新的三值图像与更新装置更新之前的三值图像相同或几乎相同，则输出更新的三值图像。