CN102169587A - 图像处理设备、方法和程序 - Google Patents

Abstract

本发明涉及图像处理设备、方法和程序，该设备包括：对象区域检测器，从输入图像检测对象区域；剪切单元，从输入图像剪切对象区域图像；优先级计算器，为输入图像计算与对象区域相关的边界上的每个预定区域的优先级；检索单元，从对象区域图像被剪切之后的输入图像检索与具有优先级中的最高优先级的预定区域的图像相似的区域；修复单元，通过复制相邻于与检索单元检索的预定区域相似的区域并包括与作为对象区域被剪切的区域相应的区域的相邻区域的图像、并将通过复制得到的图像粘贴到与具有最高优先级的预定区域相邻并作为对象区域被剪切的区域上来修复对象区域；和合成单元，组合剪切单元剪切的对象区域图像和具有修复单元修复的对象区域的图像。

Description

图像处理设备、方法和程序

技术领域

本发明涉及图像处理设备、方法和程序，并且更特别地，涉及在编辑图像时剪切对象(subject)并允许该对象移动到任意位置的图像处理设备、方法和程序。

背景技术

具有自由剪切图像中的对象并且将该对象自由粘贴到任意位置的编辑功能的软件已广泛普及。

已经提出了包括在以上软件中的可以通过将多个图像叠加并因而组合多个对象以提供单一图像来执行编辑的软件(参见日本未审查专利申请公开第2000-259822号)。

而且，已经提出了可以通过在图像中附加各种图标来处理图像的软件(参见日本未审查专利申请公开第2006-081224号)。

发明内容

然而，日本未审查专利申请公开第2000-259822号中所公开的技术仅叠加图像，却不剪切对象或校正原始图像中的对象的位置。

而且，日本未审查专利申请公开第2006-081224号中所公开的技术只提供了通过附加具有像星型的特定形状的图标来进行的处理。例如，该技术并不剪切对象。

鉴于这些情况，需要的是特别在图像编辑期间自由剪切对象并将该对象粘贴到任意位置。

根据本发明的实施例的图像处理设备包括：对象区域检测装置，其用于从输入图像中将对象存在的区域检测为对象区域；剪切装置，其用于从输入图像中剪切对象区域的图像；优先级计算装置，其用于为输入图像计算与对象区域相关的边界上的每个预定区域的优先级；检索装置，其用于从对象区域的图像被剪切之后的输入图像中检索与如下预定区域的图像相似的区域，该预定区域具有在与对象区域相关的边界上的预定区域的优先级当中的最高优先级；修复装置，其用于通过复制相邻区域的图像并且将通过复制该相邻区域而得到的图像粘贴到与具有最高优先级的预定区域相邻并作为对象区域而被剪切的区域上，来修复对象区域，该相邻区域相邻于与由检索装置检索到的预定区域相似的区域，并且包括与作为对象区域而被剪切的区域相对应的区域；以及合成装置，其用于组合由剪切装置所剪切的对象区域的图像和具有由修复装置所修复的对象区域的图像。

图像处理设备可以还包括：附加区域输入装置，其用于输入对应于对象区域的附加区域；以及对象区域附加装置，其用于附加具有被附加到对象区域的附加区域的区域作为对象区域。

优先级计算装置可以重新计算与由修复装置所修复的对象区域相关的边界上的每个预定区域的优先级。检索装置可以从对象区域的图像被剪切之后的输入图像中检索与如下预定区域的图像相似的区域，该预定区域具有在与对象区域相关的边界上的预定区域的所重新计算的优先级当中的最高优先级。修复装置可以通过复制相邻区域的图像并且将通过复制该相邻区域而得到的图像粘贴到与具有最高优先级的预定区域相邻并作为对象区域而被剪切的区域上，来修复对象区域，该相邻区域相邻于与由检索装置检索到的预定区域相似的区域，并且包括与作为对象区域而被剪切的区域相对应的区域。

优先级计算装置、检索装置和修复装置可以重复它们的处理，直到修复了对象区域的全部区域为止。

如果所剪切的图像的精确度足够高，则可以省略合成装置。

提供了一种根据本发明的另一实施例的图像处理设备的图像处理方法。该图像处理设备包括：对象区域检测装置，其用于从输入图像中将对象存在的区域检测为对象区域；剪切装置，其用于从输入图像中剪切对象区域的图像；优先级计算装置，其用于为输入图像计算与对象区域相关的边界上的每个预定区域的优先级；检索装置，其用于从对象区域的图像被剪切之后的输入图像中检索与如下预定区域的图像相似的区域，该预定区域具有在与对象区域相关的边界上的预定区域的优先级当中的最高优先级；修复装置，其用于通过复制相邻区域的图像并且将通过复制该相邻区域而得到的图像粘贴到与具有最高优先级的预定区域相邻并作为对象区域而被剪切的区域上，来修复对象区域，该相邻区域相邻于与由检索装置检索到的预定区域相似的区域，并且包括与作为对象区域而被剪切的区域相对应的区域；以及合成装置，其用于组合由剪切装置所剪切的对象区域的图像和具有由修复装置所修复的对象区域的图像。该图像处理方法包括以下步骤：由对象区域检测装置从输入图像中将对象存在的区域检测为对象区域；由剪切装置从输入图像中剪切对象区域的图像；由优先级计算装置为输入图像计算与对象区域相关的边界上的每个预定区域的优先级；由检索装置从对象区域的图像被剪切之后的输入图像中检索与如下预定区域的图像相似的区域，该预定区域具有在与对象区域相关的边界上的预定区域的优先级当中的最高优先级；由修复装置通过复制相邻区域的图像并且将通过复制该相邻区域而得到的图像粘贴到与具有最高优先级的预定区域相邻并作为对象区域而被剪切的区域上，来修复对象区域，该相邻区域相邻于与通过检索而检索到的预定区域相似的区域，并且包括与作为对象区域而被剪切的区域相对应的区域；以及由合成装置组合通过剪切所剪切的对象区域的图像和具有通过修复所修复的对象区域的图像。

提供了一种根据本发明的又一实施例的、可由控制图像处理设备的计算机执行的图像处理程序。该图像处理设备包括：对象区域检测装置，其用于从输入图像中将对象存在的区域检测为对象区域；剪切装置，其用于从输入图像中剪切对象区域的图像；优先级计算装置，其用于为输入图像计算与对象区域相关的边界上的每个预定区域的优先级；检索装置，其用于从对象区域的图像被剪切之后的输入图像中检索与如下预定区域的图像相似的区域，该预定区域具有在与对象区域相关的边界上的预定区域的优先级当中的最高优先级；修复装置，其用于通过复制相邻区域的图像并且将通过复制该相邻区域而得到的图像粘贴到与具有最高优先级的预定区域相邻并作为对象区域而被剪切的区域上，来修复对象区域，该相邻区域相邻于与由检索装置检索到的预定区域相似的区域，并且包括与作为对象区域而被剪切的区域相对应的区域；以及合成装置，其用于组合由剪切装置所剪切的对象区域的图像和具有由修复装置所修复的对象区域的图像。该图像处理程序使得计算机执行包括以下步骤的处理：由对象区域检测装置从输入图像中将对象存在的区域检测为对象区域；由剪切装置从输入图像中剪切对象区域的图像；由优先级计算装置为输入图像计算与对象区域相关的边界上的每个预定区域的优先级；由检索装置从对象区域的图像被剪切之后的输入图像中检索与如下预定区域的图像相似的区域，该预定区域具有在与对象区域相关的边界上的预定区域的优先级当中的最高优先级；由修复装置通过复制相邻区域的图像并且将通过复制该相邻区域而得到的图像粘贴到与具有最高优先级的预定区域相邻并作为对象区域而被剪切的区域上，来修复对象区域，该相邻区域相邻于与通过检索而检索到的预定区域相似的区域，并且包括与作为对象区域而被剪切的区域相对应的区域；以及由合成装置组合通过剪切所剪切的对象区域的图像和具有通过修复所修复的对象区域的图像。

根据本发明的再一实施例，从输入图像中将对象存在的区域检测为对象区域；从输入图像中剪切对象区域的图像；为输入图像计算与对象区域相关的边界上的每个预定区域的优先级；从对象区域的图像被剪切之后的输入图像中检索与如下预定区域的图像相似的区域，该预定区域具有在与对象区域相关的边界上的预定区域的优先级当中的最高优先级；通过复制相邻区域的图像并且将通过复制该相邻区域而得到的图像粘贴到与具有最高优先级的预定区域相邻并作为对象区域而被剪切的区域上，来修复对象区域，该相邻区域相邻于与检索到的预定区域相似的区域，并且包括与作为对象区域而被剪切的区域相对应的区域；以及组合所剪切的对象区域的图像和具有所修复的对象区域的图像。

根据本发明的任何实施例的图像处理设备可以是单独提供的设备或者是执行图像处理的模块。

借助于本发明的任何实施例，对象可以在图像编辑期间被剪切并移动到任意位置。

附图说明

图1是示出根据本发明的实施例的图像处理设备的配置示例的框图；

图2是说明由图1中的图像处理设备执行的图像编辑的示意图；

图3是示出对象区域检测器的配置示例的框图；

图4是示出阿尔法遮掩(mask)图像生成器的配置示例的框图；

图5是说明图4中的阿尔法遮掩图像生成器的操作的示意图；

图6是示出剪切单元的配置示例的框图；

图7是示出遮掩图像修复单元的配置示例的框图；

图8是示出图像合成单元的配置示例的框图；

图9是说明由图1中的图像处理设备进行的图像处理的流程图；

图10是说明由图3中的对象区域检测器进行的对象区域检测处理的流程图；

图11是说明阿尔法遮掩图像生成处理的流程图；

图12是说明阿尔法遮掩图像生成处理的示意图；

图13是说明阿尔法遮掩图像生成处理的示意图；

图14是说明阿尔法遮掩图像生成处理的示意图；

图15是说明阿尔法遮掩图像生成处理的示意图；

图16是说明剪切处理的流程图；

图17是说明剪切处理的示意图；

图18是说明剪切处理的示意图；

图19是说明遮掩图像修复处理的流程图；

图20是说明图像合成处理的流程图；

图21是示出对象区域检测器的另一配置示例的框图；

图22是说明由图21中的对象区域检测器进行的对象区域检测处理的流程图；以及

图23是说明通用个人计算机的配置示例的示意图。

具体实施方式

第一实施例

图像处理设备的配置示例

图1图示了根据本发明的实施例的图像处理设备中的硬件的配置示例。图1中的图像处理设备11通过从输入图像中剪切作为对象的物体的区域、修复剪切之后的区域并随后自由移动所剪切的物体区域的图像来执行编辑。

图像处理设备11包括对象区域检测器21、对象区域判断单元22、辅助输入信息附加单元23、对象区域设定单元24、对象剪切单元25、遮掩图像修复单元26、背景图像存储单元27、图像合成单元28、对象剪切图像存储单元29和输出单元30。图像处理设备11还包括显示处理器31和显示器32。

对象区域检测器21检测输入图像中所包括的对象的区域，并将所检测到的对象区域的信息和输入图像提供给对象区域判断单元22和显示处理器31。例如，在如图2中的图像P1所示的狗的图像的情况下，对象区域检测器21检测作为对象的狗的图像存在的区域。在图像P1中，检测到基本上包括狗存在的范围的区域Z1。然而，在图像P1中，由粗线所表示的区域Z1可能不包括作为对象的狗的图像的全部范围，或者可能根本没有检测到对象区域。稍后将参照图3描述对象区域检测器21的详细配置。

对象区域判断单元22基于对象区域检测器21的检测结果，判断是否检测到对象区域。如果由图像处理设备11的用户正确地检测到对象区域，并且不再需要辅助输入，则对象区域判断单元22将所提供的对象检测区域的信息提供给对象剪切单元25。相反地，如果没有检测到对象区域，或者如果检测到对象区域但判断出需要用户的辅助输入，则对象区域判断单元22将对象区域和输入图像的信息提供给辅助输入信息附加单元23。

辅助输入信息附加单元23基于指示信号，接收要被附加到对象区域的辅助区域的输入，并且将辅助区域附加到对象区域，该指示信号是响应于从作为鼠标和/或键盘的操作单元34根据操作内容输出的操作信号而从指示单元33提供的。随后，辅助输入信息附加单元23将对象区域和辅助区域的信息提供给对象区域设定单元24和显示处理器31。

对象区域设定单元24通过将辅助区域附加到所提供的对象区域来编辑和设定对象区域，并且将所设定的对象区域提供给对象剪切单元25。具体地，在图2中的图像P1中，作为对象的狗的范围没有通过区域Z1被完整地检测为对象区域。因而，借助于由用户通过操作单元34所进行的操作，辅助区域被附加到对象区域，并且如图2中的图像P2中所示地设定对象区域。在图2中的图像P2中，由实线圆圈所表示的范围是辅助区域。可替选地，辅助输入信息附加单元23可以被布置在对象剪切单元的下游。具体地，可以在对象被剪切之后附加辅助输入，以校正被剪切的区域。

对象剪切单元25包括阿尔法遮掩图像生成器41和剪切单元42。对象剪切单元25从输入图像中剪切由对象区域设定单元24或对象区域判断单元22所提供的对象区域的图像作为对象剪切图像，并且在对象剪切图像存储单元29中存储对象剪切图像。而且，对象剪切图像25将对象剪切图像被剪切之后的输入图像作为遮掩图像提供给遮掩图像修复单元26。具体地，对象剪切单元25从图像P2中所示的对象剪切区域的信息中获取对象区域的完整边界，剪切例如由图2中的图像P3所表示的仅包括狗的对象剪切图像D1，并且在对象剪切图像存储单元29中存储对象剪切图像D1。而且，对象剪切单元25将不具有对象剪切图像D1的图像P3的遮掩图像提供给遮掩图像修复单元26。稍后将参照图4和6描述对象剪切单元25的阿尔法遮掩图像生成器41和剪切单元42的详细配置示例。

遮掩图像修复单元26获取如下输入图像作为遮掩图像，该输入图像包括对象区域被剪切之后的区域作为遮掩。遮掩图像修复单元26通过使用与对象区域相关的边界附近的输入图像的信息，修复曾经是对象区域的遮掩区域。因而，遮掩图像修复单元26生成不具有对象的背景图像，并且在背景图像存储单元27中存储背景图像。稍后将参照图7描述遮掩图像修复单元26的详细配置示例。

图像合成单元28读取通过由背景图像存储单元27修复遮掩区域而得到背景图像；读取存储在对象剪切图像存储单元29中的对象剪切图像；合成所读取的图像以生成合成图像；并且将所生成的合成图像提供给输出单元30和显示处理器31。此时，图像合成单元28组合这些图像，同时根据来自指示单元33的指示内容，以各种方式改变对象剪切图像在背景图像上的位置。稍后将参照图8描述图像合成单元28的详细配置示例。

输出单元30将合成图像输出到存储介质(诸如硬盘驱动器(HDD)或半导体存储器)或输出到包括其他显示设备的外部设备(未示出)。

显示处理器31将从对象区域检测器21和辅助输入信息附加单元23所提供的对象区域和辅助区域的信息与输入图像相结合，并且使得显示器32显示合成图像。显示器32可以是液晶显示器(LCD)或有机电致发光(EL)显示器。而且，显示处理器31使得显示器32显示从图像合成单元28所提供的合成图像。因而，用户可以在观看显示器32的同时执行系列操作。当显示器32在图2中的图像P4中的对象剪切图像D1的位置处显示对象图像时，例如，如果由通过操作单元34进行的操作将对象图像移动到对象剪切图像D2的位置，则执行类似图2中的图像P4的编辑。当做出确定操作时，如由图像P5中的虚线所示地删去被显示为图像P3中的对象剪切图像D1的、作为对象的狗的对象图像，并且将该图像编辑为只具有对象剪切图像D2的图像。

对象区域检测器的配置示例

接着，以下将参照图3描述对象区域检测器21的配置示例。

对象区域检测器21包括亮度信息提取器51、颜色信息提取器52、边缘信息提取器53、对象信息提取器54、动作信息提取器55、对象映射生成器56和对象区域指定单元57。

亮度信息提取器51至动作信息提取器55各自从所提供的输入图像中提取预定信息，并且基于包括所提取的信息的提取信息图像，生成表示对象区域在输入图像的每个区域中的相似性的信息映射。信息映射中所包括的信息是表示在包括对象的区域中所包括的特征数量的信息，在该区域中包括较大的数量的这些特征。该信息被布置为与输入图像的每个区域相关联，以生成信息映射。也就是说，信息映射是表示在输入图像的每个区域中所包括的特征数量的信息。

对象是在用户注视输入图像时所期待由用户观看到的输入图像上的物体，即，所期待由用户关注的物体。因此，对象不一定是人。而且，亮度信息提取器51至动作信息提取器55生成亮度信息映射、颜色信息映射、边缘信息映射、对象信息映射和动作信息映射作为信息映射。

更具体地说，亮度信息提取器51通过使用包括所提供的输入图像的Y(亮度)分量的亮度图像作为提取信息图像，生成亮度信息映射，并且将亮度信息映射提供给对象映射生成器56。颜色信息提取器52通过使用包括所提供的输入图像的Cr分量的Cr图像和包括所提供的输入图像的Cb分量的Cb图像作为提取信息图像，生成颜色信息映射，并且将颜色信息映射提供给对象映射生成器56。

边缘信息提取器53通过使用包括所提供的输入图像的每个区域中的边缘强度的边缘图像作为提取信息映射，生成边缘信息映射，并且将边缘信息映射提供给对象映射生成器56。对象信息提取器54通过使用包括用于识别所提供的输入图像的每个区域中的对象的信息(例如，如果对象是人的话，与人脸相关的信息)的图像作为提取信息图像，生成脸部信息映射，并且将脸部信息映射提供给对象映射生成器56。动作信息提取器55通过使用包括与所提供的输入图像的每个区域中的动作相关的信息的图像作为提取信息图像，生成动作信息映射，并且将动作信息映射提供给对象映射生成器56。

对象映射生成器56通过将从亮度信息提取器51至动作信息提取器55所提供的信息映射附加到一起，生成对象映射，并且将对象映射提供给对象区域指定单元57。对象映射是用于指定包括输入图像中的对象的区域的信息。

对象区域指定单元57通过使用来自对象映射生成器56的对象映射，在所提供的输入图像上指定对象的区域，并且输出指定结果。

阿尔法遮掩图像生成器的配置示例

接着，将参照图4描述对象剪切单元25的阿尔法遮掩图像生成器41的详细配置示例。

阿尔法遮掩图像生成器41通过简单地从输入图像中选择作为要被提取的前景物体图像的对象图像和背景图像，生成用于生成提取对象图像所需的阿尔法遮掩图像(表示前景物体图像的透明度比例的比例图像)的试映射(tri-map)图像。阿尔法遮掩图像生成器41根据试映射图像生成阿尔法遮掩图像。在以下描述中，对象图像有时被称为前景图像或前景物体图像，并且对象图像之外的图像也可以被称为背景图像。

阿尔法遮掩图像生成器41包括输入图像获取单元71、二值遮掩图像生成器72、扩展试映射图像生成器73、阿尔法遮掩图像生成器74、试映射图像更新单元75、收敛(settlement)判断单元76和输出单元77。

输入图像获取单元71获取输入图像作为如下输入图像I，该输入图像I包括作为要被提取的对象图像的前景物体图像。输入图像获取单元71将所获取的输入图像I提供给二值遮掩图像生成器72、扩展试映射图像生成器73和阿尔法遮掩图像生成器74。

二值遮掩图像生成器72基于从对象区域判断单元22或对象区域设定单元24所提供的对象区域设定信息，根据输入图像I生成二值遮掩图像B，并且将二值遮掩图像B提供给扩展试映射图像生成器73。

更具体地说，对应于图2中的图像P2，通过例如图5中的图像I’中所示地使用矩形框F(在图2中，由对象区域设定单元24所设定的区域Z2)来从图5中的输入图像I中选择要被提取的前景物体图像。

在该情况下，在图5中的输入图像I’中，选择框F中的小狗的图像作为前景物体图像，并且选择框F外的范围作为背景图像。当针对输入图像I’进行抓取剪切处理时，二值遮掩图像生成器72通过使用基于前景物体图像和背景图像中的采样颜色的统计信息(分布的偏差)来分离前景物体图像。

也就是说，二值遮掩图像生成器72分离前景物体图像，使得前景物体图像和背景图像之间的边界位于输入图像I’中的框F中的边缘部分处。因此，如果像素的标签与前景物体图像和背景图像相关联地为1或0，则二值遮掩图像生成器72将具有标签1的前景物体图像中的区域的像素值确定为白色，并且将具有标签0的其他像素值确定为黑色。借助于该处理，二值遮掩图像生成器72生成如图5的右上部分中所示的二值遮掩图像B。

扩展试映射图像生成器73根据输入图像I和二值遮掩图像B设定在前景物体图像和背景图像之间的边界处具有预定宽度的未确定区域。特别地，扩展试映射图像生成器73将如下区域中的像素设定为未确定像素，该区域位于限定了前景物体图像的区域和限定了背景图像的区域之间的边界附近，沿该边界延伸，并且具有预定像素数目的宽度。因此，生成了试映射图像T，试映射图像T包括三种类型的像素，即，属于前景物体图像的像素(标签＝1)，属于背景图像的像素(标签＝0)，以及未确定像素(标签＝-1)。

也就是说，扩展试映射图像生成器73生成如图5的左下部分中所示的包括三元(ternary)像素的试映射图像T，并且将试映射图像T提供给阿尔法遮掩图像生成器74。在图5中的试映射图像T中，将具有标签＝1的前景物体图像的区域中的像素值设定为白色(最大像素值)。而且，将具有标签＝0的背景图像的区域中的像素值设定为黑色(最小像素值)。另外，将具有标签＝-1的未确定区域中的像素值设定为灰色(中间像素值)。扩展试映射图像生成器73将所生成的试映射图像T提供给阿尔法遮掩图像生成器74和收敛判断单元76。

阿尔法遮掩图像生成器74在初始化处理中从扩展试映射图像生成器73获取试映射图像T。而且，阿尔法遮掩图像生成器74在初始化处理之后的处理中获取从收敛判断单元76所提供的试映射图像T。

而且，阿尔法遮掩图像生成器74针对试映射图像T执行鲁棒抠图(robust matting)处理(参见Jue Wang、MF Cohen的Optimized ColorSampling for Robust Matting，Computer Vision and Pattern Recognition，2007)，以生成如图5的右下部分所示的阿尔法遮掩图像A，并且将阿尔法遮掩图像A提供给试映射图像更新单元75和收敛判断单元76。阿尔法遮掩图像A是如下图像，其中前景物体图像的透明度α表达为α＝1，背景图像的透明度α表达为α＝0，并且这些透明度α的中间透明度α基于像素表达为0＜α＜1。

特别地，图5中所示的作为前景物体图像(对象图像)的小狗覆盖有长毛，并且毛的部分充当与背景区域相关的边界。前景物体图像和背景图像之间的边界附近的像素具有包括前景区域中的小狗的毛的颜色和背景区域的颜色的混合颜色。对此，边界附近的像素的透明度α常常符合0＜α＜1。因此，透明度α可以被看作输入图像的边界区域中的像素的颜色的混合比例当中前景物体区域的颜色的合成比例。

试映射图像更新单元75通过将具有0＜α＜1的透明度α的像素和该像素附近的像素确定为阿尔法遮掩图像A中的未确定区域中的像素，生成试映射图像T’。试映射图像更新单元75将新生成的试映射图像T’作为试映射图像T的更新结果提供给收敛判断单元76。

收敛判断单元76比较由试映射图像更新单元75更新之前的试映射图像T和由试映射图像更新单元75所更新的试映射图像T’，并且判断这些试映射图像是否彼此相同(或者是否基本上彼此相同)。更具体地说，收敛判断单元76判断更新之前的试映射图像T的前景物体图像(对象图像)、未确定像素和背景图像的分布是否与更新后的试映射图像T’的前景物体图像(对象图像)、未确定像素和背景图像的分布一致。如果这些试映射图像不一致或者不基本上彼此一致，则收敛判断单元76将试映射图像T’作为试映射图像T与判断结果一起提供给阿尔法遮掩图像生成器74。相反，如果收敛判断单元76判断这些试映射图像彼此相同，则收敛判断单元76将试映射图像T’作为试映射图像T与可以通过针对试映射图像T’执行鲁棒抠图而得到的阿尔法遮掩图像A一起提供给输出单元77。

输出单元77输出从收敛判断单元76所提供的试映射图像T和通过针对试映射图像T(T’)执行鲁棒抠图而得到的阿尔法遮掩图像A作为处理结果。

也就是说，输入图像I的每个像素乘以二值遮掩图像B的值，并且因而可以提取小狗的图像作为前景物体图像。然而，如果通过该方法提取前景物体图像，则作为前景物体图像的小狗的外缘部分的毛的部分可能包括原本存在于背景图像中的颜色污点。因此，例如，当该图像与其他图像相组合时，所提取的前景物体图像可能看起来不自然。

因而，图像处理设备1重复如下处理：通过例如鲁棒抠图来根据试映射图像T生成阿尔法遮掩图像A，并且根据所生成的阿尔法遮掩图像A得到试映射图像T’。图像处理设备1重复相似的处理，直到试映射图像T和T’变得彼此相同或者基本上相同并且试映射图像T和T’之间的变化收敛为止，使得图像处理设备1得到适当的试映射图像，并且从而得到对应于试映射图像的最优阿尔法遮掩图像。

剪切单元的配置示例

剪切单元42可以基于阿尔法遮掩图像(表示作为对象图像的前景物体图像的透明度比例的比例图像)A，从输入图像I中提取不具有颜色污点的前景物体图像(对象图像)F。阿尔法遮掩图像A是由阿尔法遮掩图像生成器41生成的。

剪切单元42包括输入图像获取单元81、阿尔法遮掩图像获取单元82、确定值映射生成器83、像素权重映射生成器84、估计前景颜色图像生成器85、拉普拉斯算子矩阵生成器86、能量函数生成器87、前景颜色图像生成器88和遮掩图像生成器89。

输入图像获取单元81获取包括作为要被提取的对象图像的前景物体图像的输入图像I，并且将所获取的输入图像I提供给确定值映射生成器83和估计前景颜色图像生成器85。

阿尔法遮掩图像获取单元82获取阿尔法遮掩图像(表示前景物体图像的透明度比例的比例图像)A，其包括从阿尔法遮掩图像生成器41所提供的前景物体图像的以像素为单位表示透明度α的值(以下，也称为α值)。随后，阿尔法遮掩图像获取单元82将所获取的阿尔法遮掩图像A提供给确定值映射生成器83、像素权重映射生成器84、估计前景颜色图像生成器85和拉普拉斯算子矩阵生成器86。稍后将参照图2描述估计前景颜色图像生成器85的详细配置。

确定值映射生成器83根据阿尔法遮掩图像A和输入图像I生成确定值映射图像S。确定值映射图像S包括被确定为作为对象图像的前景物体图像或者背景图像的第一像素值的像素以及不属于第一像素值的第二像素值的像素。随后，确定值映射生成器83将所生成的确定值映射图像S提供给像素权重映射生成器84和估计前景颜色图像生成器85。此处，不属于前景物体图像或背景图像的像素是期待具有前景物体图像中的颜色和背景图像中的颜色的混合颜色的像素。例如，在确定值映射图像S中，第一像素值被设定为1并且第二像素值被设定为0。此外，确定值映射生成器83将信息附加到确定值映射图像S中的确定像素。该信息是用于识别确定像素是属于前景物体图像的像素还是属于背景图像的像素。

像素权重映射生成器84根据确定值映射图像S和阿尔法遮掩图像A生成像素权重映射图像Ds，并且将所生成的像素权重映射图像Ds提供给能量函数生成器87。更具体地说，像素权重映射生成器84通过将与确定值映射图像S中的未确定区域中的像素相对应的阿尔法遮掩图像A的像素值(即透明度α)设定为像素的权重，生成像素权重映射图像Ds。

估计前景颜色图像生成器85根据输入图像I、阿尔法遮掩图像A和确定值映射图像S生成估计前景颜色图像F^，并且将所生成的估计前景颜色图像F^提供给能量函数生成器87。更具体地说，估计前景颜色图像85针对分别与确定值映射图像S中的未确定区域中的像素相对应的阿尔法遮掩图像A的像素，通过Sobel滤波器来得到微分值。随后，当假设距离是从每个未确定像素到确定区域的边界处的像素的路径上存在的未确定像素的微分值的积分值时，估计前景颜色图像生成器85将具有最小距离的确定像素设定为每个未确定像素的像素值。因此，当距离是对应于未确定像素的微分值的积分值时，可以得到包括具有最小距离的前景物体图像的像素位置处的像素值的图像，作为估计前景颜色图像F^。

拉普拉斯算子矩阵生成器86基于例如目标像素的位置周围的外围像素的平均值和偏差，根据阿尔法遮掩图像A来假定局部区域中的前景物体图像和背景图像的像素值的线性模型；计算外围像素的贡献度；并且生成拉普拉斯算子矩阵L。拉普拉斯算子矩阵L是具有对应于阿尔法遮掩图像A的所有像素的数目的行数和列数的正定对称稀疏矩阵。

拉普拉斯算子矩阵L的每个分量具有例如与相邻像素相关的权重。假定线性模型使得在3×3像素的小区域中前景物体图像的颜色和背景图像的颜色是基本上恒定的，而只有α值是变化的。拉普拉斯算子矩阵L的每个分量通过中心像素周围3×3像素的小区域的平均值和偏差来计算。该分量可以由中心像素的α值应该与相邻像素的α值相似的程度来定义。关于拉普拉斯算子矩阵L的细节，例如参见A.Levin、D.Lischinski、Y.Weiss的A Closed Form Solution to Natural Image Matting，2006Conference on Computer Vision and Pattern Recognition(CVPR 2006)，2006年六月，61-68页。

能量函数生成器87基于像素权重映射图像Ds、拉普拉斯算子矩阵L和估计前景颜色图像F^，通过使用前景颜色图像F的RGB的颜色图像Fc的向量x作为参数来生成能量函数E，并且将所生成的能量函数E提供给前景颜色图像生成器88。

前景颜色图像生成器88得到具有最小能量函数E的RGB的颜色图像Fc的向量x，根据各个颜色的向量x得到前景颜色图像F，并且输出前景颜色图像F作为从输入图像I中由阿尔法遮掩图像A所定义的前景物体图像。前景颜色图像F是基于最终提取的阿尔法遮掩图像A而从输入图像I中所提取的前景物体图像。

遮掩图像生成器89从输入图像中剪切作为前景物体图像的对象图像；生成遮掩图像，并且将遮掩图像提供给遮掩图像修复单元26。遮掩图像修复单元的配置示例

接着，以下将参照图7描述遮掩图像修复单元26的配置示例。

遮掩图像修复单元26包括输入图像存储单元101、遮掩边界设定单元102、遮掩边界信息存储单元103、区域优先级计算器104、最高优先级区域选择器105、块匹配处理器106、修复单元107、背景图像输出单元108、遮掩图像获取单元109和遮掩图像存储单元110。

输入图像存储单元101存储所提供的输入图像，并且将输入图像提供给遮掩边界设定单元102和块匹配处理器106。遮掩图像获取单元109获取从对象剪切单元25所提供的遮掩图像，并且在遮掩图像存储单元110中存储遮掩图像。遮掩边界设定单元102读取存储在遮掩图像存储单元110中的遮掩图像，设定在遮掩区域的边界处存在的输入图像的区域，并且将遮掩图像与所设定的遮掩边界的信息一起提供给区域优先级计算器104。

区域优先级计算器104将输入图像中的与遮掩图像相关的边界区域划分成多个预定区域；针对所划分的预定区域分别计算优先级；并且将优先级提供给最高优先级区域选择器105。区域优先级计算器104可以首先处理具有很多边缘区域的块。关于用于由区域优先级计算器104计算优先级的方法的细节，参见A.Criminisi、P.Perez、K.Toyama的ObjectRemoval by Exemplar-Based Inpainting，CVPR 2003。

最高优先级区域选择器105从针对预定区域分别计算的优先级当中选择具有优先级的最大值(最高优先级)的预定区域，并且将所选择的区域的信息提供给块匹配处理器106。

块匹配处理器106通过使用具有最高优先级的预定区域的图像信息来验证遮掩区域，并且通过块匹配来检索与具有最高优先级的预定区域的图像相似的图像的区域。随后，块匹配处理器106将相邻区域的信息提供给修复单元107，相邻区域相邻于与具有最高优先级的预定区域最相似的区域，并且相邻于如下位置，该位置与相邻于该预定区域的遮掩区域相对应。

修复单元107从遮掩图像存储单元110中读取遮掩图像，并且将从块匹配处理器106所提供的相邻区域的信息粘贴到如下区域上，以修复遮掩区域：该区域是具有最高优先级的预定区域，并且相邻于与遮掩区域相对应的位置。而且，修复单元107更新所修复的遮掩图像的信息，并且在遮掩图像存储单元110中存储所修复的信息。当重复处理系列并且全部修复了遮掩区域时，修复单元107将修复的完成通知背景图像输出单元108，并且将存储在遮掩图像存储单元110中的所修复的遮掩图像存储在背景图像存储单元27中作为背景图像。

图像合成单元的配置示例

接着，以下将参照图8描述图像合成单元28的配置示例。

图像合成单元28包括对象图像梯度计算器121、背景图像梯度计算器122、泊松方程生成器123、泊松方程运算器124和合成处理器125。

对象图像梯度计算器121读取存储在对象剪切图像存储单元29中的对象剪切图像，根据像素值或亮度值的分布得到对象图像中的像素值或亮度值的梯度，并且将所得到的梯度提供给泊松方程生成器123。

背景图像梯度计算器122读取存储在背景图像存储单元27中的背景图像，根据像素值或亮度值的分布得到背景图像中的像素值或亮度值的梯度，并且将所得到的梯度提供给泊松方程生成器123。

泊松方程生成器123通过使用对象剪切图像的梯度的运算结果和背景图像的梯度的运算结果，生成泊松方程，并且将所生成的泊松方程提供给泊松方程运算器124。

泊松方程运算器124通过算术运算来求解从泊松方程生成器123所提供的泊松方程，得到作为对象剪切图像和背景图像的合成结果而生成的边界附近的分布，并且将运算结果提供给合成处理器125。

合成处理器125根据泊松方程运算器124的运算结果生成对象剪切图像和背景图像的合成图像，并且将合成图像提供给显示处理器31，以在显示器32上显示合成图像。

也就是说，图像合成单元28通过所谓的泊松图像合成处理，组合对象剪切图像和背景图像。

图像编辑处理

接着，将参照图9中的流程图描述由图1中的图像处理设备11所进行的图像编辑处理。

在步骤S11中，对象区域检测器21执行对象区域检测处理，以从输入图像中检测对象存在的区域，将检测结果提供给对象区域判断单元22并提供给显示处理器31，并且在显示器32上显示检测结果。此时，显示处理器31在输入图像上叠加对象区域检测结果，使得显示器32显示如图2中的图像P1中所示的图像。稍后将参照图10中的流程图描述对象区域检测处理的细节。要注意的是，只要足以得到对象检测结果，就不一定要显示对象检测结果。

在步骤S12中，对象区域判断单元22获取从对象区域检测器21所提供的对象区域检测处理的处理结果，并且基于处理结果判断是否在输入图像中检测到对象区域。如果未由对象区域检测处理检测到对象存在的区域，则在步骤S13中，对象区域判断单元22使得显示处理器31在显示器32上向用户显示用于输入补充对象区域的辅助区域的请求。此外，对象区域判断单元22根据与操作单元34的操作内容相对应的来自指示单元33的指示内容，指示辅助输入信息附加单元23以接收被附加到对象区域的辅助区域的输入。即使检测到对象区域，例如当对象区域对于如图2中的图像P1中所示的作为对象的狗的图像是不充分的时，用户也可以确定未检测到对象区域，并且用户可以通过借助于操作单元34的操作来附加辅助区域的信息。

在步骤S14中，辅助输入信息附加单元23判断是否输入了响应于与操作单元34的操作内容相对应的指示单元33的指示信号来补充对象区域的辅助区域。在步骤S14中，例如，如果操作了操作单元34，并且输入了辅助区域，但是没有输入表示输入操作的结束的信息，则重复步骤S13和S14中的处理，并且在显示器32上持续显示用于输入辅助区域的请求的图像。在步骤S14中，如由图2中的图像P2中的圆圈所表示的，如果由借助于操作单元34的操作来附加辅助区域，使得对象的狗的全部区域成为对象区域，并且指示了结束，则认为指出了对象区域，并且处理前进到步骤S15。要注意的是，步骤S13和S14中的处理可以在步骤S16中的剪切处理(稍后描述)之后执行。换言之，可以为剪切结果提供辅助输入。

在步骤S15中，辅助输入信息附加单元23将所附加的辅助区域的信息和对象检测结果提供给对象区域设定单元24。对象区域设定单元24通过将辅助区域附加到作为对象检测结果的对象区域来更新对象区域，并且将所更新的对象区域提供给对象剪切单元25。对象剪切单元25控制阿尔法遮掩图像生成器41以使得阿尔法遮掩图像生成器41执行阿尔法遮掩图像生成处理，并且因而生成阿尔法遮掩图像。

在步骤S12中，如果检测到对象区域，则跳过步骤S13和S14中的处理，并且在步骤S15中，对象区域判断单元22将对象区域的检测结果提供给对象剪切单元25。对象剪切单元25基于作为对象区域检测处理的处理结果的对象区域的信息，控制阿尔法遮掩图像生成器41以执行阿尔法遮掩图像生成处理，并且因而生成阿尔法遮掩图像。稍后将参照图11中的流程图描述阿尔法遮掩图像生成处理的细节。

在步骤S16中，对象剪切单元25控制剪切单元42以使用阿尔法遮掩图像和输入图像来执行剪切处理，使得从输入图像中剪切对象区域，并且在对象剪切图像存储单元29中存储对象区域作为对象剪切图像。而且，剪切单元42使得遮掩图像修复单元26输出遮掩图像，其中通过由剪切处理从输入图像中剪切对象剪切图像而得到的区域充当遮掩区域。稍后将参照图16中的流程图描述剪切处理的细节。

在步骤S17中，遮掩图像修复单元26执行遮掩图像修复处理，并且生成背景图像，在遮掩图像修复处理中，基于输入图像来修复通过从输入图像中剪切对象剪切图像而得到的遮掩区域。遮掩图像修复单元26在背景图像存储单元27中存储所生成的背景图像。稍后将参照图19中的流程图描述遮掩图像修复处理的细节。

在步骤S18中，图像合成单元28通过使用对象剪切图像存储单元29中的对象剪切图像和背景图像存储单元27中的背景图像，执行图像合成处理，组合对象剪切图像和背景图像，并且将合成图像输出到显示处理器31。而且，图像合成单元28根据操作单元34的操作内容，通过输出单元30将合成图像输出到外部设备。稍后将参照图20中的流程图描述图像合成处理的细节。

在步骤S19中，显示处理器31使得显示器32显示从图像合成单元28所提供的合成图像。

在步骤S20中，图像合成单元28通过借助于操作单元34的操作来判断是否指示了图像编辑处理的结束。例如，如果未做出用于结束的指示，则处理前进到步骤S21。

在步骤S21中，图像合成单元28判断是否通过借助于操作单元34的操作由对象剪切图像的操作再次指出并移动了对象剪切图像在图像上的位置。例如，如图2中的图像P4中所示，如果通过借助于操作单元34的操作将作为狗的对象从对象剪切图像D1移动到对象剪切图像D2，则认为发生了移动，并且处理返回步骤S18，在步骤S18中，针对被移动的位置执行图像合成处理。随后，通过步骤S19中的处理，生成并且在显示器32上显示合成图像，其中如图2中的图像P5中所示，对象被移动到对象剪切图像D2。

相反地，在步骤S20中，如果指示了处理的结束，则处理结束。

当通过上述处理在输入图像中设定了对象区域时，对象可以在作为对象剪切图像的图像上被自由移动。而且，因为修复了当移动对象区域图像时在输入图像中所生成的遮掩区域，所以可以在希望的位置处组合所剪切的对象剪切图像。

对象区域检测处理

接着，将参照图10中流程图描述对象区域检测处理。

在步骤S31中，亮度信息提取器51执行其中基于所提供的输入图像生成亮度信息映射的亮度信息提取处理，并且将所生成的亮度信息映射提供给对象映射生成器56。在步骤S32中，颜色信息提取器52执行其中基于所提供的输入图像生成颜色信息映射的颜色信息提取处理，并且将所生成的颜色信息映射提供给对象映射生成器56。

在步骤S33中，边缘信息提取器53执行其中基于所提供的输入图像生成边缘信息映射的边缘信息提取处理，并且将所生成的边缘信息映射提供给对象映射生成器56。在步骤S34中，对象信息提取器54执行其中基于所提供的输入图像生成对象信息映射的对象信息提取处理，并且将所生成的对象信息映射提供给对象映射生成器56。在步骤S35中，动作信息提取器55执行其中基于所提供的输入图像生成动作信息映射的动作信息提取处理，并且将所生成的动作信息映射提供给对象映射生成器56。

更具体地说，如果未将时间上持续捕获的输入图像提供给动作信息提取器55，则不执行动作信息提取处理。

在步骤S36中，对象映射生成器56通过借助于权重将从亮度信息提取器51至动作信息提取器55所提供的亮度信息映射至动作信息映射附加到一起，生成对象映射，并且将所生成的对象映射提供给对象区域指定单元57。

例如，对象映射生成器56通过使用作为先前分别针对这些信息映射所得到的权重的信息权重Wb，线性组合这些信息映射。也就是说，当假设通过线性组合所得到的信息映射中的预定像素是目标像素时，目标像素的像素值是通过将与目标像素的位置相同的位置处的各个信息映射的像素的像素值乘以针对各个信息映射的信息权重Wb而得到的值的总和。

接着，对象映射生成器56将具有sigmoid函数的运算处理应用于通过线性组合所得到的信息映射(以下，也称为线性组合信息映射)中的每个像素的像素值。

更具体地说，对象映射生成器56预先保存通过sigmoid函数的表格化所得到的转换表格。转换表格包括作为输入的预定值和通过将预定值代入sigmoid函数而得到的输出值。如果通过转换表格来转换线性组合信息映射，则可以得到与借助于sigmoid函数来转换线性组合信息映射时所得到的信息映射相似的信息映射。

例如，sigmoid函数被看作如下表达式(1)中示出的双曲正切函数：

f(x)＝a×tanh(x×b)...(1)，

其中，a和b是预定常数，并且x是要被转换的线性组合信息映射中的像素的像素值。

当双曲正切函数是sigmoid函数时，设想转换表格使得输入值x的范围限于从-2到2的范围，并且输入值x是通过基于1/128的离散化得到的。借助于该转换表格，如果输入值x小于-2，则输入值x被处理为-2，并且如果输入值x大于2，则输入值x被处理为2。此外，借助于转换表格，输入值x越大，输出值f(x)越大。

对象映射生成器56通过将线性组合信息映射中的像素的像素值从像素值x(输入值x)改变为对应于像素值x的输出值f(x)，转换线性组合信息映射。也就是说，对象映射生成器56将通过使用转换表格而转换的线性组合信息映射看作是对其应用了借助于sigmoid函数的运算处理的线性组合信息映射。

如上所述，通过使用转换表格来转换线性组合信息映射，与借助于实际使用sigmoid函数执行的转换的情况相比，可以更简单快速地执行针对线性组合信息映射的转换。

此外，对象映射生成器56将借助于转换表格所转换的线性组合信息映射中的每个像素的像素值乘以作为为每个像素值预先得到的权重的对象权重Wc，并且因而得到对象映射。

特别地，如果将要得到的对象映射中的感兴趣的像素假设为目标像素，则通过将位于与经转换的线性组合信息映射中的目标像素相同位置处的像素的像素值乘以对象权重Wc而得到的值是目标像素的像素值。

更具体地说，用于生成对象映射的颜色信息映射包括Cr的颜色信息映射和Cb的颜色信息映射，并且边缘信息映射包括在0、45、90和135度方向上的边缘信息。而且，信息权重Wb和对象权重Wc是通过学习预先得到的。

当以这种方式生成了对象映射时，将对象映射从对象映射生成器56提供给对象区域指定单元57，并且处理前进到步骤S37。

在步骤S37中，对象区域指定单元57通过使用从对象映射生成器56所提供的对象映射，指定所提供的输入图像上的对象的区域。

例如，对象映射中的像素的像素值越大，与该像素相同位置处的输入图像中的像素的区域越有可能是对象的区域。在该情况下，对象区域指定单元57从对象映射中检测包括彼此相邻的像素、具有等于或大于预定阈值的像素值、并且具有预定面积(预定数目的像素)的区域，并且认为对应于所检测的区域的输入图像中的区域是包括对象的区域。

当对象区域指定单元57从输入图像中检测到包括对象的区域时，对象区域指定单元57将检测结果输出到随后的处理，并且结束对象区域指定处理。

可替选地，对象区域指定单元57可以通过使用对象区域的检测结果来针对输入图像应用预定处理，并且输出结果。

以这种方式，根据输入图像生成对象映射，并且通过使用对象映射来指定输入图像中的对象的区域。

阿尔法遮掩图像生成处理

接着，将参照图11中的流程图描述阿尔法遮掩图像生成处理。

在步骤S51中，输入图像获取单元71判断是否提供了输入图像I，并且重复相似的处理直到提供了输入图像为止。如果输入了输入图像I，则处理前进到步骤S52。

在步骤S52中，输入图像获取单元71将输入图像I提供给二值遮掩图像生成器72、扩展试映射图像生成器73和阿尔法遮掩图像生成器74。二值遮掩图像生成器72基于从对象区域判断单元22或对象区域设定单元24所提供的对象区域设定信息，通过划分作为对象图像的前景物体图像，根据输入图像I生成二值遮掩图像B，并且将二值遮掩图像B提供给扩展试映射图像生成器73。

简言之，例如，针对作为对象图像的前景物体图像的区域设定标签＝1。要注意的是，不在作为对象图像的前景物体图像和背景图像之间的边界处设定未确定区域。

在步骤S53中，扩展试映射图像生成器73在前景物体图像和背景图像之间的边界附近的位置处设定具有预定宽度的未确定区域。例如，如果未确定区域的宽度是w(如果宽度对应于数目w的像素的宽度)，则将标签“-1”应用于未确定区域中的像素。此时，扩展试映射图像生成器73通过包括针对二值遮掩图像B中的所有像素的水平方向中的处理和垂直方向中的处理的两个步骤的处理，得到未确定区域。

具体地，在第一步骤中，扩展试映射图像生成器73接收二值遮掩图像B作为输入，并且检查在处理目标像素周围左w个像素和右w个像素的范围内是否存在具有与中心处的处理目标像素的标签不同的标签的像素。例如，如果存在具有与处理目标像素的标签不同的标签的像素，则扩展试映射图像生成器73认为处理目标像素是包括在未确定区域中的，并且应用“-1”的标签。

相反地，如果在处理目标像素周围左w个像素和右w个像素的范围内不存在具有与中心处的处理目标像素的标签不同的标签的像素，则扩展试映射图像生成器73不做改变地应用处理目标像素的标签。借助于该处理，扩展试映射图像生成器73保存通过水平方向中的处理而得到的中间试映射图像T1。

另外，在第二步骤中，扩展试映射图像生成器73接收中间试映射图像T1作为输入，并且像水平方向中的处理那样，检查在处理目标像素周围上w个像素和下w个像素的范围内是否存在具有与处理目标像素的标签不同的标签的像素。例如，如果存在具有与处理目标像素的标签不同的标签的像素，则扩展试映射图像生成器73认为处理目标像素是包括在未确定区域中的，并且放上“-1”的标签，更新试映射图像T1，并且生成试映射图像T。

借助于该处理，扩展试映射图像生成器73通过将未确定像素的标签应用于针对二值遮掩图像B的每个像素的水平方向和垂直方向中的预定宽度w×2的范围内具有不同标签的像素，生成试映射图像T。作为结果，生成了具有在如下区域中所设定的特定未确定区域的试映射图像T，该区域在作为对象图像的前景物体图像的区域和背景图像的区域之间的边界附近。

扩展试映射图像生成器73将试映射图像T提供给阿尔法遮掩图像生成器74、试映射图像更新单元75和收敛判断单元76。

在步骤S54中，阿尔法遮掩图像生成器74基于试映射图像T，例如通过鲁棒抠图(参见Jue Wang、MF Cohen的Optimized Color Samplingfor Robust Matting，Computer Vision and Pattern Recognition，2007)生成阿尔法遮掩图像A，并且将阿尔法遮掩图像A提供给试映射图像更新单元75。

在步骤S55中，试映射图像更新单元75执行其中将试映射图像T更新为试映射图像T’的试映射图像更新处理，并且将所更新的试映射图像T’提供给收敛判断单元76。

现在将描述试映射图像更新处理。

在第一步骤中，针对每个像素得到边缘流(flow)向量。

具体地，阿尔法遮掩图像A被转换为亮度图像，并且通过使用水平Sobel滤波器和垂直Sobel滤波器来检测水平和垂直方向中的边缘。因此，针对图像的水平方向，得到相对于边缘垂直的边缘梯度流(微分向量的水平方向分量)。而且，针对图像的垂直方向，得到相对于边缘水平的边缘梯度流(微分向量的垂直方向分量)。

接着，将边缘梯度流向量顺时针旋转90度，并且因而生成边缘正切流向量。该边缘正切流向量包括正规化的向量(大小为1的向量)的水平分量和垂直分量以及该向量的大小的信息。在以下描述中，边缘正切流向量仅被称为边缘流向量。

边缘流向量是非线性平滑的，并且做出该处理使得在不改变每个向量的大小的情况下，在保存显著边缘的同时弱边缘跟随该弱边缘周围的显著边缘。因而，得到其向量方向平滑变化的边缘流向量。

具体地，针对每个像素(px，py)得到包括正规化的向量的元素(tx，ty)和向量的长度(mag)的信息的边缘流向量。

此外，当得到边缘流向量时，针对具有椭圆形状的采样来设定大小阵列svec。

将具有椭圆形状的采样应用于例如如下椭圆形状内的像素，该椭圆形状其中心是图12中的试映射图像T上的像素PP(px，py)、具有3×w的长半径a和w的短半径b、并且其长轴沿该像素位置处的边缘流向量(tx，ty)布置。随后，通过针对与短轴的位置相对应的在长轴方向中设定的采样点预先计算像素数目，设定大小阵列svec。大小是通过如下表达式(2)计算的：

x＝√((1-y2/b2)×a2)...(2)。

要注意的是，长轴和短轴的长度不一定是前面提到的长度，并且可以按期望来设定。

更具体地说，假设在大小阵列svec中设定的采样点被布置在如图13中所示的整数坐标的位置处。关于第一象限，例如，在与短轴上的b＝0相对应的索引＝0处，存在由白色点所表示的8个采样点。因而，大小是8。相似地，在与短轴上的b＝1相对应的索引＝1处，存在7个采样点，并且因而大小是7。另外，相似地，在与短轴上的b＝2相对应的索引＝2处，存在5个采样点，并且因而大小是5。在与短轴上的b＝3相对应的索引＝3处，存在0个采样点，并且因而大小是0。

将第一象限中的索引和大小之间的关系设定为例如如图14中所示的大小阵列svec。

如果在阿尔法遮掩图像A或试映射图像T中存在未经处理的像素，则将未经处理的像素中的一个设定为对象目标像素(px，py)。

此外，如果作为处理目标的阿尔法遮掩图像A中的像素具有大于最小值Th_min并且小于最大值Th_max的透明度α，也就是说，如果该像素不属于前景物体图像或背景图像，则执行标签更新处理。借助于该标签更新处理，由试映射图像T中的处理目标像素所指定的椭圆范围中的像素的标签被更新为未确定像素。

具体地，标签更新处理是如下的处理：

短轴方向中的计数器t被设定为通过将负号分配给短轴的大小w而得到的值(t＝-W)。

接着，判断计数器t是否小于或等于作为短轴的大小的w。例如，如果计数器t小于或等于w，则针对试映射图像T中的处理目标像素(px，py)通过具有如下表达式(3)的计算来确定要被设定为未确定像素的椭圆范围中的像素位置(bx，by)：

bx＝px+tx×t，

by＝py+ty×t...(3)，

其中，bx和by是基于处理目标像素(px，py)所确定的例如图15中的椭圆范围中的t轴上的采样点(黑色点)的坐标(bx，by)；tx和ty是处理目标像素(px，py)处的边缘流向量的sx方向分量和sy方向分量，并且t是计数器t的值。

也就是说，图15中的采样点Sp7、Sp5、Sp4、...、和Sp1是根据计数器t的值顺次获取的。在图15中，图15中的处理目标像素(px，py)是试映射图像T上的、采样点Sp4所属的表示为方格的像素TP。

将负号应用于其索引是根据计数器t的绝对值从大小阵列svec当中设定的大小(＝svec[abs(t)])，并且该值被设定为计数器s。换言之，将应用于在主轴方向中设定的大小当中与借助于计数器t所设定的索引值相对应的大小的、具有减号的值设定为计数器s的值。

此外，计数器s和t表示与应该被设定为未确定像素的像素的位置相对应的采样点的s轴和t轴(对应于流向量(tx，ty)的轴)的坐标。因此，参照图15，从在当前与计数器t相对应的位置处的t轴正交的线(或者与s轴平行的线)上设定的采样点的s轴的坐标当中，判断计数器s是否等于或小于在椭圆范围中的最大值。

例如，如果计数器t是0，则参照图13，由与索引＝0相对应的svec[0]所表示的大小是8。因而，参照图15，判断计数器s是否在上至x轴上最右上的采样点的范围中，即，计数器s是否位于在与采样点(s，t)＝(8，0)相关的s轴方向中的左侧上的坐标位置，该采样点具有由椭圆形状所设定的范围中的s轴的最大坐标。

相反地，如果计数器s小于大小阵列svec[abs(t)]，则通过具有如下表达式(4)的算术运算来确定椭圆范围中的处理目标位置(sx，sy)：

sx＝round(bx+tx×s)，

sy＝round(by+ty×s)...(4)。

这里，round(x)表示丢弃数字x的分数部分，并且处理目标位置(sx，sy)代表由包括沿图15中的s轴所设定的采样点(白色点)的方格所表示的像素的坐标。也就是说，参照图15，确定了与st空间中的采样点相对应的、在试映射图像T上的sx-sy空间中的像素坐标。

随后，将与采样点(s，t)相对应的坐标(sx，sy)的像素位置处的试映射图像T的像素的标签设定为表示未确定像素的“-1”。

此外，计数器s递增1，并且重复更新直到判断计数器s等于或小于大小阵列svec[abs(t)]为止。

如果判断计数器s不等于或小于大小阵列svec[abs(t)]，即，如果计数器s超过了针对采样点设定的椭圆范围，则计数器t递增1，并且重复更新直到判断计数器t不等于或小于w为止。

在以上处理的总结中，参照图15，如果试映射图像T上的处理目标像素是与椭圆范围中的采样点Sp4相对应的像素TP，则将椭圆范围设定为处理目标范围。随后，管理短轴方向中的坐标的计数器t按Sp7、Sp6、...、和Sp1的顺序依次设定t轴上的采样点。此外，从左到右依次设定与t轴上的位置相对应的s轴上的采样点，并且将所设定的采样点所属的、试映射图像T上的像素(由图15中有颜色的方格所表示的像素)的标签更新为表示未确定像素的“-1”。

作为结果，将针对试映射图像T上的处理目标像素的椭圆范围中存在的像素设定为未确定像素，该范围具有预定大小，具有沿处理目标像素的边缘流向量延伸的长轴，并且以处理目标像素为中心。因此，可以在明显不属于试映射图像T上的前景物体图像或者背景图像的像素当中，将取决于边缘流向量而加权的周围范围中的像素设定为未确定像素。

此处，描述返回试映射图像更新处理。

如果阿尔法遮掩图像A上的处理目标像素的透明度α不大于最小值Th_min或者不小于最大值Th_max，则跳过标签更新处理。换言之，如果阿尔法遮掩图像上的像素是属于前景物体图像的区域的像素或者属于背景图像的像素，则跳过标签更新处理。

借助于该处理，在阿尔法遮掩图像A的像素当中，仅针对不属于前景物体图像或者不属于背景图像的像素将标签设定为未确定像素。

更具体地说，将与不属于阿尔法遮掩图像A上的前景物体图像或背景图像的像素相对应的试映射图像T上的像素的标签更新为借助于处理目标像素的边缘流向量而设定的椭圆范围中的未确定像素的标签。

此处，描述返回图11中的流程图。

在步骤S56中，收敛判断单元76比较由试映射图像更新单元75进行的更新之前的试映射图像T和由试映射图像更新单元75所更新的试映射图像T’，并且判断这些试映射图像是否彼此相同或者是否彼此基本上相同。例如，如果判断出这些图像不相同或者不基本上相同，则处理前进到步骤S57。

在步骤S57中，收敛判断单元76判断从步骤S54到步骤S57的处理的次数是否达到预定数目。如果收敛判断单元76判断出处理的次数没有达到预定数目，则处理前进到步骤S58。

在步骤S58中，收敛判断单元76存储所更新的试映射图像T’作为最新的试映射图像T，并且将试映射图像T提供给阿尔法遮掩图像生成器74。

在步骤S59中，阿尔法遮掩图像生成器74将鲁棒抠图处理应用于从收敛判断单元76所提供的试映射图像T，以便于生成新的阿尔法遮掩图像A并且将阿尔法遮掩图像A提供给试映射图像更新单元75。随后，处理返回步骤S55。

换言之，重复从步骤S55到步骤S59的处理，直到由试映射图像更新单元75进行的更新之前的试映射图像T和所更新的试映射图像T’变得彼此相同或者基本上相同，或者处理的次数达到预定数目为止。此时，在初始处理之后的处理中，阿尔法遮掩图像生成器74通过使用由最后所更新的试映射图像T’所替换的试映射图像T，而非由扩展试映射图像生成器73所生成的试映射图像T，生成阿尔法遮掩图像A。

在重复从步骤S55到步骤S59的处理之后，如果在步骤S56中判断出更新之前的试映射图像T和所更新的试映射图像T’彼此相同或者基本上相同，则处理前进到步骤S60。可替选地，在重复从步骤S55到步骤S59的处理之后，如果在步骤S57中判断出从步骤S55到步骤S59的处理的次数达到预定数目，则处理相似地前进到步骤S60。

在步骤S60中，收敛判断单元76将已被与试映射图像T’同时发送的阿尔法遮掩图像A提供给输出单元77。输出单元77输出所发送的阿尔法遮掩图像A。

以这种方式，基于阿尔法遮掩图像A的以像素为单位的透明度α，重复用于将在预定的椭圆范围的像素中的不属于前景物体图像或者背景图像的像素设定为未确定像素的处理。

通过重复该处理，例如，如果通过具有椭圆形状的采样所初始设定的椭圆范围小，则随着重复试映射图像更新处理，用于设定未确定像素的范围通常变大。

然而，随着重复从步骤S55到步骤S59的处理，具有灰色的未确定像素的区域变大。如果重复该处理预定次数(例如，约20次)，则即使基于阿尔法遮掩图像A更新试映射图像T，用于更新试映射图像T的阿尔法遮掩图像A也变得基本上不改变。如以上所提到的，如果试映射图像在更新前后不改变，则因为透明度α是最小值和最大值之间的中间值，所以认为不属于阿尔法遮掩图像A中的前景物体图像或者背景图像的透明度α的范围是适当的。也就是说，试映射图像T的未确定像素的设定范围是适当的。

因而，通过设定试映射图像T、通过鲁棒抠图等来根据试映射图像T生成阿尔法遮掩图像A、以及重复用于基于阿尔法遮掩图像A和边缘流向量来更新为试映射图像T’的处理，可以设定最优的未确定区域。

图像剪切处理

接着，将参照图16中的流程图描述剪切处理。

在步骤S91中，输入图像获取单元81和阿尔法遮掩图像获取单元82分别判断是否提供了输入图像I和阿尔法遮掩图像A。重复相似的处理，直到提供了输入图像I和阿尔法遮掩图像A为止。

在步骤S92中，输入图像获取单元81将输入图像I提供给确定值映射生成器83和估计前景颜色图像生成器85。而且，阿尔法遮掩图像获取单元82将所输入的阿尔法遮掩图像A提供给确定值映射生成器83、像素权重映射生成器84、估计前景颜色图像生成器85和拉普拉斯算子矩阵生成器86。

此外，确定值映射生成器83根据阿尔法遮掩图像A生成确定值映射图像S。确定值映射图像S包括被确定为前景物体图像或者背景图像的第一预定像素值的像素、和不属于任何以上像素的第二预定像素值的像素。

更具体地说，确定值映射生成器83通过例如针对作为确定其颜色为在前景物体图像中的确定像素的、具有由α＝1或者α＝0所定义的透明度α的像素，将像素值设定为1，并且针对其他未确定像素，将像素值设定为0，生成确定值映射图像S。而且，从设定为确定像素的像素当中，确定值映射生成器83将具有由α＞0.5所定义的透明度α的像素设定为前景确定像素(属于对象图像的像素)，并且将具有α＜0.5的透明度α的像素设定为背景确定像素(属于对象图像之外的图像的像素)。

确定像素不限于α＝1或者α＝0的像素，并且可以由特定阈值来定义。例如，可以使用α＞0.98和α＜0.02的阈值。而且，可以将包括未确定像素的未确定区域向确定区域扩展约一个至若干个像素，以增加后续处理的精确度。借助于该处理，例如，即使因为输入图像I是通过上采样得到的图像而将确定像素和未确定像素的颜色计算为中间颜色，也可以精确地计算前景物体图像的颜色而没有颜色污点。

在步骤S93中，像素权重映射生成器84根据确定值映射图像S和阿尔法遮掩图像A生成像素权重映射图像Ds，并且将所生成的像素权重映射图像Ds提供给能量函数生成器87。更具体地说，像素权重映射生成器84设定与确定值映射图像S中的未确定区域的像素相对应的阿尔法遮掩图像A的像素值，即，将透明度α设定为像素的权重，并且生成像素权重映射图像Ds。通过调整与像素权重映射图像Ds的每个像素相对应的值，改变能量函数E(稍后描述)的特性。例如，随着与像素权重映射图像Ds的每个像素相对应的值变大，设定能量函数E使得更有可能得到接近估计前景颜色图像的前景颜色图像。相反地，随着与像素权重映射图像Ds的每个像素相对应的值变小，该值变得更接近于由相邻的前景物体图像的像素值所补充的值。因而，可以得到具有平滑连续性的前景物体图像的像素值。

此处，针对像素权重映射图像Ds的每个像素的权重使用每个像素的透明度α(0≤α≤1)；然而，设定为权重的值可以是其他值。

在步骤S94中，估计前景颜色图像生成器85执行估计前景颜色图像生成处理，其中，根据输入图像I、阿尔法遮掩图像A和确定值映射图像S生成估计前景颜色图像F^，并且将所生成的估计前景颜色图像F^提供给能量函数生成器87。

现在将描述估计前景颜色图像生成处理。

通过使用Sobel滤波器，将微分处理应用于阿尔法遮掩图像A的每个像素的α值，使得生成由微分值Δα所定义的微分图像A’。

随后，基于微分图像A’，对针对确定值映射图像S的未确定区域中的每个像素的微分值Δα进行积分，该像素在到与确定区域相关的边界处的前景物体图像的所有确定像素的所有路径上。针对每个像素，假设具有微分值Δα的最小积分值的路径是到确定像素的最短路径，并且读取穿过该路径的确定像素的像素位置。

特别地，参照图17，对从未确定区域中的像素Pd到边界处的多个确定像素Pu的所有路径PATH上的像素的微分值Δα进行积分，并且通过具有如下表达式(5)的算术运算来检索具有最小值的确定像素Pu：

$d(p_d,p_u)=\underset{{\mathrm{PATH}}_{\mathrm{pd},\mathrm{pu}}}{\min }{\∫}_0^1\left|\mathrm{\Δ\α}\right|\mathrm{dp}...\left(5\right),$

其中，d(Pd，Pu)属于具有如下积分值当中的最小积分值的确定像素Pu，这些积分值是从未确定区域中的像素Pd到与确定区域相关的边界处的确定像素Pu的路径PATH上存在的所有像素的微分值Δα的绝对值的积分值。由微分值Δα的积分值所定义的每个路径的距离是所谓的测地距离。而且，通过依次耦合作为8个相邻像素的关系中的节点的相邻像素，设定每个路径PATH。也就是说，像素TP可以选择作为下一路径的相邻像素是8个方向(即，向左、向右、向上、向下、右下方向、右上方向、左上方向和左下方向)中的像素P1至P8。

在图17中，区域Z11是包括未确定像素的未确定区域，并且区域Z12和Z13是包括前景物体图像的确定像素的确定区域。而且，边界B是未确定区域和确定区域之间的边界。白色像素SFP1至SFP8和黑色像素Pd是边界B上的确定像素。

而且，在将作为最短路径而得到的到最近的确定像素的距离(测地距离)设定为像素值的距离映射图像M中，例如，将黑颜色分配给确定像素，取决于距离而分配更亮的颜色，并且将白颜色分配给最远的像素。

此外，未确定像素分别与作为最短路径而检索到的像素位置的信息相关联，并且因而，生成最近前景像素映射图像N。

随后，基于最近前景像素映射图像N，读取针对未确定像素分别设定的像素位置处的输入图像I中的确定像素的像素值，并且将其设定为未确定像素的像素值。因而，生成估计前景颜色图像F^。特别地，例如，参照图17，将未确定像素Pu的像素值设定为与像素Pd的像素位置相对应的输入图像I的像素值，像素Pd是作为最近路径而检索到的最近的前景像素。

此时，作为在最近前景像素映射图像N中所设定的最短路径而选择的像素可能不是适当的像素。因而，通过将预定的权重应用于作为最短路径而选择的像素周围的边界处的多个确定像素所得到的平均值可以被确定为未确定像素的像素值。

更具体地说，参照图17，针对与像素Pu相对应的未确定像素，设定为最短路径的像素Pd和位于边界处的、像素Pd附近的确定像素SFP1至SFP8的平均值可以被得到并被确定为未确定像素Pu的像素值。

关于像素Pu附近的像素，例如参见Jue Wang、MF Cohen的Optimized Color Sampling for Robust Matting，Computer Vision andPattern Recognition，2007。

借助于以上处理，因为未确定像素被替代为前景物体图像的像素，所以可以在前景物体图像中再现自然颜色，未确定像素通过由微分值的最小积分值所提供的最短路径，到达前景物体图像的像素。因此，可以在前景物体图像和背景图像之间的边界附近的区域中限制前景物体图像处的背景图像的颜色污点。

此处，描述返回图16中的流程图。

在步骤S95中，拉普拉斯算子矩阵生成器86根据阿尔法遮掩图像A生成拉普拉斯算子矩阵L，并且将拉普拉斯算子矩阵L提供给能量函数生成器87。具体地，拉普拉斯算子矩阵生成器86针对表示像素当中的关系的图结构，以具有相等的行列数目的正方矩阵的形式，生成具有像素总数(节点的数目)×像素总数的正方矩阵的拉普拉斯算子矩阵。更具体地说，拉普拉斯算子矩阵生成器86生成拉普拉斯算子矩阵L，其中每行中的对角线分量是同一行中的对角线分量之外的分量的总和，并且符号相反。也就是说，当每行中的分量被加到一起时，总和是0。

例如，如图18中所示地连接像素P1至P6，并且由图中的线段所连接的像素彼此相邻。当建立图18中所示的关系时，拉普拉斯算子矩阵生成器86生成如以下表达式(6)所表示的拉普拉斯算子矩阵L：

$L=\left(\begin{array}{cccccc}2& -1& 0& 0& -1& 0\\ -1& 3& -1& 0& -1& 0\\ 0& -1& 2& -1& 0& 0\\ 0& 0& -1& 3& -1& -1\\ -1& -1& 0& -1& 3& 0\\ 0& 0& 0& -1& 0& 1\end{array}\right)...\left(6\right).$

具体地，参照图18，像素P2和P5被连接到像素P1。因而，如表达式(6)中的拉普拉斯算子矩阵L中所示，在第一行中，拉普拉斯算子矩阵生成器86针对与像素P2和P5相对应的第二和第五列设定“-1”，并且针对第一列设定“2”(＝|-1|×2)。

相似地，参照图18，像素P1、P3和P5被连接到像素P2。因而，如表达式(6)中的拉普拉斯算子矩阵L中所示，在第二行中，拉普拉斯算子矩阵生成器86针对与像素P1、P3和P5相对应的第一、第三和第五列设定“-1”，并且针对第二列设定“3”(＝|-1|×3)。

另外，相似地，参照图18，像素P2和P4被连接到像素P3。因而，如表达式(6)中的拉普拉斯算子矩阵L中所示，在第三行中，拉普拉斯算子矩阵生成器86针对与像素P2和P4相对应的第二和第四列设定“-1”，并且针对第三列设定“2”(＝|-1|×2)。

另外，相似地，参照图18，像素P3、P5和P6被连接到像素P4。因而，如表达式(6)中的拉普拉斯算子矩阵L中所示，在第四行中，拉普拉斯算子矩阵生成器86针对与像素P3、P5和P6相对应的第三、第五和第六列设定“-1”，并且针对第四列设定“3”(＝|-1|×3)。

另外，相似地，参照图18，像素P1、P2和P4被连接到像素P5。因而，如表达式(6)中的拉普拉斯算子矩阵L中所示，在第五行中，拉普拉斯算子矩阵生成器86针对与像素P1、P2和P4相对应的第一、第二和第四列设定“-1”，并且针对第五列设定“3”(＝|-1|×3)。

另外，相似地，参照图18，只有像素P4被连接到像素P6。因而，如表达式(6)中的拉普拉斯算子矩阵L中所示，在第六行中，拉普拉斯算子矩阵生成器86针对与像素P4相对应的第四列设定“-1”，并且针对第六列设定“1”(＝|-1|×1)。

在步骤S96中，能量函数生成器87通过使用表达式(7)中所示的前景颜色图像F作为参数，基于像素权重映射图像Ds、拉普拉斯算子矩阵L和估计前景颜色图像F^，生成能量函数E，并且将所生成的能量函数E提供给前景颜色图像生成器88。表达式(7)如下：

x＝arg min(x^TLx+λ(x-F^)^TDs(x-F^))...(7)，

其中，arg min(Q)是作为用于确定参数x的值使得函数Q的值变得最小的函数的数学符号；并且x是用于颜色图像Fc中的像素的向量，颜色图像Fc构成要被生成的前景颜色图像F。由此，表达式(7)提供了导致最小能量函数E的向量x的组合。而且，x^T和(x-F^)^T代表向量x和(x-F^)的转置，L是拉普拉斯算子矩阵，λ是正值的系数，并且Ds是像素权重映射图像。

在表达式(7)中，“x^TLx”是平滑项，并且“λ(x-F^)^TDs(x-F^)”是数据项。

平滑项是如下的项，其运算以确定向量x使得相邻像素的值被平滑布置(或者相同)。而且，数据项是如下的项，其运算以让向量x变得接近于估计前景颜色图像F^使得向量x和估计前景颜色图像F^变为0。

平滑项和数据项相互具有取舍关系。如果将这些值中的一个优先于另一个值控制为0(最小)，则另一个值变得更大。因此，计算表达式(7)使得两个值平衡并且和变得最小。在实际计算中，前景颜色图像生成器88通过共轭梯度方法或者LU分解来执行借助于表达式(7)的计算，并且使和最小化。

系数λ调整与平滑项相关的数据项的相对强度。像素权重映射图像Ds设定数据项的每行的相对优先级，即，设定对构成前景物体图像的像素的像素值的影响程度。特别地，如果在像素权重映射图像Ds中存在1.0的项，则系数λ的约束力变大，并且随着λ变小，约束力变小。如果由像素权重映射图像Ds或者系数λ导致的约束力变为0，则数据项的重要性变为0，并且仅由平滑项来确定能量函数E。像素权重映射图像Ds是正值，并且通常在从0.0到1.0的范围内；然而，其不限于此。

平滑项和数据项利用二次型(向量x被乘以二次)来得到数学最小解。例如，如果如表达式(8)中所示地使用微分表达式，则可以如下得到最小值：

(L+λDs)x＝λF^...(8)。

在步骤S97中，前景颜色图像生成器88算术地运算表达式(8)，以求解向量x并且得到前景颜色图像F中所包括的颜色图像Fc。

在步骤S98中，前景颜色图像生成器88判断是否得到了针对红色、绿色和蓝色(RGB)的所有颜色的颜色图像Fc。如果针对所有颜色的处理没有结束，则处理返回步骤S97，并且针对未处理的颜色执行处理。也就是说，重复步骤S97和S98的处理，直到得到了针对所有颜色的颜色图像Fc为止。

在步骤S98中，如果判断出针对所有颜色得到了颜色图像Fc并且结束了处理，则在步骤S99中，前景颜色图像生成器88通过使用针对所有颜色的颜色图像Fc来构成前景颜色图像F，并且输出前景颜色图像F作为基于输入图像I中的阿尔法遮掩图像A而设定的前景物体图像F。此时，前景颜色图像生成器88也将前景物体图像F输出到遮掩图像生成器89。

在步骤S100中，遮掩图像生成器89将与前景物体图像F相对应的输入图像I的区域设定为遮掩区域，并且生成和输出遮掩图像B。

借助于该处理，得到由前景颜色图像的每个颜色的像素值所定义的使得能量函数E变得最小的向量x，根据由向量x所定义的每个颜色的颜色图像Fc得到前景颜色图像F，并且构成前景颜色图像F作为前景物体图像F。作为结果，可以在前景物体图像和背景图像之间的边界附近的区域中限制前景物体图像处的背景图像的颜色污点。

遮掩图像修复处理

接着，将参照图19中的流程图描述遮掩图像修复处理。

在步骤S111中，输入图像存储单元101存储输入图像。

在步骤S112中，遮掩图像获取单元109获取从对象剪切单元25所提供的遮掩图像，并且在遮掩图像存储单元110中存储遮掩图像。

在步骤S113中，修复单元107读取存储在遮掩图像存储单元110中的遮掩图像，并且判断在遮掩图像中是否存在遮掩区域。在步骤S113，例如，如果判断出在遮掩图像中存在遮掩区域，则处理前进到步骤S114。

在步骤S114中，遮掩边界设定单元102根据遮掩图像的信息设定用作输入图像中的与遮掩区域相关的边界的范围，并且在遮掩边界信息存储单元103中存储所设定的、输入图像中的与遮掩区域相关的边界的信息。

在步骤S115中，区域优先级计算器104将被设定为与遮掩区域相关的边界的范围划分为多个预定区域，计算各个预定区域的优先级，并且将各个预定区域的优先级的信息提供给最高优先级区域选择器105。更具体地说，区域优先级计算器104计算优先级使得具有最大数目的边缘的区域具有高的优先级。用于得到优先级的方法不限于此，并且可以是其他方法，只要可以设定优先级即可。关于其他方法，参见A.Criminisi、P.Perez、K.Toyama的Object Removal by Exemplar-Based Inpainting，CVPR2003。

在步骤S116中，最高优先级区域选择器105选择具有从区域优先级计算器104所提供的优先级的最大值(最高优先级)的预定区域，并且将所选择的预定区域的图像的信息提供给块匹配处理器106。

在步骤S117中，块匹配处理器106通过块匹配处理，在输入图像中循环地检索与遮掩区域相关的边界区域处的、与具有最高优先级的预定区域的像素值(亮度值)最相似的区域。

在步骤S118中，块匹配处理器106复制如下预定区域的信息，并且将所复制的信息提供给修复单元107：该预定区域相邻于所检索的与预定区域的像素值(亮度值)最相似的区域，并且与相邻于具有最高优先级的预定区域的遮掩区域的位置相对应。修复单元107读取存储在遮掩图像存储单元110中的遮掩图像。随后，修复单元107将如下区域中的所提供的被复制的预定区域的图像粘贴到相邻于具有最高优先级的预定区域的遮掩区域的位置处，从而修复遮掩图像的遮掩区域：该区域相邻于与所检索的预定区域的亮度值最相似的区域。此外，修复单元107更新所修复的遮掩区域的信息，并且在遮掩图像存储单元110中存储遮掩图像。处理返回步骤S113。随后，在步骤S113中，重复从步骤S113到步骤S118的处理，直到判断出不存在遮掩区域位置为止。

也就是说，作为输入图像中的与遮掩区域相关的边界区域中的具有更高的重复频率的预定区域，优先级被计算为更高的值。因而，如果在输入图像的其他区域中存在相似的预定区域，则与其相邻的区域可能会包括背景图像的信息，背景图像本该存在于成为遮掩图像的区域中。因此，检索与具有最高优先级的预定区域最相似的预定区域，将与所检索的预定区域相邻的相邻区域粘贴到遮掩图像上以修复遮掩图像，并且重复相似的处理直到不再存在遮掩图像为止。也就是说，在可以注意到失败的位置处优先级变高。

在步骤S113中，如果判断出不存在遮掩区域，即，如果判断出完全修复了遮掩区域并且生成了背景图像，则处理前进到步骤S119。

在步骤S119中，修复单元107识别出修复了遮掩图像的遮掩区域并且为背景图像输出单元108生成了背景图像。修复单元107将存储在遮掩图像存储单元110中的遮掩图像存储到背景图像存储单元27作为背景图像。

借助于以上处理，例如，在图2中所示的情况下，因为如在图像P3中的与对象区域相关的边界区域中所见到地存在单一颜色的背景区域，所以重复地检索单一颜色的图像作为具有高优先级的预定区域。因而，例如，如图2中的图像P5中所示的，曾经对象存在的遮掩区域被自然地修复为背景颜色的图像或者周围图像。作为结果，在将剪切图像布置在图像上的任何位置时，被剪切为对象剪切图像的图像可以具有自然的背景。

图像合成处理

接着，将参照图20中的流程图描述图像合成处理。

在步骤S141中，对象图像梯度计算器121和背景图像梯度计算器122基于根据操作单元34的操作内容从指示单元33所提供的指示内容，分别指定对象区域剪切图像的区域和背景图像的区域。

在步骤S142中，对象图像梯度计算器121读取存储在对象剪切图像存储单元29中的对象剪切图像，根据像素值或亮度值的分布得到对象图像中的像素值或亮度值的梯度，并且将所得到的梯度提供给泊松方程生成器123。

在步骤S143中，背景图像梯度计算器122读取存储在背景图像存储单元27中的背景图像，根据像素值或亮度值的分布得到背景图像中的像素值或亮度值的梯度，并且将所得到的梯度提供给泊松方程生成器123。

更具体地说，对象图像梯度计算器121和背景图像梯度计算器122通过使用作为处理目标的像素的目标像素和其相邻四个像素之间的差来计算梯度。

在步骤S144中，泊松方程生成器123通过使用对象剪切图像的梯度的运算结果和背景图像的梯度的运算结果来生成泊松方程，并且将所生成的泊松方程提供给泊松方程运算器124。

在步骤S145中，泊松方程运算器124通过算术运算求解从泊松方程生成器123所提供的泊松方程，得到作为对象剪切图像和背景图像的合成的结果而生成的背景附近的分布，并且将运算结果提供给合成处理器125。

更具体地说，如果得到了满足以下给出的表达式(9)的像素值f，则可以组合对象剪切图像和背景图像。表达式(9)如下：

$\underset{f}{\min }{\∫\∫}_{\mathrm{\Ω}}{|\▿f|}^2\mathrm{withf}{|}_{\∂\mathrm{\Ω}}=f^{*}{|}_{\∂\mathrm{\Ω}},...\left(9\right),$

其中，f是对象剪切图像的像素值，f^＊是要被组合的背景图像的像素值，Ω是要被组合的区域，并且是合成区域的边界。

基于表达式(9)，泊松方程生成器123得到表达式(10)。泊松方程运算器124求解表达式(10)以得到边界附近的分布。表达式(10)如下：

$\mathrm{\Δf}=\mathrm{div}\mathrm{v\; over}\mathrm{\Ω},\mathrm{withf}{|}_{\∂\mathrm{\Ω}}=f^{*}{|}_{\∂\mathrm{\Ω}},...\left(10\right).$

关于泊松方程的求解的细节，例如，参见Patrick Perez、MichelGangnet、Andrew Blake的Poisson Image Editing，SIGGRAPH 2003。

在步骤S146中，合成处理器125根据泊松方程运算器124的运算结果生成对象剪切图像和背景图像的合成图像，并且将合成图像提供给显示处理器31以在显示器32上显示合成图像。

也就是说，图像合成单元28通过所谓的泊松图像合成处理来组合对象剪切图像和背景图像。因此，可以借助于对象剪切图像和背景图像之间的边界处的自然的颜色分布做出合成。

借助于该处理，利用本发明的实施例，即使是在图像中自由移动对象时，也可以修复在剪切对象时所生成的遮掩区域。可以执行诸如在图像中自由移动对象剪切图像的编辑。另外，此时，可以通过泊松图像合成借助于自然的颜色布置来组合对象剪切图像和背景图像。可以执行图像编辑而没有不自然的感觉。

第二实施例

对象区域检测器的另一配置示例

在以上描述中，当检测对象时，通过提取亮度信息、颜色信息、边缘信息、对象信息和动作信息来生成对象映射，并且根据对象映射的信息来指定对象区域。然而，可以利用其他配置，只要可以检测对象即可。也就是说，例如，可以利用通过使用傅里叶函数变换(FFT)来检测对象的配置。这是将不具有频域中的平滑分量的区域确定为目标区域的方法。关于细节，参见Xiaodi Hou、Liqing Zhang的Saliency Detection：A SpectralResidual Approach，CVPR 2007。

图21是对象区域检测器21的另一配置示例。

图21中的对象区域检测器21是通过使用FFT检测对象的配置示例，并且包括FFT运算器141、对数运算器142、平滑化运算器143、差分运算器144、逆傅里叶函数变换(IFFT)运算器145和角度分量提取器146。

FFT运算器141针对输入图像执行FFT转换处理，并且将运算结果输出到对数运算器142。此时，角度分量提取器146提取在由FFT运算器141进行的FFT转换处理处所输出的信息中的角度分量，并且将角度分量提供给IFFT运算器145。

对数运算器142针对FFT运算器141的运算结果执行对数运算，并且将运算结果提供给平滑化运算器143和差分运算器144。平滑化运算器143将FFT运算器141的运算结果的对数运算结果进行平滑化，并且将平滑化的结果提供给差分运算器144。差分运算器144得到来自对数运算器142的运算结果的平滑的值和未经平滑的值之间的差，并且将差提供给IFFT运算器145。IFFT运算器145基于由角度分量提取器146从FFT运算器141的运算结果所提取的角度分量，识别从差分运算器144所提供的差分运算结果作为实部，识别由角度分量提取器146从FFT运算器141的运算结果所提取的角度分量作为虚部，应用指数函数，随后执行逆FFT运算，并且输出运算结果作为对象区域检测图像。

对象区域检测处理

接着，将参照图22中的流程图描述由图21中的对象区域检测器所进行的对象区域检测处理。

在步骤S161中，FFT运算器141针对输入图像的每个像素的亮度执行FFT转换处理，并且将亮度输出到对数运算器142。

在步骤S162中，角度分量提取器146提取在由FFT运算器141进行的FFT转换处理处所输出的信息中的角度分量，并且将角度分量提供给IFFT运算器145。

在步骤S163中，对数运算器142针对FFT运算器141的运算结果的绝对值执行对数运算，并且将运算结果提供给平滑化运算器143和差分运算器144。

在步骤S164中，平滑化运算器143将FFT运算器141的运算结果的对数运算结果进行平滑化，并且将平滑化的结果提供给差分运算器144。

在步骤S165中，差分运算器144得到来自对数运算器142的运算结果的平滑的值和未经平滑的值之间的差，并且将差提供给IFFT运算器145。

在步骤S166中，IFFT运算器145识别从差分运算器144所提供的差分运算结果作为实部、并识别由角度分量提取器146从FFT运算器141的运算结果所提取的角度分量作为虚部，应用指数函数，并且随后执行逆FFT运算处理。

在步骤S167中，IFFT运算器145输出逆FFT运算处理的运算结果作为对象区域检测图像。

借助于以上处理，即使借助于FFT运算，也可以检测对象区域。

可以由硬件或软件执行前述系列图像处理。如果由软件执行系列处理，则可以将构成软件的程序安装在计算机的专用硬件中，或者可以将构成软件的程序从存储介质安装到计算机(例如，可以通过安装各种程序来执行各种功能的通用个人计算机)中。

图23图示了通用个人计算机的配置示例。个人计算机包括中央处理单元(CPU)1001。CPU 1001通过总线1004被连接到输入/输出接口1005。总线1004被连接到只读存储器(ROM)1002和随机存取存储器(RAM)1003。

输入/输出接口1005被连接到：包括用户向其输入操作命令的输入设备(诸如键盘和/或鼠标)的输入单元1006；将处理操作屏幕或处理结果的图像输出到显示设备上的输出单元1007；包括硬盘驱动器等存储程序和各种数据的存储单元1008；以及包括局域网(LAN)适配器并且通过网络(诸如因特网)执行通信处理的通信单元1009。而且，输入/输出接口1005被连接到从诸如磁盘(包括软盘)、光盘(包括压缩盘只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光盘(包括迷你盘(MD))或半导体存储器的可移除介质1011读取或向其写入数据的驱动器1010。

CPU 1001根据存储在ROM 1002中的程序或者从诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质1011所读取的、安装在存储单元1008中并且从存储单元1008载入RAM 1003的程序执行各种处理。RAM1003也适当地存储由CPU 1001执行各种处理所需的数据。

在本说明中，在用于记述存储在存储介质中的程序的步骤中，按所记载的顺序而顺次执行的处理不一定要顺次执行，并且处理可以包括并行执行的处理或各自执行的处理。

在说明中，系统代表包括多个设备的整个装置。

本申请包括与在2010年2月25日提交日本专利局的日本优先权专利申请JP 2010-040698中所公开的主题内容有关的主题内容，在此通过引用将其全文合并于此。

本领域普通技术人员应该理解的是，可以在所附权利要求或其等价物的范围内根据设计需要和其他因素进行各种修改、组合、子组合和变更。

Claims (7)

1.一种图像处理设备，其包括：

对象区域检测装置，其用于从输入图像中将对象存在的区域检测为对象区域；

剪切装置，其用于从所述输入图像中剪切所述对象区域的图像；

优先级计算装置，其用于为所述输入图像计算与所述对象区域相关的边界上的每个预定区域的优先级；

检索装置，其用于从所述对象区域的图像被剪切之后的所述输入图像中检索与如下预定区域的图像相似的区域，该预定区域具有在与所述对象区域相关的边界上的预定区域的优先级当中的最高优先级；

修复装置，其用于通过复制相邻区域的图像并且将通过复制该相邻区域而得到的图像粘贴到与具有所述最高优先级的预定区域相邻并作为所述对象区域而被剪切的区域上，来修复所述对象区域，该相邻区域相邻于与由所述检索装置检索到的预定区域相似的区域，并且包括与作为所述对象区域而被剪切的区域相对应的区域；以及

合成装置，其用于组合由所述剪切装置所剪切的所述对象区域的图像和具有由所述修复装置所修复的所述对象区域的图像。

2.根据权利要求1所述的图像处理设备，其还包括：

附加区域输入装置，其用于输入对应于所述对象区域的附加区域；以及

对象区域附加装置，其用于附加具有被附加到所述对象区域的附加区域的区域作为所述对象区域。

3.根据权利要求1所述的图像处理设备，

其中，所述优先级计算装置重新计算与由所述修复装置所修复的所述对象区域相关的边界上的每个预定区域的优先级，

其中，所述检索装置从所述对象区域的图像被剪切之后的所述输入图像中检索与如下预定区域的图像相似的区域，该预定区域具有在与所述对象区域相关的边界上的预定区域的所重新计算的优先级当中的最高优先级，并且

其中，所述修复装置通过复制相邻区域的图像并且将通过复制该相邻区域而得到的图像粘贴到与具有所述最高优先级的预定区域相邻并作为所述对象区域而被剪切的区域上，来修复所述对象区域，该相邻区域相邻于与由所述检索装置检索到的预定区域相似的区域，并且包括与作为所述对象区域而被剪切的区域相对应的区域。

4.根据权利要求3所述的图像处理设备，其中，所述优先级计算装置、所述检索装置和所述修复装置重复它们的处理，直到修复了所述对象区域的全部区域为止。

5.一种图像处理设备的图像处理方法，所述设备包括：

对象区域检测装置，其用于从输入图像中将对象存在的区域检测为对象区域；

剪切装置，其用于从所述输入图像中剪切所述对象区域的图像；

优先级计算装置，其用于为所述输入图像计算与所述对象区域相关的边界上的每个预定区域的优先级；

检索装置，其用于从所述对象区域的图像被剪切之后的所述输入图像中检索与如下预定区域的图像相似的区域，该预定区域具有在与所述对象区域相关的边界上的预定区域的优先级当中的最高优先级；

修复装置，其用于通过复制相邻区域的图像并且将通过复制该相邻区域而得到的图像粘贴到与具有所述最高优先级的预定区域相邻并作为所述对象区域而被剪切的区域上，来修复所述对象区域，该相邻区域相邻于与由所述检索装置检索到的预定区域相似的区域，并且包括与作为所述对象区域而被剪切的区域相对应的区域；以及

合成装置，其用于组合由所述剪切装置所剪切的所述对象区域的图像和具有由所述修复装置所修复的所述对象区域的图像；

所述方法包括以下步骤：

由所述对象区域检测装置从所述输入图像中将所述对象存在的区域检测为所述对象区域；

由所述剪切装置从所述输入图像中剪切所述对象区域的图像；

由所述优先级计算装置为所述输入图像计算与所述对象区域相关的边界上的每个预定区域的优先级；

由所述检索装置从所述对象区域的图像被剪切之后的所述输入图像中检索与如下预定区域的图像相似的区域，该预定区域具有在与所述对象区域相关的边界上的预定区域的优先级当中的最高优先级；

由所述修复装置通过复制相邻区域的图像并且将通过复制该相邻区域而得到的图像粘贴到与具有所述最高优先级的预定区域相邻并作为所述对象区域而被剪切的区域上，来修复所述对象区域，该相邻区域相邻于与通过所述检索而检索到的预定区域相似的区域，并且包括与作为所述对象区域而被剪切的区域相对应的区域；以及

由所述合成装置组合通过所述剪切所剪切的所述对象区域的图像和具有通过所述修复所修复的所述对象区域的图像。

6.一种可由控制图像处理设备的计算机执行的程序，所述设备包括：

对象区域检测装置，其用于从输入图像中将对象存在的区域检测为对象区域；

剪切装置，其用于从所述输入图像中剪切所述对象区域的图像；

优先级计算装置，其用于为所述输入图像计算与所述对象区域相关的边界上的每个预定区域的优先级；

检索装置，其用于从所述对象区域的图像被剪切之后的所述输入图像中检索与如下预定区域的图像相似的区域，该预定区域具有在与所述对象区域相关的边界上的预定区域的优先级当中的最高优先级；

修复装置，其用于通过复制相邻区域的图像并且将通过复制该相邻区域而得到的图像粘贴到与具有所述最高优先级的预定区域相邻并作为所述对象区域而被剪切的区域上，来修复所述对象区域，该相邻区域相邻于与由所述检索装置检索到的预定区域相似的区域，并且包括与作为所述对象区域而被剪切的区域相对应的区域；以及

合成装置，其用于组合由所述剪切装置所剪切的所述对象区域的图像和具有由所述修复装置所修复的所述对象区域的图像，

所述程序使得所述计算机执行包括以下步骤的处理：

由所述对象区域检测装置从所述输入图像中将所述对象存在的区域检测为所述对象区域；

由所述剪切装置从所述输入图像中剪切所述对象区域的图像；

由所述优先级计算装置为所述输入图像计算与所述对象区域相关的边界上的每个预定区域的优先级；

由所述检索装置从所述对象区域的图像被剪切之后的所述输入图像中检索与如下预定区域的图像相似的区域，该预定区域具有在与所述对象区域相关的边界上的预定区域的优先级当中的最高优先级；

由所述修复装置通过复制相邻区域的图像并且将通过复制该相邻区域而得到的图像粘贴到与具有所述最高优先级的预定区域相邻并作为所述对象区域而被剪切的区域上，来修复所述对象区域，该相邻区域相邻于与通过所述检索而检索到的预定区域相似的区域，并且包括与作为所述对象区域而被剪切的区域相对应的区域；以及

由所述合成装置组合通过所述剪切所剪切的所述对象区域的图像和具有通过所述修复所修复的所述对象区域的图像。

7.一种图像处理设备，其包括：

对象区域检测器，其被配置成从输入图像中将对象存在的区域检测为对象区域；

剪切单元，其被配置成从所述输入图像中剪切所述对象区域的图像；

优先级计算器，其被配置成为所述输入图像计算与所述对象区域相关的边界上的每个预定区域的优先级；

检索单元，其被配置成从所述对象区域的图像被剪切之后的所述输入图像中检索与如下预定区域的图像相似的区域，该预定区域具有在与所述对象区域相关的边界上的预定区域的优先级当中的最高优先级；

修复单元，其被配置成通过复制相邻区域的图像并且将通过复制该相邻区域而得到的图像粘贴到与具有所述最高优先级的预定区域相邻并作为所述对象区域而被剪切的区域上，来修复所述对象区域，该相邻区域相邻于与由所述检索单元检索到的预定区域相似的区域，并且包括与作为所述对象区域而被剪切的区域相对应的区域；以及

合成单元，其被配置成组合由所述剪切单元所剪切的所述对象区域的图像和具有由所述修复单元所修复的所述对象区域的图像。

Images