CN102460515B - 利用针对图像区域提供的附加内容来生成经修改的图像 - Google Patents

Abstract

在计算机系统中显示图像。该图像包括其内具有可视特征的内容。该内容具有被定义为在生成经修改图像时被提供附加内容的区域。接收包括要放置在该图像上的语义标记的输入。该语义标记指示区域内的区域内部分和区域外的区域外部分。使用应用于该图像的基于补丁的优化算法来确定用于该区域的附加内容。该基于补丁的优化算法(i)基于该区域外部分而不基于该语义标记未指示的图像区域来识别用于该区域内部分的附加内容；以及(ii)在不限制于该区域外部分的情况下，识别用于该区域的剩余部分的该附加内容。存储在该区域中具有附加内容的经修改图像。

Description

利用针对图像区域提供的附加内容来生成经修改的图像

相关申请

本申请要求2009年5月6日提交的序列号为No.61/215,465的美国临时申请以及2009年5月21日提交的序列号为No.12/454,666的美国专利申请的优先权，其标题均为“GENERATINGAMODIFIEDIMAGEWITHADDITIONALCONTENTPROVIDEDFORAREGIONTHEREOF”，它们每个的全文均通过引用而包含于此。

背景技术

本说明书涉及数字图像处理。

一些现有图像处理技术使用基于补丁(patch)的技术来操纵内容。处理可以涉及分析或合成图像内容的补丁(例如，像素群组)。例如，基于补丁的方式被用于对图像和视频内容的降噪；提高图像分辨率，诸如执行超分辨率；压缩图像内容；诸如通过重定向来改变图像纵横比；重组图像内容；将图像拼接在一起；编辑图像内容；以及执行纹理合成。基于补丁的方法对于合成操作可具有一些益处。例如，可以处理结构、纹理、重复性图案和冗余。

已经尝试了按照不同方式来使图像完整的多种技术，并且这些技术可以依赖于基于补丁的技术。例如，存在孔洞填补技术，其试图通过分析图像中其他地方的内容来找出用于该图像中的孔洞的内容。还存在克隆技术，其中用户可以人工地选择源区域，该源区域继而被克隆至目标区域以填充该孔洞。

发明内容

本发明涉及使用由用户提供的语义信息的图像修改。

在第一方面，一种计算机实现的用于生成经修改图像的方法，包括：在计算机系统中显示图像。该图像包括其内具有可视特征的内容，该内容具有被定义为在生成经修改图像时被提供附加内容的区域。该方法包括：接收包括要放置在该图像上的语义标记的输入，该语义标记指示该区域内的区域内部分和该区域外的区域外部分。该方法包括使用向该图像应用的基于补丁的优化算法来确定用于该区域的附加内容，该基于补丁的优化算法(i)基于该区域外部分而不基于该语义标记未指示的图像区域来识别用于该区域内部分的附加内容；以及(ii)在不限制于该区域外部分的情况下，识别用于该区域的剩余部分的附加内容。该方法包括存储在该区域中具有附加内容的经修改图像。

各种实现可以包括以下特征中任意或全部特征。区域可以包括图像中不包含内容的孔洞，并且经修改图像可以在孔洞填充过程中生成。该孔洞可被填充以使得特征延伸到之前未包含该内容的区域中。图像可以是照片，而特征可以是物理对象，并且区域可以对应于特征中缺失的物理对象的结构而被定义。语义标记可以使用至少以下之一做出：直线工具、弧线工具、刷子工具、区域选择工具及其任意组合。语义标记的一部分可以放置在区域内部以指示区域内部分，而语义标记的另一部分可以放置在区域外部以指示区域外部分。可以将识别特性指派给语义标记，该识别特性将语义标记与图像中的至少一个其他语义标记相区分，从而使得基于补丁的优化算法单独处理各语义标记。语义标记可以相互交叉，并且基于补丁的优化算法可以单独处理各语法标记。该方法还可以包括接收针对基于补丁的优化处理来定义附加语义约束的另一输入。该附加约束可以包括至少以下之一：针对基于补丁的优化算法的连贯性(coherence)方面定义的第一搜索空间限制，该第一搜索空间限制拒绝至少图像的第一区域在附加内容中的使用；以及针对基于补丁的优化算法的完整性(completeness)方面定义的第二搜索空间限制，该第二搜索空间限制要求附加内容关于由第二搜索空间限制所指示的图像的第二区域是完整的。区域外部分可以位于与具有该区域的图像分离的另一图像中。

可以使用有形地体现在有形程序载体中的计算机程序产品来实现方法，该计算机程序产品包括指令，当该指令由处理器执行时，执行方法。

在第二方面，一种图形用户界面，包括：在计算机系统中显示图像的图像显示区域，该图像包括其内具有可视特征的内容，该内容具有被定义为在生成经修改图像时被提供附加内容的区域。该图形用户界面包括用于接收包括要放置在该图像上的语义标记的输入的输入控件，该语义标记指示该区域内的区域内部分和该区域外的区域外部分。使用向该图像应用的基于补丁的优化算法来确定用于该区域的附加内容，该基于补丁的优化算法(i)基于该区域外部分而不基于该语义标记未指示的图像区域来识别用于该区域内部分的附加内容；以及(ii)在不限制于该区域外部分的情况下，识别用于该区域的剩余部分的附加内容，并且存储在该区域中具有附加内容的经修改图像。

各种实现可以包括以下特征中任意或全部特征。区域可以包括图像中不包含内容的孔洞，并且经修改图像可以在孔洞填充过程中生成。图像可以是照片，而特征可以是物理对象，并且区域可以对应于特征中缺失的物理对象的结构而被定义。输入控件可以包括至少以下之一：直线工具、弧线工具、刷子工具、区域选择工具及其组合。输入控件可以将识别特性与语义标记相关联，该识别特性将该语义标记与图像中的至少一个其他语义标记相区分，从而使得基于补丁的优化算法对各语义标记单独进行处理。

可以使用有形地体现在计算机可读存储介质中的计算机程序产品来实现图形用户界面，该计算机程序产品包括指令，当指令被执行时，其在显示设备上生成图形用户界面。

在第三方面，一种系统，包括：显示图像的显示设备，该图像包括其内具有可视特征的内容，该内容具有被定义为在生成经修改图像时被提供附加内容的区域。该系统包括用于接收包括要放置在图像上的语义标记的输入的输入设备，该语义标记指示至少部分该特征，该语义标记跨越该区域边界，从而使得形成该语义标记的区域内部分和区域外部分。该系统包括图像编辑器部件，其使用向该图像应用的基于补丁的优化算法来确定用于该区域的附加内容，该基于补丁的优化算法(i)基于该区域外部分而不基于该语义标记未指示的图像区域来识别用于该区域内部分的附加内容；以及(ii)在不限制于该区域外部分的情况下，识别用于该区域的剩余部分的附加内容。

各种实现可以包括以下特征中任意或全部特征。输入设备可以包括至少以下之一：直线工具、弧线工具、刷子工具、区域选择工具及其任意组合。输入设备可以将识别特性与语义标记相关联，该识别特性将该语义标记与图像中的至少一个其他语义标记相区分，从而使得基于补丁的优化算法对单独处理各语义标记。

可以实施本说明书中描述的主题的特定实施方式以实现一个或多个下列优势。可以改进图像编辑。通过用户进行输入以标记图像中的一个或多个特征，可以保留源图像中的语义。用户可以标记延伸到待完成的孔洞或其他图像区域中的特征，并且该标记可以在选择内容以填入匹配该特征的内容时使用。

本说明书中描述的主题的一个或多个实施方式的细节在下面的附图和具体描述中阐述。主题的其他特征、方面和优势将从具体描述、附图和权利要求中显现。

附图说明

本专利或申请文件包含至少一幅彩图。在请求及支付必要费用后，带有彩图的本专利或专利申请公开的副本将由专利局提供。

图1示出了可以生成经修改图像的示例系统。

图2示意性地示出了针对图像修改的约束的示例。

图3A-图3G示出了图像修改的另一示例。

图4示出了图像修改的另一示例。

图5A-图5D示出了图像修改的另一示例。

图6示出了示例方法的流程图。

各个附图中的类似参考标号和名称指示类似元素。

具体实施方式

图1示出了可以生成经修改图像的示例系统100。系统100包括计算机设备102，其可以是任何基于处理器的设备，包括但不限于个人计算机、服务器设备、工作站或手持设备。

系统100包括图形用户界面(GUI)104，本文中该GUI由计算机设备102生成。例如，GUI104可以在连接至该计算机设备的显示设备106上显示。GUI104用于操纵图像，诸如为了向用户示出初始图像和/或经修改图像。

系统100包括至少一个存储库108，其可以使用任何适合于存储数据的技术来实现，诸如按照存储器、硬盘驱动器或光盘的形式，仅举几例。存储库108可以包含一个或多个图像，例如尚未修改的图像和/或经修改图像。系统100可以使得存储库108中的一个或多个图像对于用户可用，例如，通过在GUI104中显示一个或多个图像。

系统100包括至少一个输入设备110，诸如键盘、鼠标、指点设备、轨迹球、操纵杆、轨迹板，或用户可以用来控制和/或响应计算机设备102的任何其他设备。用户可以进行输入以影响图像处理，诸如施加针对修改的一个或多个约束。

系统100可以用于多种目的中的任意目的，诸如用于通过在图像中执行孔洞填充来修改图像，这在下文中将用作说明性示例。其他应用包括但不限于修改照片以添加对应于物理对象中缺失的结构的图像内容，该物理对象是该照片的主题。通常，修改涉及在初始图像的某一区域中添加选自该图像的另一区域的信息。本文中，这些以及其他操作由图像编辑器部件112来执行，图像编辑器部件112可以使用存储在计算机可读存储设备中(诸如存储器中或盘上)的处理器执行的指令来实现。图像编辑器部件112可以生成输出以供在GUI104(诸如图像显示区域114和输入控件区域116)中显示。

图像修改处理可以使用至少受制于连贯性准则的基于补丁的优化来执行。在WEXLER，Y.，SHECHTMAN，E.和IRANI，M.的Space-timecompletionofvideo，IEEETrans.PAMIVol.29，No.3(2007年3月)463-476中描述了基于补丁的优化算法，其全部内容通过引用包含于此。本文中，考虑了用户定义的语义约束的基于补丁的优化算法可以包括：

经修改图像可以利用缺失区域边界的平滑插值来进行初始化。

可以发起多尺度算法，其中源图像中的孔洞首先使用最粗糙的尺度进行填充，继而迭代式地被插值到更精细尺度。例如，可以使用高斯金字塔，其中最精细尺度对应于源图像的尺度。

使用传播和随机搜索的迭代式重复步骤的最近邻居处理可以在至少一个用户指定的约束下执行。

根据每个像素的所有重叠补丁的最近邻居，可以向每个像素指派颜色投票。

可以对颜色投票进行平均或聚合，并且可以选择最大群集或模式以获得新颜色。

上面的前三个步骤可以重复固定的迭代次数以改善结果，或者重复直至图像变化小于预定量，或者基于另一终止准则。

前四个步骤可以重复以作为多尺度算法的一部分。

最近邻居技术可以在基于补丁的优化中使用。例如，最近邻居处理可被应用于初始图像中的补丁(例如，应用于预定数目的像素，诸如5x5的像素补丁)。最近邻居域(field)可以被确定为将初始图像中的每个补丁坐标映射到二维偏移空间。偏移代表初始图像中的补丁与经修改图像中的对应补丁之间的补丁坐标的调整。例如，初始图像中的初始补丁a在经修改图像中的具有最近邻居补丁b。最近邻居域f继而可以定义为：

f(a)＝b-a

最近邻居域的偏移值可以存储在阵列中。例如，阵列可以具有与初始图像相同的维度。

基于补丁的优化开始于初始偏移集合。接着，将基于初始偏移的迭代更新应用于最近邻居域。在每次迭代中，好的补丁偏移被传播给邻居补丁，并且在最佳偏移的邻域中执行随机搜索。

初始偏移可以通过向偏移域随机指派值或者通过使用先验信息来生成。在使用图像金字塔的分层细化处理中，来自前一层级的初始猜测可供在当前层级使用。如果尚未达到最终图像分辨率，则将当前的解(solution)估计值重新调节至图像金字塔中的下一更高分辨率，并且重复前四个步骤作为多尺度算法的一部分。例如，可以基于随机初始化来执行几次算法迭代，并且在执行剩余迭代之前，其继而可以与可用的初始猜测合并。

在迭代处理中，可以按照遍历偏移阵列的扫描顺序对补丁偏移进行检查。每个迭代包括传播步骤和随机搜索步骤。在传播步骤中，假设正在检查映射f(x，y)。邻近的映射f(x-1，y)和f(x，y-1)将用于改善映射f(x，y)。例如，如果f(x-1，y)是好映射，则处理将尝试将其用于(x，y)。在一些迭代中，诸如在每隔一次迭代中，可以按照相反顺序对偏移进行检查，从而使得有关偏移/映射质量的信息在相对方向中传播。

可以使用补丁距离函数对映射进行评估。可以使用任何距离函数。一些实现可以针对自然图像和/或包括视频和三维形状的其他数据源使用常见距离函数，诸如L_p，L₁或箝位(clamped)的L₂，等等，或者任何其他标量(scalar)函数。在一些实现中，选择补丁距离函数D从而使得针对相邻重叠补丁的最优偏移具有高的相似概率。此概率越高，算法收敛越快。

在随机搜索步骤中，处理尝试通过在经修改图像内随机搜索更好的映射(也即，到源补丁的距离度量更低的目标补丁)来改善映射f(x，y)。在一些实现中，可以评估从目标补丁连续递减距离的补丁。例如，选择在域[-1，1]×[-1，1]中选择的均匀随机方向选择，并且使用指数函数以从最大像素半径w开始减小距离。如果在随机搜索中找到更好的映射，则用其代替当前映射。

当符合某一准则时，迭代暂停。在一些实现中，准则是经修改偏移的分数(fraction)是否落到阈值以下。在一些实现中，使用固定的迭代次数，例如5次。执行基于补丁的优化来生成经修改图像，从而使得该图像对应于初始图像。例如，经修改图像可以是已经填充了图像孔洞的初始图像版本，或者是已经向某个特征选择性添加了内容的初始图像版本。如上描述的生成的中间图像将是对初始猜测的改进估计值，但是可能不能令人满意地解决图像完整性问题。因此，迭代式重复整个处理，在内部循环中使用迭代偏移优化，以计算高质量最终解。

在一些实现中，可以使用双向相似性测量，例如找出两个方向上(例如，从初始图像中的补丁到经修改图像中的补丁，以及反向)图像区域之间的良好对应关系。例如，如果图像区域足够相似，则现有双向相似性方法可以收敛至部分连续解，其中很多凸角区域被复制到具有最小失真的输出。例如，源图像中相邻补丁的大部分偏移可以是几乎相同的。作为另一示例，如果图像区域不是特别相似，则真正的双向相似性很可能接近于图像内随机补丁的相似性。

在一些实现中，双向相似性算法可以包括至少以下操作。在连贯性步骤中，算法为孔洞内的每个补丁寻找孔洞外的最近邻居补丁。在完整性步骤中，算法为孔洞外的每个补丁寻找孔洞内的最近邻居补丁。这些搜索生成源图像和目标图像之间两个方向上的最近邻居投票。这些投票用于在每次内部循环迭代中计算孔洞内每个像素的颜色(例如，通过平均或聚合)。在用户定义的约束的上下文中，完整性条件(term)可以用于定义用户希望包括在孔洞内的区域，从而使得该孔洞就用户定义的区域而言是完整的，但是用户并不确切地指定算法将把该区域放置在孔洞内何处。

基于补丁的优化算法可以使用有关经修改图像中的所有补丁是否源于初始图像的连贯性准则。也即，关于目标图像，图像编辑器部件112可以试图确保用于填充其中的孔洞的每个补丁是存在于源图像中某处的补丁，从而使得目标图像与源图像是连贯的。例如，经修改图像中的每个补丁应当在初始图像中具有至少一个对应的补丁。相反，如果经修改图像中的补丁在初始图像中没有任何对应补丁，则不满足连贯性准则。经修改图像中的连贯性可以通过以多个尺度进行处理来获得，从而使得多尺度的最终局部连贯性给出了目标图像中的全局连贯性以及看起来自然的输出。

除了连贯性条件之外，双向相似性计算还使用完整性条件。完整性条件可以在针对填充应用的算法中使用，或者结合完整性重定向和/或重组使用，仅举两例。在一些实现中，用户可以标记图像中的孔洞，添加一个或多个搜索空间约束，规定输出尺寸将会更小(也即，重定向)以及规定一些其他区域将移动(也即，重组)，继而系统可以一起运行这些以合成输出。

例如，完整性条件可以试图确保来自源图像的所有内容存在于目标图像中某处。完整性准则涉及初始图像中的所有补丁是否在经修改图像中表现。例如，如果初始图像包含多个相同补丁，则完整性准则规定在经修改图像中应当能找到这些补丁中的至少一个。相反，如果初始图像中的唯一补丁在经修改图像中没有任何对应补丁，则不满足完整性准则。

最近邻居算法可以在双向或单向相似性算法的内循环中迭代地执行，例如以执行重定向。

双向相似性计算的示例在SIMAKOV，D.，CASPI，Y.，SHECHTMAN，E.和IRANI，M.的Summarizingvisualdatausingbidirectionalsimilarity(使用双向相似性汇总可视数据)，在ComputerVisionandPatternRecognition(计算机视觉和图案识别)，CVPR2008，IEEEConference中进行了描述。

图2示意性示出了针对图像修改的约束的示例。此处，图像200是初始图像，其显示了上面有建筑物的一块土地。图像200包括当前缺少图像内容的孔洞202。将要对图像200执行修改处理以创建替代孔洞202的令人信服的外观。

示出了三个场景示例，分别标记为(a)、(b)和(c)。场景(a)和(b)在相似性算法中排他性地涉及连贯性条件。这通过用于示出这些示例的行的名称“连贯性”来指示。也即，场景(a)和(b)着重于确保最终放置在孔洞202中的内容应当存在于图200中。

场景(a)涉及对搜索空间的限制。也即，在此示例中通过蓝色指示的区域204将是用于找出要填充到孔洞202中的补丁的搜索空间。相反，在此示例中通过深灰色指示的区域206将不用作孔洞填充过程的搜索空间。用户可以出于一个或多个原因而将搜索空间缩小到区域204。例如，注意到图像200包括房子旁边地上的黄色花朵和红色花朵。假设用户不希望将花朵包括在孔洞202中。因此，用户可以定义区域204，从而使得其不包括花朵但是包括图像200的剩余部分。由此，确保了所填充的孔洞相对于图像200而言是连贯的，同时花朵不包括在孔洞中。

用户可以使用任何工具来进行定义，诸如通过在系统100(图1)中显示在图像200时标记出区域204和/或206。可以使用任何其他形状的区域204和/或区域206。

场景(b)涉及多指标(index)搜索空间约束。此处，用户跨越孔洞的边界放置语义标记208和210，以及放置一对语义标记212，从而使得其一部分212A在孔洞内，而另一部分212B在孔洞外。语义标记的意义在于，基于只搜索标记208中位于孔洞外的部分所指示的区域，标记208中位于孔洞内的部分将被填充。解释这种语义图像完整性的一种方式是其允许用户从语义上指示在完整性处理中，孔洞边界附近的什么特征应当延伸到孔洞中。例如，用户可能期望图像200中房子的拐角继续垂直地向下到孔洞202中。因此，用户可以用标记208来指示该拐角的至少一部分。这确保了用于拐角的图像信息被用作针对标记208所指示的孔洞部分的搜索空间，并且进一步防止来自图像200中别处(诸如来自屋顶或花朵)的信息在填充该孔洞部分中使用。类似地，用户可以放置标记210以指示房子的地基基线延伸到孔洞中。

语义标记212的配对还涉及定义针对孔洞的一部分的搜索空间。具体地，部分212A指示孔洞的区域，而部分212B定义要用于由部分212A所指示的区域的搜索空间。也即，标记212可以允许用户指定孔洞202外的特定特征(诸如一簇花)应当是针对孔洞内的特定区域的搜索空间。

在一些实现中，标记212B可被放置在与具有该孔洞的图像分离的另一图像中。这意味着用于填充孔洞的一部分的搜索空间还可以包括正被修改的图像之外的内容。例如，假设存在某个人物的若干相似图像，并且在这些图像之一中，该人物的眼睛是闭着的。用户继而可以将一只或两只眼睛标记为孔洞，在该孔洞内添加标记以指示内容将放置在何处，并且将该语义标记与另一图像中睁着的眼睛相关联。

对于未由标记208-212中任一标记指示的孔洞202的剩余部分，算法使用整个图像200作为搜索区域。也即，孔洞内不被语义标记的区域不被限制于仅特定的语义搜索空间。

在场景(c)中，还考虑了完整性方面，如下面一行上的标签所指示的。也即，算法确保不仅被填充的孔洞相对于图像200而言是连贯的，而且该孔洞相对于图像200的至少一部分是完整的。这对应于执行双向相似性算法，同时考虑一个或多个用户定义的语义约束。

首先，在此示例中用户不针对连贯性方面限制搜索空间，如区域214所指示的，此处该区域214为蓝色并且覆盖整个图像200。也即，算法将确保可以在图像200的某处找到放置在孔洞内的所有内容。

接着，用户希望确保图像200中的黄色花朵在利用图像内容填充孔洞时被包括在该孔洞中。用户的一个选择可以是采用诸如标记配对212之类的语义标记，其中一部分在孔洞内，一部分指示黄色花朵。这可能要求用户指明孔洞内的确切位置，类似于场景(b)中放置部分212A的方式。然而，此处用户利用语义完整性标记216来指示黄色花朵。标记216向算法指示：应该使得孔洞相对于图像200中该标记所指示的部分而言是完整的。也即，算法将确保标记216所指示的所有内容在孔洞填充了内容之后会在孔洞内某处找到。因此，用户可以对图像修改处理选择性应用语义完整性约束。如果与仅仅标记黄色花朵相对的，用户用标记216对整个图像200进行了标记，则这将要求算法将图像200的所有内容放置在孔洞内。

可以使用场景(a)、(b)和(c)的组合。例如，标记208可以与场景(a)的搜索空间限制结合使用。作为另一示例，至少一个连贯性和完整性约束可以在同一图像修改处理中应用。

在一些实现中，两个或更多个语义标记可以相互重叠。例如，如果孔洞内的补丁被两个或更多个语义标记所指示(例如，该补丁具有与之相关联的两个指标/颜色)，则针对该补丁，应当在这些标记所指示的所有区域中进行搜索。

图3A-图3G示出了图像修改的另一示例。该示例更详细地描述了可以如何利用来自用户的指导来提供针对照片主题中的结构的缺失的图像内容。在图3A中，示出了工具300。例如，工具300可以通过图像编辑器部件112来生成，其输出可以呈现在GUI104(图1)中。图像300A示出了在包括木制栅栏的背景前飞翔的老鹰。此处要执行的修改是删除老鹰并且创建看起来自然的栅栏和周围植物的图像。

图3B示出了用户可以使用控件304来指示要删除的图像内容。此处，控件304是绘图工具，并且用户已开始勾勒老鹰的边缘。任何类型的工具都可以用于标记，诸如套索工具或感色工具。该工具通过图像编辑器部件112来生成，并且呈现在输入控件区域116中。

图3C示出已从图像中删除了老鹰。最初，图像中先前可以看到老鹰的地方留下一个孔洞。在一些实现中，可以应用初步的孔洞填充技术以尝试消除该孔洞并使图像完整。此处，例如，初步的孔洞填充技术已设法在之前由老鹰图像占据的区域中填入植物内容，但是栅栏缺少部分上栏杆和下栏杆以及几乎整个中间柱子。出现这样的原因是在那时关于栏杆和柱子的语义信息不可用于辅助孔洞填充技术。

然而，在图3D中，用户激活工具306，其允许通过标记图像中的重要特征来输入语义信息。工具306包括菜单308，用户可以在菜单308在用于标记多个单独的语义特征的选项之间进行选择。此处，选项被标注为各种颜色(从红色到黑色)，并且用户现在可以选择红色选项。可以在工具306中包括任何类型的输入控件，诸如但不限于，直线工具、弧线工具、刷子工具、区域选择工具及其组合。

在图3E中，用户开始利用工具306进行标记。首先，注意现在显示源自删除老鹰的孔洞310。可以在应用初步的孔洞填充技术时保留关于该孔洞的形状和位置的信息。例如，显示孔洞310可以辅助用户在图像上执行正确的标记。此处，用户使用工具306绘制直线312。用户绘制直线312从而使得其基本上与未受孔洞310影响的栅栏柱子重合。此处使用红色来显示直线312，因为用户选择了菜单中的“红色(Red)”。

图3F示出了用户可以使用相同或不同的标记工具在图像中输入一个或多个附加标记。此处，已经用直线314标记了另一栅栏柱子，并且用直线316标记了中央的栅栏柱子，该中央的栅栏柱子在删除老鹰之后只留下一小部分。直线312、314和316都是红色的，因为它们是用标注有该颜色的相同标记工具做出的。类似地，另一标记工具(此处标注为绿色)用于分别使用直线318和320来标记上栏杆和下栏杆。因此，用户已经标记出了感兴趣的特征(例如，栅栏柱子和栏杆)并且对它们进行不同标注，从而使得能够单独处理它们。

基于所标记的区域，继而实现图像完整性。具体地，使用用户已经提供的信息来填充源自老鹰的孔洞。此处，例如，栏杆318具有区域内部分322和区域外部分324。也即，区域内部分322是直线318中位于孔洞内的部分，而区域外部分324是直线318中位于孔洞外的部分。当寻找图像内容以填充区域内部分322时(例如，可以在那些位置处应用已填充该孔洞的补丁)，系统将仅查看区域外部分324以及用相同工具标记的任何其他区域。这里，包括直线320，因为它也是绿色的。与之相反，图像中未用绿色工具标记的剩余部分，诸如背景植物和栅栏柱子，将不在填充区域内部分322中使用。将基于同样的信息对直线320中横穿孔洞的部分进行填充。

类似地，直线316具有区域内部分326，将基于利用红色工具标记的、位于孔洞外的位置对其进行填充，而不参考未用红色工具进行标记的任何区域。这里，直线312完全位于孔洞外，因此其将充当用于该孔洞填充的信息源。与之相比，直线316的大部分长度将遭遇孔洞填充，除了其下端位于孔洞外的一点剩余线段。

图像编辑器工具110(图1)可以允许来自工具的诸标记部分地重叠。例如，直线318和320与直线312部分重叠。因为标记是利用不同工具做出的，因此单独处理而不会干扰针对其相应区域的图像完整性。

图3G示出了得到的图像330。这里，图像编辑器工具110(图1)已经通过绘制来自用户的标记所指示区域的图像信息而使得孔洞完整。如上所描述的，可以使用基于补丁的优化算法来执行图像完整性。例如，来自区域外部分的补丁可以随机地分布在区域内部分中，并且此映射继而可以使用良好映射传播和随机映射的迭代阶段进行细化。此后，使用相同的基于补丁的优化算法来对未包括在用户任一标记中的孔洞的剩余部分进行填充。也即，在整个孔洞上应用相同的孔洞填充技术，但是对于标记出的区域，其绘制参考仅来源于其他对应的标记区域。

图4示出了图像修改的另一示例。此处，在图像400A中示出了帕埃斯图姆的赫拉第二神庙的照片。该图像中没有要填充的孔洞；而是神庙缺失了部分结构，用户希望系统(例如，图1的图像编辑器部件110)执行图像修改以处理这种情况。

如图400B中所示，用户可以做出一个或多个标记以定义针对应当如何创建所缺失结构的语义。此处，用户创建直线402来定义应当从何处获得用于修复斜檐口的图像信息。具体地，沿着未受损的、延伸至此物理结构中的材料缺失的区域的结构片段来绘制直线402。因此，系统将仅查看未受损的结构片段，因为其已被用户标记，以便找到用于重建物理结构中的所缺失部分的图像补丁。类似地，用户针对物理对象中缺失三角墙的部分创建标记404，以及针对缺失的檐口片段创建直线406。

图像400C示出了图像修改的结果。可以看出，斜檐口、三角墙和檐口已经通过添加图像补丁到缺失物理结构的这些地方而得以修复。由于用于这些区域的相应信息源已经被用户在语义上进行了定义，因此结果看起来自然、真实。

图5A示出了图像修改的另一示例。此处，初始图像500是带有草坪、日冕基座和石头墙的花园照片，背景中的石头墙上有个入口。此示例中，用户希望删除基座和入口，并且生成看起来自然的经修改图像。

图5B示出了用户已删除基座和入口，留下孔洞502。图像修改的目的是按照有组织的方式在图像中的其他地方选择内容，并且用该内容填充孔洞502。图5C示出了用户可以输入一个或多个标记以定义用于修改处理的搜索空间。这里，用户输入标记504以指导针对在该孔洞顶上继续的墙边缘的孔洞填充处理。用户输入孔洞内的标记506A以及孔洞外的对应标记506B。标记506B指示将从何处选择用于标记506A的区域的图像内容。类似地，用户输入孔洞内的标记508A以及孔洞外的对应标记508B。标记508B指示将从何处选择用于标记508A的区域的图像内容。用户针对各个标记采用单独的标记工具，如由标记的不同颜色所指示的。

使用通过语义指导辅助的基于补丁的优化算法来执行用于填充孔洞的内容选择，该语义指导由用户通过输入标记来创建。图5D示出了在基于补丁的优化算法之后得到的经修改图像510。这里，对应于所有标记504、506A和508A的内容已被填充到孔洞502中，并且在用户未标记的孔洞502的剩余部分中，基于补丁的优化算法通过如其中的传播阶段和随机搜索阶段所指导的，参考该图像的任何区域对该剩余部分进行填充。

图6示出了生成经修改图像的示例方法600。方法600可以由执行存储在有形计算机可读介质中(例如，在系统100(图1)中)的指令的处理器来执行。可以执行一个或多个附加步骤。

步骤610涉及在计算机系统中显示图像。例如，图像200、302A、400A中的任何或所有可以在GUI104(图1)中显示。图像包括其内具有可视特征的内容，该内容具有被定义为在生成经修改图像时被提供附加内容的区域。例如，图像200和302A可以具有定义于其内的孔洞，诸如来源于删除一些图像内容。作为另一示例，图像中示出的物理对象的结构可能缺失，诸如在图像400A中。

步骤620涉及接收包括要放置在图像上的语义标记的输入，该语义标记指示特征的至少一部分。例如，用户可以使用输入设备110、采用工具306来做出标记208、210、212、312-316、320-322以及402-406中的任何标记。语义标记指示区域内的区域内部分和区域外的区域外部分。例如，放置标记208、210、212、312-316、320-322以及402-406，从而使得它们指示相应孔洞或缺失结构区域的相应的区域内部分和区域外部分。区域外部分可以位于同一图像中或另一图像中。

步骤630涉及使用向该图像应用的基于补丁的优化算法来确定用于该区域的附加内容。例如，图像编辑器部件110(图1)可以应用基于补丁的优化算法。基于补丁的优化算法基于区域外部分而不基于语义标记未指示的图像区域，来识别用于区域内部分的附加内容。基于补丁的优化算法在不限制于区域外部分的情况下，识别用于该区域剩余部分的附加内容。

步骤640涉及存储在该区域中具有附加内容的经修改图像。例如，图像330或400C，或者在图像200中的孔洞202已被填充时得到的图像中的任何或所有图像可以存储在存储库108中(图1)。

本说明书中描述的主题和操作的实施方式可以在数字电子电路中实现，或者在计算机软件、固件或硬件中实现，该计算机软件、固件或硬件包括本说明书中公开的结构及其等同结构、或是它们的一个或多个的组合。本说明书中描述的主题的实施方式可以实现为一个或多个计算机程序，也即，在计算机可读介质上编码的、以供数据处理装置执行或控制数据处理装置操作的一个或多个计算机程序指令模块。备选地或附加地，程序指令可以在人工生成的传播信号上编码，例如，机器产生的电信号、光信号或者电磁信号，生成该信号以对信息进行编码，以便传输到适当的接收器装置以供数据处理装置执行。计算机可读介质可以是或包括在机器可读的存储设备、机器可读的存储衬底、随机或串行访问存储器阵列或器件、或者它们中的一个或多个的结合。而且，尽管计算机存储介质不是传播的信号，但是计算机存储介质可以是在人工生成的传播信号中编码的计算机程序指令的源或目的地。计算机存储介质还可以是或者包括在一个或多个分离的物理部件或介质(例如，多个CD、盘或其他存储设备)。

本说明书中描述的操作可以实现为由数据处理装置执行的、对存储在一个或多个计算机可读存储设备上的或接收自其他源的数据进行的操作。

术语“数据处理装置”包括用于处理数据的所有装置、设备和机器，例如包括可编程处理器、计算机、片上系统、或者多个前述装置或其组合。装置可以包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，该装置还可以包括为考虑中的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机，或者它们中一个或多个的结合的代码。装置和执行环境可以实现各种不同的计算模型架构，诸如web服务、分布式计算和网格计算架构。

计算机程序(也被称为程序、软件、软件应用、脚本或代码)可以由任意形式的编程语言编写，包括编译语言或解释语言，说明性语言或过程语言，并且该计算机程序可以按照任意形式部署，包括部署为单独的程序或模块、组件、子例程、对象，或者适于在计算环境中使用的其他单元。计算机程序可以但无需对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中、可以存储在专门用于考虑中的程序的单个文件中，或者存储在多个协同文件中(例如，存储一个或多个模块、子程序，或代码部分的文件)。可以将计算机程序部署为在一个计算机上执行，或者将其部署为在位于一个地点的多个计算机上执行或跨过多个地点分布且通过通信网络互连的多个计算机上执行。

本说明书中描述的处理和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，用于通过对输入数据进行操作以及产生输出来执行功能。该处理和逻辑流程还可以由例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)之类的专用逻辑电路执行，并且也可以将装置实现为所述专用逻辑电路。

适于计算机程序执行的处理器例如包括通用和专用处理器两者、以及任意类型的数字计算机的任意一个或多个处理器。通常，处理器将从只读存储器或随机访问存储器或两者处接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个海量存储设备，或被操作性地耦合为从所述用于存储数据的一个或多个海量存储设备接收数据、向其传送数据、或者进行两者，该海量存储设备例如磁盘、磁光盘、或光盘。然而，计算机不必一定具有这样的设备。而且，计算机可以嵌入在其他设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器、或者便携式存储设备(例如，通用串行总线(USB)闪存驱动)，这仅是几例。适于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储设备，例如包括：半导体存储设备，如EPROM、EEPROM和闪存设备；磁盘，如内部硬盘或可移动硬盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或是包括在专用逻辑电路中。

为了提供与用户的交互，本说明书中描述的主题的实施方式可以在具有用于向用户显示信息的显示设备以及用户可以通过其向计算机提供输入的键盘和指点设备的计算机上实现，其中显示设备例如CRT(阴极射线管)或者LCD(液晶显示器)监视器，指点设备例如鼠标或者轨迹球。也可以使用其他类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感观反馈，例如视觉反馈、声觉反馈或者触觉反馈；并且可以接收来自用户的任意形式的输入，包括声音、语音或触觉输入。此外，计算机可以通过向用户所使用的设备发送文档或从其接收文档来与用户交互；例如，通过响应于接收自web浏览器的请求，向用户客户端设备上的web浏览器发送web页面。

本说明书中描述的主题的实施方式可以实现在包括后端部件的计算系统中，例如数据服务器；或实现在包括中间件部件的计算系统中，例如应用服务器；或实现在包括前端部件的计算系统中，例如具有图形用户界面或者Web浏览器的客户端计算机，用户通过该图形用户界面或Web浏览器可以与本说明书中描述的主题的实现进行交互；或实现在一个或多个这样的后端、中间件、或前端部件的任意结合中。系统部件可以通过任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，adhoc端对端网络)。

计算系统可以包括客户端和服务器。客户端和服务器一般相互远离，并且通常通过通信网络进行交互。客户端和服务器的关系是借助于在各自计算机上运行的、彼此具有客户端-服务器关系的计算机程序得到的。在一些实施方式中，服务器向客户端设备发送数据(例如，HTML页面)(例如，为了向与客户端设备交互的用户显示数据以及从其接收用户输入)。可以在服务器处从客户端设备接收在客户端设备处生成的数据(例如，用户交互的结果)。

尽管本说明书包含多种特定细节，但是不应将其理解为是对本发明的范围或者所要求保护内容的限制，而应当理解为是本发明具体实施方式的特定特征的描述。本说明书中描述的在各个实施方式的上下文中的某些特征也可以在单个实施方式中结合实现。相反，在单个实施方式上下文中描述的各种特征也可以分别实现在多个实施方式中或者任意适当的子组合中。而且，尽管上文可能将特征描述为在特定的组合中操作，甚至初始也是这样要求保护的，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以针对子组合或组合的变形。

类似地，尽管在附图中按照特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。而且，在上述实施方式中多个系统部件的分离不应被理解为在所有实施方式中需要这种分离，应当将其理解为所描述的程序组件和系统通常可以在单个软件产品中集成在一起，或是被打包到多个软件产品中。

因此，已经描述了本发明的特定实施方式。其他实施方式在所附权利要求的范围内。在一些情况中，权利要求中记载的动作可以按照不同顺序执行而仍然得到希望的结果。此外，附图中描述的处理不一定要求按所示的特定顺序，或者串行顺序，来实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

Claims (22)

1.一种计算机实现的用于生成经修改图像的方法，所述方法包括：

在计算机系统中显示图像，所述图像包括其内具有可视特征的内容，所述内容具有被定义为在生成经修改图像时被提供附加内容的区域；

接收包括要放置在所述图像上的语义标记的输入，所述语义标记指示所述区域内的区域内部分和所述区域外的区域外部分；

使用向所述图像应用的基于补丁的优化算法来确定用于所述区域的所述附加内容，所述基于补丁的优化算法(i)基于所述区域外部分而不基于所述语义标记未指示的所述图像的区域来识别用于所述区域内部分的所述附加内容；以及(ii)在不限制于所述区域外部分的情况下，识别用于所述区域的剩余部分的所述附加内容；以及

对在所述区域中具有所述附加内容的所述经修改图像进行存储。

2.根据权利要求1的方法，其中所述区域包括所述图像中不包含所述内容的孔洞，并且其中在孔洞填充过程中生成所述经修改图像。

3.根据权利要求2的方法，其中填充所述孔洞以使得所述特征延伸到之前未包含所述内容的所述区域中。

4.根据权利要求1的方法，其中所述图像是照片，以及所述特征是物理对象，并且其中所述区域对应于所述特征中缺失的所述物理对象的结构而被定义。

5.根据权利要求1的方法，其中所述语义标记使用至少以下之一做出：直线工具、弧线工具、刷子工具、区域选择工具及其组合。

6.根据权利要求1的方法，其中所述语义标记的一部分放置在所述区域内部以指示所述区域内部分，以及所述语义标记的另一部分放置在所述区域外部以指示所述区域外部分。

7.根据权利要求1的方法，其中向所述语义标记指派识别特性，所述识别特性将所述语义标记与所述图像中的至少一个其他语义标记相区分，从而使得所述基于补丁的优化算法单独处理所述语义标记。

8.根据权利要求7的方法，其中所述语义标记相互交叉，并且所述基于补丁的优化算法单独处理所述语义标记。

9.根据权利要求1的方法，还包括接收针对基于补丁的优化处理而定义附加语义约束的另一输入。

10.根据权利要求9的方法，其中所述附加语义约束包括至少以下之一：

针对所述基于补丁的优化算法的连贯性方面定义的第一搜索空间限制，所述第一搜索空间限制拒绝至少所述图像的第一区域在所述附加内容中的使用；以及

针对所述基于补丁的优化算法的完整性方面定义的第二搜索空间限制，所述第二搜索空间限制要求所述附加内容关于由所述第二搜索空间限制所指示的所述图像的第二区域是完整的。

11.根据权要求1的方法，其中所述区域外部分位于与包含所述区域的所述图像分离的另一图像中。

12.一种计算机实现的用于生成经修改图像的设备，包括：

用于在计算机系统中显示图像的装置，所述图像包括其内具有可视特征的内容，所述内容具有被定义为在生成经修改图像时被提供附加内容的区域；以及

用于接收包括要放置在所述图像上的语义标记的输入的装置，所述语义标记指示所述区域内的区域内部分和所述区域外的区域外部分；

用于使用向所述图像应用的基于补丁的优化算法来确定用于所述区域的所述附加内容的装置，所述基于补丁的优化算法(i)基于所述区域外部分而不基于所述语义标记未指示的所述图像的区域来识别用于所述区域内部分的所述附加内容；以及(ii)在不限制于所述区域外部分的情况下，识别用于所述区域的剩余部分的所述附加内容；以及

用于对在所述区域中具有所述附加内容的所述经修改图像进行存储的装置。

13.根据权利要求12的设备，其中所述区域包括所述图像中不包含所述内容的孔洞，并且其中在孔洞填充过程中生成所述经修改图像。

14.根据权利要求13的设备，其中填充所述孔洞以使得所述特征延伸到之前未包含所述内容的所述区域中。

15.根据权利要求12的设备，其中所述图像是照片，以及所述特征是物理对象，并且其中所述区域对应于所述特征中缺失的所述物理对象的结构而被定义。

16.根据权利要求12的设备，其中所述语义标记使用至少以下之一做出：直线工具、弧线工具、刷子工具、区域选择工具及其组合。

17.根据权利要求12的设备，其中所述语义标记的一部分放置在所述区域内部以指示所述区域内部分，以及所述语义标记的另一部分放置在所述区域外部以指示所述区域外部分。

18.根据权利要求12的设备，其中向所述语义标记指派识别特性，所述识别特性将所述语义标记与所述图像中的至少一个其他语义标记相区分，从而使得所述基于补丁的优化算法单独处理所述语义标记。

19.根据权利要求18的设备，其中所述语义标记相互交叉，并且所述基于补丁的优化算法单独处理所述语义标记。

20.根据权利要求12的设备，还包括用于接收针对基于补丁的优化处理而定义附加语义约束的另一输入的装置。

21.根据权利要求20的设备，其中所述附加语义约束包括至少以下之一：

针对所述基于补丁的优化算法的连贯性方面定义的第一搜索空间限制，所述第一搜索空间限制拒绝至少所述图像的第一区域在所述附加内容中的使用；以及

针对所述基于补丁的优化算法的完整性方面定义的第二搜索空间限制，所述第二搜索空间限制要求所述附加内容关于由所述第二搜索空间限制所指示的所述图像的第二区域是完整的。

22.根据权利要求12的设备，其中所述区域外部分位于与包含所述区域的所述图像分离的另一图像中。