CN105631913A - 用于图像的基于云的内容认知填充 - Google Patents

Abstract

本申请的各实施例涉及用于图像的基于云的内容认知填充。图像的将对其执行内容认知填充操作的区域由设备标识，内容认知填充操作基于来自一个或者多个其它区域的像素值来替换该区域中的像素值。该设备通过对该图像下采样来生成该图像的减少尺寸的版本并且向远程服务发送该图像的该减少尺寸的版本。该远程服务生成映射，该映射指示该图像的该减少尺寸的版本中的哪些像素将用作该图像的该减少尺寸的版本的该区域中的其它像素的值。该映射被压缩并且返回到该设备。该设备解压该映射并且对该映射上采样。基于原先获得的该图像、经上采样的该映射和对该区域的指示来生成输出图像。

Description

用于图像的基于云的内容认知填充

技术领域

本申请的各实施例涉及用于图像的基于云的内容认知填充。

背景技术

随着计算技术已经发展并且计算设备已经变得日益地普遍，人们已经开始以多种不同方式使用他们的设备。一个这样的使用是在他们的计算设备上编辑图像。尽管用户可以享受在他们的设备上编辑图像的能力，但是这样的编辑不是没有它的问题。一个这样的问题是图像编辑软件可能需要许多计算设备可能没有的显著存储器或者处理器资源，从而造成用户对他们的设备失望。

发明内容

这一发明内容以简化的形式介绍了以下在具体实施方式中被进一步描述的概念的选集。这样，这一发明内容并非旨在于标识要求保护的主题内容的实质特征，也并未旨在于用作辅助确定要求保护的主题内容的范围。

根据一个或者多个方面，在计算设备处，获得图像并且获得对图像的将基于获得的图像的第二组一个或者多个区域中的像素的值而被填充的第一组一个或者多个区域的指示。对获得的图像下采样以生成获得的图像的减少尺寸的版本，并且向远程服务发送获得的图像的减少尺寸的版本，远程服务被实施在从计算设备分离的一个或者多个设备中。从远程服务接收映射，该映射为第一组一个或者多个区域中的每个像素标识第二组一个或者多个区域中的一个或者多个像素，该一个或者多个像素的值将用来生成用于该像素的值。使用映射以确定第一组一个或者多个区域中的像素的值来生成输出图像。

根据一个或者多个方面，在服务中，从与服务分离的计算设备接收图像的减少尺寸的版本。也从计算设备接收对图像的减少尺寸的版本的将基于图像的减少尺寸的版本中的第二组一个或者多个区域中的像素的值而被填充的第一组一个或者多个区域的指示。为第一组一个或者多个区域中的每个像素确定第二组一个或者多个区域中的一个或者多个像素，该一个或者多个像素的值将用来生成用于该像素的值。生成映射，该映射为第一组一个或者多个区域中的每个像素标识第二组一个或者多个区域中的一个或者多个像素，该一个或者多个像素的值将用来生成用于该像素的值。向设备返回映射而不向计算设备返回图像的版本。

附图说明

参照附图描述具体实施方式。在图中，标号的最左位标识标号首次出现的图。在描述和图中的不同实例中使用相同标号可以指示相似或者相同项目。在图中表示的实体可以指示一个或者多个实体并且因此可以在讨论中可互换地参照实体的单数或者复数形式。

图1是图示了实施根据一个或者多个实施例的用于图像的基于云的内容认知填充的示例环境的框图。

图2图示了根据一个或者多个实施例的示例内容认知填充系统。

图3是图示了根据一个或者多个实施例的用于执行内容认知填充操作的示例过程的流程图。

图4是图示了根据一个或者多个实施例的用于生成映射的示例过程的流程图，该映射标识用于替换图像的待填充的一个或者多个区域中的像素的图像像素。

图5是图示了根据一个或者多个实施例的用于压缩映射的示例过程的流程图。

图6图示了根据一个或者多个实施例的标识图像的区域和向那些区域的偏移的示例表。

图7是图示了根据一个或者多个实施例的用于生成输出图像的示例过程的流程图。

图8是图示了根据一个或者多个实施例的条带的示例的示图。

图9图示了包括示例计算设备的示例系统，该计算设备代表可以实施这里描述的各种技术的一个或者多个计算系统和/或设备。

具体实施方式

这里讨论用于图像的基于云的内容认知填充。在计算设备处获得图像，并且标识图像的将对其执行内容认知填充操作的一个或者多个区域。内容认知填充操作是基于图像的一个或者多个其它区域填充图像的一个区域、从而用来自一个或者多个其它区域的像素值替换一个区域中的像素值的操作。计算设备通过对图像下采样来生成图像的减少尺寸的版本，并且经由网络(例如，因特网)向远程服务发送图像的减少尺寸的版本。

远程服务对图像的减少尺寸的版本执行内容认知填充过程的部分、从而生成映射，该映射指示图像的减少尺寸的版本中的哪些像素将用来确定图像的减少尺寸的版本的(待填充的区域中的)其它像素的值。映射被压缩并且返回到计算设备。计算设备解压映射并且对映射上采样以对应于原先获得的图像的尺寸。通过执行卷积运算以生成用于图像的区域的像素值来生成输出图像。基于原先获得的图像和经上采样的映射来执行这一卷积运算。

可以在条带中执行卷积运算，这些条带是指图像的块或者条带。例如，条带可以是某个数目(例如，10至20个)的像素高和另一数目(原先获得的图像的宽度)的像素宽。条带的集合然后组合以生成输出图像。通过在条带中执行卷积运算，计算设备的存储器约束被减少，因为计算设备无需一次对整个图像执行卷积运算。

图1是图示了实施根据一个或者多个实施例的用于图像的基于云的内容认知填充的示例环境100的框图。环境100包括计算设备102，该计算设备102可以是可以编辑或者处理图像的多种不同类型的设备中的任何设备，也被称为图像处理设备。计算设备102通常是具有不充分资源(例如存储器、处理器性能、存储空间)以致于无法完全地自行执行内容认知填充操作或者是具有不充分资源以致于无法足够快地执行内容认知填充操作以提供良好用户体验的低资源设备。例如，计算设备102可以是上网本计算机、平板或者笔记本计算机、通信地耦合到显示设备、电视或者其它显示设备的机顶盒、蜂窝或者其它无线电话(例如，智能电话)、车载计算机、数字相机、扫描仪或者复印机等。

环境100支持对图像执行内容认知填充操作。内容认知填充操作的部分由计算设备102的内容认知处理系统104执行，并且内容认知填充操作的部分由内容认知操作服务106执行，该内容认知操作服务106是由计算设备102经由网络108访问的远程服务。如图1的示例中所示，输入图像110由计算设备102获得，该计算设备102(使用内容认知处理系统104和内容认知操作服务106来)生成对应的内容认知填充的图像112，其中输入图像110的区域(被图示为小汽车)被去除并且用来自输入图像110中的其它位置的像素值来替换。

内容认知操作服务106由从计算设备102物理地分离的一个或者多个设备实施，并且因此被称为从计算设备102远离。内容认知操作服务106可以由多种不同设备(典型地为具有大量存储器和处理器资源的设备)实施。例如，内容认知操作服务106可以由服务器计算机、台式计算机、服务器计算机、膝上型计算机、游戏控制台等实施。

内容认知操作服务106和计算设备102经由网络108相互通信。网络108可以是多种不同网络，包括因特网、局域网(LAN)、公用电话网络、内联网、其它公用和/或专有网络、其组合等。网络108也可以是其它类型的无线通信信道，比如无线通用串行总线通信信道。

如以下更具体讨论的那样，为了减少在计算设备102与内容认知操作服务106之间的带宽使用和传送时间，向内容认知操作服务106传达图像的减少尺寸的版本。内容认知操作服务106执行计算成本高的部分，该部分为图像的给定的区域确定使用来自图像的一个或者多个其它区域的什么值以替换区域中的像素值。内容认知操作服务106生成映射，该映射指示图像的减少尺寸的版本中的哪些像素将用作图像的减少尺寸的版本的给定的区域中的哪些像素的值。这一映射被返回到计算设备102，从而允许内容认知处理系统104执行内容认知填充操作的计算成本较低的部分(基于映射替换区域中的像素的值)。

图2图示了根据一个或者多个实施例的示例内容认知填充系统200。内容认知填充系统200包括如以上参照图1讨论的内容认知处理系统104和内容认知操作服务106。

内容认知处理系统104包括输入模块202、通信模块204、内容认知填充模块206和映射解压模块208。内容认知操作服务106包括通信模块212、内容认知填充确定模块214、映射生成模块216和映射压缩模块218。虽然这里参照特定模块来讨论特定功能，但是应当注意，这里讨论的个别模块的功能可以被分到多个模块中和/或这里讨论的多个模块的至少一些功能可以被组合到单个模块中。

输入模块202获得将对其执行内容认知填充操作的图像(也被称为输入图像或者原有图像)。输入模块202可以用多种方式和从各种来源获得输入图像，并且可以从实施系统104的设备的另一部件或者从分离的设备获得图像。例如，模块202可以从图像捕获部件获得图像、从耦合到实施系统104的设备的存储设备取回图像、从经由网络访问的存储设备取回图像等等。

输入模块202也获得对输入图像的将使用内容认知填充操作而被填充的区域的指示。可以用多种不同方式(比如从用户输入(例如，利用光标控制设备、手指或者其它物体勾勒显示的图像的区域或者在该区域周围映描))从实施系统104的计算设备的另一部件或者模块、从另一设备等接收该指示。待填充的区域可以是图像中的各种不同区域，比如包括将从图像去除的物体(例如，人、车辆、标志、建筑物的一部分等)的区域、待固定的区域(例如，建筑物中的裂缝或者其它开口、在图像上捕获的毛发或者灰尘等)等。

通信模块204向和从通信模块212传达数据，从而允许数据在内容认知处理系统104与内容认知操作服务106之间被传达。这一数据包括经下采样的图像222和填充映射224，该经下采样的图像222是输入图像(例如，图1的图像110)的经下采样的版本，该填充映射224指示图像的减少尺寸的版本中的哪些像素将用来确定图像的减少尺寸的版本的区域中的哪些像素的值。

内容认知填充模块206执行内容认知填充操作的部分，包括对将向内容认知操作服务106发送的图像下采样。通信模块204向通信模块212发送经下采样的图像222。内容认知填充确定模块214确定经下采样的图像222中的哪些像素将用作经下采样的图像222的正被填充的区域中的值。映射生成模块216生成标识这些确定的像素的映射，并且生成的映射由映射压缩模块218压缩。

通信模块212返回压缩的映射作为由通信模块204接收并且由映射解压模块208解压的填充映射224。内容认知填充模块206对解压的映射上采样，并且执行卷积运算以生成用于图像的区域的像素值。基于原先获得的图像、经上采样的映射和对区域的指示来执行这一卷积运算。

图3是图示了根据一个或者多个实施例的用于执行内容认知填充操作的示例过程300的流程图。过程300可以被实施在软件、固件、硬件或者其组合中。图3的左手侧上所示的过程300的动作由计算设备(比如图1的计算设备102或者实施图1或者图2的内容认知处理系统104的设备)执行，并且可以被实施在软件、固件、硬件或者其组合中。图3的右手侧上所示的过程300的动作由远程服务(比如图1或者图2的内容认知操作服务106)执行，并且可以被实施在软件、固件、硬件或者其组合中。过程300被示出为动作的集合并且不限于所示的用于执行各种动作的操作的顺序。过程300是用于执行内容认知填充操作的示例过程；这里参照不同附图包括执行内容认知填充操作的附加讨论。

在过程300中，获得图像和对图像的待填充的一个或者多个区域的指示(动作302)。可以用如以上讨论的多种不同方式中的任何方式来获得图像，比如被计算设备捕获或者被从另一设备获得。可以用如以上讨论的多种不同方式中的任何方式获得指示，比如通过用户输入、从计算设备的另一部件或者模块。

对获得的图像下采样(动作304)。对图像下采样减少图像中的像素数目，因此生成在动作302中获得的图像的减少尺寸的版本。图像可以被下采样各种量(比如按照倍率5至10)，或者被下采样成特定尺寸(例如，1兆字节)。下采样可以使用多种不同公用和/或专有技术中的任何技术(比如最近邻居技术、平均化技术、双线性技术、双三次技术等)而被执行。

经下采样的图像被发送给服务(动作306)，该服务接收经下采样的图像(动作308)。通过发送原先获得的输入图像的经下采样的版本，相对于发送获得的图像减少了在计算设备与服务之间的数据传送带宽的使用，并且相对于发送获得的图像减少了为了向服务传送经下采样的图像而需要的时间量。

服务生成映射(也被称为映射化(mapping))，该映射标识用于替换图像的待填充的一个或者多个区域中的像素的图像像素(动作310)。作为内容认知填充过程的部分，为一个或者多个区域中的每个像素标识一个或者多个其它区域中的一个或者多个其它像素作为用来替换像素的像素。映射是这些一个或者多个其它像素的标识符或者指示。可以使用多种公用或者专有技术中的任何技术来确定图像中的其它区域的哪些像素将用来替换一个或者多个区域中的像素。

图4是图示了根据一个或者多个实施例的用于生成映射的示例过程400的流程图，该映射标识用于替换图像的待填充的一个或者多个区域中的像素的图像像素。过程400由远程服务(比如图1或者图2的内容认知操作服务106)执行，并且可以被实施在软件、固件、硬件或者其组合中。过程400可以例如实施图3的动作310。过程400被示出为动作的集合，并且不限于所示的用于执行各种动作的操作的顺序。过程400是用于生成映射的示例过程，该映射标识用于替换图像的待填充的一个或者多个区域中的像素的图像像素；这里参照不同附图包括生成映射的附加讨论，该映射标识用于替换图像的待填充的一个或者多个区域中的像素的图像像素。

过程400以从粗到细分辨率的多分辨率方式使用广义化的补丁匹配算法来对连续转化域执行搜索。被称为最近邻居场(NNF)的映射或者映射化用来记录搜索操作的结果。NNF映射被定义为偏移的函数该函数是对于两个补丁的某个距离函数D而对图像A中的所有可能的补丁坐标(补丁中心的位置)而被定义的。因此，对于图像A中的给定的补丁坐标a及其在图像B中的对应的最近邻居b，f(a)简单地是b-a。图像A可以是指接收的经下采样的图像的一个区域(例如，待填充的区域)，并且图像B可以是指接收的经下采样的图像的另一区域(例如，从其选择像素以填充图像A(待填充的区域)的区域)。补丁是指可以变化尺寸的像素块，比如是单个像素、3x3像素块、7x7像素块等。NNF映射是如下映射，该映射标识用于替换图像的待填充的一个或者多个区域中的像素的图像像素。

在过程400中，初始化NNF映射(动作402)。NNF映射可以用各种方式(比如通过向NNF映射指派随机值或者通过使用先验信息而被初始化。可以使用粗到细逐渐尺寸重设，从而允许可以使的用从金字塔中的前级放大的初始猜测。

NNF映射通过向相邻像素迭代地传播良好补丁偏移(动作406)并且在迄今发现的最佳偏移的邻域中随机地搜索(动作408)而被修正(动作404)。这一传播和随机搜索可以被迭代各种次数，比如固定次数(例如，4或者5次)。备选地，各种其它标准可以用来确定何时中止对传播和随机搜索的迭代。

动作406和408的每个迭代继续如下。按照扫描顺序(例如，从左到右、从上到下)检查偏移，并且每个经历传播(动作406)、继而为随机搜索(动作408)。在补丁级交织这些操作：如果P_j和S_j分别表示在补丁j处的传播和随机搜索，则操作按照以下顺序继续经过数目为n的分组：P₁,S₁,P₂,S₂,…,P_n,S_n。

在动作406中，通过尝试使用已知偏移f(x-1，y)和f(x，y-1)提高f(x，y)来向相邻像素传播良好补丁偏移，其中x，y是像素的坐标，其中假设补丁偏移很可能相同。例如，如果在(x-1，y)处有良好映射，则将该映射向右平移一个像素以用于在(x，y)处的映射。令D(v)表示在图像A中的(x，y)处的补丁与在图像B中的补丁(x，y)+v之间的补丁距离(误差)。用于f(x，y)的新值是{D(f(x，y))，D(f(x-1，y)),D(f(x，y-1))}的argmin。在一个或者多个实施例中，在交替(例如，偶数)迭代时，传播通过使用f(x+1，y)和f(x，y+1)作为候选偏移按照相反扫描顺序检查偏移而向左上。

在动作408中，如下执行随机搜索。令v₀＝f(x，y)。通过在从v₀呈指数地减少的距离处测试候选偏移序列来进行对提高f(x，y)的尝试：u_i＝v₀+wαⁱR_i，其中R_i是[-1，1]×[-1，1]中的统一随机数，w是大的最大搜索“半径”，并且α是在搜索窗尺寸之间的固定比率。检查用于i＝0，1，2，...的补丁直至当前搜索半径wαⁱ在1个像素以下。在一个或者多个实施例中，w是最大图像维数，并且α＝1/2，并且搜索窗被限位到界限B。

压缩如在动作404中修正的NNF映射(动作410)。可以使用多种公用或者专有压缩技术中的任何压缩技术来压缩NNF映射。在一个或者多个实施例中，使用无损压缩技术来压缩NNF映射，但是在一些情形中，可以使用有损压缩技术。

图5是图示了根据一个或者多个实施例的用于压缩NNF映射的示例过程500的流程图。过程500由远程服务(比如图1或者图2的内容认知操作服务106)执行，并且可以被实施在软件、固件、硬件或者其组合中。过程500可以例如实施图4的动作410。过程500被示出为动作的集合，并且不限于所示的用于执行各种动作的操作的顺序。过程500是用于压缩NNF映射的示例过程；这里参照不同附图包括压缩NNF映射的附加讨论。

过程500中所示的对NNF的压缩利用在正被填充的区域与相同图像中的其它区域之间的相干性，这些其它区域的值将替换正被填充的区域中的像素的值。例如，假设(x，y)是待填充的补丁(填充补丁)中的像素的坐标，并且(x’，y’)是区域中的(例如，如在以上讨论的过程400中确定的)用来填充该补丁的最佳补丁(例如，源补丁)的坐标。相干性指示填充补丁中的步进对应于源补丁中的相等步进。例如，(x+1，y)对应于(x’+1，y)。这一相干性属性是图4的映射生成过程的附带效果。

在过程500中，生成表，该表标识图像的包括替换像素的区域和向那些区域的偏移(动作502)。替换像素是指如下像素，这些像素的值替换待填充的区域中的像素的值。向那些区域的偏移是相对于待填充的区域中的像素的偏移。例如，如果待填充的区域中的像素具有(x，y)坐标273,954，并且替换像素具有(x，y)坐标200,900，则偏移是在x值与y值之间的差值，该差值是73,95。

图6图示了根据一个或者多个实施例的标识图像的区域和向那些区域的偏移的示例表600。表600是在动作502中生成的表的示例。表600包括多个(t个)条目602，每个条目602对应于图像中的区域。

每个条目包括区域值604、Ox值606、Oy值608、色通道计数值610、增益值612和偏置值614。区域值604是表600中的特定条目602的标识符(进入表600中的索引)。Ox值606是用于区域的偏移的x分量，并且Oy值608是用于区域的偏移的y分量。增益值612是用于区域的增益的值，并且偏置值614是用于区域的偏置的值。色通道计数610是多个色通道中的特定色通道的标识符。为每个色通道记录增益值612和偏置值614(例如，在红、绿、蓝(RGB)色空间中，为红色通道、绿色通道和蓝色通道中的每个色通道记录增益值612和偏置值614)，并且色通道计数610指定增益值612和偏置值614用于哪个色通道。区域的不同部分可以具有不同增益和/或偏置值，并且因此不同条目602可以具有相同偏移(Ox值606和Oy值608)但是不同增益值612或者偏置值614。虽然在表600中图示了特定值，但是应当注意，这些是示例。可以在表600中包括各种附加值。

回顾图5，通过用进入表中的索引替换在NNF映射中标识的每个像素来生成部分地压缩的NNF映射(动作504)。为NNF映射中的每个标识的像素进行关于包括标识的像素的区域是否已经被包括在表中的检查。如果表中的条目满足以下约束，则包括标识的像素的区域已经被包括在表中：表条目具有可以用来标识像素的偏移值(例如，Ox值和Oy值)(例如，将来自表条目的偏移应用于待填充的像素的坐标产生标识的像素)，表条目具有与标识的像素的增益值相同的增益值，并且表条目具有与标识的像素的偏置值相同的偏置值。

如果表条目满足这些约束，则NNF映射中的像素的标识符用满足这些约束的表条目的标识符而被替换。如果没有表条目满足这些约束，则创建满足这些约束(例如，具有从标识的像素的候选生成的偏移、具有与标识的像素相同的增益值和具有与标识的像素相同的偏置值)的新表条目。然后用新创建的表条目的标识符替换NNF映射中的像素的标识符。

可以用不同方式确定像素是否满足这些约束。在一个或者多个实施例中，比较标识的像素的特征(例如，增益和偏置)与它的四个邻居像素(在标识的像素以上的像素、在标识的像素以下的像素、在标识的像素左侧的像素和在标识的像素右侧的像素)中的每个邻居像素。如果标识的像素的特征与它的四个邻居像素之一相同，则标识的像素满足约束并且用与具有相同特征的邻居像素相同的表条目的标识符替换NNF映射中的像素的标识符。

然后对在动作504中生成的部分地压缩的NNF映射和在动作502中生成的表执行游程编码。所得的经游程编码的、部分地压缩的NNF映射和表一起是压缩的NNF映射。

应当注意，有了过程500的知识可以容易地解压压缩的NNF映射。游程编码可以容易地被解码以生成部分地压缩的NNF映射和表。NNF映射可以通过为待填充的区域中的每个像素访问由部分地压缩的NNF映射为像素而标识的表条目而被容易地解压。来自表条目的偏移然后可以被应用于像素的坐标以标识对区域中的像素的填充将基于的图像的其它像素。

回顾图3，向计算设备返回生成的映射(动作312)，该计算设备接收映射(动作314)。应当注意，虽然在动作312中向计算设备返回了映射，但是可以(和通常)返回映射而不向计算设备返回图像的版本。例如，无需向计算设备返回经下采样的图像。实际上，可以如以下更具体讨论的那样与在动作302中获得的图像一起使用映射。通过在动作312中返回映射，由于向计算设备发送更少数据而相对于发送经下采样的图像而言减少了在计算设备与服务之间的数据传送带宽的使用，并且相对于发送经下采样的图像而言减少了向计算设备传送映射所花费的时间量。

通过使用接收的映射以向输入图像中的像素赋值来生成输出图像(动作316)。在如以上讨论的一些情形中，压缩在动作310中生成的映射。在这样的情形中，在动作316中解压压缩的映射。可以使用多种公用或者专有技术中的任何技术来解压压缩的映射，并且至少部分基于压缩映射的方式解压该压缩的映射。

用基于接收的映射确定的像素值替换在动作302中获得的图像的一个或者多个区域中的每个像素。因此，用由服务在动作310中确定的像素的值填充一个或者多个区域。在动作316中生成的输出图像因此是在动作302中获得的图像的像素值和由服务在动作310中确定的像素值的组合。

图7是图示了根据一个或者多个实施例的用于生成输出图像的示例过程700的流程图。过程700由计算设备(比如图1的计算设备102或者实施图1或者图2的内容认知处理系统104的设备)执行，并且可以被实施在软件、固件、硬件或者其组合中。过程700可以例如实施图3的动作316。过程700被示出为动作的集合，并且不限于所示的用于执行各种动作的操作的顺序。过程700是用于生成输出图像的示例过程；这里参照不同附图包括生成输出图像的附加讨论。

在过程700中，选择图像的条带(动作702)。图像例如是指(例如，在图3的动作302中获得的)原先获得的图像。条带是指图像的块或者条带，比如如下块，该块是图像的全宽度和图像的高度的特定像素数目(例如，10至20个)。备选地，条带可以是其它尺寸或者维数的块或者条带，比如作为图像的全高度和图像的宽度的特定像素数目(例如，10至20个)的块、作为图像的宽度的一半和图像的宽度的特定像素数目(例如，10至40个)的块等等。在一个或者多个实施例中，基于被使得可用于过程700的存储器数量来确定块的尺寸。例如，选择块的尺寸从而使得可以在存储器(例如，随机存取存储器)中并行地存储图像的条带和NNF映射的经上采样的部分(如以下更具体讨论的那样)。条带通常小于整个图像，但是在一些情形(例如，其中在计算设备中存在充足存储器)中，条带是整个图像。

NNF映射的与条带对应的部分被上采样以生成用于条带的高分辨率NNF映射(动作704)。NNF映射的与条带对应的部分是NNF映射的如下部分，该部分标识条带中的像素(如果该部分将被上采样)。对NNF映射的部分上采样增加在图像中标识的像素数目，该部分被上采样以标识图像的条带中的像素。NNF映射被上采样与先前经下采样(例如，在图3的动作304中)的图像相同的数量，比如5至10的倍率。可以使用多种不同公用和/或专有技术(比如几何上采样技术)中的任何技术来执行上采样。

与条带对应的高分辨率NNF映射和卷积运算被用来生成目标图像的条带中的像素的颜色(值)(动作706)。将NNF映射和卷积运算用于正被填充的一个或者多个区域中的每个区域来生成用于正被填充的区域中的像素的值。卷积运算是N*N*K*L卷积运算，其中N是卷积滤波器的维数(例如，7)，并且K和L是条带中的区域的部分的维数。在一个或者多个实施例中，卷积运算是简单箱型滤波。NNF映射的每个元素指向7*7窗的左上坐标，并且窗中的源像素被求平均以计算目标像素的颜色值。

基于目标图像的条带、图像的条带和约束掩模生成输出图像的条带(动作708)。目标图像的条带是在动作706中生成的条带，并且图像的条带是在动作702中选择的条带。约束掩模标识目标图像条带和图像条带的哪些部分(例如，在逐个像素基础上)对应于正被填充的区域，以及目标图像条带和图像条带的哪些部分(例如，在逐个像素基础上)不对应于正被填充的区域。对于输出图像的条带中的每个像素，如果约束掩模指示像素在正被填充的区域中，则像素的值是目标图像条带中的像素的值，以及如果约束掩模指示像素不在正被填充的区域中，则像素的值是图像条带中的像素的值。

图8是图示了根据一个或者多个实施例的条带的示例800的示图。在示例800中，图示了图像804的条带802。使用图像804、高分辨率NNF映射808的与条带802对应的部分和如以上讨论的卷积运算来生成目标条带806。基于条带802和目标条带806生成输出图像条带810。输出图像条带810包括条带802的用十字影线图示的部分，以及目标条带806的用十字影线图示的部分。

回顾图7，过程700基于在图像中是否有尚未被处理的附加条带而继续(动作710)。如果在图像中有动作704至708尚未处理的至少一个条带，则过程700返回到动作702以选择剩余条带之一(尚未被处理的条带之一)。

然而，如果已经处理了所有条带，则输出生成的输出图像(动作712)。生成的输出图像是在动作708中在逐个条带基础上生成的图像。输出图像可以用多种不同方式被输出，比如由计算设备显示、被存储于计算设备上、被传送到另一设备、其组合等等。

回顾图2，应当注意，由内容认知操作服务106执行的内容认知填充确定在性质上无破坏性——向内容认知处理系统返回填充映射224，但是并未变更经下采样的图像222。内容认知填充确定的无破坏性性质允许与内容认知填充基本上并行地执行其它操作。例如，内容认知操作服务106可以对经下采样的图像222执行附加操作，可以向一个或者多个其它服务提供经下采样的图像222或者原先获得的图像以让附加操作被执行，内容认知处理系统10可以对经下采样的图像222或者原先获得的图像执行附加操作，等等。

可以对图像执行各种不同附加操作。这些附加操作可以是过滤或者转换图像而未改变图像的结构的任何操作。例如，这些附加操作可以包括颜色转换(例如，从彩色到灰度或者棕褐色)、梯度滤波器、高斯模糊滤波器、双边滤波、去噪滤波器、锐化滤波器等之一或者组合。

这些操作中的任何操作所产生的图像可以被与内容认知填充操作容易地组合。例如，过程700可以对这些操作中的任何操作所产生的图像而不是原先获得的图像(例如，使用从锐化滤波器获得的锐化的图像的条带而不是原先获得的图像的条带)操作。

这里讨论了由各种模块执行的各种动作。这里被讨论为执行动作的特定模块包括特定模块本身执行动作，或者备选地，特定模块调用或者以别的方式访问执行动作(或者与该特定模块结合执行动作)的另一部件或者模块。因此，执行动作的特定模块包括特定模块本身执行动作和/或由该特定模块调用或者以别的方式访问的另一模块执行动作。

图9图示了包括示例计算设备902的大体上在900处的示例系统，该计算设备902代表可以实施这里描述的各种技术的一个或者多个计算系统和/或设备。这通过包括内容认知处理系统914而被举例说明，该内容认知处理系统可以被配置为执行如这里讨论的内容认知填充操作。计算设备902可以例如是服务提供商的服务器、与客户端关联的设备(例如，客户端设备)、片上系统和/或任何其它适当计算设备或者计算系统。

示例计算设备902如图所示包括相互通信地耦合的处理系统904、一个或者多个计算机可读介质906和一个或者多个I/O接口908。虽然未示出，但是计算设备902还可以包括相互耦合各种部件的系统总线或者其它数据和命令传送系统。系统总线可以包括不同总线结构(比如存储器总线或者存储器控制器、外围总线、通用串行总线和/或利用多种总线架构中的任何总线架构的处理器或者本地总线)中的任何总线结构或者组合。也设想了多种其它示例，比如控制线和数据线。

处理系统904代表用于使用硬件来执行一个或者多个操作的功能。因而，处理系统904被图示为包括可以被配置为处理器、功能块等的硬件单元910。这可以包括在硬件中实施为专用集成电路或者使用一个或者多个半导体而被形成的其它逻辑器件。硬件单元910不受形成它们的材料或者其中运用的处理机制所限制。例如，处理器可以由半导体和/或晶体管(例如，电子集成电路(IC))组成。在这样的情境中，处理器可执行指令可以是电子可执行指令。

计算机可读存储介质906被图示为包括存储器/存储装置912。存储器/存储装置912代表与一个或者多个计算机可读介质关联的存储器/存储容量。存储器/存储部件912可以包括易失性介质(比如随机存取存储器(RAM))和/或非易失性介质(比如只读存储器(ROM)、闪存、光盘、磁盘等)。存储器/存储部件912可以包括固定介质(例如，RAM、ROM、固定硬驱动等)以及可拆卸介质(例如，闪存、可拆卸硬驱动、光盘等)。可以用如以下进一步描述的多种其它方式配置计算机可读介质906。

输入/输出接口908代表用于允许用户向计算设备902录入命令和信息并且也允许向用户呈现信息的功能和/或使用各种输入/输出设备的其它部件或者设备。输入设备的示例包括键盘、光标控制设备(例如，鼠标)、麦克风、扫描仪、触摸功能(例如，被配置为检测物理触摸的电容或者其它传感器)、相机(例如，该相机可以运用可见或者不可见光波长、比如红外线频率以将移动识别为未涉及触摸的手势)等等。输出设备的示例包括显示设备(例如，监视器或者投影仪)、扬声器、打印机、网卡、触觉响应设备等。因此，可以用如以下进一步描述的多种方式配置计算设备902以支持用户交互。

这里可以在软件、硬件单元或者程序模块的一般情境中描述各种技术。一般而言，这样的模块包括执行特定任务或者实施特定抽象数据类型的例程、程序、对象、单元、部件、数据结构等。如这里所用的术语“模块”、“功能”和“部件”一般地表示软件、固件、硬件或者其组合。这里描述的技术的特征独立于平台，这意味着可以在具有多种处理器的多种计算平台上实施技术。

可以在某个形式的计算机可读介质上存储或者跨该形式的计算机可读介质传输描述的模块和技术的实现方式。计算机可读介质可以包括计算设备902可以访问的多种介质。举例而言而无限制，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。

“计算机可读存储介质”是指与仅信号传输、载波或者信号本身对照而言实现信息的持久和/或非瞬态存储的介质和/或设备。计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括硬件，比如在适合用于存储信息(比如计算机可读指令、数据结构、程序模块、逻辑元件/电路或者其它数据)的方法或者技术中实施的易失性和非易失性、可拆卸和非可拆卸介质和/或存储设备。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或者其它存储器技术、CD-ROM、数字万用盘(DVD)或者其它光存储装置、硬盘、磁盒、磁带、磁盘存储装置或者其它磁存储设备或者适合用来存储希望的信息并且可以由计算机访问的其它存储设备、有形介质或者制造品。

“计算机可读信号介质”可以是指被配置为比如经由网络向计算设备902的硬件传输指令的信号承载介质。信号介质通常可以在调制的数据信号(比如载波、数据信号)或者其它传送机制中体现计算机可读指令、数据结构、程序模块或者其它数据。信号介质也包括任何信息递送介质。术语“调制的数据信号”意味着如下信号，该信号让它的特性中的一个或者多个特性以对信号中的信息编码这样的方式而被设置或者改变。举例而言而非限制，通信介质包括有线介质(比如有线网络或者直接有线连接)和无线介质(比如声学、RF、红外线和其它无线介质)。

如先前描述的那样，硬件单元910和计算机可读介质906代表以硬件形式实施的模块、可编程逻辑器件和/或固定器件逻辑，可以在一些实施例中运用该硬件形式以实施这里描述的技术的至少一些方面，比如执行一个或者多个指令。硬件可以包括集成电路或者片上系统的部件、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)和在硅或者其它硬件中的其它实现方式。在本文中，硬件可以作为处理设备操作，该处理设备执行由指令定义的程序任务或者由硬件体现的逻辑的处理设备以及用来存储以用于执行的指令的硬件，例如，先前描述的计算机可读存储介质。

可以运用前述各项的组合以实施这里描述的各种技术。因而，软件、硬件或者可执行模块可以被实施为在某个形式的计算机可读存储介质上和/或由一个或者多个硬件单元910体现的一个或者多个指令或者逻辑。计算设备902可以被配置为实施与软件和/或硬件模块对应的特定指令和/或功能。因而，可以至少部分在硬件中(例如，通过使用计算机可读存储介质和/或处理系统904的硬件单元910)来实现作为软件可由计算设备902执行的模块的实现方式。指令和功能可以可由一个或者多个制造品(例如，一个或者多个计算设备902和处理系统904)可执行/可操作以实施这里描述的技术、模块和示例。

这里描述的技术可以由计算设备902的各种配置支持而不限于这里描述的技术的具体示例。也可以全部或者部分通过使用分布式系统(比如如以下描述的那样经由平台922在“云”920之上)实施这一功能。

云920包括和/或表示用于资源924的平台922。平台922对云920的硬件(例如，服务器)和软件资源的下层功能抽象化。资源924可以包括可以在从计算设备902远离的服务器上执行计算机处理之时利用的应用或者数据。资源924也可以包括通过因特网或者通过预订者网络(比如蜂窝或者Wi-Fi网络)提供的服务。

平台922可以将用于连接计算设备902与其它计算设备的资源和功能抽象化。平台922也可以服务于将对资源的缩放抽象化以提供与对于经由平台922实施的资源924的所遇需求对应的规模级别。因而，在一个互连设备实现方式中，可以遍及系统900分布这里描述的功能的实现方式。例如，可以部分在计算设备902上以及经由将云920的功能抽象化的平台922实施该功能。

虽然已经用结构特征和方法动作特有的语言描述了主题内容，但是将理解，在所附权利要求中定义的主题内容未必限于描述的具体特征或者动作。实际上，以上描述的具体特征和动作被公开为实施权利要求的示例形式。

Claims (20)

1.一种在计算设备中实施的方法，所述方法包括：

获得图像；

获得基于获得的所述图像的第二组一个或者多个区域中的像素的值、对所述图像的待填充的第一组一个或者多个区域的指示；

对获得的所述图像下采样以生成获得的所述图像的减少尺寸的版本；

向远程服务发送获得的所述图像的所述减少尺寸的版本，所述远程服务被实施在从所述计算设备分离的一个或者多个设备中；

从所述远程服务接收映射，所述映射为所述第一组一个或者多个区域中的每个像素标识所述第二组一个或者多个区域中的一个或者多个像素，所述一个或者多个像素的值将用来生成用于所述像素的值；以及

生成输出图像，所述生成包括使用所述映射以确定所述第一组一个或者多个区域中的像素的值。

2.根据权利要求1所述的方法，所述接收包括接收所述映射而不接收所述图像的版本。

3.根据权利要求1所述的方法，接收的所述映射包括压缩的映射，并且所述方法还包括通过解压接收的所述映射来生成解压的映射，并且所述生成所述输出图像包括使用所述解压的映射以确定所述第一组一个或者多个区域中的像素的值。

4.根据权利要求3所述的方法，其中接收的所述映射包括部分地压缩的映射和表，所述解压接收的所述映射包括为所述图像的所述第一组一个或者多个区域中的每个像素：

从所述部分地压缩的映射获得所述表中的条目的标识符；

从所述表中的所述条目获得用于所述像素的偏移；

将所述偏移应用于所述像素的坐标以生成偏移坐标；以及

使用所述偏移坐标作为所述解压的映射中的所述像素的所述标识符。

5.根据权利要求1所述的方法，还包括在生成所述输出图像之前对所述映射上采样。

6.根据权利要求1所述的方法，还包括：

接收所述图像的已经被过滤或者转换的附加版本；以及

所述生成所述输出图像包括基于所述图像的所述附加版本而不是获得的所述图像来生成所述输出图像。

7.根据权利要求6所述的方法，所述生成所述输出图像包括使用所述映射以确定所述图像的所述附加版本的所述第一组一个或者多个区域中的像素的值。

8.根据权利要求1所述的方法，所述生成包括在逐个条带基础上生成所述输出图像，多个条带中的每个条带包括获得的所述图像的小于整个获得的所述图像的块。

9.根据权利要求8所述的方法，还包括为每个条带在生成所述输出图像的条带之前对所述映射的与获得的所述图像的条带对应的部分上采样。

10.一种在包括一个或者多个计算设备的服务中实施的方法，所述方法包括：

从分离于所述服务的计算设备接收图像的减少尺寸的版本；

从所述计算设备接收对所述图像的所述减少尺寸的版本的将基于所述图像的所述减少尺寸的版本的第二组一个或者多个区域中的像素的值而被填充的第一组一个或者多个区域的指示；

为所述第一组一个或者多个区域中的每个像素确定所述第二组一个或者多个区域中的一个或者多个像素，所述一个或者多个像素的值将用来生成用于所述像素的值；

生成映射，所述映射为所述第一组一个或者多个区域中的每个像素标识所述第二组一个或者多个区域中的一个或者多个像素，所述一个或者多个像素的值将用来生成用于所述像素的值；以及

向所述计算设备返回所述映射而不向所述计算设备返回所述图像的版本。

11.根据权利要求10所述的方法，还包括压缩所述映射，并且所述返回包括向所述计算设备返回压缩的所述映射。

12.根据权利要求11所述的方法，所述压缩所述映射包括：

通过以下操作生成部分地压缩的映射：为所述图像的所述减少尺寸的版本的所述第一组一个或者多个区域中的每个像素，在所述部分地压缩的映射中包括表中的条目的标识符，所述表中的所述条目包括偏移值，所述偏移值在被应用于所述像素的坐标时，产生所述第二区域中的将用来生成用于所述像素的值的特定像素的坐标，所述条目包括用于所述第二区域中的所述特定像素的增益值和偏置值；以及

通过将游程编码应用于所述部分地压缩的映射和所述表来生成压缩的所述映射。

13.根据权利要求12所述的方法，还包括响应于在所述表中没有条目具有满足所述第二区域中的所述特定像素的约束来生成所述表中的新条目。

14.一种计算设备，包括：

输入模块，所述输入模块被配置为获得图像和基于获得的所述图像的第二组一个或者多个区域中的像素的值对所述图像的待填充的第一组一个或者多个区域的指示；

内容认知填充模块，所述内容认知填充模块被配置为对获得的所述图像下采样以生成获得的所述图像的经下采样的版本；

通信模块，所述通信模块被配置为向远程服务发送获得的所述图像的所述经下采样的版本，所述远程服务被实施在从所述计算设备分离的一个或者多个设备中，并且所述通信模块还被配置为从所述远程服务接收映射，所述映射为所述第一组一个或者多个区域中的每个像素标识所述第二组一个或者多个区域中的一个或者多个像素，所述一个或者多个像素的值将用来生成用于所述像素的值；以及

所述内容认知填充模块还被配置为通过使用所述映射以确定所述第一组一个或者多个区域中的像素的值来生成输出图像。

15.根据权利要求14所述的计算设备，所述通信模块还被配置为从所述远程服务接收所述映射而不接收所述图像的版本。

16.根据权利要求14所述的计算设备，所述映射包括压缩的最近邻居场(NNF)映射，所述计算设备还包括映射解压模块，所述映射解压模块被配置为通过解压接收的所述映射来生成解压的映射，并且所述内容认知填充还被配置为通过使用所述解压的映射来生成所述输出图像。

17.根据权利要求14所述的计算设备，所述内容认知填充模块还被配置为在逐个条带基础上生成所述输出图像，多个条带中的每个条带包括获得的所述图像的小于整个获得的所述图像的块。

18.根据权利要求17所述的计算设备，所述内容认知填充模块还被配置为对于每个条带在生成所述输出图像的条带之前对所述映射的与获得的所述图像对应的部分上采样。

19.根据权利要求14所述的计算设备，所述通信模块还被配置为接收所述图像的已经被过滤或者转换的附加版本，并且所述内容认知填充模块还被配置为基于所述图像的所述附加版本而不是获得的所述图像来生成所述输出图像。

20.根据权利要求14所述的计算设备，所述内容认知填充模块还被配置为：

接收所述图像的已经由附加远程服务过滤或者转换的附加版本；以及

通过使用所述映射以确定所述图像的所述附加版本的所述第一组一个或者多个区域中的像素的值来基于所述图像的所述附加版本而不是获得的所述图像来生成所述输出图像。