CN104581111B - 利用变换的目标区域填充 - Google Patents

Abstract

描述涉及到变换的目标区域填充技术。在一个或者多个实现方式中，标识将被用来填充场景的图像中的目标区域的补片。使用场景的深度信息来指导将向补片应用的变换，并且使用经变换的补片来填充图像中的目标区域的至少一部分。

Description

利用变换的目标区域填充

背景技术

图像编辑技术随着图像捕获设备的普及继续增加而正在变得越来越流行。用户例如可以携带具有数字相机的移动电话、平板计算机、专用相机等以捕获场景、例如风景、房间、体育赛事等的图像。用户然后可以运用图像编辑技术以如希望的那样修改图像。

编辑技术的一个这样的示例常称为可以被用来填充图像中的目标区域的“空洞填充”。因而空洞填充可以被用来支持从图像去除对象、比如从图像去除人、修复图像等。为了执行这一技术，填充通过去除对象而创建的空洞，这通常基于图像的落在空洞“以外”的区。

然而，常规空洞填充技术可能在图像中生成可能可为用户所察觉的不准确。另外，在一些实例中、比如在立体图像中使用时这些不准确可能被放大，从而使用这些常规技术而修改的图像可能使立体图像无法用于它们的既定用途。

发明内容

描述利用变换的目标区域填充技术。在一个或者多个实现方式中，标识将被用来填充场景的图像中的目标区域的补片(patch)。使用场景的深度信息来指导将向补片应用的变换，并且使用经变换的补片来填充图像中的目标区域的至少一部分。

在一个或者多个实现方式中，一种系统包括至少部分在硬件中实施的至少一个模块，该至少一个模块被配置用于使用根据立体图像计算的视差来计算场景的深度信息。该系统还包括至少部分在硬件中实施的一个或者多个模块，该一个或者多个模块被配置用于使用至少部分基于计算的深度信息变换的补片来填充立体图像中的一个或者多个立体图像中的目标区域的至少一部分。

在一个或者多个实现方式中，一种或者多个计算机可读存储介质包括在其上存储的指令，这些指令响应于由一个或者多个计算设备执行而使一个或者多个计算设备执行操作。操作包括使用场景的深度信息来指导将向补片应用的变换以及使用经变换的补片来填充场景的图像中的目标区域的至少一部分。

此发明内容以简化形式介绍以下在具体实施方式中进一步描述的概念选集。这样，此发明内容不旨在于标识要求保护的主题内容的实质性特征、也不旨在于在确定要求保护的主题内容的范围时用作辅助。

附图说明

参照附图描述具体实施方式。在各图中，标号的最左数位标识该标号在其中首次出现的图。在描述和各图中在不同实例中使用相同标号可以指示相似或者相同项目。在各图中代表的实体可以指示一个或者多个实体，因此可以在讨论中可互换地指代实体的单数或者复数形式。

图1是一个示例实施实现方式中的环境的图示，该环境可操作用于运用这里描述的涉及到目标区域填充的技术。

图2描绘一个示例实现方式中的系统，场景的图像在该系统中被捕获并且被用来填充目标区域。

图3描绘补片匹配算法的操作示例。

图4是对示例的图示，这些示例包括来自算法的结果，该算法无变换并且也有扩展以包括使用变换。

图5是包括目标区域的图像的图示，该图示示出将锚点用于标识将被用来填充目标区域的源补片。

图6是示出向候选补片使用变换和向邻近补片使用偏移的图示。

图7是描绘一个示例实现方式中的过程的流程图，在该过程中标识补片并且使用深度信息来变换补片。

图8是描绘一个示例实现方式中的过程的流程图，在该过程中使用根据立体图像计算的视差来计算深度信息并且使用该深度信息以指导向将被用来填充目标区域的补片的变换。

图9图示视差图的示例。

图10-14是技术的图示，在这些技术中在从立体图像去除对象之后填充目标区域，在这些立体图像中也填充视差图。

图15是其中保持深度信息的涂鸦去除目标填充技术的示例。

图16-25是技术的图示，在这些技术中在去除对象之后填充目标区域，其中变换补片，至少部分使用深度信息来指导该变换。

图26图示包括示例设备的各种部件的示例系统，该示例设备可以被实施为如参照图1-25描述和/或利用的任何类型的计算设备以实施这里描述的技术的实施例。

具体实施方式

概述

随着消费级立体相机变得越来越普遍，用户希望一种用于以对于个体图像常规地运用的方式编辑立体图像的能力。因而，这可能引入维持在编辑的图像之间的立体保真的挑战。然而，这也可以引入用于利用可以从图像对获得的附加信息的一组新机会。

可以被用来编辑图像的一种技术的示例涉及到通过来自图像的包围目标区域的其余部分智能地绘制来用内容替换图像的目标区域，这常称为空洞填充。常规地运用多种不同技术以对单个图像执行这一替换。然而，这些常规技术可能在应用于立体图像时引起不一致、由此使立体图像无法用于它们的既定用途、例如支持立体视觉。

因而这里描述如下技术，可以运用这些技术用于如下目标区域填充，可以运用该目标区域填充用于立体图像以及个体地用于图像。在一个实现方式中，描述如下技术，这些技术涉及到目标区域的完善，这包括使用可以使用深度信息(比如视差、深度传感器等)而指导的变换(例如缩放、旋转、切变)。例如，可以从图像中的与将填充的目标区域不同的深度选择补片。因此可以利用深度信息以选择将对将使用的补片执行的缩放量作为填充的部分。也可以利用附加技术作为这一空洞填充的部分、比如如在以下章节中进一步描述的那样相比于被向上缩放和非缩放变换而言向被向下缩放给予优先等。

在以下讨论中，首先描述可以运用这里描述的技术的示例环境。然后描述可以在示例环境以及其它环境中执行的示例过程。因而，示例过程的执行不限于示例环境，并且示例环境不限于执行示例过程。虽然以下讨论有时描述立体实现方式，但是这些技术也可以适用于单个图像以及不是立体的多个图像。这可以包括相同场景(例如特定地标)的多个图像、在不同场景中具有匹配对象(例如在不同位置拍摄的汽车)的多个图像等。

示例环境

图1是一个示例实现方式中的环境100的图示，该环境可操作用于运用这里描述的技术。所示环境100包括可以用多种方式配置的计算设备102和多个图像捕获设备104、106。

计算设备102例如可以被配置为桌上型计算机、膝上型计算机、移动设备(例如假设手持配置、比如平板计算机或者移动电话)等。因此，计算设备102可以范围从具有大量存储器和处理器资源的全资源设备(例如个人计算机、游戏控制台)到具有有限存储器和/或处理资源(例如移动设备)的低资源设备。此外，虽然示出单个计算设备102，但是计算设备102可以代表多个不同设备、比如由企业用来如关于图26进一步描述的那样“在云端”执行操作的多个服务器。

图像捕获设备104、106还可以用多种方式配置。这样的配置的所示示例包括独立式相机(比如专用设备、移动电话或者平板计算机的部分)等。也设想其它示例。例如，图像捕获设备104、106中的每个图像捕获设备可以被配置为单个立体相机、扫描仪、复印机、相机、移动设备(例如智能电话)等。在另一示例中，单个图像捕获设备可以被用来捕获场景的多个图像、比如如图所示房间中的篮球、椎标和纸张。

图像捕获设备104、106被图示为包括相应的图像捕获模块108、110。图像捕获模块108、110代表用于比如通过包括用于捕获、处理和/或存储图像112、114的图像传感器以及其它硬件和软件部件来捕获相应图像112、114的功能。

图像112、114在这一示例中为立体的，因为图像是从所示场景116的不同视角拍摄的。例如，图像112、114可以可由用户查看以获得对场景的三维深度的感知。图像112、114也可以可用来在三维中对场景进行建模、比如确定在各位置的深度。这可以用如以下进一步描述的多种方式来执行。

计算设备102被图示为包括图像处理模块118。图像处理模块118代表用于执行可用来处理图像的一种或者多种技术的功能。虽然被图示为在计算设备上本地实施，但是图像处理模块的功能也可以在分布式环境中、如关于图26进一步描述的那样经由网络120(例如“在云端”)远程等被实施。

可以由图像处理模块118执行的图像处理的示例可以被表示为立体对应性模块122。立体对应模块122代表用于生成立体对应数据的功能，该立体对应数据可以描述立体图像中的哪些像素相互对应而哪些像素可以被表达为视差。立体对应模块112例如可以处理图像112、114以确定场景116的深度以执行三维建模、执行视图合成、视图插值、内容操纵、抠图(matting)(例如对象去除)、支持增强现实(例如对象插入)等。也设想其它示例、比如捕获非立体的图像112、114、但是仍然提供场景116的不同视图。

表示可以由图像处理模块118执行的图像处理的另一示例为填充模块124。填充模块124代表用于填充图像112、114中的一个或者多个图像中的目标区域的功能。例如，填充模块124可以被用来支持从图像112、114中的一个或者多个图像去除对象、比如如在该图中由计算设备102的显示设备输出的用户界面中所示从图像112、114去除篮球。也关于图10-25示出其它示例1000-2500。这些技术也可以用于多种其它用途、比如填充图像中的例如由于遮挡、错误等而遗漏的部分。可以用多种方式执行这一处理，可以在以下讨论和对应图中发现这些方式的描述。

图2描绘一个示例实现方式中的系统200，在该系统中捕获场景116的图像112、114并且使用图像112、114以填充目标区域。场景116被图示为示出具有篮球204、交通椎标206和纸张208的房间202。图像捕获设备104、106被图示为捕获场景116的图像112、114，这些图像如以下进一步描述的那样可以是立体或者非立体的。在一个立体实现方式中，可以利用图像用于多种用途、比如用于三维建模、视图插值等。

为了支持这一示例，图像处理模块118可以运用立体对应模块122以计算立体对应数据，该立体对应数据描述图像112、114中的哪些像素相互对应、以便包括将由相应图像112、114运用的视差图和纹理。可以利用这一数据以支持广泛的功能。

填充模块124例如可以利用这一功能以“填写”图像的目标区域。图像112、114中的一个或者多个图像例如可以由填充模块124处理以从图像去除对象(比如去除篮球204)以如该图中所示生成图像210。

尽管立体一致性可能尤其在目标区域填充中是一个挑战，但是从立体对或者其它有关图像(例如场景116的未被配置用于支持立体视图的不同图像)的附加深度信息的可用性可以被用来在执行这一操作时增加准确性。

可用深度信息、例如可以被用来提供用于创建与人眼的预计一致的补片(例如补全)的附加信息维度。可以用多种其它方式、比如通过使用被配置用于输出对场景116在不同位置的深度进行描述的数据的深度传感器、通过计算立体对应性等来获得深度信息。

无论源于何处，深度信息可以用多种方式加以利用。例如，可以运用一种技术以如图9的示例900中所示以维持相互一致性的方式预填充视差图、因此允许相应视差估计辅助进一步匹配和混合。这可以通过共享在计算中涉及到的信息、从而用于到达用于第一图像的第一补片的计算可以利用用于第二图像的第二补片的计算中使用的信息来执行。这一功能被表示为该图中的视差图一致性模块212。

在另一示例中，可以支持如下技术，这些技术向目标区域和在另一图像中的立体对应目标区域二者提供跨图像搜索以及深度敏感比较。这也可以通过共享在计算中涉及到的信息、从而在计算中涉及到的信息可以涉及到用于不同图像的不同补片来执行。这一功能被表示为该图中的跨图像一致性模块214。

在又一示例中，描述如下技术，这些技术涉及到扩展成匹配的目标区域补片的加权混合，这些目标区域补片向在希望的视差的强立体对应性给予优先。这一功能被表示为该图中的混合模块216。另外，可以执行在填充视差图中的目标区域和使用彩色纹理来填充相应立体图像时涉及到的计算，从而共享在计算中涉及到的信息、例如在用于相应区域的运算之间传播信息。

在再一示例中，可以运用如下技术，这些技术支持可以向用于填充目标区域的标识的补片应用的变换。例如，可以如以上描述的那样从图像的如下部分标识补片，该部分可以用于填充该图像和/或另一图像中的目标区域。深度信息可以被用来指导这一变换、以便执行缩放、改变透视(例如根据如深度信息指示的图像的场景的三维理解)等。这一功能被表示为该图中的变换模块218，可以在以下对应章节和结合图4开始的讨论中发现该变换模块218的进一步讨论。

因此，可以支持一种可以被用来提高相应目标区域相对于源图像112、114的其余部分而言的连贯性而又维持立体一致性的系统。可以执行这一点以用如下方式匹配补片，该方式允许在原先部分闭塞的区域的情况下跨图像复制而未涉及到显式预复制步骤。这允许松散标记的蒙版(mask)，这些蒙版是独立的，从而蒙版包括将被温和地处理的非对应像素而无需两个图像中的对应性。

这一技术也可以处理去除和替换三维对象(例如房间202的墙壁或者如图15中的涂鸦去除示例1500中所示的其它表面)上的纹理、去除整个对象(比如图2中的篮球204)以及图11-14的示例1100-1400、如关于图16-25所示涉及到变换的示例等。因此，使用深度信息可以支持用于以相对于常规单图像补全技术增加的准确度来填充目标区域的技术。虽然以下讨论在多种不同示例中使用立体图像，但是应当容易清楚这些技术也可以利用非立体的图像(比如将在由用户查看时不支持立体视图的场景的不同图像)，可以涉及到位于不同场景中的对象并且也可以被执行用于生成单个图像。

在一个或者多个实现方式中，描述如下技术，这些技术可以利用一种基于单图像补片匹配的补全方式、在以下讨论中也称为“补片匹配算法”。例如，可以最小化对图像相干性的如下测量：

其中“T”是目标区域，“S”是源区域(例如图像的在目标区域以外的范围)，并且“t∈T”和“s∈S”分别是在目标和源区域内的补片。表达式是对在补片“s”与“t”之间的差的测量。直观地，这用来保证在填充的区域内的每个补片与在图像的其余部分中的对应补片相似，从而惩罚将不与在图像的其余部分中的补片匹配的引入的非自然成分。

因此，当在每点“p”满足两个条件时满足这一表达式。在第一条件中，与点“p”重叠的补片“t∈T”中的每个补片具有确切匹配“s∈S”，因此“d(s，t)＝0”。在第二条件中，与“p”重叠的补片“t∈T”中的每个补片与在“p”处的值相符，从而补片的混合结果不引入附加误差。因此，可以通过在匹配每个目标补片“t∈T”到它的最佳匹配“s∈S”之间迭代地交替来采用一种能量/量值样式的方式，所得补片的混合被用来合成目标区域中的内容以填充该区域。

基于补片匹配的方式可以通过利用匹配的空间传播和随机搜索以支持图3的示例300中所示用于发现良好匹配的高效技术来避免穷举搜索。例如，可以运用一种“最近邻居域“(NNF)方式，该方式可以提供从图像中的每个补片到在目标区域以外的对应最佳(目前为止)匹配的映射，该对应最佳匹配可以表示为”s＝NNF(t)“。

此外，可以运用技术以更新“最佳”匹配、然后将匹配混合到目标区域中。这可以通过按照从每个混合的补片到目标区域的边界的距离的单调递减函数对补片进行加杈来执行。这可以帮助将内容从区域以外向目标区域中驱动。此外，一种逐渐尺寸重设方式可以被用来创建多比例金字塔。在金字塔的最粗比例，扩散填充可以被用来初始化基于补片匹配的能量/量值迭代。对于后续比例，可以上采样来自先前比例的NNF，关于以下章节进一步描述该上采样的示例。

立体图像补全

可以用多种方式配置立体图像对112、114。为了以下讨论，这些图像112、114视为其中“D”为视差的四值“RGBD”图像。此外，图像112、114可以已经由图像处理模块118纠正并且由立体对应性模块112计算立体对应性。用户然后可以提供如图10-15的示例1000-1500中所示指定一个或者多个目标区域的蒙版。这可以用多种方式、比如通过与基于立体的选择工具交互的人工选择、使用光标控制设备、手势、通过模块的自动选择(例如前景对象)等来执行。

如图9的示例900中所示视差图可以具有与相应彩色图像的特性很不同的特性。不同于具有丰富纹理的彩色图像，例如视差图像一般涉及到具有可以例如由立体对应模块122在用于计算立体视差的算法中利用的强空间结构、性质的平滑区域。在一个或者多个实现方式中，首先填充视差图的目标区域。视差图然后可以被用来指导选择源补片以补全目标区域的彩色纹理。

可以利用模板区域填充以用于多种目的。例如，填充可以被用来如在篮球的示例中先前描述的那样去除全部前景对象。其它示例包括如图10-14的示例1000-1400中所示去除图像中的更大对象(比如墙壁等)上的三维结构细节。在另一示例中，可以保持场景116的物理结构，但是目标区域可以被用来替换对象上的纹理，这可以如图15中的示例1500中所示称为“涂鸦去除”并且也可以被用来调整和去除阴影等。因此设想如下实现方式，在这些实现方式中，用户可以指定是否填充目标区域中的视差或者保持并使用原始视差图。然后可以如以下进一步描述的那样基于这些视差合成立体一致纹理。

深度补全

在这一示例中，描述分别是指左和右图像的两个视差图“D_L”和“D_R”。这两个视差图然后可以被用来如以下描述的那样处理半闭塞区域中的深度信息。在使用之前，立体对应模块122可以使用在这一节中描述的技术的“更小空洞”变化来填充视差图中的空洞。

在一个或者多个实现方式中，基于偏微分方程(PDE)的内涂技术可以被用来恢复视差图中的平滑空间结构。例如，单个视差图“D”的内涂可以涉及到以下迭代求解的PDE：

其中表示视差图的描述的2D拉普拉斯。直观地，这一PDE被用来沿着图像水平曲线传播图像曲率、因此填充区域并且保留边缘结构。为了减少对于以上表达式的数值实现方式而涉及到的迭代数目，可以使用基于扩散的填充来初始化目标区域。向目标区域中扩散可以限于比区域中的原始内容更小的视差(即更远)。

如先前描述的那样，运用于图像的常规技术单独可能引起在立体图像之间可查看的走样(artifact)。因而描述如下技术，在这些技术中使用目标填充，在该目标填充中实行立体一致性。例如，弱一致性约束可以用作以上迭代地求解的PDE的表达式的一部分。

可以如下在图像中在逐点基础上表征视差图中的值、例如“D_L”和“D_R”：

-在两个图像中一致并可查看：

D_L(x，y)＝D_R(x-D_L(x，y)，y)

D_R(x，y)＝D_L(x+D_R(x，y)，y)

-半闭塞，从而对象在一个图像中可查看、但是在另一图像中被闭塞：

D_L(x，y)＜D_R(x-D_L(x，y)，y)或者

D_R(x，y)＜D_L(x+D_R(x，y)，y)

-物理不一致、例如物理上不可能从后面闭塞：

D_L(x，y)＞D_R(x-D_L(x，y)，y)或者

D_R(x，y)＞D_L(x+D_R(x，y)，y)

因此，可以修改以上迭代地求解的PDE的表达式以创建耦合的PDE对以及附加项如下，该PDE对包括相应视差图的内涂，这些附加项提高相互一致性并且因此提高立体一致性：

其中“L_L”是“D_L”的拉普拉斯，并且“L_R”是“D_R”的拉普拉斯，并且

是一致性项而“∈”控制容差。如果对于视差图中的值描述一致性的以上表达式在“∈”(例如少于或者等于容差“1”或者其它值)容差内的给定的像素内适用，则可以进行假设视差将一致。因此，可以调整这些视差以如希望的那样增加相似性。

在另一方面，如果以上半闭塞表征在大于“∈”容差的给定的像素处适用，则可以进行假设像素在“半闭塞”中被涉及到，因此保持不同的视差。另外，如果以上不一致标准适用，则可以调整视差图以校正这一物理不一致。

纹理匹配和合成

为了合成在图像112、114的相应视差图像之上的纹理以执行图10-15中所示“补全”，可以拓宽以上描述的目标函数以允许绘制来自任一图像的源纹理、惩罚图像之间的立体不匹配等。例如，令“S_L”和“S_R”分别表示左和右图像中的源区域，并且相似地令“T_L”和“T_R”表示相应目标区域。还令“CLR(t)”表示从以“(x，y)”为中心的补片“t_L∈T_L”到以“(x-D_L(x，y)，y)”为中心的对应补片“t_R∈T_R”的映射。为了在以下讨论中简化进一步符号表示，分别地，“C(t)＝C_LR(t)”用于左图像中的补片，并且“C(t)＝C_RL(t)”用于右图像中的补片。

因此立体填充相干性的优化可以被定义为以下目标函数的最小化：

这里补片差测量“d(s，t)”可以被重定义为补片的RGBD值之间的均方差。也可以设想其它补片距离和并入深度和/或视差的方式。

第一项与关于图像相干性测量的以上表达式相似并且有利于相应图像中的目标区域的相干填充。应当注意在这一示例中显式地允许跨两个图像匹配补片、由此提供较丰富的源补片集合。

在以上表达式中的附加两项通过惩罚在相关视差表现出可视不相似的补片来有利于立体一致性。尽管类似地这不直接意味着用于优化的算法，但是被设计用于提高相互一致性的以上耦合的PDE对的能量/量值方式可以被扩展。可以基于两个观察来执行这一扩展。第一，如果满足以上标识的用于最小化图像相干性测量的两个条件则最小化用于立体填充相干性的目标函数。第二，如果目标区域中的像素中的每个像素由与在相关视差的另一图像中的对应补片确切地匹配的内容填充，则最小化用于立体填充相干性的目标函数。这除非这样的内容将在另一图像中不可见(即半闭塞)则可以成立。为了有利于这一点，可以修改能量/量值过程的补片混合步骤以除非在另一图像中闭塞则向立体一致的补片给予增加的杈重。也可以扩展补片匹配搜索以包括来自两个图像的补片，这包括被设计用于有助于立体一致性的传播步骤。

立体补片匹配

由于两个源图像提供比单独任一图像更大的源补片集合并且由于一些有用补片可以在一个图像中可见、但是在另一图像中不可见，所以可以扩展补片匹配算法以包括如先前描述的跨图像搜索。补片匹配算法可以使用两个部分以搜寻比当前发现的补片更好的补片，在图4中示出这一点的示例300。第一是传播步骤，在该传播步骤中，与当前补片相邻的补片的补片的邻居被视为“空间”示例。例如，用于邻居“t”的当前NNF匹配视为更新“NNF(t)”。第二涉及到在该图中表示为“随机”的随机搜索步骤。

如图3的示例实现方式300中所示，这可以扩展成包括立体对应性步骤，在该立体对应性步骤中考虑另一图像中的立体对应补片、例如对于在该图中图示为“立体”的补片“C(t)”。因此，这也可以包括立体传播步骤，在该传播步骤中考虑对于对应补片“C(t)”的邻居发现的匹配。在一个或者多个实现方式中，包括用于另一图像中的立体对应补片“C(t)”的当前值是目标补片到在任一目标区域以内或者与任一目标重叠的目标补片之间允许匹配的仅有的一次。

在扩展搜索中的这一包括允许复制(并且随后混合)已经在另一图像中发现的补片从而造成最小化以上立体填充相干性目标函数的后两项。应当注意仍然选择立体对应补片作为在补片匹配过程期间的最佳对应补片，这最终允许被发现最佳补全的图像支配另一较弱的解。也有可能在搜索的这一立体对应性部分期间，对应补片是源区域而不是目标区域的用于另一图像的部分。这可以在去除前景对象去闭塞一个图像中的在另一图像中可见的区域时发生。常规技术大量依赖于显式地弯曲(warp)原先半闭塞的数据，然而可以执行这里描述的技术而无显式复制预步骤。另外，跨图像复制可以自动发生作为这些技术中的搜索和合成过程的部分。

除了以上引用的补片匹配算法的空间传播步骤之外，还可以包括立体传播步骤。立体传播步骤可以被用来进一步扩展候选源补片池以不仅包括另一图像中的对应补片“C(t)”而且包括根据另一图像的NNF的与“C(t)”的当前最佳匹配。由于即使在原始视差图仅使用整数视差、仍然在多比例分级中存在的子像素视差，这意味着使用“C(t)”的x坐标的下限和上限来搜索两个可能候选。

主体一致补片混合

一旦使用以上扩展的补片匹配算法来更新最近邻居域，可以执行“补片投票”操作以混合源补片并且填充目标区域。为了提高立体一致性，可以向如下那些补片给予增加的混合杈重，这些补片与它们在另一图像中的立体对应补片一致。例如，补片中的像素“t”的混合杈重可以是“t”与立体对应补片“C(t)”之间的相似性的函数。

可以用与以上描述的相互一致性表达式相似的方式、使用与特定目标像素“p”重叠的每个目标补片“t”匹配的源补片“s”的值的加权混合来计算像素“p”的颜色“c”。例如，令“{t¹，t²，...，t^k}”与像素“p”重叠的补片集合、无论是否完全在目标区域“T”以内。也令{s¹，s²，...，s^k}表示用于补片的相应最佳匹配。如果“c_i”被用来如源补片“Sⁱ”提示的那样表示用于像素“p”的颜色并且权重“wⁱ”表示向补片“tⁱ”给予的权重，则通过加权混合来给予用于像素“p”的颜色“c”：

杈重“wⁱ”是两个因子的组合。第一因子与用于如以上对于常规补片匹配算法描述的单图像填充的因子相同。第二因子是惩罚立体不匹配如下项的附加因子：

可以按照下式计算基于距离的权重

其中“dist(pⁱ，T)”是从“pⁱ”(补片“tⁱ”的中心)到目标区域“T”的边界的距离或者如果“pⁱ”落在“T”以外则为“0”。在一个或者多个实现方式中，使用值γ＝1.3。

通过比较补片“tⁱ”的不闭塞部分与在另一图像中的(可能是子像素的)对应部分来给予立体一致性权重如下：

计算考虑闭塞的补片平方差为在补片“tⁱ”和“C(tⁱ)”的相互不闭塞部分之间的均方差，这同样可以支持子像素比较。如果在另一图像中从视图闭塞整个补片“tⁱ”(即无对应“C(tⁱ)”)，则将设置成最大值“3·255²”以在混合中给予最小、但是非零的权重。这具有的效果为使半闭塞区域从不闭塞侧被填充、由此向来自不闭塞邻居补片的贡献给予更强权重。然而在半闭塞区域内，这些补片各自具有相同(然而低)权重，这通过归一化加权混合从以上杈重“wⁱ”有效去除这一加杈因子的影响。在一个或者多个实现方式中，使用值“σ_c＝7”。

深度指导的目标区域填充变换

这一节呈现通过扩展算法以搜寻和发现源补片的缩放版本来扩展以上补片匹配算法。在以上描述的算法中，沿着对应三维结构比较每个目标补片的纹理与它的预期源补片。通过比较绝对视差而实现的这一比较使算法可以从其绘制的潜在源补片有效地限于相似深度的源补片。这在应用于正面平行(frontoparallel)表面(在表面之间无深度差)的立体图像时产生希望的结果从而在许多情况下避免绘制来自不适当区的纹理。它也可以在应用于不正面平行(具有可变距离)的表面时良好工作，只要对于每个距离有充分适当源纹理。相似地，它可以在除了目标的距离之外的距离在其它表面上发现适当源纹理的区域时即使对于正面平行表面仍不良好工作。为了解决这两个问题，扩展先前算法以并入根据源与目标区域之间的相对距离适当缩放的源补片。

利用立体图像及其固有3D信息，可以直接完成估计在两个补片之间的正确缩放。应用估计技术也可以缓解在搜寻潜在源补片时选择随机比例从而允许算法更快收敛。

在以下讨论中，描述图2的变换模块218的操作，该变换模块被配置用于估计补片到补片缩放以扩展以上补片匹配算法以能够通过利用3D信息以估计比例而不是执行完全随机搜索来从缩放的纹理智能地绘制。图4中所示示例400来自以上补片匹配算法的结果而无变换以及也有扩展以包括使用变换、例如在这一示例中为缩放。这些技术也可以被配置用于解决非统一的比例变换、例如在“x”和“y”方向上的不同比例以解决图像透视缩短和其它并发问题。

可以利用深度信息(比如从立体图像获得的视差信息)以标识在场景116中包含的3D结构。通过利用这一信息，可以朝着改进的可能匹配来指导补片搜索，这些匹配甚至可以被用来消除使用如以上描述的图像的整个空间的随机搜索。

在场景中的两个对象的现实坐标(或者至少现实深度)给定时，可以通过使用对应深度之比来获得在连个对象之间的相对投影缩放的估计：

其中“z_t”是目标补片的深度并且“z_s”是源补片的深度。立体视差与深度成反比如下：

z_p＝fB/d_p

其中“z_p”是在像素“p”处的现实深度(或者从相机的距离)，“d_p”是在“p”处的视差，“f”是相机的焦距，并且“B”是在两个相机之间的基线(或者水平距离)(假设典范配置)。应当注意虽然可以使用任何数目的算法之一来估计视差，但是焦距和基线无预先知识或者相机校准就不能估计。出于这一原因，可以估计每个像素的深度上至某个不知比例因子。

使用估计的深度，可以在两个补片之间估计缩放因子。用“f B/d_p”替换上式中的“z”值并且化简产生以下表达式：

注意未知比例因子“f”和“B”抵消。因此，可以通过使用任何两个补片的视差之比来估计在补片之间的比例。

如图5中的示例500中所示，锚点(即参考点)可以被用来估计用于补片的全部的参数。换而言之，可以进行假设补片的一个像素(例如在所示实现方式中为左上)是整个补片的回忆。

在这一示例500中，示出由根据立体图像对计算的视差确定的缩放的补片。示例500包括用于给定的目标补片的视差图和示例缩放的源补片。示出源补片“S₂”为上采样，因为它距相机比目标区域“t”更远，而示出源补片”S₁”为下采样，因为它与相机更近。在源与目标补片之间的比例因子由锚位置(补片的左上像素)的视差确定。在一个或者多个实现方式中，比例因子可以在“x”方向上与在“y”方向上不同、即和可能不相等。

虽然根据立体图像计算的视差可以被用来提供两个补片之间的比例的初始估计，但是仍然可以执行在估计的比例周围的搜索。例如，计算的视差可以由于计算的性质而不准确。此外，算法可以在一些示例中不计算子像素视差，这即使正确计算视差仍然可以引入略微误差。因而可以变更算法以在原先估计的比例周围的比例窗中随机搜索、因此允许算法精化估计的比例。

取代在估计周围任意挑选固定比例范围，目标和源补片的视差可以被用来智能地指导和确定在其中执行搜索的合理比例范围，这可以如如下执行：

其中“δ”是在视差图中的预计误差值范围。例如，假设正确视差图上至整数值，“δ”将是1以考虑子像素视差。因此，比例范围对于更远的补片更大(其中视差的甚至略微误差仍然可以大大影响计算的比例变换)而对于更近的补片更小，其中略微误差影响小得多。

可以通过在考虑具体目标和源补片对时对算法可以随机选择的比例范围进行限制来实现这一加窗搜索。因此，估计的比例可以被用来使算法聚焦于更合理并且总似然度更好的比例。

在以上描述的补片匹配算法中涉及到的步骤之一涉及到利用图像的固有结构向邻近像素传播在随机搜索阶段中发现的良好匹配。然而，向算法中引入新变换可能使这一阶段略微变复杂，因为简单平移不再使邻近补片相关、由此涉及到变换邻近补片之间的相对偏移。换而言之，按照以下假设来传播良好匹配，该假设为用于给定的目标补片“t”的良好候选是“t”的邻居的当前最佳、最近邻居的偏移。利用统一正面平行变换(即仅平移)，偏移是在“t”与它的邻居之间的差。然而在添加其它类型的变换时，偏移也反映这一点、即旋转的源补片将随它旋转它的邻居。

可以如下解决这一问题。例如，令“T(NNF(x))”是由定义的完全变换，其中“x”和“y”分别是在“x”和“y”方向上的平移，并且是统一比例因子。传播的候选然后如下：

NNF(x-Δp)+T^'(NNF(x-Δp))Δp

其中“Δp”是目标补片及其邻居的位置差。在更简单项中并且在图6中的示例600中所示，向邻居的位置应用目标的变换从而给予从源补片正确偏移和定向的潜在补片、即根据指定的变换来产生源的邻居。应当注意源的邻居继承来自源补片的参数(除了平移之外)中的每个参数。在这一情况下，这意味着也传播比例。计算的比例也可以在传播的平移被用来向候选池添加另一潜在源补片。

统一比例假设在从其绘制的表面与相机正面平行时有效。一旦平面倾斜，平面的更远部分由于在图像获取期间出现的透视弯曲而透视缩短。平面越倾斜，透视缩短就越严重。因而特别是在目标和源补片落在不同倾斜的平面上时不通过统一比例变换对这一透视缩短进行建模。实际上，可以通过非统一比例变换来近似这一透视缩短。这样，可以扩展随机搜索阶段以包括非统一比例变换。

这可以通过将统一比例因子分解成用于不同的轴的两个分离有向比例因子并且将变换空间扩展成来实现。虽然这向搜索空间添加另一维度，但是可以通过在估计统一比例因子时估计水平比例来应用以上描述的先前优化。也就是说，来自水平偏移的相机的视差可以用来估计源与目标补片之间的比例并且确定在该比例周围的合理搜索窗。然后通过随机选择纵横比“θ_xy”并且将它应用于每个候选来为确定竖直比例如下：

φ_y＝θ_xyφ_x

因此，按照先前描述的扩展方法，但是同样使算法聚焦于更合理并且总似然度更好的比例因子。可能纵横比范围可以限于合理值(例如在半个与双倍大小之间)以避免源补片的极端透射缩短。

为了执行目标区域填充，关于将向目标区域中混合哪个源材料做出判决。对于基于补片的技术，这涉及到基于选择的相似度度量选择与空洞中的当前目标补片匹配的源补片，该相似度度量是RGB通道的简单平方差求和(SSD)。在以上讨论中，向相似度度量中引入深度信息(比如图像视差)以允许算法不仅比较潜在源补片的纹理而且也比较它的3D结构。然而如以上描述的那样简单地匹配视差向度量中折叠深度、由此限制算法考虑的深度。

为了解决这一点，在考虑缩放的补片时去除来自相似度度量的绝对深度，但是可以包括比较局部相对深度结构。这可以通过根据在给定的补片的锚点的视差归一化视差或者其它深度信息来实现如下：

d′_n[i]=d_n[i]-d_n[n_anchor]

其中“d_n[i]”是补片“n”在位置“i”的视差，并且“n_anchor”是“n”的锚位置。这将视差变换成相对于它的当前补片锚、由此去除固有深度信息而保留编码的3D结构。包括这作为视差距离度量的部分产生以下表达式：

该表达式比较目标和源补码的相对结构而不使相似深度优先。注意按照或者“t”与“s”之间的水平比例因子缩放“d”。由于视差和深度的反比性，在转换成深度时在更低视差的深度差大于在更高视值的深度差。为了模拟这一行为，按照对两个补片之间的相对比例进行编码的水平比例因子相对于视差缩放目标。

为了更好地理解这一比例因子的直观性并且减少计算，以上可以替换和化简上式如下：

注意锚视差消除、由此留下比较目标视差与相对缩放的源视差。这示出将源补片移向匹配深度作为场景中的目标补片而相对比例相应地调整视差。以这一方式，可以比较相对3D结构而不是3D位置而上至某个比例因子。

在一些实例中，使用补片匹配算法以执行对于任何比例的源补片的有向或者无向搜索可以在所得填充中产生大的平坦或者洗掉区域，关于图16示出这一点的实例1600。如这一实例1600中所示，有沿着填充的左侧的洗掉区域以及沿着填充的顶部的模糊线条。这些在这一实例中均由极端上采样引起、但是在如实例1600中的(b)中所示将惩罚用于这样的极端上采样时不存在。引起这一点可能是因为补片匹配算法使用简单平方距离求和度量以测量在给定的源与目标补片之间的相似度。这一度量虽然在一般意义上为良好测量、但是无实际纹理概念。因此，在具有更多色变化的相似纹理化的源补片内选择颜色与更少纹理化的目标补片的平均颜色接近的平坦源补片从而驱使解具有(可能较不吸引人的)大的平坦区域。

可以如图17的示例1700中示范的那样通过挑选然后上采样的缩放的源补片来人工地引入可以在图像中存在的这些平坦源区域。在上采样或者放大时，离散数字信号(比如数字照片)、高频信息丢失。这一技术在应用于数字图像时造成模糊纹理。这在任何照片查看应用中查看小分辨率照片而放大一直开启时是明显的。如果源被足够上采样，则即使最多纹理化的区域的补片也将变得平坦而无特征。这是在补片匹配算法尝试从很小比例绘制时发生的情况。

为了解决这一挑战，算法可以被配置用于向从非缩放和下采样的补片绘制给予优先。这可以通过在距离度量中包括附加成本项来实现如下：

Dist(s，t)＝Dist_rgb(s，t)+λ_dDist_d(s，t)+λ_ccost(φ_x，φ_y)

其中“Dist(s，t)”是在指定的通道之间的平方差求和，“λ”是用于指定的项的比例因子，并且知分别是在“x”和“y”方向上在补片“s”与“t”之间的有向比例因子。的值可以如下被定义：

其中是最大允许的上采样因子。以这一方式，不允许并且与在接受的范围内的任何上采样因子比较按照指数比例惩罚的、具有比最大允许的比例因子更大的上采样因子的任何补片。这允许算法仍然从未采样的补片绘制、但是对于未缩放、下采样和仅略微上采样的补片优先构建。

所得填充的略微色变化可以比连续边缘的间断更少可察觉。为了解决这一点，也可以比较在潜在源补片内的梯度与在它们的相应目标补片内的梯度。这通过扩展距离度量以包括比较梯度来实现如下：

其中是补片“s”和“t”的梯度的平方差求和，并且“λg”控制向这一梯度 项给予的权重，将这一梯度项与距离度量相加提高局部描述符的高频。换而言之，取代在测 量纹理相似度时简单地匹配颜色，还匹配纹理中的边缘以及纹理的变化。因此，在目标区域 中的边缘可以与匹配高频内容一起更好地补全。

示例变换

使被用来自以上的符号表示，令“S_L”和“S_R”分别表示左和右图像中的源区域，并且相似地，令“T_L”和“T_R”表示相应目标区域。也令“C_LR(t)”表示从以(x，y)为中心的补片“t_L∈T_L”到以“(x-D_L(x，y)，y)”为中心的对应补片“t_R∈T_R”的映射。相似地，令“C_RL(t)”表示从以(x，y)为中心的补片“t_R∈T_R”到以“(x+D_R(x，y)，y)”为中心的对应补片“t_L∈T_L”的映射。为了简化进一步符号表示，“C(t)”在以下讨论中被用来表示在另一图像中的立体对应补片，从而分别地，“C(t)＝C_LR(t)”用于左图像中的补片，并且“C(t)＝C_RL(t)”用于右图像中的补片。

在以上讨论中，定义立体填充相干性的优化为以下目标函数的最小化：

其中：

其中“W”是弯曲(即变换)集合，“w_st”是从源补片到目标补片的弯曲，并且“w_st(s)”是基于源补片“s”和目标补片“r”的相对几何性、使用弯曲“w_st”而弯曲的采样的源补片。弯曲集合可以包括身份变换(用于相同深度的正面平行补片)、缩放(用于不同深度的正面平行补片)和一般化单应性(用于倾斜的平面补片)。

在以上表达式中的”cost(w_st)”偏指使用特定形式的弯曲。例如，

贴片匹配算法可以如先前描述的那样较上采样的源补片而言偏向于选择下采样的源补片。相似地，也可以惩罚如下弯曲的使用，这些弯曲涉及到补片的极端变形。立体相干性项已经改变成并入在两个视图之间的潜在透视缩短。这通过以与如何通过在目标补片“t”迭代并且添加在该像素处的视差来采样源补片相似的方式采样“C(t)”来补全。由于目标函数除了弯曲源补片之外保持相同，所以算法可以类似地除了相似地并入这些弯曲的源补片之外保持相同。也就是说，更新NNF、然后混合补片的基本能量/量值策略可以保持相同。

源补片采样

与以上描述的补片匹配算法相似，可以在目标区域中匹配直立矩形(例如方形)补片与源区域中的变换的补片。使用以上补片匹配算法的符号表示，令“f：R²→R²”使用绝对坐标来表示最近邻居域。

在具有中心(或者拐角等)“t_c”的目标补片“t”和具有中心(或者拐角等)“s_c”的源补片“s”给定时，令“w_st”表示如下几何变换，将将向目标补片“t”应用该几何变换以正确匹配源补片“s”中的像素，其中给定包围“t_c”和“s_c”的邻域之间的已知相对三维几何。注意“w_st”不包括在源与目标位置之间的平移、但是实际上仅包括相对局部几何变换。

为了比较补片，可以通过在直线补片“t”内迭代、根据逆变换“w_st ^-1”计算源补片中的对应位置并且对图像在该位置的值进行插值来运用对向后弯曲算法的变化，如下：

使用拐角作为用于补片的基准点：

s_c←f(t_c)

d(w_st(s)，t)←0

或者向“t”中的像素的所有偏移“Δp”执行：

v_t＝I(t_c+Δp)

d(w_st(s)，t)←d(w_st(s)，t)+||v_t-v_s||²

结束

与以上补片匹配算法一样，一旦“d(w_st(s)，t)”增长超过当前最佳匹配的“d(w_st(s)，t)”就可以使这一采样取捷径。可以对于当前最佳匹配高速缓存图像值“v_s”(即“w_st(s)”)集合以避免在混合期间的重新计算。

一般化单应性弯曲

同样使用以上符号表示，可以根据从源补片在其上出现的三维平面到目标补片在其上出现的三维平面的单应性映射来弯曲源补片。

其中“H_t”是将目标补片从它落在其上的假设平面向相机的成像平面弯曲的单应性，并且“H_s”是用于源补片的相似构造的单应性。下式给定这一单应性的逆单应性，该逆单应性将目标补片坐标映射到用于逆弯曲的对应源目标坐标。

可以通过首先补偿用于补片的(在位置“t_c”和”s_c-f(t)”中考虑的)绝对位置来分离出这些绝对位置。令“T_tc”是从目标补片位置“t_c”到原点的平移矩阵(即平移了“-t_c”)，并且相似地令“T_sc”是从源补片位置“s_c”到原点的平移矩阵(即平移了“-s_c”)。用于采样源补片的逆弯曲然后由下式给定：

直观的是在目标补片中迭代编索引的偏移。应用以上变换表达式，使用将目标补片索引位置变换成绝对图像坐标，应用逆弯曲以从绝对图像坐标向对应成像的表面上的本地平面坐标弯曲。应用前向弯曲“H_s”以从成像的表面上的本地平面坐标弯曲以对应于源补片的绝对图像坐标。然后使用“T_sc”将源补片的绝对图像坐标平移回到源补片内的锚相对位置。

可以计算单应性“H_t”和“H_s”如下。为了计算将(存在于二维图像坐标中的)补片映射到在图像表面的平面上的对应二维平面坐标的单应性，定义如下。令“p＝(x，y)”是像素在图像中的位置并且“P＝(P_x，P_y，P_z)”是在该像素位置所见的点的三维位置。“P”由以下表达式给定：

其中“b”是相机基线间距，“f”是相机的焦距，“h”是在相机的图像平面上的像素采样密度，并且“D(x，y)”同样是在位置(x，y)的视差。可以进行假设光轴在图像的中心“x_c，y_c”并且像素纵横比为一。

令“N(p)”是使用向在点“p”周围的局部邻居——即在该点周围的二维图像邻居中所见点的三维坐标——的加权最小平方拟合而计算的平面的与在该点所见估计法线。这些点的权重基于在邻居与该点之间的空间接近度和视差(以及可能是彩色)相似度。令“R”基于局部平面坐标和与平面“N”的法线表示从平面到相机的旋转矩阵如下：

R＝[e₁ e₂ e₃]

可以注意如果记这些矢量为“R”的行，则从相机到平面的现实旋转可以用从平面到相机的旋转的这一旋转的逆(转置)旋转来获得。值“e₃＝-N”和旋转矩阵的其它两个方向除了与“N”正交之外不受约束。这与虚拟相机的平面内旋转相似。“e₂”的值可以被定义为由在目标和源点的法线之间的重新归一化的叉积定义的“铰接”法线。按照正交构造，“e₁＝e₂xe₃”。由于焦距、像素密度或者基线间距未知，所以法线的相对“z”分量正确上至未知比例性常数“b f h”。

可以构造从“p”的成像的位置(x，y)到在“0”的局部平面表面映射的单应性如下：

其中“r_ij”是“R”的“第i、j个”元素。这一构造可以被用来通过使用“p＝s_c”来计算“H_s”并且相似地通过使用“p＝t_c”来计算“H_t”。

可以通过替换来自以上表达式的“P”来扩展以上表达式，乘积“fh”在矩阵“H”的除了最低行的前两个元素之外的每个元素中出现。具体而言，进行这一替换并且提出因子“fh”给出：

因此，随着乘积“fh”变得合理地大，如用典型相机配置所做的那样，所得单应性变成接近仿射，如同一个单应性的组成与另一单应性的组成相逆一样。将所得组成“H”用它的仿射近似来近似可以被用来产生与完全投影单应性相似的结果。

对于缩放和一般化单应性二者，可以仅基于如通过对应性视差确定的场景几何来确定变换。因而不同于以上补片匹配算法，可以避免在参数空间内的大量搜索。然而执行使用上两个章节的方式而确定的初始变换的局部精化仍然可以是有用的。这可以使用在这些变换的参数周围的范围的随机采样(或者如果足够小则均匀)来完成。

对于缩放，可以探索缩放比，并且允许非方形纵横比以及独立精化水平和竖直缩放也可以是有用的。这可以被用来处理沿着水平和/或竖直后退平面的略微透视缩短而增加在使用一般化单应性时的稳健性。对于一般化单应性，八个自由参数中的每个自由参数无需视为独立。由于基于表面法线计算单应性，所以可以调整这些可能法线。另外，保持目标补片的法线固定并且探索用于源补片的空间发现可以就足够了。同样对于这些变换二者，可以对于与原始估计接近的参数空间而不是可能参数/变换的完全空间执行搜索。

如以上所言，被用来在透视投影之下将源映射到目标补片的单应性可以由给定的仿射变换接近地近似。这提示如果使用场景几何来接近地比例参数，则也可以通过迭代(梯度下降)精化来发现其它参数的集合。

为了执行迭代精化，首先初始化变换矩阵“A”，从而可以表达“”如下：

可以通过考虑这里和在以上一般化补片匹配算法中二者如何执行NNF传播来以与内容感知填充相似的方式执行空间相干性加权。在普通内容认知填充中，通过对如下邻居“c”的数目进行计数来执行空间相干性加权，这些邻居的NNF条目与“t_c”的NNF条目加上“t_c”与该邻居之间的偏移匹配。然后将单调递增函数“F(c)”应用于它，这可以表达如下：

其中“δ(x)”是迪拉克增量(Dirac delta)函数，其中如果“x＝0”则“δ(x)＝1”，否则为“0”。扩展这一点以支持使用弯曲的补片可以表达如下：

注意如果“w_st”是身份变换并且用“δ”替换负指数，则用于弯曲的补片的上式化简成不弯曲示例。

在目标区域填充中包括变换的示例结果

分别在图18-25的示例1800、1900、2000、2100、2200、2300、2400、2500中示出以上变换表达式的结果的示例。如图18中所示，图示图14和17中所示去除书本的结果，这些结果包括再现在书本下面的木材颗粒。注意在适当缩放纹理之时跟随木材颗粒的方向从而提供信服结果。如图18中所示，也比较示出不包括变换的结果。

补片匹配算法虽然不以立体一致方式补全两个图像、但是正确跟随纹理的方向。这是因为它可以从在蒙版以外的源补片自由地绘制。然而它无深度或者缩放概念、因此例如从更远补片复制更小比例的纹理，这在不重新缩放时在目标区域中看来错位。

在相反极端，以上描述的算法在无变换(例如缩放)时——仅使被用来自与相应目标补片相同的深度的未缩放补片——产生适当缩放的纹理。然而优选在与相应目标补片相同的深度的源补片减少用于算法从其绘制的可能源补片并且减少结果的合理性。在这一情况下，由于待填充的平面竖直地后退，所以算法从源区域向目标的左和右侧绘制相同深度的补片。由于这些区域有限，所以这造成这些有限纹理在填充的区域中的不合需要的大量重复。然而对于允许搜寻和混合源补片的变换示例，可以适当缩放补片以与目标区域的深度匹配，这可以克服这些其它限制。

图17中的在“c”的可视化示出向目标区域中混合的源补片的相对比例。这里深灰指示上采样，浅灰指示下采样，并且中等灰(值为128)指示无采样。关于在可视化中呈现的比例将注意若干事项。第一，算法从它可以的相同比例(比如在目标区域的左侧)绘制。第二，从目标区域的边缘移向它的中心一般增加上或者下采样数量。

由于图像为平面并且在斜面上，所以朝着目标区域的中心的目标补片具有从在边缘的目标补片(尤其与倾斜方向平行)越来越发散。由于在用于算法从其绘制的相同深度(即在目标区域的左和右侧)有很少到无纹理，所以它被迫从不同深度从缩放增加的纹理绘制。也注意算法具体在目标区域的中心比上采样有更多下采样。这归因于使用优先避免模糊或者洗掉的结果。因此，算法沿着目标区域的其中相对比例接近一的顶部边缘上采样纹理从而引起略微惩罚。最后，补片匹配算法的性质简单地引起补片状态、即缺乏比例平滑过渡。在搜索阶段中向邻居传播良好匹配时传递平移和比例二者。

在图19的示例1900中，沿着大砖墙壁去除窗。注意墙壁的纹理具有强方向和强图案二者。此外，由于图像的透视，砖的水平线条从左向右发散，因此有用于算法从其绘制的正确定向的受限纹理。无论如何，变换技术可以被用来以视觉上合意的方式补全纹理而砖的直线有略微弯曲。

同样，在选项“d”的补片匹配算法和在选项“e”的来自以上的深度受限算法二者在这一示例中也不执行。补片匹配算法(同前)跟随纹理的方向、但是同样遭受不能缩放纹理以更好地与目标区域相配。这样，它尝试合并大的源材料区域而每个区域具有纹理的线条的略微不同定向和间隔。

深度受限算法相当更好，因为它紧接在目标区域周围具有从其绘制的充足源材料。然而由于纹理的发散性质，它具有正确定向的很少到没有源材料。这样，有在如下边界上引入的若干不连续和略微弯曲走样，它在这些边界上混合更大的源材料区域(参见目标区域的右侧)。也注意目标区域的左上部。由于算法受深度限制，所以它没有不比恰在目标区域上方的源材料更好的从其绘制的相似颜色的源材料。这驱使算法继续向填充的区域中向下继续竖线条从而造成有限纹理向填充的区域中的大量重复。同样由于扩展以上描述的变换技术以搜寻和混合被缩放以与目标区域的深度匹配的源补片，所以可以克服这些其它限制。

在图20的示例2000中，使用以上描述的涂鸦去除模式来去除砖墙壁上的阴影。注意这一图像集合具有待补全的区域中的比先前示例更严重的散发线条。也注意纹理的高频。这两个方面使这成为难以补全的图像。具体而言，后一方面使填充中的任何不一致直接地对于查看者明显。也就是说，变换技术产生良好结果，该结果具有朝着目标区域的顶部的略微弯曲。

对于这一示例，在选项“d”的补片匹配和在选项“e”的深度受限算法二者难以解决墙壁上的砖纹理的强有向发散性质。具体而言，二者向并非正确定向的目标区域中绘制纹理从而在砖图案中引起可见弯曲和不一致、即线条中的间断。对于补片匹配算法，这是因为它未适当缩放源补片。对于深度受限算法，这是因为它没有如下纹理，这些纹理具有正确定向，该定向具有与目标区域相似的深度。变换技术更好地能够通过从图像的不同区域绘制并且适当缩放来自这些区域的纹理来处理纹理的强有向发散性质。

图21和22的示例2100、2200示出变换技术的附加结果。在图21中，去除订书机并且在下面补全纹理。在图22中，从图像的最前部去除扩散和金属球。这两个结果较好而在目标区域中仅有略微不一致或者弯曲。然而这些结果包括较其它技术而言的略微改进，因为在相同深度或者周围有用于从其绘制的大量内容。

图23、24和25示出用变换运行的从深度受限算法绘制的示例2300、2400、2500。在这些示例中，分别去除植物、篮框和泰迪熊。如在每幅图的比较中所示，变换技术产生如果非更好则至少与深度受限算法一样好的结果(c)，因为引入深度适当缩放的源补片不限制变换技术绘制未缩放源补片。

应当注意在图24的泰迪熊示例2400中，以比在来自在选项“b”的深度受限算法的结果中更视觉合意的方式再现鸟舍上的屋顶的结构。在视差图中的略微模糊造成初始不良补全，这允许深度受限算法继续鸟舍的屋顶。由于变换技术不深度受限，所以这些技术不像在视差图中的模糊一样脆弱并且这样不在视差图的限制以外继续乌舍的屋顶。

也应当注意在距离度量中添加梯度项已经驱使其它附加改进中的一些改进。具体而言，这在图23和24中是明显的。在图23中，在去除植物时，屋顶的线条沿着谷仓的前面示出更好补全。在图25中，在去除篮框时，通过继续在屋顶的亮与暗部分之间的线条来补全屋顶纹理，而其它结果未补全。

这一讨论描述如下技术，这些技术可以用来扩展深度受限、正面平行、立体认知、补片匹配算法以能够搜寻和混合被适当缩放以与目标区域的深度匹配的源补片。向距离度量引入成本项以向非缩放和下采样的源补片给予优先以及并入基于梯度的距离项以更好地补全目标区域中的边缘。这些扩展的结果仍然示范补全的区域的立体一致性以及扩展算法可以用视觉合意方式补全的图像类。

在以上示例中，假设补片面向前。这可以限制算法的用于在从场景中的其它非平行平面绘制时准确地再现平面上的纹理的能力。然而由于可以确定立体图像中的场景的相对3D结构(上至某个未知比例因子)，所以可以近似场景中的表面的法线。这些法线让它们本身适用于计算补片到补片单应性变换并且可以被用来进一步扩展算法可以从其绘制的潜在源图片。这一扩展的示例可以涉及到变换在大楼的一侧上的纹理(根据场景的3D结构)以与在另一侧(即大楼的拐角)上的目标区域相配。

示例过程

以下讨论可以利用先前描述的系统和设备来实施的目标区域填充技术的示例过程。可以在硬件、固件或者软件或者其组合中实施过程中的每个过程的方面。过程被示出为对一个或者多个设备执行的操作进行指定的块集合而不必限于示出的用于相应块执行操作的顺序。在以下讨论的部分中，将参照图1-7和9-24。

图7描绘一个示例实现方式中的过程700，在该过程中，使用视差以指导将被用来填充图像的目标区域的至少一部分的变换。标识将被用来填充场景的图像中的目标区域的补片(块702)。例如，可以在图像中执行搜索寻找如以上描述的可以被用来填充目标区域的部分、比如通过对象去除而形成的空洞的源补片。

使用场景的深度信息来指导将向补片应用的变换(块704)。可以运用多种不同变换、比如可以包括向上和向下的缩放。也可以如以上描述的那样执行统一和非统一缩放。

使用经变换的补片来填充图像中的目标区域的至少一部分(块706)。经变换的补片如图16-25中所示因此可以具有被缩放以与目标区域的比例近似的纹理、由此以视觉合意方式补全目标区域。

图8描绘一个示例实现方式中的过程800，在该过程中使用视差以指导将被用来填充图像的目标区域的至少一部分的变换。使用根据立体图像计算的视差来计算场景的深度信息(块802)。如以上所言，可以利用视差以计算可被用来标识场景的三维结构的深度信息。

使用至少部分基于计算的深度信息变换的补片来填充立体图像中的一个或者多个立体图像中的目标区域的至少一部分(块804)。可以例如利用深度信息以计算可以包括非统一比例的比例，从而解决图像中的对象的透视缩短。也设想多种其它示例而不脱离其精神实质和范围。

示例系统和设备

图26主要在2600图示示例系统，该示例系统包括代表可以实施这里描述的各种技术的一个或者多个计算系统和/或设备的示例计算设备2602。通过包括图像处理模块118来图示这一点，该图像处理模块可以被配置用于处理图像数据(比如由图像捕获设备104捕获的图像数据)。计算设备2602可以例如是服务器提供商的服务器、与客户端关联的设备(例如客户端设备)、片上系统和/或任何其它适当计算设备或者计算系统。

示例计算设备2602如图所示包括相互通信地耦合的处理系统2604、一个或者多个计算机可读介质2606和一个或者多个I/O接口2608。虽然未示出，但是计算设备2602还可以包括相互耦合各种部件的系统总线或者其它数据和命令传送系统。系统总线可以包括不同总线结构、比如存储器总线或者存储器控制器、外围总线、通用串行总线和/或利用多种总线架构中的任何总线架构的处理器或者本地总线中的任何总线结构或者组合。也设想多种其它示例、比如控制和数据线。

处理系统2604代表用于使用硬件来执行一个或者多个操作的功能。因而图示处理系统2604为包括可以配置为处理器、功能块等的硬件单元2610。这可以包括在硬件、比如专用集成电路或者使用一个或者多个半导体而形成的其它逻辑器件中实施。硬件单元2610不受形成它们的材料或者其中运用的处理机制限制。例如，处理器可以包括半导体和/或晶体管(例如电子集成电路(IC))。在这样的上下文中，处理器可执行指令可以是电子可执行指令。

图示计算机可读存储介质2606为包括存储器/存储装置2612。存储器/存储装置2612代表与一个或者多个计算机可读介质关联的存储器/存储容量。存储器/存储装置2612可以包括易失性介质(比如随机存取存储器(RAM))和/或非易失性介质(比如只读存储器(ROM)、闪速存储器、光盘、磁盘等)。存储器/存储装置2612可以包括固定介质(例如RAM、ROM、固定硬驱动等)以及可拆卸介质(例如闪速存储器、可拆卸硬驱动、光盘等)。可以用如以下进一步描述的多种其它方式配置计算机可读介质2606。

输入/输出接口2608代表用于允许用户向计算设备2602录入命令和信息并且也允许向用户呈现信息的功能和/或使用各种输入/输出设备的其它部件或者设备。输入设备的示例包括键盘、光标控制设备(例如鼠标)、麦克风、扫描仪、触摸功能(例如被配置用于检测物理触摸的电容式或者其它传感器)、相机(例如该相机可以运用可见光或者不可见光波长(比如红外线频率)以将移动识别为不涉及到触摸的手势)等。输出设备的示例包括显示设备(例如监视器或者投影仪)、扬声器、打印机、网卡、触觉-响应设备等。因此，可以用如以下进一步描述的多种方式配置计算设备2602以支持用户交互。

这里可以在软件、硬件单元或者程序模块的一般背景中描述各种技术。一般而言，这样的模块包括执行特定任务或者实施特定抽象数据类型的例程、程序、对象、单元、部件、数据结构等。如这里所用术语“模块”、“功能”和“部件”一般代表软件、固件、硬件或者其组合。这里描述的技术的特征独立于平台，这意味着可以在具有多种处理器的多种商用计算平台上实施技术。

可以在某个形式的计算机可读介质上存储或者跨该计算机可读介质传输描述的模块和技术的一个实施例。计算机可读介质可以包括计算设备2602可以访问的多种介质。举例而言而无限制，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。

“计算机可读存储介质”可以是指与仅信号传输、载波或者信号本身对照实现持久和/或非瞬态存储信息的介质和/或设备。因此，计算机可读存储不包括信号本身或者信号承载介质。计算机可读存储介质包括硬件、比如在适合用于存储信息、比如计算机可读指令、数据结构、程序模块、逻辑元件/电路或者其它数据的方法或者技术中实施的易失性和非易失性、可拆卸和非可拆卸介质和/或存储设备。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪速存储器或者其它存储器技术、CD-ROM、数字万用盘(DVD)或者其它光存储、硬盘、磁盒、磁带、磁盘存储装置或者其它磁存储设备或者适合被用来存储希望的信息并且可以由计算机访问的其它存储设备、有形介质或者制造品。

“计算机可读信号介质”是指被配置用于比如经由网络向计算设备2602的硬件传输指令的信号承载介质。信号介质通常可以在调制的数据信号、比如载波、数据信号或者其它传送机制中体现计算机可读指令、数据结构、程序模块或者其它数据。信号介质还包括任何信息递送介质。术语“调制的数据信号”意味着如下信号，该信号让它的特性中的一个或者多个特性以对信号中的信息进行编码这样的方式来设置或者改变。举例而言而非限制，通信介质包括有线介质如有线网络或者直接有线连接和无线介质如声学、RF、红外线和其它无线介质。

如先前描述的那样，硬件单元2610和计算机可读介质2606代表以如下硬件形式实施的模块、可编程逻辑器件和/或固定器件逻辑，可以在一些实施例中运用该硬件形式以实施这里描述的技术的至少一些方面、比如执行一个或者多个指令。硬件可以包括集成电路或者片上系统的部件、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)和在硅或者其它硬件中的其它实现方式。在本文中，硬件可以作为处理设备操作，该处理设备执行指令定义的程序任务和/或硬件体现的逻辑以及被用来存储用于执行的指令的硬件、例如先前描述的计算机可读存储介质。

可以运用前述各项的组合以实施这里描述的各种技术。因而可以实施软件、硬件或者可执行模块为在某个形式的计算机可读存储介质上和/或由一个或者多个硬件单元2610体现的一个或者多个指令和/或逻辑。计算设备2602可以被配置用于实施与软件和/或硬件模块对应的特定指令和/或功能。因而，可以至少部分在硬件中、例如通过使用计算机可读存储介质和/或处理系统2604的硬件单元2610来实现作为软件可由计算设备2602执行的模块的实现方式。指令和/或功能可由一个或者多个制造品(例如一个或者多个计算设备2602和/或处理系统2604)可执行/可操作以实施这里描述的技术、模块和示例。

这里描述的技术可以由计算设备2602的各种配置支持而不限于这里描述的技术的具体示例。也可以全部或者部分通过使用分布式系统、比如如以下描述的那样经由平台2616通过“云端”2614实施这一功能。

云端2614包括和/或代表用于资源2618的平台2616。平台2616抽象化云端2614的硬件(例如服务器)和软件资源的下层功能。资源2618可以包括可以在从计算设备2602远离的服务器上执行计算机处理之时利用的应用和/或数据。资源2618也可以包括通过因特网和/或通过用户网络、比如蜂窝或者Wi-Fi网络提供的服务。

平台2616可以抽象化用于连接计算设备2602与其它计算设备的资源和功能。平台2616也可以服务于抽象化资源伸缩以提供与对于经由平台2616实施的资源2618的所遇需求对应的规模级别。因而在一个互连设备实施例中，可以遍布系统2600分布这里描述的功能的实现方式。例如，可以部分在计算设备2602上以及经由抽象化云端2614的功能的平台2616实施功能。

结论

虽然已经用结构特征和/或方法动作特有的言语描述本发明，但是将理解在所附权利要求中定义的本发明不必限于描述的具体特征或者动作。实际上，公开具体特征和动作作为实施要求保护的本发明的示例形式。

Claims (17)

1.一种由一个或者多个计算设备实施的方法，所述方法包括：

标识将被用来填充场景的图像中的目标区域的补片；

使用所述场景的深度信息来向所述补片应用一个或多个变换，所述变换包括根据单应性执行弯曲；以及

使用经变换的所述补片来填充所述图像中的所述目标区域的至少一部分；

其中所述单应性将源补片在其上出现的三维平面映射到将被用来填充所述目标区域的所述补片在其上出现的三维平面。

2.如权利要求1所述的方法，其中所述深度信息使用根据包括所述图像的立体图像对计算的视差信息来获得。

3.如权利要求1所述的方法，其中所述深度信息从一个或者多个深度传感器获得。

4.如权利要求1所述的方法，其中所述标识被执行以相比于将被向上缩放的补片而言向将被向下缩放或者非缩放的补片给予优先。

5.如权利要求1所述的方法，其中所述标识至少部分基于所述场景的所述深度信息。

6.如权利要求1所述的方法，其中所述标识至少部分基于纹理使用相似度度量来执行。

7.如权利要求1所述的方法，其中所述应用包括使用根据所述场景的所述深度信息计算的三维结构。

8.如权利要求1所述的方法，其中所述标识包括比较源补片的梯度与在被用来填充所述目标区域的相应目标补片内的梯度。

9.如权利要求1所述的方法，其中所述补片的所述变换包括缩放。

10.如权利要求9所述的方法，其中所述缩放被执行，从而恒定缩放变换在x和y方向上不同地缩放。

11.如权利要求9所述的方法，其中所述缩放在x和y方向上是统一的。

12.如权利要求9所述的方法，其中所述缩放被配置用于解决沿着所述图像的平面的透视缩短。

13.如权利要求9所述的方法，其中所述缩放通过使用所述补片与所述目标区域之间的视差比来执行。

14.一种系统，包括：

至少部分在硬件中实施的至少一个模块，所述至少一个模块被配置用于使用根据立体图像计算的视差来计算场景的深度信息；

至少部分在硬件中实施的一个或者多个模块，所述一个或者多个模块被配置用于使用至少部分基于计算的所述深度信息变换的补片来填充所述立体图像中的一个或者多个立体图像中的目标区域的至少一部分；

其中所述变换包括根据单应性执行弯曲，所述单应性将源补片在其上出现的三维平面映射到将被用来填充所述目标区域的所述补片在其上出现的三维平面。

15.如权利要求14所述的系统，其中所述补片使用包括统一或者非统一缩放的缩放来变换。

16.一种或者多种计算机可读存储介质，包括在其上存储的指令，所述指令响应于由一个或者多个计算设备执行而使所述一个或者多个计算设备执行操作，所述操作包括：

使用场景的深度信息来向补片应用变换，所述变换包括根据单应性执行弯曲；以及

使用经变换的所述补片来填充所述场景的图像中的目标区域的至少一部分；

其中所述单应性将源补片在其上出现的三维平面映射到将被用来填充所述目标区域的所述补片在其上出现的三维平面。

17.如权利要求16所述的一种或者多种计算机可读存储介质，其中所述变换包括缩放、旋转或者切变。