CN102521808B - 用于对变换不变低秩纹理的稳健恢复的方法和系统 - Google Patents

Abstract

被称为“TILT提取器”的“变换不变低秩纹理”(TILT)提取器从场景的2D图像准确且稳健地提取定义低秩平面图案的纹理和几何信息两者，由此实现大范围图像处理应用。与依赖于基于点的特征的常规特征提取技术不同，TILT提取器从图像提取纹理区域并以3D方式推导对这些区域的全局相关或变换(例如，变换包括平移、旋转、反射、扭斜、缩放等)。这些图像域变换固有地提供与自动可确定的相机查看方向有关的信息。换言之，TILT提取器提取低秩区域和描述这些区域关于任意相机视点的域变换的几何关系。TILT提取器还标识由噪声、遮挡物或其他伪像导致的图像强度或其他色彩通道中的稀疏误差，由此允许消除或减少图像中的此类误差。

Description

用于对变换不变低秩纹理的稳健恢复的方法和系统

技术领域：

本文中所描述的“变换不变低秩纹理”（TILT）提取器从场景的2D图像准确且稳健地提取定义低秩平面图案的纹理和几何信息两者，由此实现大范围图像处理应用。 

背景技术

计算机视觉中的一个基本问题是标识图像中的特定特征点或突出区域。这些点和区域是诸如3D重构、对象识别、场景理解等等之类的几乎所有高层视觉任务的基本构建块。数年中，已在计算机视觉著作中提出了大量方法，用于提取各种类型的特征点或突出区域。检测到的点或区域通常表示图像中具有特定的特殊几何或统计数据特性的各部分，这些特性诸如有Canny边缘、Harris角落、纹理基元等。 

由于图像中的特殊点或区域常常被用来在不同图像上建立对应性或测量相似度，因此期望它们具有在因视点或或照明的变化而引发的变换下相当稳定或不变的特性。在过去十年中，在著作中已提出、研究、比较和调整数种所谓“不变”特征或描述符。代表性且被广泛使用的特征类型是“比例不变特征变换”（SIFT），其在很大程度上对于旋转和缩放（即，相似性变换）和照明的改变是不变的。 

遗憾地是，如果图像进行显著仿射变换（例如，透视变换），则基于SIFT的技术常常无法建立可靠的对应性，而其仿射不变版本成为更合适的选择。然而，虽然远处小曲片（patch）的变形可通过仿射变换来良好地近似，但是替代地使用投影变换来描述由透视相机看到的大区域的变形。结果，当前技术被认为不提供在投影变换（即，单应性）下确实不变（或者甚至近似不变）的特征或描述符。尽管过去数十年中花费了巨大努力以寻求图像中的更好且更丰富的不变特征类，这似乎是一个现有方法都不能够完全解决的问题。因此，在当前 视觉著作中提出的众多“不变”图像特征（包括以上提及的那些）充其量是近似不变，且常常仅是在有限的程度上。 

例如，考虑通过改变相机视点而在图像域上引发的、以及通过改变对比度或照明而在图像强度上引发的典型的变形类，在严格数学意义上，2D图像的不变量是极度稀疏且稀有的——本质上，仅有图像函数的极值拓扑保持不变。这已被称为“属性化Reeb树”（ART）。 

另一方面，3D场景通常具有丰富的规则结构，这些结构充满不变量（相对于3D欧几里德变换）。例如，在许多城市环境中，场景通常充满人造物体，这些人造物体可能具有平行线、直角、规则形状、对称结构、重复图案等。所有这些几何结构具有丰富的在3D欧几里德群的所有类型的子群下不变的属性。结果，此类3D场景的3D（仿射或透视）图像通常编码与场景中的物体有关的极其丰富的3D信息。遗憾的是，现有特征提取技术通常不能很好地处理此信息，尤其是在透视变换的情形中。 

发明内容

提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。 

一般而言，如本文中所描述的“变换不变低秩纹理”（TILT）提取器提供了这样的技术：用于从场景的2D图像高效且有效地提取表示3D场景的区域的一类丰富的低秩纹理，而不用考虑相当量且并发的域变换（包括仿射和投影变换两者）。此类域变换的示例包括但不限于平移、旋转、反射、扭斜、缩放等。由TILT提取器提供的低秩纹理对于捕捉图像中在几何上有意义的结构是有用的，该图像包括常规局部特征，诸如边缘和角落以及城市环境中以及对其他自然或人造物体普遍存在的所有种类的近似规则或近似对称的图案。注意，如线性代数和矩阵数学领域的技术人员充分理解的，线性映射（在此情形中对应于输出纹理）的秩是线性映射的维数，该维数与映射的非零奇异值的数目相对应。 

换言之，TILT提取器从场景的2D图像提取定义低秩平坦图案的区域的 纹理和几何信息。与依赖于基于点的特征的传统特征提取技术相比，TILT提取器从图像提取多个区域，并且以3D方式相对于任意但可自动确定的相机视点（或观看方向）推导对这些区域的全局相关或变换（例如，变换包括平移、旋转、反射、偏斜、缩放等）。一般而言，通过处理图像的窗口以标识所提取的区域来标识这些区域。在各个所测试的实施例中，可观察到，窗口大小的最小值大小大约为20×20个像素的窗口产生良好结果。然而，应当理解，如以下更详细讨论的，窗口大小可取决于多个因素，包括例如整个图像大小、以及该图像内纹理区域的大小。 

更具体地，TILT提取器能够通过使实现对高维低秩矩阵的稳健恢复而不用考虑总稀疏误差的凸优化技术适应于本文中所描述的图像处理技术来找到并提取低秩纹理。通过使这些矩阵优化技术适应于本文中所描述的图像处理操作，即使对于具有显著投影变形的图像区域，TILT提取器也能够从单个图像准确地恢复本征低秩纹理以及精确的域变换。TILT提取器直接应用于任意大小的、其中有某些近似规则结构的图像区域，即使在显著变换、图像损坏、噪声和部分遮挡的情形中亦是如此。对TILT提取器的各个实施例的广泛实验性测试已证明，TILT提取器在定位和提取许多接近规则的、近似低秩的图案或对象——诸如比方人脸、文本、建筑物立面、汽车、植物树叶、花朵等——方面的有效性。 

TILT提取器通过对图像的实际变形（例如，域变换）进行有效的基于窗口的搜索以便将图像分解成低秩分量和同图像强度（或其他图像色彩通道）有关的稀疏误差分量来在图像中寻找低秩纹理。TILT提取器经由使用用于从图像的稀疏表示恢复低秩纹理的凸优化技术通过将遭受某些稀疏误差的原始图像的未经变形（即，未经变换）的版本的秩最小化来寻找最优域变换。 

注意，可从诸如比方高层建筑物的立面上的多个窗口等单个图像提取大量低秩纹理。还注意，本文中所描述的纹理提取技术中固有的调整过程提供了对特定域变换（平移、旋转、反射、扭斜、缩放等）的测量，这些特定域变换可用于构造在3D场景的特定图像中标识的低秩纹理。结果，由TILT提取器提取的区域具有相关联的几何信息，这些信息可用于调整那些区域，或者相对于那些区域以及相对于作为整体的输入图像而言，实现各种各样的图像处理应 用。 

鉴于以上概述，清楚的是，本文中所描述的TILT提取器提供了用于从图像提取低秩纹理以及相对应的域变换信息的各种独特的技术。除了刚才所描述的好处之外，从结合附图所考虑的以下详细描述中将清楚该TILT提取器的其它优点。 

附图说明

参考以下描述、所附权利要求书以及附图，将更好地理解所要求保护的主题的具体特征、方面和优点，附图中： 

图1提供了一示例性体系结构流程图，其图解如本文中所描述的用于使用“TILT提取器”从场景的2D图像准确且稳健地提取定义低秩平面图案的区域的纹理和几何信息两者的程序模块。 

图2图解了如本文中所描述的具有简单斜坡的输入图像的示例，该输入图像在由TILT提取器进行处理之后得到低秩纹理区域输出。 

图3图解了如本文中所描述的从倾斜观看方向捕捉的具有简单角落区域的输入图像的示例，该输入图像在由TILT提取器进行处理之后得到低秩纹理区域输出。 

图4图解了如本文中所描述的从高秩输入图像提取低秩纹理区域的示例。 

图5图解了如本文中所描述的从高秩输入图像提取低秩纹理区域的示例。 

图6图解了如本文中所描述的从高秩输入图像提取低秩纹理区域的示例。 

图7图解了如本文中所描述的从高秩输入图像提取低秩纹理区域的示例。 

图8图解了如本文中所描述的从高秩输入图像提取低秩纹理区域的示例。 

图9图解了如本文中所描述的从高秩输入图像提取低秩纹理区域并移除复杂纹理中由显著遮挡表示的稀疏误差的示例。 

图10图解了如本文中所描述的提取低秩纹理区域并移除由跨输入图像中的高秩脸部图像里的图像像素的显著噪声表示的稀疏误差的示例。 

图11图解了如本文中所描述的使用大范围仿射变换进行变形的棋盘图案的示例。 

图12图解了如本文中所描述的TILT提取器如何从典型城市场景的倾斜 图像提取丰富几何和结构信息（通过提取大量纹理区域），并在随后使用所提取的几何信息来将其他图片和文本插回原始图像的示例。 

图13是描绘本文中描述的具有用于实现TILT提取器的各实施例的简化计算和I/O能力的简化通用计算设备的概括系统图。 

具体实施方式

在对所要求保护的主题的各实施方式的以下描述中，对附图进行了参考，附图构成了实施方式的一部分且在其中作为说明示出了可在其中实践所要求保护的主题的各具体实施方式。应当理解，可以利用其他实施方式，并且可以作出结构上的改变而不背离所要求保护的主题的范围。 

1.0介绍：

通常，如文本中所描述的，“变换不变低秩纹理”（TILT）提取器——在本文中称为“TILT提取器”——提供了用于从图像的2D场景准确且稳健地提取定义低秩平面图案的纹理和几何信息两者，由此实现大范围的图像处理应用的各种技术。与依赖于基于点的特征的常规特征提取技术相比，TILT提取器从图像提取多个区域并以3D方式推导对这些区域的全局相关或变换（例如，变换包括平移、旋转、反射、扭斜、缩放等）。此外，依赖于基于点的特征的常规技术通常无法检测或提取许多规则结构和甚至不具有区别性特征的对称图案（例如，蝴蝶翅膀）。然而，TILT提取器完全能够相对于任意相机视点检测和提取此类特征，而不用考虑仿射和投影变换。 

更具体地，TILT提取器在场景的图像中直接检测和提取场景的不变性结构，而不用考虑仿射和/或投影域变换。TILT提取器使用适应于图像处理的自动化凸稀疏矩阵优化技术，该图像处理使用取窗办法来处理输入图像的窗口，该取窗办法高效且稳健地检测和提取图像中的规则结构，而不用管显著的畸变和损坏。 

由TILT提取器从2D图像中提取的区域对应于3D中平坦表面上的一类极丰富的规则图案，这些规则图案的外观可被建模为“低秩”函数。在一些场景中，以上提及的许多常规特征，诸如边缘、角落和对称图案，可全部被视为此类低秩纹理的特定实例。清楚地，这样的纹理的图像可通过相机投影来变形， 并进行某一域变换（例如，仿射和/或投影变换）。通常，经变换的纹理不再是原始图像中的低秩。然而，通过利用本文中所描述的凸优化技术，TILT提取器能够并发地从这样的低秩纹理的经变形的图像中恢复此类低秩纹理连同相关联的变形（即，导致原始输入图像中观测到的变形的域变换）。 

有利地，TILT提取器能够直接使用输入图像的原始像素值，而无需对诸如角落、边缘、SIFT、和DoG特征等任何低级、局部特征进行任何类别的预处理或预提取。TILT提取器所启用的各种解决方案对于由损坏（包括高噪声水平）、遮挡、或凌乱背景导致的总误差的小部分是固有稳健的。此外，TILT提取器所启用的技术适用于任何图像区域，只要那个地方出现了此类低秩纹理，而不用管其空间支持的大小。因而，TILT提取器不仅能够调整小的局部特征，诸如比方边缘或角落，而且还能够修正大的全局对称图像，诸如建筑物的整个立面。 

结果，TILT提取器提供了一种功能强大的工具，其用于处理场景的一个或多个图像以提供对关于对于图像域变换而言确实不变的场景的丰富结构和几何信息的准确提取。结果，由TILT提取器提取的区域具有相关联的几何信息（相对于可自动确定的相机视点或观测方向），这些信息可用于调整那些区域，或者相对于那些区域以及相对于作为整体的输入图像而言，实现各种各样的图像处理应用。 

例如，如以上所述的，TILT提取器所标识的域变换不仅提供关于相对于场景的特定相机视点（或相机观测方向）的信息，而且还可应用于可在随后被合成回特定图像的其他纹理或图像。结果，从在一些倾斜角度捕捉的建筑物立面提取低秩纹理将提供一些变换，这些变换可用于产生各种元素——包括建筑物的立面——的未经变换的低秩纹理。将这些相同的变换反过来应用于另一图像或纹理将导致经变换的图像或纹理看起来就如同已从原始图像中捕捉到，或者至少从与捕捉原始图像相同的视点或观测方向捕捉到。将此类图像或纹理合成为原始图像使得能够使用从原始图像自动提取的变换来创建要构建的照片般逼真的合成图像。 

使用由TILT提取器提取的低秩纹理的另一个有趣示例是：通过从同一场景的多个图像（从各个视点捕捉的）提取低秩纹理，将从该场景提取相同低秩 纹理的多个实例。特定纹理的多个实例随后可用于各种用途，诸如例如超分辨率操作。此类超分辨率操作的简单示例可以是捕捉包含有文本的场景的多个图像。由于使用域变换来调整这些区域，因此随后可使用各种超分辨率技术来组合由TILT提取器提取的场景的特定低秩区域的多个副本，以将所提取的区域内的文本的分辨率提升至超过任一个原始图像中的任何一个分辨率的水平。类似的增强技术可用于可从其获得多个图像的场景内的面部或任何其他对象或纹理。 

注意，继对TILT提取器的各个操作实施例进行详细描述之后，在以下章节2.7讨论TILT提取器的各种应用和使用的附加示例。 

1.1系统概览：

如以上所述，“TILT提取器”提供了用于从图像提取低秩纹理和相对应的域变换信息的各种技术。以上概述的过程由图1的概括系统图示出。具体而言，图1的系统图示出了用于实现本文中所描述的TILT提取器的各实施例的程序模块之间的相互关系。此外，尽管图1的系统图示出TILT提取器的各实施例的高层视图，但图1不旨在提供贯穿本文全文描述的TILT提取器的每一可能实施例的穷尽或全面图示。 

另外，应当注意，图1中由断开的线或虚线所表示的任何框和各框之间的互连表示本文中所描述的TILT提取器的替换实施例，并且以下描述的这些替换实施例中的任一个或全部可以结合贯穿本文所描述的其他替换实施例来使用。 

通常，如图1中所例示的，TILT提取器所启用的过程始于通过使用图像输入模块100来接收图像或视频105的操作。图像或视频105是或者被预先记录或者被记录或使用常规图像或视频捕捉设备110捕捉的。还注意：任选用户接口模块115可用于从图像或视频105的库或列表中进行选择，并且可用于从图像或视频捕捉设备110中选择现场输入。 

一旦已选择或以另外方式指定了图像序列或视频110，就可将其提供给初始化模块120。初始化模块120接收输入图像并初始化供TILT提取器使用的参数。通常，此初始化包括设置窗口大小（即，图像被分割成窗口），任选地指定初始变换参数，以及设置用于对从输入图像提取的“稀疏误差”分量进行 加权的权重。通常，此稀疏误差表示图像强度（或其他色彩通道，这取决于图像色彩空间）中的伪像，诸如噪声、遮挡等。注意，前述参数可按需经由任选用户接口模块115来指定。一旦已设置或指定初始参数，这些参数可用于经由以下描述的迭代凸优化过程来处理图像的窗口。注意，在各个所测试的实施例中，可观察到，最小大小约为20×20个像素的窗口将产生良好结果。然而，应当理解，如以下更详细讨论的，窗口大小可取决于多个因素，包括例如图像大小、以及该图像中纹理区域的大小。 

继以上所描述的初始化过程之后，优化设置模块125结合输入图像或视频105使用以上所述的初始化参数来初始化迭代凸优化过程，该迭代凸优化过程从输入图像提取纹理区域（I⁰）、相关联几何信息（即，变换，τ）以及稀疏误差（E）。通常，优化设置模块125首先归一化输入图像的强度或亮度通道（尽管也可处理其他图像色彩通道，如关于算法1的章节2.2.2和章节2.4.1中所讨论的）。一旦已归一化，优化设置模块125就在随后基于初始（或当前）变换τ计算经取窗的输入图像的雅可比矩阵。 

随后向凸优化模块130提供雅可比矩阵，以便进行迭代处理。通常，如以下进一步详细描述的，由凸优化模块130执行的迭代凸优化过程操作用于使用从经取窗的输入图像计算的矩阵求解线性化凸优化。该迭代过程重复直至基于当前矩阵达到变换τ的局部收敛135。 

一旦使用当前矩阵达到变换τ的局部收敛，变换更新模块140就（使用局部收敛信息）更新每个窗口的当前τ值，并且随后关于是否已达到变换τ的全局收敛作出判定。在每一遍全局收敛检验中，将当前变换τ与初始或先前变换τ作比较，并且在当前与先前τ值之间的变化小于某一相对小的阈值时，达到全局收敛。 

如果尚未达到全局收敛，则将当前τ值提供回优化设置模块125。优化设置模块125重新归一化图像强度（或其他图像参数，以上所述的），并使用当前变换τ重新计算新的雅可比矩阵，并且此信息随后被再次提供给凸优化模块130。以上所描述的迭代过程随后进行重复，直至已达到全局收敛145，此时，解输出模块150为源自原始输入图像的纹理区域（I⁰）、相关联几何信息（变换，τ）和稀疏误差（E）输出经优化的解。随后提供这些解155用于大量图像 处理应用中的任一个。 

2.0TILT提取器的操作细节：

上述程序模块用于实现TILT提取器的各实施例。如以上概括的，“TILT提取器”提供了用于从图像提取低秩纹理和相对应的域变换信息。以下各节提供了对该TILT提取器的各实施例的操作以及用于实现在第1节中参考图1描述的程序模块的示例性方法的更详细讨论。具体而言，以下各章节提供TILT提取器的各实施例的示例和操作细节，包括：对低秩纹理和相关联元素的定义；变形和损坏的低秩纹理；迭代凸优化；附加约束和实现细节；用于优化的多分辨率增强；操作考虑因素；以及附加实施例和应用的示例。 

2.1低秩纹理和相关联定义

通常，出于解释的目的，2D纹理被认为是在平面上定义的函数I⁰(x，y)。如果函数族I⁰(x，·)横跨有限低维子空间，则将纹理I⁰定义成低秩纹理，如式(1)所例示的，其中对于一些较小的整数k： 

$r=\mathrm{rank}\left(I^0\right)\stackrel{\·}{=}\dim \left(\mathrm{span}\right\{x\left|I^0(x,\·)\right\})\≤k.$    式（1） 

在此情形中，I⁰被认为是秩-r纹理。注意，通常，秩k小于正被评估的窗口中像素的数目，并且通常不应超过窗口中像素的数目的一半左右。注意，垂直或水平边缘（或斜坡）可被认为是秩-1纹理，而角落可被认为是秩-2纹理。容易看到，任何对称图案的图像的秩至多是其维数的一半。因而，任何规则的对称图案将导致低秩纹理。 

例如，图2示出了具有简单斜坡——如输入窗口220中的纹理——的输入图像210的示例。在此示例中，斜坡的秩（在此示例中，秩=11）通过提取与输入窗口220相对应的区域230来最小化，以产生具有秩=1的输出纹理240，如图所示的。类似地，图3图解了具有角落——如输入窗口320中的纹理——的输入图像310。注意，从一些倾斜观测位置捕捉的棋盘图像将产生类似于输入图像310的图像。在此示例中，角落的秩（在此示例中，秩=16）通过提取与输入窗口320相对应的区域330来最小化，以产生具有秩=2的输出纹理340，如图所示的。 

给定低秩纹理，在对函数进行任何缩放以及在x和y坐标上进行缩放和平移的情况下，该纹理的秩是不变的。换言之，如果对于一些常量 则rank(I⁰(x，y))＝rank(g(x，y))。出于大多数实践的目的，这足以恢复低秩纹理I⁰(x，y)的任何经缩放版本，因为缩放中留下的任何剩余模糊性通常可容易地通过对纹理施加附加约束来解决（见2.4节）。因此，如本文中通篇讨论的，如果两个低秩纹理彼此而言是经缩放（和/或经平移）的版本，即I⁰(x,y) ～cI⁰(ax+t₁,by+t₂)，其中——其中a，b，c表示缩放因子而t₁，t₂表示平移，则这两个低秩纹理被视为等效，除非另外声明。 

实际上，2D纹理通常不作为中的连续函数来提供。典型地，仅提供其在有限离散栅格上采样的值，诸如比如中的m×n栅格。在此情形中，2D纹理I⁰(x，y)变成中的m×n矩阵。注意，假定样本数m或n显著大于纹理的本征秩，如下式（2）所示： 

r＜＜min{m，n}   式（2） 

还注意，只要采样速率并不是函数I⁰的混叠频率之一，那么所得的矩阵就具有与连续函数相同的秩。因此，（离散化）为矩阵的2D纹理I⁰(x，y)相对于其维数而言有极低的秩。 

2.1.1关于低秩纹理对随机纹理的注释：

按照惯例，单词“纹理”用于描述展现了某些空间上固定的偶然性质的图像区域（例如，草地、沙滩等）。如本领域技术人员所公知的，这样的纹理可被视为来自静态偶然过程的随机样本，并且作为2D函数一般是全秩的。这里所定义的“低秩纹理”与此类随机纹理互补。实际上，这些低秩纹理描述了图像中具有相似规则确定性结构的诸区域。 

2.2变换和损坏的低秩纹理：

在实践中，在真实的图像中不可能找到完美的低秩纹理，这很大程度上归咎于两个因素：1)视点的改变通常引入纹理函数的域上的变换；以及2)纹理函数的采样值遭遇各种缺陷，诸如比如量化、噪声、遮挡、损坏等。因此，为了从此类变形和损害的图像测量中正确地提取本征低秩纹理，TILT提取器首 先仔细地对这些因素建模，并在随后寻求消除这些因素的方法，如以下进一步详细讨论的。 

2.2.1变形的低秩纹理:

尽管许多3D表面或结构展现出低秩纹理，但是它们的图像并非如此。具体而言，假定场景中大致落在平坦表面上的这样一个纹理I⁰(x，y)，并且假定从特定视点观测的图像I(x，y)是原始低秩纹理函数I⁰(x，y)的变形版本： 

其中τ属于特定“李氏群（Lie group）”。注意，李氏群是本领域技术人员所公知的，因此不在此进行赘述。注意，出于解释的目的，以下讨论假定为在图像域上线性地起作用的、对应于投影变换（即，3D变换）的2D仿射群Aff(2)，或者单应群GL(3)。注意，术语Aff(A)和GL(V)的使用在仿射群、一般线性群、和李氏群的技术领域中是公知的，因此将不在此赘述。此外，应当领会，本文中所描述的技术适用于更普通级别的域变形或相机投影模型，只要它们通过有限-维度参数族被很好地建模。一般而言，经变换的纹理I(x,y)作为矩阵不再是低秩的。例如，水平边缘具有秩=1，但是在旋转45°之后，其变成全秩对角边缘（参见以上针对此概念的特定示例提供的关于图2的讨论）。 

2.2.2损坏的低秩纹理:

除了域变换之外，纹理的观测到的图像可能由于噪声和遮挡而被损坏，或者包含一些周围的背景。此类偏差被建模为：对于一些误差函数E 

I＝I⁰+E。   式（3） 

结果，图像I不再如I⁰是完美的低秩。注意，出于讨论的目的，假定仅图像像素的很小部分因较大误差而损坏。因此，E是（近似）稀疏矩阵。 

如在以下段落中进一步详细讨论的，TILT提取器操作用于从包含低秩纹理的变形和/或损坏版本的图像中恢复低秩纹理I⁰。更具体而言，TILT提取器解决从图像中恢复变换不变低秩纹理（TILT）的问题。给定低秩纹理的变形或 损坏图像：（其中如以上所述的，τ表示变形，而E表示原始图像中的损坏或误差），TILT提取器恢复低秩纹理I⁰和域变换。如以上所述的，连同纹理一起恢复的域变换对于众多图形处理应用而言是有用的。 

此问题的公式化由以下优化问题来例示： 

$\underset{I^0,E,\mathrm{\τ}}{\min }\mathrm{rank}\left(I^0\right)+\mathrm{\γ}{\left|\right|E\left|\right|}_0$ 服从   式（4） 

换言之，式(4)的优化问题寻找最低秩的纹理I⁰以及最少非零条目的误差E——这与关于域变换τ的观测I相一致。这里，γ＞0是权衡纹理的秩与误差的稀疏性的拉格朗日乘子（即，加权因子）。如以上所述的，本文中所描述的此问题的解I⁰被称为变换不变低秩纹理（TILT）。如以上所讨论的，缩放不影响纹理的秩。因此，由TILT提取器恢复的变换包括（但不限于）旋转、扭斜、透视变换等。 

重点是理解TILT（即，变换不变低秩纹理）根本上不同于常规仿射不变特征或区域。例如，常规仿射不变特征或区域是对常规SIFT特征（即，缩放不变特征变换）的扩充，并且事实上，这些特征或区域的位置是以差不多同SIFT相同的方式检测到的。具体而言，围绕每个特征的最佳仿射变换被认为以某一方式“归一化”局部统计数据，比方说例如通过使亮度图案的各项同性最大化。 

相比之下，TILT提取器通过使亮度图案（即，YUV图像空间中的亮度通道）的秩最小化来找到最佳局部变形。注意，与在YUV图像空间中的亮度或强度值上进行操作不同，TILT提取器还能在任何所需色彩空间——诸如比方RGB、CMYK或其他色彩空间——中的个别色彩通道上进行操作。此外，如果有需要，则可由TILT提取器使用本文中所描述的技术处理任何图像空间中的任何或所有色彩通道。 

一般而言，TILT提取器对任何大小（或形状）的任何图像区域以及对仿射和投影变换两者（或者甚至具有平滑参数化的更一般的变换群）同样起作用。应当注意，如以下进一步详细讨论的，TILT提取器能够分层或提取各种各样的具有近似低秩的“区域”（例如，人脸、文本、建筑物、汽车、植物树叶、 花朵等），并且已观测到，这些结果与人类感知有非常好的匹配。 

理解以下也是重要的：TILT提取器根本上不同于称为“RASL”的常规技术，该RASL涉及线性相关图像的“通过稀疏和低秩进行稳健对准”（RASL）分解。例如，虽然RASL技术涉及（以及需要）多个相关图像和多个变换（每一图像一个），但是TILT提取器求解涉及单个图像和一个域变换的问题。因而，RASL类型技术不能执行如以上所描述的由TILT提取器所提供的对单个图像的纹理提取。 

更具体而言，TILT提取器通过结合新约束以使其达到大的收敛范围来解决大范围的纹理。此外，如以下进一步详细描述的，使用极快凸优化过程来将TILT提取器所使用的迭代算法重复地应用于图像的众多不同区域。 

2.3迭代凸优化

关于诸如以上提及的RASL技术等解决方案，尽管对式(4)的优化问题中的秩函数和l⁰范数进行优化是极其困难的（一般它们是NP-难题），但是近来凸优化中的突破已表明在相当宽的条件下，可分别通过它们的凸代用品——即rank(I⁰)的矩阵核范数||I⁰||_*以及||E||₀的l¹范数||E||₁——来将它们有效地最小化。结果，式(4)的目标函数变为： 

$\underset{I^0,E,\mathrm{\τ}}{\min }{\left|\right|I^0\left|\right|}_{*}+\mathrm{\λ}{\left|\right|E\left|\right|}_1$ 服从   式（5） 

应当注意，尽管目标函数现在是凸的，但是原始约束在中保持非线性。 

为了对付由式(5)中所例示的τ的非线性，假定τ相对较小，且约束 可在其当前估计的周围进行线性化：其中 是图像相对于变换参数的导数。严格说来，是3D张量：其给定长度为变换τ中的参数的数目的每个像素处的导数向量。因此，当与另一矩阵或向量“相乘”时，其以各种方式——根据上下文应当是清楚的——收缩。因而，在局部上，以上优化问题变成服从一组线性约束的凸优化，如式(6)中所例示的： 

$\underset{I^0,E,\mathrm{\τ}}{\min }{\left|\right|I^0\left|\right|}_{*}+\mathrm{\λ}{\left|\right|E\left|\right|}_1$ 服从   式（6） 

由于此线性化仅仅是对原始非线性问题的局部近似，因此如以下所描述的，其是以迭代方式来求解的，以便收敛至原始问题的（局部）最小值。这里的一般概念是提供一种技术，其中在实践中，凸松弛足够严密而线性化也足够好，以使得迭代过程很可能收敛至全局最优解，即使是从较大的任意初始变形τ⁰开始亦是如此。 

2.3.1基于扩展拉格郎日乘子的快速算法

一般而言，或者加速最近梯度（APG）方法或者扩展拉格郎日乘子（ALM）方法可适用于对式(6)的线性化问题进行求解。然而，对于求解这些类型的凸优化问题，ALM方法往往是更有效，并且通常导致比基于APG的算法更快速的收敛。因而，出于解释的目的，以下段落将描述如何对式(6)的线性化问题定制ALM方法，接着是用于求解式(5)的原始问题的总体算法的概要。 

一般而言，ALM方法可用于通过引入辅助拉格郎日函数来求解式（6）原始约束凸问题，例如： 

   式（7） 

对于一些ρ＞1，可通过迭代以下两个步骤（其中当前秩k自某个初始值（通常为0）起在每次迭代时递增1）直至收敛来有效地找到诸如式(6)等问题的最优解： 

   式（8） 

一般而言，对于式(8)的第一步而言，通过并发地在所有变量I⁰，E，Δτ上进行最小化来找到最优解有时在计算上是昂贵的。因此，在各个实施例中，为了加速算法，通过连续地使变量中的每一个最小化来逼近第一步，如式(9)所例示的： 

$\left\{\begin{array}{ccc}{I}_{k+1}^0& \←& \underset{I^0}{\min }L(I^0,E_k,{\mathrm{\Δ\τ}}_k,Y_k,{\mathrm{\μ}}_k),\\ E_{k+1}& \←& \underset{E}{\min }L(I_{k+1}^0,E,\mathrm{\Δ}{\mathrm{\τ}}_k,Y_k,{\mathrm{\μ}}_k),\\ \mathrm{\Δ}{\mathrm{\τ}}_{k+1}& \←& \underset{\mathrm{\Δ\τ}}{\min }L(I_{k+1}^0,E_{k+1},\mathrm{\Δ\τ},Y_k,{\mathrm{\μ}}_k)\end{array}\right.$    式（9） 

注意，其可表明，在相当宽的条件下，此类逼近不影响算法的收敛。 

给定以上所定义的拉格郎日函数L的结构，以上优化问题中的每一个具有非常简单的解。具体而言，令S_t[·]为软取阈算子，其中阈值t＞0，并标示： 随后，对式(9)中的问题的解分别为： 

   式（10） 

以上所描述的概念在以下被呈现为“算法1”。 

一般而言，“算法1”概括了使用ALM来求解式(6)的问题以便从图像中提取变换不变低秩纹理（TILT）的步骤。 

2.4附加约束和实现细节：

如以上所讨论的，章节2.3.1描述了一种基本的用于求解式(6)的凸化TILT问题的基于ALM的算法。然而，在将其应用于低秩纹理的真实图像时，有几个防止误解的说明。以下章节描述了附加约束——其使得对问题的求解变得明确，连同一些任选实现细节——其通常改进各种情形中的收敛范围。 

2.4.1对变换的约束：

如以上章节2.1讨论的，在低秩纹理的定义中存在某些模糊性。具体而言，低秩纹理函数的秩相对于在其值上进行缩放、在坐标的每一个上进行缩放、以及在坐标的每一个中进行平移而言是不变的。因而，为了使问题具有唯一的、明确的最优解，TILT提取器消除了这些模糊性。具体而言，在算法1的步骤1中，图像的强度或亮度通道在每次迭代时被重新归一化，以便消除值中的缩放模糊性。否则，算法可能倾向于通过挪占黑色像素来收敛至“全局最优”解。如以上所述的，诸如比方RGB图像中的特定色彩通道等其他图像特性可例如以强度值相同的方式来处理，尽管这将取决于输入图像的特定图像空间。 

关于域变换中留下的模糊性，可使用附加约束。注意，出于简便以及解释的目的，一些讨论假定对初始图像窗口Ω的支持为矩形区域，该矩形区域的两条边的长度为L(e₁)＝a和L(e₂)＝b，因此总面积S(Ω)＝ab。然而，实际上，并没有这种要求，并且初始窗口可以是任何合意的形状或大小。然而，不同于矩 形的初始窗口形状对整个过程可能会增加相对较小量的计算复杂度。在任何情形中，为了消除平移中的模糊性，TILT提取器确保初始矩阵区域Ω的中心x₀在变换之前以及之后保持固定：τ(x₀)＝x₀。这对Δτ施加了一组线性约束，如式(11)所例示的，其中： 

A_tΔτ＝0   式（11） 

为了消除在缩放坐标时的模糊性，TILT提取器确保（通常仅对于仿射变换）面积以及边长的比在变换之前以及之后保持恒定，即，S(τ(Ω))＝S(Ω)以及L(τ(e₁))/L(τ(e₂))＝L(e₁)/L(e₂).。一般而言，这些等式对式(5)的问题中的所需变换τ施加了附加的非线性约束。类似于关于式(5)解决非线性性的方式（参见以上的讨论），以上所描述的约束可对照变换τ被线性化，以获得对Δτ的另一组线性约束，如式(12)所例示的，其中： 

A_sΔτ＝0   式（12） 

结果，为了消除缩放和平移模糊性，TILT提取器仅仅对式(6)的优化问题添加两组线性约束。应当清楚的是，结合这些附加线性约束仅需对算法1进行极少的修改。具体而言，为了解决这些问题，通过引入一组附加拉格郎日乘子并在随后根据该组附加乘子简单地修订与Δτ_k+1相关联的更新等式来修改算法1。 

2.5对算法1的多分辨率增强：

为了进一步改善收敛的速度和范围，在各个实施例中，TILT提取器任选地将图像处理中所用的多分辨率办法适应于本文中所描述的技术。具体而言，对于给定图像窗口I，TILT提取器通过将该窗口迭代地模糊化和降采样至一半大小，直至矩阵的大小达到一阈值（比方说，例如小于30×30像素）来构建图像金字塔，以构造经降采样的图像的分层金字塔。 

然而，为了使式(5)的凸松弛足够严密，矩阵大小不能过小。实际上，已观测到，本文中所描述的技术对于大小大于约20×20像素的窗口工作良好。从 金字塔的顶部开始，首先将算法1应用于最低分辨率图像，并且该算法是使用从先前层找到的变形来初始化的。已观测到，此多分辨率技术显著改进算法1的收敛范围和稳健性，因为在低分辨率图像中，较小的细节被模糊掉，而仅图像的主要结构驱动变形的更新。此外，在各个所测试的TILT提取器的实施例中，已观测到，此多分辨率办法将算法1加快了好几百倍。 

2.5.1对算法1的“分支限界”增强：

除了本文中所描述的多分辨率技术之外，可通过使用分支限界技术来将算法1任选地改编成对几乎所有变形范围起作用。例如，在仿射情形中，使用不同的变形（例如，对没有平移的仿射变换的所有4个自由度的组合搜索）来初始化算法1。关于此类分支限界技术的固有关心在于其对速度的影响（即，计算开销）。然而，通过与以上所描述的多分辨率技术协作地进行操作，仅需要在最低分辨率层执行分支限界来找到用于初始化更高分辨率层的变形。尽管可根据需要在更高分辨率下执行分支限界，但是通常无需如此进行。 

由于算法1对于最低分辨率层上的小矩阵而言是极快的，因此通过不同的初始化运行多次不会显著影响TILT提取器的整体性能。类似地，为了找到最优投影变换（单应性），TILT提取器首先简单地寻找最优仿射变换（再次地，在最低分辨率下），并在随后使用此解来初始化算法1。已观测到，在各个所测试的TILT提取器的实施例中，通过此类初始化，无需对投影变换运行分支限界，尽管也可根据需要运行分支限界。 

2.6操作考虑因素：

以下段落讨论通过对TILT提取器的各个操作实施例的测试和评估观测到的各个操作考虑因素。 

2.6.1TILT提取器的稳健性：

对具有随机损坏、遮挡和凌乱背景等的真实世界图像的实验证明TILT提取器能够从此类图像正确地提取低秩纹理以及相关联的几何结构（即，τ）。例如，图4到图8图解了从输入图像提取各种纹理区域的示例，包括蝴蝶、面部、文本以及复杂图案。此外，图9和图10提供了分别图解从恢复自损坏的输入图像的低秩纹理移除噪声以及划痕或遮挡之前以及之后的视图。 

更具体地，图4示出了具有秩R＝35的输入图像410。黑色矩形区域420 示出了由TILT提取器处理以定位纹理区域430的输入窗口，该纹理区域430随后使用提取自输入图像410的几何信息来调整，以产生具有秩R＝14的输出纹理440。类似地，图5示出了具有秩R＝15的输入图像510。黑色矩形区域520示出了由TILT提取器处理以定位纹理区域530的输入窗口，该纹理区域530随后使用提取自输入图像510的几何信息来调整，以产生具有秩R＝8的输出纹理540。图6示出了具有秩R＝35的输入图像610。黑色矩形区域620示出了由TILT提取器处理以定位纹理区域630的输入窗口，该纹理区域630随后使用提取自输入图像610的几何信息来调整，以产生具有秩R＝19的输出纹理640。图7示出了具有秩R＝10的输入图像710。黑色矩形区域720示出了由TILT提取器处理以定位纹理区域730的输入窗口，该纹理区域730随后使用提取自输入图像710的几何信息来调整，以产生具有秩R＝7的输出纹理740。最后，图8示出了具有秩R＝24的输入图像810。黑色矩形区域820示出了由TILT提取器处理以定位纹理区域830的输入窗口，该纹理区域830随后使用提取自输入图像810的几何信息来调整，以产生具有秩R＝14的输出纹理840。注意以上示例的每一个中输入图像与输出纹理的秩之间相对较大地减小。 

图9和图10通过图解使用提取自输入图像的稀疏误差(E)从图像移除遮挡和噪声的示例来进一步详述TILT提取器的纹理提取能力。 

具体而言，图9图解了因大“划痕”或遮挡910而损坏的复杂图案的输入图像900。继使用由TILT提取器提取的几何信息对输入图像900进行了调整之后，可看到，在经调整的图像920中损坏保留有较大的误差源。可看到由TILT提取器从输入图像900提取的稀疏误差(E)930近似对应于经调整的图像920中的损坏。因此，继使用以上所描述的迭代凸优化技术消除了稀疏误差(E)之后，可看到，结果输出纹理940提供了严密对应于输入图像900的纹理区域，但是已从输入图像中消除损坏或遮挡910。 

类似地，图10图解了因跨60%的图像像素的随机噪声而损坏的脸部的输入图像1000。继使用由TILT提取器提取的几何信息对输入图像1000中检测为纹理的脸部进行了调整之后，可看到，在经调整的脸部图像1010中噪声保留有较大的误差源。可看到由TILT提取器从输入图像1000提取的稀疏误差(E)1020近似对应于经调整的图像1010中的噪声损坏。因此，继使用以上所描述 的迭代凸优化技术消除了稀疏误差(E)之后，可看到，结果输出纹理1030提供了严密对应于输入图像1000的脸部版本，但是相对于原始输入图像，消除了一些噪声损坏。 

2.6.2TILT提取器的收敛范围：

对于大多数低秩纹理，即使没有使用在章节2.5中所描述的任选分支限界技术，算法1也具有相当大的收敛范围。为了例示这一点，通过图11的棋盘图像进行不同范围的仿射变换来考虑算法1的结果。

在此示例中，将仿射矩阵A参数化为 $A(\mathrm{\θ},t)=\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\×\left[\begin{array}{cc}1& t\\ 0& 1\end{array}\right].$ 。出于解释的目的，(θ，t)在范围θ∈[0，π/6]——步长大小为π/60——以及t∈[0，0.3]——步长大小为0.03——内变化。注意，这些值仅是出于解释的目的而提供的，并且在此可使用任何合意的值。注意，对于图11的示例，算法1总是收敛直至旋转θ＝10°以及扭斜（或扭曲）直至t＝0.2。还注意，由于棋盘丰富的对称性以及尖锐边缘，因此对于“全局”收敛而言，棋盘是具有挑战的情形，因为在众多旋转的角度上，其图像对应于具有低秩的局部最小值。实际上，已观测到，对于典型城市场景中的大多数对称图案（例如，建筑物、汽车等）而言，算法1对整体测试范围收敛而无需使用分支限界。 

2.6.3从低秩检测成形：

清楚地，由TILT提取器找到的经调整的低秩纹理可助益许多高级视觉任务，包括建立图像之间的对应性、识别文本和对象、重构场景中的3D形状或结构等。然而，出于解释的目的，以下讨论将例示TILT提取器如何从典型城市场景的倾斜图像提取丰富几何和结构信息（通过提取大量纹理区域），如图12中所示的，并在随后使用所提取的几何信息来将其他图片和文本插回原始图像。 

在此示例中，原始图像大小为1024×685像素，并且TILT提取器在覆盖该图像的60×60像素窗口的栅格上运行算法1（使用仿射变换）。如果任一个窗口中所得纹理的秩相比于原始窗口的秩显著下降，则TILT提取器被认为已“检测到”具有某一低秩结构的区域。注意，图像秩是通过以每个检测出的纹理的奇异值中最大的那一个的1/30对这些奇异值进行取阈来计算的。而且，TILT提取器忽略了其最大奇异值过小的区域，这些区域对应于类似图12的典 型城市场景1200的示例图像中的天空等平滑区域。注意，在图12中，所得的变形的窗口（例如，窗口1210）是连同恢复自找到的仿射变换（即，τ）的表面的局部定向和法线一起被画出的。还注意，对于落入各个建筑物立面的边界内的窗口，几乎所有正确地恢复局部几何结构；即使对于立面的边缘处的碎片亦是如此，因为这些碎片的侧边之一通常与建筑物的边缘对准。 

如以上所述的，窗口大小并非是固定的。由此，用户或使用TILT提取器实现的系统可在不同大小或缩放比例下初始化窗口的大小。然而，对于较大的区域，仿射变换将不足以准确描述透视投影的变形。例如，图12中的中间建筑物1220的整体立面展现了显著的投影变形。但是，如果算法1是使用立面上的小碎片（诸如在此示例中所使用的60×60像素窗口的栅格）的仿射变换来初始化的，则对于恢复自图像的多个纹理区域中的每一个而言，算法可容易地收敛至正确的单应性（由此恢复τ）. 

有了正确地恢复的低秩纹理及其几何结构，此信息可在随后被容易地用于执行许多有趣的任务，诸如编辑图像中有关真实3D形状和正确透视的部分，以产生诸如输出图像1230等图像，其中提取自输入图像1200的几何信息被用于对奖杯1240进行正确变换并将其跨一个建筑立面地插入，以及对文本1250（例如，“ACCA2010”）进行变换并将其插入另一建筑物表面。换言之，在此示例中，与图像中正被编辑的区域里的所标识的纹理碎片的每一个相关联的几何信息（τ）被用于对插入到输出图像1230的图像1240和文本1250进行变换。 

2.6.4调整不同类别的低秩纹理：

如上所述的，由于算法1对于仿射和投影变形或变换两者具有极大的收敛范围，并且其对于图像强度（或其他色彩通道）的稀疏损坏也是极稳健的，因此可观测到，TILT提取器对于极宽范围的图案、规则结构、以及在自然图像或绘画中出现的对象而言工作得非常好。注意，此类图案无需是完美对称或规则的，并且TILT提取器对于近似对称或规则的图案工作良好。此类近似规则或对称结构的几个示例包括但不限于树叶、脸部、条形码、人工结构或对象、绘画中的脸部或对象、文本等。 

2.7附加实施例和应用：

清楚地，存在TILT提取器的许多其他可能的应用，诸如对称检测、脸部调整和对准等。所有这些应用都是基于TILT提取器稳健且准确地提取图像中的低秩平面图案或纹理的纹理和几何信息两者的能力。由于低秩平面图案在图像中是普遍存在的，因此TILT提取器具有宽泛的应用。以下段落描述了通过使用由TILT提取器从图像提取的纹理（即，I⁰）和几何信息（即，τ）以及稀疏误差（即，E）实现的众多应用中的几个示例。应当理解，TILT提取器并不旨在限于与以下所描述的应用联用，并且以下应用的示例仅仅是出于解释的目的而提供的。 

2.7.1图像超分辨率：

从低分辨率输入获得良好质量的超分辨率图像的主要困难之一在于：图像可能包含许多不同定向上的边缘。结果，通常难以设计对所有定向都工作良好的方法或程序库。然而，如以上所解释的，TILT提取器能够精确地检测局部图案的定向（τ）并将边缘分层化为水平或垂直（其为以上所描述的秩最小化过程的固有特征）。结果超分辨率问题随后变得更加容易，因为归功于对所提取的纹理的固有调整，超分辨率问题变成对容易匹配的纹理区域的简单缩放和对准中的一个。此类基于TILT的超分辨率技术对于充满尖锐边缘或图案——例如建筑物、文本等——的人工环境或对象的图像尤其工作地良好。应当理解，给定从多个图像或场景提取的（可能在不同的缩放比例下）一组经正确调整的纹理，可使用已知技术来执行超分辨率操作。因此，将不在此详细描述这些技术。 

2.7.2图像/视频增强：

如所公知的，易于从因特网或其它源获得许多相对低质量图像视频。此类低质量图像或视频包含噪声、块效应、伪像等。通过将TIL提取器的特征提取能力与图像对准工具相结合，由TILT提取器从视频的各个帧提供的低秩结构或特征可被用于移除常常破坏合意低秩结构的噪声以及块效应或伪像。此外，通过结合以上所提及的超分辨率技术，可将视频序列的分辨率提升成超过源视频的分辨率（通过将序列的两个或多个连续图像帧处理为相同场景的不同示例），同时从视频中移除伪像。注意，视频增强技术——诸如以上所提及的那 些——是本领域技术人员所公知的，并且将不在此进行详细描述。这里要考虑的一点在于，TILT提取器用于从图像帧定位并提取纹理以及相关联几何信息的新颖能力实现了用于提供高质量输出的此类增强过程。 

2.7.3图像/视频编辑和扩展的逼真：

如以上所解释的，TILT提取器处理图像以提取平坦表面的相对于捕捉图像的任意视点（或观看方向）的精确几何定向。因此，继提取之后，可在经分层化的平坦表面上编辑纹理，并随后使用τ（即，连同纹理一起提取的几何信息）将其映射回原始图像。这样，经编辑的部分将保持正确的透视投影并遵守平坦表面的正确3D几何结构。在以上参照图12的章节2.6.3中提供了此想法的一个示例。 

对此能力的相关有趣使用包括用于将诸如标语、文本或广告标志等事物以这些对象看起来就像原本就处在原始场景中那样的方式添加到图像。换言之，通过提取经调整的纹理，诸如比方建筑物立面，可使用常规图像编辑技术将经调整的标语添加到此经调整的纹理。通过在随后使用连同原始纹理（例如，在此示例中为建筑物立面）被一起提取相对应的几何信息来将经编辑的纹理映射回原始图像，将看起来任何所添加的成分就像是原始图像的一部分那样，具有与原始纹理相对应的精确定向、透视、缩放等。 

2.7.4相机自动校准：

在与相机有关的许多应用中，相机校准是一个基本步骤。典型校准装配常常使用低秩图案，诸如棋盘图像。然而，当通过相机捕捉时，校准装配的图像常常因透视投影（即，相对于棋盘的相机观看方向）和相机（光线）畸变（其通常是相对较小的畸变，这取决于相机和镜头的质量）两者而畸变。因此，给定校准装配的多个图像，TILT提取器可通过消灭畸变（即，跨观看平面来恢复τ）以及恢复低秩图案来并发地恢复为相机和镜头以及校准装配的姿势或定向所固有的畸变。可在随后将此信息应用于该相机捕捉的其他图像，以从这些附加图像自动移除此类畸变。这避免了依赖手动地点击图像上的特征点并检测角落和边缘的常规相机校准方法中的许多困难。有利地，此方法在无需任何特征检测或提取的情况下达成每像素对准，并由此相比于常规自动校准技术，可达成更好的准确度和自主性。 

2.7.5文本/条形码/牌照识别：

文本识别的一个挑战在于，估计文本相对于相机视图的相对定向。然而，通过使用TILT提取器，定向的准确估计被自动返回（即，由τ提供几何信息）并在随后被用于将文本自动地歪斜或变形至其正面视图，而不用管原始相机观看方向。这可极大地改进文本识别的识别率和准确度。清楚地，文本识别中的这些改进也将适用于条形码识别问题和许多类似情形（牌照中的数字、交通标志上的字符或符号等），其中图像是从某一任意倾斜视图或观测角度捕捉的。以上所讨论的图8示出了从汽车的正面图像提取作为纹理区域的经调整的牌照的示例。 

2.7.6图像对应性：

在图像之间建立对应点和区域是诸如3D重构和对象识别等许多计算机视觉任务的基本步骤。常规对应性方法通常使用点类特征，诸如SIFT或其变体。它们通常无法对付视图之间较大的基线，或者在场景（诸如城市环境）中有许多类似特征时导致不明确的对应性。 

然而，TILT提取器提供了通过低秩纹理提取比常规技术丰富得多的级别的图像区域的能力。TILT提取器不仅提取特定区域的纹理，还提取这些纹理相对于任何视点或观测方向的相对几何结构。此信息使得各种应用能够容易地建立不同图像中两个经调整的区域的精确对应性——即使这些图像是从极为不同的视点获取的，因为该点上的主要差异（若有的话）通常仅仅是缩放的问题。因此，结果所得的对应性通常比常规技术更精确且更明确，因为其是基于两个较大区域之间的像素级对应性，而非图像之间几个特征点的对应性。 

2.7.73D重构：

TILT提取器的另一有趣特征在于，通过使用TILT提取器准确地校准相机（参见章节2.7.4），随后生成具有较大基线的图像中的区域之间的精确对应性。这些工具随后实现对人造对象、结构和环境的高效3D重构。换言之，由于几何定向（τ）被提供用于提取自场景的所有区域，因此，此信息允许对场景的准确3D重构。还注意，在从多个定向或观看方向捕捉场景的情形中，可进一步改进场景中的纹理区域之间的相对几何学的准确度以构造场景的更准确的3D模型。 

3.0示例性操作环境：

此处所描述的TILT提取器可在多种通用或专用计算系统环境或配置内操作。图13示出其上可实现此处描述的TILT提取器的各实施方式和元素的通用计算机系统的简化示例。应当注意，图13中由断开的线或虚线所表示的任何框表示简化计算设备的替换实施方式，并且以下描述的这些替换实施方式中的任一个或全部可以结合贯穿本文所描述的其他替换实施方式来使用。 

例如，图13示出了概括系统图，其示出简化计算设备1300。这样的计算设备通常可以在具有至少一些最小计算能力的设备中找到，这些设备包括但不限于个人计算机、服务器计算机、手持式计算设备、膝上型或移动计算机、诸如蜂窝电话和PDA等通信设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、视频媒体播放器等。 

为允许设备实现TILT提取器，该设备应当具有足够的计算能力和系统存储器。具体而言，如图13所示，计算能力一般由一个或多个处理单元1310示出，并且还可包括一个或多个GPU1315，这两者中的任一个或全部与系统存储器1320通信。注意，通用计算设备的处理单元1310可以是专用微处理器，如DSP、VLIW、或其他微控制器、或可以是具有一个或多个处理核的常规CPU，包括多核CPU中的基于GPU专用核。 

另外，图13的简化计算设备还可包括其他组件，诸如例如通信接口1330。图13的简化计算设备还可包括一个或多个常规计算机输入设备1340。图13的简化计算设备还可包括其他可任选组件，诸如例如一个或多个常规计算机输出设备1350或其他机器或计算机硬件。最后，图13的简化计算设备还可包括可移动的1370和/或不可移动1380的存储1360。这样的存储包括计算机或机器可读介质或者存储设备，包括但不限于DVD、CD、软盘、磁带驱动器、硬盘驱动器、光盘驱动器、固态存储器设备等。 

此外，体现本文中所描述的TILT提取器的各个实施例中的一些或全部的软件、程序和/或计算机程序产品，或者其部分，可被存储在计算机或机器可读介质或者计算机可执行指令形式的存储设备的任何合意组合上。注意，通用计算机的典型的通信接口1330、输入设备1340、输出设备1350、以及存储设备 1360对本领域技术人员而言是公知的，并且在此不会详细描述。 

以上对TILT提取器的描述是出于说明和描述的目的而提出的。这并不旨在穷举所要求保护的主题或将其限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。此外，应当注意，可以按所需的任何组合使用上述替换实施例的任一个或全部以形成TILT提取器的另外的混合实施例。本发明的范围并不旨在由该“具体实施方式”来限定，而是由所附权利要求书来限定。 

Claims (11)

1.一种用于从图像提取纹理和几何信息的方法，包括用于以下操作的步骤：

接收（100）输入图像；

从所述输入图像的色彩空间的可用通道选择（115、120）图像通道；

对所述输入图像进行取窗（120）；

对于所述输入图像的每个窗口，用于以下操作的迭代步骤：

对所选图像通道进行归一化（125），

关于当前几何变换从所述经归一化的图像通道计算（125）雅可比矩阵，

通过使用迭代凸优化过程来更新（140）所述当前几何变换并找到等效于的关于当前几何变换的所述经归一化的图像通道的、具有最少数目个非零条目的低秩纹理，来从所述经归一化的图像通道恢复（130）当前低秩纹理，直至达到所述几何变换的局部收敛（135），以及

对每个窗口重复所述迭代步骤，直至达成所述几何变换的全局收敛（145）；以及

输出（150）所述当前低秩纹理和所述当前几何变换。

2.如权利要求1所述的方法，其特征在于，所述迭代凸优化过程还使用稀疏误差来更新所述当前几何变换并找到等效于关于所述当前几何变换和从所述经归一化的图像通道提取的稀疏误差分量的所述经归一化的图像通道的、具有最少数目个非零条目的所述低秩纹理，直至达成所述几何变换的局部收敛。

3.如权利要求2所述的方法，其特征在于，还包括从所输出的当前低秩纹理消除所述稀疏误差分量。

4.如权利要求2所述的方法，其特征在于，所述稀疏误差分量表示所述输入图像的所选图像通道中的损坏。

5.如权利要求2所述的方法，其特征在于，还包括对所述稀疏误差分量进行加权以便用在所述凸优化过程中。

6.如权利要求1所述的方法，其特征在于，所述输入图像的所述色彩空间包括亮度通道，并且其中所述亮度通道是所选图像通道。

7.一种用于从输入图像导出低秩纹理的系统，包括：

用于接收（100）输入图像的设备；

用于对所述输入图像进行取窗（120）的设备；

对于所述输入图像的每个窗口，用于以下操作的迭代步骤的设备：

对所述输入图像的强度通道进行归一化（125），

关于当前几何变换从所述经归一化的强度通道计算（125）雅可比矩阵，

通过使用迭代凸优化过程来更新（140）所述输入图像的所述当前几何变换以及当前稀疏误差分量，通过找到等效于关于所述输入图像的当前几何变换以及所述当前稀疏误差分量的所述经归一化的强度信道的、具有最少数目个非零条目的当前低秩纹理，来从所述经归一化的强度通道恢复（130）所述当前低秩纹理，直至达到所述几何变换的局部收敛（135），以及

对每个窗口重复所述迭代步骤，直至达成所述几何变换的全局收敛（145）；以及

用于输出（150）所述当前低秩纹理、所述当前几何变换、以及所述当前稀疏误差分量的设备。

8.如权利要求7所述的系统，其特征在于，还包括用于从所输出的当前低秩纹理消除稀疏误差分量的设备。

9.如权利要求8所述的系统，其特征在于，所述稀疏误差分量表示所述输入图像的所述强度通道中的损坏。

10.一种用于从图像提取低秩纹理以及几何信息和稀疏误差分量的系统，所述系统包括：

用于接收（100）输入图像的设备；

用于对所述输入图像进行取窗（120）的设备；

对于所述输入图像的每个窗口，用于以下操作的迭代步骤的设备：

对所述输入图像的强度通道进行归一化（125），

关于当前几何变换从所述经归一化的强度通道计算（125）雅可比矩阵，

通过迭代地求解服从于的通过使用迭代凸优化过程来更新（140）所述输入图像的所述当前几何变换以及当前稀疏误差分量，来从所述经归一化的强度通道恢复（130）当前低秩纹理，直至达成所述几何变换的局部收敛（135）：其中I表示所述输入图像的窗口，τ表示所述当前几何变换，I⁰表示当前输出纹理，而E表示稀疏误差分量，λ是权衡纹理的秩与误差的稀疏性的拉格朗日乘子；

对每个窗口重复所述迭代步骤，直至达成所述几何变换的全局收敛（145）；以及

用于对所述输入图像的每个窗口输出（150）所述当前低秩纹理、所述当前几何变换、以及所述当前稀疏误差分量的设备。

11.一种用于从图像提取低秩纹理以及几何信息和稀疏误差分量的方法，所述方法包括：

接收（100）输入图像；

对所述输入图像进行取窗（120）；

对于所述输入图像的每个窗口，用于以下操作的迭代步骤：

对所述输入图像的强度通道进行归一化（125），

关于当前几何变换从所述经归一化的强度通道计算（125）雅可比矩阵，

通过迭代地求解服从于的通过使用迭代凸优化过程来更新（140）所述输入图像的所述当前几何变换以及当前稀疏误差分量，来从所述经归一化的强度通道恢复（130）当前低秩纹理，直至达成所述几何变换的局部收敛（135）：其中I表示所述输入图像的窗口，τ表示所述当前几何变换，I⁰表示当前输出纹理，而E表示稀疏误差分量，λ是权衡纹理的秩与误差的稀疏性的拉格朗日乘子；

对每个窗口重复所述迭代步骤，直至达成所述几何变换的全局收敛（145）；以及

对所述输入图像的每个窗口输出（150）所述当前低秩纹理、所述当前几何变换、以及所述当前稀疏误差分量。