CN102834844A - 多分辨率图像金字塔的生成 - Google Patents

Abstract

描述了用于生成多分辨率图像金字塔的系统和方法的各实施例。该方法可包括获得作为被定义对象的粗略图像和被定义对象的精细图像来捕捉的图像。可对精细图像进行下采样以创建临时图像。进一步的操作是对临时图像应用结构转移操作以便转移来自粗略图像的色彩细节。结构转移发生，但同时保留来自临时图像的结构细节。可在临时图像与精细图像之间应用混合操作，以便为精细图像与粗略图像之间的多分辨率图像金字塔中的至少一个中间层构建中间图像。

Description

多分辨率图像金字塔的生成

背景技术

在计算机图形和GIS（地理信息系统）社区中，已经广泛地研究了缝合与融合图像集合以形成无缝地图或全景图的主题。这些成像技术已经用于组装因特网服务（像Keyhole、TerraServer、Bing^TM地图、Google^TM地图和

地图）上可用的大型数据集。

多分辨率数据集通常包含若干不同比例的图像源。例如，可以以粗略分辨率来提供卫星图像，而以较精细的分辨率来使用航摄图像。在这些地图中缩放可能会展现有抖动的过渡。由于光谱响应、季节变化、光照和阴影以及定制图像处理中的差异，从中提取图像的数据源通常在外观上显著的变化。具体而言，在多分辨率图像金字塔内放大或缩小通常导致外观上的突变（即临时的“弹出”）。另外，可能在静态立体图中观察到空间的不连续，因为这些视图同时访问若干图像金字塔层。

发明内容

提供本发明内容以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。尽管在上文描述了现有技术的某些缺点，但所要求保护的主题不限于解决现有技术的所描述缺点中的任何缺点或全部缺点的实现。

描述了用于生成多分辨率图像金字塔的系统和方法的各个实施例。该方法可包括获得作为被定义对象的粗略图像和被定义对象的精细图像来捕捉的图像。可对精细图像进行下采样以创建临时图像。进一步的操作为对临时图像应用结构转移操作以转移来自粗略图像的色彩细节。结构转移发生，但同时保留来自临时图像的结构细节。可在临时图像与精细图像之间应用混合操作，以在精细图像与粗略图像之间为多分辨率图像金字塔中的至少一个中间层构建中间图像。

附图说明

图1示出具有多分辨率上采样图像的多分辨率图像金字塔的一个实施例。

图2是示出一个实施例中的用于生成多分辨率图像金字塔的方法的概览的流程图。

图3是示出用于创建多分辨率图像金字塔的方法的一个实施例的框图。

图4是可用于窗口转移计算的z-分数和排序属性的一个实施例的图示。

图5是示出用于生成图像的方法的一个实施例的流程图，该图像包括来自精细图像的图像结构细节以及来自粗略图像的色彩。

图6是示出用于经修剪的拉普拉斯（Laplacian）混合的过程的一个实施例的图表。

图7示出用于经修剪的拉普拉斯混合的高效混合方法的过程的一个实施例。

图8是示出生成在跨多个查看比例的视觉过渡中使用的多分辨率图像金字塔的高效操作的实施例的流程图。

图9是示出可用于生成在跨多个查看比例的视觉过渡中使用的多分辨率图像金字塔的各个模块的实施例的框图。

具体实施方式

现在将参考附图中所示出的示例性实施例，并使用特定语言来对其进行描述。不过，需要理解的是，并无意由此作出本发明范围上的限制。相关技术领域的且拥有本公开内容的技术人员将想到的对此处所示出的特征的更改和进一步的修改以及对本文所示的各实施例的其他应用，都应该被视为在本发明的范围内。

能够创建对不同比例的不同数据源进行组合的视觉平滑图像。这种图像金字塔用于在计算机生成的图像环境中的较低分辨率图像与较高分辨率图像之间过渡。这种计算机生成的图像环境的示例可包括：仿真、游戏、地图、医学图像、以及期望粗略分辨率图像与精细分辨率图像之间的平滑过渡的其他环境。

在各层的子集处存在图像金字塔的输入图像，并且该图像可能已经是使用现有的缝合技术在空间上被缝合到一起。虽然创建图像金字塔的问题可能看起来简单，但是若干直接的方法存在缺点。一种简单的想法是一直对精细图像进行下采样直到金字塔的最粗略层，重写任何较粗略的图像内容。下采样或上采样是降低对根据原始图形图像创建的图像的采样频率的过程。然而，精细比例的图像通常被稀疏地定义，并且所得的较粗略层可能具有不统一的外观。相反，期望保留粗略比例图像的空间一致性。

另一种可能的方法是将精细比例的图像修改成具有与粗略比例的内容相同的色彩外观。然而，精细图像的色彩直方图通常更丰富，并且可能更偏好精细图像的色彩直方图。具体而言，在外观上图像边缘处的差异以及图像金字塔各层之间的差异在静态立体图中会是明显的。类似地，通过对稀疏精细图像进行下采样来替换粗略金字塔层的方案可能导致较粗略层处的拼凑外观。

为了解决这些问题，如图1所示，本技术可根据若干比例的经缝合的图像来创建具有多分辨率的经上采样的图像的图像金字塔100，该图像金字塔提供缩放发生时的更平滑的视觉过渡。本技术提供了改善图像间的过渡的技术。被称为结构转换的一种技术是将一个图像的细节与另一个图像的局部外观进行组合的非线形操作符。该操作可用于在保留色彩一致性的同时将细节从精细图像130注入到粗略图像110中。来自结构转移操作的中间分辨率图像120中提供的经改进的结构相似度显著地减少了层间的重影产物。第二种技术可被称为经修剪的拉普拉斯混合，并且该混合技术可以是最小化创建中间层时的模糊的高效构造。这种混合考虑了金字塔内全部层间图像差异的总和。

该过程可同时满足多分辨率和空间连续性。因此，图像金字塔的相邻层之间的视觉差异可被最小化。另外，可以保留粗略和精细图像二者的色彩特性。

通常使用对应像素的均方误差（MSE）来测量两个图像间的视觉差异。虽然这个简单的点态度量带来便利的线性系统，但它不能准确地捕捉人类视觉系统的知觉特性。相反，强调结构相似度（SSIM）的度量能够更加有效。具体而言，单独最小化MSE导致具有严重重影产物的图像金字塔。简单地最小化MSE的一个问题是由于重合失调、视差、或图像获取和处理中的许多其他无法避免的因素，粗略和精细图像具有结构细节上的差异。明确地考虑结构相似度有助于克服重影。

最大化结构相似度通常是非线形的问题，并且因此要直接解决则代价昂贵。为了得到高效的解决方案，该问题可被划分成两部分。第一，结构转移操作可用于最大化结构兼容性。该操作可将粗略图像修改为在保留其原始局部色彩特性的同时继承精细图像的细节。

第二，一旦结构上兼容的图像已被创建，则可使用MSE度量来最小化金字塔内的全部层间图像差异的总和。该差异函数可被明智地定义以避免信号模糊。虽然最小化MSE是线性问题，但对大型图像金字塔中全部像素的全局解决方案依然代价昂贵。可使用具有经修剪的拉普拉斯混合的高效构造来寻找一个好的近似解决方案。

图2是示出用于生成多分辨率图像金字塔的方法的实施例的高级概览的流程图。该方法可包括获得作为被定义对象的粗略图像来捕捉的图像的操作，如在框210。粗略图像的一个示例是某个地理区域的卫星图像（例如，Landsat图像）或被应用到3-D几何对象的粗略纹理。图像也可作为被定义对象的精细图像被捕捉，如在框220。粗略图像的一个示例是作为粗略图像的同一地理区域的航摄图像或被应用到3-D几何对象的精细纹理。可从计算机可读存储介质或计算机存储器中获得被定义对象的粗略图像和精细图像。

随后可对精细图像进行下采样以创建临时图像，如在框230。结构转移操作随后可被应用到该临时图像，以在保留来自临时图像的结构细节的同时转移来自粗略图像的色彩细节，如在框240。

可在临时图像与精细图像之间应用混合操作，以在精细图像与粗略图像之间为多分辨率图像金字塔中的至少一个中间层构建中间图像，如在框250。向临时图像应用结构转移操作和应用混合操作的操作可由计算机处理器在服务器上执行。

在一个实施例中，混合操作可以是经修剪的拉普拉斯混合。该拉普拉斯混合可包括应用一个混合操作，该混合操作将来自精细图像的拉普拉斯金字塔与根据粗略图像生成的拉普拉斯图像相混合。可根据精细图像生成具有多个经下采样的图像的精细拉普拉斯图像金字塔。类似地，可根据来自粗略图像的多个经下采样的图像来构建粗略拉普拉斯图像金字塔。拉普拉斯金字塔将单个图像表示为不同分辨率层的细节总和。换言之，拉普拉斯金字塔是通过形成表示高斯金字塔的连续层间的差异的图像来获得的带通图像金字塔。

在经修剪的拉普拉斯混合中，可通过从根层（最粗略层）到粗略图像层混合粗略拉普拉斯金字塔和精细拉普拉斯金字塔的对应层，来生成多分辨率金字塔的一个或多个中间图像（稍后用图6更详细地描述）。换言之，根据阿尔法参数α，将分辨率等于粗略图像或比其更粗略的拉普拉斯金字塔层混合到一起。另外，只从精细图像的拉普拉斯金字塔中取得分辨率层大于该粗略图像的拉普拉斯金字塔层。随后可通过对所得的拉普拉斯金字塔层求和来构建中间图像。例如，x_(c+1)是经混合的拉普拉斯金字塔L_(c+1)的总和。可对其他中间图像重复该汇总过程，并且稍后将更详细地描述此过程。

在图3中示出用于创建多分辨率图像金字塔的过程的框图。可使用结构转移320将粗略图像310与经下采样322版本的精细图像312相组合。稍后将更为详尽地描述结构转移操作。

接着，经修剪的拉普拉斯混合330创建中间层。最后，对经结构转移的粗略图像350（或临时图像）进行下采样340，使得其新的细节结构被传播到更加粗略的层360。

使用对图像的预处理来执行图像金字塔构造。因此，任何2D或3D客户机呈现器无需为了从被改进的多分辨率连续性中受益而被修改。预处理可发生在服务器370或具有多个处理器380和存储器390的计算云上，以服务于上面描述的预处理模块或操作。或者，所描述的预处理可被嵌入到固件或专用硬件中。

图像金字塔表示

图像金字塔可被表示为集合x={x₀，...，x_f}，其中最粗略的图像x₀包含单个像素，且每个图像x_l有2^l×2^l个像素。最常见的形式是高斯金字塔，其中每层包含低通过滤版本的给定精细图像x_f。它被表示为

并通过连续地应用下采样过滤器来形成：

其中稀疏矩阵D_l的行对过滤器权重进行编码。

另一种有用的形式是拉普拉斯或带通金字塔，其包含连续的高斯层之间的差异。更精确地，每个拉普拉斯层包含当前的高斯层与经上采样版本的下一较粗略的高斯层之间的差异：

为了定义上采样矩阵U，可以使用二次立方插值过滤器，它也被称为Catmull-Rom插值。该过滤器是两个1D过滤器的张量积。在金字塔上被求值后，每个1D过滤器在交替的像素上具有权重(-9111 29-3)／128和(-3 29 111-9)／128。

下采样过滤器可通过取上采样矩阵的转置矩阵（即

）来选择。从而，过滤器的1D权重是(-3-9 29 111 111 29-9-3)／256。该过滤器产生比具有权重(11)／2的简单箱式过滤器更好的结果。虽然已经描述了二次立方插值过滤器作为示例，但存在用于下采样和上采样过滤器的许多其他已知的过滤器选择。

从较粗略层k到较精细l层的上采样矩阵的乘积可被表示为

并且对于下采样矩阵

是类似的。图像计算可在期望的色彩空间（例如，Lab色彩空间或RGB（红、绿和蓝））中执行。

将描述用于创建图像金字塔的底层框架，之后是对实现该技术的示例过程和方法的更具体的描述。该过程的输入可以分别是粗略和精细图像

和

并且输出可以是图像金字塔层{x_l}。目标可以是在保留较粗略金字塔层的色彩特性的同时最小化连续的金字塔层之间的视觉差异。这两个目标可被表示为对目的的最大化：

$E\left(x\right)=\underset{l=1...f-1}{\mathrm{\Σ}}\mathrm{MSSIM}(D_l{x}_l,x_{l-1})+\underset{l=0...C}{\mathrm{\Σ}}\mathrm{Mlc}({\hat{x}}_l,x_l).---\left(1\right)$

第一项对全部相邻的金字塔层的平均结构相似度（MSSIM）求和。两个图像x、y的MSSIM(x,y)是全部对应的N×N（例如，11×11）个像素邻近区域

的平均SSIM。邻近区域SSIM被定义为这些因子之积：

SSIM(u，v)=l(u，v)·c(u，v)·s(u，v)

以邻近区域的平均色彩μ、标准偏差σ、和协方差σ_uv来定义亮度相似度l、对比度相似度c₁、和结构对比s：

$l(u,v)=\frac{2{\mathrm{\μ}}_u{\mathrm{\μ}}_v+c_1}{{\mathrm{\μ}}_u^2+{\mathrm{\μ}}_v^2+c_1},$ $c(u,v)=\frac{2{\mathrm{\σ}}_u{\mathrm{\σ}}_v+c_2}{{\mathrm{\σ}}_u^2+{\mathrm{\σ}}_v^2+c_2},$ $s(u,v)=\frac{{\mathrm{\σ}}_{\mathrm{uv}}+c_3}{{\mathrm{\σ}}_u{\mathrm{\σ}}_v+c_3}.$

用具有2个像素的标准偏差的空间高斯核（spatial Gaussian kernel）对这些邻近区域统计数据进行加权。小常数c₁，c₂，c₃存在以确保数值的稳定性。上面的乘积简化为：

$\mathrm{SSIM}(u,v)=\frac{(2{\mathrm{\μ}}_u{\mathrm{\μ}}_y+c_1)(2{\mathrm{\σ}}_{\mathrm{uv}}+c_2)}{({\mathrm{\μ}}_u^2+{\mathrm{\μ}}_v^2+c_1)({\mathrm{\σ}}_u^2+{\mathrm{\σ}}_v^2+c_2)}$

可对每个色彩通道独立地计算SSIM，并且可随后取各通道的均值。当两个图像相同时，MSSIM测量达到最大值1.0。

等式（1）的第二项测量原始与修改后的粗略图像层的色彩相似度。具体而言，平均亮度-对比度相似度仅保留前两个因子：

$\mathrm{Mlc}(x,y)=\frac{1}{\left|x\right|}{\mathrm{\Σ}}_{u\⋐x,v\⋐y}l(u,v)\·c(u,v),$

并因此忽略结构细节。由于较精细图像x_f在该构造中未被更改，因此可能没有必要测量较精细图像的色彩保真。

最大化E(x)的过程是针对大量可变量的非线性问题。近似方案遵循三步方法：

步骤1：用x_c来代替

以最大化

$\underset{x_c}{\max }\mathrm{Ms}(x_c,D_f^c{x}_f)+\mathrm{Mlc}(x_c,{\hat{x}}_c),---\left(2\right)$

其中第一项仅测量结构兼容性：

$\mathrm{Ms}(x,y)=\frac{1}{\left|x\right|}{\mathrm{\Σ}}_{u\⋐x,v\⋐y}s(u,v)$

该第一步骤发现新的粗略图像，该粗略图像在结构上与经下采样的精细图像相似，但其色彩特性与输入粗略图像

的色彩特性相匹配。结构转移过程是近似找到新的粗略图像的快速局部算法，该新的粗略图像在结构上与经下采样的精细图像相似，并且稍后将更详细地描述该结构转移过程。

步骤2：创建临时图像层，作为

$\underset{x_{c+1}...x_{f-1}}{\min }\underset{l=c..f-1}{\mathrm{\Σ}}\mathrm{MSE}(x_l,x_{l+1}).---\left(3\right)$

直观上，步骤1提供的结构兼容性可使用更简单的（线性）MSE度量来构建临时图像。此外，经修剪的拉普拉斯混合提供了对该优化的快速的近似方案，并且这将稍后更详细的描述。

步骤3：通过对x_c下采样来替换较粗略的层。

该下采样使得所有较粗略的层在结构上是相同的（即，对于1≤c，MSSIM(D_lx_l，x_l-1)=1）。由于

在步骤1中被最大化，并且下采样保留了亮度和对比度，因此对于较粗略层1<c来说，

还是较高的。

结构转移

粗略和精细图像通常来自不同的成像或摄像源，因此，这两个图像中的细节结构通常不会精确地对齐。因此，任意线性混合操作有效地创建了来自这两个图像的特征的重叠。

为了解决这个重影问题，使用来自较精细图像的细节。作出这个选择的动机是图像通常在获取分辨率设备的极限处被捕捉，并且可因此具有任意数量的缺陷（诸如，彩色畸变、传感器噪声、或去镶嵌差错）这一事实。通过使用高质量的下采样来组合较精细图像的许多像素，可减少这些缺陷。

因此，本技术可发现新的粗略图像x_c，该图像对（1）经下采样的精细图像

的结构细节和（2）原始粗略图像

的局部色彩分布进行组合。等式

和

分别是指结构和色彩图像。

在下面的讨论中，将分开地处理图像的每个色彩通道。对于每个色彩通道，可在两个图像的每个像素的邻近区域构建色彩的局部分布的模型，并且可以相对于结构图像S中的中央像素的邻近区域来使用中央像素的属性，以选择色彩图像C的邻近区域中的相同属性的色彩值。如图4所示，可用于这种计算的两个属性可以是统计的z-分数和排序属性。可为每个色彩通道分开地执行计算。

将首先讨论等级处理。为了转移等级，可为每个像素计算累积分布函数（CDF）和以分别得到图像邻近区域S和C中的值。对于每个像素，在结构图像S中查找像素的值v并将输出像素值设为

该本地等级转移可作为有窗口的直方图转移操作来查看，其旨在精确地再现C中的色彩通道分布。虽然等级处理是有用的，但该过程可能引入额外的噪声。

窗口转换的另一个方法是Z-分数。可通过转移像素窗口的z-分数（即，近似本地高斯概率分布函数）来获得有用的结果。在数学上，计算结构图像中邻近区域的均值μ_S和标准偏差σ_S。接着，可确定z-分数：z=(v-μ_S)／σ_S其中，v是中央像素的色彩，并且新的色彩可被获得作为v′=μ_C+zσ_C，其中μ_C和σ_C是色彩图像中的邻近区域统计数据。在这两种情况下，可使用2D高斯对窗口中的像素分布进行加权。在一个示例实施例中，可用（23²个像素窗口上的）5个像素的标准偏差来获得有用的结果。

z-分数转移近似于等式（2）的最大化，因为z-分数转移在更改与结构图像S相关的细节（z-分数）的同时保留了色彩图像C的局部亮度（均值μ）和对比度（σ）。该z-分数技术是贪婪近似，其中该技术独立地处理每个像素，而忽略如何同时修改邻近的像素值。在其他实施例中，可以使用更加集成或不那么贪婪的转换过程。

图5是示出使用用于生成图像的结构转移的方法的示例过程，该图像包括来自精细图像的图像结构细节以及来自粗略图像的色彩。在框510，可从计算机存储器获得图像，该图像作为被定义对象的粗略图像被捕捉。在框520，可从计算机存储器获得另一个图像，该图像已作为粗略图像中的被定义对象的精细图像被捕捉。粗略图像的一个示例是卫星照片，而精细图像的一个示例是航空照片。在框530，可对精细图像进行下采样以创建临时图像。

在框540，可选择该临时图像中的目标像素。接着，在框550，可在逐个通道的基础上为目标像素的像素窗口计算目标色彩直方图。类似地，在框560，可使用计算机处理器在逐个通道的基础上为粗略图像中对应像素的像素窗口确定源色彩直方图。可在“逐个通道”的基础上为具有多个色彩通道的图像执行结构转移算法。该图像也可被转换成与图像的原始色彩空间不同的色彩空间，以改进结构转移的结果。例如，输入图像可位于RGB（红、绿、蓝）色彩空间中，并且该图像随后可被转换成Lab色彩空间以改进结构转换。一般而言，可在任何色彩空间中执行结构转移。

在框570，可参考目标色彩直方图来计算目标像素的统计数据。例如，可以为临时图像的像素窗口在累计分布函数中标识目标像素的等级。发现目标色彩直方图以及对应像素窗口的源色彩直方图允许对临时图像中的多个目标像素执行本地化窗口直方图转移操作，并且允许用来自粗略图像的源色彩代替目标像素色彩。在框580，可用统计数据来计算源色彩直方图中的源色彩。例如，可使用粗略图像中像素窗口的累计分布函数中的目标像素的排序来选择源色彩，并且可将排序应用到临时图像中的目标像素，以选择被应用到目标像素的源色彩。在框590，随后可用源色彩来代替目标像素元素。

或者，可通过应用来自粗略图像中的相关像素的色彩来标识要被应用到目标像素的源色彩，该粗略图像在像素窗口中具有与临时图像中的目标像素相同的标准偏差。可使用色彩概率分布函数，诸如高斯概率分布函数。另外，可以为局部像素窗口计算色彩概率分布函数中目标像素的色彩的z-分数。随后，该z-分数可被应用到粗略图像中对应像素的源的局部像素窗口的色彩概率分布函数，以便从粗略图像中选择被应用到目标像素的源色彩。

金字塔构造

如前面所讨论的，为了创建临时图像{x_l|c＜l＜f}，对连续层之间的像素差异进行最小化：

$\underset{x_{c+1}...x_{f-1}}{\min }\underset{l=c..f-1}{\mathrm{\&Sigma;}}\mathrm{MSE}(x_l,x_{l+1}),---\left(4\right)$

均方误差项MSE(x_l，x_l+1)的精确定义是相关的。可考虑两个定义。第一个方法对应于简单形式的线性插值并导致不期望的模糊。在此被定义为拉普拉斯混合的第二个方法更能保留图像细节。

由于等式（4）定义了稀疏的线性系统，因此可使用迭代解算器对该线性系统求解。然而，通过对下采样过滤器D和上采样过滤器U应用特定的约束，可使用更高效的算法直接获得等式（4）的全局最小值。一个具体的约束是过滤器被假设成彼此正交且互为转置：

$D_l{D}_l^T=\frac{1}{4}I$ 以及 $D_l=U_{l-1}^T.$

满足这两个约束的一个低通过滤器是箱式过滤器，而该箱式过滤器由于其不合乎需要的频率特性而不适于图像的重新采样。幸运的是，在此定义的快速构造方法在结合更高阶过滤器时引入非常小的近似误差，更高阶过滤器具有更好的频率响应但不是严格正交的，并且因此不能满足假设。此处描述的假设和/或约束用于使分析更容易。实际上，这个假设（或约束）不为真，但由于该不正确的假设而引入的误差可被示出是小的。

简单的线性插值

首先，可将较精细图像与经上采样的较粗略图像之间的层间MSE定义为：

MSE(x_l，x_l+1)=4^-1||x_l+1-U_lx_l||².                  (5)

在此，因子4^-1说明在计算平均误差时层l的像素数量。直观上，最小化等式（5）寻求使得较精细图像的每个像素看起来像是放大版本的较粗略图像。

为了使用等式（5）来发现最小化等式（4）的图像{x_l}，参考层x_l来取部分偏差并将其设为0：

$2\left(4^{-(l-1)}\right)(x_l-U_{l-1}{x}_{l-1})-2\left(4^{-l}\right)U_l^T(x_{l+1}-U_l{x}_l)=0$

$(\frac{1}{4}{U}_l^T{U}_l+I)x_l=U_{l-1}{x}_{l-1}+\frac{1}{4}{U}_l^T{x}_{l+1}.$

定义

和D_lU_l-1=I使

被重写为4D_l+1U_l=4I，以获得局部约束：

$x_l=\frac{1}{2}(U_{l-1}{x}_{l-1}+D_{l+1}{x}_{l+1}).---\left(6\right)$

换言之，给定层的图像应当等于其相邻层（近似重新采样）的平均。

通过对原始粗略和精细图像的简单线性重新采样和插值来发现该变分问题的直接解。

$x_l=(1-{\mathrm{\&alpha;}}_l)U_c^l{x}_c+{\mathrm{\&alpha;}}_l{D}_f^l{x}_f$ 其中 ${\mathrm{\&alpha;}}_l=\frac{l-c}{f-c}.---\left(7\right)$

然而，这个解不那么合乎需要，因为精细图像的细节通过模糊对粗略图像的采样被衰减。

经修剪的拉普拉斯混合

在经修剪的拉普拉斯方法中，层间视觉差异可被定义为经下采样的较精细图像与较粗略图像之间的MSE：

MSE(x_l，x_l+1)=4^-1||D_l+1x_l+1-x_l||².                (8)

这个对目标函数的小改动根本上更改了结果。具体而言，下采样约束需求更少。鉴于等式（5）中之前的函数寻求使较精细图像的全部n²个像素看起来是放大的较粗略图像，改进的等式（8）寻求使较精细图像的(n/2)²个经加权的均值看起来是较粗略图像。

为了使用等式（8）来发现最小化等式（4）的{x_l}，参考层x_l来取部分偏差并将其设为0：

$2\left(4^{-(l-1)}\right)D_l^T(D_l{x}_l-x_{l-1})-2\left(4^{-l}\right)(D_{l+1}{x}_{l+1}-x_l)=0$

两侧预先乘以

获得结果：

$4D_l{D}_l^T(D_l{x}_l-x_{l-1})-D_l(D_{l+1}{x}_{l+1}-x_l)=0$

使用恒等式

得到下面：

$(D_l{x}_l-x_{l-1})-(D_{l+1}^{l-1}{x}_{l+1}-D_l{x}_l)=0$

$(D_l+D_l)x_l=x_{l-1}+D_{l+1}^{l-1}{x}_{l+1}.$

因此，发现局部约束：

$D_l{x}_l=\frac{1}{2}(x_{l-1}+D_{l+1}^{l-1}{x}_{l+1}).---\left(9\right)$

换言之，对每个图像的下采样应当是下一个较粗略图像与经两次下采样的下一个较精细图像的混合组合。

存在满足局部约束（9），并因此全局地最小化等式（9）的高效构造。这被称为拉普拉斯金字塔方法，该方法将以三个连续的更高效的计算形式来呈现。

解形式1。如先前定义的，首先形成图像x_f的高斯金字塔和拉普拉斯金字塔并从粗略图像类似地构造

为了形成每个中间图像X_l，通过从根层（最粗略层）到粗略图像层混合两个图像的对应拉普拉斯层来创建新的拉普拉斯金字塔

其中α₁如在等式（7）中那样被定义。如图6所示，该过程可被称为经修剪的拉普拉斯混合。经修剪的拉普拉斯混合通过在迭代地添加完整的精细细节的同时对拉普拉斯金字塔的各粗略层进行平滑地过渡，来创建中间像素图像。如果跨全部层来混合两个拉普拉斯金字塔，则这将重新创建所描述的使用简单线性插值的不那么有效的解决方案。

每个临时图像可被重新构建为：

解形式2。还可通过线性地混合粗略图像与粗略版本

的精细图像，并添加回精细图像的拉普拉斯细节

来获得相同的解决方案：

解形式3。最后，表达式可被再次转换以获得避免必须计算并将拉普拉斯金字塔存储在一起的甚至更简单的形式。我们从等式（13）获得

如图7所示，在该形式中，计算粗略图像与经下采样的精细图像之间的差异d_c，将该差异上采样到中间层，并且经上采样的差异被淡入到高斯金字塔中。图7示出该过程作为具有3个步骤的高效混合算法：（1）下采样以形成高斯金字塔710，（2）计算粗略层差异720，以及（3）将差异淡入到金字塔730。

等式（14）的解提供了简单的重现，该重现使所有层在两次通过金字塔结构的高效序列中被评估。该过程的结果比简单线性插值的前一方法尖锐得多。以下是该方法的伪代码清单：

(x_c+1...x_f-1)←ClippedLaplacianBlend(x_c，x_f){

／／通过连续的精细-到-粗略的

for l=f-1...c    ／／下采样操作

／／来创建X_f的高斯金字塔。

／／计算粗略差异。

for l=c+1...f-1／／遍历高斯金字塔，

d=U_l-1d    ／／对差异图像进行上采样，

α_l=(l-c)／(f-c)／／并在每层添加

／／被淡化的部分。

}

图8是示出用于生成在跨多个查看比例的视觉转移中使用的多分辨率图像金字塔的高效操作的流程图。在框810和820，可从计算机存储器获得被定义对象的粗略图像和精细图像。在框830，可使用精细图像来生成具有多个经下采样的图像的高斯图像金字塔。

在框840，临时图像可被定义为高斯图像金字塔内具有与粗略图像相同的分辨率的层，并且可定义中间图像，该中间图像是临时图像的副本。在框850，结构转移操作随后可被应用到该临时图像，以将色彩细节从粗略图像转移到中间图像。对结构转移操作的使用是图8中虚线所示的过程的可选部分，并且可与结构转移方法相独立地使用经修剪的拉普拉斯混合方法。

另外，在框860，可根据具有结构转移细节的中间图像与临时图像之间的差异来生成或计算差异图像。随后，差异图像可被上采样到高斯图像金字塔的连续较精细层中。可以为每个金字塔层对差异图像进行上采样，并且可在高斯图像金字塔的每层将经上采样的差异图像混合到每个图像中。

另外，在框870，可用阿尔法混合（即，线性插值）将差异图像混合到高斯图像金字塔中。阿尔法混合可以是分级量的阿尔法混合，并且该分级的阿尔法混合可随着高斯图像金字塔中经下采样图像的大小降低而增加。每层的分级量的阿尔法混合可由

来定义；其中l是正被混合的高斯图像金字塔的层的索引值，f是精细图像的层索引值，并且c是粗略图像的层索引值。

图9示出了用于生成在视觉过渡中使用的多分辨率图像金字塔的系统。下面描述的模块中的每一个可以是执行所指定的过程的硬件模块。或者，模块中的每一个可以是服务器，其具有多个被联网到一起以执行该模块所期望的过程的处理器。其一个示例可以是刀片服务器或计算场。

获取模块910可被配置成获得被定义对象的粗略图像。粗略图像可具有被指定的分辨率大小。获取模块还可获得与被定义对象的视图相对应的被定义对象的精细图像。如之前所讨论的，这些图像可以是卫星和航空图像，或者图像可以是纹理的不同分辨率级。

下采样模块920可对精细图像进行下采样以创建具有粗略图像大小的临时图像。一旦已经执行了下采样，结构转移模块930可对临时图像应用结构转移操作，以将色彩从粗略图像转移到临时图像，以便构成中间图像。结构转移可保留来自临时图像的结构细节。

图像差异模块940可根据具有结构转移细节的中间图像与临时图像之间的差异来计算差异图像。上采样和混合模块950可使用差异图像与高斯图像金字塔的混合，来将差异图像上采样到高斯图像金字塔的连续较精细层中，该高斯图像金字塔具有用于图像层的分级层的阿尔法混合。

虽然已经使用正交过滤器描述了该技术，但该过程还可与非正交过滤器一起使用。在前述部分中开发的快速算法假设使用正交的上/下采样过滤器。然而，我们已经选择的立方过滤器不是严格正交的，并且将因此引入一些少量的误差。现在将讨论所描述的技术中的用于使用非正交过滤器的误差分析。可将根据本技术得出的结果与通过使用高斯-塞德尔迭代法对等式（4）直接最小化所获得的参考解进行比较。为两个结果集测量等式（4）中的误差项，经修剪的拉普拉斯混合结果与参考图像通常相差不到1％，最大差异在3％以下。在主观上，结果在视觉上是无法区分的。

本技术的示例应用是地理映射。由于图像可能是非常大的（例如，可能覆盖地球），因此图像通常被分割成小块，以供高效的处理和通过因特网的快速递送。幸运的是，所讨论的技术（结构转移和经修剪的拉普拉斯混合）可操作仅访问本地数据。

可将图像

维护在与输入相对应的数千个小块中。成本昂贵的磁盘访问的最小化也是有价值的。然而，在处理大的图像金字塔的处理过程中，一些小块被临时地存储到磁盘，而新的小块被计算。为了有效地管理这个问题，可针对所描述的过程的访问模式来定制小块高速缓存。

可提前知道小块访问次序，因此可采用经优化的高速缓存策略。该策略是驱逐未来最远需要的小块。此外，小块访问次序可用于将小块预先高速缓存到背景线程中。对于任何给定的小块，小块数据依赖性次序通常是已知的。因此，在已经计算了小块之后，可检查小块的依赖性，并且不需要其来计算未来小块的那些小块可被立即驱逐。按照希尔伯特曲线次序生成最精细级的小块还提供有效的高速缓存性能。

示例数据集可以是对墨卡托（Mercator）投影中常规网格采样的地球表面的图像。在图像金字塔中，最粗略的分辨率（0级）包含单个256²文件小块。最精细的级（20级）在概念上包含2⁴⁰个这种小块，但被相当稀疏地定义。可从包括以下各项的若干源获得示例输入图像：8层（4-G像素）可以是卫星图像，13层（4-T像素）可以是“Landsat”卫星图像，并且14层及以上可包含稀疏地定义的航空照片。因此，在大多数区域，存在两个跨比例的不连续的过渡：从8层到9层，并且从13层到14层。

所描述的技术可改进这两种过渡。在该示例中，可针对8到9层的全部地球、以及针对13到14层的若干区域进行校正。为了校正8到9层的外观不连续，8层可用作粗略图像

并且11层作为精细图像经修改的层有8到10层。可用经结构转移的结果x_c来代替8层。为了校正从13到14层的不连续，13和17层可被分别用作

和在该示例情形中，由于这些图像资源之间外观上的较大差异，增加从3层到4层的过渡层的数量可能是有益的。在稀疏地定义精细尺度内容的情况下，修改细节结构不会引起有害的空间裂缝。

已经描述了允许根据不相似的图像来快速创建平滑的视觉金字塔的技术，并且已经针对具有各种内容的大的数据集演示了实际结果。视觉上连续的图像金字塔能对不同比例的不同的图像数据源进行组合。

本说明书中描述的功能单元中的一些被标记为模块以更具体地强调它们的实现独立性。例如，模块可被实现为硬件电路，该硬件电路包括自定义VLSI电路或门阵列，诸如逻辑芯片、晶体管等现货半导体，或其他分立组件。模块还可用可编程硬件器件来实现，如现场可编程门阵列、可编程阵列逻辑、可编程逻辑器件等。

模块也可以用由各种类型的处理器来执行的软件来实现。所标识的可执行代码的模块例如包括计算机指令的一个或多个块，该计算机指令可被组织成对象、过程、或函数。然而，所标识的模块的可执行代码不必在物理上位于一处，而是可包括存储在不同位置的不同指令，当这些指令在逻辑上联合在一起时组成该模块并实现该模块的规定目的。

确实，可执行代码的模块可以是单个指令或许多指令，并且甚至可分布在若干不同的代码段、不同的程序、以及若干存储器设备之间。类似地，可以标识操作数据并在模块内示出，并且可以用任何合适的形式来实现且被组织在任何合适类型的数据结构内。操作数据可以作为单个数据集来收集，或可以分布在多个位置，包括分布在多个存储器设备中。各模块可以是被动的或主动的，包括可操作来执行所需功能的代理。

而且，在一个或多个实施例中，可以用任何合适的方式组合所描述的特征、结构或特性。在以上描述中，提供了众多具体细节，如各种配置的示例，以提供对本发明各实施例的全面理解。然而，本领域技术人员会认识到本发明也可在没有一个或多个具体细节的情况下实施，或者采用其他方法、组件、设备等来实现。为了避免模糊本发明的各方面，在其他情况下，未示出和描述公知的结构或操作。

尽管已经用结构特征和/或操作专用的语言描述了本主题，但要理解，所附权利要求书中定义的主题不必限于所描述的具体特征或操作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。在不背离本发明的精神和范围的情况下，可以作出许多修改和替换安排。

Claims (10)

1.一种用于生成多分辨率图像金字塔的方法，包括：

获得作为被定义对象的粗略图像来捕捉的图像；

获得作为所述被定义对象的精细图像来捕捉的另一个图像；

对所述精细图像进行下采样以创建临时图像；

对所述临时图像应用结构转移操作，以在保留来自所述临时图像的结构细节的同时转移来自所述粗略图像的色彩细节；以及

在所述临时图像与所述精细图像之间应用混合操作，以在所述精细图像与所述粗略图像之间为所述多分辨率图像金字塔中的至少一个中间层构建中间图像。

2.如权利要求1所述的方法，其特征在于，还包括应用一混合操作，所述混合操作是经修剪的拉普拉斯混合。

3.如权利要求1所述的方法，其特征在于，还包括应用一混合操作，所述混合操作将来自所述精细图像的拉普拉斯金字塔与根据所述临时图像生成的拉普拉斯图像相混合。

4.如权利要求1所述的方法，其特征在于，还包括：

根据所述精细图像形成具有多个经下采样的图像的精细拉普拉斯图像金字塔；

根据所述粗略图像构建具有多个经下采样的图像的粗略拉普拉斯图像金字塔；

通过形成第三拉普拉斯金字塔来形成每个中间图像，所述第三拉普拉斯金字塔通过从根层到所述粗略图像层混合所述粗略拉普拉斯金字塔与精细拉普拉斯金字塔的对应层来形成。

5.如权利要求1所述的方法，其特征在于，还包括从计算机可读存储介质检索所述被定义对象的所述粗略图像和精细图像。

6.如权利要求2所述的方法，其特征在于，向所述临时图像应用结构转移操作和应用混合操作的操作可由服务器通过计算机处理器来执行。

7.一种生成在视觉过渡中使用的多分辨率图像金字塔的系统，包括：

获取模块，被配置成获得被定义对象的粗略图像以及与所述被定义对象的视图相对应的所述被定义对象的精细图像，所述粗略图像具有一大小；

下采样模块，被配置成对所述精细图像进行下采样，以创建具有所述粗略图像的所述大小的临时图像；

结构转移模块；被配置成对所述临时图像应用结构转移操作，以将色彩从所述粗略图像转移到所述临时图像，同时保留来自所述临时图像的结构细节以形成中间图像；

图像差异模块，被配置成根据具有结构转移细节的所述中间图像与所述临时图像之间的差异来计算差异图像；以及

上采样和混合模块，被配置成使用将所述差异图像混合到高斯图像金字塔中，来将所述差异图像上采样到高斯图像金字塔的连续较精细层中，将所述差异图像混合到高斯图像金字塔中是用用于图像层的分级层的阿尔法混合来实现的。

8.如权利要求7所述的系统，其特征在于，所述结构转移模块还被配置成使用处理器来根据具有结构转移细节的所述中间图像与所述临时图像之间的差异计算差异图像。

9.如权利要求7所述的系统，其特征在于，所述上采样和混合模块被配置成将所述差异图像混合到所述高斯图像金字塔的每层的每个图像中。

10.如权利要求9所述的系统，其特征在于，所述上采样和混合模块被配置成使用分级量的阿尔法混合来将经上采样的差异图像添加回到所述高斯图像金字塔的每层。

Images