CN102770887A

CN102770887A - 用于从输入图像产生像素分辨率提高的输出图像的方法和系统

Info

Publication number: CN102770887A
Application number: CN2011800072432A
Authority: CN
Inventors: R·法特尔; G·弗里德曼
Original assignee: Yissum Research Development Co of Hebrew University of Jerusalem
Current assignee: Yissum Research Development Co of Hebrew University of Jerusalem
Priority date: 2010-01-28
Filing date: 2011-01-27
Publication date: 2012-11-07
Also published as: KR20130001213A; US20120328210A1; WO2011092696A1; EP2529353A1; US8867858B2; JP2013518336A

Abstract

一种方法和系统(30)从输入图像(20)产生像素分辨率提高的输出图像(21)，所述输入图像(20)被非二进尺度放大以产生像素比输入图像多的尺度放大图像(22)，并且被低通滤波以产生平滑图像(23)。高细节图像(24)通过减法产生，并且对于尺度放大图像中的每个像素，识别包含该像素的斑片(25)。平滑图像的局部化区域(27)内的最适合斑片(26)通过在平滑图像中紧邻尺度放大图像中的所述斑片的映射位置进行搜索来找到。尺度放大图像的斑片中的每个像素通过唯一地添加高细节图像中与最适合斑片对应的等同斑片中的对应像素的值来校正，并且储存校正的尺度放大图像以用于进一步处理。

Description

用于从输入图像产生像素分辨率提高的输出图像的方法和系统

相关申请：本申请要求2010年1月28日递交的临时申请序号No.61/299,036的权益，该临时申请的内容通过引用被包括在本文中。

技术领域

本发明总地涉及计算机图像处理领域，更具体地涉及用于数字颜色校正的系统和方法。

现有技术

下面列出了被认为是作为背景与本发明相关的现有技术参考文献，并且它们的内容通过引用被并入本文。这些参考文献在本文的确认不被推断为意思是指这些参考文献以任何方式与本文所公开的本发明的专利性相关。每篇参考文献用方括号中所包括的数字标识，因此，现有技术在整个说明书中将用方括号中所包括的数字指代。

[1]Aly，H.和Dubois，E.2005。使用全变差正则化与新观察模型的图像上采样(Imageup-sampling using total-variation regularization with a new observation model)。IEEE会刊/图像处理14、10，1647-1659页(IEEE Trans.Image Processing 14，10，1647-1659)。

[2]Barnsley，M.1988。真实世界图像的分形建模(Fractal modelling of real worldimages)。斯普林格出版社纽约分社出版的由H.-O.Peitgen和D.Saupe编辑的《分形图像科学》(The Science of Fractal Images，H.-O.Peitgen and D.Saupe，Eds.Springer-Verlag，NewYork)。

[3]Bhat，P.，Zitnick，C.L.，Snavely，N.，Agarwala，A.，Agrawala，M.，Curless，B.，Cohen，M.和Kang，S.B.2007。使用照片来增强静态场景的视频(Using photographs to enhancevideos of a static scene)。欧洲制图学会2007年出版的由J.Kautz和S.Pattanaik编辑的《呈现技术》，327-338页(Rendering Techniques 2007，J.Kautz and S.Pattanaik，Eds.Eurographics，327-338)。

[4]Ebrahimi，M.和Vrscay，E.R.2007。使用自身实例来求解图像变焦的逆问题(Solvingthe inverse problem of image zooming using self-examples)。Proc.ICIAR 2007。斯普林格出版社出版的《计算机科学讲义》第4633卷，117-130页(Lecture Notes in Computer Science，vol.4633.Springer，117-130)。

[5]Farsiu，S.，Robinson，M.，Elad，M.，和Milanfar，P.2004。快速且鲁棒的多帧超分辨率(Fast and robust multi-frame super resolution)。图像处理，IEEE会刊13、10(十月)，1327-1344页(Image Processing，IEEE Transactions on13，10(Oct.)，1327-1344)。

[6]Fattal，R.2007。通过强加的边缘统计的图像上采样(Image upsampling via imposededge statistics)。ACM会刊/图形26、3、95(ACM Trans.Graph.26，3，95)。

[7]Freeman，W.T.，Jones，T.R.和Pasztor，E.C.2002。基于实例的超分辨率(Example-based super-resolution)。IEEE计算、图形、应用22、2(三月)，56-65页(IEEEComput.Graph.Appl.22，2(March)，56-65)。

[8]Freeman，W.T.，Pasztor，E.C.和Carmichael，O.T.2000。学习低级视觉(Learninglow-level vision)。Int.J.计算版本40，1(十月)，25-47页(Int.J.Comput.Vision40，1(October)，25-47)。

[9]Glasner，D.，Bagon，S.和Irani，M.2009。来自单个图像的超分辨率(Super-resolutionfrom a single image)。ICCV09.349-356。

[10]Li，X.和Orchard，M.T.2001。新型边缘引导插值(New edge-directed interpolation)。IEEE会刊/图像处理10、10，1521-1527页(IEEE Trans.Image Processing 10，10，1521-1527)。

[11]Lin，Z.和Shum，H.-Y.2004。基于重构的超分辨率算法在局部平移下的基本限制(Fundamental limits of reconstruction-based super-resolution algorithms under localtranslation)。IEEE会刊/图案分析Mach.Intell.26、1，83-97页(IEEE Trans.Pattern Anal.Mach.Intell.26，1，83-97)。

[12]Mallat，S.1999。《信号处理的小波巡回变换(第二版)》(A wavelet Tour of SignalProcessing，Second Edition(Wavelet Analysis&Its Applications(小波分析及其应用)))。学术出版社(Academic Press)。

[13]Polidori，E.和Dugelay，J.-L.1995。使用迭代函数系统的变焦(Zooming usingiterated function systems)。NATO ASI：关于图像编码和分析，挪威，特隆赫姆，1995年7月8日至17日，(In NATO ASI on image coding and analysis，July8-17，1995，Trondheim，Norway)。

[14]Pollock，S.和Cascio，I.2007。非二进小波分析优化(Non-dyadic wavelet analysisOptimisation)，《计量经济学及财务分析》，167-203页(Econometric and Financial Analysis，167-203)。

[15]Pratt，W.K.2001。美国纽约John Wiley&Sons公司(PIKS inside)《数字图像处理》(Digital Image Processing：PIKS Inside.John Wiley&Sons，Inc.，New York，NY，USA)。

[16]Reusens，E.1994。基于迭代函数系统理论的用于图像编码的重叠自适应分割(Overlapped adaptive partitioning for image coding based on the theory of iterated functionssystem)。1994年声学、语音以及信号处理。(Acoustics，Speech，and Signal Processing，1994)。ICASSP-94.，1994年IEEE国际会议，Vol.v.V/569-V/572vol.5(ICASSP-94.，1994IEEEInternational Conference on.Vol.v.V/569-V/572vol.5)。

[17]Robert，M.G.-A.，Denardo，R.Tenda，Y.和Huang，T.S.1997。使用分形编码的图像分辨率增强(Resolution enhancement of images using fractal coding)。《可视通信和图像处理》’97，1089-1100页(Visual Communications and Image Processing’97.1089-1100)。

[18]Shan.Q.，Li，Z.，Jia，J.和Tang，C.-K.2008。快速图像/视频上采样(Fast image/videoupsampling)。ACM会刊/图形26、5、1-7(ACM Trans.Graph.27，5，1-7)。

[19]Su，D.和Willis，P.2004。相关三角形划分上的像素级图像插值(Image interpolationby pixel-level at a dependent triangulation)。《计算机图形论坛》23、2，189-202页(ComputerGraphics Forum 23，2，189-202)。

[20]Suetake，N.，Sakano，M.和Uchino，E.2008。基于局部自相似性的图像超分辨率(Image super-resolution based on local self-similarity)。《光学评论期刊》15、1(一月)，26-30页(Journal Optical Review 15，1(January)，26-30)。

[21]Sun，J.，Ning Zheng，N.，Tao，H.和Yeung Shum，H.2003。具有原始简约图先验知识的图像幻觉(Image hallucination with primal sketch priors)。IEEE关于计算机视觉和模式识别(CVPR)的会议论文集，729-736页(Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition(CVPR).729-736)。

[22]Sun，J.，Xu，Z.和Shum，H.-Y.2008。使用梯度分布先验知识的图像超分辨率(Imagesuper-resolution using gradient profile prior)。2008年的《计算机视觉和模式识别》(Computer Vision and Pattern Recognition，2008.CVPR 2008)。IEEE会议1-8(IEEEConference on.1-8)。

[23]Tappen，M.F.，Russell，B.C.和Freeman，W.T.2004。用于处理图像的高效率图形模型(Efficient graphical models for processing images)。Proc.CVPR 2004.673-680。

[24]Thévenaz，P.，Blu，T.和Unser，M.2000。图像插值和重采样(Image interpolation andresampling)。美国加州圣地亚哥的学术出版社出版的由I.Bankman编辑的《医学成像、处理和分析手册》，393-420页(Handbook of Medical Imaging，Processing and Analysis，I.Bankman，Ed.Academic Press，San Diego CA，USA，393-420)。

[25]Vrscay，E.R.2002。从分形图像压缩到基于分形的数学方法(From Fractal ImageCompression to Fractal-Based Methods in Mathematics)。IMA数据及其应用卷，斯普林格出版社纽约分社(The IMA Volumes in Mathematics and Its Applications.Springer-Verlag，New York)。

[26]Xiong，R.，Xu，J.和Wu，F.2006。支持非二进空间可分级的基于提升的小波变换(Alifting-based wavelet transform supporting non-dyadic spatial scalability)。2006年IEEE国际会议《图像处理》，1861-1864页(Image Processing，2006IEEE International Conference.1861-1864)。

技术领域

本发明涉及图像处理，具体涉及提高图像分辨率或图像尺度放大(upscaling)。

背景技术

提高图像分辨率或图像尺度放大是具有挑战性的、实践和理论重要性高的基本图像编辑操作。虽然现今的数码摄像机生成高分辨率图像，但是在将受益于分辨率增强的移动设备和监控系统中发现存在许多低分辨率图像以及低级传感器。从其本质上讲，图像尺度放大需要基于输入像素来预测数百万个未知像素值，所述输入像素构成该数量的一小部分。尺度放大还与各种其他问题(诸如图像修补、去模糊、去噪和压缩)密切相关。

可能的是，最简单形式的单图像尺度放大使用分析插值公式(比如，双线性和双三次方案)来预测新像素。然而，自然图像包含非常明显的不连续性(诸如物体边缘)，因此，不遵从这些方法所假设的分析平滑性。这导致沿着边缘的几种明显的伪像，诸如振铃、阶梯效应(也通称为“锯齿状图形”)和模糊效应。图像尺度放大已被计算机图形、机器视觉和图像处理群体广泛研究。多年以来研发的方法在它们的公式化方面不同，并且强调它们所使用的先验图像模型和输入数据。这里，我们简要地描述针对该问题的主要方法和这些方法背后的原理。我们集中关注作为我们的新方法的假设设定的单图像尺度放大方法。

经典的、最简单的方法使用线性插值，以便预测中间像素值。该方法通常使用线性滤波(诸如双线性和双三次滤波器)来实现，并且常见于商业软件中。这些插值核被设计用于空间平滑或带限信号(在自然图像中情况通常并非是这样)。真实世界的图像通常包含奇异部分(singularity)，诸如边缘和高频纹理区域。结果，这些方法遭受各种边缘相关的视觉伪像，诸如振铃、混叠、锯齿状图形和模糊。Thevenaz等人[25]提供了这些方法及其评估的更详尽的调查。

更复杂的方法采用基于图像内容的插值权重。例如，Li等人[10]采用根据局部边缘方位的插值权重，Su等人[20]选择四个最近像素中的三个用于线性插值。这使得可以减小振铃效应，并且获得稍微尖锐的边缘。非二次平滑函数获得可以用于尺度放大的不同类型的非线性图像正则化。例如，Aly和Dubois[1]通过使全变差函数最小化来放大图像。Shan等人[19]使用复杂的反馈控制架构来使相似的度量最小化，所述反馈控制架构在将输出图像尺度缩小到输入分辨率时保持输出图像与输入图像一致。

受自然图像统计学的最近研究的启发，几种方法使用随机马尔可夫场模型来定义尺度放大图像的空间上的概率密度。输出图像在许多情况下通过使这些模型最大化来计算。这些方法可以分为两大类：定义非参数化的基于实例的模型的一类和基于分析图像建模的一类。

基于实例的图像放大被Freeman等人[8]探究，并在[Freeman等人7]中被进一步研发。该图像预测模型依赖于实例斑片(example patch)的数据库，这些实例斑片被分解为低频带(即，平滑版本)和剩余的更高频带。输入图像通过使用分析插值而被插值为更高分辨率，丢失的高频带然后从实例斑片预测。匹配根据实例斑片的低频分量来执行。该方法能够生成跨图像(物体边缘处和细纹理区域中这两处)的貌似真实的细节。然而，数据库中相关实例的缺乏导致噪声相当大的图像，这些图像沿着弯曲边缘显示出不规则性。较大型数据库的使用由于在最近邻搜索中增加了比较而导致更耗时。近似最近邻搜索的使用提供有限的解决方案，因为它引入了它自己的误差。Tappen等人[24]也使用基于斑片的模型，并且要求输出与输入一致。

受Barnsley[2]的早期工作(其研究图像的分形性质及其对图像压缩的应用)的激发，Robert等人[18]和Vrscay等人[26]使用包含额外的解码步骤的分形压缩方案来对图像进行插值。该方法遭受非常明显的块伪像，这些块伪像可以通过如Reusens[16]和Polidori等人[13]所公开的那样将范围块重叠来减小。基于这些工作，Ebrahimi和Vrscay[4]使用多个较小尺度的输入图像作为依赖于小斑片中的自相似性的实例斑片的源。虽然这提供了与通用数据库相比大小有限的实例数据库，但是如我们稍后所示出的，该实例数据与正被放大的输入图像的相关性要大得多。Suetake等人[21]在与Freeman等人[7]类似的架构中也使用输入图像来计算后来用于估计丢失的高频带的实例码书(codebook)。

最近，几种参数化图像模型被提议用于尺度放大。这些方法使分析模型适合于描述显示不同尺度的统计依赖性的各种图像特征。Fattal[6]对从输入提取的边缘描述符与更高分辨率的梯度之间的关系进行建模。Sun等人[23]使用关于重构边缘轮廓的全分析先验知识。这些方法比它们的基于实例的对应方法快得多，并且能够再生成没有明显噪声的尖锐边缘。然而，所得的图像趋向于显得有点不真实，因为它们由一般化的边缘构成，这些一般化的边缘通常使颜色区块(color plateaus)分离。Sun等人[22]描述了将基于实例的建模和参数化建模组合在一起的马尔可夫随机场。

除了单图像尺度放大之外，许多文献还处理多帧超分辨率，其中在平移偏移处获取的同一场景的多次抓拍用于产生该场景的单个高分辨率图像。还提出了使用鲁棒的正则化来处理限制该操作的噪声[5、11]。考虑到静态场景的高分辨率照片，Bhat等人[3]通过从这些照片呈现像素来增强该场景的视频。最近，Glasner等人[9]将多帧技术和基于实例的超分辨率技术统一起来，并且导出单图像方法。该方法使用多帧超分辨率的形式体系来获得相差子像素偏移的采样，所述形式体系仍依赖于图像中的自相似性。

局部自相似性

Freeman等人[7]使用从任意自然图像获取的小斑片的通用实例数据库。其他则依赖于图像内的自相似性[2、26、21、9]；自然图像中的小斑片趋向于跨其尺度在图像内重复它们自身。这使得外部数据库可以用以较小尺度获取的、作为实例斑片的源的输入图像自身来替代。虽然与具有任意大小的外部数据库相比这提供了有限数量的实例斑片，但是在输入图像内找到的斑片对于对它进行尺度放大更加相关。因此，在许多情况下，可以在缩短最近邻搜索中所涉及的时间成本的同时使用更少的实例并且获得相同或者甚至更好的结果，所述最近邻搜索已知是非参数化的基于实例的图像模型的主要瓶颈。

发明内容

本发明提出一种新型的高质量、高效率的单图像尺度放大技术，该技术在几方面扩展了现有的基于实例的超分辨率架构。图1展示了本发明自然图像中的局部尺度不变性方法，其中，小斑片10基于小的尺度缩放(scaling)因子与它们自身非常相似。该性质适用于各种图像奇异部分，诸如如图1所示的直边和带拐角的边缘，这些图像奇异部分通过利用自然图像中的局部尺度相似性来显示图像尺度放大。尺度缩小(downscale)时的斑片10与它们的剪裁版本11非常相似。该关系适用于各种类型的奇异部分。本发明使用该观察结果来进一步采用Ebrahimi和Vrscay[4]的方法，并且在输入图像中的极其局部化的区域处搜索实例斑片。将该局部化搜索与用于获得实例斑片的其他可替换方法进行比较表明，就计算时间和匹配误差这二者而言，它的表现明显好得多。

还可以看出，尺度不变性假设更好地适用于小的尺度缩放因子，在小的尺度缩放因子上，找到相关性更大的更多的实例斑片。因此，根据一些实施方案，本发明执行多个小尺度缩放因子的尺度放大步骤来实现所需的放大倍率大小。本发明使用专用的新型滤波器组来实现这些非二进(non-dyadic)尺度缩放，所述专用的新型滤波器组是我们针对N+1∶N上采样和下采样比率而导出的。这些新型滤波器是基于用于对尺度放大过程进行建模的几个原则来设计的。在这些原则之中，要求滤波器为近乎双正交，以使得在预测丢失的高频带之前上采样图像与早期的输入图像一致。这通过减小基于实例的学习阶段所需的预测量来更好地利用输入数据，并且导致视觉真实感提高。虽然迄今为止提出的方法通过求解大型反投影方程组来实现该要求，但是根据本发明的滤波器组通过显式(因此，高效率的)计算来实现该一致性。

根据本发明，提供一种计算机实现的方法，所述方法用于从具有多个像素的输入图像产生像素分辨率提高的输出图像，该方法包括：

将输入图像储存在第一存储器中；

通过对输入图像进行非二进尺度放大以使得尺度放大图像中的每个像素映射到输入图像中的少量像素来产生像素比输入图像多的尺度放大图像；

通过对输入图像进行低通滤波来产生平滑图像；

产生高细节图像，在所述高细节图像中，每个像素值为输入图像中的对应像素值与平滑图像中的对应像素值之间的差值；

对于尺度放大图像中的每个像素，识别包含所述像素连同少量相邻像素的斑片(patch)；

通过在平滑图像中搜索位置位于紧邻(in close proximity to)尺度放大图像中的斑片的映射位置的斑片来在平滑图像的局部化区域内找到最适合斑片；

通过唯一地添加高细节图像中与平滑图像的最适合斑片对应的等同斑片中的对应像素的像素值来校正尺度放大图像的所述斑片中的每个像素；以及

将校正的尺度放大图像储存在第二存储器中以用于进一步处理。

根据本发明的方法能够生成高质量的分辨率增强，并且可以同样地应用于视频序列，而不在算法中进行修改。根据本发明的局部化搜索和显式滤波器计算允许非常高效率的实现，并且当将低分辨率视频增强到高清晰度格式时报告实时GPU性能。

由于算法的速度高，所以与迄今为止所提出的方法相比，它可以用于实时地产生尺度放大的输出图像，而不牺牲图像质量。

附图说明

为了理解本发明并且领会实践中如何实现它，现在将仅以非限制性实施例的方式参照附图来描述实施方案，在附图中：

图1示出通过利用自然图像中的局部尺度相似性的图像尺度放大；

图2示意性地示出根据本发明的尺度放大方案；

图3是示出当以不同尺度缩放因子对图像进行上采样时局部化搜索中的误差的曲线图；

图4a至图4c在用于实现最终放大因子3的不同尺度缩放步骤之间进行比较；

图5是示出各种搜索策略的误差对时间成本的曲线图；

图6比较使用不同搜索技术按因子3进行尺度放大的图像；

图7a和图7b示出网格关系和滤波器放置；

图8a至图8d示出具有重复的图像；

图9a至图9e示出近乎双正交滤波器与在没有这样的考虑的情况下设计的滤波器之间的比较；

图10是根据本发明的实施方案实现的主要操作的示意图。

具体实施方式

尺度放大方案

本发明所使用的基本尺度放大方案与以前所使用的架构[7、21、24]密切相关。然而，我们用我们现在描述的新型特定应用的组件来替代它所使用的大多数组件。第一贡献是我们提议使用的实例斑片的可替换的源。以下，我们讨论并测量自然图像中的完善的尺度相似性性质。现有方法所使用的相似性假设利用跨图像在其多个尺度上的相似性。我们完善这个假设，并且观察到自然图像中的各种奇异特征在小的尺度缩放因子下与它们自身相似。我们称其为局部自相似性的这个性质使得我们可以在输入图像中的相同的相对坐标周围的非常有限的邻域中搜索并找到相关的实例斑片。与全局图像搜索或外部数据库中的搜索相比，该方法大大缩短了最近斑片检索时间。

这以下述效果实现，即，在多个尺度上不包含精确重复的大多数图像中没有明显的视觉受损。在我们的实验中，我们验证，当应用小因子尺度缩放时，在输入图像的有限相对领域中可以找到非常相关的斑片。因此，为了使该方法有效，我们通过在多个小的放大倍率因子步骤中对图像进行尺度缩放来使实例斑片中所存在的数据量及其相关性最大化。这通过使用我们的第二个新组件来实现：新型的专用非二进滤波器组。我们在下面描述的这些滤波器组定义执行小于2的因子的尺度缩放的插值运算符

和平滑运算符这些新型的滤波器组所实现的另一所需性质是通过显式计算与输入图像的一致性，而不如前面的方法那样求解反投影方程。

图2示出根据本发明的尺度放大方案。来自上采样图像13的低频带的斑片12与其在低通输入图像16中的小窗口15内的最近斑片12′匹配(箭头14)。输入中的匹配斑片的上频带17用于(箭头18)填入输出的上采样图像中的丢失的上频带。在粗像素网格

上所定义的输入图像I₀给定的情况下，我们通过下述方式开始，即，使用我们的将图像从

映射到的线性插值运算符

将它插值到细网格

其中

是具有增大尺度缩放因子(随l增长)的分辨率的矩形像素网格。该初始上采样图像

缺少其与尺度缩放因子成比例的上频带的一小部分。该丢失的频带然后使用非参数化的基于斑片的模型来预测，所述模型不依赖于外部实例数据库，而是利用如下的局部自相似性假设。实例斑片从输入图像的平滑版本

提取，其中

是将图像从映射到

的下采样运算符，并且也由我们的专用滤波器组定义。高频预测通过下述方式进行，即，首先将上采样图像

中的每一个斑片

与其在平滑输入中的最相似斑片匹配。该搜索不是针对

中的每一个斑片执行，而是对有限的小窗口(在图2中标记为15)执行，所述有限的小窗口居于

中的相同的相对坐标的中心，作为查询斑片p在

中的中心坐标。如我们稍后所解释的，这要求两个图像在光谱上兼容，我们在设计

和

时确保在光谱上兼容。输入图像中匹配斑片处的补充高频内容

用于通过简单地粘帖它来填入上采样图像中丢失的高频带，即，

由于邻近斑片之间的重叠而导致的对于同一像素的不同量被一起平均。该方案的独特性在以下部分中详细描述。

本发明完善了自然图像中的自相似观察结果，并且表明，常出现在自然图像中并且需要分辨率增强的各种奇异部分(诸如边缘)对于尺度缩放变换具有不变性，因此，以实例为基础与它们自身相似。我们将这个性质称为局部自相似性，因为它意味着相关的实例斑片可以在非常有限的斑片集合中找到；对于图像中的每一个斑片，非常相似的斑片可以在其在相同的相对坐标周围的局部化区域处的尺度缩小(或平滑)版本中被找到。对于包含强度不连续性(即，图像中的边缘)、不连续的一阶导数(即，面状表面的阴影)的斑片，情况就是这样。如图1所示，这些孤立的奇异部分可以以不同的几何形状(比如，线、拐角、T形接头、圆弧等)出现。本发明利用该局部相似性来将最近斑片搜索中所涉及的工作从依赖于图像像素的数量缩减到极其小并且为固定的。我们这里描述对局部自相似性的适用程度进行量化的几个实施例，并且将其使用与其他斑片搜索方法进行比较。

在第一个实施例中，我们对局部自相似性在各个尺度缩放因子上的适用程度进行量化。图3示出当以不同的尺度缩放因子对图像进行上采样时局部化搜索中的查询斑片与检索斑片之间的平均

误差，所述尺度缩放因子是在用每个颜色通道的平均强度将该颜色通道归一化(normalize)之后在RGB颜色空间(0与1之间的像素值)中计算得到的。查询斑片是5×5像素窗口，对于尺度缩放因子N+1∶N，搜索在2(N+1)×2(N+1)像素窗口中执行。图中的曲线图清楚地表明，误差随尺度缩放比率变大而增大。这可以如下进行解释。大的尺度缩放因子涉及计算实例图像时较强的平滑。这等同于用大的因子对输入图像进行尺度缩小(并且通过用大的因子对输入图像进行尺度缩小来实现)。在这个过程中，图像特征将变得彼此更接近，并且实例斑片将不再包含遵从尺度不变性假设的纯孤立奇异部分。图4a至图4c示出不同的尺度缩放步骤如何影响最终的尺度放大图像。所使用的尺度缩放序列为：(图4a)2∶1、3∶2、(图4b)5∶4、5∶4、4∶3、3∶2以及(图4c)重复五次的5∶4。大的因子所生成的伪像(在这种情况下为二进)是清晰的。考虑到这一点，我们通过执行多个小因子尺度缩放步骤来对图像进行尺度放大，以实现所需的最终放大倍率。以下描述使用根据本发明的专用滤波器组实现这些小的非二进尺度缩放的方式。

在第二个例子中，我们比较通过各种方法检索的斑片的质量以及运行时间。这里同样，我们使用归一化RGB颜色空间中的5×5像素的斑片，并且报告从按因子5∶4进行尺度放大的六个测试图像估计的平均值。图5示出使用以下搜索获得的结果：10×10像素窗口、20×20像素窗口内的局部搜索以及整个输入图像中的精确最近搜索和近似最近领域搜索。这些测试按照5∶4尺度缩放因子执行，并且该曲线图的时间轴按对数尺度显示。该曲线图表明，我们所提出的局部(local)搜索比使用被设置到各种误差界限的基于kd的近似最近邻搜索算法更精确，并且快得多。与局部化搜索相比，在整个输入图像中穷尽地搜索最近斑片没有实现精度的显著提高——事实上，在这二者之间存在80％的一致。实际上，这两种搜索策略之间的显著视觉差异的缺乏被图6a至图6c证实，图6a至图6c示出通过使用外部数据库中的最近搜索(Ext.DB)、整个图像内的最近斑片(NN)以及使用我们的局部化搜索(LSS)按照因子3进行尺度放大的图像。大于2(N+1)×2(N+1)像素的窗口内的搜索没有实现质量的显著提高，还要花费多于四倍的时间进行计算。

此外，我们对外部数据库的使用进行了测试，该外部数据库由Freeman等人[7]所使用的六个图像构成，并且用包含相同数量的总像素的另一高细节图像充实。尽管具有更多的实例斑片并且使用精确最近邻搜索，但是如图6所示，这种选择导致明显更高的误差。除了该数据库的相关性较低之外，与图像自身相比，基于低频带计算的最近斑片可能是有歧义的。实际上，Freeman等人[7]还基于正在构建的高频分量来匹配斑片。该解决方案在搜索斑片时引入了空间依赖性，这破坏了计算的局部性和显式性。

优于现有技术方法的改进

通过使用根据本发明的基于实例的图像尺度放大而受到支持的局部自相似性使本发明区别于迄今为止所提出的方法。我们的测试表明，与搜索整个图像相比，该相似性所允许的局部搜索实现显著的加速，而几乎没有质量成本。然而，Glasner等人[9]表明，通过在整个输入图像内跨尺度进行搜索，可以找到同一特征的不同实例。图8a至图8d示出找到并利用这样的重复的情况。图8a示出输入，图8b至图8d分别示出所选区域19的输入像素、通过本发明方法生成的输出以及Glasner等人[9]的结果。为了找到数据中的这些重复，Glasner等人[9]在多个尺度上执行彻底搜索，所述多个尺度相差小的非二进因子和小的平移偏移。虽然该方法加大了最近邻搜索力度，但是与沿着一般的自然图像中的大多数边缘找到的局部自相似性相比，这种类型的重复很少。另外，在Glasner等人的方法中，输出图像通过求解超分辨率以及反投影大型线性方程组来计算。如下所述，本发明使用由局部计算和显式计算构成的自定义滤波器组来合成尺度放大的图像。总而言之，根据本发明的方法在搜索实例斑片时和在构造输出图像时都是在局部上作用，并且如下所述，允许完全并行的实现。

非二进滤波器组

上述测试的主要结论是，小的局部化斑片搜索是有效的，只要尺度缩放因子小即可。因此，我们执行多个小因子尺度缩放步骤来实现所需的放大倍率。上述尺度放大方案使用分析线性插值运算符

和平滑运算符

来计算用于产生实例斑片的初始上采样图像和平滑的输入图像。这些运算符的选择对于本发明是重要的，并且这些滤波器组应该遵从几个条件，以便对图像尺度放大过程进行建模。其中图像维度翻倍的二进图像尺度放大通常都是通过在每两个像素之间添加零来对图像进行插值，之后进行滤波步骤。二进尺度缩小包括首先对图像进行滤波、然后每隔一个像素进行二次采样。尺度缩小操作等同于前向小波变换中的粗级别近似系数的计算，尺度放大对应于在不添加任何细节(小波)分量的情况下应用的逆小波变换。事实上，诸如Mallat[12]所公开的小波理论主要涉及这样的尺度缩放方案和滤波器组的设计和分析。该大型文献提供遵从我们在这里即将讨论的所有要求或大多数要求的不计其数的滤波器组用于计算二进变换。然而，对于尺度缩放因子不为2的非二进情况可以用的非常少。Xiong等人[27]使用提升方案来计算用于图像编码的3∶2尺度缩放。它们的构造将线性函数映射到它所包含的相同值，同时每隔两个值地跳过。因此，它不重构一次多项式，如我们将在下面所讨论的，该一次多项式对于我们的应用非常重要。Pollock等人[14]描述了正交对称的香农式小波，这些小波是无限的，因此，不适合我们的需要。虽然小波包分析[12]概括了光谱盖瓦树(spectral tiling tree)，但是在普通的二进空间设置中仍然主要实现它。

这里，我们推导将小波变换的二进尺度缩放扩展到N+1∶N尺度缩放因子的形式体系。图7a和图7b图示说明用于N＝2和N＝4的情况的这个形式体系。图7a示出以5∶4比率紧靠细网格(顶部)放置的粗网格(底部)。细网格上的非零系数的放置用红色示出，并且用单色表现为致密的灰色阴影。图7b图示说明3∶2尺度缩放因子的两个滤波器的轮廓。如图所示，粗网格点

和细网格点

的相对放置的周期率为N。除了二进情况N＝1之外，没有理由期待滤波器具有严格平移不变性；它们可以将在一个网格处采样的线性斜坡函数映射到在粗(或细)网格处采样的相同函数，滤波器权重将必须适于网格之间的不同的相对偏移(图中可见)，因此，在N个滤波器的每个周期内不同。因此，在没有进一步的空间依赖性的情况下，N+1∶N变换包括对于N+1个网格点的周期具有平移不变性的滤波，因此需要N个截然不同的滤波器，以便处理不规则的网格关系。实践中，这意味着尺度缩小运算符可以使用在

中执行的N个标准的平移不变性滤波操作来计算，之后每N+1个像素对每个滤波图像进行二次采样，以生成

中的全部N个值。形式上，这用以下公式给出：

其中，p＝N mod N，q＝(N-p)/N，滤波器d₁，…，d_N是N个不同的平滑滤波器，滤波器镜像用

给出，*表示离散卷积。二进情况的相似扩展适用于上采样步骤；周期N内的每个采样用不同的上采样滤波器u₁，…，u_N进行滤波。然后如下累加这些滤波图像：

其中，零上采样运算符用

定义，否则为零。

构成映射的滤波器及其逆通称为双正交滤波器[12]。在我们的推导中，如果我们首先进行上采样、然后进行下采样，即，

则可能需要这个关系。

不能期待按逆序应用运算符得到恒等映射，因为

和

的空间维度不同。形式上，运算符之间的关系(3)就滤波器而言可以用以下公式表达：

对于每一个整数k和1≤i，j≤N，其中<·，·>是常见的点积，当k＝0时，

否则为零、当下采样时生成与输入一致的上采样图像的重要性从以下描述将变得明白。

当产生用于我们算法的高频预测步骤的低频和高频实例斑片时，平移不变性或N+1个网格点周期中的平移不变性的缺乏引入了较少的复杂化。由于彼此不同，N个不同的滤波器对相同输入信号作出不同的响应。因此，当比较并粘帖斑片时，它们的输出在高通预测步骤中绝不能混合在一起。为了避免这一点，我们在N+1个像素的偏移范围内搜索实例，以使得相同的滤波器响应总是一起对齐。我们然后通过创建多个实例图像

来补偿实例斑片的这种数量减少，所述多个实例图像通过将输入图像I₀沿着每个轴偏移1，…，N+1个像素而生成。因此，总而言之，实例斑片的数量保持与我们在单个像素的偏移范围内搜索的相同，并且没有使滤波值相互混合在一起。

与小波基的结合

该推导不包括高通小波滤波器，高通小波滤波器通常跨越细空间

的高频子空间，该高频子空间是上采样滤波器u_i所跨越的空间的补空间。原因是我们在我们的尺寸放大方案中不使用它们；高通预测步骤直接在像素值中填入高通层，而不是填入细节系数(通常与小波滤波器相乘以得到像素值)。在像素分辨率中工作避免了小波滤波器所引入的空间分辨率的丢失，并且在基于斑片的合成中导致更好的质量结果。

然而，由于不限制高频层到高频小波补空间的合成，低频近似层也将受该步骤(即，ui所跨越的上采样图像)影响。因此，与输入的一致性将被破坏。然而，我们的测试表明，预测的高频层在下采样时具有不明显的效应，并且使合成图像的强度偏离输入大约1％。

滤波器设计

这里，我们描述我们遵循其设计上采样滤波器和下采样滤波器以使得它们对图像尺度放大过程进行建模的指导原则。

(C1)统一尺度缩放。当对图像进行尺度放大和尺度缩小时，我们想通过相似性变换(空间统一尺度缩放变换)来使得所得的图像不同。这样的变换使每两个点之间的距离改变固定因子(图像网格之间的尺度缩放因子)。该性质可以借助于线性函数施加于我们的上采样运算符和下采样运算符上。线性函数示出固定距离dx的点之间固定差值I(x+dx)-I(x)。因此，我们要求我们的运算符保持线性函数的形状，即，将

处定义的线性函数映射到上定义的线性函数，反之亦然。准确再现线性函数的这个条件是小波设计文献[12]中常用的消失矩条件的对应条件。

(C2)低频跨距。摄像机具有有限点扩展功能，并且包含模糊抗混叠滤波器。这用于限制信号(场景)的带宽，以大致地根据传感器采样速率来满足采样定理。这对和

二者都有影响。尺度缩小运算符因此应该对在

处采样信号之前所需的模糊量与

的较低采样速率所需的较强模糊的差异进行建模。这是将

设计为传递低频带的低通滤波器的习惯作法[15]的根据。该频带的长度大致与尺度缩放比率(在我们的情况下，N/(N+1))成比例。

相似条件适用于插值运算符

如以上所讨论的，摄像机滤波根据输入图像的低采样速率来限制信号的光谱。初始上采样图像

应该包含以较高采样速率呈现的该数据。因此，

的再生核必须跨越这个低频子空间，该低频子空间跨越光谱的较低的M(N+1)带。

(C3)奇异部分保持。如上所述的丢失的高频带的预测和奇异部分的适当重构依赖于来自初始上采样图像的斑片与输入的平滑版本中的斑片的适当匹配。为了获得准确匹配，平滑图像

和初始上采样图像L₁＝U(D(I₀))中的奇异部分必须具有相似形状。事实上，这对下采样运算符

而不是上采样运算符提出了条件，因为

和

者都由构造，这意味着这二者之间的任何差异不能归因于

实践中，当生成I_-1时，如果下采样运算符

保持I₀中出现的边缘状奇异部分的形状，则满足这个条件。

(C4)一致且最优的再现。一些现有方法[24、6、19]从下述意义上来讲要求最终上采样图像应该与输入一致，即，如果它降回输入分辨率，则它必须与输入图像相同。我们主张这应该也是早期阶段的情况；初始上采样图像

必须已经与输入一致，即，

因为它包含密集网格中所保存的相同信息。然而，因为

所以该条件相当于

即，(3)中所定义的逆关系。换句话讲，定义上采样运算符和下采样运算符的滤波器必须遵从双正交性条件(4)。

实现这个性质意味着不需要预测步骤来撤销否则将发生的数据的丢失(或弱化)。原始像素的这种最优使用的重要性在图9a至图9e中被证明，其中，图9a中示出输入图像。图9b和图9c示出初始上采样图像，该初始上采样图像在它被下采样为输入分辨率(即，

)之后不运行高频预测步骤。图9d和图9e示出根据本发明的尺度放大方案的输出。显著边缘(salient edge)在两种情况下都被很好地再现，但是，双正交性的缺乏导致图像中细节的丢失，这使得它显得不是那么真实。以上所提及的现有方法通过使用线性求解程序或者经由非线性迭代方案对

进行求解，来隐含地加强输出图像I₁上的这个关系。通过将我们的滤波器组设计为使得它们近乎双正交，我们通过显式(因此，高效率的)计算来逼近

上的这个条件。由于在前面部分中所解释的不准确的双正交性和高频预测步骤的效果，我们的最终图像I₁将不会与I₀准确一致。然而，我们的测试表明，

与I₀的总偏差就像素强度值而言大约为2％，这在视觉上是不明显的。

在附录中，我们解释我们如何使用这些条件来定义新型非二进滤波器组。这需要解决两个主要难题。第一个难题由以下事实引起，即，我们需要定义包括少数非零系数的紧凑滤波器，以便实现“简单的”低频和高频实例图像。具有大的支持的滤波器(filters with largesupport)遭受它们对不同邻近边缘的响应的干扰。这破坏了奇异部分之间的分离(separation)，该分离对于它们的尺度不变性是必需的。另一方面，少数自由度使得我们不能充分遵从我们在上面所列出的所有设计条件。我们通过在优化问题中放松一些目标要求来多重决定性地处理这个问题，而不是将它们作为硬性约束来处理。第二个难题源于双正交性条件(4)的非线性。这些方程使得滤波器设计难以同时求解或优化所有的未知滤波器系数。我们通过下述方式克服这个问题，即，首先计算下采样滤波器d_j，而不考虑双正交性条件(4)，然后在考虑双正交性的同时，对于已知的d_j，计算ui。

在表1中，以附录，我们提供我们使用该架构而获得的用于生成我们的所有结果的最优滤波器。

结果

我们用C++实现我们的方法，并且在Intel Core 2Quad CPU 2.8GHz机器上运行它。由于以下原因，我们使用逐渐变大的尺度缩放比率来执行尺度放大。随着图像大小增大，邻近奇异部分变得更加孤立，使得我们可以使用更强的平滑，而不破坏以上所讨论的图像奇异部分的尺度不变性性质。记住这个考虑因素，我们使用我们的滤波器所支持的小因子(即，5∶4、4∶3和3∶2)来逼近所需的放大倍率因子。例如，为了实现放大倍率3，我们使用5∶4、5∶4、4∶3和3∶2，对于因子4，我们使用5∶4、5∶4、4∶3、4∶3和3∶2。我们然后使用简单的双三次尺度缩小来准确地匹配所需的放大倍率因子。我们在YCbCr颜色空间中实现该方案，其中，我们仅将高频添加到Y通道。与使用RGB颜色空间相比，这使得能够加速大约3倍。对于我们所测试的尺度缩放因子，我们没有观察到质量降低。

当我们在单个内核上运行时，沿着每个轴将200×200像素的图像尺度放大4倍花费我们4秒。我们的方法显然是并行的，因为图像中的不同区域在我们的显式计算中是去耦合的(uncoupled)，这意味着运行时间可以进一步被除以内核数量。我们利用我们的算法的这个并行性质，并且还在使用Cuda 3.0的Nvidia^TM Gefroce^TM 480GTX GPU上实现它，而算法上没有改变。该实现使得我们可以以23.9FPS(包括显示时间)将视频从640×360尺度放大到1920×1080(因子为3)。我们使用4∶3、3∶2和3∶2的尺度缩放步骤。

我们将我们的尺度放大图像的质量与通过当前的最先进方法以及领先的商品GenuineFractals^TM所生成的结果进行比较。Glasner等人[9]的方法重构比我们的方法所重构的边缘尖锐一点的边缘，但是也生成了少量振铃和锯齿状图形。我们的方法在搜索斑片时执行少得多的计算，并且避免了求解大型线性组，因此，即使在单核实现中，它也运行得快得多于一个数量级。尽管是基于实例的方法，但是我们的运行时间也比针对使用分析模型的方法[6、18、22]报告的时间要短。

视频尺度放大。我们没有进一步修改地使用我们的尺度放大方法来放大视频序列的分辨率。与Shan等人[18]的方法类似地，在连续帧之间没有观察到闪烁伪像。如Shan等人所指出的，我们也观察到一致性条件C4负责稳定输出。在补充材料中，我们将我们的方法与他们的方法进行比较，并且获得高质量结果。我们在CPU和GPU实现中的运行时间也较短。

图10总结了根据本发明的用于从具有多个像素的输入图像20产生像素分辨率提高的输出图像21的方法所执行的主要操作。该方法包括将输入图像储存在存储器中。通过对输入图像20进行非二进尺度放大以使得尺度放大图像中的每个像素映射到输入图像中的少量像素来产生像素比输入图像多的尺度放大图像22。通过对输入图像20进行低通滤波来产生平滑图像23，并且产生高细节图像24，在高细节图像24中，每个像素值是输入图像20中的对应像素值与平滑图像23中的对应像素值之间的差值。

对于尺度放大图像22中的每个像素，识别包含该像素连同少量相邻像素的斑片25。通过在平滑图像23中搜索位置位于紧邻尺度放大图像22中的斑片的映射位置的斑片来在平滑图像的局部化区域27内找到最适合斑片26。通过添加高细节图像24中与平滑图像23中的最适合斑片26对应的等同斑片中的相应像素28的值来校正尺度放大图像22的斑片25中的每个像素。

一旦执行这个步骤，就对连续像素进行处理，并且对于每个像素定义不同的斑片。通常，每个像素在包含5×5像素的斑片的中心处，但是不同大小的斑片也是可行的。当以这种方式处理连续像素时，如此定义与相应像素对应的连续重叠斑片。将意识到的是，高细节图像24中与平滑图像23的最适合斑片对应的等同斑片中的对应像素的像素值必须仅被添加到输出图像21一次。这在实践中可以通过按双程(two-pass)方法执行所述方法来进行，其中，在第一行程中，识别最适合斑片，并且确定需要被添加到输出图像的像素值。在第二行程中，然后将计算的像素值添加到输出图像。在可替换的方法中，一旦像素值被添加到输出图像，就可以锁定该像素的地址，以便防止高细节值相对于后一斑片被添加。在又另一种方法中，在将与最适合斑片相关联的像素值添加到输出图像之前对该像素值进行归一化，以使得在每次迭代添加基于斑片数量的平均值。

将意识到的是，与当前像素对应的最佳高细节内容不能被立即写入到尺度放大图像，因为这样做将改变被提取用于搜索下一像素所需的最佳实例的下一斑片。结果，将被添加到尺度放大图像的高细节像素数据必须被储存在其他地方(高细节缓冲器中)，并且仅当整个图像或子图像被处理时，才将该高细节像素数据添加到尺度放大图像，以产生输出图像。

此外，如现在所解释的，在将高细节像素数据添加到尺度放大图像之前，必须对该高细节像素数据进行归一化。因为斑片包含多个像素，所以连续斑片将每个都包含相同像素中的一些。以简单实施例的方式，如果每个斑片包含5×5像素，则如果每个连续斑片通过将斑片水平移动一个像素来得到，则每个连续斑片将丢失前一斑片中的五个像素，并且将得到不在前一斑片中的五个新像素。但是其余的15个像素将在两个斑片中。与多于一个的斑片共有的像素相关的高细节数据必须仅被写入到尺度放大图像一次。因此，在将高细节数据添加到尺度放大图像以提供输出图像之前，我们用写入到高细节缓冲器中的值的数量将高细节缓冲器中的每个像素归一化(将高细节缓冲器中的每个像素除以写入到高细节缓冲器中的值的数量)。

产生尺度放大图像包括将原始图像值复制到尺度放大图像并且随后进行滤波。输入图像可以通过下述方式来被非二进尺度缩放N∶M，即，从输入图像创建N个尺度放大图像，将输入图像中的连续像素复制到N个尺度放大图像的连续像素，并且在连续复制像素之间留下M个像素的间隙。N个图像中的每个用不同的滤波器进行滤波；然后将这N个图像相加，以生成合成图像。

根据一些实施方案，用于尺度放大的N个不同的滤波器适于准确地重构固定图像，以使得如果源的所有像素值相同，则尺度放大图像的像素值也将会是如此。

根据一些实施方案，用于尺度放大的N个不同的滤波器适于准确地重构线性图像函数。

输入图像可以通过下述方式进行平滑，即，从N个不同的滤波器中的每个产生第二组双正交的N个滤波器，并且组合每组N个滤波器中的对应滤波器，以便产生用于平滑的另一组不同的滤波器。

在计算机资源有限的情况下，或者在需要较高处理速度的情况下，输入图像可以被分为多个子图像，并且所述方法独立地在每个子图像上执行。处理速度可以通过同时处理子图像来提高。

图11是示出根据本发明的系统30的功能的框图，系统30包括用于储存表征输入图像(图10中的20)的像素数据的第一存储器31。通常，图像由摄像机32捕捉，摄像机32可以与第一存储器耦合，以使得摄像机图像可以被实时地处理。应该指出，本发明借助于改进的算法使得实时处理成为可能，所述改进的算法由于下述事实而使得可进行非常快的图像处理，即，高细节通过仅在平滑图像的非常小的局部化区域中进行搜索来找出。因为平滑图像和尺度放大图像都是从输入图像导出的，以使得平滑图像和尺度放大图像中的每个像素映射到输入图像的相应像素，所以尺度放大图像中的任何斑片的位置可以被映射到平滑图像中的用于找到最适合斑片的小区域。这避免了处理整个图像的需要，并且使得可以快速地找到高细节。非二进尺度放大模块33与第一存储器31耦合，以用于通过对输入图像进行非二进尺度放大以使得尺度放大图像中的每个像素映射到输入图像中的少量像素来产生像素比输入图像多的尺度放大图像(图10中的22)。第一缓冲器34与非二进尺度放大模块33耦合，用于储存表征尺度放大图像的像素数据。

低通滤波器35与第一存储器35耦合，用于通过对输入图像进行低通滤波来产生平滑图像，并且第二缓冲器36与低通滤波器35耦合，用于储存表征平滑图像的像素数据。减法模块37与第一存储器31和第二缓冲器36耦合，用于产生高细节图像(图10中的24)，在所述高细节图像中，每个像素值是输入图像中的对应像素值与平滑图像中的对应像素值之间的差值。第三缓冲器38与减法模块37耦合，用于储存表征高细节图像的像素数据。

斑片分配模块39与第一缓冲器耦合，适于识别连续斑片，所述连续斑片中的每个均包含尺度放大图像中的相应像素连同少量相邻像素。与斑片分配模块39和第二缓冲器36耦合的最适合斑片模块40在位置位于紧邻尺度放大图像中的每个连续斑片的映射位置的平滑图像的局部化区域内搜索，以便找出与相应斑片最匹配的最适合斑片。校正模块41与最适合斑片模块40和第三缓冲器38耦合，用于通过唯一地添加高细节图像中与平滑图像的最适合斑片对应的等同斑片中的对应像素的像素值来校正尺度放大图像的斑片中的每个像素。第二存储器42与校正模块耦合，用于储存尺度放大图像的校正像素以用于进一步处理或者用于供与其耦合的显示设备43进行显示。

还将理解的是，根据本发明的系统可以是适当编程的计算机。同样，本发明考虑可被计算机读取的用于执行本发明方法的计算机程序。本发明还考虑机器可读存储器，其有形地实施可被机器执行的用于执行本发明方法的指令的程序。

附录

如上所述，我们使用两个运算符：尺度放大运算符其用于创建初始尺度放大图像；和尺度缩小运算符

其与尺度放大运算符一起用于使输入图像平滑。这些运算符中的每个均由其自己的滤波器集来定义。这里，我们描述我们如何基于以上在子标题“滤波器设计”下所讨论的原则C1-4设计这些滤波器。如我们在那里所解释的，这些滤波器的支持应该保持尽可能地紧凑，以便避免使滤波器对不同图像特征的响应混合在一起。设计原则提出了比我们愿意分配给滤波器的非零系数的数量多的条件。因此，我们不能完全遵从这些条件，并且放松优化问题中的一些目标要求，而不是将它们作为硬性约束进行处理。另外，双正交性条件C4创建

和的滤波器之间的非线性关系，并且使得它们的计算成为一个困难问题。我们通过如下将滤波器设计分为两个线性子问题来克服该非线性。尺度缩小运算符

对物理图像获取过程进行建模，因此可以首先与无关地进行计算。上采样滤波器在第二步骤中计算，并且确保双正交性以及其他性质。

为了正确地对图像获取过程进行建模，尺度缩小运算符

应该执行空间统一尺度缩放。如我们在C1中所解释的，线性函数上可能需要这一点；尺度缩小运算符应该将在G_l+1上定义的线性函数映射到在G_l上定义的线性函数。因此，我们定义

其中，

a是尺度缩放因子(N+1)/N，并且要求

除了这个要求之外，我们想通过确保对奇异部分进行建模的函数f在两个尺度之间被正确地映射来使

遵从奇异部分保持原则C3。我们通过如下使尺度缩小的f与在分析上尺度缩放的f之间的距离最小化来实现这一点：

我们使用高斯函数

来对奇异部分进行建模，并且将它移动子像素偏移μ，并且将它拉伸等于σ的量，以将数据可以进入的所有偏移和尺度考虑在内。M是归一化因子，等于累加项的项数。此外，我们想根据C2使

跨越低频，并且通过以下目标实现这一点：

其中，

是离散微分运算符。这等同于使

在傅里叶域中的功率谱最小化，该功率谱是拉普拉斯矩阵的特征值。总而言之，我们得到以下受约束的优化问题：

其中，

用于给所述两个目标分配优先级。通过应用拉格朗日乘子规则，我们获得我们对其进行求解以得到的小型线性方程组。

在所计算的尺度缩小滤波器

给定的情况下，我们现在可以以相似的方式计算上采样滤波器u_i。这里的主要差别是，我们对双正交性条件C4进行优化，并且省略奇异部分保持目标项。双正交性条件通过将(3)松弛为以下目标来实现：

其中，k跨越索引，其中，相邻的与u_i重叠，

是规范化常数，其等于累加项的项数。该项促使对应的尺度缩小滤波器与尺度放大滤波器之间的点积为1，否则为0。

如

的计算中那样，我们想根据C2使u_i跨越低频，并且通过相似项来实现这一点，

我们将两个目标对象优化为统一尺度缩放约束C1，C1在这种情况下为：

其中，

最后，所得的关于u_i的优化问题为：

其中，

用于给两个目标分配优先级。

在表1中，我们提供了我们使用这些计算构造的滤波器。粗体的系数对应于滤波器的中心。

Claims

1.一种计算机实现的方法，所述方法用于从具有多个像素的输入图像(20)产生像素分辨率提高的输出图像(21)，所述方法包括：

将所述输入图像储存在第一存储器(31)中；

通过对所述输入图像进行非二进尺度放大以使所述尺度放大图像中的每个像素映射到所述输入图像中的少量像素来产生像素比所述输入图像多的尺度放大图像(22)；

通过对所述输入图像进行低通滤波来产生平滑图像(23)；

产生高细节图像(24)，在所述高细节图像(24)中，每个像素值是所述输入图像中的对应像素值与所述平滑图像中的对应像素值之间的差值；

对于所述尺度放大图像中的每个像素，识别包含所述像素连同少量相邻像素的斑片(25)；

通过在所述平滑图像中搜索位置位于紧邻所述尺度放大图像中的所述斑片的映射位置的斑片来在所述平滑图像的局部化区域(27)内找到最适合斑片(26)；

通过唯一地添加所述高细节图像中与所述平滑图像的最适合斑片对应的等同斑片中的对应像素(28)的像素值来校正所述尺度放大图像的所述斑片中的每个像素；以及

将所述校正的尺度放大图像储存在第二存储器(42)中以用于进一步处理。

2.如权利要求1所述的方法，其中所述产生所述尺度放大图像[非二进尺度放大模块]包括将原始图像值复制到尺度放大图像、随后进行滤波。

3.如权利要求1所述的方法，其中非二进N∶M尺度缩放包括：

从所述输入图像创建N个尺度放大图像；

将所述输入图像中的连续像素复制到所述N个尺度放大图像的连续像素，并且在连续复制像素之间留下M个像素的间隙；

用不同的滤波器对所述N个图像中的每个进行滤波；以及

将所述N个图像相加，以生成合成图像。

4.如权利要求3所述的方法，其中所述用于尺度放大的N个不同的滤波器适于准确地重构固定图像。

5.如权利要求3所述的方法，其中所述用于尺度放大的N个不同的滤波器适于准确地重构线性图像函数。

6.如权利要求3至5中的任何一个所述的方法，其中所述平滑包括从所述N个不同的滤波器中的每个产生第二组双正交的N个滤波器；以及

组合每组N个滤波器中的对应滤波器，以便产生用于平滑的另一组不同的滤波器。

7.如前述任何一个权利要求所述的方法，其中所述输出图像被实时地产生。

8.如前述任何一个权利要求所述的方法，其中所述输入图像和所述输出图像是各视频序列的连续图像。

9.如前述任何一个权利要求所述的方法，其中所述输入图像被分为多个子图像，并且所述方法在每个子图像上独立地进行。

10.如权利要求9所述的方法，其中所述子图像被同时处理。

11.一种系统(30)，所述系统(30)用于从具有多个像素的输入图像产生像素分辨率提高的输出图像，所述系统(30)包括：

第一存储器(31)，所述第一存储器(31)用于储存表征所述输入图像的像素数据；

非二进尺度放大模块(33)，所述非二进尺度放大模块(33)与所述第一存储器耦合，用于通过对所述输入图像进行非二进尺度放大以使得所述尺度放大图像中的每个像素映射到所述输入图像中的少量像素来产生像素比所述输入图像多的尺度放大图像；

第一缓冲器(34)，所述第一缓冲器(34)与所述非二进尺度放大模块耦合，用于储存表征所述尺度放大图像的像素数据；

低通滤波器(35)，所述低通滤波器(35)与所述第一存储器耦合，用于通过对所述输入图像进行低通滤波来产生平滑图像；

第二缓冲器(36)，所述第二缓冲器(36)与所述低通滤波器耦合，用于储存表征所述平滑图像的像素数据；

减法模块(37)，所述减法模块(37)与所述第一存储器和所述第二缓冲器耦合，用于产生高细节图像，在所述高细节图像中，每个像素值是所述输入图像中的对应像素值与所述平滑图像中的对应像素值之间的差值；

第三缓冲器(38)，所述第三缓冲器(38)与所述减法模块耦合，用于储存表征所述高细节图像的像素数据；

斑片分配模块(39)，所述斑片分配模块(39)与所述第一缓冲器耦合，适于识别连续斑片，所述连续斑片中的每个均包含所述尺度放大图像中的相应像素连同少量相邻像素；

最适合斑片模块(40)，所述最适合斑片模块(40)与所述斑片分配模块和所述第二缓冲器耦合，适于在位置位于紧邻所述尺度放大图像中的每个连续斑片的映射位置的所述平滑图像的局部化区域内搜索，以便找出与相应斑片最匹配的最适合斑片；

校正模块(41)，所述校正模块(41)与所述最适合斑片模块和所述第三缓冲器耦合，用于通过唯一地添加所述高细节图像中与所述平滑图像的最适合斑片对应的等同斑片中的对应像素(28)的像素值来校正所述尺度放大图像的所述斑片中的每个像素；以及

第二存储器(42)，所述第二存储器(42)与所述校正模块耦合，用于储存所述尺度放大图像的校正像素。

12.如权利要求11所述的系统，其中所述非二进尺度放大模块适于将输入图像的像素值复制到尺度放大图像、随后进行滤波。

13.如权利要求11所述的系统，其中所述非二进尺度放大模块适于通过下述方式执行非二进N∶M缩放：

从所述输入图像创建N个尺度放大图像；

用不同的滤波器对所述N个图像中的每个进行滤波；以及

将所述N个图像相加，以生成合成图像。

14.如权利要求13所述的系统，其中所述用于尺度放大的N个不同的滤波器适于准确地重构恒定图像。

15.如权利要求13所述的系统，其中所述用于尺度放大的N个不同的滤波器适于准确地重构线性图像函数。

16.如权利要求13至15中的任何一个所述的系统，其中所述低通滤波器适于从所述N个不同的滤波器中的每个产生第二组双正交的N个滤波器；以及

17.如权利要求11至16中的任何一个所述的系统，其中所述第一存储器(31)与用于实时捕捉所述输入图像的摄像机(32)耦合。

18.如权利要求11至17中的任何一个所述的系统，其中所述输入图像和所述输出图像是各视频序列的连续图像。

19.如权利要求11至18中的任何一个所述的系统，适于独立地处理所述输入图像的多个子图像。

20.如权利要求19所述的系统，适于同时处理所述子图像。

21.如权利要求11至20中的任何一个所述的系统，其中所述第二存储器(31)与用于显示所述输出图像的显示设备(43)耦合。

22.一种计算机程序，所述计算机程序包括用于当所述程序在计算机上运行时执行权利要求1至11中的任何一个所述的方法的计算机程序代码装置。

23.一种计算机可读介质，所述计算机可读介质储存表征如权利要求22所述的计算机程序的数据。