CN102016915A - 用于图像的超分辨率的方法与设备 - Google Patents

Abstract

本发明揭露利用低分辨率图像序列，产生超分辨率图像的方法。所述方法包含产生估计的高分辨率图像、在所述估计的高分辨率图像与来自所述低分辨率图像序列的比较图像之间移动估计，移动补偿背投影以及无移动背投影，因而得到超分辨的图像。用于产生超分辨率图像的对应系统包含高分辨率图像估计模块、移动估计模块、移动补偿背投影模块、无移动背投影模块、输入接口以及输出接口。

Description

用于图像的超分辨率的方法与设备

技术领域

本发明大体而言是关于图像的超分辨率(super-resolution)。

背景技术

许多的应用，例如高清晰度电视、鉴识成像(forensic imaging)、监控成像、卫星成像、医学与科学成像，使用增加量的具有效益的分辨率(resolution)。努力达到更增图像分辨率是致力于所需要的光学与电子学的成本与复杂度。同样地，为了增加图像的像素密度，降低感应器中的像素尺寸，由于每个像素可获得的光较少量，因而增加散射噪声(shot noise)的效应。

经由背景，视频信号是图像帧的连续流。每一个帧捕捉特定景象的暂时时刻。由于摄影的移动或是所捕捉景象的移动，图像帧之间亦可具有空间差距。例如，每一个图像例如低分辨率(LR)图像，是代表具有一般实质噪声量的景象。噪声可能是由于图像捕捉中的信息遗失，例如低分辨率图像，以及电子或光学的其它形式，贡献至图像与实际景象之间对应的普遍削减的噪声。

使用空间插补的分辨率促进技术-例如双线性过滤、双三次插(bi-cubic)过滤以及多相过滤-获得额外的画素，用于使用一低分辨率图像帧的像素的高分辨率(HR)图像帧。使用单一图像帧的像素以获得用于高分辨率图像的额外像素，通常造成难辨的图像。例如，在双线性过滤中，可平均两个相邻的像素，以产生新像素的值而插入其中：新像素为两原始像素的平均值可能导入一些难辨性至图像。

视频信号的超分辨率是通过图像处理，将在低空间分辨率的输入视频帧序列转型成为高空间分辨率的输出视频帧序列的技术。相较于空间插补技术，来自于多重低分辨率帧的信息用以发展高分辨率帧。使用多重低分辨率帧图像使得超分辨率能够产生具有在单一低分辨率图像中不可获得的细节的高分辨率图像。这些高分辨率图像具有更大的空间细节、较锐利的边缘、较少的加工，例如模糊与失真，以及较不显着的噪声。

可将超分辨率公式化成为数学方程式(1)显示的倒置问题。方程式(1)表示所观察的景象的低分辨率图像的序列是得自于由图像处理噪声与附加的随机噪声所完成的景象的高分辨率图像。

Y＝HX+N  (1)，

其中X代表未知的高分辨率图像、Y代表所观察的低分辨率图像、H是图像处理的系统矩阵，以及N是随机附加噪声。H代表由例如光学失真、移动模糊、光学或电子内的噪声、图像传输中所导入的噪声以及不足的感应器密度所造成的空间分辨率的自然损失。在超分辨率中，通常，目标是从一套所观察的图像Y发现对应的高分辨率图像X的估计值。

超分辨率的技艺中描述数个技术。良好的概述如2003年5月Park，S.C，Park，M.K.与Kang，M.G.在IEEE信号处理杂志20(3)：21-36所发表的「超分辨率图像重建：技术概述」，以及2004年8月Farsiu，S.，Robinson，D.，Elad，M.与Milanfar，P.在图像系统与技术的国际期刊，第14册第2卷第47-57页所发表的「超分辨率的先进与挑战」。通常，超分辨率技术可分类为以移动为基础或是无移动。在以移动为基础的技术中，尝试追踪多重低分辨率图像的目标，而后将目标的这些空间偏移的变化结合成为目标的高分辨率图像。在无移动的方法中，使用例如低分辨率与高分辨率图像的已知对应样品与边缘的线索，以获得高分辨率细节。

无移动的技术例如1987年3月在计算机视野与图像处理的先进第5册第3卷第223-226页中，Tsai，R.与Huang，T.发表的「多帧图像回复与登录」中所描述的频域(frequency-domain)方法，依赖于低分辨率帧之间的整体移动(global motion)。其它无移动的方法，例如2001年12月计算机视野与图案辨识IEEE会议第627-634页中，Kepel，D.与Zisserman，A.发表的「从使用学习图像模式的多重视野的超分辨率」所描述的以学习为基础的方法，需要低分辨率与对应的高分辨率图像之间射频的大规模数据库发展。

技艺中所描述以移动为基础的技术包含1998年6月计算基视野与图案辨识公报IEEE计算机协会会议第742-746页中，Keren，D.，Peleg，S.，与Brada，R.发表的「使用次像素取代的图像序列加强」所描述非一致的取样方法；1989年11月美国光学协会期刊，A：光学与图像科学第6册第1715-1726页中，Stark，H.与Oskoui，P.发表的「从使用凸面投射的图像平面数组的高分辨率图像回复」所描述的投射映对凸面集(POCS)方法；1994年5月图像处理IEEE会议录第3册第3卷第233-242页中，Schultz，R.与Stevenson，R.发表的「对于改善的定义贝叶斯方法用于影象扩大」中所描述的贝叶斯(bayesian)方法；以及1987年3月图案辨识信件第5册第3卷第223-226页中，Peleg，S.、Keren，D.与Schweitzer，D.发表的「通过使用次像素移动而改善图像分辨率」所描述的迭代反投影(iterative back projection，IBP)方法或是模仿与校正方法。这些方法中的每一个都需要高量的计算复杂度。除此之外，POCS可能需要高分辨率图像的一些特性的先天知识，以及贝叶斯方法可能需要正确描述高分辨率图像的可能性模式。

因此，需要降低计算复杂度且不需所欲高分辨率图像先天知识的超分辨率成像方法。

发明内容

在一实施例中，本发明是计算机实施方法，用以利用低分辨率图像序列而产生超分辨率图像。所述方法包含：产生第一估计的高分辨率图像，对应于从所接收的低分辨率图像序列选择的第一低分辨率图像；在所述第一估计的高分辨率图像与来自产生所述第一估计的高分辨率图像的移动估计结果的低分辨率图像序列的比较图像之间的移动估计；移动补偿背投影产生第二估计的高分辨率图像的所述第一估计的高分辨率图像；无移动背投影所述第二估计的高分辨率图像，造成第一超分辨的图像；以及输出所述第一超分辨的图像。

本发明的另一实施例是用于产生超分辨率图像的系统，包含高分辨率图像估计模块；移动估计模块；移动补偿背投影模块；无移动背投影模块；输入接口；以及输出接口。在所述输入接口所接收的低分辨率图像序列依序在所述高分辨率估计模块、所述移动估计模块、所述移动补偿背投影模块，以及无移动背投影模块中处理，以及所述造成的高分辨率图像是通过输出接口而传输。

本发明其它的实施例、特征与优点以及本发明各种实施例的结构与运作详述如下并参考所附随的图式。

附图说明

所附随的图式并入成为说明书的组成部分，说明本发明的实施例，并且连同以上概述与如下的实施例详细说明用以解释本发明的原理。

图1说明在一实施例中低分辨率帧与输出高分辨率超分辨的帧之间的时间关系，其中程序帧窗口是7帧。

图2是根据实施例用以说明本发明主要处理块的流程图。

图3是图2中移动估计处理块中阶段的流程图。

图4是根据具有7帧的处理帧窗口的实施例，进一步详细说明图3中移动估计处理中的阶段。

图5说明本发明另一实施例中，在非相邻图像之间计算移动向量的方法。

图6说明图2移动补偿背投影处理块中与处理帧窗口7的处理图像顺序。

图7是根据本发明，详细说明移动补偿背投影中的一些处理。

图8是根据本发明，说明计算λ的方法，测量所侦测的移动信赖。

图9是根据本发明，说明系统中的模块。

具体实施方式

虽然本发明此处说明特定应用的实施例，但是应了解本发明并不因而受限。熟知此技艺的人士得取此处所提供的揭露会理解本发明范围内的其它修饰、应用与实施例与本发明具显着应用的其它领域。

熟知此技艺的人士显然可知本发明以下所描述的本发明可被实施在许多不同的软件实施例中(其可包含硬件描述语言码)、硬件、韧件，以及/或图式中所述的物体。实施本发明具有特化控制硬件的任何实际硬件码并不会限制本发明。因此，经由本发明运作行为的描述，得以理解实施例的修饰与变化是可能的，详细说明如此所述。

本发明的一实施例是以下所述用于视频超分辨率的方法。熟知此技艺的人士会理解此处所提出的教导可用于其它介质，例如静态图像(still images)的超分辨率。例如视频的超分辨率，超分辨率处理的输入是序列的低分辨率图像(或是交替地，帧)LR(0)，LR(1)，...，其中每一个的空间分辨率为in_size_H x in_size_V。此处in_size_H x in_size_V中的尺寸是指低分辨率。超分辨率程序的输出是序列的图像SR(0)，SR(1)，....，其中每一个的空间分辨率为out_size_H x out_size_V，这是指高分辨率。

图1是根据本发明的实施例，说明低分辨率帧与输出高分辨率超分辨帧之间的时间关系100。在范例说明100中，处理帧窗口是7帧。在图1中，输出高分辨率图像SR(n)在输出图像的序列中可与输入低分辨率图像LR(n)在输入图像的序列中具有相同的时间位置t(n)。

为了产生高分辨率图像SR(n)，通常有益的是利用来自于LR(n)的信息与来自一些其相邻图像，例如LR(n-3)、LR(n-2)、LR(n-1)、LR(n+1)、LR(n+2)与LR(n+3)对应于时间槽t(n-3)...t(n+3)中的LR图像，如图1所示。

更特别地，在图1中，一套七个低分辨率帧，此处是指SR(n)的处理帧窗口，可被用于产生高分辨率帧SR(n)。以进入图像顺序的特性为基础，可在实施中预先决定或是动态预先决定处理帧窗口大小。产生SR(n)中所使用的低分辨率图像为LR(n-3)...LR(n+3)。虽然此处使用七帧的处理帧窗口作为说明，但是应注意本发明的其它实施例可使用不同数目的低分辨率帧与/或不同的帧时间架构，以符合不同的限制，例如与不同应用相关的视觉质量、复杂度与延迟、重复帧等。

为了达到说明的目地，本发明描述对应于低分辨率帧LR(n)而产生的高分辨率帧SR(n)。就整个程序而论，利用例如空间插补(spatial interpolation)，从LR(n)产生目标空间分辨率size_H x out size_V的初估高分辨率帧PP(n)。接着，在帧PP(n)与六帧SR(n-3)、SR(n-2)、SR(n-1)、PP(n+1)、PP(n+2)与PP(n+3)中的每一个之间进行移动估计(ME)，其中SR(n-3)、SR(n-2)与SR(n-1)是高分辨率帧，具有先前完成的转换成为超分辨率，分别对应于LR(n-3)、LR(n-2)与LR(n-1)；以及PP(n+1)、PP(n+2)与PP(n+3)是输出高分辨率帧，分别来自LR(n+1)、LR(n+2)与LR(n+3)的空间插补。

接着，对于LR(n+k)(k＝-3，-2，-1，1，2，3)中每个像素，透过移动估计结果与可编程的邻域窗口(programmable neighborhood window)，辨识PP(n)中的对应像素。而后根据这些高分辨率像素与对应的LR(n+k)低分辨率像素的相符程度而更新这些高分辨率像素。低分辨率帧LR(n)中的像素是用以调整从先前处理块所获得的高分辨率图像，以及输出是最终高分辨率图像SR(n)，此处亦指超分辨的图像。根据本发明的一实施例，达成超分辨率视频的各个主要处理步骤详细解释如下。

初估高分辨率图像的产生

图2是本发明实施例中主要处理块的流程图200。在处理块210中，低分辨率图像LR(n)是用以产生对应的初估高分辨率图像PP(n)，具有对应超分辨图像SR(n)所要的大小。透过背景可知空间插补是用于从单一低分辨率图像产生高分辨率图像的已知方法，例如双三次插(bi-cubic)过滤以及多相过滤是可被使用的空间分辨(spatial resolution)方法。产生初估高分辨率图像的输入是低分辨率图像LR(n)；以及输出是升级(up-scaled)图像PP(n)，具有目标分辨率为out_size_H xout_size_V。例如，使用空间插补而使LR(n)空间升级造成PP(n)。PP(n)是超分辨图像SR(n)的初估。

移动估计

在产生PP(n)之后，在处理块220中，对于SR(n)的处理帧窗口中各个其它时间槽，产生PP(n)的移动估计结果。

在PP(n)与处理帧窗口中各时间槽先前的LR(n)的对应高分辨率图像之间产生移动向量。例如，假设七帧的处理帧窗口，可以在PP(n)与各个高分辨率图像SR(n-1)、SR(n-2)及SR(n-3)之间发展移动向量，其中SR(n-1)...SR(n-3)是超分辨图像分别对应于低分辨率图像LR(n-1)...LR(n-3)。在一些实施例中，中间高分辨率图像PP(n-1)、PP(n-2)与PP(n-3)可被分别用以代替SR(n-1)、SR(n-2)与SR(n-3)。然而，应注意使用SR(n-1)，...SR(n-3)对于移动准确性与计算复杂度是有利的。

如此处所述，实施需要维持，例如缓冲，个别的高分辨率图像，因而可使用于产生SR(n)。亦可以在PP(n)与处理帧窗口内LR(n)之后的每一个时间槽的对应高分辨率图像，例如PP(n+1)、PP(n+2)与PP(n+3)，之间发展移动向量。注意，PP(n+1)...PP(n+3)是初估的高分辨率图像，分别对应于LR(n+1)...LR(n+3)。熟知此技艺的人士会了解需要数个处理块中进入图像帧的一些流水线操作技术(pipelining)形式，如图2所示。例如，在一实施例中，当在移动块220中处理PP(n)时，应可获得LR(n+1)...LR(n+2)的初始高分辨率估计。

在处理彩色图像中，例如，可在使用所有三要素的YUV域中进行移动估计。为了降低计算复杂性，移动估计可以只使用发光样品。在移动估计处理之前，RGB格式的帧可被转换为YUV格式。

对于PP(n)与帧SR(n-3)，SR(n-2)，SR(n-1)，PP(n+1)，PP(n+2)，PP(n+3)中每一个之间的移动估计结果，移动估计块的输出可表示为MER(n+k，n)(k＝-3，-2，-1，1，2，3)。在一对帧之间的移动估计中，一帧被用作为锚(anchor)，并且被称为“参考帧”F_r，以及在被称为“目标帧”F_t另一帧进行搜寻。此处，我们使用标记MER(r，t)代表Fr与Ft之间的移动估计结果，F_r作为参考帧且F_t作为目标帧。例如，MER(n-3，n)代表移动估计结果，其中SR(n-3)是参考帧，以及PP(n)是目标帧。

以k＝-3为例描述MER(n+k，n)格式。考虑参考帧SR(n-3)的分割(partition)，其中SR(n-3)中的像素被分割为非重迭块，大小为block_size_H x block_size_V，其中block size_H是块中水平的像素数目，以及block_size_V是垂直像素数目。对于SR(n-3)中块R与其顶部左方像素位置为(bx*block sizeji，by*block_size_V)，它的移动估计结果记录为MER(n-3，n)中元素MER(n-3，n，bx，by)。MER(n-3，n，bx，by)可包括四个数据项目：MVx，移动向量的水平分量；Mvy，移动向量的垂直分量；sad，移动向量的绝对差总和；以及act，块的活动。

若块R与T的移动向量是(MVx，MVy)，则在参考帧SR(n-3)中(bx*block_size_H，by*block_size_V)的块R符合目标帧PP(n)中(bx*blocksize_H-MVx，by*block_size_V-MVy)的块T。MVx与Mvy皆为整数。高分辨率中移动向量的整数精度(integer-precision)暗指低分辨率中的次像素精度。数据项目sad代表R中像素与T中像素之间的“绝对差总和”。数据项目act是块R的活动测量，定义为两相水平与垂直邻像素之间绝对差的总和。例如，若块大小为4x4像素，则R与T之间的sad可被定义如方程式2：

$\mathrm{sad}=\underset{i=-1}{\overset{4}{\mathrm{\Σ}}}\underset{j=-1}{\overset{4}{\mathrm{\Σ}}}|R_{i,j}-T_{i,j}|---\left(2\right)$

以及R的act可被定义如方程式3：

$\mathrm{act}=\underset{i=-1}{\overset{3}{\mathrm{\Σ}}}\underset{j=-1}{\overset{4}{\mathrm{\Σ}}}\left|R_{i,j}{-R}_{i+1,j}\right|+\underset{i=-1}{\overset{4}{\mathrm{\Σ}}}\underset{j=-1}{\overset{3}{\mathrm{\Σ}}}|R_{i,j}-R_{i,j+1}|---\left(3\right)$

R_ij是指R的i、j像素，以及同样地T_ij是指T的i、j像素。块R是矩形区域，具有顶部左方像素R_0，0以及底部右方像素R_3，3，同样地，块T是矩形区域，具有顶部左方像素T_0，0以及底部右方像素T_3，3。方程式(2)与(3)是表示在R与Y周围的像素亦可被使用于计算sad与act中。块的活动可被用以评估对应移动估计结果的可信度。为了正确反映可信度，就绝对像素差的数目而论，act可被常态化以对抗对应的SAD，如方程式(4)所示：

$\mathrm{nact}=\frac{\mathrm{act}*\mathrm{num}\_\mathrm{pixels}\_\mathrm{in}\_\mathrm{sad}}{\mathrm{num}\_\mathrm{pixels}\_\mathrm{in}\_\mathrm{act}}---\left(4\right)$

其中num_pixels_in_sad是在计算sad中绝对像素差的数目，以及num_pixels_in_act是在计算act中绝对像素差的数目。项目nact是块的常态化活动。注意，R与T周围的像素可被用于计算sad与act。

移动估计：程序

许多方法可使用于移动估计中。在本发明的一实施例中，在三阶段中进行移动估计，如图3所示。

图3是移动估计处理块中阶段的流程图，在第一阶段310中，在以(0，0)作为搜寻中心的邻近高分辨率帧位置之间进行移动估计。例如，在目标帧中共同定位块(co-located block)的附近进行参考帧中块的移动搜寻。在第二阶段320中，从可获得的移动向量，预测PP(n)与其非相邻帧之间的移动向量。在最终阶段330中，以预测的移动向量作为搜寻中心，进行非相邻帧的移动估计。

图4更加详细说明三个移动估计程序。利用阶段程序的移动估计方法目的是要通过在每一个移动估计阶段中覆盖小的实际搜寻区域而达到大的有效搜寻区域。由于两个非相邻帧之间的移动可相对地真实，因此当使用许多低分辨率帧产生高分辨率帧时，这是特别有效的。例如，在帧中定位最佳符合块可能需要大帧区域的搜寻。

ME阶段1：在第一阶段中，详细内容如410所示，在一对邻近高分辨率帧之间，例如在SR(n-3)与SR(n-2)之间以及在SR(n-2)与SR(n-1)之间，进行移动估计。对于每一对的邻近帧，进行两次ME，一次是前进方向，而另一次是后退方向。例如，对于PP(n+2)与PP(n+3)对，以PP(n+2)作为参考且PP(n+3)作为目标，在前进方向进行移动估计，MER(n+2，n+3)作为移动估计结果，并且以PP(n+3)作为参考且PP(n+2)作为目标，也在相反方向进行移动估计，MER(n+3，n+2)作为移动估计结果。这阶段中的移动估计是基于全搜寻块符合，以(0，0)作为搜寻中心，以及矩形搜寻区域，水平大小为search_range_H且垂直大小为search_range_V。

参考帧SR(n-3)被分割为非重迭块，大小为block_size_H xblock_size_V。接着，对于SR(n-3)中顶部左方(x，y)像素中的块R，对应的搜寻区域定义为PP(n)中的矩形区域，界线为顶部左方位置(x-search_range_H1/2，y-search_range_V1/2)以及其底部右方位置(x+search_range_H 1/2，y+search_range_V1/2)，其中search_range_H1与search_range_V1为可编程的整数。而后，在搜寻PP(n)中与SR(n-3)中块R的最佳相符块，将R与PP(n)中的每一块相比，其顶部左方像素包含在搜寻区域中。比较中所使用的相符矩阵是块R的像素与PP(n)中每一个候选块像素之间的SAD。若是在搜寻区域中的所有候选块之间，位置(x′，y′)的块具有最小的SAD，则块R的移动向量(MV)为(MVx，MVy)，其中MVx＝X-X′以及MVy＝y-y′。

注意，在处理PP(n)的此阶段中，除了MER(n+2，n+3)与MER(n+3，n+2)之外，由于连续图像的处理，可以从先前的处理获得所有其它的移动估计结果。所以，在此阶段仅有PP(n+2)与PP(n+3)之间的移动估计需要计算，先前的移动估计结果被适当缓冲且已准备好被用于下两阶段的移动估计。在第一阶段的移动估计之后，较佳是以下列顺序进行后续的两阶段：首先，阶段2与3的SR(n-2)与PP(n+2)，而后是阶段2与3的SR(n-3)与PP(n+3)。此优先级的理由如下所述。

ME阶段2：在此阶段中，详细说明如420所示，以可获得的移动估计结果为基础，预测非相邻帧之间的移动向量。所预测的移动向量将被作为阶段3中的搜寻中心。例如，在作为参考帧的PP(n+2)与作为目标帧的PP(n)之间所预测的移动向量可表示为C_MV(n+2，n)。为了决定C_MV(n+2，n)，结合MV(n+2，n+1)与MV(n+1，n)，两者皆可由前阶段的移动估计处理而获得。

例如，如图5所示，在PP(n+2)中位置(x，y)的块R可具有在PP(n+1)中其最佳的符合块作为块T，它是由作为参考帧的PP(n+2)与作为目标帧的PP(n+1)之间的移动估计所决定。注意，虽然R对准块格(block grids)，例如x％block_size_H＝0以及y％block_size_V＝0，但是T可不与其帧的块格对准，并且可位在搜寻区域中的任何位置。如图5所示，块T可包含PP(n+1)中上至四格对准的块像素，它的顶部左方像素分别在(x0，y0)、(x1，y1)、(x2，y2)与(x3，y3)。注意，T无法覆盖超过四块。如果T覆盖少于四个与格对准的块，则四个顶部左方像素中的一些像素会重迭。对于所预测的R从PP(n+2)至PP(n)移动向量可被设定成为块R从PP(n+2)至PP(n+1)的移动向量总和，以及块T从PP(n+1)至PP(n)的移动向量的中位数，如方程式5所示：

C_MV(n+2，n，x，y)＝MV(n+2，n+1，x，y)+median(MV(n+1，n，xi，yi)，i＝0，1，2，3)

------(5)

其中一组移动向量的中位数可为至该组其它移动向量距离最小总和的移动向量。例如，考虑该组每一个移动向量是二为空间中的一点，并且计算每一对移动向量之间的距离。而后该组的中位数移动向量是至其它移动向量距离总和为该组移动向量之间距离总和最小。注意，在其它实施例中，两个移动向量之间的距离可被计算为对应于该两向量的两点之间的笛卡儿距离(cartesian distance)，或是它可约为两移动向量之间水平距离与垂直距离的总和，以降低计算复杂度。

同样地，通过串联从MER(n+3，n+2)与MER(n+2，n)的移动向量，得到从作为参考帧的PP(n+3)所预测的移动向量至作为目标帧的PP(n)，其中可从移动估计的阶段1得到MER(n+3，n+2)，以及可从PP(n+2)的移动估计阶段3得到MER(n+2，n)。注意，这就是在PP(n+3)的阶段2之前，PP(+2)需要完成移动估计阶段2与3的原因。如图5所示，同样可获得从SR(n-2)至PP(n)以及从SR(n-3)与PP(n)预测的移动向量。

在本发明的另一实施例中，在预测R从PP(n+2)至PP(n)的移动向量中，方程式5的中位数算符(median operator)可替换成四移动向量的算数平均。在另一实施例中，在预测R从PP(n+2)至PP(n)的移动向量中，块T与四块Si(i＝1，2，3，4)(请见图5)的每一个之间的最小SAD可用于方程式5中，以取代四个移动向量的中位数。在另一实施例中，在预测R从PP(n+2)至PP(n)的移动向量中，可计算对应于以下四个移动向量中每一个的SAD：MV(n+2，n+1，x，y)+MV(n+1，n，xi，yi)(i＝0，1，2，3)，以及选择具有最小SAD的移动向量。

ME阶段3：在移动估计块的处理最后阶段430中，通过搜寻对应的所预测移动向量，定义所预测的移动向量以决定MER(n+k，n)(k＝-3，-2，2，3)。例如，为了决定MER(n+3，n)，进行以块为基础的移动估计，搜寻中心为(x+C_MVx(n+3，n)，y+C_MVy(n+3，n))以及搜寻区域为(search_range_H3，search_range_V3)，其中search_range_H3与search_range_V3为可编程的整数，分别代表水平搜寻范围与垂直搜寻范围。在此阶段的搜寻范围可被设定为小于阶段1的移动估计，以降低移动估计的计算复杂度。

移动补偿的背投影

在移动估计处理之后，图像PP(n)可用于处理移动补偿背投影(motion-compensated back projection(MCBP))。输入至此块的是移动估计结果MER(n+k，n)(k＝-3，-2，-1，1，2，3)，它们是从移动估计处理块、对应的低分辨率帧LR(n+k)以及从空间插补处理块的高分辨率帧PP(n)输出。MCBP处理块的输出是更新的高分辨率帧PP(n)，表示为MCBP(n)。

在帧阶层，此块中的程序是以图6所示的连续顺序进行。此处所提出的帧顺序，如图6所示，较喜爱按时间接近PP(n)胜过远离PP(n)的帧。较喜爱按时间接近的帧是因为较小按时间距离的一对帧所具有的移动估计通常比较大按时间距离的帧更可信赖。同样地，此顺序较喜爱移动估计结果MER(n-k，n)胜过MER(n+k，n)(k＝3，2，1)，这是因为相较于产生MER(n+k，n)的PP(n+k)，从产生MER(n-k，n)的SR(n-k)一般就接近真实景象而言更为准确。

图6的第一阶段是作为范例描述MCBP块中的程序。在其它阶段会重复相同的程序。例如，根据以下步骤，如图7所示，基于LR(n+3)，更进一步改进PP(n)。

(1)对于PP(n+3)中每一个块-格对准的块R，利用移动估计结果MER(n+3，n)发现PP(n)中对应的移动补偿块T。例如，若块R是在PP(n+3)中的(x，y)位置且其移动向量为(mvx，mvy)，则对应的移动补偿块T是PP(n)中(x-mvx，y-mvy)位置的块。

(2)对于块R的空间位置内低分辨率帧LR(n+3)中每一个像素z，以预先决定的空间窗口，例如图7中a₀₀...a₅₅，以及PP(n)的块T中后续对应的像素，例如a’₀₀...a’₅₅为基础，在PP(n+3)的块R中辨识对应的像素。从PP(n)中所辨识的像素，产生模仿像素z’对应z。注意，模仿的像素z’不需要一起位于LR(n)的现存像素：只有当LR(n)的分辨率mvx与mvy皆为整数时，像素z’才会一起位于LR(n)的现存像素。例如，当通过水平与垂直使用空间插补升级LR(n)，只有当mvx％3＝0且mvy％3＝0时，模仿像素z’一起位于LR(n)的现存像素。

(3)计算模仿像素z’与所观察的像素z之间的残留误差(residue error)为residue_err＝z-z′。

(4)如图7底部右方所示，根据所计算的残留误差，例如从PP(n)中像素a’₀₀...a’₅₅至MCBP(n+3，n)中像素a″₀₀...a″₅₅，通过更新PP(n)中的像素而产生MCBP(n+3，n)帧。

在上述的步骤2中，为了辨识PP(n)中对应于LR(n+3)中像素z的像素以及从这些像素中模仿像素z’，理想上需要图像取得处理中的点扩展功能(point spread function(PSF))。由于超分辨率处理通常没有PSF，并且PSF在不同视频来源中常有变化，所以假设有考虑所需强度(robustness)与计算复杂度的PSF。

例如，多相向下取样滤波器(poly-phase down-sampling filter)可用作为PSF。例如所述率波器可包含6阶垂直多相滤波器(6-tap vertical poly-phase filter)以及6阶水平多相滤波器(6-tap horizontal poly-phase filter)。如图7所示，LR(n+3)中像素z对应于通过PSF的PP(n+3)中的像素a₀₀至a₅₅；以及像素a₀₀至a₅₅通过移动向量(mvx，mvy)对应于PP(n)中像素a′₀₀至a′₅₅；因此，PP(n)中对应于z的像素是a′₀₀至a′₅₅以及模仿像素z’是：

$z^{\′}=\underset{i=0}{\overset{5}{\mathrm{\Σ}}}\underset{j=0}{\overset{5}{\mathrm{\Σ}}}{\mathrm{PSF}}_{\mathrm{ij}}*a_{\mathrm{ij}}^{\′}---\left(6\right)$

其中PSF_ij是PSF中对应于a’_ij的系数。在本发明的另一实施例中，双三次插(bi-cubic)滤波器可作为PSF。

在上述步骤4中，残留误差以λ*PSF_ij比例化，并且返回加至PP(n)的像素a’_ij，以产生MCBP(n+3，n)的像素a″_ij。PSF_ij的目的是将所述残留误差，根据它们个别对于像素z’的贡献而分布至PP(n)的像素a’_ij。如此处所提，比例因子(scale factor)λ的目的是对于移动估计不正确性与噪声增加运算强度(robustness)，可根据块R的移动估计结果的信赖度而决定λ。令块R的ME结果为(mvx，mvy，sad，nact)。在PP(n+3)中R的八个最接近的邻近块之间，令sp为块数目，它们的垂直与水平移动向量皆不同于(mvx，mvy)一像素(就高分辨率而言)。在本发明的一实施例中，可根据图8所示的程序而决定λ。

图8说明来自残留误差贡献至更新PP(n)的像素应该与移动估计结果的信赖度成比例。此比例的量测是就移动场平滑(motion field smoothness)而言，由R附近的变量sp表示，以及R与T之间如何良好相符，例如由比较sad与nact表示。注意，在图7中，若模仿像素z’一起存在于LR(n)的现存像素，则λ减少一半，这是指从残留误差更新的背投影强度减少一半。原因在于当z’一起存在于LR(n)中的现存像素时，则像素z’是像素z的一种版本，简单偏移整数的像素，因此它并不就促进分辨率提供太多其它的信息。然而，可有助于降低PP(n)中的噪声。

在本发明的另一实施例中，在计算比例因子λ中，可利用PP(n)与PP(n+3)的像素对应于像素z，亦即PP(n+3)中a₀₀...a₅₅以及PP(n)中a’₀₀...a’₅₅，而测量移动估计结果的信赖度。例如，可从这些像素而非从R与T中的所有像素计算图8中sad与nact。

无移动背投影

在MCBP处理之后，无移动背投影处理块产生超分辨的帧SR(n)。输入至此块的是来自移动补偿背投影块的高分辨率帧MCBP(n)以及低分辨率帧LR(n)。来自此块的输出是超分辨的高分辨率帧SR(n)。

在此步骤中的程序是与上述的移动补偿背投影中的程序相似，不同之处是：(1)在此阶段中不涉及移动且因此(0，0)移动向量是用于LR(n)中所有像素；以及(2)比例因子λ可设定为常数(0＜λ＜1)。

图9是举例说明本发明的块图。在图9中，用于超分辨率视频的系统900包含：高分辨率图像估计模块920，根据步骤210通过处理图像而产生初估高分辨率图像。亦包含移动估计模块930用于根据步骤220的移动估计、移动补偿背增殖模块(motion-compensated back propagation module)940用于根据步骤230的移动补偿背投影，以及无移动背增殖模块(motion-free back propagation module)950用于根据步骤240的无移动背投影。熟知此技艺的人士会了解模块920-950可实施于软件、韧件、硬件(例如处理器或是ASICs，其是由已经合成的硬件描述语言编码所制成或是使用已经合成的硬件描述语言编码)，或是使用其组合。实施例进一步可包含处理器970、内存980、输入接口910，通过所述输入接口910接收低分辨率图像，以及输出接口960，通过所述书出接口960传输超分辨的图像。本发明实施例的范例可包含的系统如计算机、个人数字助理(PDA)、行动装置(例如多介质手持或可携式装置)、数字电视、机上盒、视频编辑与显示设备以及类似物。

结论

其它实施例可包含将低分辨率图像转换为高分辨率静态图像的方法与系统。本发明所定义的功能描述将静态图像处理成为超分辨率静态图像是与超分辨率视频的处理相似。例如，在本发明的实施例中，低分辨率静态图像序列可被转换成为对应的高分辨率图像。

可以理解的是具体实施方式而非发明概述与摘要是用以解释权利要求。发明概述与摘要可说明本发明的一或多个实施例，但非全部实施例，因此并非以任何方式限制本发明与附随的权利要求。

本发明已如上所述，辅以说明实施特定功能与关系的功能建立块。这些功能建立块的界线已由本发明的说明所定义。只要进行特定的功能与关系，则可以定义不同的界线。

前述特定实施例的说明完全显示本发明的一般本质，他人可应用此技艺中的知识，不需要过度实验，很容易地修饰与/或改造不同的应用特定实施例，这些仍不脱离本发明的一般概念。因此，以本文所呈现的教导与指引为基础，这些改造与修饰为所揭露实施例君等物的意义与范围之内。要了解本文中的措辞或用字是为达说明之目的而非用于限制本发明，因而熟知此技艺的人士可根据本发明的教导与指引而解读本发明说明书的用字或措辞。

本发明的范围应不受限于上述举例的实施例，而是根据以下的权利要求书与其均等物而定义。

Claims (15)

1.一种计算机可读取介质，携带一或多个指令的一或多个序列，通过一或多个处理器而执行，从而执行使用低分辨率图像序列以产生超分辨率图像的方法，当所述一或多个处理器执行所述指令时，所述指令造成所述一或多个处理器：

(a)利用第一估计的高分辨率图像与来自所述低分辨率图像序列的多个比较图像之间的移动估计结果，通过移动补偿背投影所述第一估计的高分辨率图像，产生第二估计的高分辨率图像；以及

(b)通过无移动背投影所述第二估计的高分辨率图像，产生第一超分辨的图像。

2.如权利要求1所述的计算机可读取介质，其中所述第一估计的高分辨率图像对应于从所述低分辨率图像序列选择的第一低分辨率图像。

3.如权利要求1所述的计算机可读取介质，其中所述第一估计的高分辨率图像与所述多个比较图像之间的所述移动估计结果由包括以下步骤的方法产生：

(a)按时间排序第一工作序列，包含第一组的比较图像、第二组的比较图像以及所述第一估计的高分辨率图像，其中所述第一组的比较图像中的每一个图像具有其对应的发生在所述低分辨率图像序列中的所述第一低分辨率图像之前的低分辨率图像，以及其中所述第二组的比较图像中的每一个图像具有其对应的发生在所述低分辨率图像序列中的所述第一低分辨率图像之后的图像；

(b)计算来自所述第一工作序列的每一对邻近图像之间的移动向量；

(c)产生第一工作图像与所述第一工作序列中其它图像之间的估计的移动向量组，其中通过结合在计算每一对邻近图像之间的移动向量中所产生的移动向量，产生所述估计的移动向量组；以及

(d)改进所述估计的移动向量。

4.如权利要求3所述的计算机可读取介质，其中结合在计算每一对邻近图像之间的移动向量中所产生的移动向量，进一步包括：

(a)辨识第一参考帧中的第一块，其中所述第一块是在所述第一参考帧中对准的格；

(b)辨识中间帧中的第二块，其中所述第二块是所述第一块的最佳匹配块；

(c)辨识目标帧中多个第三块，其中所述第二块包含来自每一个第三块的像素，以及其中每一个第三块是在所述目标帧中对准的块；以及

(d)计算代表所述多个第三块的值。

5.如权利要求4所述的计算机可读取介质，其中代表所述多个第三块的所述值是所述多个第三块与所述第二块之间所述移动向量的中位数。

6.如权利要求4所述的计算机可读取介质，其中代表所述多个第三块的所述值是所述多个第三块与所述第二块之间所述移动向量的算数平均数。

7.如权利要求4所述的计算机可读取介质，其中代表所述多个第三块的所述值是所述多个第三块与所述第二块之间所述移动向量的绝对差的最小总和。

8.如权利要求1所述的计算机可读取介质，其中所述低分辨率图像序列是视频图像。

9.如权利要求1所述的计算机可读取介质，其中所述移动补偿背投影包含根据多个参考图像，改进所述第一估计的高分辨率图像，其中所述参考图像的顺序是从距离所述第一估计的高分辨率图像在时间上最远至在时间上最接近所述第一估计的高分辨率图像。

10.如权利要求9所述的计算机可读取介质，其中依照时间的先后顺序，处理与所述第一估计的高分辨率图像有相同时间距离的所述参考图像。

11.如权利要求10所述的计算机可读取介质，其中移动补偿背投影进一步包含通过比例因子，依比例确定移动补偿的残留误差。

12.如权利要求11所述的计算机可读取介质，其中通过所述多个移动估计结果的信赖度，决定所述比例因子。

13.一种利用低分辨率图像序列产生超分辨率图像的方法，所述方法包括：

(a)在第一估计的高分辨率图像与来自低分辨率图像序列的多个比较图像之间移动估计，产生多个移动估计结果；

(b)移动补偿背投影所述第一估计的高分辨率图像，利用所述移动估计结果，产生第二估计的高分辨率图像；以及

(c)无移动背投影所述第二估计的高分辨率图像，以产生第一超分辨的图像。

14.如权利要求13所述的方法，其中所述第一估计的高分辨率图像对应于从所述低分辨率图像序列所选择的第一低分辨率图像。

15.一种用于产生超分辨率图像的系统，包括：

(a)高分辨率图像估计模块；

(b)移动估计模块；

(c)移动补偿背投影模块；以及

(d)无移动背投影模块；

其中在所述高分辨率估计模块、所述移动估计模块、所述移动补偿背投影模块以及所述无移动背投影模块中使用低分辨率图像序列，产生超分辨的图像。

Images