CN103020897B - 基于多区块的单帧图像的超分辨率重建的装置、系统和方法 - Google Patents

Abstract

本发明包括从单个视频帧进行基于多区块的超分辨率重建的装置、系统和方法。实施例包括一个基于尺度不变自相似性（SiSS）的超分辨率方法。不同于在数据库或者低分辨率（LR）图像里搜索高分辨率（HR）样本，本实施例可以根据区块本身的SiSS特性来选择区块，从而不需要涉及任何搜索，能够降低本方法的计算复杂性。为了解决在自然图像里缺乏相关样本的问题，本实施例可以采用多形状和多尺寸的区块用于HR图像重建。另外，实施例可以包括一个混合加权方法的步骤用于抑制伪影。本方法的实施例比基于区块样本搜索的超分辨率方法快10~1000倍，并获得相当的HR图像质量。

Description

基于多区块的单帧图像的超分辨率重建的装置、系统和方法

【技术领域】

本发明涉及图像和视频处理，特别涉及用于图像超分辨率的装置、系统和方法。

【背景技术】

超分辨率（SR）方法旨在从低分辨率（LR）图像中复原出超过奈奎斯特频率的新的高分辨率（HR）信息。SR方法适用于HDTV、视频通信、视频监控、医学成像和其它应用。最近，由单个LR输入图像重建HR图像的基于样本（example-based）的SR（通常也被称为“幻象（hallucination）”），已经成为一种有前景的技术，因为其能够克服传统多图像超分辨率方法的一些限制，且能够以较低的计算和存储器成本来实现。

基于样本的SR方法假设丢失的HR细节能够从具有代表性的训练集（trainingset）或LR图像本身学习和推断出。例如，图象预测模型可以依赖于一个包括了样本的低频信息和剩余高频信息数据构成的数据库，而该数据库是通过一个训练集来建立的。在进行超分辨率处理时，将LR图像分成多个重叠的区块。对每个区块，根据样本区块的低频成分在数据库里进行搜索以确定相应的高频成分用于重建。其它这类代表性的方法包括基于核岭回归（KernelRidgeRegressionbased）的SR方法、基于稀疏编码（SparseCoding）的SR方法等。这些类型的SR方法能够对整个图像产生真实感很强的高清晰细节；但是，如果数据库中缺乏相关样本，就会在生成的图像中产生噪声，特别是弯曲边缘会出现不规则的噪声。此外，基于数据库的通常需要花费更多的计算时间、耗费更多存储器，这使得高效的硬件实现变得非常困难。

另一个基于样本的SR方法采用图像的自相似（self-similarity）特性，即自然图像中的小区块会在该图像内多次重现的特性。在一个现有技术的方法里，在相同图像尺度（scale）内和若干较小图像尺度之间的区块重现被用来发掘亚像素级的错位和低分辨率/高分辨率区块对中所包含的高频信息。该方法使用一个统一的框架来发掘着两种信息，并采用近似最邻近（ANN）算法来加速区块搜索。在另一个方法里，使用输入LR图像的图像金字塔，在线建立一个低分辨率/高分辨率区块对的字典，并且使用组合稀疏约束（groupsparsityconstraint）来进行优化。通过在字典里使用ANN搜索，重建HR图像。在又一个方法里，根据自然图像的局部自相似特性，将区块搜索局限在10×10的范围内，而不是整个输入图像，从而极大地降低了区块搜索的复杂度，同时不会影响大多数重建图像的质量。在又一个方法里，提出了一种非局部反投影（non-localback-projection）方法，利用在小窗口内进行局部搜索以恢复非局部冗余以及抑制“锯齿”伪影和振铃效应。与其它前述的算法中较小的图像放大步长（如由4×4放大到5×5）相比，该方法运行一次便将图像在每个方向上都放大2倍，因此对于一般的应用，连续使用该方法一到两次便可以达到目标图像所需的放大率。

上述基于样本的SR算法通常计算量庞大，因为对每个像素或区块，本方法需要在数据库/字典、图像金字塔或图像的局部区域里搜索高分辨率的区块。尽管已经有很多降低计算复杂性的方法被提出，但SR的计算复杂性仍然很高，成为SR技术商业应用一个主要障碍。

【发明概述】

本发明的实施例包括基于多区块的单帧图像超分辨率重建的装置、系统和方法。在此使用的“图像”是指通过摄取对应物体的光线或光磁辐射而获得的一个物体视觉表象。图像可以包括一个静止图像或一个视频帧。这类实施例可以包括一种基于尺度不变自相似（SiSS）的超分辨率方法。不同于在数据库里或LR图像里搜索HR样本，本实施例可以根据区块本身的SiSS特性来选择区块，而不需要涉及任何搜索，因而可以降低SR方法的计算复杂性。为了解决自然图像中缺乏相关样本的问题，本实施例可以在HR图像重建时采用多形状和多尺寸的区块。另外，实施例可以包括使用一个混合加权方法步骤来抑制伪影（artifact）。本方法的某些实施例比基于区块搜索的SR方法快10~1000倍，并获得相当的HR图像质量。

在一个实施例里，一个从单个低分辨率图像产生高分辨率图像的方法包括：将所述低分辨率图像分割成具有多种形状和尺寸的大量的重叠区块。另外，本方法可以包括：按照顺序处理各个区块。在一个实施例里，本方法包括：比较整个区块与其中心区域以获得每个区块的尺度不变自相似性。本方法也可以包括：选择尺度不变自相似性大于某个阈值的区块。另外，本方法可以包括：使用加权的低分辨率区块来重建所述低分辨率区块中心区域对应的高分辨率图像。另外，本方法可以包括：应用反投影(back-projection)到重建的图像。

在一个实施例里，多形状区块包括完整区块和被从区块中心点到边界的一条或多条直线分割的部分区块。比较区块及其中心区域可以包括：将区块或部分区块缩小到跟中心区域相同的尺寸，并计算原始区块（或部分区块）中心区域与缩小的区块（或部分区块）之间的相似性度量。在一个特别实施例里，选择步骤还包括：将以同一位置为中心的多种形状的区块分割成多个子集，在每个子集里选择其相似性大于一个阈值且相似性为前N个最大的区块。

在另一个实施例里，重建步骤包括：使用相似性度量计算第一权重；线性映射区块中心区域的每个像素到区块的对应像素，使用区块和中心区域的对应像素之间的亮度差计算每个像素的第二权重；通过合并第一和第二权重来获得每个像素的权重，并分别计算该区块里的像素与其它与之相重叠的区块里的像素的加权和。

在另一个实施例里，中心区域与区块或部分区块的形状相同。并且，如果区块是完整区块，则中心区域以区块的中心点为中心；如果区块是部分区块，则其中心区域是以对应的完整区块的中心点为中心。中心区域尺寸和区块尺寸之间的比例与低分辨率图像和放大的高分辨率图像之间的尺寸比例相同。

在另一个实施例里，计算相似性度量的步骤还包括：使用一个加法树来计算整个区块以及同一位置上相应部分区块的相似性度量。

前述已经相当广泛地阐述了本发明的特征和技术优势，由此将更加容易理解以下本发明的详细描述。本发明的其他特征和优势将在其后描述，此构成本发明的权利要求部分。本领域普通技术人员应该理解，在此披露的概念和特定实施例可以作为一个基础，用来修改或设计其它结构来执行本发明的相同目的。本领域普通技术人员也应该认识到，这种等同的构造没有脱离由所附权利要求阐述的本发明精神和范围。被看作本发明特征的新颖性特征，无论是其组织还是运行方法，与其它目的和优势一起，通过以下的描述并结合附图，将会得到更好的理解。但是，需要强调的是，每个附图仅是用作描述和叙述，并不是意图限制本发明。

【附图说明】

为了更完整地理解本发明，现结合附图参照以下的描述，其中：

图1A描述一个从低分辨率图像或视频帧产生高分辨率图像或视频帧的方法实施例；

图1B描述使用SiSS度量进行超分辨率重建；

图1C描述一个区块融合运算的实施例；

图2A描述一个包括SiSS和非SiSS区块的实例图像；

图2B-E描述图2A所示图像里标记的区块和部分区块；

图3描述一个使用多形状区块来处理非SiSS区块的方法实施例；

图4描述一个使用多尺寸区块来处理非SiSS区块的方法实施例；

图5描述一个具有离群像素的区块及其中心区域的例子；

图6是一个实施例的基于多区块的超分辨率方法流程图；

图7描述几种区块几何形状的实施例；

图8描述几种部分区块的形状模式和相应中心区域的实施例；

图9描述一个从单个图像或视频帧的基于多区块的超分辨率的系统实施例；

图10描述一个基于多区块的超分辨率系统的视频处理系统实施例；

图11描述一个从单个图像或视频帧的基于多区块的超分辨率的装置实施例；和

图12描述在1/2像素图像里进行4x4像素区块的SiSS计算的例子。

【发明详述】

图1A描述一个从低分辨率图像或视频帧102产生高分辨率图像或视频帧的实施例方法。如上所述，可以使用超分辨率方法来将低分辨率自然图像或视频帧102转换成高分辨率图像或视频帧104，以便显示在高分辨率显示器装置上或用于图像或视频处理、分析、传输或其它功能的装置上。

自相似性是自然图像102的一个特征，即图像中某种局部视觉内容在相同或不同的尺度（scale）上将重复出现。基于这个假设，可以通过在输入LR图像102里以一个或多个尺度搜索相似的区块来确定该低分辨率区块对应的高分辨率区块，然后将该高分辨率区块用于重建HR图像104。在一个实施例里，该局部视觉内容在每个尺度上的外观都相同。这种现象可以被称为尺度不变自相似性（SiSS），在自然图像里通常发生在诸如边缘和拐角等局部结构中。该现象可以更严格地描述为，给定一个包括某局部结构的图像区块P，通过以下公式可以度量P的SiSS特性：

$\mathrm{siss}=\underset{s}{\min }\left(F(C_s\left(P\right),D_s\left(P\right))\right),---\left(1\right)$

其中D_s(·)表示一个尺度比例因子为s的下采样运算，C_s(·)是具有跟D_s(P)相同尺寸的P的中心区域，F(·)是区块对区块的相似性度量。大的SiSS数值表示在相似性度量F(·)下，该局部结构在任何尺度上都具有相同的外观。

进一步，我们可以假设：如果一个局部视觉内容在某个分辨率上满足SiSS，其将在更高分辨率上保持其结构和SiSS特性。类似的假设已经在边缘剖面梯度锐度的统计研究里得到部分证明，即边缘剖面的梯度锐度分布在不同分辨率上保持不变。与上述边缘剖面的梯度锐度的度量不同，本实施例中所述的SiSS不仅可以描述边缘的特性，而且可以描述自然图像中更为一般的局部结构诸如拐角的特性。如果区块P具有较高的SiSS，P及其中心区域C_s(P)可以被看作是同一局部视觉内容的一个高分辨率/低分辨率对（high-resolution/low-resolutionpair），即P为该局部视觉内容的高分辨率表示，而C_s(P)为相应的低分辨率表示。在此前提下，可以拷贝P作为C_s(P)的一个高分辨率实例，对C_s(P)进行超分辨率重建。换言之，不同于已有SR方法中搜索相似区块的方法，本发明实施例通过测量局部视觉内容的SiSS，并选择那些最合适的区块来直接重建高分辨率的内容。由于本实施例不需要进行区块搜索，因此能够以相对较低的计算成本重建高分辨率图像。

图1B描述使用以上SiSS测量和区块选择的图像重建过程。输入图像被分成多个互相重叠的小区块。如图所示，假设其中一个区块A满足SiSS特性，B是A的中心区域，且B和A尺寸的比例与低分辨率输入图像和放大的高分辨率图像尺寸的比例相同。由于区块A满足SiSS特性，我们可以将A看作是B的高分辨率实例。进一步，假设区域C是区块B被放大后对应的位置，则当我们重建该放大图像时，可以直接拷贝A到C作为B的高分辨率重建结果。显而易见，区块A将比使用双三次插值或其它类似技术直接放大B而得到的结果包含更多的原始图像细节信息，因此重建的图像不仅保持了边缘锐度，而且具有更多的图像细节信息。

我们可以将公式（1）所述的SiSS准则进一步放宽到某一特定的尺度比例因子。假设P(x，y)是尺寸为W×W的方形区块，并假设尺度比例因子为2，我们将负的均方差（MSE）作为相似性度量，则SiSS度量可以简化为：

$\mathrm{siss}=-\underset{-\frac{W}{4}\≤x,y\≤\frac{W}{4}}{\mathrm{MSE}}(P(x,y),P_{\↓}(x,y)),---\left(2\right)$

其中P_↓表示区块P的1/2下采样结果。如果SiSS大于某个给定阈值，则区块P(x，y)被确定为满足SiSS特性。

如果自然图像102中包含足够的具有SiSS特性的局部视觉内容，则使用这些内容进行直接拷贝，便可以重建高分辨率图像104。然而，一般而言，即使将SiSS的准则放宽到公式（2），自然图像102中也将仅有一小部分局部视觉内容如边缘和拐角结构满足SiSS。本发明将使用多形状和多尺寸的区块来解决这一问题。

例如，图2A显示了一个图像中的带状区域，其中区块A的中心区域，如图2B中字母‘A’旁边的较大方格，与区块A本身的外观相同，即A满足SiSS特性。然而，在该示例图像里，仅有沿着边缘的一小部分区块能够像区块A一样满足SiSS；还有相当多的区块如区块B，由于其右上角的黑色区域而不满足SiSS，如图2C所示。仔细观察可以发现：如果仅考虑区块B的下半部分，则该部分区块便能够满足SiSS。在此情况下，该部分就区块就能够被直接拷贝以重建高分辨率图像。

图3进一步描述了使用不同形状的部分区块重建高分辨率图像的过程。通过连接区块的中心点和边界的多条直线，区块可以被分成多个部分，这将在图7内详细描述。这种情况下，SiSS计算公式（2）可以重写为：

$\mathrm{siss}\left(m\right)=-\underset{(x,y)\∈P\left(m\right)\∩\left\{(x,y)\right|-\frac{W}{4}\≤x,y\≤\frac{W}{4}\}}{\mathrm{MSE}}(P(x,y),P_{\↓}(x,y)),---\left(3\right)$

其中，P(m)表示部分区块中的有效像素。显而易见，部分区块的SiSS数值将大于等于整个方形区块的SiSS数值，因而更容易满足SiSS标准，从而有更大机会从原始自然图像102中得到足够的高分辨率实例，用于重建HR图像104。

再例如，图2A内的区块B不满足SiSS。但是，如果考虑区块B内部中心的更小区块C，如图2E所示，则区块C满足SiSS。显然，对于一个给定分辨率的自然图像，区块或部分区块越小，则能够满足SiSS的区块和部分区块就越多。图4描述了一种使用多尺寸区块来重建HR图像104的方法。

在收集到足够多的SiSS区块之后，通过融合这些区块来重建高分辨率图像。一个最直接的方法是计算各个重叠区块的加权平均值，例如赋予某个区块的所有像素相同的权重。在一个实施例里，该权重取决于区块的SiSS特性。例如，首先通过公式（3）计算区块的SiSS度量，然后使用一个指数函数来计算权重：

w＝exp(siss/σ_P),(4)

其中σ_P是一个用来控制权重和SiSS特性之间相关性的参数。

公式（2）或（3）里的负MSE数值仅表示区块及其中心区域之间的总体相似性。但是，在自然图像里的区块里，总是有一些“离群”像素，不能通过所述总体相似性进行描述。图5给出了一个例子，其中（a）表示在其右上角有一个黑色像素的区块，（b）表示其中心区域的放大示意图。通过公式（2）、（3）和（4），将获得一个大的SiSS数值和一个大的权重，而这个权重将分配给区块的所有像素，包括这个“离群”像素。这样，这些“离群”像素将在重建图像中产生类似于“晕轮（halo）”或振铃效应(ringing)的伪影。对于部分区块，也可以发现上述“离群”像素的类似例子。

为了解决此问题，在进行权重分配时不仅考虑了区块的SiSS特性，同时也考虑了区块和它的中心区域之间各个像素的差异。具体而言，将一个像素间差异的指数函数添加到公式（4），从而得到如下公式：

$w(x,y)=\exp \left(\frac{\mathrm{siss}}{{\mathrm{\σ}}_P}\right)\·\exp (-\frac{\left|(P(x,y)-P_{\↓}(u,v))\right|}{{\mathrm{\σ}}_I}),---\left(5\right)$

其中 σ_I是一个用来控制像素间差异和权重之间相关性的参数。对于“离群”像素，公式（5）的第二项将大大降低它们对重建图像的影响，从而能够减少重建图像中的伪影现象。与公式（4）相比，公式（5）需要计算一个额外的指数函数。对一个8比特像素深度的图像，像素间差异仅可能有256种取值，因而通过一个查找表（LUT）便能够高效地实现该指数函数。

图6描述了基于多区块的单帧超分辨率方法600的一个实施例，将上述关键特征组合在一起。在本实施例里，方法600包括：首先，步骤602接收低分辨率图像102。然后，步骤604将低分辨率图像102划分为多种形状的区块或部分区块606。在一些实施例里，步骤604可以通过使用一个滑动窗口先将低分辨率图像划分成方形区块，然后进一步将每个方形区块分成多个部分区块，从而得到多个多形状的区块和部分区块606。而在其它实施例里，步骤604也可以通过直接使用一个具有多种形状掩码（mask）的滑动窗口，将低分辨率图像分成多形状的区块和部分区块606。

在另一个实施例里，步骤604也可以采用如下的方法实现。例如，可以有三类方法来产生部分区块：第一，可以使用穿过区块中心的一条直线来将区块以任何角度分成两个部分区块，然后这两个区块可以作为部分区块用于SiSS计算，如图7A所示；第二，部分区块可以通过从区块中心到边界的两条直线以任何角度进行分割，如图7B所示；第三，除了方形，区块也可以是其它形状，例如如图7C所示的圆形。在具体实施中，可以采用上述方法之一或多种方法的组合生成部分区块，也可以根据输入图像的内容自适应地采取某种方法或多种方法的组合成部分区块。

在一些实施例里，步骤604也可以包括：将低分辨率图像102分成多尺寸的区块或部分区块，而不仅仅是多种形状。

在一些实施例里，在步骤604，当中心区域和区块的尺寸比例是m:n时，即放大比例为n/m时，通过在低分辨率图像内以m/n像素步长移动滑动窗口来分割每个区块。在此情况下，滑动窗口生成的区块或部分区块恰好和高分辨率图像的像素栅格保持对齐，因而不需要进一步的差值操作。更重要的是，由于区块或部分区块间存在m/n像素（即小于一个像素）的偏差，即区块或部分区块的采样密度高于低分辨率图像的单个像素，这使得恢复超过LR图像奈奎斯特频率的高频信息成为可能。在一些实施例里，可以通过双三次插值、边缘导向插值（edge-guidedinterpolation）或其它插值方法获得具有m/n像素位移的上述区块或部分区块。在其它实施例里，可以预先进行插值运算并将结果存储在缓存中，这样分割步骤604就可以直接从缓存中获得区块或部分区块的数据，从而减少差值的计算量。

接着，在步骤608，方法600计算每个区块的SiSS。

在步骤610，可以应用一个或多个阈值到SiSS数值以便进行区块选择。如果方形区块或部分区块的SiSS数值高于阈值，则选择该方形区块或部分区块。在一些实施例里，可以将方形区块和通过分割该方形区块而产生的部分区块当做一组，只有SiSS数值最大（或前若干最大）且SiSS数值大于阈值的区块和/或部分区块才被选中。在其它实施例里，也可以根据诸如尺寸和/或形状等特征，将方形区块和通过分割该方形区块而产生的部分区块分成为多个组，每一组中只有SiSS数值最大（或前若干最大）且SiSS数值大于阈值的区块和/或部分区块才被选中。

在步骤616，为选中的方形区块或部分区块614确定权重因子。在一个实施例里，权重因子可以直接通过公式（5）计算。在另一个实施例里，可以使用公式（5）的第二项离线预先计算LUT，在步骤616中通过查找此LUT并与第一项相乘，从而得到权重因子。在一个实施例里，权重因子可以仍然通过公式（4）计算。在其它实施例里，可以应用不同的权重方法如公式（4）、公式（5）和LUT到不同形状和/或不同尺寸的区块上。

在步骤622，可以将经过权重因子加权的区块或部分区块拷贝到HR图像的栅格上，进行融合。图1C描述了各个区块的融合过程。在此例子里，区块A被拷贝到HR图像，由于LR图像被分割成多个相互重叠的区块，可能也有其它区块如区块D也满足SiSS，从而也被拷贝到放大图像并与拷贝的区块A部分重叠。在此情况下，对每个重叠的位置P，就会有一个属于区块A的像素以及另一个属于区块D的像素。融合过程就是将区块A和区块D上的这两个像素加权求和，从而得到位置P上的最终的重建像素数值。对多个像素重叠的位置，该融合过程计算每个像素的加权和作为最终像素数值，可以表示为：

$p(x,y)=\frac{\underset{i\∈\mathrm{overlapped}}{\mathrm{\Σ}}{p}_i(x,y)\·w_i(x,y)}{\underset{i\∈\mathrm{overlapped}}{\mathrm{\Σ}}{w}_i(x,y)},---\left(6\right)$

其中p_i(x，y)是属于某个区块的重叠像素，w_i(x，y)是p_i(x，y)的对应加权因子，p(x，y)是获得的最终的重建像素数值。在一些实施例里，公式（6）的分子和分母可以分别存储在缓存里，在所有区块被处理完毕后再执行除法运算。

在步骤626，在重建图像624上进行反投影(back-projection)以保持重建图像104和输入LR图像102之间的一致性。最后，在步骤628，输出高分辨率图像104。

可能有其它实施例采用类似于600的方法，或将方法600作为其中的一个模块。在一些实施例里，方法600可以被反复使用，从而可以逐层建立一个更大的高分辨率图像。例如，假设方法600能够在X和Y方向上放大输入图像各2倍，那么可以应用方法600两次来获取一个在X和Y方向上比输入图像大各4倍的图像。在一些实施例里，可以仅将方法600用于图像的某些区域或像素，而不是整个图像。这些区域或像素可以通过边缘检测（如Sobel算子、拉普拉斯算子和Canny边缘检测）、局部熵或其它局部特征、图像分割结果、对象检测结果、或用户定义的感兴趣区域（ROI）来确定。本领域普通技术人员应当明白，根据具体的应用需求可以使用其它合适的方法来确定采用方法600的图像区域或像素。在其它实施例里，可以将去除步骤626的方法600用于输入图像的一些区域或像素，而不是整个图像；进而将步骤626应用于整个图像，以便保持输入和输出图像之间更好的一致性。

在一个实施例里，依照本方法可以将图像放大2倍。在该实施例里，采用了如图8所示的9个不同模式，其中模式0是完整的方形，而模式1-8是方形的一部分，即部分区块。图8同样使用虚线方形标记各个模式的中心区域。在本实施例里，可以使用两个不同尺寸的区块和部分区块：8×8和4×4，其中将模式0-8用于8×8区块，而仅将模式0-4用于4×4区块。在该实施例里，通过使用多形状和多尺寸的区块，便可以收集到足够多的区块用于SR重建。本领域普通技术人员将明白，除了8×8和4×4，也可以使用其它合适的区块尺寸。

可以依照以下具体步骤实现上述实施例：首先，使用一个滑动窗口，将输入LR图像分割成多个重叠的区块；然后，对每个区块，计算并评估如图8所示的9个模式的SiSS数值。如果SiSS超过阈值，该区块被拷贝到放大图像，并与其他重叠的区块融合；最后，使用反投影来保持重建图像104和输入LR图像102之间的一致性。以下伪代码描述了使用模式0-8且区块尺寸为4x4和8x8的实施例：

在步骤2，将输入LR图像放大2倍，得到后备图像（fallbackimage）。尽管采用多种形状和多种尺寸的区块，在自然图像里仍然会有小部分不满足SiSS的复杂结构和纹理。在此情况下，后背图像被用来填补重建图像里的“空洞”，如步骤14所示。

在步骤3，使用一个滑动窗口在X和Y方向上以1/2像素步长移动，收集8×8区块。此时，收集的区块与高分辨率图像的栅格恰好对齐。更重要的是，滑动窗口使得区块间互相错位1/2像素，这使得在图像重建时复原潜在的高频信息成为可能。在具体实施中，由于1/2像素移动的滑动窗口需要对LR图像进行插值才能得到，因而可以使用双三次或边缘导向插值来预先计算一个放大图像，这样步骤3就可以直接从放大图像中得到滑动窗口所需的数据，而不需要重复插值。

步骤5-8描述使用SiSS特性进行多形状区块的选择，该实施例以MSE为例，即使用公式（2）和公式（3）。可以发现，当在步骤5对模式0计算SiSS₀后，计算模式1~8的MSE所需的所有减法和乘法运算已经完成。因此，当在步骤6对模式1-8计算SiSS₁~SiSS₈时，仅需要在像素之间进行加法运算。此外，如图8所示，由于在模式1-8上的有效像素的排列相当规则，通过一个加法树（additiontree）便可以高效地计算各个模式的MSE，从而高效地计算各个SiSS数值。由于可以采用上述方法，尽管本方法总共使用了9个模式，但计算成本只是稍微高于单个模式，这在硬件实施时更加明显。

由于在上述算法里没有涉及区块搜索，步骤10和11所示的数据融合就成为除SiSS计算之外的另一个计算热点。与公式（5）相比，公式（6）所述的加权方法多了一个额外的指数函数。但是，对一个8比特像素深度的图像，仅有256个可能的像素差值，因而公式（6）的整个第二项可以通过查找表（LUT）以较低的计算成本实现。

从步骤3到步骤11，低分辨率输入图像被分成8x8区块进行处理；步骤12则重复该过程，但使用更小的4x4区块。换言之，通过分别使用8x8和4x4区块，本实施例在步骤3~11和步骤14进行了两次重建，然后对两个重建结果进行了融合。也可以有其他实施例，例如先处理4x4区块，然后再处理8x8区块。

在一些类似于方法600的实施例里，可以一次将图像分成8x8和4x4两种区块，或自适应地将图像分成不同尺寸（8x8或4x4）。例如，首先按照第一个尺寸（如8x8像素）对LR图像进行划分；对第一尺寸的每个区块，本方法可以先对整个区块（即模式0）计算SiSS标准(SiSS₀)。如果SiSS₀大于阈值，那么就输出第一尺寸的区块；如果SiSS₀小于阈值，则进一步计算其它各个模式的SiSS数值，并确定具有最大SiSS数值的模式，如果该SiSS数值大于阈值，则选择相应的区块模式，并输出该模式对应的部分区块用于HR图像重建。接下来，使用第二个尺寸（如4x4像素）对低分辨率图像进行划分。通常第二尺寸小于第一尺寸。对每个区块重复上述SiSS的评估步骤，并输出第二尺寸的相应区块。在一个特别实施例里，仅考虑一部分模式如模式0-4用于第二尺寸的区块。

在其它类似于方法600的实施例里，可以使用不同尺寸的区块，如6x6,10x10,12x12等等。根据不同的实施方法，可以仅使用其中某一个尺寸，或同时使用两个以上的不同尺寸。在其它实施例里，区块与其中心区域的比例可以是2:1以外的其它比例，从而放大因子也可以是2以外的其它数值。例如，6x6区块和4x4中心区域可以实现一个1.5的放大因子。本领域普通技术人员将明白，其它合适的区块尺寸以及上述几种实施方法的组合也可以用于方法600。

图9是对单个图像或视频帧102进行基于多区块的超分辨率重建的一个实施例系统900。在一个实施例里，系统900包括电视接收机和/或视频处理卡902。另外，系统900包括一个超分辨率系统904的实施例，其被设置用于对单个图像或视频帧102进行基于多区块的超分辨率重建。系统900也可以包括时序控制器和/或显示器装置906用来控制来自超分辨率系统904的输出图像104在显示器装置908上的显示。在一个实施例里，显示器装置908可以是液晶显示器（LCD）装置、投影机等。

在一个实施例里，电视卡902可以接收来自媒体读取装置910的图像或视频帧。在不同实施例里，媒体读取装置910可以是蓝光DVD播放装置、数字影音光盘（DVD）播放机等。电视卡902可以通过视频接口920接收来自媒体读取装置910的图像或视频帧。视频接口920可以包括诸如高清晰度多媒体接口（HDMI）端口或数字视频接口（DVI）端口。

另外，电视卡902可以接收来自互联网连接912的图像或视频帧到一个媒体内容服务器。在一个实施例里，电视卡902可以通过以太网端口918接收图像或视频帧。或者，可以使用适用于与网络互动的无线网络卡或其它装置。

另外，电视卡902可以包括中央处理单元（CPU）914和/或图形处理单元（GPU）916。在一个实施例里，CPU914和GPU916中的一个或两个可以用来实现超分辨率系统904或其中一部分。例如，超分辨率系统904可以包括固件和/或软件，其被设置以载入到CPU914或GPU916上，并被设置以执行在此所述的运算。在另一个实施例里，USB端口922和/或在屏显示（OSD）924可以用于超分辨率系统904的用户接口。在另一个实施例里，超分辨率系统904可以独立于电视卡902而实施，例如在单机装置内。超分辨率系统的各种运算可以通过处理器、现场可编程门阵列（FPGA）、数字信号处理器（DSP）、可编程逻辑芯片（PLC）、模拟或数字电路等执行。本领域普通技术人员将明白，可以适当配置各种硬件结构以作为超分辨率系统904来运行。

图10描述在TV/HDTV、机顶盒、网络A/V接收器、DVD播放器和蓝光播放器的视频处理管线内进行基于多区块的超分辨率重建的系统1000的实施例。在一个实施例里，步骤1002将输入数字视频1001转换成适当格式如YUV4:2:0格式，其可用于系统1000内的内部处理。步骤1003消除块式和蚊式噪声，因为使用视频压缩方法如MPEG,H.264/AVC和HEVC，可以编码和解码输入视频1001。步骤1004消除视频内的其它噪声，如高斯噪声和胶片颗粒噪声。步骤1005可以使用一个运动自适应方法，将交错输入视频转换成逐行扫描视频。步骤1006是一个基于多区块超分辨率的超分辨率系统的实施，将来自方框1005的低分辨率视频帧转换成高分辨率视频帧。步骤1007将帧率转换到适应于显示器，如TV面板、LCD和投影仪。步骤1008进行色彩和对比度增强。步骤1009融合由步骤1010产生的图形内容和在屏显示（OSD）内容。步骤1011和步骤1012转换视频格式到目标显示器装置，并驱动显示器接口如VGA、DVI和HDMI。

超分辨率系统1006或整个视频处理管线1000的各种运算可以通过处理器、现场可编程门阵列（FPGA）、数字信号处理器（DSP）、可编程逻辑芯片（PLC）、模拟或数字电路等执行。本领域普通技术人员将明白，可以适当配置各种硬件结构以作为超分辨率系统904来运行。

图11描述一个实施超分辨率系统904和1006的实施例。在本实施例里，根据本方法可以执行比例因子为2的放大。在一个实施例里，超分辨率系统904可以包括一个输入端1102，其被设置以接收一个低分辨率图像102。

插值模块1104可以被设置以从一个低分辨率图像102产生一个放大尺寸的插值图像。例如，使用诸如双三次和边缘导向插值技术，插值模块1104可以被设置以产生1/2像素图像1108。类似地，图像放大模块1106可以被设置以从低分辨率图像102产生一个不同尺寸的图像。在一个实例里，通过使用一个常用技术，图像放大模块1106可以产生一个高分辨率图像1144，作为后备高分辨率图像。

一旦像素插值模块1104产生插值图像像素，获取区块中心区域模块1112可以被设置以选择图像内一个区块的像素，并确定所选区块的中心区域。另外，获取下采样区块模块1114可以从1/2像素图像获取下采样区块的一个相应区域。

图12描述一个例子以说明模块1112和1114内的运算。图12显示1/2像素图像1108的一个示例局部区域，输入LR图像102上的原始像素被标记为圆形，由模块1104产生的1/2像素错位的插值像素被标记为三角形。为了方便描述，图12描述一个左上角在（1，1）的4x4区块，其有16个被标记为圆形的像素，即像素(1,1),(1,2),(1,3),(1,4),…,(4,4)。根据公式（2），可以计算区块的中心区域（即像素(2,2),(2,3),(3,2)和(3,3)）和向下采样的4x4区块之间的MSE。实际上，在该实施例中，并不需要对4x4区块进行下采样，因为像素(a,a),(a,c),(c,a)和(c,c)就是4x4区块下采样后的像素。因此，可以通过以下公式方便地计算出SiSS：

SiSS=-[(p(2,2)-p(a,a))2

+(p(2,3)-p(a,c))2+(p(3,2)-p(c,a))2+(p(3,3)-p(c,c))2]/4.(7)

换言之，尽管公式（2）和（3）要求对区块进行下采样运算，但是这样的实施例可以不需要任何实际运算，因为下采样运算已经在模块1104内完成。在此情况下，获取区块中心区域模块1112的运算就是载入像素(2,2),(2,3),(3,2)和(3,3)；而获取下采样区块模块1114的运算就是载入像素(a,a),(a,c),(c,a)和(c,c)。

获取区块中心区域模块1112和获取下采样区块模块1114的运算可以由区块尺寸控制逻辑1110控制。在一个实施例里，模块1110可以执行滑动窗口在输入图像102里以1/2像素步长移动。模块分别提供当前区块的左上角坐标以及区块尺寸给模块1112和1114。例如，如图12所示，模块1110提供坐标（1,1）以及尺寸4给模块1112和1114，因此模块1112和1114能够根据坐标和区块尺寸获取前述的相应数据。在此实施例里，坐标可以在图像1108里按扫描线次序以1像素步长逐步增加，从而穷举图像中的所有区块。例如，如图12所示，1110产生的坐标次序可以是(1,1),(1,a),(1,2),(1,b),….,(a,1),(a,a),(a,2),….,(2,1),(2,a)，…因为1/2像素图像1108比输入图像102大2倍，所以控制逻辑1110的运算等同于在图像102里以1/2像素步长移动滑动窗口。本领域普通技术人员将认可1110的各种实施例，以不同次序如“之”字形或沿着图像中的边缘结构逐个像素地进行扫描，以及其它适合于作为超分辨率系统运行的扫描方式。

区块尺寸控制逻辑1110也可以被设置以提供输入到模式控制逻辑1118。在一个实施例里，模块1118可以确定属于如图8所示特定模式的具体像素。

一旦区块的中心区域和下采样的区块分别通过模块1112和1114获得，那么逻辑模块1116、1120和1118就计算每个区块模式(SiSS₀～SiSS₉)的SiSS数值。例如，对一个8x8的区块P，以P_c(x，y)表示P的中心4x4区域，以P↓(x,y)表示下采样后的P。首先，可以在模块1116里计算平方差d(x,y)=(Pc(x,y)-P↓(x,))²，其中0≤x,y≤3。

接下来，实施在模块1120里的加法树可以由以下公式产生：

d0_01=d(0,0)+d(0,1)d0_23=d(0,2)+d(0,3)

d1_01=d(1,0)+d(1,1)d1_23=d(1,2)+d(1,3)

d2_01=d(2,0)+d(2,1)d2_23=d(2,2)+d(2,3)

d3_01=d(3,0)+d(3,1)d3_23=d(3,2)+d(3,3)

d0=d0_01+d0_23d1=d1_01+d1_23

d2=d2_01+d2_23d3=d3_01+d3_23

d01=d0+d1d23=d2+d3

其中d(0,0)~d(3,3)是在前个步骤里计算出的平方差，即加法树里的叶子节点，而d0_01~d23是中间结果，即加法树里的中间节点。

最后，模式控制逻辑1118控制加法树1120以计算模式0~8的SiSS：

SiSS0=-(d01+d23)/16

SiSS1=-d01/8

SiSS2=-d23/8

SiSS3=-(d0_01+d1_01+d2_01+d3_01)/8

SiSS4=-(d0_23+d1_23+d2_23+d3_23)/8

SiSS5=-(d01-d(1,3)+d2_12+d(3,0))/10

SiSS6=-(d01-d(1,0)+d2_23+d(3,3))/10

SiSS7=-(d(0,0)+d1_12+d23-d(2,3))/10

SiSS8=-(d(0,3)+d1_23+d23-d(2,0))/10

如果仅计算SiSS₀，则需要的运算包括16个乘法和31个加法/减法（归一化移位可以计入到求加权因子的步骤）。如果使用本发明方法实施例计算9个模式（SiSS0~SiSS8)，那么运算量是16个乘法、50个加法/减法、7个比较和1个移位（SiSS1到SiSS8的比较可以通过7个比较、1个移位和1个加法来实现，归一化的移位和除法可以并入到求加权因子的步骤里）。与单个形状区块（模式0）相比，多形状区块方法仅需要增加19个加法、7个比较和1个移位运算。

当计算SiSS₀～SiSS₉时，比较逻辑1122可以选择一个或多个最大数值用于模块1124、1126、1128和1130中的后续处理。在一个实施例里，模块1122仅选择来自SiSS₀～SiSS₉的最大数值，其对应如图8所示的部分区块。当选择最大数值SiSS_i时，模块1126将其跟预设阈值进行比较。如果SiSS_i大于阈值，那么模块1130将根据模块控制逻辑1118的输出获取相应的部分区块的像素，用于后续处理。同时，对应如图8所示整个区块的SiSS₀也与模块1124里的预设阈值进行比较。如果SiSS₀大于阈值，那么模块1128就根据模块控制逻辑1118的输出获取对应部分区块的像素。在一些实施例里，比较逻辑1122可以选择最大的N个SiSS数值进行后续处理。在一些其它实施例里，比较逻辑1122可以根据区块和部分区块的几何形状或其它特征将SiSS₀～SiSS₉分成若干组，然后在每个组内选择最大的一个或N个。在一些其它实施例里，模块1124和1126可以根据图像的内容自适应地调整阈值，或其它的预设策略来选择区块。

加权模块1132和查找表（LUT）1134可以被设置以添加权重信息，其适用于处理如公式（5）所述的每个区块里的“离群”像素。在一个实施例里，可以使用公式（5）来分配一个权重给获取区块里的每个像素。在此情况下，公式（5）的第二项可以预先计算，并且将结果存储在LUT1134里。当加权模块1132计算权重时，其发送像素数值到LUT1134，并从LUT1134取得公式（5）的第二项的结果。

融合模块1136利用公式（6）以融合重叠区块里的所有像素。在一个实施例里，模块1136计算公式（6）的分子，并存储结果到重建图像1140；同时，模块1136也计算公式（6）的分母，并存储结果到权重图像142。在本实施例里，区块是按照次序进行处理，对于当前步骤，分子或分母的计算可能还不是完整的，因此需要按照上述方法分别存储分子和分母。在此情况下，在处理完所有区块之后，在归一化和修正模块1146里完成除法运算。

然后，决策模块1138确定是否已经处理了所有的区块，如果没有，上述模块循环运行直到所有区块都被处理。

除了执行公式（6）的除法运算，归一化和修正模块1146也将后备HR图像1144融合到重建图像1140里。在一个实施例里，对重建图像1140里的每个像素，模块1146检查权重图像1142里的对应数值。如果权重数值大于阈值，模块1146执行除法运算，并存储结果到反投影缓存1150里；否则，模块1146获取后备HR图像1142里的相应像素，并存储像素数值到反投影缓存1150里。

最后，反投影模块1148执行一个已有的常规反投影算法，产生最终的高分辨率图像1152。一些中间数据也可以存储在反投影缓存1150里。

系统900或1000可以实施在其它类似的实施例里。在一些实施例里，低分辨率的输入图像可以被分割成多个超级宏块。各个超级宏块之间可以互相重叠以去除边界效应。在此情况下，如图11所示的超分辨率模块，可以按照扫描线顺序逐个超级宏块地处理图像，而不是处理整个图像，从而明显地降低内部缓存的存储器消耗。此外，由于一个超级宏块输入并处理后，就已经完成了该部分高分辨率图像1152的重建，因而可以马上输出该部分图像数据，而不需要等到整个图像处理后才输出整个高分辨率图像。因此，该实施例也可以降低超分辨率系统的处理延迟。

尽管已经详细描述了本发明及其优势，但应该明白，可以对其作出各种改变和替换，而不会脱离由所附权利要求定义的本发明精神和范围。此外，本发明应用的范围不受限于说明书里描述的过程、机器、制造、物质组成、方法和步骤的特定实施例。从本发明的披露，本领域普通技术人员将会容易明白，可以使用当前已有的或未来开发的且能够执行与在此所述对应实施例相同的功能或获得相同的结果的过程、机器、制造、物质组成、方法、或步骤。因此，所附权利要求意在包括这些过程、机器、制造、物质组成、方法和步骤在其范围内。

Claims (29)

1.一种基于多区块的单帧图像的超分辨率重建的方法，包括：

接收具有第一分辨率的第一图像，用以转换成具有第二分辨率的第二图像；

将所述第一图像分割成多个区块，所述区块具有不同的属性；

对具有不同属性的各个区块进行处理以便选择其中的一部分，选择的条件包括该区块的尺度不变自相似性数值高于一个阈值，其中，将区块与区块的中心区域进行比较以确定所述尺度不变自相似性数值；和

使用具有选择的不同属性的各个区块，将所述第一图像转换成所述第二图像。

2.根据权利要求1所述的方法，其中所述不同属性包括区块的尺寸。

3.根据权利要求1所述的方法，其中所述不同属性包括区块的形状。

4.根据权利要求3所述的方法，其中每个所述区块包括一个或多个部分区块，每个所述部分区块具有不同的形状。

5.根据权利要求3所述的方法，其中每个所述区块包括一个或多个部分区块，每个所述部分区块包括一个或多个形状，其由从区块中心点到区块边界的一条或多条线确定。

6.根据权利要求1所述的方法，其中将整个区块与整个区块的中心区域进行比较，包括：缩小所述整个区块到和所述中心区域有相同的尺寸。

7.根据权利要求1所述的方法，还包括：计算整个区块的中心区域和缩小的整个区块之间的一个相似性数值。

8.根据权利要求1所述的方法，其中每个所述区块包括一个区域，其与一个或多个其它区块重叠。

9.根据权利要求1所述的方法，还包括：应用反投影到所述第二图像。

10.根据权利要求6所述的方法，其中所述将第一图像转换成第二图像还包括：

根据所述自相似性数值计算第一权重；

线性映射区块的中心区域的每个像素到区块的对应像素，使用区块的像素和中心区域的对应像素之间的亮度差计算每个像素的第二权重，其中，中心区域与区块的形状相同，并且，如果区块是整个区块，则中心区域以区块的中心点为中心；如果区块是部分区块，则其中心区域是以对应的整个区块的中心点为中心；

合并所述第一权重和所述第二权重以确定一个综合加权数值；和

根据所述综合加权数值，分别计算所述区块的各个区块内像素和与之重叠的区块中对应位置像素的加权和。

11.根据权利要求4或5所述的方法，其中整个区块中心区域的部分区域的形状由所述部分区块确定。

12.根据权利要求11所述的方法，其中所述区块中心区域是以所述区块的中心点为中心。

13.根据权利要求1所述的方法，其中整个区块和所述整个区块中心区域之间的比例，与所述第一图像和所述第二图像之间的比例相同。

14.根据权利要求7所述的方法，其中所述计算一个相似性数值还包括：使用一个加法树，计算所述整个区块和一个或多个相应部分区块的尺度不变自相似性度量。

15.一种基于多区块的单帧图像的超分辨率重建的系统，包括：

一个输入端，其被设置以接收具有第一分辨率的第一图像，用以转换成具有第二分辨率的第二图像；和

一个图像处理器，其被连接到所述输入端，并被设置成：

将所述第一图像分割成多个区块，所述区块具有不同的属性；

对具有不同属性的各个区块进行处理以便选择其中的一部分，选择的条件包括该区块的尺度不变自相似性数值高于一个阈值，其中所述图像处理器还被设置以比较区块和区块的中心区域，从而确定所述尺度不变自相似性数值；和

使用具有选择的不同属性的每个区块，将所述第一图像转换成所述第二图像。

16.根据权利要求15所述的系统，其中所述不同属性包括区块尺寸。

17.根据权利要求15所述的系统，其中所述不同属性包括区块形状。

18.根据权利要求17所述的系统，其中每个所述区块包括一个或多个部分区块，每个所述部分区块有不同的形状。

19.根据权利要求17所述的系统，其中每个所述区块包括一个或多个部分区块，每个所述部分区块包括一个或多个形状，其由从所述区块中心点到所述区块边界的一条或多条线确定。

20.根据权利要求15所述的系统，其中比较整个区块和整个区块的中心区域，包括：缩小所述整个区块到跟所述中心区域具有相同的尺寸。

21.根据权利要求15所述的系统，其中所述图像处理器还被设置以计算整个区块的中心区域和缩小的整个区块之间的一个相似性数值。

22.根据权利要求15所述的系统，其中每个所述区块包括一个与另一个区块重叠的区域。

23.根据权利要求22所述的系统，其中所述图像处理器还被设置以：

计算所述多个区块的每个区块上的像素的权重；和

计算权重和，作为所述与另一个区块重叠区域里像素的最终像素数值。

24.根据权利要求15所述的系统，其中所述图像处理器还被设置以：应用反投影到所述第二图像。

25.根据权利要求20所述的系统，其中所述将第一图像转换成第二图像还包括：

根据所述自相似性数值，计算第一权重；

线性映射区块的中心区域的每个像素到区块的对应像素，使用区块的像素和中心区域的对应像素之间的亮度差计算每个像素的第二权重，其中，中心区域与区块的形状相同，并且，如果区块是整个区块，则中心区域以区块的中心点为中心；如果区块是部分区块，则其中心区域是以对应的整个区块的中心点为中心；

合并所述第一权重和所述第二权重以确定一个综合权重数值；和

根据所述综合权重数值，分别计算所述区块的各个区块内像素和与之重叠的区块中对应位置像素的加权和。

26.根据权利要求18或19所述的系统，其中整个区块中心区域的部分区域的形状由所述部分区块确定。

27.根据权利要求26所述的系统，其中所述区块中心区域是以所述区块的中心点为中心。

28.根据权利要求15所述的系统，其中整个区块和所述整个区块中心区域之间的比例，跟所述第一图像和所述第二图像之间的比例相同。

29.根据权利要求21所述的系统，其中所述计算一个相似性数值还包括：使用一个加法树，计算所述整个区块和一个或多个对应部分区块的尺度不变自相似性度量。