CN103985085A - 图像超分辨率放大的方法和装置 - Google Patents

Abstract

本发明提供一种图像超分辨率放大的方法和装置。所述方法包括：根据倍率，分别获得原始图像的放大图像、低频图像和高频图像；将放大图像划分为多个预定大小的像素块；针对所述每个像素块执行以下操作：在低频图像的预定大小的局部区域内，按预定步长搜索与放大图像中的像素块最相似的像素块，将高频图像中的与在低频图像中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像中的像素块；输出放大图像中的所有像素块被叠加完成之后的图像，作为最终放大图像，其中，搜索与放大图像中的像素块最相似的像素块的步骤包括：使用加权块匹配准则来搜索与放大图像中的像素块最相似的像素块，其中，加权函数为具有中心下降特性的分布函数。

Description

图像超分辨率放大的方法和装置

技术领域

本发明总体来说涉及图像处理领域，更具体地，涉及一种图像超分辨率放大的方法和装置。

背景技术

由于网络带宽和服务器存储空间的限制，通常会先对图像进行压缩。压缩后的图像极大地降低了处理图像时所需的带宽和存储空间，但是降级处理后的图像会有较为明显的质量损失(例如，模糊、方块和振铃)，而这会在用户观看图像时降低用户的感知体验。

近年来，由于高分辨率显示器越来越多地应用在个人计算机、电视以及移动计算装置上，所以需要对将要显示的图像进行相应的超分辨率放大。图像的超分辨率算法是指通过一系列的处理将低分辨率图像转变为高分辨率图像的图像处理过程。图像超分辨率算法在卫星成像、医学图像处理、虚拟现实和显微成像等方面有广泛的应用。

在现有技术中，根据处理图像的帧数将图像超分辨率算法分为多帧图像超分辨率算法和单帧图像超分辨率算法。多帧图像超分辨率算法对输入图像序列要求较高并且需要精准配对。此外，由于在使用多帧图像超分辨率算法时，需要对大量图像进行处理，所以比较耗时，无法满足实时性的要求。而单帧图像超分辨率算法只需要一帧图像，并且所需的高频信息可通过外部图像库或图像本身获得。但是通过外部图像库获得高频信息的单帧图像超分辨率算法需要经过训练来获得高频信息，这会增加算法的复杂度。根据图像超分辨率实现的具体方法可将图像超分辨率算法分为基于重建的算法和基于学习的算法。其中，基于重建的算法包括MAP、POCS、IBP、NLM等，基于学习的算法包括稀疏表示，流行嵌入，基于样例，块重复冗余等。

常见的图像超分辨率算法包括图像插值处理，图像插值处理是指通过对邻近像素点做加权平均来求得未知像素点的处理，其中，权值通常与像素点间的距离有关。常见的插值处理有最邻近插值、双线性插值和双立方插值等处理。但是图像插值处理视觉效果较差，存在较严重的锯齿和模糊现象，特别是在放大倍率较大时(放大倍数大于等于3)。而一些自适应插值技术如NEDI(New edge directed interpolation)，其插值系数根据待插值像素点局部区域的特性做自适应调整，能够在一定程度上改善边缘插值效果，取得令人愉悦的效果，但这类方法只可对连续边缘的图像能够获得不错的效果，而对细小杂乱边缘的处理，显得人工痕迹过于明显，显得极不自然，局限性较大。

常见的图像超分辨率算法还可包括MAP算法、IBP算法和稀疏表示算法。其中，MAP算法和IBP算法均适用于单帧图像超分辨率算法，但效果均十分有限，相较于图像插值处理也没有突出的效果。而稀疏表示算法是基于学习的算法，效果较为明显，但依赖于外部高分辨率图像库，重建质量受外部库的影响，且重建过程需要进行特征提取、训练及匹配，十分耗时，难以实际应用。

因此，需要一种能够不借助于外部图像库来执行有效、自然的单帧图像超分辨率放大的方法和装置。

发明内容

提供本发明的目的在于至少解决了上述问题和/或缺点，并至少提供下述优点。

本发明的一方面提供了一种图像超分辨率放大的方法和装置，所述方法和装置通过在对图像进行局部自相似重建中使用基于加权的块匹配准则，从而重建的放大图像不会过于平滑，看起来更加自然。

本发明的另一方面提供了一种图像超分辨率放大的方法和装置，所述方法和装置通过在对图像进行放大之前对图像进行快速去噪处理，从而提高放大图像的质量。

本发明的另一方面提供了一种图像超分辨率放大的方法和装置，所述方法和装置对局部自相似重建之后的放大图像进行快速IBP迭代修正，从而效果更好的放大图像。

根据本发明的一方面，提供一种图像超分辨率放大的方法，所述方法包括：(1)根据倍率sc，分别获得原始图像I的放大图像U、低频图像L和高频图像H；(2)将放大图像U划分为多个预定大小的像素块；(3)针对所述多个预定大小的像素块中的每一个像素块执行以下操作：在低频图像L中的预定大小的局部区域内，按预定步长搜索与放大图像U中的像素块最相似的像素块，将高频图像H中的与在低频图像L中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像U中的像素块；(4)输出放大图像U中的所有像素块被叠加完成之后的图像，作为最终放大图像，其中，搜索与放大图像U中的像素块最相似的像素块的步骤包括：使用基于加权的块匹配准则来搜索与放大图像U中的像素块最相似的像素块，其中，用于加权的函数为具有中心下降特性的分布函数。

所述方法可包括：用于加权的函数为高斯核函数。

所述方法可包括：块匹配准则为绝对差和(SAD)准则。

可选地，分别获得原始图像I的放大图像U、低频图像L和高频图像H的步骤包括：通过按倍率sc对原始图像I进行上采样，获得放大图像U，通过按倍率1/sc对原始图像I进行下采样，获得缩小图像D，通过按倍率sc对缩小图像D进行上采样，获得与原始图像I相同大小的低频图像L，通过将原始图像I与低频图像L相减，获得高频图像H。

所述方法可包括：通过使用双线性插值方法来进行上采样和下采样。

所述方法可包括：倍率sc为目标放大倍率。

所述方法可还包括：通过重复执行步骤(1)-(4)来对原始图像I进行放大，其中，重复执行的次数和每次重复执行中使用的倍率sc由用户确定，每次重复执行中使用的倍率sc相乘的乘积等于或大于目标放大倍率，将每次重复执行获得的放大图像作为下一次重复执行的原始图像I，并且将最后一次重复执行输出的图像作为最终放大图像。

所述方法可包括：每次重复执行中使用的倍率sc相同或不同并可满足1<sc<1.5。

所述方法可还包括：当每次重复执行中使用的倍率sc相乘的乘积大于目标放大倍率时，在最后一次重复执行输出放大图像之后，将最后一次重复执行输出的放大图像缩小至具有目标放大倍率的图像，作为最终放大图像。

所述方法可还包括：在步骤(1)之前，对原始图像I进行去噪处理，其中，对去噪处理后的原始图像I进行步骤(1)-(4)。

所述方法可包括：通过使用快速双边滤波方法来对原始图像I进行去噪处理。

所述方法还包括：对最终放大图像进行IBP迭代修正以获得修正的放大图像。

根据本发明的另一方面，提供一种图像超分辨率放大的装置，所述装置可包括：图像转换模块，被配置为根据倍率sc,分别获得原始图像I的放大图像U、低频图像L和高频图像H；划分模块，被配置为将放大图像U划分为多个预定大小的像素块；块处理模块，被配置为针对所述多个预定大小的像素块中的每一个像素块执行以下操作：在低频图像L中的预定大小的局部区域内，按预定步长搜索与放大图像U中的像素块最相似的像素块；将高频图像H中的与在低频图像L中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像U中的像素块；输出模块，被配置为输出放大图像U中的所有像素块被叠加完成之后的图像，作为最终放大图像，其中，块处理模块使用基于加权的块匹配准则来搜索与放大图像U中的像素块最相似的像素块，其中，用于加权函数为具有中心下降特性的分布函数。

可选地，加权函数为高斯核函数。

可选地，块匹配准则为绝对差和(SAD)准则。

图像转换模块可通过按倍率sc对原始图像I进行上采样，获得放大图像U，通过按倍率1/sc对原始图像I进行下采样，获得缩小图像D，通过按倍率sc对缩小图像D进行上采样，获得与原始图像I相同大小的低频图像L，通过将原始图像I与低频图像L相减，获得高频图像H。

图像转换模块可通过使用双线性插值方法来进行上采样和下采样。

可选地，倍率sc为目标放大倍率。

所述装置可还包括：控制模块，被配置为控制图像转换模块、划分模块、块处理模块、输出模块来重复执行操作来对原始图像I进行放大，其中，重复执行的次数和每次重复执行中使用的倍率sc由用户确定，每次重复执行中使用的倍率sc相乘的乘积等于或大于目标放大倍率，将每次重复执行获得的图像作为下一次重复执行的原始图像I，并且将最后一次重复执行输出的图像作为最终放大图像。

可选地，每次重复执行中使用的倍率sc相同或不同，且满足1<sc<1.5。

所述装置可还包括：缩放模块，被配置为在将每次重复执行中使用的倍率sc相乘的乘积大于目标放大倍率的情况下，在最后一次重复执行输出图像之后，将最后一次重复执行输出的图像缩小至具有目标放大倍率的图像，作为最终放大图像。

所述装置可还包括：预处理模块，被配置为对原始图像I进行去噪处理，并将去噪处理后的图像输入到图像转换模块。

可选地，预处理模块通过使用快速双边滤波方法来对原始图像I进行去噪处理。

所述装置可还包括：修正模块，被配置为对最终放大图像进行IBP迭代修正以获得修正的放大图像。

根据本发明的图像超分辨率放大的方法和装置对单帧图像进行处理，对输入图像序列没有要求且不需要精准配对，从而扩大了使用范围，可被广泛应用于需要图像超分辨率放大的装置和方法中。

根据本发明的图像超分辨率放大的方法和装置所需的信息均从图像本身获得，不需要通过外部图像库，从而降低了算法的复杂度，并增加了算法的可移植性。

根据本发明的图像超分辨率放大的方法和装置不需要对大量图像进行处理，并且在进行图像超分辨率放大的过程中对算法进行优化，使得处理图像的速度变快，满足实时性的需求。

根据本发明的图像超分辨率放大的方法和装置在放大倍数大于3的情况下，能够克服比较严重的锯齿和模糊的现象，并增强细节，使得图像比较自然。此外，所述方法和装置对具有细小杂乱边缘的图像的处理效果也较为明显。

附图说明

从以下结合附图的实施例的描述中，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中：

图1是示出根据本发明的示例性实施例的图像超分辨率放大的方法的流程图；

图2是示出根据本发明的示例性实施例的图像超分辨率放大的方法中的自相似重建处理的示意图；

图3是示出根据本发明的另一示例性实施例的图像超分辨率放大的方法的流程图；

图4是示出根据本发明的实施例的图像超分辨率放大的装置的框图。

具体实施方式

现在将详细参照实施例，其示例在附图中被示出，其中，相同的标号始终表示相同的元件(诸如，部件、组件和结构)。以下通过参照附图描述实施例。

提供在此限定的事物(诸如，详细结构及其元件)以协助全面理解本描述。因此，清楚的是：可在没有那些限定的事物的情况下来执行示例性实施例。此外，省略公知功能或结构以提供示例性实施例的清楚且简明的描述。此外，在附图中的各种元件的尺寸可被任意地增加或减少以协助全面理解。

图1是示出根据本发明的示例性实施例的图像超分辨率放大的方法的流程图。经过大量实验研究，自然图像存在自相似的特性。由于自相似的特性在局部区域中被证明是十分有效的，所以可对同一图像进行自相似查找。本发明正是利用了图像的自相似特性，使用根据本发明的局部自适应重建方法进行图像超分辨率放大。

参照图1，在步骤S101，可根据倍率sc，分别获得原始图像I的放大图像U、低频图像L和高频图像H。这里，倍率sc可以是原始图像I将要放大的目标放大倍率。

根据本发明的示例性实施例，通过按倍率sc对原始图像I进行上采样，获得放大图像U，通过按倍率1/sc对原始图像I进行下采样，获得缩小图像D，通过按倍率sc对缩小图像D进行上采样，获得与原始图像I相同大小的低频图像L，通过将原始图像I与低频图像L相减，获得高频图像H。其中，可通过采用双线性插值来进行上采样和下采样。但本发明的上采样和下采样的方法不限于此，本领域的技术人员可理解还可使用其它任何可行方法(例如bicubic插值等)来进行上采样和下采样。

在步骤S102，可将放大图像U划分为多个预定大小的像素块。根据本发明的示例性实施例，所述预定大小的像素块可以是5×5像素块，但本领域的技术人员容易理解本发明的预定大小的像素块不限于上述尺寸，用户可根据需要选择像素块的大小。

在步骤S103，针对所述多个预定大小的像素块中的每一个像素块执行以下操作：在低频图像L中的预定大小的局部区域内，按预定步长搜索与放大图像U中的像素块最相似的像素块，将高频图像H中的与在低频图像L中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像U中的像素块。

根据本发明的示例性实施例，所述预定大小的局部区域可以是10×10的像素区域，但本领域的技术人员容易理解本发明的预定大小的局部区域不限于上述尺寸，用户可根据需要选择局部区域的大小，但是所述预定大小的局部区域应大于或等于预定大小的像素块。

根据本发明的示例性实施例，所述预定步长可以是1个像素距离(即逐像素点进行搜索)，但本领域的技术人员容易理解本发明的预定步长不限于上述像素距离，用户可根据需要选择预定步长以进行搜索。

根据本发明的示例性实施例，在搜索与放大图像U中的像素块最相似的像素块时，可使用基于加权的块匹配准则来搜索与放大图像U中的像素块最相似的像素块，其中，用于加权的函数为具有中心下降特性的分布函数(即权值由中心至边缘呈下降趋势的分布函数)。这里，块匹配准则可以是绝对差和(SAD)准则，但本领域的技术人员容易理解本发明的块匹配准则不限于SAD准则，还可使用任何可用的块匹配准则。其中，SAD的公式如下：

$\mathrm{SAD}(s,t)=\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}|U(x+i,y+j)-L(s+i,t+j)|---\left(1\right)$

其中，(x，y)是放大图像U中的像素块的中心点的坐标，(s，t)是低频图像L中的预定大小的局部区域内的像素块的中心点的坐标，(x+i，y+j)是放大图像U中的像素块中的像素点的坐标，(s+i，t+j)是低频图像L中的预定大小的局部区域内的像素块中的像素点的坐标。其中，i和j的值由选择块匹配的像素块的大小来确定，s和t的范围符合x×sc-r≤s≤x×sc+r，y×sc-r≤t≤y×sc+r，r为搜索的半径，sc为图像放大的倍数。放大图像U中某一确定的像素点(x，y)可根据在低频图像L中的预定大小的局部区域的大小来确定多个(s，t)。通过公式可以得出，两个像素块越相似，则SAD的值越小。

根据本发明的示例性实施例，基于加权的SAD(WSAD)通过用于加权的函数使位于中心区域的像素点的权值变大，而位于边缘区域的像素点的权值变小，从而更加准确的判定两个像素块的相似度。其中，WSAD的公式如下：

$\mathrm{WSAD}(s,t)=\underset{-\mathrm{kr}\&le;i\&le;\mathrm{kr}}{\mathrm{\&Sigma;}}\underset{-\mathrm{kr}\&le;j\&le;\mathrm{kr}}{\mathrm{\&Sigma;}}|U(x+i,y+j)-L(s+i,t+j)|\&times;\mathrm{weight}(i+\mathrm{kr},j+\mathrm{kr})---\left(2\right)$

其中，weight(i+kr，j+kr)是用于加权的函数，(x，y)是放大图像U中的像素块的中心点的坐标，(s，t)是低频图像L中的预定大小的局部区域内的像素块的中心点的坐标，(kr，kr)是由权值函数确定的像素块的中心点的坐标值，(x+i，y+j)是放大图像U中的像素块中的像素点的坐标，(s+i，t+j)是低频图像L中的预定大小的局部区域内的像素块中的像素点的坐标，(i+kr，j+kr)是由权值函数确定的像素块中的像素的坐标。其中，i和j的值由选择块匹配的像素块的大小来确定，kr的值由放大图像U中的像素块决定，并且符合2×kr+1＝n(其中，n为放大图像U中的像素块的边长)。

根据本发明的示例性实施例，用于加权的函数可以是高斯核函数，其中，高斯核函数的公式如下：

$\underset{-r\&le;u,v\&le;r}{\mathrm{weight}}(u,v)=\exp \left(\frac{u^2+v^2}{{2\mathrm{\&sigma;}}^2}\right)---\left(3\right)$

其中，r为高斯核半径，σ为方差，(u，v)是位于高斯核内的像素点的坐标值。但本领域的技术人员容易理解本发明的用于加权的函数不限于高斯核函数，还可使用任何类似的分布函数。

根据本发明的示例性实施例，当块匹配准则为SAD，用于加权的函数为高斯核函数时，可通过下面的等式来搜索与放大图像U中的像素块最相似的像素块：

$\mathrm{GSAD}(s,t)=\underset{-\mathrm{kr}\&le;i\&le;\mathrm{kr}}{\mathrm{\&Sigma;}}\underset{-\mathrm{kr}\&le;j\&le;\mathrm{kr}}{\mathrm{\&Sigma;}}|U(x+i,y+j)-L(s+i,t+j)|\&times;\exp \left(\frac{i^2+j^2}{{2\mathrm{\&sigma;}}^2}\right)---\left(4\right)$

其中，(x，y)是放大图像U中的像素块的中心点的坐标，(s，t)是低频图像L中的预定大小的局部区域内的像素块的中心点的坐标，(x+i，y+j)是放大图像U中的像素块中的像素点的坐标，(s+i，t+j)是低频图像L中的预定大小的局部区域内的像素块中的像素点的坐标，(i+kr，j+kr)是由权值函数确定的像素块中的像素的坐标。其中，i和j的值由选择块匹配的像素块的大小来确定，并且kr满足2×kr+1＝n(其中，n为放大图像U中的像素块的边长)，s和t的范围符合x×sc-r≤s≤x×sc+r，y×sc-r≤t≤y×sc+r，r为搜索的半径，sc为图像放大的倍数。

在步骤S104，当放大图像U中的所述多个预定大小的像素块中的所有像素块都完成叠加时，输出放大图像U中的所有像素块被叠加完成之后的图像，作为最终放大图像。

下面参照图2详细描述根据本发明的图像超分辨率放大的方法中的像素块处理的示例。图2是示出根据本发明示例性实施例的图像超分辨率放大的方法中的像素块处理的示意图。

参照图2，图像210为放大图像U，图像220为低频图像L，图像230为高频图像H，图像240为最终放大图像。

在图2中，放大图像U210被划分为多个预定大小的像素块(例如，像素块201)。针对放大图像U中的像素块201，在低频图像L中的预定大小的局部区域内，按预定步长搜索与放大图像U中的像素块201最相似的像素块，得到低频图像中的像素块202，然后根据像素块202在低频图像L中的位置，可以获得与像素块202相同位置的高频图像H中的像素块203，最后将像素块203叠加到放大图像U中像素块201，从而将放大图像U更新为叠加过像素块203的图像。对放大图像U中的每个像素块执行如上所述的操作，则可获得最终放大图像240。根据本发明的示例性实施例，在搜索最相似的像素块202时，可使用基于加权的块匹配准则来搜索与放大图像U中的像素块201最相似的像素块202。

返回参照图1，还可将图像的放大过程划分为多步进行，即，通过重复执行步骤S101至步骤S104来对原始图像I进行放大，其中，重复执行的次数和每次重复执行中使用的倍率sc可由用户确定，每次重复执行中使用的倍率sc相乘的乘积等于或大于原始图像I将要放大的目标放大倍率，将每次重复执行获得的图像作为下一次重复执行的原始图像I，并且将最后一次重复执行输出的图像作为最终放大图像。

下面参照图3来描述根据本发明的多步图像超分辨率放大的过程。图3是示出根据本发明的另一示例性实施例的图像超分辨率放大的方法的流程图。

参照图3，在步骤S301，根据原始图像I将要放大的目标放大倍率F(F为自然数)，将整个图像放大过程划分为n步进行，并将每一步的放大倍率sc设置为sc_i(i＝1,2,…,n)。这里，图像放大的步数以及每一步的放大倍率可由用户根据原始图像I将要放大的目标放大倍率、原始图像I的类型或用户经验来设置。其中，sc_i∈(1,2)，优选地，1<sc_i≤1.5，并且sc₁×sc₂×…×sc_n≥F。例如，当F＝3时，如果将原始图像的放大过程划分为3步(即，n＝3)进行，则sc1、sc2、sc3可分别为4/3，3/2，3/2，或者分别为5/4，5/4，4/3，而当F＝4时，如果将原始图像的放大过程划分为4步(即，n＝4)进行，则sc1、sc2、sc3、sc4可分别为3/2，3/2，3/2，3/2。此外，每步放大的倍数可以相同也可以不同。

在步骤S302，当进行第一步放大处理时，根据倍数sc₁，对原始图像I₁执行放大处理，得到放大图像U₁。如图3中所示，在步骤S302中对原始图像执行的放大处理包括：图像转换处理、划分处理、像素块处理和输出处理。其中，图像转换处理对应于图1中步骤S101，划分处理对应于图1中的步骤S102，像素块处理对应于图1中的步骤S103，以及输出处理对应于图1中的步骤S104。为了简洁,将省略对此的详细描述。根据本发明的示例性实施例，如果n＝1，则U₁为最终放大图像，那么图3中所述的图像超分辨率放大的方法与图1中所述的图像超分辨率放大的方法相同。

在步骤S303中，当进行第二步放大处理时，根据sc₂，将放大图像U₁作为原始图像I₂执行放大处理，得到放大图像U₂(即，相对于原始图像放大sc₁×sc₂的放大图像)。具体来说，将放大图像U₁输入到步骤S303中的图像转换处理中，并依次执行图像转换处理、划分处理、像素块处理和输出处理。如图3中所示，步骤S303中进行的放大处理与步骤S302中进行的放大处理相同，所以为了简洁，将省略对此的详细描述。根据本发明的示例性实施例，如果n＝2，则U₂为最终放大图像。

如图3中所示，输出处理后的图像作为下一次放大处理的原始图像，当n＞3时，重复执行如步骤S302和步骤S303的图像转换处理、划分处理、像素块处理和输出处理，因此这里省略对在中间多步放大处理的描述。

在步骤S304，当进行第n步放大处理时，根据sc_n，将在第n-1步放大处理输出的放大图像U_n-1作为原始图像I_n执行放大处理，得到放大图像U_n(即，相对于原始图像放大sc₁×sc₂×…×sc_n的放大图像)，作为最终放大图像。其中，对放大图像U_n-1执行的放大处理与在步骤S302和步骤S303中采用的方法相同(即分别对应于图1中步骤S101、S102、S103和S104)相同。为了简洁，将省略对此的详细描述。

所述方法还可包括：当在n步放大过程中采用的倍率sc₁、sc₂…sc_n相乘的乘积大于目标放大倍率F时，在输出放大图像U_n之后，将放大图像U_n缩小至具有目标放大倍率F的图像，作为最终放大图像。

返回参照图1，根据本发明的示例性实施例，可在对图像进行根据本发明的局部自相似重建放大之前，对原始图像I进行去噪处理。在对原始图像I完成去噪处理之后，对去噪处理后的原始图像I执行根据本发明的放大处理(例如，图1的步骤S101到步骤S104或图3的步骤S301到步骤S304)。

具体地说，可通过使用快速双边滤波对原始图像I进行去噪处理。双边滤波器的输出像素值可根据公式(1)由其周围像素加权平均所得：

$\hat{f}(x,y)=\frac{\underset{(i,j)\&Element;S_{x,y}}{\mathrm{\&Sigma;}}w(i,j)f(i,j)}{\underset{(i,j)\&Element;S_{x,y}}{\mathrm{\&Sigma;}}w(i,j)}---\left(5\right)$

其中，S_x,y表示中心点(x，y)的(2N+1)×(2N+1)大小的邻域。相对于中值滤波和高斯低通滤波，双边滤波具有保边缘性。这是因为针对该邻域内的每一个像素点g(i，j)，其加权系数w(i,j)由两部分因子的乘积(参见公式8)。一个因子用来对空间距离进行加权，使得权值随着空间距离的增大而减小(参见公式6)；另一个因子用来对像素灰度进行加权，使得两像素灰度值的相似性越小权值越小(参见公式7)。

$w_{\mathrm{spatial}}(x,y)=\exp (-\frac{{|x-i|}^2+{|y-j|}^2}{{2\mathrm{\&delta;}}_s^2})---\left(6\right)$

$w_{\mathrm{range}}(x,y)=\exp (-\frac{{|f(i,j)-f(x,y)|}^2}{{2\mathrm{\&delta;}}_r^2})---\left(7\right)$

w(x,y)＝w_spatial(x,y)w_range(x,y)           (8)

其中，(x,y)为在特定区域内的中心点的坐标，(i，j)为在特定区域内的像素点的坐标，δ_s为空间方差，δ_r为灰度方差。这样，双边滤波器既对图像进行了平滑滤波，又保持了图像边缘。

根据高斯滤波可分离性对关于空间距离的加权因子进行x方向和_y方向的分解，从而降低计算的复杂度。

$w_{\mathrm{spatisl}}(x,y)=\exp (-\frac{{|x-i|}^2}{{2\mathrm{\&delta;}}_s^2})\exp (-\frac{{|y-j|}^2}{{2\mathrm{\&delta;}}_s^2})---\left(9\right)$

其中，(x,y)为在特定区域内的中心点的坐标，(i，j)为在特定区域内的像素点的坐标，δ_s为空间方差，δ_r为灰度方差。

此外，在实际运行过程中，为了进一步提高运行速度，可通过查表、浮点运算变整形运算以及多线程运算等多种技术手段来减少运行时间。

通过使用快速双边滤波对图像进行去噪处理，能够较好地去除图像中的噪声，并且大大减少了图像去噪的时间。但本领域的技术人员容易理解本发明的用于去噪处理的方法不限于快速双边滤波方法，还可使用任何可用的去噪处理方法。

此外，根据本发明的示例性实施例，当获得最终放大图像时，可对最终放大图像进行IBP迭代修正以获得修正的放大图像。

在对最终放大图像进行迭代修正的过程中，可采用迭代反投影算法(IBP)。IBP是经典的空域超分辨率重建算法，它的重建过程是对初始估计值不断迭代的过程，其核心步骤就是误差的反投影。而初始估计对IBP重建的质量影响很大，所以将最终放大图像作为IBP的初始估计，可使IBP的修正效果更加明显。并且在对原始图像进行局部自相似重建放大后进行IBP修正能够使图像的放大效果更佳自然。

使用IBP方法估计待估计的HR图像的公式可表示为：

${\hat{x}}^{n+1}(s,t)={\hat{x}}^n(s,t)+\mathrm{delt}\&times;\underset{x,y\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}(y(x,y)-{\hat{y}}^n(x,y))\&times;h^{\mathrm{BP}}(s,t;x,y)---\left(10\right)$

其中，输入的观测图像为y，分辨率为[M×N],待估计的HR图像为x，在x和y方向上的分辨率均扩大了s倍(即分辨率为[s×M×s×N]),是第n次迭代所得的模拟LR图像，它依据当前估计的HR图像经过降质生成。delt为常数，用于控制迭代的收敛速度。Ω表示为(x,y)位置集合。h^BP为反投影核，它决定误差的影响方式，一般选取高斯核，高斯核的窗口可以是但不限于5×5。

对最终放大图像的迭代处理的具体步骤如下：

a.对当前的HR图像(即最终放大图像)进行低通滤波，一种常用的滤波函数是高斯滤波。滤波后的图像假设记为HR_b；

b.对HR_b进行下采样，获得下采样后的图像HR_b_d。可选地，可通过双线性插值对HR_b进行下采样；

c.获得误差图像im_err，误差图像im_err＝HR_b_d–I，即将最终放大图像进行滤波并下采样后的图像与原始图像I相减；

d.修正过程，迭代的公式如下：

HR_new＝HR+delt×im_err_b                (11)

HR_new为修正后的HR图像，im_err_b为对误差图像im_err进行低通滤波后的图像，HR为最终放大图像，delt为常数且0＜delt≤1,delt被用于控制迭代的收敛速度，在此实施例中，delt＝0.25时效果较好。此外，修正过程是迭代处理的过程，迭代的次数可以人为设定，也可通过迭代终止条件来设置。在此实施例中，迭代次数设置为5。

图4是示出根据本发明的示例性实施例的图像超分辨率放大的装置的框图。

参照图4，根据本发明的实施例的图像超分辨率放大的装置400包括：图像转换模块401、划分模块402、块处理模块403和输出模块404。

具体地说，图像转换模块401可根据倍率sc，分别获得原始图像I的放大图像U、低频图像L和高频图像H。这里，倍率sc可以是原始图像I将要放大的目标放大倍率。

根据本发明的示例性实施例，图像转换模块401可通过按倍率sc对原始图像I进行上采样，获得放大图像U，通过按倍率1/sc对原始图像I进行下采样，获得缩小图像D，通过按倍率sc对缩小图像D进行上采样，获得与原始图像I相同大小的低频图像L，通过将原始图像I与低频图像L相减，获得高频图像H。其中，可通过采用双线性插值来进行上采样和下采样。但本发明的上采样和下采样的方法不限于此，本领域的技术人员可理解还可使用其它任何可行方法(例如bicubic插值等)来进行上采样和下采样。

划分模块402可将放大图像U划分为多个预定大小的像素块。根据本发明的示例性实施例，所述预定大小的像素块可以是5×5像素块，但本领域的技术人员容易理解本发明的预定大小的像素块不限于上述尺寸，用户可根据需要选择像素块的大小。

块处理模块403可针对所述多个预定大小的像素块中的每一个像素块执行以下操作：在低频图像L的预定大小的局部区域内，按预定步长搜索与放大图像U中的像素块最相似的像素块；将高频图像H中的与在低频图像L中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像U中的像素块。

根据本发明的示例性实施例，所述预定大小的局部区域可以是10×10的像素区域，但本领域的技术人员容易理解本发明的预定大小的局部区域不限于上述尺寸，用户可根据需要选择局部区域的大小，但是所述预定大小的局部区域应大于或等于预定大小的像素块。

根据本发明的示例性实施例，所述预定步长可以是1个像素距离(即逐像素点进行搜索)，但本领域的技术人员容易理解本发明的预定步长不限于上述像素距离，用户可根据需要选择预定步长以进行搜索。

根据本发明的示例性实施例，在块处理模块403搜索与放大图像U中的像素块最相似的像素块时，可使用基于加权的块匹配准则来搜索与放大图像U中的像素块最相似的像素块，其中，用于加权的函数为具有中心下降特性的分布函数(即权值由中心至边缘呈下降趋势的分布函数)。这里，块匹配准则可以是绝对差和(SAD)准则(参见公式1)，但本领域的技术人员容易理解本发明的块匹配准则不限于SAD准则，还可使用任何可用的块匹配准则。

根据本发明的示例性实施例，基于加权的SAD(WSAD)(参见公式2)通过用于加权的函数使位于中心区域的像素点的加权后的像素值变大，而位于边缘区域的像素点的加权后的值变小，从而更加准确的判定两个像素块的相似度。

根据本发明的示例性实施例，用于加权的函数可以是高斯核函数(参见公式3)，但本领域的技术人员容易理解本发明的用于加权的函数不限于高斯核函数，还可使用任何类似的分布函数。

当块匹配准则为SAD，用于加权的函数为高斯核函数时，块处理模块403可通过公式(4)来搜索与放大图像U中的像素块最相似的像素块。

输出模块404输出放大图像U中的所有像素块被叠加完成之后的图像，作为最终放大图像。

根据本发明的示例性实施例的装置400还可包括控制模块407(未示出)。控制模块407可控制图像转换模块401、划分模块402、块处理模块403、输出模块404来重复执行操作来对原始图像I进行放大，其中，重复执行的次数和每次重复执行中使用的倍率sc由用户确定，每次重复执行中使用的倍率sc相乘的乘积等于或大于目标放大倍率，将每次重复执行获得的图像作为下一次重复执行的原始图像I，并且将最后一次重复执行输出的图像作为最终放大图像。

具体来说，控制模块407根据原始图像I将要放大的目标放大倍率F(F为自然数)和重复执行的次数n，并将每一次的放大倍率sc设置为sc_i(i＝1,2,…,n)。这里，图像放大的次数以及每一次的放大倍率可由用户根据原始图像I将要放大的目标放大倍率、原始图像I的类型或用户经验来设置。其中，sc_i∈(1,2)，优选地，1<sc_i≤1.5，并且sc₁×sc₂×…×sc_n≥F。此外，在控制模块407中每次放大的倍数可以相同也可以不同。

根据本发明的示例性实施例的装置400还包括缩放模块408(未示出)。当在n步放大过程中采用的倍率sc₁、sc₂…sc_n相乘的乘积大于目标放大倍率F时，在输出放大图像U_n之后，缩放模块408将放大图像U_n缩小至具有目标放大倍率F的图像，作为最终放大图像。

此外，根据本发明的实施例的装置400还可包括预处理模块405(未示出)。预处理模块405可在对图像进行根据本发明的局部自相似重建放大之前，对原始图像I进行去噪处理。并且预处理模块405在对原始图像I完成去噪处理之后，将去噪处理后的原始图像I输入到图像转换模块401。

具体地说，预处理模块405可通过使用快速双边滤波对原始图像I进行去噪处理。此外，在实际运行过程中，为了进一步提高预处理模块401的操作速度，可通过查表、浮点运算变整形运算以及多线程运算等多种技术手段来减少预处理模块405的运行时间。

预处理模块405通过使用快速双边滤波对图像进行去噪处理，能够较好地去除图像中的噪声，并且大大减少了图像去噪的时间。但本领域的技术人员容易理解在预处理模块405中使用的去噪处理的方法不限于快速双边滤波方法，还可使用任何可用的去噪处理方法。

此外，根据本发明的示例性实施例的装置400还可包括修正模块406(未示出)。当输出模块404输出最终放大图像时，修正模块406可对最终放大图像进行IBP迭代修正以获得修正的放大图像。

修正模块406在对最终放大图像进行迭代修正的过程中，可采用迭代反投影算法(IBP)。IBP是经典的空域超分辨率重建算法，它的重建过程是对初始估计值不断迭代的过程，其核心步骤就是误差的反投影。而初始估计对IBP重建的质量影响很大，所以修正模块406将最终放大图像作为IBP的初始估计，可使IBP的修正效果更加明显。并且在对原始图像I进行局部自相似重建放大后进行IBP修正能够使图像的放大效果更佳自然。使用IBP方法估计待估计的HR图像的公式如上述公式(10)所示。

修正模块406对最终放大图像的迭代处理的具体步骤如下：

a.对当前的HR图像(即最终放大图像)进行低通滤波，一种常用的滤波函数是高斯滤波。滤波后的图像假设记为HR_b；

b.对HR_b进行下采样，获得下采样后的图像HR_b_d。可选地，可通过双线性插值对HR_b进行下采样；

c.获得误差图像im_err，误差图像im_err＝HR_b_d–I，即将最终放大图像进行滤波并下采样后的图像与原始图像I相减；

d.修正过程，迭代的公式如下面的公式(12)所示：

HR_new＝HR+delt×im_err_b               (12)

HR_new为修正后的HR图像，im_err_b为对误差图像im_err进行低通滤波后的图像，HR为最终放大图像，delt为常数且0＜delt≤1,delt被用于控制迭代的收敛速度，在此实施例中，delt＝0.25时效果较好。此外，修正模块中的迭代的次数可以人为设定，也可通过迭代终止条件来设置。在此实施例中，迭代次数设置为5。

本发明提供一种图像超分辨率放大的方法和装置，所述方法和装置通过在对图像进行局部自相似重建中使用基于加权的块匹配准则，从而重建的放大图像不会过于平滑，看起来更加自然。此外，本发明还提供了一种图像超分辨率放大的方法和装置，所述方法和装置通过在对图像进行放大之前对图像进行快速去噪处理，从而提高放大图像的质量。此外，本发明还提供了一种图像超分辨率放大的方法和装置，所述方法和装置对局部自相似重建之后的放大图像进行快速IBP迭代修正，从而效果更好的放大图像。

根据本发明的图像超分辨率放大的方法和装置对单帧图像进行处理，对输入图像序列没有要求且不需要精准配对，从而扩大了使用范围，可被广泛应用于需要图像超分辨率放大的装置和方法中。并且根据本发明的图像超分辨率放大的方法和装置所需的信息均从图像本身获得，不需要通过外部图像库，从而降低了算法的复杂度，并增加了算法的可移植性。此外，根据本发明的图像超分辨率放大的方法和装置不需要对大量图像进行处理，并且在进行图像超分辨率放大的过程中对算法进行优化，使得处理图像的速度变快，满足实时性的需求。特别地，根据本发明的图像超分辨率放大的方法和装置在放大倍数大于3的情况下，能够克服比较严重的锯齿和模糊的现象，并增强细节，使得图像比较自然。此外，所述方法和装置对具有细小杂乱边缘的图像的处理效果也较为明显。

可根据计算机程序指令来执行根据本发明的上述方法。由于这些程序指令可被包括在计算机、专用处理器或可编程或专用硬件中，因此在其中执行的指令可有利于上述的功能的执行。如本领域的技术人员所理解的，计算机、处理器或可编程硬件包括可存储或接收软件或计算机代码的存储器件，所述软件或计算机代码在被计算机、处理器或硬件访问和执行时实现在本发明中描述的方法。

虽然本发明是参照其示例性的实施例被显示和描述的，但是本领域的技术人员应该理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可以对其形式和细节进行各种改变。

Claims (24)

1.一种图像超分辨率放大的方法，包括：

(1)根据倍率sc，分别获得原始图像I的放大图像U、低频图像L和高频图像H；

(2)将放大图像U划分为多个预定大小的像素块；

(3)针对所述多个预定大小的像素块中的每一个像素块执行以下操作：在低频图像L中的预定大小的局部区域内，按预定步长搜索与放大图像U中的像素块最相似的像素块，将高频图像H中的与在低频图像L中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像U中的像素块；

(4)输出放大图像U中的所有像素块被叠加完成之后的图像，作为最终放大图像，

其中，搜索与放大图像U中的像素块最相似的像素块的步骤包括：使用基于加权的块匹配准则来搜索与放大图像U中的像素块最相似的像素块，其中，用于加权的函数为具有中心下降特性的分布函数。

2.如权利要求1所述的方法，其中，用于加权的函数为高斯核函数。

3.如权利要求2所述的方法，其中，块匹配准则为绝对差和(SAD)准则。

4.如权利要求1所述的方法，其中，分别获得原始图像I的放大图像U、低频图像L和高频图像H的步骤包括：通过按倍率sc对原始图像I进行上采样，获得放大图像U，通过按倍率1/sc对原始图像I进行下采样，获得缩小图像D，通过按倍率sc对缩小图像D进行上采样，获得与原始图像I相同大小的低频图像L，通过将原始图像I与低频图像L相减，获得高频图像H。

5.如权利要求4所述的方法，其中，通过使用双线性插值方法来进行上采样和下采样。

6.如权利要求1所述的方法，其中，倍率sc为目标放大倍率。

7.如权利要求1所述的方法，还包括：通过重复执行步骤(1)-(4)来对原始图像I进行放大，其中，重复执行的次数和每次重复执行中使用的倍率sc由用户确定，每次重复执行中使用的倍率sc相乘的乘积等于或大于目标放大倍率，将每次重复执行获得的图像作为下一次重复执行的原始图像I，并且将最后一次重复执行输出的图像作为最终放大图像。

8.如权利要求7所述的方法，其中，每次重复执行中使用的倍率sc相同或不同，并满足1<sc<1.5。

9.如权利要求7所述的方法，还包括：当将每次重复执行中使用的倍率sc相乘的乘积大于目标放大倍率时，在最后一次重复执行输出图像之后，将最后一次重复执行输出的图像缩小至具有目标放大倍率的图像，作为最终放大图像。

10.如权利要求1所述的方法，还包括：在步骤(1)之前，对原始图像I进行去噪处理，其中，对去噪处理后的原始图像I进行步骤(1)-(4)。

11.如权利要求10所述的方法，其中，通过使用快速双边滤波方法来对原始图像I进行去噪处理。

12.如权利要求1-11中的任意一项中所述的方法，还包括：对最终放大图像进行IBP迭代修正以获得修正的放大图像。

13.一种图像超分辨率放大的装置，所述装置包括：

图像转换模块，被配置为根据倍率sc,分别获得原始图像I的放大图像U、低频图像L和高频图像H；

划分模块，被配置为将放大图像U划分为多个预定大小的像素块；

块处理模块，被配置为针对所述多个预定大小的像素块中的每一个像素块执行以下操作：在低频图像L中的预定大小的局部区域内，按预定步长搜索与放大图像U中的像素块最相似的像素块，将高频图像H中的与在低频图像L中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像U中的像素块；

输出模块，被配置为输出放大图像U中的所有像素块被叠加完成之后的图像，作为最终放大图像，

其中，块处理模块使用基于加权的块匹配准则来搜索与放大图像U中的像素块最相似的像素块，其中，用于加权的函数为具有中心下降特性的分布函数。

14.如权利要求13所述的装置，其中，用于加权的函数为高斯核函数。

15.如权利要求14所述的装置，其中，块匹配准则为绝对差和(SAD)准则。

16.如权利要求13所述的装置，其中，图像转换模块通过按倍率sc对原始图像I进行上采样，获得放大图像U，通过按倍率1/sc对原始图像I进行下采样，获得缩小图像D，通过按倍率sc对缩小图像D进行上采样，获得与原始图像I相同大小的低频图像L，通过将原始图像I与低频图像L相减，获得高频图像H。

17.如权利要求16所述的装置，其中，图像转换模块通过使用双线性插值方法来进行上采样和下采样。

18.如权利要求13所述的装置，其中，倍率sc为目标放大倍率。

19.如权利要求13所述的装置，还包括：控制模块，被配置为控制图像转换模块、划分模块、块处理模块、输出模块来重复执行操作来对原始图像I进行放大，其中，重复执行的次数和每次重复执行中使用的倍率sc由用户确定，每次重复执行中使用的倍率sc相乘的乘积等于或大于目标放大倍率，将每次重复执行获得的图像作为下一次重复执行的原始图像I，并且将最后一次重复执行输出的图像作为最终放大图像。

20.如权利要求19所述的装置，其中，每次重复执行中使用的倍率sc相同或不同，并满足1<sc<1.5。

21.如权利要求19所述的装置，还包括：缩放模块，被配置为在将每次重复执行中使用的倍率sc相乘的乘积大于目标放大倍率的情况下，在最后一次重复执行输出图像之后，将最后一次重复执行输出的图像缩小至具有目标放大倍率的图像，作为最终放大图像。

22.如权利要求13所述的装置，还包括：预处理模块，被配置为对原始图像I进行去噪处理，并将去噪处理后的图像输入到图像转换模块。

23.如权利要求22所述的装置，其中，预处理模块通过使用快速双边滤波方法来对原始图像I进行去噪处理。

24.如权利要求13-23中的任意一项中所述的装置，还包括：修正模块，被配置为对最终放大图像进行IBP迭代修正以获得修正的放大图像。