CN104580931A - 一种图像、视频超分辨率放大的系统与方法 - Google Patents

Abstract

本发明公开了一种图像、视频超分辨率放大的系统与方法，它的系统包括第一存储器、第一缓冲器、内插滤波器、第二缓冲器、抽取滤波器、第三缓冲器、减法模块、第四缓冲器、Patch匹配模块、第五缓冲器、校正模块、加法模块、第六缓冲器、双三次插值下采样模块和第二存储器。发明提供了一种图像、视频超分辨率放大的系统与方法，能在减弱振铃噪声、图像模糊、边缘锯齿等方面得到可接受的主观画面质量，并且不仅能用于常用的相机和DV等分辨率较大的图像，也能用于分辨率非常小的互联网照片的放大显示。

Description

一种图像、视频超分辨率放大的系统与方法

技术领域

本发明涉及一种图像、视频超分辨率放大的系统与方法，应用于数字图像处理、视频处理、广播电视制作、上变换、非线性编辑等领域。

背景技术

随着数字图像处理技术与显示设备技术的发展，提高图像的分辨率以用于进一步处理成为常见的图像编辑操作；不管是从理论还是实践，如何在保证更少失真的情况下复现出图像分辨率提高后的中间缺少像素的颜色值，都是一项极具挑战性的工作。

最简单并且效率最高的提高图像分辨率的算法是直接拷贝相邻位置像素的颜色值作为中间缺少像素的颜色值，其缺陷主要是会造成输出图像边缘的锯齿。

更进一步的算法是使用双线性插值处理，利用相邻位置的两个方向共四个像素的颜色值进行线性插值，这能在一定程度上减少输出图像边缘的锯齿效应，但是对于细节丰富的图像，其分辨率提高后的图像会造成明显的细节失真。

更能保留细节的算法是使用双三次线性插值，在水平和垂直方向上，均使用相邻的四个像素的颜色值进行线性插值，由于系统包含有负值的成份，因此一定程度上能减轻细节丢失的程度，能更好的保留细节信息。

通常使用的线性插值算法均属于有限窗口大小的有限脉冲低通滤波器，当对输入图像进行高分辨率放大时，会明显的造成输出图像的振铃、锯齿、模糊等现象，因此如何在放大更多倍的分辨率时保持更少的图像失真，成为多年以来的主要研究课题。

有人提出了一种新的基于边缘方向的内插方法，首先估计低分辨率图像的局部区域协方差系数，同时为了降低计算的复杂度，采用双线性插值与基于协方差的自适应插值相切换的结合方法，生成高分辨率的输出图像。

有人提出了一种基于实例的超分辨率方法，使用从任意自然图像中获取的小图像块建立通用实例数据库，并且作用于低分辨率图像放大到高分辨率图像后的分块匹配相似性补偿，虽然这能提供一些相似性的补偿作用，但是放大后的图像与原始图像应该具有更高的相似性。

发明内容

本发明的目的在于克服现有技术的不足，提供一种图像、视频超分辨率放大的系统与方法，能在减弱振铃噪声、图像模糊、边缘锯齿等方面得到可接受的主观画面质量，并且不仅能用于常用的相机和DV等分辨率较大的图像，也能用于分辨率非常小的互联网照片的放大显示。

本发明的目的是通过以下技术方案来实现的：一种图像、视频超分辨率放大的系统，它包括第一存储器、第一缓冲器、内插滤波器、第二缓冲器、抽取滤波器、第三缓冲器、减法模块、第四缓冲器、Patch匹配模块、第五缓冲器、校正模块、加法模块、第六缓冲器、双三次插值下采样模块和第二存储器；

所述的第一存储器接收输入原始图像，输出端与第一缓冲器的原始图像输入端连接，第一缓冲器的输出端1与内插滤波器连接，内插滤波器的输出端与第二缓冲器连接，第二缓冲器的输出端1与抽取滤波器连接，抽取滤波器的输出端与第三缓冲器连接，第三缓冲器的输出端和第一缓冲器的输出端2分别与减法模块连接，减法模块的输出端与第四缓冲器连接，第四缓冲器的输出端和第二缓冲器的输出端2分别与Patch匹配模块连接，Patch匹配模块的输出端与第五缓冲器连接，第五缓冲器的输出端与校正模块连接、校正模块的输出端和第二缓冲器的输出端3分别与加法模块连接，加法模块的输出端与第一缓冲器的合成图像输入端连接，第一缓冲器的输出端3与第六缓冲器连接，第六缓冲器的输出端与双三次插值下采样模块连接，双三次插值下采样模块的输出端与第二存储器连接，第二存储器输出图像；

所述的减法模块用储存在第一缓冲器中的图像减去储存在第三缓冲器中的图像；

所述的第五缓冲器中存储有和第二缓冲器中图像大小相同并且已经清零的图像；

所述的第一缓冲器的原始图像输入端接收的原始图像，并输出给内插滤波器和减法模块，第一缓冲器的合成图像输入端接收的合成图像在分辨率小于输出图像时，将合成图像输出给内插滤波器和减法模块，在分辨率不小于输出图像时，将和成图像输出给第六缓冲器。

一种图像、视频超分辨率放大的方法，它包括以下步骤：

S1.将需要处理的原始图像A1输入并存储在第一存储器和第一缓冲器中；

S2.用内插滤波器处理存储在第一缓冲器中的图像A1，得到放大后的低频带平滑图像A2并存储在第二缓冲器中；

S3.用抽取滤波器处理存储在第二缓冲器中的图像A2，得到与A1分辨率相同的低频带平滑图像A3并存储在第三缓冲器中；

S4.用减法模块处理存储在第一缓冲器中的图像A1和存储在第三缓冲器中的图像A3，得到高频细节图像A4并存储在第四缓冲器中；

S5.准备与存储在第二缓冲器中的图像A2大小相同的图像，并将其清零后存储在第五缓冲器中；

S6.使用Patch模块对图像A2进行Patch分块后，图像A4里的相应映射位置进行匹配运算，找到误差最小的Patch，并将储存在第四缓冲器中的图像A4中对应的块的值累加到储存在第五缓冲器中的图像的相应位置块中，并使用校正模块校正调节高频补偿系数，得到高频带补偿图像A5；

S7.使用加法模块对存储在第二缓冲器中的图像A2和高频带补偿图像A5进行加法运算，得到合成图像A6，并输入第一缓冲器中更新第一缓存器存储的图像；

S8.系统比较合成图像A6的分辨率和输出图像A7所要求的分辨率：

(1)当合成图像A6的分辨率小于输出图像A7所要求的分辨率时，转跳到步骤S2；

(2)当合成图像A6的分辨率不小于输出图像A7所要求的分辨率时，将合成图像A6传输给第六缓冲器；

S9.将第六缓冲器中的合成图像A6经过双三次插值下采样模块处理后得到输出图像A7，将输出图像A7存储到第二存储器中并输出。

所述的步骤S6包括以下子步骤：

S61.使用Patch模块对存储在第二缓冲器中的图像A2进行Patch分块；

S62.在存储在第四缓冲器中的图像A4里的相应映射位置进行固定窗口大小的局部区域内的块匹配运算，找到误差最小的Patch；

S63.将图像A4中对应的块的值累加到储存在第五缓冲器中的图像的相应位置块中；

S64.通过校正模块调节高频补偿系数，对第五缓冲器中得到的图像进行处理，获得到高频带补偿图像A5。

所述的步骤S9包括以下子步骤：

S91.系统比较合成图像A6和输出图像A7要求的分辨率：

(1)当合成图像A6的分辨率与输出图像A7要求的分辨率相同时，双三次插值下采样模块不经过处理直接将合成图像A6传输给第二存储器得到输出图像A7；

(2)当合成图像A6的分辨率与输出图像A7要求的分辨率不相同时，使用双三次插值下采样模块处理合成图像A6并传输给第二存储器得到输出图像A7；

S92.将存储在第二存储器中的输出图像A7输出。

所述的内插滤波器的处理包括以下子步骤：先对初始像素进行分组，并拷贝至指定位置中，同时中间的缝隙像素填0，然后对所有像素进行平滑滤波，公式如下：

$U=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{I}_k*f_k,$

上式中，n表示滤波器组个数，I表示拷贝后的原始像素和缝隙像素组成的新的图像序列，f表示滤波器组，*代表卷积运算，经过这个过程，便得到上采样图像U，即所述的图像A2。

所述的抽取滤波器直接使用低通滤波器组对所述的上采样图像U进行卷积，并抽取部分像素而组成一幅新的图像，公式如下：

D(k)＝U*f_k，

上式中，D(k)表示卷积后抽取的第k个下采样图像，U所述的上采样图像，f表示滤波器组，*代表卷积运算，组合n幅D(k)图像得到所需的下采样图像D，即所述的图像A3。

所述的校正模块通过调节高频补偿系数，人为的调节需要补偿的高频信息的程度，如线性补偿，公式如下：

$\mathrm{output}=\underset{i=1}{\overset{h}{\mathrm{\Σ}}}\underset{j=1}{\overset{w}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}+k*b_{\mathrm{ij}},$

上式中，h和w分别表示处理图像的高度和宽度，a_ij和b_ij分别表示两幅图像位于第i行第j列的像素值，k表示高频补偿系数，其中k∈[0,1]。

本发明的有益效果是：(1)本发明能在减弱振铃噪声、图像模糊、边缘锯齿等方面得到可接受的主观画面质量；(2)本发明不仅能用于常用的相机和DV等分辨率较大的图像，也能用于分辨率非常小的互联网照片的放大显示。

附图说明

图1为本发明的系统原理框图；

图2为本发明的方法流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，一种图像、视频超分辨率放大的系统，它包括第一存储器、第一缓冲器、内插滤波器、第二缓冲器、抽取滤波器、第三缓冲器、减法模块、第四缓冲器、Patch匹配模块、第五缓冲器、校正模块、加法模块、第六缓冲器、双三次插值下采样模块和第二存储器；

所述的第一存储器接收输入原始图像，输出端与第一缓冲器的原始图像输入端连接，第一缓冲器的输出端1与内插滤波器连接，内插滤波器的输出端与第二缓冲器连接，第二缓冲器的输出端1与抽取滤波器连接，抽取滤波器的输出端与第三缓冲器连接，第三缓冲器的输出端和第一缓冲器的输出端2分别与减法模块连接，减法模块的输出端与第四缓冲器连接，第四缓冲器的输出端和第二缓冲器的输出端2分别与Patch匹配模块连接，Patch匹配模块的输出端与第五缓冲器连接，第五缓冲器的输出端与校正模块连接、校正模块的输出端和第二缓冲器的输出端3分别与加法模块连接，加法模块的输出端与第一缓冲器的合成图像输入端连接，第一缓冲器的输出端3与第六缓冲器连接，第六缓冲器的输出端与双三次插值下采样模块连接，双三次插值下采样模块的输出端与第二存储器连接，第二存储器输出图像；

所述的减法模块用储存在第一缓冲器中的图像减去储存在第三缓冲器中的图像；

所述的第五缓冲器中存储有和第二缓冲器中图像大小相同并且已经清零的图像；

所述的第一缓冲器的原始图像输入端接收的原始图像，并输出给内插滤波器和减法模块，第一缓冲器的合成图像输入端接收的合成图像在分辨率小于输出图像时，将合成图像输出给内插滤波器和减法模块，在分辨率不小于输出图像时，将和成图像输出给第六缓冲器。

如图2所示，一种图像、视频超分辨率放大的方法，它包括以下步骤：

S1.将需要处理的原始图像A1输入并存储在第一存储器和第一缓冲器中；

S2.用内插滤波器处理存储在第一缓冲器中的图像A1，得到放大后的低频带平滑图像A2并存储在第二缓冲器中；

S3.用抽取滤波器处理存储在第二缓冲器中的图像A2，得到与A1分辨率相同的低频带平滑图像A3并存储在第三缓冲器中；

S4.用减法模块处理存储在第一缓冲器中的图像A1和存储在第三缓冲器中的图像A3，得到高频细节图像A4并存储在第四缓冲器中；

S5.准备与存储在第二缓冲器中的图像A2大小相同的图像，并将其清零后存储在第五缓冲器中；

S6.使用Patch模块对图像A2进行Patch分块后，图像A4里的相应映射位置进行匹配运算，找到误差最小的Patch，并将储存在第四缓冲器中的图像A4中对应的块的值累加到储存在第五缓冲器中的图像的相应位置块中，并使用校正模块校正调节高频补偿系数，得到高频带补偿图像A5；

S7.使用加法模块对存储在第二缓冲器中的图像A2和高频带补偿图像A5进行加法运算，得到合成图像A6，并输入第一缓冲器中更新第一缓存器存储的图像；

S8.系统比较合成图像A6的分辨率和输出图像A7所要求的分辨率：

(1)当合成图像A6的分辨率小于输出图像A7所要求的分辨率时，转跳到步骤S2；

(2)当合成图像A6的分辨率不小于输出图像A7所要求的分辨率时，将合成图像A6传输给第六缓冲器；

S9.将第六缓冲器中的合成图像A6经过双三次插值下采样模块处理后得到输出图像A7，将输出图像A7存储到第二存储器中并输出。

所述的步骤S6包括以下子步骤：

S61.使用Patch模块对存储在第二缓冲器中的图像A2进行Patch分块；

S62.在存储在第四缓冲器中的图像A4里的相应映射位置进行固定窗口大小的局部区域内的块匹配运算，找到误差最小的Patch；

S63.将图像A4中对应的块的值累加到储存在第五缓冲器中的图像的相应位置块中；

S64.通过校正模块调节高频补偿系数，对第五缓冲器中得到的图像进行处理，获得到高频带补偿图像A5。

所述的步骤S9包括以下子步骤：

S91.系统比较合成图像A6和输出图像A7要求的分辨率：

(1)当合成图像A6的分辨率与输出图像A7要求的分辨率相同时，双三次插值下采样模块不经过处理直接将合成图像A6传输给第二存储器得到输出图像A7；

(2)当合成图像A6的分辨率与输出图像A7要求的分辨率不相同时，使用双三次插值下采样模块处理合成图像A6并传输给第二存储器得到输出图像A7；

S92.将存储在第二存储器中的输出图像A7输出。

所述的内插滤波器的处理包括以下子步骤：先对初始像素进行分组，并拷贝至指定位置中，同时中间的缝隙像素填0，然后对所有像素进行平滑滤波，公式如下：

$U=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{I}_k*f_k,$

上式中，n表示滤波器组个数，I表示拷贝后的原始像素和缝隙像素组成的新的图像序列，f表示滤波器组，*代表卷积运算，经过这个过程，便得到上采样图像U，即所述的图像A2。

所述的抽取滤波器直接使用低通滤波器组对所述的上采样图像U进行卷积，并抽取部分像素而组成一幅新的图像，公式如下：

D(k)＝U*f_k，

上式中，D(k)表示卷积后抽取的第k个下采样图像，U所述的上采样图像，f表示滤波器组，*代表卷积运算，组合n幅D(k)图像得到所需的下采样图像D，即所述的图像A3。

所述的校正模块通过调节高频补偿系数，人为的调节需要补偿的高频信息的程度，如线性补偿，公式如下：

$\mathrm{output}=\underset{i=1}{\overset{h}{\mathrm{\Σ}}}\underset{j=1}{\overset{w}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}+k*b_{\mathrm{ij}},$

上式中，h和w分别表示处理图像的高度和宽度，a_ij和b_ij分别表示两幅图像位于第i行第j列的像素值，k表示高频补偿系数，其中k∈[0,1]。

本发明将所述原始图像A1放大至分辨率更高的输出图像A7，实施多个重复的分辨率放大方案，本发明具体采用每次放大至指定倍率p(1.1<p<1.6)的分辨率放大方案，重复实施直到获得的放大图像的分辨率不小于所述输出图像要求的分辨率，p值不应取的太大，否则容易引进更多的噪声。

首先将所述原始图像A1储存在第一存储器和第一缓冲器中，在原始放大比例较大的情况下，比如放大4倍、8倍、甚至10倍及以上等，需要重复实施多步指定倍率P的放大方案，因此这里的第一缓冲器中的图像会在每次进行更新。

下面是指定倍率P分辨率放大实施方式的具体操作，循环实施直到分辨率不小于所述输出图像A7要求的分辨率。

对储存在第一缓冲器中的图像A1进行内插滤波器处理，其中内插滤波器由于属于有限脉冲响应，因此内插滤波器始终属于低通滤波器，通过此内插滤波器处理得到的图像A2为放大后的低频带平滑图像，同时储存在第二缓冲器中以供后续高频信息补偿使用。

所述的内插滤波器的具体操作是先对初始像素进行分组，并拷贝至指定位置中，同时中间的缝隙像素填0，然后对所有像素进行平滑滤波，公式如下：

$U=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{I}_k*f_k,$

上式中，n表示滤波器组个数，I表示拷贝后的原始像素和缝隙像素组成的新的图像序列，f表示滤波器组，*代表卷积运算，经过这个过程，便得到上采样图像U，即所述的图像A2。

接下来将获取与储存在第一缓冲器中的图像分辨率相同的低频信息图像，具体操作是对储存在第二缓冲器中的图像A2进行抽取滤波器处理，即是从平滑图像中获取进一步的采样平滑图像，得到与A1分辨率相同的低频带平滑图像A3，同时储存在第三缓冲器中。

所述的抽取滤波器直接使用低通滤波器组对所述的上采样图像U进行卷积，并抽取部分像素而组成一幅新的图像，公式如下：

D(k)＝U*f_k，

上式中，D(k)表示卷积后抽取的第k个下采样图像，U所述的上采样图像，f表示滤波器组，*代表卷积运算，组合n幅D(k)图像得到所需的下采样图像D，即所述的图像A3。

在获得图像放大之前的低频信息后，使用储存在第一缓冲器中的图像A1减去储存在第三缓冲器中的图像A3，则得到了图像放大之前的高频细节图像A4，同时储存在第四缓冲器中。

接下来对已经得到的储存在第二缓冲器中的图像A2进行高频带信息补偿，考虑到逐像素匹配的较大误差程度与窗口大小对计算性能的影响，本发明取5x5的窗口块，即对储存在第二缓冲器中的图像A2中的每个像素，每次按相邻位置关系对水平和垂直两个方向进行选取像素并组成窗口块，由于这里是按块匹配处理，因此会涉及到重叠累加的高频信息，需要先准备第五缓冲器并清零，以供后续使用。

对于待匹配的储存在第二缓冲器中的每个像素，计算储存在第三缓冲器中的映射位置，并取以得到的映射像素为中心的5x5窗口，进行相同的窗口Patch块分配方式，对于储存在第二缓冲器中的每个像素窗口块，逐个与储存在第三缓冲器中的映射像素窗口块进行1-范数运算，即差的绝对值的和，SAD，公式如下：

$\mathrm{err}=\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{w}{\mathrm{\&Sigma;}}}|a_{\mathrm{ij}}-b_{\mathrm{ij}}|,$

上式中，h和w分别表示处理窗口块的高度和宽度，a_ij和b_ij分别表示两幅图像对应窗口块位于第i行第j列的像素值。

同时进行比较并取其中SAD最小的像素窗口块，记录位置，然后将储存在第四缓冲器中的对应位置的窗口块的值，加到与储存在第五缓冲器中的图像与待匹配的当前像素窗口块对应位置的窗口块上，完成当前像素的高频信息补偿，如前所述，对储存在第二缓冲器中的图像A2中的每个像素都使用相同的方式处理，对于边缘像素，进行截取处理。

如上所述的高频信息补偿的处理完成之后，由于本发明在计算高频信息的同时采用了重叠的计算窗口，因而对于经过滤波后会产生误差较大的像素，比如像素独立的奇点和边缘陡峭的像素区域，上述的高频信息补偿会放大这种误差，并且不同的纹理会表现出不同的误差程度，因此从人工交互体验方面而言，本发明使用了一种高频补偿系数的校正方法，可人为的调节需要补偿的高频信息的程度，如线性补偿，公式如下：

$\mathrm{output}=\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{w}{\mathrm{\&Sigma;}}}{a}_{\mathrm{ij}}+k*b_{\mathrm{ij}},$

上式中，h和w分别表示处理图像的高度和宽度，a_ij和b_ij分别表示两幅图像位于第i行第j列的像素值，k表示高频补偿系数，其中k∈[0,1]。

对于图像纹理颜色整体偏平坦的情况，可以将高频补偿系数k相应设置偏大一些如0.8，对于纹理细节较丰富的情况，可以将高频补偿系数相应设置偏小一些如0.4等，对于通常使用的情况，采用0.6的高频补偿系数，可以满足大多数情况。

如上所述，通过调节高频补偿系数的方式，得到高频带补偿图像A5，再与储存在第二缓冲器中的图像A2进行加法模块处理，则得到了一次计算的合成图像A6，此图像将比储存在第二缓冲器中的图像A2的清晰度更高，同时减弱了模糊和突出了边缘纹理，将高频补偿过的结果合成图像A6更新并储存在第一缓冲器中。

比较储存在第一缓冲器中的图像的分辨率是否不小于所述输出图像A7的分辨率，如果小于则继续迭代执行上述步骤，否则储存到第六缓冲器中。

比较储存在第六缓冲器中的图像的分辨率是否与所述输出图像A7的分辨率相同，如果不同则使用双三次线性插值下采样到与所述输出图像A7的分辨率相同的图像，最后储存在第二存储器中，并输出图像A7，供进一步的使用。

Claims (7)

1.一种图像、视频超分辨率放大的系统，其特征在于：它包括第一存储器、第一缓冲器、内插滤波器、第二缓冲器、抽取滤波器、第三缓冲器、减法模块、第四缓冲器、Patch匹配模块、第五缓冲器、校正模块、加法模块、第六缓冲器、双三次插值下采样模块和第二存储器；

所述的第一存储器接收输入原始图像，输出端与第一缓冲器的原始图像输入端连接，第一缓冲器的输出端1与内插滤波器连接，内插滤波器的输出端与第二缓冲器连接，第二缓冲器的输出端1与抽取滤波器连接，抽取滤波器的输出端与第三缓冲器连接，第三缓冲器的输出端和第一缓冲器的输出端2分别与减法模块连接，减法模块的输出端与第四缓冲器连接，第四缓冲器的输出端和第二缓冲器的输出端2分别与Patch匹配模块连接，Patch匹配模块的输出端与第五缓冲器连接，第五缓冲器的输出端与校正模块连接、校正模块的输出端和第二缓冲器的输出端3分别与加法模块连接，加法模块的输出端与第一缓冲器的合成图像输入端连接，第一缓冲器的输出端3与第六缓冲器连接，第六缓冲器的输出端与双三次插值下采样模块连接，双三次插值下采样模块的输出端与第二存储器连接，第二存储器输出图像；

所述的减法模块用储存在第一缓冲器中的图像减去储存在第三缓冲器中的图像；

所述的第五缓冲器中存储有和第二缓冲器中图像大小相同并且已经清零的图像；

所述的第一缓冲器的原始图像输入端接收的原始图像，并输出给内插滤波器和减法模块，第一缓冲器的合成图像输入端接收的合成图像在分辨率小于输出图像时，将合成图像输出给内插滤波器和减法模块，在分辨率不小于输出图像时，将和成图像输出给第六缓冲器。

2.一种图像、视频超分辨率放大的方法，其特征在于：它包括以下步骤：

S1.将需要处理的原始图像A1输入并存储在第一存储器和第一缓冲器中；

S2.用内插滤波器处理存储在第一缓冲器中的图像A1，得到放大后的低频带平滑图像A2并存储在第二缓冲器中；

S3.用抽取滤波器处理存储在第二缓冲器中的图像A2，得到与A1分辨率相同的低频带平滑图像A3并存储在第三缓冲器中；

S4.用减法模块处理存储在第一缓冲器中的图像A1和存储在第三缓冲器中的图像A3，得到高频细节图像A4并存储在第四缓冲器中；

S5.准备与存储在第二缓冲器中的图像A2大小相同的图像，并将其清零后存储在第五缓冲器中；

S6.使用Patch模块对图像A2进行Patch分块后，图像A4里的相应映射位置进行匹配运算，找到误差最小的Patch，并将储存在第四缓冲器中的图像A4中对应的块的值累加到储存在第五缓冲器中的图像的相应位置块中，并使用校正模块校正调节高频补偿系数，得到高频带补偿图像A5；

S7.使用加法模块对存储在第二缓冲器中的图像A2和高频带补偿图像A5进行加法运算，得到合成图像A6，并输入第一缓冲器中更新第一缓存器存储的图像；

S8.系统比较合成图像A6的分辨率和输出图像A7所要求的分辨率：

(1)当合成图像A6的分辨率小于输出图像A7所要求的分辨率时，转跳到步骤S2；

(2)当合成图像A6的分辨率不小于输出图像A7所要求的分辨率时，将合成图像A6传输给第六缓冲器；

S9.将第六缓冲器中的合成图像A6经过双三次插值下采样模块处理后得到输出图像A7，将输出图像A7存储到第二存储器中并输出。

3.根据权利要求2所述的一种图像、视频超分辨率放大的方法，其特征在于：所述的步骤S6包括以下子步骤：

S61.使用Patch模块对存储在第二缓冲器中的图像A2进行Patch分块；

S62.在存储在第四缓冲器中的图像A4里的相应映射位置进行固定窗口大小的局部区域内的块匹配运算，找到误差最小的Patch；

S63.将图像A4中对应的块的值累加到储存在第五缓冲器中的图像的相应位置块中；

S64.通过校正模块调节高频补偿系数，对第五缓冲器中得到的图像进行处理，获得到高频带补偿图像A5。

4.根据权利要求2所述的一种图像、视频超分辨率放大的方法，其特征在于：所述的步骤S9包括以下子步骤：

S91.系统比较合成图像A6和输出图像A7要求的分辨率：

(1)当合成图像A6的分辨率与输出图像A7要求的分辨率相同时，双三次插值下采样模块不经过处理直接将合成图像A6传输给第二存储器得到输出图像A7；

(2)当合成图像A6的分辨率与输出图像A7要求的分辨率不相同时，使用双三次插值下采样模块处理合成图像A6并传输给第二存储器得到输出图像A7；

S92.将存储在第二存储器中的输出图像A7输出。

5.根据权利要求2所述的一种图像、视频超分辨率放大的方法，其特征在于：所述的内插滤波器的处理包括以下子步骤：先对初始像素进行分组，并拷贝至指定位置中，同时中间的缝隙像素填0，然后对所有像素进行平滑滤波，公式如下：

$U=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{I}_k*f_k,$

上式中，n表示滤波器组个数，I表示拷贝后的原始像素和缝隙像素组成的新的图像序列，f表示滤波器组，*代表卷积运算，经过这个过程，便得到上采样图像U，即所述的图像A2。

6.根据权利要求5所述的一种图像、视频超分辨率放大的方法，其特征在于：所述的抽取滤波器直接使用低通滤波器组对所述的上采样图像U进行卷积，并抽取部分像素而组成一幅新的图像，公式如下：

D(k)＝U*f_k，

上式中，D(k)表示卷积后抽取的第k个下采样图像，U所述的上采样图像，f表示滤波器组，*代表卷积运算，组合n幅D(k)图像得到所需的下采样图像D，即所述的图像A3。

7.根据权利要求2所述的一种图像、视频超分辨率放大的方法，其特征在于：所述的校正模块通过调节高频补偿系数，人为的调节需要补偿的高频信息的程度，如线性补偿，公式如下：

$\mathrm{output}=\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{w}{\mathrm{\&Sigma;}}}{a}_{\mathrm{ij}}+k*b_{\mathrm{ij}},$

上式中，h和w分别表示处理图像的高度和宽度，a_ij和b_ij分别表示两幅图像位于第i行第j列的像素值，k表示高频补偿系数，其中k∈[0,1]。