CN106780331B - 一种新的基于邻域嵌入的超分辨率方法 - Google Patents

Abstract

在本方法中，首先对图像块进行2维的离散余弦变换(2D‑DCT)。接着，2D‑DCT中的低频系数将赋予较大的权值，高频系数将赋予较小的权值。然后，将2D‑DCT的系数和其权值相乘，其结果将通过3D‑DCT的变换提取图像中的特征。接着，在训练集合中保存以上结果，以及真实的高分辨率块的信息。同时，提出了一个利用以上结果来衡量图像块之间相似度的指标。在线放大的过程中将利用此指标选择训练集合中相似的图像块，并利用流形学习的方法重建高分辨率的图像块。为了减少计算复杂度，采用改进的2级k‑均值的方法对训练集合中的图像块进行分类。实验结果显示本方法的性能要好于传统的领域嵌入的方法和双线性插值方法。

Description

一种新的基于邻域嵌入的超分辨率方法

技术领域

本发明涉及一种图像超分辨率放大的方法，尤其涉及一种把低分辨率图像进行超分辨率放大得到高分辨率的图像的方法。

背景技术

在互联网中，其网络中的节点通常在存储方面存在着存储空间的限制和在传输图像方面存在着发射功率方面的限制。由于高分辨率的图像经过压缩后产生的比特数往往超过了互联网中节点的存储空间和传输能力，因此在互联网的节点中存储和发送的往往是低分辨率的图像。但是，这些图像的观众或客户通常希望看到高分辨率的图像以清楚地看到图像中的细节，这些低分辨率的图像往往满足不了他们的需求。为解决这一问题，超分辨率技术被提出来以从低分辨率的图像构建高分辨率的图像。

图像超分辨率的方法的目的是提高图像的分辨率。其利用一幅或多幅低分辨率的图像来构建一幅高分辨率的图像。本文考虑和研究的是仅利用一幅低分辨率的图像来得到一幅高分辨率图像的方法。这种方法可被称为单帧图像放大方法。这些方法通常不需要特定的硬件，同时具有较低的实现成本。它们有着广泛的应用领域，可对互联网中存储和发送的图像、计算机网络中的图像、遥感图像、医学图像、视频图像等各种图像进行放大处理。

现有的图像超分辨率方法可以分为如下的三种方法：基于插值的方法、基于图像重构的方法、和基于学习的方法。在基于插值的方法中，它们利用当前要插值的像素周围的像素点的值来获得当前像素值。这些方法一般来说拥有较低的计算复杂度。但是，这些方法所获得的高分辨率图像通常存在图像边缘部分模糊的问题。在基于图像重构的方法中，它们先对高分辨率图像的降质和下采样过程进行建模，然后利用图像的先验信息和此模型来进行正则化的处理以估计或得到高分辨率的图像。在这些方法中，如果放大的因子大于2，重构的图像的质量将有很大程度的下降。因此，这些方法中的放大因子通常设置为1.6。所以，这些方法在放大因子大于或等于2时，一般来说不能得到高质量的高分辨率的图像。在基于学习的方法中，它们利用低分辨率的图像和高分辨率图像来构造训练集合，并利用训练集合来重建高分辨率的图像。由于这些方法具有较好的性能，它们被学者们进行了广泛的研究。这些方法能够进一步地分为三类子方法：基于样例的方法、基于邻域嵌入的方法、基于稀疏表示的方法。Freeman等人在2002年首先提出了基于样例的方法。这些方法利用马尔科夫随机场模型来学习低分辨率图像块和高分辨率图像块之间的关系。但是，这些方法需要有很长的训练时间和很大的训练集合。Yang等人在2008年提出了基于稀疏表示的方法。它们首先建立训练集合来表示低分辨率字典和高分辨率字典之间的关系。然后，利用这个训练集合进行高分辨率重建。但是，这些方法通常具有很高的计算复杂度和运行时间。Chang等人在2004年提出了利用局部线性嵌入思想的邻域嵌入的方法。这类方法的训练集合通常相对比较小，产生训练集合的计算复杂度和方法的运行时间通常可以接受。

由于一幅图像通常具有比较大的尺寸和很多像素，在局部线性嵌入方法中先把图像进行分块操作。为了避免图像处理中的块效应，相邻块之间具有重叠的区域。传统的领域嵌入的方法的思想是从流形学习中的邻域嵌入的思想而得来的。在这个思想中，假设低分辨率图像中局部的几何特征和高分辨率图像中的局部的几何特征具有相似性。这类方法具有训练阶段和重构阶段。在训练阶段中，主要需要构建一个训练集合，在这个集合中具有从训练的已知图像中提取出的低分辨率的图像块的特征和相一一对应的高分辨的图像块的特征。低分辨率图像块的一阶和二阶梯度信息将保存在训练集合中，同时保存减去均值的高分辨的图像块的像素值。从高分辨图像到低分辨率图像的降质过程，通常使用一个点扩展函数和下采样来表示。在重建阶段，对于要重建的高分辨率块所对应的低分辨率图像块，在训练集合中首先寻找和其最接近的k个图像块。每个近邻图像块的权值和其与要放大的图像块的距离成正比。接着，这些k个图像块在训练集合中相对应的高分辨率块将通过线性组合来确定放大的高分辨率图像块。高分辨的图像将由所有放大后的高分辨率的图像块来获得。

发明内容

在本发明中，对于超分辨的方法进行了如下的改进：(1)提出了一种三维的重建方案以重建具有红色、绿色、和蓝色三个分量的高分辨率的彩色图像，以替代之前的二维重建的方法。所重建的图像具有更好的质量和色彩的一致性。(2)提出了利用加权的离散正弦变换系数来获得图像的特征的思想，以替代原有的二维的非加权的离散正弦变换系数的方法。这种思想被用到三维的离散正弦变换的系数中以在图像超分辨率重建时更好地获得图像的特征。(3)在所提出的方法中，利用图像中高频信息来表示高分辨率图像块的特征。(4)为了降低所提出方法的计算复杂度，提出了改进的k近邻方法，以减少寻找当前块的k近邻块的时间。

由于人眼对于图像中的亮度信号比色度信号更敏感，在传统的彩色图像的邻域嵌入超分辨放大方法中，首先把图像从RGB空间转换到YUV空间。这里，Y分量表示图像中的亮度信息，U和V分量表示彩色图像中的色度信息。接着，仅对Y分量进行邻域嵌入处理，对于U和V分量采用双线性插值的方法。最后，图像从YUV空间转换回RGB空间。在所提出的方法中，采用三维的重建方法，这样就不需要从RGB空间转换到YUV空间。在所提出的方法中，利用了三维的RGB图像块的元组作为基本的操作单元，而不是像传统方法中的Y分量的二维的图像块作为基本的操作单元，以提高重构图像的质量和色彩上的一致性。这样，所重构的图像的视觉效果会更好，看上去会更自然。

在传统的邻域嵌入方法中，在低分辨率图像的每个像素上，会进行一阶和二阶的梯度运算。对于每个一阶和二阶的梯度矢量，具有一个幅度分量和一个角度分量，因此，在一个低分辨率图像的像素上，需要保存和计算四个分量(一阶梯度的幅度分量和角度分量，二阶梯度的幅度分量和角度分量)。由于二阶梯度的计算值很容易受到噪声的干扰，这样，不仅在训练集合中寻找k个近邻时增加了计算复杂度，同时降低了其鲁棒性。由于低分辨率的图像是由高分辨率的图像降质得到的，其损失了图像中的高频细节，因此，在所提出的方法中，采用3维的DCT来表示低分辨率图像块的特征，并利用图像中的高频信息来表示高分辨率图像块的特征。这样，在表示高分辨率图像块的特征时，可以减少低频信息对其的干扰，以克服传统基于邻域方法在此方面的缺点。

在本发明中，客观的评价各种方法质量的指标峰值信噪比(PSNR)和特征相似度(FSIM)被用来客观地评价所提出方法的效果。实验结果表明所提出的方法相对于双立方插值方法和传统的领域嵌入方法具有更好的性能。

在已有的方法中，图像块之间的相似性是利用图像块之间的欧氏距离来度量的，同时在寻找当前块的k个近邻块时也采用此度量方法。但是，人眼对于图像的低频特征更敏感。在图像低频系数上的微小修改就能被人眼识别出来，而相同的对图像高频系数的微小的修改很可能人们就察觉不到。因此，在所提出的方法中，先采用图像块的2维DCT来区别图像块中的低频和高频特征。在图像块的比较中，首先采用2维DCT来对彩色图像块做变换。然后，低频系数的权值将被设置一个较大的值，高频系数的权值将被设置一个较小的值，所有2维DCT系数的权值之和为1。接着，DCT系数将和对应的因子相乘，并采用3维的DCT来去除一个红色、绿色、蓝色图像块之内的相关性，同时去除这三个图像块之间的相关性。采用3维DCT的另一个优点是在一个彩色图像块内的红色、绿色、和蓝色分量可以作为一个整体来进行处理以提高图像色彩上的一致性。在原有的方法中，仅对亮度分量采用领域嵌入的处理，色度分量是只采用双立方插值来处理的，这样在重建的高分辨率图像中容易出现色彩上的不一致性，而降低图像的视觉质量。在MPEG-2视频编码中对DCT系数所设置的量化系数表可以在这里用来参考性地设置3维DCT系数的权值，这样DCT系数的权值和量化表中的值成正比。在这个量化表中，低频系数位于左上角，所以左上角系数的权值要比右下角系数的权值大。

此三维的变换可用如下的方程表示，

这里，dct2(R)，dct2(G)，和dct2(B)分别为以上经过相乘运算处理过的红色、绿色、蓝色通道的分量，dct3(R)，dct3(G)，和dct3(B)分别是三维变换处理后的输出分量，代表了图像低频块的特征。

训练块中的图像的高频信息可以被用来表示训练集中的高分辨率块的信息，和在线过程中计算图像块之间的相似性。在所提出的方法中，在高分辨率块中的高频图像特征首先由低频图像块的插值操作获得。然后，原始的训练集合中的高分辨率的图像块将和相对应的插值块相减。这样，由于减少了图像低频特征对提取高频特征的干扰，高频的特征能更好地提取到，所提出的方法能够比原有的均值相减的方法取得更好的性能。

在原有的邻域嵌入方法的在线处理过程中，在将被放大的块和训练集合中的块的相似性的度量的计算中仅考虑低分辨率块中的相似性。在所提出的方法中，在以上中所描述的图像块的低频和高频特征同时用来计算块与块之间的相似性，以提高超分辨率处理的结果。在计算将放大块和训练集合中的块的距离时，将包括以上中所描述的低频特征之间的距离，也同时包括以上所描述的高频特征之间的距离。

在原有的邻域嵌入方法中，仅计算要放大的低分辨率块和所有在训练集合中的低分辨率的块之间的欧氏距离以选择和要放大块相似的K个近邻块。为了减少寻找近邻块的时间，本文提出了改进的K近邻方法。在此方法中，首先对训练集合中的块进行分类。接着，在计算和比较图像块的相似性时，首先计算将放大块和每类中的中心块之间的相似性。然后，将选择此相似性最大的类别作为将放大块的类别。接着，仅在训练集合中此类别的块中寻找和待放大块相似的块。这样，可以减少很多计算量。进一步地，在所提出的方法中将设置半径R参数。在寻找相似块时，仅考虑以待放大块为中心在半径为R的超球之内的相似块。

附图说明

下面结合附图对本发明作进一步的说明：

图1为本发明一种新的基于邻域嵌入的超分辨率方法的提取图像块低频特征的流程图。

图2为本发明一种新的基于邻域嵌入的超分辨率方法所采用的训练图像，以利用这些图像产生方法中所需要的训练集合。

图3为本发明一种新的基于邻域嵌入的超分辨率方法所采用的测试图像，以利用这些图像来比较各种方法的性能。

具体实施方式

在使用本发明的过程中，涉及到具体的离线建立训练集合的过程，然后将对所有的要放大的图像，固定此集合，采用在线的过程对图像进行超分辨率的放大。

在对图像进行离线的过程中，将采用如附图2所示的每幅图像，进行如下处理：

A1)对输入的高分辨率的图像进行滤波和下采样的过程，以模拟图像从高分辨率图像降质到低分辨率图像的过程；即

这里，S是下采样矩阵，H是降质的点扩展函数所对应的矩阵，

是用输入的高分辨率图像Y的每一行所堆叠而成的列矢量(即先把图像中的第一行所组成的行向量进行转置组成一列向量

初始的堆叠而成的列向量为

然后以下的第i行所组成的行向量都进行转置组成一列向量

并且堆叠到向量

有

这里A^T是向量A的转置所得到的向量，2≤i≤M，M为图像中的行数)，

是输出的低分辨率的图像的每一行所堆叠而成的列矢量，X是由

提取出的低分辨率的图像。在具体实施时，也可以先对图像进行点扩展函数h和图像Y的卷积运算得到

然后对图像Y′进行下采样得到低分辨率的图像X。点扩展函数h可如下设计，

A2)提取此低分辨率图像中的图像块X_i和与此对应的高分辨率图像中的图像块Y_i，初始时i＝1；

A3)对提取的低分辨率的3维图像块X_i中的红色、绿色、和蓝色的分量的2维的图像块

分别进行二维的离散余弦(DCT)的变换，产生DCT系数

A4)设计和2维DCT块一样大的非一致因子的二维数组Q，使低频的DCT系数对应较大的因子，高频的DCT系数对应较小的因子；例如，对于4×4大小的块，数组Q可设计为

A5)把DCT系数和其对应的因子进行相乘的操作，得到数组

即有

这里X(m，n)表示数组X的第(m，n)个元素，1≤m≤M，1≤n≤N，M×N是低分辨率图像块的大小；

A6)对A5)中所得到的3个2维的块，进行3维的DCT变换，即有

这里，XTQT_i是第i块变换后的结果，1≤m≤M，1≤n≤N，M×N是低分辨率图像块的大小，并在训练集合中存储对此低分辨率块所进行以上操作所得到的3维的DCT系数XTQT(m，n，k)，1≤m≤M，1≤n≤N，k＝1，2，或3，这里M×N是低分辨率图像块的大小，k＝1时表示红色，k＝2时表示绿色，k＝3时表示蓝色；

A7)对以上A2)中提取的低分辨率块X_i进行双立方插值得到一高分辨率块

在训练集合中存储A2)中提取的高分辨率块Y_i和以上高分辨率块之间的差值

即对第i块，存储在训练集合中的第i条信息为X(i)，XTQT(i)和D(i)，其中X(i)＝X_i，XTQT(i)＝XTQT_i，D(i)＝D_i；

A8)跳到A2)提取下一对图像块，i＝i+1，以在训练集合中继续存储A6)和A7)步骤得到的信息，直到遍历图像中所有的图像块；

A9)跳到A1)，i＝i+1，从下一幅训练图像中提取和存储信息；

A10)按照对低分辨率的图像块提取的信息XTQT_i进行改进的k-均值(k-means)的分类，以把相似的图像块聚为一类，这里在计算块与块之间的相似度时采取的指标为：

在所述的分类方法中将进行两个层次的分类，在第一个层次上根据A10)中MS的指标把指标值相近的训练集合中的记录分为一类，在第一个层次上将把所有记录分为K₁个类，然后对每个第一层次上的每类中的集合，继续进行第二层次的分类，把第一层次上的每个类继续分为K₂个类。这种多层次的分类方法，可以加快本发明的在线过程对训练集合搜索的速度，在本发明的实施中，K₁和K₂可以优化地设置为K₁＝10，K₂＝15。

在所提出的方法中，产生了训练集合之后，就可以对要放大的低分辨率的图像进行放大了，所进行的放大操作如下所述：

B1)提取要放大的低分辨率的图像中的第j个图像块X_j，初始时j＝1；

B2)对此图像块X_j进行以上离线处理过程中A3)到A6)的步骤的处理，得到3维的数组XTQT_j；

B3)对低分辨率的图像块X_j进行双立方插值得到高分辨率的图像块

B4)在训练集合中进行搜索的过程。此过程对在离线过程中所得到的训练集合中进行搜索，提取训练集合中的第q条信息，得到在A7)步骤存储的第q个XTQT(q)和D(q)，然后得到和此D(q)所对应的高分辨率的图像块

计算高分辨率的图像块DH_q和已放大图像上重叠区域内的绝对匹配差值，即

这里，f_H(i，j，k)表示已放大图像在坐标(i，j)处，颜色为k(k＝1、2、3分别表示红色、绿色、蓝色)上的像素值，(m₀，n₀)表示要放大的图像块在高分辨率的图像的左上角的坐标，Ω_j表示当前放大块和已放大区域重叠的像素集合，有Ω_j＝{(m，n)|1≤m≤M_j，1≤n≤N_j}，其中M_j和N_j分别表示所重叠的行数和列数。在训练集合中对当前放大块寻找使如下匹配准则最小的K个图像块，

MSLH(X_j，X(q))＝MS(XTQT_j，XTQT(q))+λ*MH_q (7)

其中，MS(X_i1，X_i2)的定义见以上步骤A10)，XTQT_j由以上步骤B2)得到，X(q)为以上步骤A7)中所存储的训练集合中第q个低分辨率的图像块，XTQT(q)为从此训练集合中提取的当前第q个低分辨率块所对应的XTQT数组，MH_q的计算如上所示，λ为一平衡因子，平衡着匹配准则中低分辨率上特征的绝对匹配差值MS(XTQT_j，XTQT(q))和高分辨率上和已放大区域绝对匹配差值MH_q的重要性；以上低分辨率块中有M×N个像素，如果高分辨率图像上的本放大块和图像的重叠区域有OV个像素，则在本发明中设置

在此首先搜索第1层次每类的中心和当前要放大图像块之间的匹配准则MSLH的值，然后选择使此匹配准则最小的一类的中心，并在第1层次中选择此类，接着在此类中搜索此类下第2层次中每类的中心和当前要放大图像块之间的匹配准则MSLH的值，并选项使此匹配准则最小的第2层次中的一类的中心，选择第2层次中的此类，并只遍历搜索训练集合中此类中的记录信息，这样可以有效地减少本发明方法的计算量。

B5)对所得到的匹配准则MSLH最小的训练集合中K条信息的索引o₁，o₂，...，o_K，淘汰使MSLH值大于R的索引(R为预先所设定的门限值)，然后，如果所有的索引都被淘汰，则保留使MSLH值最小的索引，否则，保留MSLH值小于R的索引r₁，r₂，...，r_P，

B6)对当前低分辨率的图像块，利用在训练集合中找到的匹配信息，重建高分辨率的图像块，对以上步骤B5)中保留的MSLH值小于R的在训练集合中的索引r₁，r₂，...，r_P，定义

则放大块在本发明中为

其中D(r_q)为训练集合中的第l＝r_q条记录中所提取的三维数组D(l)；

B7)利用重建的高分辨率的图像块填充已放大图像上所对应的像素值，

B8)跳到步骤B1)，j＝j+1，对低分辨率图像中下一低分辨率块进行放大，直到低分辨率图像上所有的图像块都被放大得到高分辨率的整幅图像为止。

在本发明中，选择四幅图像作为训练图像，它们如说明书附图2所示。在附图3中显示了四幅测试图像。从这些图中可以看出附图2中的图像和附图3中的图像的相似性较低，可以客观地用来评价各种方法的性能。接着，将利用这些图像执行原有的领域嵌入方法和本发明所提出的方法，以比较它们的实验结果和性能。实验中，图像的放大因子为4，低分辨率的图像块的大小为4×4，水平或横向的相邻块之间的重叠部分设置为2个像素的宽度或长度。高分辨率的图像块的大小设置为16×16。相邻高分辨率图像块之间的重叠部分设置为8个像素的宽带或长度。

PSNR和FSIM的均值被用来作为评价各方法的重建效果的客观尺度，即

这里，PSNR(R)，PSNR(G)和PSNR(B)分别是红色、绿色、和蓝色分量的PSNR，FSIM(R)，FSIM(G)和FSIM(B)分别是红色、绿色、和蓝色分量的FSIM。

表1 各种方法在PSNR和FSIM指标上的比较

实验结果如表1所示。从此表中可以看出当训练集合中的图像和要放大的图像之间的相似性低的时候，原有的领域嵌入方法的性能比双立方插值方法要差。从此表中，同时可以看出所提出的方法的性能要好于原有的领域嵌入方法和双立方插值方法。此表显示，所提出的方法和原有的领域嵌入方法相比，在PSNR指标上有2.155dB左右的提升，在FSIM指标上有0.01695左右的提升。

从本发明中，可以看出对于图像特征的表示对于超分辨率方法的性能具有很大的影响。好的特征提取方法可以大幅度地提高超分辨率方法的性能。为此，本发明提出了采用加权系数的方法来替代原有的领域嵌入方法中提取一维和二维梯度的方法，对于低频系数设置较大的相乘因子，对于高频系数设置较小的相乘因子，并利用3维DCT提取图像块的低频特征，并利用高频信息特征替代原有的和图像块均值相减的方法。从实验结果中，可以清晰地看出所提出的方法的性能要好于原有的领域嵌入方法和双立方插值方法。

Claims (4)

1.一种图像处理中的超分辨率处理方法，用于把低分辨率图像转换为高分辨率的图像，其特征在于：其对输入的训练图像的离线处理包括以下步骤，以产生供在线过程使用的训练集合，

A1)对输入的高分辨率的图像进行滤波和下采样的过程，以模拟图像从高分辨率图像降质到低分辨率图像的过程；

A2)提取此低分辨率图像中的图像块X_i和与此对应的高分辨率图像中的图像块Y_i，初始时i＝1；

A3)对提取的低分辨率的3维图像块X_i中的红色、绿色、和蓝色的分量的2维的图像块

分别进行二维的离散余弦的变换，产生DCT系数XT_i ^r，

A4)设计和2维DCT块一样大的非一致因子的二维数组Q，使低频的DCT系数对应较大的因子，高频的DCT系数对应较小的因子；

A5)把DCT系数和其对应的因子进行相乘的操作，得到数组

即有

这里X(m,n)表示数组X的第(m,n)个元素，1≤m≤M，1≤n≤N，M×N是低分辨率图像块的大小；

A6)对A5)中所得到的3个2维的块，进行3维的DCT变换，即有

这里，XTQT_i是第i块变换后的结果，1≤m≤M，1≤n≤N，M×N是低分辨率图像块的大小，并在训练集合中存储对此低分辨率块所进行以上操作所得到的3维的DCT系数XTQT(m,n,k)，1≤m≤M，1≤n≤N，k＝1,2,或3，这里M×N是低分辨率图像块的大小，k＝1时表示红色，k＝2时表示绿色，k＝3时表示蓝色；

A7)对以上A2)中提取的低分辨率块X_i进行双立方插值得到一高分辨率块

在训练集合中存储A2)中提取的高分辨率块Y_i和以上高分辨率块之间的差值

即对第i块，存储在训练集合中的第i条信息为X(i)，XTQT(i)和D(i)，其中X(i)＝X_i，XTQT(i)＝XTQT_i，D(i)＝D_i；

A8)跳到A2)提取下一对图像块，i＝i+1，以在训练集合中继续存储A6)和A7)步骤得到的信息，直到遍历图像中所有的图像块；

A9)跳到A1)，i＝i+1，从下一幅训练图像中提取和存储信息；

A10)按照对低分辨率的图像块提取的信息XTQT_i进行改进的k-均值的分类，以把相似的图像块聚为一类，这里在计算块与块之间的相似度时采取的指标为：

分类方法中将进行两个层次的分类，在第一个层次上根据A10)中MS的指标把指标值相近的训练集合中的记录分为一类，在第一个层次上将把所有记录分为K₁个类，然后对每个第一层次上的每类中的集合，继续进行第二层次的分类，把第一层次上的每个类继续分为K₂个类，这种多层次的分类方法，可以加快本方法的在线过程对训练集合搜索的速度；

在对要放大的低分辨率图像所进行的在线放大的过程包括如下步骤，

B1)提取要放大的低分辨率的图像中的第j个图像块X_j，初始时j＝1；

B2)对此图像块X_j进行以上A3)到A6)的步骤的处理，得到3维的数组XTQT_j；

B3)对低分辨率的图像块X_j进行双立方插值得到高分辨率的图像块

B4)在训练集合中进行搜索的过程，此过程对在离线过程中所得到的训练集合中进行搜索，提取训练集合中的第q条信息，得到在A7)步骤存储的第q个XTQT(q)和D(q)，然后得到和此D(q)所对应的高分辨率的图像块

计算高分辨率的图像块DH_q和已放大图像上重叠区域内的绝对匹配差值，即

这里，f_H(i,j,k)表示已放大图像在坐标(i,j)处，颜色为k上的像素值，k＝1、2、3分别表示红色、绿色、蓝色，(m₀,n₀)表示要放大的图像块在高分辨率的图像的左上角的坐标，Ω_j表示当前放大块和已放大区域重叠的像素集合，有Ω_j＝{(m,n)|1≤m≤M_j,1≤n≤N_j}，其中M_j和N_j分别表示所重叠的行数和列数，在训练集合中对当前放大块寻找使如下匹配准则最小的K个图像块，

MSLH(X_j,X(q))＝MS(XTQT_j,XTQT(q))+λ*MH_q

其中，MS(X_i1,X_i2)的定义见以上步骤A10)，XTQT_j由以上步骤B2)得到，X(q)为以上步骤A7)中所存储的训练集合中第q个低分辨率的图像块，XTQT(q)为从此训练集合中提取的当前第q个低分辨率块所对应的XTQT数组，MH_q的计算如上所示，λ为一平衡因子，平衡着匹配准则中低分辨率上特征的绝对匹配差值MS(XTQT_j,XTQT(q))和高分辨率上和已放大区域绝对匹配差值MH_q的重要性；

B5)对所得到的匹配准则MSLH最小的训练集合中K条信息的索引o₁,o₂,...,o_K，淘汰使MSLH值大于R的索引，R为预先所设定的门限值，然后，如果所有的索引都被淘汰，则保留使MSLH值最小的索引，否则，保留MSLH值小于R的索引r₁,r₂,...,r_P，

B6)对当前低分辨率的图像块，利用在训练集合中找到的匹配信息，重建高分辨率的图像块，

B7)利用重建的高分辨率的图像块填充已放大图像上所对应的像素值，

B8)跳到步骤B1),j＝j+1，对低分辨率图像中下一低分辨率块进行放大，直到低分辨率图像上所有的图像块都被放大得到高分辨率的整幅图像为止。

2.如上权利要求1所述的一种图像处理中的超分辨率处理方法，其特征在于，在此首先搜索第1层次每类的中心和当前要放大图像块之间的匹配准则MSLH的值，然后选择使此匹配准则最小的一类的中心，并在第1层次中选择此类，接着在此类中搜索此类下第2层次中每类的中心和当前要放大图像块之间的匹配准则MSLH的值，并选项使此匹配准则最小的第2层次中的一类的中心，选择第2层次中的此类，并只遍历搜索训练集合中此类中的记录信息，这样可以有效地减少方法的计算量。

3.如以上权利要求1所述的一种图像处理中的超分辨率处理方法，其特征在于，步骤B4)中平衡因子的设定方法，以上低分辨率块中有M×N个像素，如果高分辨率图像上的放大块和图像的重叠区域有OV个像素，则在本方法中设置

4.如以上权利要求1所述的一种图像处理中的超分辨率处理方法，其特征在于，步骤B6)中所述的重建高分辨率的图像块的方法，对以上步骤B5)中保留的MSLH值小于R的在训练集合中的索引r₁,r₂,...,r_P，定义

和

则放大块在本方法中为

其中D(r_q)为训练集合中的第l＝r_q条记录中所提取的三维数组D(l)。

Images