CN105761207A - 基于最大线性块邻域嵌入的图像超分辨重建方法 - Google Patents

Abstract

本发明公开了一种基于最大线性块邻域嵌入的图像超分辨重建方法，其主要步骤包括：构造训练样本集，采用层级分裂聚类法进行聚类，将非线性流形近似分为多个最大线性块，聚类之后，用中、高频特征，构建最大线性块；对低分辩测试图像分类，分为边缘块和非边缘块，用两种不同的邻域选取方式重构结果更加精准；邻域选取；邻域嵌入；图像重建，初始重构图像去模糊，得到一幅完整清晰的高分辨率重构图像。本发明通过聚类方法从训练样本的非线性流形中近似得到多个最大线性块结构，结合特征表示和邻域选取实现局部线性邻域嵌入，重构出更加准确的高频信息，大幅降低了时间复杂度，对自然图像的超分辨重建，能恢复更为清晰的边缘细节。

Description

基于最大线性块邻域嵌入的图像超分辨重建方法

技术邻域

本发明属于图像处理技术邻域，更进一步涉及一种图像超分辨重建方法，具体是一种基于最大线性块邻域嵌入的图像超分辨重建方法，可用于自然图像数据的超分辨重建，经过超分辨重建后的图像，更加易于分类、识别及进一步应用。

背景技术

随着电子信息技术的高速发展，数字图像采集技术被广泛地用于许多实际应用例如计算机视觉、遥感和医学成像、视频监控等等。在各个邻域，随着技术设备的发展以及人们的需求，对数字图像的分辨率有着越来越高的要求，然而由于物理成像系统和成像环境存在一定的局限性从而限制了高分辨率图像的获得。图像超分辨率重建旨在利用信号处理与图像处理的技术从单幅或多幅低分辨图像中恢复出高分辨率图像，克服了成像系统固有的分辨率限制和代价高的缺点，是一种低成本、高效的提高成像质量的方法。在近十年来图像超分辨率重建技术取得了不断的进步，使用信号处理技术从单幅或多幅低分辨图像中恢复出高分辨率图像。

图像超分辨率重建技术已被成功地应用到了遥感成像、医学、生物识别，视频应用等各种应用场景中。在遥感成像邻域，超分辨率重建技术可以促使获得优质的图像从而提高识别的准确性等；在医学邻域中，该技术可以避免由于诊断仪器得到的不好的成像结果而带来的误诊，可以帮助医生做出更加准确的诊断；在生物识别邻域中例如人脸识别、指纹识别等等，超分辨率重建技术可以确保识别的准确性，克服成像不良的缺陷；在视频应用中，该技术能突破原有影像的分辨率限制，促使得到更加清晰的图像视频，带给观众高清的视觉享受。综上所述，超分辨率图像重建技术无论对于科学研究，工业发展以及民生生活的实际应用具有很好的应用前景。

目前已经涌现出了大量的超分辨率图像重建方法，大致可以将它们分为三大类：

(一)基于插值的方法：该方法基于一般的光滑先验从而往往会平滑掉那些变化较小的边缘和区域。

(二)基于多幅图像的方法：该方法认为在低分辨率图像中丢失的高频细节经来自同一场景的一系列亚像素未对准的低分辨率图像而被分散。

(三)基于样例学习的方法：该方法认为低分辨率图像中丢失的高频细节可以从一系列训练样本中学习而获得。与基于多幅图像的方法不同，此类方法在训练样本(低分辨率LR和高分辨率HR图像对)的帮助下，由一副单独的低分辨率(LR)输入而产生高分辨率图像。此类方法被验证得知具有很强的超分辨率能力尤其当放大倍数比较大的时候。

上述三类方法具有一些不足，分别为：

一、不具有足够的判别能力，从而会导致图像模糊的问题；

二、在实际应用中往往不容易获得足够数量的低分辨率图像，并且多幅模糊含噪图像之间配准操作有很大的难度，因此它不适用于实际场景的工程化应用；

三、不合适的训练样本或者特征的提取等因素，都会导致明显的人工痕迹和噪声。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于最大线性块邻域嵌入的图像超分辨率重建方法，该方法利用了邻域的图像信息，能够快捷迅速的处理图像，并获得清晰的图像结果。

本发明是一种基于最大线性块邻域嵌入的图像超分辨重建方法，其特征在于，包括有以下步骤：

步骤1：根据待重构图像的特征，构造训练样本集，从一组训练图像块中提取中、高频特征，用该特征对该组训练样本所在的训练集，采用层级分裂聚类法进行聚类，聚类之后，根据中、高频特征，构建多个不同类的最大线性块(MLP)，将不同类的最大线性块分别近似对应于不同的局部线性结构；

步骤2：对低分辩测试图像用梯度直方图特征进行分类，分为边缘块和非边缘块；

步骤3：邻域的选取，对不同类图像块在所构建的最大线性块(MLP)中分别进行各自对应方式的邻域选取，分别得到不同类别邻域图像块；

步骤4：邻域的嵌入，根据图像块的结构不同，为不同类低分辩测试图像块找到与之对应的最大线性块MLP；

步骤5：图像重建，根据上述选取的邻域图像块，使用最小二乘方法来计算重构的高分辨图像块HF，将这些高分辨图像块HF块按原图像顺序放到图中，得到初始估计的高分辨图像，将低分辩图像与之相加就得到了初始重构的图像；

步骤6：为了得到局部最优的重构结果，将得到的初始重构图像去模糊处理，最终得到一幅完整清晰的高分辨率重构图像。

实现本发明的技术方案是：通过聚类方法从训练样本的非线性流形中近似得到多个最大线性块结构，进而实现局部线性邻域嵌入，从而重构出尽可能准确的高频信息，最终完成超分辨重建任务。

本发明的实现还在于，步骤1中采用层级分裂聚类法聚类以及获取最大线性块的过程如下：

(1a)采用层级分裂聚类法进行聚类时，从训练样本集X中每次选择非线性程度最大的块进行分裂，直到所有块都达设定阈值的线性程度，从而得到了多个聚类，称为“最大线性块”，对训练样本集X进行不相交划分得到一组不相交的最大线性块X⁽ⁱ⁾，近似于多个线性流形即：

$X=\underset{i=1}{\overset{P}{\∪}}{X}^{\left(i\right)}$

$X^{\left(i\right)}=\{x_1^{\left(i\right)},x_2^{\left(i\right)},...,x_{N_i}^i\}(\underset{i=1}{\overset{P}{\Σ}}{N}_i=N)$

其中P是局部块的个数，N_i是第i个局部块中数据点的个数，N是所有训练样本集X数据点的总个数，完成聚类；

(1b)聚类完成后，在构建最大线性块时，首先定义一个度量非线性程度的变量：该变量包含图像分块的欧氏距离矩阵D_E和测地距离矩阵D_G，测地距离矩阵D_G和欧式距离矩阵D_E之比R，矩阵距离比R(x_i,x_j)作为非线性程度度量的变量，用设定阈值δ来判别一个图像块是否属于最大线性块，如果该矩阵距离比超过该设定阈值δ，则认为此图像块不属于最大线性块，继续迭代，直至达到阈值，如果矩阵距离比小于等于该设定阈值δ，则属于最大线性块，矩阵距离比R(x_i,x_j)由下式获得：

R(x_i,x_j)＝D_G(x_i,x_j)/D_E(x_i,x_j)

在估计测地距离D_G时，需要构建KNN图，仅当x_i是x_j的前K个最近邻并且x_j是x_i的前K个最近邻，连接x_i和x_j，近邻图构建好后，采用Floyd的Dijkstra算法计算出所有数据点的最短路径，即得出估计测地距离D_G，欧式距离D_E可直接测得；

(1c)构造另一个大小为k×N的矩阵H，每列H(:,j)(j＝1,2,…,N)是数据点x_j的k近邻索引，H作为D_E和D_G计算的副产品，其构造不需要进行额外的计算，用非线性度量函数S⁽ⁱ⁾来度量一个最大线性块X⁽ⁱ⁾的非线性程度，非线性度量函数S⁽ⁱ⁾定义如下：

$S^{\left(i\right)}=\frac{1}{N^2}\underset{m=1}{\overset{N_i}{\Σ}}\underset{n=1}{\overset{N_i}{\Σ}}R(x_m^{\left(i\right)},x_n^{\left(i\right)})$

(1d)根据上述定义，层级分裂聚类法的详细步骤归纳为：

输入：低分辨率训练图像块集对应的高分辨率训练图像块集 $YS={\left\{y_s^j\right\}}_{j=1}^N$

第一步：初始化P＝1；根据非线性度量函数S⁽ⁱ⁾定义计算S⁽¹⁾；

第二步：选择具有最大非线性值S⁽ⁱ⁾的X⁽ⁱ⁾(i∈{1,2,…,P})作为双亲聚类(parentcluster)；

第三步：如果S⁽ⁱ⁾＞δ，则执行下面步骤：

(1)根据测地距离矩阵D_G，从X⁽ⁱ⁾中选择两个最远的种子点，x_l和x_r，初始化左、右孩子聚类：更新X⁽ⁱ⁾←X⁽ⁱ⁾\{x_l,x_r}；

(2)当执行

●对于当前根据邻域数据索引矩阵H，构造它的近邻点集，用C_l表示，C_l包含了在中所有点的KNN；

●对于当前的构造它的近邻点集，用C_r表示，与1)相似；

●更新： $X_l^{\left(i\right)}\←X_l^{\left(i\right)}\∪\{C_l\∩X^{\left(i\right)}\},X^{\left(i\right)}\←X^{\left(i\right)}\backslash \{C_l\∩X^{\left(i\right)}\};$

$X_r^{\left(i\right)}\←X_r^{\left(i\right)}\∪\{C_r\∩X^{\left(i\right)}\},X^{\left(i\right)}\←X^{\left(i\right)}\backslash \{C_r\∩X^{\left(i\right)}\};$

(3)X⁽ⁱ⁾分裂成为：和更新：P←P+1，根据非线性度量函数S⁽ⁱ⁾计算和

第四步：否则即S⁽ⁱ⁾≤δ，说明满足迭代要求，返回当前聚类结果，层级分裂聚类法(HDC)终止；

第五步：若不满足条件，返回到第二步继续迭代，直至满足迭代要求，停止迭代；输出：不相交的最大线性块s{X⁽¹⁾,X⁽²⁾,…,X^(P)}集合，该不相交的最大线性块即为层级分裂聚类结果。

本发明提出的层级分裂聚类法，针对邻域嵌入的超分辨重建中梯度特征以及其他简单线性线性特征的不足，使用中高频特征来匹配图像块，旨在恢复出更为准确的高频细节。由于大量的训练集往往具有非线性的流形结构，LLE线性嵌入并不能准确地找到嵌入流形，所以本发明采用层级分裂聚类(HDC)的方法来将非线性流形近似分为多个最大线性块，从而更适合使用线性嵌入的方法。

本发明的实现还在于，步骤2中对低分辩测试图像进行分类过程如下：

(2a)对输入的低分辩图像块进行分类，根据像素梯度信息建立一个块的直方图，先求出某像素点(i,j)处的梯度g(i,j)和角度θ(i,j)，其中，

梯度： $g(i,j)=\sqrt{g_x^2(x,y)+g_y^2(x,y)}$

角度：θ(i,j)＝arctan(g_y(i,j)/g_x(i,j)),0＜θ(i,j)＜2π；

(2b)对于每个测试图像块，计算其角度直方图h(·)：

$h\left(\frac{\mathrm{\θ}(i,j)}{{\mathrm{\δ}}_{\mathrm{\θ}}}\right)=h\left(\frac{\mathrm{\θ}(i,j)}{{\mathrm{\δ}}_{\mathrm{\θ}}}\right)+1,$ 如果g(i,j)＞T_g

其中δ_θ表示在直方图中的间隔宽度，为了减小噪音问题，用阈值T_g用来限定梯度幅值；

(2c)对得到的直方图进行低通滤波，找到最大值l₁和次大值l₂，通过这两个值的大小关系来判断测试图像块是边缘块还是非边缘块；

(2d)如果l₂＜min(l₁/3,T₁)，则该测试图像块为边缘块，反之l₂≥min(l₁/3,T₁)，为非边缘块，T₁为一个阈值；至此，对低分辩测试图像块分类结束。

本发明虑到图像块的类别差异，将图像分为边缘块和非边缘块，采取两种不同的邻域选取方式对他们进行处理，从而使重构结果更精准。

本发明的实现还在于，步骤3邻域的选取过程如下：

(3a)领域粗选，在所选取的最大线性块中进行近邻选取，为了减小邻域选取的复杂度和冗余性，先在该最大线性块中，使用KNN选取较大范围的候选邻域K；

(3b)邻域精选，从上述粗选的K个近邻中选出更加准确的近邻：

(3b1)对于一个输入的低分辩边缘块，选出提供尖锐边缘信息并且没有振铃效应的高分辨率图像块近邻，采用以下的测量准则P₁对边缘块进行邻域精选：

$P_1=\frac{\underset{(i,j)\∈A}{\Σ}{g}_{HR}(i,j)}{max\left(p_{HR}\right)-\min \left(p_{HR}\right)},A=\left\{(i,j)\right|g_{mag}(i,j)>0.9max\left(g_{mag}\right)\}$

其中g_mag(i,j)表示在放大的低分辩块和一个候选的高分辨块中像素(i,j)处的梯度，g_HR(i,j)表示在放大的低分辩块和一个候选的高分辨块中像素(i,j)处的幅值，为了使得测量具有鲁棒性，只对集合A中，即梯度幅值足够大的那些像素点进行计算，因为尖锐的边缘的P₁值较大，从K个候选近邻中选取P₁最大的前k(k<<K)个高分辨近邻作为精选的高分辨近邻。

(3b2)对于一个输入的低分辩非边缘块，选取可以提供尖锐的细节并且不引入人工痕迹的高分辨近邻，使用放大的低分辩块的梯度幅值和角度以及一个候选的高分辨块，根据如下一个测量准则，用于同时测量两个块之间的结构相似度以及高分辨块的尖锐程度：

$P_2=\underset{(i,j)\&Element;B}{\&Sigma;}{g}_{\mathrm{ma}g}(i,j)\min \left(g_{HR}\right(i,j),{\mathrm{Rg}}_{\mathrm{ma}g}(i,j\left)\right){\cos }^3\mathrm{\&Delta;}\mathrm{\&theta;}(i,j)$

其中B表示在块中的所有像素的一个集合，Δθ(i,j)是在像素(i,j)处放大的低分辩块和候选高分辨块之间梯度的角度差，R值是根据g_mag限定了HR像素的梯度值，从K个候选近邻中选取P₂最大的前k(k<<K)个HF近邻作为精选的HF近邻。至此，领域的选取完成。

本发明将非线性流形分为多个最大线性块，在训练集中先粗选较多的候选近邻，然后根据使用梯度直方图判别块类别，在这些候选近邻中用不同的选取方法筛选出合适数量的近邻，在特征表示和邻域选取两部分做了改进，降低了时间复杂度，程序运行时间大幅缩短。

与现有技术相比，本发明有以下优点：

针对邻域嵌入的超分辨重建中梯度特征以及其他简单线性线性特征的不足，

1、本发明使用中、高频特征来匹配图像块，能够恢复出更为准确的高频细节；

2、本发明使用大量的训练集往往具有非线性的流形结构，普通LLE线性嵌入并不能准确地找到嵌入流形，所以采用一种层级分裂聚类(HDC)的方法来将非线性流形近似分为多个最大线性块，从而更适合使用线性嵌入的方法；

3、考虑到图像块的类别差异，先将图像块分类为边缘块和非边缘块，对他们分别采取两种不同的邻域选取方式，使得重构结果更加精准；

4、本发明结合特征表示和邻域选取两部分在邻域嵌入的方法上做了改进，大幅降低了时间复杂度，从多幅测试的自然图像的重建结果来看，该方法在视觉效果和数值上都取得了较好的结果，恢复出了更加清晰和丰富的高频细节，整体上优于其他几种具有代表性的对比方法，从而证实了其可行性和有效性。

附图说明

图1是基于最大线性块邻域嵌入的图像超分辨重建方法框图；

图2是由梯度特征和MF特征找到的近邻和重构的HR块；

图3是非线性流形局部近似线性示意图；

图4是层级分裂聚类方法示意图；

图5是边缘块和非边缘块的角度直方图。

具体实施方式

随着技术设备的发展，现代科学技术研究以及生产生活的需要，对数字图像的分辨率有着越来越高的要求，然而由于物理成像系统和成像环境存在一定的局限性从而限制了高分辨率图像的获得。图像超分辨率重建是为了利用信号处理与图像处理的技术从单幅或多幅低分辨图像中恢复出高分辨率图像，克服了成像系统固有的分辨率限制和代价高的缺点，是一种低成本、高效的提高成像质量的方法。

实施例1

本发明正是在超分辨技术领域进行创新和研究，具体是一种基于最大线性块邻域嵌入的图像超分辨重建方法，参见图1，本发明超分辨重建过程包括有以下步骤：

步骤1：根据待重构图像的特征，构造训练样本集，从一组训练图像块中提取中、高频特征，用该特征对该组训练样本所在的训练集，采用层级分裂聚类法进行聚类，将非线性流形近似分为多个最大线性块，以便适合使用线性嵌入，使得聚类结果更加准确，聚类之后，根据中、高频特征，构建多个不同类的最大线性块(MLP)，将不同类的最大线性块分别近似对应于不同的局部线性结构。

中、高频的特征提取方法如下：

首先准备一组高、低分辨率的训练图像，其中低分辨率图像(LR)是通过对高分辨率图像(HR)模糊下采样得到的。对每幅LR图像用Bicubic插值放大至与其对应的HR图像，将该放大的LR图像记为MR，可以认为其中只包含低频和中频分量，则高频图像为HF＝HR-MR。

其次，对MR进行高斯低通滤波，得到只包含低频信息的图像，记为MR1，则近似认为其中只包含低频分量，则中频分量图像为MF＝MR-MR1。

最后，将所有的训练图像进行如上处理，得到它们各自的MF中频图像和HF高频图像，然后依次将HF和MF图像重叠分块并将图像块拉成列向量并归一化，于是便得到由HF和MF块的列向量构成的两个集合作为高、低分辨率的两个训练特征集，分别记为和其中表示中频特征向量，为高频特征向量，N是训练样本对的个数。

步骤2：对低分辩测试图像LF用梯度直方图特征进行分类，分为边缘块和非边缘块；

步骤3：邻域的选取，对不同类图像块在所构建的最大线性块(MLP)中分别进行各自对应方式的邻域选取，分别得到不同类别邻域图像块；

步骤4：邻域的嵌入，根据图像块的结构不同，为不同类低分辩测试图像块找到与之对应的最大线性块MLP；

步骤5：图像重建，根据上述选取的邻域图像块，使用最小二乘方法来计算重构的高分辨图像块HF，将这些高分辨图像HF块按原图像顺序放到图中，得到初始估计的高分辨图像，将低分辩图像LF与之相加就得到了初始重构的图像；

步骤6：为了得到局部最优的重构结果，将得到的初始重构图像去模糊处理，最终得到一幅完整清晰的高分辨率重构图像。

本发明对邻域嵌入的超分辨率重建，即邻域嵌入的超分辨重建，重建过程中对训练样本集的构造以及邻域选取进行了改进，旨在通过聚类方法从训练样本的非线性流形中近似得到多个最大线性块结构，进而实现局部线性邻域嵌入，从而重构出尽可能准确的高频信息，对于自然图像的超分辨重建问题，能够恢复出更为清晰的边缘细节，取得了目前较好的结果。

实施例2

基于最大线性块邻域嵌入的图像超分辨率重建方法同实施例1，步骤1中采用层级分裂聚类法聚类以及获取最大线性块的过程如下：

(1a)采用层级分裂聚类法进行聚类时，从训练样本集X中每次选择非线性程度最大的块进行分裂，直到所有块都达设定阈值的线性程度，从而得到了多个聚类，称为“最大线性块”，对训练样本集X进行不相交划分得到一组不相交的最大线性块X⁽ⁱ⁾，近似于多个线性流形即：

$X=\underset{i=1}{\overset{P}{\&cup;}}{X}^{\left(i\right)}$

$X^{\left(i\right)}=\{x_1^{\left(i\right)},x_2^{\left(i\right)},...,x_{N_i}^i\}(\underset{i=1}{\overset{P}{\&Sigma;}}{N}_i=N)$

其中P是局部块的个数，N_i是第i个局部块中数据点的个数，N是所有训练样本集X数据点的总个数，完成聚类；

(1b)聚类完成后，在构建最大线性块时，首先定义一个度量非线性程度的变量：该变量包含图像分块的欧氏距离矩阵D_E和测地距离矩阵D_G，测地距离矩阵D_G和欧式距离矩阵D_E之比R，矩阵距离比R(x_i,x_j)作为非线性程度度量的变量，用设定阈值δ来判别一个图像块是否属于最大线性块，如果该矩阵距离比超过该设定阈值δ，则认为此图像块不属于最大线性块，继续迭代，直至达到阈值，如果矩阵距离比小于等于该设定阈值δ，则属于最大线性块，矩阵距离比R(x_i,x_j)由下式获得：

R(x_i,x_j)＝D_G(x_i,x_j)/D_E(x_i,x_j)

在估计测地距离D_G时，需要构建KNN图，仅当x_i是x_j的前K个最近邻并且x_j是x_i的前K个最近邻，连接x_i和x_j，近邻图构建好后，采用Floyd的Dijkstra算法计算出所有数据点的最短路径，即得出估计测地距离D_G，欧式距离D_E可直接测得；

(1c)构造另一个大小为k×N的矩阵H，每列H(:,j)(j＝1,2,…,N)是数据点x_j的k近邻索引，H作为D_E和D_G计算的副产品，其构造不需要进行额外的计算，用非线性度量函数S⁽ⁱ⁾来度量一个最大线性块X⁽ⁱ⁾的非线性程度，非线性度量函数S⁽ⁱ⁾定义如下：

$S^{\left(i\right)}=\frac{1}{N^2}\underset{m=1}{\overset{N_i}{\&Sigma;}}\underset{n=1}{\overset{N_i}{\&Sigma;}}R(x_m^{\left(i\right)},x_n^{\left(i\right)})$

(1d)根据上述定义，层级分裂聚类法的详细步骤归纳为：

输入：低分辨率训练图像块集对应的高分辨率训练图像块集 $YS={\left\{y_s^j\right\}}_{j=1}^N$

第一步：初始化P＝1；根据非线性度量函数S⁽ⁱ⁾定义计算S⁽¹⁾；

第二步：选择具有最大非线性值S⁽ⁱ⁾的X⁽ⁱ⁾(i∈{1,2,…,P})作为双亲聚类(parentcluster)；

第三步：如果S⁽ⁱ⁾＞δ，则执行下面步骤：

(1)根据测地距离矩阵D_G，从X⁽ⁱ⁾中选择两个最远的种子点，x_l和x_r，初始化左、右孩子聚类：更新X⁽ⁱ⁾←X⁽ⁱ⁾\{x_l,x_r}；

(2)当执行

●对于当前根据邻域数据索引矩阵H，构造它的近邻点集，用C_l表示，C_l包含了在中所有点的KNN；

●对于当前的构造它的近邻点集，用C_r表示，与1)相似；

●更新： $X_l^{\left(i\right)}\&LeftArrow;X_l^{\left(i\right)}\&cup;\{C_l\&cap;X^{\left(i\right)}\},X^{\left(i\right)}\&LeftArrow;X^{\left(i\right)}\backslash \{C_l\&cap;X^{\left(i\right)}\};$

$X_r^{\left(i\right)}\&LeftArrow;X_r^{\left(i\right)}\&cup;\{C_r\&cap;X^{\left(i\right)}\},X^{\left(i\right)}\&LeftArrow;X^{\left(i\right)}\backslash \{C_r\&cap;X^{\left(i\right)}\};$

(3)X⁽ⁱ⁾分裂成为：和更新：P←P+1，根据非线性度量函数S⁽ⁱ⁾计算和

第四步：否则即S⁽ⁱ⁾≤δ，说明满足迭代要求，返回当前聚类结果，层级分裂聚类法(HDC)终止；

第五步：若不满足条件，返回到第二步继续迭代，直至满足迭代要求，停止迭代；输出：不相交的最大线性块s{X⁽¹⁾,X⁽²⁾,…,X^(P)}集合，该不相交的最大线性块即为层级分裂聚类结果。

本发明做超分辨重建，需要对大量图像数据进行处理，使用了大量的训练集，而训练集往往具有非线性的流形结构，普通LLE线性嵌入并不能准确地找到嵌入流形，本发明采用上述层级分裂聚类(HDC)的方法来将非线性流形近似分为多个最大线性块，准确地找到嵌入流形，从而更适合使用线性嵌入的方法。

实施例3

基于最大线性块邻域嵌入的图像超分辨率重建方法同实施例1-2，步骤2中对低分辩测试图像进行分类过程如下：

(2a)对输入的低分辩图像块进行分类，根据像素梯度信息建立一个块的直方图，先求出某像素点(i,j)处的梯度g(i,j)和角度θ(i,j)，其中，

梯度： $g(i,j)=\sqrt{g_x^2(x,y)+g_y^2(x,y)}$

角度：θ(i,j)＝arctan(g_y(i,j)/g_x(i,j)),0＜θ(i,j)＜2π；

(2b)对于每个测试图像块，计算其角度直方图h(·)：

$h\left(\frac{\mathrm{\&theta;}(i,j)}{{\mathrm{\&delta;}}_{\mathrm{\&theta;}}}\right)=h\left(\frac{\mathrm{\&theta;}(i,j)}{{\mathrm{\&delta;}}_{\mathrm{\&theta;}}}\right)+1,$ 如果g(i,j)＞T_g

其中δ_θ表示在直方图中的间隔宽度，为了减小噪音问题，用阈值T_g用来限定梯度幅值；

(2c)对得到的直方图进行低通滤波，找到最大值l₁和次大值l₂，通过这两个值的大小关系来判断测试图像块是边缘块还是非边缘块；

(2d)如果l₂＜min(l₁/3,T₁)，则该测试图像块为边缘块，反之l₂≥min(l₁/3,T₁)，为非边缘块，T₁为一个阈值；至此，对低分辩测试图像块分类结束。

本发明虑到图像块的类别差异，将图像分为边缘块和非边缘块，采取两种不同的邻域选取方式对进行处理，从而使重构结果更精准。

实施例4

基于最大线性块邻域嵌入的图像超分辨率重建方法同实施例1-3，步骤3邻域的选取过程如下：

(3a)领域粗选，在所选取的最大线性块中进行近邻选取，为了减小邻域选取的复杂度和冗余性，先在该最大线性块中，使用KNN选取较大范围的候选邻域K；

(3b)邻域精选，从上述粗选的K个近邻中选出更加准确的近邻：

(3b1)对于一个输入的低分辩边缘块，选出提供尖锐边缘信息并且没有振铃效应的高分辨率图像块近邻，采用以下的测量准则P₁对边缘块进行邻域精选：

$P_1=\frac{\underset{(i,j)\&Element;A}{\&Sigma;}{g}_{HR}(i,j)}{max\left(p_{HR}\right)-\min \left(p_{HR}\right)},A=\left\{(i,j)\right|g_{mag}(i,j)>0.9max\left(g_{mag}\right)\}$

其中g_mag(i,j)表示在放大的低分辩块和一个候选的高分辨块中像素(i,j)处的梯度，g_HR(i,j)表示在放大的低分辩块和一个候选的高分辨块中像素(i,j)处的幅值，为了使得测量具有鲁棒性，只对集合A中，即梯度幅值足够大的那些像素点进行计算，因为尖锐的边缘的P₁值较大，从K个候选近邻中选取P₁最大的前k(k<<K)个高分辨近邻作为精选的高分辨近邻。

(3b2)对于一个输入的低分辩非边缘块，选取可以提供尖锐的细节并且不引入人工痕迹的高分辨近邻，使用放大的低分辩块的梯度幅值和角度以及一个候选的高分辨块，根据如下一个测量准则，用于同时测量两个块之间的结构相似度以及高分辨块的尖锐程度：

$P_2=\underset{(i,j)\&Element;B}{\&Sigma;}{g}_{\mathrm{ma}g}(i,j)\min \left(g_{HR}\right(i,j),{\mathrm{Rg}}_{\mathrm{ma}g}(i,j\left)\right){\cos }^3\mathrm{\&Delta;}\mathrm{\&theta;}(i,j)$

其中B表示在块中的所有像素的一个集合，Δθ(i,j)是在像素(i,j)处放大的低分辩块和候选高分辨块之间梯度的角度差，R值是根据g_mag限定了HR像素的梯度值，从K个候选近邻中选取P₂最大的前k(k<<K)个HF近邻作为精选的HF近邻。至此，邻域的选取完成。

本发明将非线性流形分为多个最大线性块，在训练集中先粗选较多的候选近邻，然后根据使用梯度直方图判别块类别，在这些候选近邻中用不同的选取方法筛选出合适数量的近邻，在特征表示和邻域选取两部分做了改进，降低了时间复杂度，程序运行时间大幅缩短。

本发明的效果可以通过以下仿真实验进一步说明。

实施例5

基于最大线性块邻域嵌入的图像超分辨率重建方法同实施例1-4，

1.仿真实验条件。

本实验采用IndianPines数据集作为实验数据，采用软件MATLAB7.10.0作为仿真工具，计算机配置为IntelCorei5/2.27G/2G。

IndianPines高光谱数据92AV3C：该场景为AVIRIS传感器于1992年6月获得的印第安纳州西北部的IndianPines测试地，该数据大小为145×145，每个像元有220个波段，去掉含有噪声的20个波段，仅保留剩下的200个波段，该数据共包含16类地物。

2.仿真实验内容。

仿真1，在IndianPines高光谱数据上进行不同标记样本个数下的仿真实验，并将本发明方法与现有的以下四种降维方法进行对比：1)基于稀疏保持的半监督降维SSDRsp；2)基于成对约束的半监督降维SSDR；3)局部fisher判别分析LFDA；4)主成分分析PCA。

实验中，本发明空间一致性正则参数流形正则参数表中OA代表总体精度，AA表示平均精度，Kappa表示Kappa系数。

表1给出了标记样本个数分别取{5,6,8}时，用最近邻分类器对降维后数据进行30次仿真分类的实验对比结果。

表1：本发明与现有方法在不同标记样本个数下的对比结果

从表1可见，本发明在每类标记样本个数为{5,6,8}时，精度在表中所列的五种方法中是最高的，且方差是最小的，因此本发明具有较好的鲁棒性。

实施例6

基于最大线性块邻域嵌入的图像超分辨率重建方法同实施例1-4，仿真条件和内容同实施例5

仿真2，对每类标记样本个数为5和8时，用最近邻分类器对降维后的数据进行分类。结果如图4，其中图4(a)是标记样本个数为5时的分类结果标记图，图4(b)是标记样本个数为8时的分类结果标记图。

由图4可以看出，本发明在少量监督信息的情况下，就可以获取较好影像空间结构一致性，证明了本发明的有效性。

综上，本发明的基于最大线性块邻域嵌入的图像超分辨重建方法，其主要步骤包括：构造训练样本集，采用层级分裂聚类法进行聚类，将非线性流形近似分为多个最大线性块，以便使用线性嵌入，聚类之后，用中、高频特征，构建多个不同类的最大线性块；对低分辩测试图像用梯度直方图特征进行分类，采用两种不同的邻域选取方式，使重构结果更加精准；；邻域的选取，为输入的测试块找到最相似的MLP，并判别输入块的类别进行不同方式的邻域选取；邻域的嵌入，为不同类低分辩测试图像块找到与之对应的最大线性块MLP；图像重建初始重构图像去模糊处理，最终得到一幅完整清晰的高分辨率重构图像。

本发明对邻域嵌入的超分辨率重建中训练样本集的构造以及邻域选取进行了改进，通过聚类方法从训练样本的非线性流形中近似得到多个最大线性块结构，进而实现局部线性邻域嵌入，从而重构出尽可能准确的高频信息，创新点在于，在对训练样本聚类的时候，提出了一种层级分裂聚类的方法，并且结合特征表示和邻域选取两部分在邻域嵌入的方法上做了改进，大幅降低了时间复杂度，对于自然图像的超分辨重建问题，能够恢复出更为清晰的边缘细节，取得了目前较好的结果。

Claims (4)

1.一种基于最大线性块邻域嵌入的图像超分辨重建方法，其特征在于，包括有以下步骤：

步骤1：根据待重构图像的特征，构造训练样本集，从一组训练图像块中提取中、高频特征，对该组训练样本所在的训练集进行聚类，具体采用层级分裂聚类法聚类，将非线性流形近似分为多个最大线性块，使用线性嵌入，聚类后，根据中、高频特征构建多个不同类的最大线性块，将不同类的最大线性块分别近似对应于不同的局部线性结构；

步骤2：对低分辩测试图像用梯度直方图特征进行分类，分为边缘块和非边缘块；

步骤3：邻域的选取，对不同类图像块在所构建的最大线性块中分别进行各自对应方式的邻域选取，分别得到不同类别邻域图像块；

步骤4：邻域的嵌入，根据图像块的结构不同，为不同类低分辩测试图像块找到与之对应的最大线性块；

步骤5：图像重建，根据上述选取的邻域图像块，使用最小二乘方法来计算重构的高分辨图像块HF，将这些高分辨图像块HF块按原图像顺序放到图中，得到初始估计的高分辨图像，将低分辩图像与之相加就得到了初始重构的图像；

步骤6：将得到的初始重构图像去模糊处理，最终得到一幅完整清晰的高分辨率重构图像。

2.根据权利要求1所述的基于最大线性块邻域嵌入的图像超分辨重建方法，其特征在于：步骤1中采用层级分裂聚类法聚类以及获取最大线性块的过程如下：

(1a)采用层级分裂聚类法进行聚类时，从训练样本集X中每次选择非线性程度最大的块进行分裂，直到所有块都达设定阈值的线性程度，从而得到了多个聚类，称为“最大线性块”，对训练样本集X进行不相交划分得到一组不相交的最大线性块X⁽ⁱ⁾，近似于多个线性流形即：

$X=\underset{i=1}{\overset{P}{\&cup;}}{X}^{\left(i\right)}$

$X^{\left(i\right)}=\{x_1^{\left(i\right)},x_2^{\left(i\right)},...,x_{N_i}^i\}(\underset{i=1}{\overset{P}{\&Sigma;}}{N}_i=N)$

其中P是局部块的个数，N_i是第i个局部块中数据点的个数，N是所有训练样本集X数据点的总个数，完成聚类；

(1b)聚类完成后，在构建最大线性块时，首先定义一个度量非线性程度的变量：该变量包含图像分块的欧氏距离矩阵D_E和测地距离矩阵D_G，矩阵距离比R(x_i,x_j)作为非线性程度度量的变量，用设定阈值δ来判别一个图像块是否属于最大线性块，如果该矩阵距离比超过该设定阈值δ，则认为此图像块不属于最大线性块，如果矩阵距离比小于等于该设定阈值δ，则属于最大线性块，矩阵距离比R(x_i,x_j)由下式获得：

R(x_i,x_j)＝D_G(x_i,x_j)/D_E(x_i,x_j)

在估计测地距离D_G时，需要构建KNN图，仅当x_i是x_j的前K个最近邻并且x_j是x_i的前K个最近邻，连接x_i和x_j，近邻图构建好后，采用Floyd的Dijkstra算法计算出所有数据点的最短路径，即得出估计测地距离D_G；

(1c)构造另一个大小为k×N的矩阵H，每列H(:,j)(j＝1,2,…,N)是数据点x_j的k近邻索引，H作为D_E和D_G计算的副产品，用非线性度量函数S⁽ⁱ⁾来度量一个最大线性块X⁽ⁱ⁾的非线性程度，非线性度量函数S⁽ⁱ⁾定义如下：

$S^{\left(i\right)}=\frac{1}{N^2}\underset{m=1}{\overset{N_i}{\&Sigma;}}\underset{n=1}{\overset{N_i}{\&Sigma;}}R(x_m^{\left(i\right)},x_n^{\left(i\right)})$

(1d)根据上述定义，层级分裂聚类法的详细步骤归纳为：

输入：低分辨率训练图像块集对应的高分辨率训练图像块集 $YS={\left\{y_s^j\right\}}_{j=1}^N$

第一步：初始化P＝1；根据非线性度量函数S⁽ⁱ⁾定义计算S⁽¹⁾；

第二步：选择具有最大非线性值S⁽ⁱ⁾的X⁽ⁱ⁾(i∈{1,2,…,P})作为双亲聚类；

第三步：如果S⁽ⁱ⁾＞δ，则执行下面步骤：

(1)根据测地距离矩阵D_G，从X⁽ⁱ⁾中选择两个最远的种子点，x_l和x_r，初始化左、右孩子聚类：更新X⁽ⁱ⁾←X⁽ⁱ⁾\{x_l,x_r}；

(2)当执行

●对于当前根据邻域数据索引矩阵H，构造它的近邻点集，用C_l表示，C_l包含了在中所有点的KNN；

●对于当前的构造它的近邻点集，用C_r表示，与1)相似；

●更新： $X_l^{\left(i\right)}\&LeftArrow;X_l^{\left(i\right)}\&cup;\{C_l\&cap;X^{\left(i\right)}\},X^{\left(i\right)}\&LeftArrow;X^{\left(i\right)}\backslash \{C_l\&cap;X^{\left(i\right)}\};$

$X_r^{\left(i\right)}\&LeftArrow;X_r^{\left(i\right)}\&cup;\{C_r\&cap;X^{\left(i\right)}\},X^{\left(i\right)}\&LeftArrow;X^{\left(i\right)}\backslash \{C_r\&cap;X^{\left(i\right)}\};$

(3)X⁽ⁱ⁾分裂成为：和更新P←P+1，根据非线性度量函数S⁽ⁱ⁾计算和

第四步：否则即S⁽ⁱ⁾≤δ，说明满足迭代要求，返回当前聚类结果，层级分裂聚类法终止；

第五步：若不满足条件，返回到第二步继续迭代，直至满足迭代要求，停止迭代；输出：不相交的最大线性块s{X⁽¹⁾,X⁽²⁾,…,X^(P)}集合，该不相交的最大线性块即为层级分裂聚类结果。

3.根据权利要求1所述的基于最大线性块邻域嵌入的图像超分辨重建方法，其特征在于：步骤2中对低分辩测试图像进行分类过程如下：

(2a)对输入的低分辩图像块进行分类，根据像素梯度信息建立一个块的直方图，先求出某像素点(i,j)处的梯度g(i,j)和角度θ(i,j)，其中，

梯度： $g(i,j)=\sqrt{g_x^2(x,y)+g_y^2(x,y)}$

角度：θ(i,j)＝arctan(g_y(i,j)/g_x(i,j)),0＜θ(i,j)＜2π

(2b)对于每个测试图像块，计算其角度直方图h(·)：

$h\left(\frac{\mathrm{\&theta;}(i,j)}{{\mathrm{\&delta;}}_{\mathrm{\&theta;}}}\right)=h\left(\frac{\mathrm{\&theta;}(i,j)}{{\mathrm{\&delta;}}_{\mathrm{\&theta;}}}\right)+1,$ 如果g(i,j)＞T_g

其中δ_θ表示在直方图中的间隔宽度，用阈值T_g用来限定梯度幅值；

(2c)对得到的直方图进行低通滤波，找到最大值l₁和次大值l₂，通过这两个值的大小关系来判断测试图像块是边缘块还是非边缘块；

(2d)如果l₂＜min(l₁/3,T₁)，则该测试图像块为边缘块，反之l₂≥min(l₁/3,T₁)，为非边缘块。

4.根据权利要求1所述的基于最大线性块邻域嵌入的图像超分辨重建方法，其特征在于：步骤3邻域的选取过程如下：

(3a)领域粗选，在所选取的最大线性块中进行近邻选取，先在该最大线性块中，使用KNN选取较大范围的候选邻域K；

(3b)邻域精选，从上述粗选的K个近邻中选出更加准确的近邻：

(3b1)对于一个输入的低分辩边缘块，选出提供尖锐边缘信息并且没有振铃效应的高分辨率图像块近邻，采用以下的测量准则P₁对边缘块进行邻域精选：

A＝{(i,j)|g_mag(i,j)＞0.9max(g_mag)}

其中g_mag(i,j)表示在放大的低分辩块和一个候选的高分辨块中像素(i,j)处的梯度，g_HR(i,j)表示在放大的低分辩块和一个候选的高分辨块中像素(i,j)处的幅值，只对集合A中，即梯度幅值足够大的那些像素点进行计算，因为尖锐的边缘的P₁值较大，从K个候选近邻中选取P₁最大的前k(k<<K)个高分辨近邻作为精选的高分辨近邻。

(3b2)对于一个输入的低分辩非边缘块，选取可以提供尖锐的细节并且不引入人工痕迹的高分辨近邻，使用放大的低分辩块的梯度幅值和角度以及一个候选的高分辨块，根据如下一个测量准则，用于同时测量两个块之间的结构相似度以及高分辨块的尖锐程度：

$P_2=\underset{\left(i,j\right)\&Element;B}{\&Sigma;}{g}_{mag}\left(i,j\right)\min \left(g_{HR}\left(i,j\right),{\mathrm{Rg}}_{\mathrm{ma}g}\left(i,j\right)\right){\cos }^3\mathrm{\&Delta;}\mathrm{\&theta;}\left(i,j\right)$

其中B表示在块中的所有像素的一个集合，Δθ(i,j)是在像素(i,j)处放大的低分辩块和候选高分辨块之间梯度的角度差，R值是根据g_mag限定了HR像素的梯度值，从K个候选近邻中选取P₂最大的前k(k<<K)个HF近邻作为精选的HF近邻。