CN109146785A - 一种基于改进稀疏自动编码器的图像超分辨率方法 - Google Patents

Abstract

本发明涉及一种基于改进稀疏自动编码器的图像超分辨率方法，其以训练样本的高频信息为特征，分别构造高、低分辨率图像训练集，并通过ZCA白化技术对联合训练集去相关以降低其冗余性，从而提高自动编码器的训练效率；然后，在传统稀疏自动编码器的代价函数中加入构造的稀疏正则化项，获取改进的稀疏自动编码器，进一步加强对隐含层的稀疏性约束；接着，采用改进的稀疏自动编码器实现无监督的联合字典学习，以学习到更加准确和鲁棒的字典；最后将学习到的字典应用于基于稀疏表示的图像超分辨率重建框架中，实现图像的重建，达到提高重建质量的效果。

Description

一种基于改进稀疏自动编码器的图像超分辨率方法

技术领域

本发明涉及一种图像超分辨率方法，特别是涉及一种基于改进稀疏 自动编码器的图像超分辨率方法。

背景技术

通常，图像的空间分辨率越高意味着图像细节越丰富，越有利于后 续的图像处理、分析和理解。然而，在实际应用中，由于成像设备限制、 场景变化等退化因素，导致成像系统只能得到质量较差、分辨率较低的 图像，不能满足实际应用的要求。图像超分辨率(Super Resolution,SR) 方法可以利用信号处理的方法从单幅或多幅低分辨率(LowResolution, LR)图像重建出高分辨率(High Resolution,HR)图像，从而提升图像的 空间分辨率。因此SR方法在遥感、医疗、视频监控等领域都具有重要 的应用价值。

通常，SR方法可分为3种类型：基于插值的SR方法，基于重建的 SR方法和基于学习的SR方法。其中，基于学习的SR方法，作为近年来 SR算法研究的热点方向，是在给定训练图像样本的基础上，通过学习的 方法在HR和LR图像块之间建立确定的关系，然后利用这种关系从给定 的LR图像块重建出对应的HR图像块。该类方法的关键是，在图像重建 过程中引入一定的图像先验知识作为约束条件，来恢复由于图像降质损 失的细节信息。

基于稀疏表示的SR方法作为基于学习的SR方法中的一种，最早由 Yang等提出。Yang等利用自然图像的稀疏性，通过字典和稀疏表示系 数的线性组合得到重建图像，从而恢复图像的高频细节；在字典学习方 面，采用联合字典学习算法对HR和LR图像训练样本进行学习，使得LR 图像块和对应HR图像块分别相对于LR字典和HR字典之间的稀疏表示 系数是相似的，从而保证LR图像块的稀疏表示可以近似地生成HR图像 块。虽然该算法可以获取充足的附加信息，恢复一定的高频细节信息， 但是重建效果对字典具有强烈的依赖性，无法保证附加信息的准确性与 可靠性。

发明内容

有鉴于此，本发明的目的在于提供一种基于改进稀疏自动编码器的 图像超分辨率方法，其利用神经网络特有的良好学习能力来实现字典学 习，通过提高字典的准确性和鲁棒性来提升重建图像的质量。

为实现上述目的，本发明采用的方案是：

一种基于改进稀疏自动编码器的图像超分辨率方法，其包括以下步 骤：

步骤1、以训练样本的高频信息为特征，分别构造高分辨率图像训 练集和低分辨率图像训练集即HR训练集和LR训练集，然后对联合训练 集进行ZCA白化处理；

步骤2、在传统的稀疏自动编码器代价函数中融入构造的稀疏正则 化项，获取改进的稀疏自动编码器；

步骤3、采用改进稀疏自动编码器实现无监督的联合字典学习，得 到包含HR字典和LR字典的字典对；

步骤4、将字典对D应用于稀疏标示超分辨率重建框架中，进行图 像超分辨率重建。

所述步骤1具体如下：

步骤1.1、对HR样本图像P_h下采样，得到LR图像P_l；然后对P_l采用 双三次插值上采样，得到与HR图像相同大小的中间图像P_m；

步骤1.2、构造HR训练集；

将HR样本图像P_h与中间图像P_m作差，去除HR图像中的低频信息， 得到差值图像e_h＝P_h-P_m，；然后对e_h进行特征提取，获得HR训练集Z_h；

步骤1.3、构造LR训练集；

对中间图像P_m采用r个高通滤波器进行滤波，i＝1,2,...,r；然后，将 滤波后的图像进行特征提取，获得LR训练集Z_l'；接着，对LR训练集Z_l' 采用主成分分析方法进行降维，得到LR训练集Z_l；

步骤1.4、结合HR训练集Z_h和LR训练集Z_l，得到联合训练集 Z＝[Z_h,Z_l]，其中，HR训练集表示为Z_h＝{z₁,z₂,...,z_m}，LR训练集表示为 Z_l＝{z_m+1,z_m+2,...,z_m+n}，则联合训练集Z＝[z₁,z₂,...,z_m,z_m+1,z_m+2,...,z_m+n]；

步骤1.5、对联合训练集Z进行ZCA白化；

首先，对训练数据集Z的协方差矩阵进行SVD分解，得到特征向量 矩阵U，其中，矩阵U有正交性，满足UU^T＝U^TU＝1；然后将特征向量 矩阵U进行旋转，即Z_rot＝U^TZ；将旋转后得到的矩阵Z_rot进行PCA白化 使其各个特征具有单位方差，即其中λ_i为矩阵z_rot的 协方差矩阵对角元素的值；最后，将z_PCAwhite,i左乘矩阵U，得到ZCA白化 的特征其中，s_i∈S，ZCA白化后的训练集为 S＝[s₁,s₂,...,s_m,s_m+1,s_m+2,...,s_m+n]；

步骤1.6、对ZAC白化后的联合训练集S进行归一化处理。

所述步骤2具体如下：

步骤2.1、构造稀疏正则化项；

结合基于字典学习的SR理论和稀疏自动编码器的模型，采用l₁范数 来加强对隐含层的稀疏性约束，其中，l₁范数构造的正则化项为：

其中，为第l层节点j的激活量，为第l-1层节点i与第l层节 点j的连接权重，为第l层节点j的偏置向量；

步骤2.2改进稀疏自动编码器代价函数，执行如下操作：

在传统稀疏自动编码器中引入构造的正则化项，即式(3)，得到如 下改进代价函数：

步骤2.2、将构造稀疏正则化项融入传统的稀疏自动编码器的代价 函数中，得到改进的稀疏自动编码器的代价函数为：

其中，输入数据为s_i∈S，S＝[s₁,s₂,...,s_M]，输出数据为h_i∈H， Η＝[h₁,h₂,...,h_M]，N_l为层数，S_l为第l层的节点数目，为隐含层神经元 的平均激活量，λ、β和γ为正则化项参数，分别用于调整均方误差项、 权重衰减项和稀疏正则项，ρ为设定好的预期激活量，其值接近于0，

步骤2.3、激活函数的选择；

在改进的稀疏自动编码器在编码阶段选用Sigmoid函数作为激活函 数，其表达式如式为：

改进的稀疏自动编码器的解码阶段则采用线性解码器解决数据缩 放问题，线性解码器表达式为：σ(t)＝t。

所述步骤3具体如下：

结合高、低分辨率训练样本定义改进稀疏自动编码器的输入，输入 数据定义为S＝[s₁,s₂,...,s_m,s_m+1,s_m+2,...,s_m+n]，前面m个数据属于HR训练集， 后面n个属于LR训练集；

采用梯度下降法对权重和偏置量进行更新，获得输入层到隐含层的 连接权重W₁；

根据字典学习与神经网络表示之间的关联，学习得到的字典对应于 连接权重的转置W₁ ^T；根据输入数据，学习得到的字典可表示为 D＝{w₁,w₂,...,w_m,w_m+1,w_m+2,...,w_m+n}，其中w_i＝{w_1,i,w_2,i,...,w_k,i}，k为字典的维 数，i＝1,2,...,m+n，则HR字典为D_h＝{w₁,w₂,...,w_m}，LR字典为 D_l＝{w_m+1,w_m+2,...,w_m+n}；因此，字典对表示为D＝(D_h,D_l)。

所述步骤4具体如下：

首先，采用特征表征搜索算法求解待重建LR图像Y的稀疏编码目 标函数，通过确定每一次迭代稀疏表示系数的符号来将非凸问题转变为 凸问题，得到的稀疏表示系数为其表达式为：

其中，λ是用于平衡解的稀疏度和图像Y保真度的参数；

然后，通过HR字典D_h与稀疏表示系数线性组合，即得 到重建后的图像

采用上述方案后，本发明以训练样本的高频信息为特征，分别构造 高、低分辨率图像训练集，并通过ZCA白化技术对联合训练集去相关以 降低其冗余性，从而提高自动编码器的训练效率；然后，在传统稀疏自 动编码器的代价函数中加入构造的稀疏正则化项，获取改进的稀疏自动 编码器，进一步加强对隐含层的稀疏性约束；接着，采用改进的稀疏自 动编码器实现无监督的联合字典学习，以学习到更加准确和鲁棒的字 典；最后将学习到的字典应用于基于稀疏表示的图像超分辨率重建框架 中，实现图像的重建，达到提高重建质量的效果。

附图说明

图1为本发明流程图；

图2为本发明数据处理流程图；

图3a为“Butterfly”整体图；

图3b为从图3a矩形框中截取的HR图像；

图3c为从图3b采样得到的LR图像；

图3d为256维数字典下的重建结果；

图3e为512维数字典下的重建结果；

图3f为1024维数字典下的重建结果；

图3g为2048维数字典下的重建结果；

图4为本发明在不同维数的字典关于Set5重建图像的PSNR和SSIM 值比较图；

图5a为“Lena”整体图；

图5b为从图5a矩形框中截取的HR图像；

图5c为从图5b采样得到的LR图像；

图5d为采用L1SR方法下的重建结果；

图5e为采用SISR方法下的重建结果；

图5f为采用ANR方法下的重建结果；

图5g为采用NE+LS方法下的重建结果；

图5h为采用NE+NNLS方法下的重建结果；

图5i为采用NE+LLE方法下的重建结果；

图5j为采用A+(16atoms)方法下的重建结果；

图5k为采用ISPSR方法下的重建结果；

图5l为采用OURS方法下的重建结果；

图6为本发明的SR方法与其他SR算法得到的重建图像对应的PSNR 和SSIM比较图。

具体实施方式

如图1所示，本发明揭示了一种基于改进稀疏自动编码器的图像超 分辨率方法，其包括以下步骤：

步骤1、以训练样本的高频信息为特征，分别构造高分辨率图像训 练集和低分辨率图像训练集，然后通过ZCA(Zero-phase Component Analysis)白化技术对联合训练集去相关以降低其冗余性，参照图2所 示，

步骤1.1、对HR样本图像P_h下采样，得到LR图像P_l；然后对P_l采用 双三次插值(Bicubic)上采样，得到与HR图像相同大小的中间图像P_m。

步骤1.2、构造高分辨率图像训练集(HR训练集)，具体如下：

将HR图像P_h与中间图像P_m作差，去除HR图像中的低频信息，得到 差值图像e_h＝P_h-P_m，更好地训练表征HR图像块及其对应的LR图像块在 边缘和纹理之间的关系。然后对e_h进行特征提取，获得HR训练集Z_h。

步骤1.3、构造低分辨率图像训练集(LR训练集)，具体如下：

对中间图像P_m采用r个高通滤波器进行滤波，i＝1,2,...,r，以更好地 提取与高频信息相对应的局部特征。然后，将滤波后的图像进行特征提 取，获得LR训练集Z_l'。接着，对LR训练集Z_l'采用主成分分析(Principal Component Analysis,PCA)方法进行降维，得到LR训练集Z_l。

步骤1.4、结合HR训练集Z_h和LR训练集Z_l，得到联合训练集 Z＝[Z_h,Z_l]，其中，m个HR训练样本表示为Z_h＝{z₁,z₂,...,z_m}，n个LR训 练样本表示为Z_l＝{z_m+1,z_m+2,...,z_m+n}，则Z＝[z₁,z₂,...,z_m,z_m+1,z_m+2,...,z_m+n]。

步骤1.5、对联合训练集进行ZCA白化；

采用ZCA技术降低训练集Z的冗余性，从而降低训练集Z中各个图 像块的特征之间的相关性，使所有图像块的特征具有相同的方差。ZCA 白化具体如下：

首先，对训练数据集Z的协方差矩阵进行SVD分解，得到特征向量 矩阵U，其中，矩阵U有正交性，满足UU^T＝U^TU＝1。然后将特征向量 矩阵U进行旋转，即Z_rot＝U^TZ；将旋转后得到的矩阵Z_rot进行PCA白化 使其各个特征具有单位方差，即其中λ_i为矩阵z_rot的 协方差矩阵对角元素的值。最后，将z_PCAwhite,i左乘矩阵U，得到ZCA白化 的特征其中，s_i∈S，ZCA白化后的训练集为

S＝[s₁,s₂,...,s_m,s_m+1,s_m+2,...,s_m+n] (1)

在ZCA白化过程中，保持数据的维度，不再对数据进行降维。

步骤1.6、对ZAC白化后的联合训练集进行归一化处理；

由于稀疏自动编码器的输入样本需要在[0,1]之间，因此，对训练 集S进行归一化处理。

步骤2、在传统的稀疏自动编码器代价函数中融入构造的稀疏正则 化项，加强隐含层的稀疏性约束，获取改进的稀疏自动编码器，具体如 下：

步骤2.1、构造稀疏正则化项；

稀疏自动编码器包括编码器和解码器，编码器通过非线性映射函数 将输入向量x以一定的方式映射到隐含层y，而解码器负责将隐含层形成 的编码y映射到输出层z，输出层具有和输入层相同的单元数，其映射关 系分别如式(2)和式(3)所示，

其中，x∈[0,1]，y∈[0,1]，z∈[0,1]；W₁为输入层到隐含层的权重矩阵， W₂为隐含层到输出层的权重矩阵，在数值上与W₁的转置相同；b₁为输 入层偏置向量，b₂为隐含层的偏置向量；θ₁＝{W₁,b₁}，θ₂＝{W₂,b₂}，将参 数合并，可表示为θ＝{θ₁,θ₂}；σ(·)为激活函数。

稀疏自动编码器通过调整参数θ使得输入与输出之间的重构误差最 小，其代价函数一般采用均方误差(Mean Squared Error,MSE)函数。 通常，为了减少权值的量级并防止出现过拟合，在代价函数中增加一个 权重衰减项，从而对网络的权重矩阵进行一定的限制。同时，引入一个 额外项KL divergence(相对熵)来约束隐含层的稀疏性，以保证隐含层节点大部分时间处于非激活状态，即平均激活量接近于0。稀疏自动 编码器的代价函数可表示为：

其中，输入数据s_i∈S，S＝[s₁,s₂,...,s_M]，输出数据h_i∈H， Η＝[h₁,h₂,...,h_M]，N_l为层数，S_l为第l层的节点数目，λ和β为正则化项 参数，用于调整均方误差项和权重衰减项，为隐含层神经元的平均激 活量，ρ为设定好的预期激活量，其值接近于0。

采用相对熵来惩罚显著偏离ρ的情况，如式(5)所示：

采用l₁范数进一步加强对隐含层的稀疏性约束，使得隐含层中激活 量接近于0的节点数量尽可能多，所构造的正则化项如式(6)所示。

其中，A为隐含层所有节点的激活值矩阵，为第l层节点j的激活 量，为第l-1层节点i与第l层节点j的连接权重，为第l层节点j的 偏置向量。

步骤2.2、将构造稀疏正则化项融入传统的稀疏自动编码器的代价 函数中，得到改进的稀疏自动编码器的代价函数为：

其中，γ为用于调整稀疏正则项的参数。

步骤2.3、激活函数的选择。

(1)编码阶段，由于Sigmoid激活函数可以将输入的数据控制在 (0,1)之间，满足稀疏自动编码器的要求，而且该函数数据在传递的过程 中不容易发散，且求导简单，因此，在改进的稀疏自动编码器在编码阶 段选用Sigmoid函数作为激活函数，其表达式如式(8)所示。

改进的稀疏自动编码器的解码阶段则采用式(9)所示的线性解码器 解决数据缩放问题，更加准确地计算残差。

σ(t)＝t (9)

步骤3、采用改进稀疏自动编码器实现无监督的联合字典学习。

根据字典学习的需要，定义改进稀疏自动编码器的输入数据，执行 如下操作：

考虑到联合字典学习需要在两个具有对应关系的特征空间中学习， 将输入样本分为HR和LR样本两部分。任意一个隐含层均会存在一对提 取HR、LR样本图像块局部特征的滤波器，如此可以实现字典的联合学 习。假设HR训练样本有m个样本数据，LR训练集样本有n个样本数据， 则输入数据表示为S＝[s₁,s₂,...,s_m,s_m+1,s_m+2,...,s_m+n]，前面m个数据属于HR训 练集，后面n个属于LR训练集。对应的输出数据表示为 Η＝[h₁,h₂,...,h_m,h_m+1,h_m+2,...,h_m+n]。

采用改进稀疏自动编码器联合学习字典，执行如下操作：

首先，采用梯度下降法(gradient descent)对权重和偏置量进行更 新，获得输入层到隐含层的连接权重W₁。

其次，根据字典学习与神经网络表示之间的关联，学习得到的字典 对应于连接权重的转置W₁ ^T。根据输入数据，学习得到的字典可表示为 D＝{w₁,w₂,...,w_m,w_m+1,w_m+2,...,w_m+n}，其中w_i＝{w_1,i,w_2,i,...,w_k,i}，k为字典的维 数，i＝1,2,...,m+n，则HR字典为D_h＝{w₁,w₂,...,w_m}，LR字典为 D_l＝{w_m+1,w_m+2,...,w_m+n}。因此，字典对表示为D＝(D_h,D_l)。

步骤4、将字典对应用于稀疏标示超分辨率重建框架中，进行图像 超分辨率重建。

首先，采用特征表征搜索算法求解待重建LR图像Y的稀疏编码目 标函数，通过确定每一次迭代稀疏表示系数的符号来将非凸问题转变为 凸问题，提高稀疏表示系数的准确性，得到的稀疏表示系数为

其中，λ是用于平衡解的稀疏度和图像Y保真度的参数。

然后，通过HR字典D_h与稀疏表示系数线性组合，即得 到重建后的图像

本发明以训练样本的高频信息为特征，分别构造高、低分辨率图像 训练集，并通过ZCA白化技术对联合训练集去相关以降低其冗余性，从 而提高自动编码器的训练效率；然后，在传统稀疏自动编码器的代价函 数中加入构造的稀疏正则化项，获取改进的稀疏自动编码器，进一步加 强对隐含层的稀疏性约束；接着，采用改进的稀疏自动编码器实现无监 督的联合字典学习，以学习到更加准确和鲁棒的字典；最后将学习到的 字典应用于基于稀疏表示的图像超分辨率重建框架中，实现图像的重 建，达到提高重建质量的效果。

本发明的效果可以通过以下仿真实验进一步说明。在实验中，为了 保证实验的客观性，字典学习采用91张HR训练样本，包括风景、人物 和建筑等自然图像。测试图像来源于标准测试库Set5和Set14。实验将 与Bicubic、L1SR(Super Resolution withL1Regression)、SISR(Single Image Super Resolution)、ANR(Anchored NeighborhoodRegression)、 NE+LS(Neighbor Embedding with Least Squares)、NE+NNLS(NeighborEmbedding with Non-Negative Least Squares)和NE+LLE(Neighbor Embedding withLocally Linear Embedding)、A+_16atmos(Adjusted Anchored NeighborhoodRegression)和ISPSR(improved Super Resolution based on Sparse representation)等9种SR算法作对比。

为了定量地评价重建图像的质量，将这些测试图像作为HR参考图 像，通过下采样获取待处理的LR图像。设定采样因子s＝3。在训练集预 处理阶段，令r＝4，即采用4个高通滤波器，分别为f₁＝[-1,0,1]，f₂＝f₁ ^T， f₃＝[1,0,-2,0,1]和f₄＝f₃ ^T。在联合字典学习的过程中，与代价函数相关参 数设置为：λ＝0.001，β＝6，γ＝8，ρ＝0.035；在图像重建阶段，图像子 块大小为5×5。

仿真实验主要分为两组，具体如下。

第1组实验：讨论不同的字典维数(即，隐含层节点数)对重建效果 的影响。

该实验将字典维数分别设为256，512，1024和2048四种情况。

图3a至图3g从主观视觉上展示了不同维数字典对应的Butterfly 的重建结果。采用矩形框选出对应图像中细节最为丰富的区域，以便更 好地比较和分析不同SR算法对图像细节的重建效果。从图3d至图3g 可以看出，当字典维数为256时，重建图像还比较模糊，边缘存在着明 显的锯齿效果，当字典维数为512和1024时，重建图像的纹理和边缘 逐渐改善，伪影越来越少，重建的图像越来越清晰，但是字典维数为2048 时，学习得到的字典对图像的重建质量并没有明显的改善，而且学习字 典的时间更长。

图4列出了不同维数的字典关于Set5重建图像的PSNR和SSIM值。 从图4可以看出，随着字典维数的增加，Set5中重建图像的PSNR和SSIM 值都逐渐增加，但是随着字典维数增加到2048，Set5的大部分图像对 应的重建图像的PSNR和SSIM值均有所下降。结合图3和图4的实验结 果，字典维数为1024时，效果最好。

第2组实验：将本发明与不同SR方法比较。

为了验证本发明的效果，将算法与上述9中SR算法在PSNR和SSIM 两个客观评价指标下进行比较。图5a和图5b展示了Lena测试图像与 其对应的细节图像，图5c-5l从主观视觉上展示了不同SR算法对Lena 的帽檐区域的重建结果。L1SR算法虽然恢复了部分细节，但是还存在明 显的块效应，如图5d的脸部；SISR算法的边缘锐化效果明显，但是在 重建图像中出现了部分虚假细节，如图5e中的帽子边缘；图5f-5k)对 应的算法都取得较好的重建效果，但是在恢复丰富的细节信息的同时也 引入了较多的虚假细节，比如这些图中Lena的帽檐。本发明所提方法 优于其他9种SR方法，恢复了更多的细节信息且没有引入过多的虚假细节，如图5l中Lena的帽檐的重建结果都更接近于原始图像，对应的 重建图像更加清晰和真实。

图6列出了不同SR算法得到的重建图像对应的PSNR和SSIM，其中 粗体标出的数值表示在相应的评价指标下其对应算法的性能最优。由图 6可见，本发明提出方法得到的PSNR和SSIM值大体上都是最优的，表 明其的重建效果更优。

以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任 何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修 改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (5)

1.一种基于改进稀疏自动编码器的图像超分辨率方法，其特征在于：所述方法包括以下步骤：

步骤1、以训练样本的高频信息为特征，分别构造高分辨率图像训练集和低分辨率图像训练集即HR训练集和LR训练集，然后对联合训练集进行ZCA白化处理；

步骤2、在传统的稀疏自动编码器代价函数中融入构造的稀疏正则化项，获取改进的稀疏自动编码器；

步骤3、采用改进稀疏自动编码器实现无监督的联合字典学习，得到包含HR字典和LR字典的字典对；

步骤4、将字典对D应用于稀疏标示超分辨率重建框架中，进行图像超分辨率重建。

2.根据权利要求1所述的一种基于改进稀疏自动编码器的图像超分辨率方法，其特征在于：所述步骤1具体如下：

步骤1.1、对HR样本图像P_h下采样，得到LR图像P_l；然后对P_l采用双三次插值上采样，得到与HR图像相同大小的中间图像P_m；

步骤1.2、构造HR训练集；

将HR样本图像P_h与中间图像P_m作差，去除HR图像中的低频信息，得到差值图像e_h＝P_h-P_m，；然后对e_h进行特征提取，获得HR训练集Z_h；

步骤1.3、构造LR训练集；

对中间图像P_m采用r个高通滤波器进行滤波，i＝1,2,...,r；然后，将滤波后的图像进行特征提取，获得LR训练集Z_l'；接着，对LR训练集Z_l'采用主成分分析方法进行降维，得到LR训练集Z_l；

步骤1.4、结合HR训练集Z_h和LR训练集Z_l，得到联合训练集Z＝[Z_h,Z_l]，其中，HR训练集表示为Z_h＝{z₁,z₂,...,z_m}，LR训练集表示为Z_l＝{z_m+1,z_m+2,...,z_m+n}，则联合训练集Z＝[z₁,z₂,...,z_m,z_m+1,z_m+2,...,z_m+n]；

步骤1.5、对联合训练集Z进行ZCA白化；

首先，对训练数据集Z的协方差矩阵进行SVD分解，得到特征向量矩阵U，其中，矩阵U有正交性，满足UU^T＝U^TU＝1；然后将特征向量矩阵U进行旋转，即Z_rot＝U^TZ；将旋转后得到的矩阵Z_rot进行PCA白化使其各个特征具有单位方差，即其中λ_i为矩阵z_rot的协方差矩阵对角元素的值；最后，将z_PCAwhite,i左乘矩阵U，得到ZCA白化的特征其中，s_i∈S，ZCA白化后的训练集为S＝[s₁,s₂,...,s_m,s_m+1,s_m+2,...,s_m+n]；

步骤1.6、对ZAC白化后的联合训练集S进行归一化处理。

3.根据权利要求2所述的一种基于改进稀疏自动编码器的图像超分辨率方法，其特征在于：所述步骤2具体如下：

步骤2.1、构造稀疏正则化项；

结合基于字典学习的SR理论和稀疏自动编码器的模型，采用l₁范数来加强对隐含层的稀疏性约束，其中，l₁范数构造的正则化项为：

其中，为第l层节点j的激活量，为第l-1层节点i与第l层节点j的连接权重，为第l层节点j的偏置向量；

步骤2.2、将构造稀疏正则化项融入传统的稀疏自动编码器的代价函数中，得到改进的稀疏自动编码器的代价函数为：

其中，输入数据为s_i∈S，S＝[s₁,s₂,...,s_M]，输出数据为h_i∈H，Η＝[h₁,h₂,...,h_M]，N_l为层数，S_l为第l层的节点数目，为隐含层神经元的平均激活量，λ、β和γ为正则化项参数，分别用于调整均方误差项、权重衰减项和稀疏正则项，ρ为设定好的预期激活量，其值接近于0，

步骤2.3、激活函数的选择；

在改进的稀疏自动编码器在编码阶段选用Sigmoid函数作为激活函数，其表达式如式为：

改进的稀疏自动编码器的解码阶段则采用线性解码器解决数据缩放问题，线性解码器表达式为：σ(t)＝t。

4.根据权利要求3所述的一种基于改进稀疏自动编码器的图像超分辨率方法，其特征在于：所述步骤3具体如下：

结合高、低分辨率训练样本定义改进稀疏自动编码器的输入，输入数据定义为S＝[s₁,s₂,...,s_m,s_m+1,s_m+2,...,s_m+n]，前面m个数据属于HR训练集，后面n个属于LR训练集；

采用梯度下降法对权重和偏置量进行更新，获得输入层到隐含层的连接权重W₁；

根据字典学习与神经网络表示之间的关联，学习得到的字典对应于连接权重的转置W₁ ^T；根据输入数据，学习得到的字典可表示为D＝{w₁,w₂,...,w_m,w_m+1,w_m+2,...,w_m+n}，其中w_i＝{w_1,i,w_2,i,...,w_k,i}，k为字典的维数，i＝1,2,...,m+n，则HR字典为D_h＝{w₁,w₂,...,w_m}，LR字典为D_l＝{w_m+1,w_m+2,...,w_m+n}；因此，字典对表示为D＝(D_h,D_l)。

5.根据权利要求4所述的一种基于改进稀疏自动编码器的图像超分辨率方法，其特征在于：所述步骤4具体如下：

首先，采用特征表征搜索算法求解待重建LR图像Y的稀疏编码目标函数，通过确定每一次迭代稀疏表示系数的符号来将非凸问题转变为凸问题，得到的稀疏表示系数为其表达式为：

其中，λ是用于平衡解的稀疏度和图像Y保真度的参数；

然后，通过HR字典D_h与稀疏表示系数线性组合，即得到重建后的图像