CN104778671A - 一种基于sae和稀疏表示的图像超分辨率方法 - Google Patents

Abstract

本发明公开了一种基于SAE和稀疏表示的图像超分辨率方法，属于图像处理领域。该方法主要包含离线训练与测试重构两个阶段，前者主要通过对稀疏自编码SAE模型提取的图像特征进行字典训练，建立反映高低分辨率图像特征对应关系的字典对，后者则利用获得的字典以及稀疏表示方法对用户输入的低分辨率图像进行超分辨率重建。该方法使用SAE模型对原始图像采样数据进行无监督学习训练，避免了传统人工设计特征提取算子时费时费力以及提取特征单一的弊端，同时将SAE压缩表示的图像特征直接用于高低字典对的训练，有利于字典训练的进行，而使用稀疏表示方法可以估计图像中丢失的细节成分，方便从低分辨率图像中恢复更高质量的高分辨率图像。

Description

一种基于SAE和稀疏表示的图像超分辨率方法

技术领域

本发明属于图像处理领域，涉及一种基于SAE和稀疏表示的图像超分辨率方法。

背景技术

随着科技的发展与社会安全意识的不断加强，视频监控系统被广泛应用于公共安全领域。高质量、高分辨率图像由于可以反映视觉场景、人物中更多的细节信息，因而对于视频监控系统功能的实现至关重要。然而，在实际应用中，低分率图像的产生不可避免。一方面，许多成像系统(如红外成像仪和CCD、CMOS传感器等)由于受其固有的传感器阵列排列密度的限制以及目标移动、聚焦不良、系统噪声等因素影响,使其自身采集图像的分辨率难以达到期望的水平，具有模糊、噪声、变形等缺陷，形成低分辨率图像；另一方面，由于监控系统监控设备安装位置不佳、监控距离较远、监控角度大、视频压缩采样严重等因素的影响，往往会导致监控画面辨识度较差，分辨率较低。而低分辨率的图像对于提取视频监控图像中有用的关键信息如刑侦中犯罪人员的人脸信息、交通事故中违章车辆的牌照以及驾驶员人脸特征等将造成诸多不便，从而影响视频监控系统在日常监控、刑侦、反恐、交通监测等方面的实际应用性能，因而研究如何获取或提高图像的分辨率具有重要的现实意义。作为提高图像分辨率的一种重要技术手段，图像超分辨率(Super-Resolution,简称SR)技术可以采用软件方法从一幅或多幅已观测的低分辨率图像中恢复重建出高分辨率图像或图像序列。这种技术由于可以从软件算法上显著提高图像的空间分辨率，弥补硬件采集成像系统的不足，降低应用成本，因而在遥感图像系统、卫星成像系统、医学图像诊断系统、数字电视系统、视频监控、刑侦影像分析系统等图像处理系统中具有十分重要的应用价值和广阔的应用前景。

目前，按照重建高分辨率图像思想原理的不同，现有的超分辨率技术主要分为三种类型，即基于插值的超分辨率技术、基于重建的超分辨率技术以及基于学习的超分辨率技术。

基于插值的图像超分辨率技术的基本思想是首先把一幅待放大的单帧低分辨图像配准到所期望的高分辨率图像的像素点上，再使用插值技术在高分辨率图像中把没有配准的像素点计算出来。传统的插值技术包括最近邻插值法、二次插值法、双三次插值法等。这类技术发展起步较早，其特点是简单直观，一般运算速度比较快，在实时性要求较强但图像要求较低的场合具有较好的实用价值。但这种方法在没有引入额外先验信息的情况下，仅凭单帧图像插值很难恢复高分辨率图像所具有的细节信息，因而其重建能力有限，重建过程中很难恢复有效的高频信息，重建的图像中容易存在局部振铃效应或整体偏光滑，也容易产生模糊或锯齿效应。

基于重建的超分辨率技术按照研究空间的不同又主要分为频域法和空域法两类。基于频域类的超分辨率重建技术主要是利用傅里叶变换空域上的平移对应于频域上的相移性质，从具有不同相位的低分辨率图像的频谱中估计出高分辨率图像的频谱，然后进行傅里叶反变换重构出高分辨率图像。由于图像的卷积、平移、旋转等运算在频域中可以方便地转化成易于处理的算术运算形式，使得基于频域类的超分辨率重建方法在理论推导和计算上都有一定的优势。但随着人们研究的深入发现，这类重建方法难于处理噪声问题，并且难于在处理过程中添加先验信息，使得这类方法的研究受到了限制。基于空域类的超分辨率重建技术则是通过建立图像退化的物理模型，假设低分辨率图像是通过原始高分辨率图像经几何形变、模糊和降采样操作得到的结果，最终利用多帧低分辨率图像间的融合来反演高分辨率图像。目前，这类超分辨率重建方法典型的有迭代反向投影法(IBP)、凸集投影法(POCS)、最大后验概率(MAP)方法、最大似然概率(ML)方法以及混合MAP/POCS法等。基于空域类的方法中，由于其观测模型涉及全局和局部运动、光学模糊、帧内运动模糊、非理想采样等内容，具有很强的包含空间先验约束的能力，能够弥补频域法以及传统插值方法重建高分辨率图像过程中的一些不足之处。但这种基于重建的图像超分辨技术需要依赖大量同一场景下或相关性、互补性很强的大量低分辨率图像，并且这类方法侧重于从信号处理的角度恢复高分辨率图像，对图像内容和结构知识的理解学习能力较弱。

基于学习的超分辨率技术基本思想是首先选定一组高分辨率和低分辨率训练图像样本集，然后通过学习策略在高低分辨率集合上建立一种对应关系，然后利用学习到的这种对应关系作为先验信息对输入的低分辨率图像(或图像块)进行超分辨率重建，从而可以得到质量更高的高分辨率图像。由于这种方法借助训练样本集可以较好地恢复高分辨率图像，从而受到国内外研究者的普遍关注。如2000年，三菱技术研究实验院的Freeman通过运用马尔可夫网络模型将样本图像库中的高、低分辨率图像块学习训练成一一对应的关系，从而估计出输入低分辨率图像的高频细节信息。2004年，Chang等人受流行学习的启发，假设高低分辨率图像块之间具有相似的局部几何流形，对于输入的低分辨率图像块，寻找它在低维流形中的K近邻关系，并根据这种关系得到对应的加权系数，最后利用得到的加权系数对其高维流形进行估计，从而估计出高分辨率图像。2008年，Yang Jianchao等人提出了基于稀疏表示的图像超分辨率重建方法，假设高、低分辨率图像块在超完备字典对下具有相同的稀疏表示，通过从样本集中训练得到的高低分辨率字典对输入低分辨率图像进行超分辨率重建。相比于传统的方法，基于学习尤其是稀疏表示的方法既可以解决传统超分辨率重建方法中先验信息缺乏的问题，又可以通过训练集对图像内容与结构进行理解，求解恢复出图像中没有的高频细节信息，使得这种方法在图像超分辨率技术研究中领域具有的前景。

然而，传统的基于稀疏表示的图像超分辨率技术多采用由人工设计的特征提取算子(如梯度或拉普拉斯算子等)对图像(块)进行特征提取，这种方法的优点在于所提取的特征能够描述图像的结构、边缘特征，缺点在于一方面由人工设计的特征提取算子所提取的特征固定单一，另一方面这种方法容易造成特征空间维数的增大，直接用于字典训练时，易出现字典训练难度大、数据过拟合现象，为避免这种现象，往往采用一些数据降维方法(如PCA方法、流行降维的方法等)降低特征空间的维度，将降维后的特征用于字典训练，由于人工特征提取和降维方法独立进行，这种方法在一定程度上将损害原特征空间描述图像的可靠性。

发明内容

有鉴于此，本发明的目的在于提供一种基于稀疏自编码(SAE)和稀疏表示的超分辨率方法，使用了基于稀疏自编码(SAE)模型对高、低分辨率图像进行特征提取，实现对原始图像特征的压缩表示，将压缩表示的图像特征直接用于高低字典对的训练，利用训练的字典对可以实现对低分辨率图像进行超分辨率重构。

为达到上述目的，本发明提供如下技术方案：

一种基于SAE和稀疏表示的图像超分辨率方法，包括以下步骤：步骤一：对原始训练图像库中的每一张高分分辨率源图像Src_imgH进行下采样,将其缩小到原来的1/R倍,R为期望的放大倍数，然后通过插值放大，得到失去高频细节信息的图像Interp_imgH,这样即可得到一系列用于字典训练使用的高、低分辨率图像对[Src_imgHset,Interp_imHset]；步骤二：在训练阶段，对每幅低分辨图像Interp_imgH采用随机采样的方式采集m个p×p的图像块，并记录每幅图像块中相应采样点在原图像中的位置信息和所有相关的低分辨率图像采样块；步骤三：在训练阶段，利用高低分辨率图像间的差分方法得到插值放大过程中丢失的高频细节成分图像，借助低分辨率采样块时记录的采样点位置信息对高频细节图像进行采样，即可得到与低分辨率图像块相对应反映高频细节成分的高分辨率图像块；步骤四：在训练阶段，利用深度学习中的稀疏自编码(SAE)模型采用无监督学习的方式分别对上述每幅图图像中所采集的高、低分辨率图像块进行训练学习，将SAE模型训练结束后的输入层与隐含层之间的权重特征作为对应图像所提取的特征，将所有图像的特征组成联合矩阵，得到用于字典训练的所有低分辨率图像特征X_L和所有高分辨率图像特征X_h；步骤五：在训练阶段，利用KSVD算法对由SAE提取的所有低分辨率图像特征进行字典训练，得到描述低分辨率图像的低分辨字典DL和相关的稀疏表达系数矩阵A，通过结合稀疏表达系数矩阵A和高分辨率图像特征Xh，估计出对应的高分辨率字典D_h＝X_hA^T(AA^-1)^-1；步骤六：在重构测试阶段，将低分辨率测试输入图像插值放大到指定倍数R，得到待重建的插值低分辨率图像，运用压缩感知中正交匹配跟踪算法(OMP)算法计算该插值低分辨率图像在字典D_L下的稀疏表达矩阵B，这样利用D_hB可以估计图像插值过程中丢失的高频细节成分，将该成分与低分辨率插值图像进行叠加融合即可估计重构出所需完整的高分辨率图像。

进一步，在步骤一中，利用图像上采样和下采样过程中保持采样因子相同可以从原始高分辨率训练集中得到失去高频细节信息的低分辨率图像，建立存在对应关系的高、低分辨率图像训练集。

进一步，在步骤二中，在高、低分辨率图像训练集中，通过随机采样方式对每幅低分辨率图像进行处理，获取大量的由图像中不同位置点处像素组成的低分辨率图像块,为提取高分辨率细节图像块提供相应的采样点的位置数据。

进一步，在步骤三中，通过获取低分辨率图像块时记录的采样点位置信息，在高分辨率细节图像中提取对应的高分辨率图像块。

进一步，在步骤四中，通过利用稀疏自编码SAE模型分别对每幅高、低分辨率图像的图像块集进行学习训练，得到训练图像的高、低分辨率图像的特征，由于SAE模型隐含层节点个数可以进行参数设置，从而可以从大量图像块数据中学习到指定维数的特征，实现对原始图像特征的压缩表示，有利于高低分辨率字典的训练。

进一步，在步骤五中，利用所提取的低分辨率图像块数据集，通过使用KSVD算法训练出低分辨率字典，并利用该字典下的稀疏表示矩阵与高分辨率图像块数据集估计出高分辨率字典，得到供超分辨率图像重构阶段使用的字典对。

进一步，在步骤六中，通过使用正交匹配算法在低分辨率字典下求解低分辨率测试插值图像的稀疏表示系数，并利用该系数与高分辨率字典估计出高分辨率图像的细节成分，通过叠加融合可以使用户获取所需的高分辨率图像。

进一步，在步骤六中，通过使用正交匹配算法在低分辨率字典下求解低分辨率测试插值图像的稀疏表示系数，并利用该系数与高分辨率字典估计出高分辨率图像的细节成分，通过叠加融合可以使用户获取所需的高分辨率图像。

本发明的有益效果在于：一方面，采用基于稀疏自编码(SAE)模型的方法对原始图像中采样数据进行无监督学习训练，将训练结束后模型的输入层与隐含层之间的权重特征作为对应图像所提取的特征，学习到的特征较为丰富，避免了传统人工设计特征提取算子时费时费力以及提取特征单一的弊端，另一方面，借助SAE编码模型可以指定隐含层节点数目的特点，可以通过训练参数的设置从大量原始图像块数据中学习到指定维数的特征，这样在特征提取的同时可以实现对原始图像特征的压缩表示，避免特征空间维数较高的所带来的不利影响，并且将压缩表示的图像特征直接用于高低字典对的训练，有利于字典的训练过程，而使用稀疏表示的方法可以估计图像中丢失的细节成分，方便恢复更高质量的高分辨率图像。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1基于SAE和字典学习的超分辨率方法总体流程图；

图2为稀疏自编码器网络结构示意图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

图1为本发明所述方法的总体流程图，如图所示，基于稀疏表示的图像超分辨率技术的实施过程分为两个过程，即离线训练阶段和重构测试阶段。离线训练阶段的目的是建立描述高低分辨率图像特征之间关系的高低分辨率字典对；重构测试阶段是利用字典对之间的关系从用户输入的低分辨率测试图像中估计高分辨率图像，弥补在采样过程中低分辨率图像缺失的高频细节信息。离线字典训练时，本发明使用了基于稀疏自编码(SAE)的图像特征提取方法，对训练集中采样的具有对应关系的高、低分辨率图像块分别进行学习训练，然后利用KSVD算法对SAE训练压缩表示的低分辨率图像特征进行字典训练，得到低分辨率字典，利用稀疏表达系数和提取的高分辨率图像特征，估计出高分辨率字典，建立具有特征对应关系的字典对。在重构测试阶段，运用正交匹配跟踪算法(OMP)算法求取输入的低分辨率插值图像的稀疏表达系数，利用该系数与高分辨率字典估计出图像插值过程中丢失的高频细节成分，将该成分与低分辨率插值图像进行叠加融合即可估计重构出用户所需的完整高分辨率图像。

在所提出的基于SAE和字典学习的图像超分辨率方法中，稀疏自编码(SAE)是学习提取图像特征的重要环节。该环节所使用的自编码算法是一种无监督学习算法，它使用3层神经网络结构，并使输入值等于目标值，本发明中使用的稀疏自编码器的网络结构如图2所示。

图2中所示的自编码神经网络试图通过利用训练样本尝试学习一个f(h(x))＝x的函数，其中h(x)＝s(W⁽¹⁾x+b⁽¹⁾),s(.)为sigmoid函数,是隐含层的激活函数，W⁽¹⁾和W⁽²⁾分别为输入层与隐含层、隐含层与输出层之间的连接权重矩阵，b⁽¹⁾和b⁽²⁾为偏置系数，x⁽ⁱ⁾为采样图像块样本集中第i个大小为n×1的样本向量(本发明中每个样本大小均设置为n＝p²)，W⁽¹⁾的大小为N_hide×n,N_hide为隐含层节点个数。自编码中间层得到的数据必须强制去重构输入的信息，所以中间层神经元的参数会学习到最能表达输入信息特征的基，即输入信息的特征可以反映在所训练得到的连接层权重上。

为了使输出层的值尽量接近输入层即f(h(x))＝x，需要使用最小化代价函数J(W,b):

$J(W,b)=\left[\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left(\frac{1}{2}\right||f\left(h\left(x^{\left(i\right)}\right)\right)-x^{\left(i\right)}{\left|\right|}^2)\right]+\frac{\mathrm{\λ}}{2}\underset{j=1}{\overset{N_{\mathrm{hide}}}{\mathrm{\Σ}}}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(W_{\mathrm{ji}}^{\left(1\right)}+W_{\mathrm{ij}}^{\left(2\right)})+\mathrm{\β}\underset{j=1}{\overset{N_{\mathrm{hide}}}{\mathrm{\Σ}}}[\mathrm{\ρ}\log \frac{\mathrm{\ρ}}{{\mathrm{\ρ}}_j}+(1-\mathrm{\ρ})\log \frac{1-\mathrm{\ρ}}{1-{\mathrm{\ρ}}_j}]---\left(1\right)$

其中m为SAE模型输入的训练样本总个数，λ为权重衰减系数，β为稀疏值惩罚项的权重，ρ为用于控制模型稀疏程度的参数，表示隐含层j单元的平均活跃度。最小化代价函数J(W,b)中第一项代表输出层与输入层的均方差，表示模型的学习能力；第二项是一个规则化项是为了减少权重对模型的影响，防止出现过拟合；第三项是为了加入稀疏限制、使模型能够学习到更加局部和丰富性结构特征而使用的KL相对熵距离。

在定义了最小代价函数之后，本发明使用批量梯度下降法求解SAE模型的最优解，利用这种方法，在设定基本参数的基础上，SAE的训练过程如下：

步骤一：随机初始化所有的联接稀疏W和b；

步骤二：利用前向传播算法计算SAE网络中每一层各节点的激活值，其中第一层全部节点的激活值为Φ⁽²⁾＝x，第二层全部节点的激活值为Φ⁽²⁾＝s(W⁽¹⁾x+b⁽¹⁾),第三层全部节点的激活值为Φ⁽³⁾＝f(h(x))＝W⁽²⁾Φ⁽²⁾+b⁽²⁾；

步骤三：根据最小代价函数的表达式，计算当前代价函数的值；

步骤四：利用方向传导算法计算每一层每个节点的残差(这里l≥2)以及偏导和对于每一个输入的训练样本x＝x^(k)，残差的计算公式如下：

${\mathrm{\δ}}_i^{\left(3\right)}=-(x_i-{\mathrm{\Φ}}_i^{\left(3\right)})s^{\′}\left(z_i^{\left(3\right)}\right)---\left(2\right)$

${\mathrm{\δ}}_i^{\left(2\right)}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}[{\mathrm{\δ}}_i^{\left(3\right)}.W_{\mathrm{ji}}^{\left(2\right)}]+\mathrm{\β}[-\frac{\mathrm{\ρ}}{{\mathrm{\ρ}}_j}+\frac{1-\mathrm{\ρ}}{1-{\mathrm{\ρ}}_j}].s^{\′}\left(z_i^{\left(2\right)}\right)---\left(3\right)$

其中 $z_i^{\left(2\right)}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left(W_{\mathrm{ij}}^{\left(1\right)}{x}_j\right)+b_i^{\left(1\right)},z_i^{\left(3\right)}=\underset{j=1}{\overset{N_{\mathrm{hide}}}{\mathrm{\Σ}}}\left(W_{\mathrm{ij}}^{\left(2\right)}{\mathrm{\Φ}}_j^{\left(2\right)}\right)+b_i^{\left(2\right)},i=\mathrm{1,2,3},...,n$

计算出残差按照如下方式计算偏导：

$\left\{\begin{array}{c}\frac{\∂}{\∂W_{\mathrm{ij}}^{\left(l\right)}}J(W,b)=\frac{1}{m}\underset{k=1}{\overset{m}{\mathrm{\Σ}}}\frac{\∂}{\∂W_{\mathrm{ij}}^{\left(l\right)}}J(W,b;x^{\left(k\right)})+\mathrm{\λ}\·W_{\mathrm{ij}}^{\left(l\right)}\\ \frac{\∂}{\∂b_i^{\left(l\right)}}J(W,b)=\frac{1}{m}\underset{k=1}{\overset{m}{\mathrm{\Σ}}}\frac{\∂}{\∂W_{\mathrm{ij}}^{\left(l\right)}}J(W,b;x^{\left(k\right)})\end{array}---\left(4\right)\right.$

其中1可取的值有1和2，并且对于每个输入样本x＝x^(k)，计算偏导的方式如下：

$\left\{\begin{array}{c}\frac{\∂}{\∂W_{\mathrm{ij}}^{\left(l\right)}}J(W,b;x)={\mathrm{\δ}}_i^{(l+1)}\·{\mathrm{\Φ}}_j^{\left(l\right)}\\ \frac{\∂}{\∂b_i^{\left(l\right)}}J(W,b;x)={\mathrm{\δ}}_i^{(l+1)}\end{array}\right.----\left(5\right)$

步骤五：更新联接系数W和b，更新方式如下：

$\left\{\begin{array}{c}{W}_{\mathrm{ij}}^{\left(l\right)}=W_{\mathrm{ij}}^l-\mathrm{\α}\frac{\∂}{\∂W_{\mathrm{ij}}^{\left(l\right)}}J(W,b)\\ b_i^{\left(l\right)}=b_i^{\left(l\right)}-\mathrm{\α}\frac{\∂}{\∂b_i^{\left(l\right)}}J(W,b)\end{array}\right.---\left(6\right)$

其中1取值有1和2，α为学习因子

步骤六：返回步骤二，直到最小代价函数达到要求或迭代次数达到上限条件

利用上述SAE模型的训练方法，将训练成功结束后的输入层与隐含层之间的权重特征作为对应图像所提取的特征，对每一幅训练图像提取提取特征，并将所有图像的特征组成联合矩阵，可以得到用于字典训练的所有低分辨率图像特征XL和所有高分辨率图像特征Xh。

为了从SAE所提取的图像特征中得到高低分辨率字典对，本发明使用了KSVD算法从低分辨率图像特征Xh中训练学习，得到低分辨率字典和稀疏表示矩阵其训练过程描述如下：

步骤一：输入待训练样本集其中L_i来自SAE模型中隐含层上的一个连接权重向量,n的值与采样块像素总数相同，M大小为N_hide×N_num(N_hide为SAE隐含层节点个数、N_num为训练集中低分辨率图像总张数)

步骤二：随机选取K个训练样本初始化并归一化字典D_L，即

步骤三：迭代过程：根据预设迭代次数训练字典

(1)稀疏表示阶段：利用正交匹配跟踪OMP算法求解训练样本集在当前时刻字典下的稀疏表示系数，即求解中的稀疏表示矩阵A；

(2)字典更新阶段：由样本集和稀疏表示矩阵，更新字典D_L中所有原子

a.提取A中的第k行稀疏表示的非零项，记为：J为在A中的索引值，构成A_J，X_LJ；

b.SVD分解： $[{\hat{d}}_k,s,{\widehat{\mathrm{\α}}}_k]=\mathrm{svds}(X_{\mathrm{LJ}}-D_L{A}_J+d_k{\mathrm{\ρ}}_k,1),$ 从而 $d_k={\hat{d}}_k,{\mathrm{\α}}_k=s{\widehat{\mathrm{\α}}}_k.$

(3)迭代没有结束，执行(1)，否则退出迭代。

步骤四：迭代完成后，输出字典和稀疏表示矩阵

在字典训练阶段以及超分辨率重构阶段，正交匹配跟踪OMP算法被用于求解稀疏表达系数，其求解过程描述如下：

步骤一：输入字典D、输入信号x以及用于迭代求解的条件稀疏性T或稀疏表示误差e；

步骤二：初始化残差信号r₀＝x、支撑集Ω₀为空集，迭代次数k＝1；

步骤三:从字典中搜索选出与残差信号最相关的第n_k列原子，并添入支撑集中，

$n_k=\underset{n}{\arg \max }|<d_n,r_{k-1}>|,{\mathrm{\&Omega;}}_k={\mathrm{\&Omega;}}_{k-1}\&cup;\left\{n_k\right\}$

步骤四：在已经选择的原子张成的空间内，计算最优的稀疏表达系数：

${\mathrm{\&alpha;}}_k\underset{{\mathrm{\&alpha;}}_k}{=\arg \min }\left|\right|x-D_{{\mathrm{\&Omega;}}_K}{\mathrm{\&alpha;}}_k{\left|\right|}_2^2;$

步骤五：迭代更新残差，即若不满足迭代终止条件则重新进入步骤三，否则进入步骤六；

步骤六:输出最终求解出的满足要求的稀疏表示系数α。

利用上述所述的基于SAE的图像特征提取方法以及KSVD和OMP算法，结合方案的实施步骤可以得到反映高低分辨率特征之间关系的字典对，在测试重构阶段利用训练出的字典对可以对用户输入的低分辨率图像进行超分辨率重建，使用户得到所需的高分辨率图像。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (7)

1.一种基于SAE和稀疏表示的图像超分辨率方法，其特征在于：包括以下步骤：

步骤一：对原始训练图像库中的每一张高分分辨率源图像进行下采样，然后通过插值技术将图像上采样到原尺寸，以此得到失去高频细节信息的图像,获取一系列有对应关系的高、低分辨率图像集合；

步骤二：在训练阶段，对每幅低分辨图像采用随机采样的方式采集m个p×p的图像块，并记录每幅图像块中相应采样点在原图像中的位置信息和所有相关的低分辨率图像采样块；

步骤三：在训练阶段，利用高低分辨率图像间的差分方法得到插值放大过程中丢失的高频细节成分图像，借助低分辨率采样块时记录的采样点位置信息对高频细节图像进行采样，即可得到与低分辨率图像块相对应反映高频细节成分的高分辨率图像块；

步骤四：在训练阶段，利用深度学习中的稀疏自编码(SAE)模型采用无监督学习的方式分别对上述每幅图图像中所采集的高、低分辨率图像块进行训练学习，将SAE模型训练结束后的输入层与隐含层之间的权重特征作为对应图像所提取的特征，将所有图像的特征组成联合矩阵，得到用于字典训练的所有低分辨率图像特征X_L和所有高分辨率图像特征X_h；

步骤五：在训练阶段，利用KSVD算法对由SAE提取的所有低分辨率图像特征进行字典训练，得到描述低分辨率图像的低分辨字典D_L和相关的稀疏表达系数矩阵A，通过结合稀疏表达系数矩阵A和高分辨率图像特征X_h，估计出对应的高分辨率字典D_h＝X_hA^T(AA^-1)^-1，将高低分辨率字典对{D_h,D_L}用于超分辨率重构阶段；

步骤六:在重构测试阶段，将低分辨率测试输入图像插值放大到指定倍数R，得到待重建的插值低分辨率图像，运用压缩感知中正交匹配跟踪算法(OMP)算法计算该插值低分辨率图像在字典D_L下的稀疏表达系数矩阵B，这样利用D_hB可以估计图像插值过程中丢失的高频细节成分，将该成分与低分辨率插值图像进行叠加融合即可估计重构出所需完整的高分辨率图像。

2.根据权利要求1所述的基于SAE和稀疏表示的图像超分辨率方法，其特征在于：在步骤一中，利用图像上采样和下采样过程中保持采样因子相同可以从原始高分辨率训练集中得到失去高频细节信息的低分辨率图像，建立存在对应关系的高、低分辨率图像训练集。

3.根据权利要求2所述的基于SAE和稀疏表示的图像超分辨率方法，其特征在于：在步骤二中，在高、低分辨率图像训练集中，通过随机采样方式对每幅低分辨率图像进行处理，获取大量的由图像中不同位置点处像素组成的低分辨率图像块,为提取高分辨率细节图像块提供相应的采样点的位置数据。

4.根据权利要求3所述的基于SAE和稀疏表示的图像超分辨率方法，其特征在于：在步骤三中，通过获取低分辨率图像块时记录的采样点位置信息，在高分辨率细节图像中提取对应的高分辨率图像块。

5.根据权利要求4所述的基于SAE和稀疏表示的图像超分辨率方法，其特征在于：在步骤四中，通过利用稀疏自编码SAE模型分别对每幅高、低分辨率图像的图像块集进行学习训练，得到训练图像的高、低分辨率图像的特征，用于高低分辨率字典的训练。

6.根据权利要求5所述的基于SAE和稀疏表示的图像超分辨率方法，其特征在于：在步骤五中，利用所提取的低分辨率图像块数据集，通过使用KSVD算法训练出低分辨率字典，并利用该字典下的稀疏表示矩阵与高分辨率图像块数据集估计出高分辨率字典，得到供超分辨率图像重构阶段使用的字典对。

7.根据权利要求6所述的基于SAE和稀疏表示的图像超分辨率方法，其特征在于：在步骤六中，通过使用正交匹配算法在低分辨率字典下求解低分辨率测试插值图像的稀疏表示系数，并利用该系数与高分辨率字典估计出高分辨率图像的细节成分，通过叠加融合可以使用户获取所需的高分辨率图像。