CN109615576A - 基于级联回归基学习的单帧图像超分辨重建方法 - Google Patents

Abstract

本发明公开的基于级联回归基学习的单帧图像超分辨重建方法，包括以下步骤：以单帧低分辨图像的超分辨重建技术为研究对象，学习表征图像结构的多层超完备子字典，构造低分辨与高分辨图像的映射关系并学习优化的回归基和对应编码系数；随后对低分辨图像集实现完整的超分辨重建，并将重建的图像作为下一层的低分辨图像进行特征提取。本发明单帧图像超分辨重建方法通过统计机器学习方法，利用元字典学习方法学习得到低分辨字典，利用加权线性回归方法以一种级联的形式对重建的高分辨训练集图像和原始高分辨图像进行多层回归基学习，以逼近低分辨与高分辨图像之间复杂的非线性映射关系，实现处理速度快、内存占用少、重建质量高的实例回归超分辨重建。

Description

基于级联回归基学习的单帧图像超分辨重建方法

技术领域

本发明属于图像处理方法技术领域，具体涉及一种基于级联回归基学习的单帧图像超分辨重建方法。

背景技术

实际应用中，成像系统受器件成本、传输带宽、计算资源以及成像环境等诸多因素的限制，所获图像分辨率往往不高，给后续的图像处理、分析和理解任务带来极大的挑战。如何获取高分辨率的数字图像是人们非常关心的课题。无疑，提高成像系统物理分辨率是获取高分辨率图像最直接有效的手段。然而，该方法受制造技术和器件成本的限制，仅限于某些特殊应用场合，不便于在实际应用中推广；而且，对许多远距离的成像领域(如视频监控和遥感成像等)，受成像环境和条件的制约，即便装配价格昂贵、分辨率级别高的成像设备，也很难获取目标区域的高分辨率影像；再如，在社交网络应用领域，如Facebook和Twitter等，如何以有限的带宽为海量用户提供高质量的影像在线服务，也是互联网领域亟待解决的课题之一；此外，随着各种低成本移动多媒体终端的日益普及，人们很容易获取大量具有应用价值的低分辨率影像资源，如何提高它们在高分辨显示设备上的兼容性，增强用户体验效果，也是视觉信息处理领域面临的一项挑战性任务。

图像超分辨重建是一种有效提高图像分辨率的信号处理技术。该技术能有效克服成像设备固有分辨率的不足，突破成像环境的限制，在不改变现有成像系统的前提下，能以最低的成本获取高于成像系统物理分辨率的高质量图像，具有非常广泛的应用前景，是低质量智能安全监控系统中人脸检测与目标识别、智能机器人等的关键技术，以及多尺度、多通道图像融合技术的基础；不仅能促进光电子信息技术的发展，而且能推动物联网视频感知与智能分析技术、车联网智能交通关键技术、遥感成像技术以及移动多媒体通信技术等多个高新技术产业的进步和发展。

经过30多年的研究与发展，单帧图像超分辨重建技术取得了重大进展。已有的单帧图像超分辨重建技术主要分为三种类型：基于插值的方法、基于重构的方法和基于实例学习的方法。相比基于插值的方法和基于重构的方法，基于实例学习的方法具有算法结构灵活，在高倍数放大情况下能获得更多的细节等优点，因而受到国内外广大学者的广泛关注。

根据超分辨重建过程中实例样本使用方式和建立映射关系算法的不同，现有的实例学习单帧图像超分辨重建方法细分为五类：基于k-近邻(k-NN) 学习的方法、基于流形学习的方法、基于超完备字典学习的方法、基于实例回归的方法和基于深度学习的方法。

基于k–NN和基于流形学习的超分辨算法结构简单，但对每个输入的图像块，都需要搜索规模庞大的训练集进行相似性匹配，计算时间复杂度和空间复杂度均很高，因而超分辨重建算法无法在实际中推广应用；基于超完备字典学习的方法首先学习低分辨与高分辨图像块的超完备字典，然后求解基于-或-范数正则化最小二乘优化问题，建立低分辨与高分辨图像之间的关系，与基于k–NN和流形学习的超分辨算法相比，该超分辨重建方法不仅能重建质量更高的超分辨图像，而且能显著降低重建算法的计算时间复杂度与空间复杂度，然而，对于每个输入的低分辨图像块，基于稀疏表示的超分辨算法需要求解超完备字典的稀疏表示，当字典规模或重建图像尺寸较大时，计算时间复杂度仍然很高，与实时应用还存在相当大的差距；基于实例多线性回归的方法直接建立低分辨与高分辨特征空间之间映射关系，实现低分辨与高分辨图像之间的变换，而基于深度学习的实例学习超分辨技术通过建立低分辨与高分辨图像之间端到端的非线性映射关系能获得更高质量的超分辨图像，因而受到超分辨研究领域研究者的广泛关注。

发明内容

本发明的目的是提供一种基于级联回归基学习的单帧图像超分辨重建方法，解决了现有方法计算时间复杂度和空间复杂度高、速度慢、对字典依赖性强、重建质量低的问题。

本发明所采用的技术方案是，基于级联回归基学习的单帧图像超分辨重建方法，包括以下步骤：

步骤1，采集N个高分辨自然图像，构造低分辨特征训练集和高分辨特征训练集；

步骤2，将步骤1中的低分辨特征训练集利用元字典学习算法得到低分辨字典；

步骤3，提取步骤1低分辨特征训练集和高分辨特征训练集中的低分辨特征与高分辨特征，建立两者之间的线性映射关系；

步骤4，在步骤3的线性映射关系中随机选择映射关系构成初始回归基，学习初始回归基和对应的相应的编码系数，随后对步骤1中的低分辨特征训练集进行超分辨重建，得到重建后低分辨训练图像集对应的高分辨训练图像集；

步骤5，把步骤4的重建后低分辨训练图像集对应的高分辨训练图像集作为低分辨训练图像集，重复步骤2-4，经过T次循环后得到T个回归基和相应的编码系数矩阵其中表示第t次学习得到的回归基，α_t表示与第t次得到的回归基相对应的编码系数矩阵；

步骤6，输入待处理的低分辨彩色图像，构造低分辨图像测试集；

步骤7，基于步骤6的低分辨图像测试集，使用步骤5的对应的回归基和编码系数矩阵，构造目标高分辨图像集；

步骤8，对输入的低分辨彩色图像在YCbCr颜色空间中的两个色差分量 Cb和Cr采用双立方插值放大，并结合步骤7中的目标高分辨图像集；再将 YCbCr颜色空间的超分辨结果转换到RGB颜色空间，得到被放大的低分辨彩色图像。

本发明的特征还在于，

步骤1具体为：

采集N个高分辨自然图像构成高分辨训练图像集对N个高分辨自然图像降质，生成低分辨训练图像集

随后对低分辨训练图像集进行双立方插值放大，得到插值图像，对插值图像和高分辨自然图像分别提取低分辨特征块和对应的高分辨特征块，构造出低分辨特征训练集和高分辨特征训练集；

其中表示第i个高分辨自然图像，表示第i个低分辨自然图像。

步骤2具体为：

步骤2.1，设低分辨特征训练集为初始化一个元字典其中X中的每一个列向量x_n是一个样本向量，每一个元字典原子d_q是一个单位列向量且q＝1,2,…,Q、Q≤n；

通过公式(1)求解目标元字典：

其中，Λ是通过Γ对X的表示矩阵，参数λ是一个用于平衡F-范数项和范数项的正常数；

步骤2.2，对步骤1得到的目标元字典进行更新，固定Λ更新Γ，按照公式(2)进行：

其中，设Λ＝[β₁；β₂,…,β_q,β_Q]、β_q为是Λ中的一个行向量且q＝1,2,…,Q；

逐个元字典原子进行更新，当更新d_q时，其它所有d_j,j≠q固定，则有：

设则公式(3)化简为：

对公式(4)中使用langrage乘数并让其为0，得到又有故得到：

其中||·||₂表示-范数；

步骤2.3，重复步骤2.2直到最大迭代次数，最后输出的字典即为低分辨字典其中表示D^l中的第q个字典原子，Q表示低分辨字典原子的个数且Q＝1024。

步骤3线性映射关系具体为：

其中表示第k个锚点对应的高分辨特征训练集对应的K近邻所构成的子集，表示第k个锚点对应的低分辨特征训练集对应的K 近邻所构成的子集，K表示欧式距离约束的最相关的特征块且K＝2048，I表示单位矩阵，λ＝0.00001；

公式(5)表示的线性映射关系，还可表示为：

其中F_q,k表示第q个锚点对应的K个低分辨特征与高分辨特征近邻建立的映射关系中的第k个映射关系。

步骤4具体为：

步骤4.1，在得到的线性映射关系F中随机选择R个映射关系构成初始回归基其中表示中的第r个回归基，

步骤4.2，利用初始回归基和步骤3的低分辨字典D^l、步骤1的低分辨特征训练集和高分辨特征训练集，不断学习回归基和相应的编码系数矩阵α，得到重构能力最强的回归基和相应的编码系数矩阵；

步骤4.3，使用步骤4.2得到的重构能力最强的回归基和相应的编码系数矩阵，对步骤1的低分辨训练图像集进行超分辨重建，重建出低分辨训练图像集对应的高分辨训练图像集

步骤6具体为：

将每幅低分辨彩色图像y从RGB颜色空间转换到YCbCr颜色空间，两个色差分量Cb和Cr表示颜色信息，设表示亮度分量构成的测试图像集，其中x_s表示测试图像集中的第s幅图像；

对YCbCr颜色空间中的亮度分量使用双立方插值放大，得到插值图像集对插值图像集Y'提取特征，构成低分辨图像测试集。

步骤7具体为：

对步骤6的低分辨图像测试集中任意一个特征向量，在步骤2的低分辨字典中查找与之最匹配的字典原子使用对应的回归基和相应的编码系数矩阵重建高分辨估计图像低分辨图像测试集中所有特征向量的高分辨估计图像构成了预测高分辨图像集

将高分辨图像集作为插值图像集重复以上步骤，经过T次后得到一组最终的预测图像集即目标高分辨图像集。

本发明的有益效果是：

(1)本发明单帧图像超分辨重建方法对输入的低分辨图像特征进行回归基学习，利用学习得到的回归基和相应的编码系数对训练集图像做超分辨重建，估算出对应的高分辨图像；对估计的高分辨图像和原始高分辨图像进行联合学习，使得实例学习算法能综合利用低分辨和高分辨图像块的特征，逐步有效逼近低分辨与高分辨之间的非线性关系，有利于提高超分辨重建的质量，恢复出较好的细节信息和边缘轮廓；

(2)本发明单帧图像超分辨重建方法与已有的一次回归模型相比较，能够有效地提升超分辨性能；与已有的级联回归模型相比较，本发明方法消耗的内存更少；与现有的实例回归超分辨重建算法相比，本发明方法能恢复更多的图像细节，产生更加清晰的图像边缘和纹理，具有更强的超分辨能力；

(3)本发明单帧图像超分辨重建方法通过统计机器学习方法，利用元字典学习方法学习得到低分辨字典，利用加权线性回归方法以一种级联的形式对重建的高分辨训练集图像和原始高分辨图像进行多层回归基学习，以逼近低分辨与高分辨图像之间复杂的非线性映射关系，实现处理速度快、内存占用少、重建质量高的实例回归超分辨重建。

附图说明

图1是本发明单帧图像超分辨重建方法中训练模型生成阶段的流程图；

图2是本发明单帧图像超分辨重建方法中图像超分辨重建阶段的流程图；

图3是实验一中本发明单帧图像超分辨重建方法和已有算法对标准数据集图进行3倍放大后在视觉上进行对比，其中图3(a)是真实图像，图3(b) 是双立方插值放大的结果，图3(c)是A+方法的超分辨结果，图3(d)是 SERF方法的超分辨结果，图3(e)是CNN方法的超分辨结果，图3(f) 是本发明方法的超分辨结果；

图4是实验二中本发明单帧图像超分辨重建方法和已有算法对标准数据集图进行3倍放大后在视觉上进行对比，其中图4(a)是真实图像，图4(b) 是双立方插值放大的结果，图4(c)是A+方法的超分辨结果，图4(d)是 SERF方法的超分辨结果，图4(e)是CNN方法的超分辨结果，图4(f) 是本发明方法的超分辨结果；

图5是实验三中本发明单帧图像超分辨重建方法和已有算法对标准数据集图进行3倍放大后在视觉上进行对比，其中图5(a)是真实图像，图5(b) 是双立方插值放大的结果，图5(c)是A+方法的超分辨结果，图5(d)是 SERF方法的超分辨结果，图5(e)是CNN方法的超分辨结果，图5(f) 是本发明方法的超分辨结果；

图6是本发明在T取值不同时Set5数据集的平均PSNR和SSIM统计结果图，其中图6(a)表示PSNR统计结果图，图6(b)表示SSIM统计结果图；

图7是本发明在T取值不同时Set14数据集的平均PSNR和SSIM统计结果图,其中图7(a)表示PSNR统计结果图，图7(b)表示SSIM统计结果图；

图8是本发明在T取值进行3倍放大时的有效性验证的视觉结果图，其中图8(a)为原图，图8(b)为第一轮结果；图8(c)为二轮结果，图8(d)为第三轮结果，图8(e)为第四轮结果。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的技术思路是：

在训练阶段，采集大量的高分辨自然图像构成高分辨训练集，对高分辨训练集进行退化生成低分辨训练集，对高分辨训练集和低分辨训练集中的图像提取特征，构成低分辨和高分辨特征训练集；采用元字典学习的方法，对低分辨特征训练集进行字典学习，构成一个表征能力强的字典；对每个字典原子，选择K个最近邻做映射关系，对得到的映射关系学习R个回归基和相应的编码系数，利用学习的回归基和编码系数对低分辨图像集进行超分辨重建；将重建得到的高分辨图像作为下层的低分辨图像集提取特征，进行多层学习。

在测试阶段，对输入的待测试低分辨图像，提取特征构成测试特征集，在每一层查找与输入的低分辨特征最匹配的字典原子与回归基以及编码系数，重建高分辨图像，把重建出的高分辨图像作为下一层输入的待测试低分辨图像进行再重建，T次之后得到目标高分辨图像。

本发明基于级联回归基学习的单帧图像超分辨重建方法，主要由训练模型生成阶段和图像超分辨重建阶段组成，具体包括以下步骤：

第一部分：如图1所示，训练模型生成阶段

步骤1，采集N个高分辨自然图像，构造低分辨特征训练集和高分辨特征训练集。

具体为：采集N个高分辨自然图像构成高分辨训练图像集对N个高分辨自然图像降质，即对每幅高分辨图像经过4×4平均模糊和3 倍下采样，再使用双立方插值进行3倍放大生成对应的低分辨训练图像集其中表示第i个高分辨自然图像，表示第i个低分辨自然图像；

随后对低分辨训练图像集进行双立方插值放大，得到插值图像，对插值图像和高分辨自然图像分别提取低分辨特征块和对应的高分辨特征块，即将插值图像从左到右划分成大小为6×6的图像块，使相邻块之间重叠3个像素，提取图像特征并随机选择特征向量，构造出低分辨特征训练集；对高分辨自然图像选择与插值图像对应位置上的高分辨特征向量，构造出高分辨特征训练集。

步骤2，将步骤1中的低分辨特征训练集利用元字典学习算法得到低分辨字典。

步骤2.1，设低分辨特征训练集为初始化一个元字典其中X中的每一个列向量x_n是一个样本向量，每一个元字典原子d_q是一个单位列向量且q＝1,2,…,Q、Q≤n；

通过公式(1)求解目标元字典：

其中，Λ是通过Γ对X的表示矩阵，参数λ是一个用于平衡F-范数项和范数项的正常数；

步骤2.2，对步骤1得到的目标元字典进行更新，固定Λ更新Γ，按照公式(2)进行：

其中，设Λ＝[β₁；β₂,…,β_q,β_Q]、β_q为是Λ中的一个行向量且q＝1,2,…,Q；

逐个元字典原子进行更新，当更新d_q时，其它所有d_j,j≠q固定，则有：

设则公式(3)化简为：

对公式(4)中使用langrage乘数并让其为0，得到又有故得到：

其中||·||₂表示-范数；

步骤2.3，重复步骤2.2直到最大迭代次数，最后输出的字典即为低分辨字典其中表示D^l中的第q个字典原子，Q表示低分辨字典原子的个数且Q＝1024。

步骤3，提取步骤1低分辨特征训练集和高分辨特征训练集中的低分辨特征与高分辨特征，建立两者之间的线性映射关系：

其中表示第k个锚点对应的高分辨特征训练集对应的K近邻所构成的子集，表示第k个锚点对应的低分辨特征训练集对应的K 近邻所构成的子集，K表示欧式距离约束的最相关的特征块且K＝2048，I表示单位矩阵，λ＝0.00001；

公式(5)表示的线性映射关系，还可表示为：

其中F_q,k表示第q个锚点对应的K个低分辨特征与高分辨特征近邻建立的映射关系中的第k个映射关系。

步骤4，在步骤3的线性映射关系中随机选择映射关系构成初始回归基，学习初始回归基和对应的相应的编码系数，随后对步骤1中的低分辨特征训练集进行超分辨重建，得到重建后低分辨训练图像集对应的高分辨训练图像集。具体为：

步骤4.1，在得到的线性映射关系F中随机选择R个映射关系构成初始回归基其中表示中的第r个回归基，

步骤4.2，利用初始回归基和步骤3的低分辨字典D^l、步骤1的低分辨特征训练集和高分辨特征训练集，不断学习回归基和相应的编码系数矩阵α，得到重构能力最强的回归基和相应的编码系数矩阵，具体步骤为：

步骤4.2.1，对于初始回归基利用Q个和进行优化，得到相应的优化编码系数，对第q个低分辨字典原子按如下方式进行：

其中，表示第q个锚点对应的低分辨特征训练集上的K近邻所构成的子集，表示中的第k个特征，是第q个锚点对应的高分辨特征训练集对应的K近邻所构成的子集，表示中的第k个特征，vec(·)表示向量化，A^T表示求矩阵A的转置，(·)^-1表示求逆运算，R＝32；

步骤4.2.2，初始化Z←0,B←0，利用步骤4.2.1中得到编码系数矩阵α_q，对第q个低分辨字典原子按如下方式进行：

其中 表示中的第r个编码系数，r＝1,…,R；

步骤4.2.3，结合步骤4.2.1和步骤4.2.2得到的α_q、Z和B，得到最优的回归基重复步骤4.2.1-4.2.2，得到重构能力最强的回归基和相应的编码系数矩阵；

步骤4.3，使用步骤4.2得到的重构能力最强的回归基和相应的编码系数矩阵，对步骤1的低分辨训练图像集进行超分辨重建，重建出低分辨训练图像集对应的高分辨训练图像集

步骤5，把步骤4的重建后低分辨训练图像集对应的高分辨训练图像集作为低分辨训练图像集，重复步骤2-4，经过T次循环后得到T个回归基和相应的编码系数矩阵其中表示第t次学习得到的回归基，α_t表示与第t次得到的回归基相对应的编码系数矩阵，T＝5。

第二部分：如图2所示，图像超分辨重建阶段

步骤6，输入待处理的低分辨彩色图像，构造低分辨图像测试集。

将每幅低分辨彩色图像y从红、绿、蓝的RGB颜色空间转换到YCbCr 颜色空间，两个色差分量Cb和Cr表示颜色信息，设表示亮度分量构成的测试图像集，其中x_s表示测试图像集中的第s幅图像；

对YCbCr颜色空间中的亮度分量使用双立方插值进行3被放大，得到插值图像集对插值图像集Y'提取特征，构成低分辨图像测试集。

步骤7，基于步骤6的低分辨图像测试集，使用步骤5的对应的回归基和编码系数矩阵，构造目标高分辨图像集。

对步骤6的低分辨图像测试集中任意一个特征向量，在步骤2的低分辨字典中查找与之最匹配的字典原子使用训练阶段对应的回归基和相应的编码系数矩阵重建高分辨估计图像低分辨图像测试集中所有特征向量的高分辨估计图像构成了预测高分辨图像集

将高分辨图像集作为插值图像集重复以上步骤，经过T次后得到一组最终的预测图像集即目标高分辨图像集。

高分辨估计图像问题，是将上一层估计出的高分辨图像直接用作下一层的测试图像，将该图像的亮度分量直接提取特征进行再重建，不经过下采样过程，且每一层都重建出完整的图像。

步骤8，对输入的低分辨彩色图像在YCbCr颜色空间中的两个色差分量 Cb和Cr采用双立方插值进行3倍放大，并结合步骤7中的目标高分辨图像集；再将YCbCr颜色空间的超分辨结果转换到RGB颜色空间，得到被放大的低分辨彩色图像。

实施例

仿真内容：

(1)在相同的训练集和测试图像上，采用对比实验的形式，选择双立方插值和卷积神经网络的图像超分辨方法、简称CNN，以及其它两个具有代表性的实例超分辨方法与本发明仿真结果进行比较，以验证本发明的有效性。两个具有代表性的邻域嵌入超分辨方法是A+方法和SERF方法。

(2)使用具有不同代表性的自然图像进行仿真实验，以验证本发明对不同性质的低分辨图像经过3倍放大后在视觉上的效果。

具体仿真条件详见每个实验的描述。

实验一

对一幅大小为256×256的高分辨动物自然图像，采用4×4平均模糊和 3倍下采样降质过程生成对应大小的低分辨图像，对得到的低分辨图像，使用双立方插值，A+方法，SERF方法，CNN方法和本发明的方法进行3倍放大，放大的结果如图3所示，每个图中对标记的矩形局部区域进行了局部放大显示。

从图3的仿真结果可以看出：图3(b)中图像边缘和纹理非常模糊，图 3(c)-图3(e)的超分辨明显更清晰自然，在一定程度上能恢复图像的细节信息，但主要的边缘和纹理部分仍然比较模糊，而且存在一定的噪声；而图3(f)的超分辨结果包含更多的高频细节，边缘和纹理部分比其他图像的结果清晰，引入的噪声较少，超分辨结果显得更加自然，不存在明显的失真和伪像。

这是由于本发明在训练阶段对训练集图像进行了多层逼近重建，每次将上层重建出的训练集图像作为下一层的低分辨图像，重新提取低分辨特征进行再学习，一定程度上减少了高、低分辨图像块之间的模糊性。

实验二

对一幅大小为352×288的高分辨人物自然图像，采用与实验一相同的降质过程生成对应大小的低分辨图像，对得到的低分辨图像，使用双立方插值，A+方法，SERF方法，CNN方法和本发明的方法进行3倍放大，放大的结果如图4所示，每个图中对标记的矩形局部区域进行了局部放大。

从图4仿真结果可以看出：与其它超分辨方法得到的结果相比，本发明得到的超分辨图像恢复的边缘更加清晰且具有较好的视觉质量。

实验三

对一幅大小为256×256的高分辨自然图像，采用与实验一和实验二相同的降质过程生成对应大小的低分辨图像，对得到的低分辨图像，使用双立方插值，A+方法，SERF方法，CNN方法和本发明的方法进行3倍放大，放大的结果如图5所示，每个图中对标记的矩形局部区域进行了局部放大。

从图5的仿真结果可以看出：与已有实例学习超分辨方法相比，本发明方法能重建出更为丰富的细节信息，恢复出边缘也更加清晰。

实验四

在基函数的个数选取不同值时，内存的优化如下表所示：

表1.基函数的个数选取不同值对比

实验五

在迭代次数T取不同值时，图6和图7分别给出的是Set5和Set14在进行3倍放大时，平均PSNR和SSIM的变化。

从图6和图7可以直观的看出，在进行三倍放大时，随着T值的增加，本发明的性能处于持续增加的过程，但随着T的增加，本发明的性能增加的幅度在逐渐减弱，所以本发明在实验过程中取T＝5。

实验六

图8是实验五中验证级联有效性3倍放大的视觉质量结果。

图8(a)为原图；图8(b)为第一轮结果(PSNR：34.4176， SSIM：0.9382)；图8(c)为二轮结果(PSNR：34.6855，SSIM：0.9404)；图8(d)为第三轮结果(PSNR：34.7814，SSIM：0.9412)；图8(e) 为第四轮结果(PSNR：34.7869，SSIM：0.9416)；第五轮结果(PSNR：34.784，SSIM：0.9416)。

上述六个实验的结果表明，本发明与已有的实例学习超分辨方法相比，具有更强的超分辨恢复能力，能够得到更多的图像细节，重建出更平滑的图像边缘，而且恢复的图像在视觉上有较好的感知效果，不存在明显的失真和伪像，更接近于真实的自然图像。

Claims (7)

1.基于级联回归基学习的单帧图像超分辨重建方法，其特征在于，包括以下步骤：

步骤1，采集N个高分辨自然图像，构造低分辨特征训练集和高分辨特征训练集；

步骤2，将步骤1中的低分辨特征训练集利用元字典学习算法得到低分辨字典；

步骤3，提取步骤1低分辨特征训练集和高分辨特征训练集中的低分辨特征与高分辨特征，建立两者之间的线性映射关系；

步骤4，在步骤3的线性映射关系中随机选择映射关系构成初始回归基，学习初始回归基和对应的相应的编码系数，随后对步骤1中的低分辨特征训练集进行超分辨重建，得到重建后低分辨训练图像集对应的高分辨训练图像集；

步骤5，把步骤4的重建后低分辨训练图像集对应的高分辨训练图像集作为低分辨训练图像集，重复步骤2-4，经过T次循环后得到T个回归基和相应的编码系数矩阵其中表示第t次学习得到的回归基，α_t表示与第t次得到的回归基相对应的编码系数矩阵；

步骤6，输入待处理的低分辨彩色图像，构造低分辨图像测试集；

步骤7，基于步骤6的低分辨图像测试集，使用步骤5的对应的回归基和编码系数矩阵，构造目标高分辨图像集；

步骤8，对输入的低分辨彩色图像在YCbCr颜色空间中的两个色差分量Cb和Cr采用双立方插值放大，并结合步骤7中的目标高分辨图像集；再将YCbCr颜色空间的超分辨结果转换到RGB颜色空间，得到被放大的低分辨彩色图像。

2.根据权利要求1所述的基于级联回归基学习的单帧图像超分辨重建方法，其特征在于，所述步骤1具体为：

采集N个高分辨自然图像构成高分辨训练图像集对N个高分辨自然图像降质，生成低分辨训练图像集

随后对低分辨训练图像集进行双立方插值放大，得到插值图像，对插值图像和高分辨自然图像分别提取低分辨特征块和对应的高分辨特征块，构造出低分辨特征训练集和高分辨特征训练集；

其中表示第i个高分辨自然图像，表示第i个低分辨自然图像。

3.根据权利要求1所述的基于级联回归基学习的单帧图像超分辨重建方法，其特征在于，所述步骤2具体为：

步骤2.1，设低分辨特征训练集为初始化一个元字典其中X中的每一个列向量xn是一个样本向量，每一个元字典原子d_q是一个单位列向量且q＝1,2,…,Q、Q≤n；

通过公式(1)求解目标元字典：

其中，Λ是通过Γ对X的表示矩阵，参数λ是一个用于平衡F-范数项和范数项的正常数；

步骤2.2，对步骤1得到的目标元字典进行更新，固定Λ更新Γ，按照公式(2)进行：

其中，设Λ＝[β₁；β₂,…,β_q,β_Q]、β_q为是Λ中的一个行向量且q＝1,2,…,Q；

逐个元字典原子进行更新，当更新d_q时，其它所有d_j,j≠q固定，则有：

设则公式(3)化简为：

对公式(4)中使用langrage乘数并让其为0，得到又有故得到：

其中||·||₂表示-范数；

步骤2.3，重复步骤2.2直到最大迭代次数，最后输出的字典即为低分辨字典其中表示D^l中的第q个字典原子，Q表示低分辨字典原子的个数且Q＝1024。

4.根据权利要求3所述的基于级联回归基学习的单帧图像超分辨重建方法，其特征在于，所述步骤3线性映射关系具体为：

其中表示第k个锚点对应的高分辨特征训练集对应的K近邻所构成的子集，表示第k个锚点对应的低分辨特征训练集对应的K近邻所构成的子集，K表示欧式距离约束的最相关的特征块且K＝2048，I表示单位矩阵，λ＝0.00001；

公式(5)表示的线性映射关系，还可表示为：

其中F_q,k表示第q个锚点对应的K个低分辨特征与高分辨特征近邻建立的映射关系中的第k个映射关系。

5.根据权利要求4所述的基于级联回归基学习的单帧图像超分辨重建方法，其特征在于，所述步骤4具体为：

步骤4.1，在得到的线性映射关系F中随机选择R个映射关系构成初始回归基其中表示中的第r个回归基，

步骤4.2，利用初始回归基和步骤3的低分辨字典D^l、步骤1的低分辨特征训练集和高分辨特征训练集，不断学习回归基和相应的编码系数矩阵α，得到重构能力最强的回归基和相应的编码系数矩阵；

步骤4.3，使用步骤4.2得到的重构能力最强的回归基和相应的编码系数矩阵，对步骤1的低分辨训练图像集进行超分辨重建，重建出低分辨训练图像集对应的高分辨训练图像集

6.根据权利要求5所述的基于级联回归基学习的单帧图像超分辨重建方法，其特征在于，所述步骤6具体为：

将每幅低分辨彩色图像y从RGB颜色空间转换到YCbCr颜色空间，两个色差分量Cb和Cr表示颜色信息，设表示亮度分量构成的测试图像集，其中x_s表示测试图像集中的第s幅图像；

对YCbCr颜色空间中的亮度分量使用双立方插值放大，得到插值图像集对插值图像集Y'提取特征，构成低分辨图像测试集。

7.根据权利要求6所述的基于级联回归基学习的单帧图像超分辨重建方法，其特征在于，所述步骤7具体为：

对步骤6的低分辨图像测试集中任意一个特征向量，在步骤2的低分辨字典中查找与之最匹配的字典原子使用对应的回归基和相应的编码系数矩阵重建高分辨估计图像低分辨图像测试集中所有特征向量的高分辨估计图像构成了预测高分辨图像集

将高分辨图像集作为插值图像集重复以上步骤，经过T次后得到一组最终的预测图像集即目标高分辨图像集。