发明内容
本发明的目的是提供一种基于Stacking集成学习的图像超分辨方法,解决了现有技术中存在的图像特征过于单一、超分辨模型泛化能力不强的问题。
本发明所采用的技术方案是,一种基于Stacking集成学习的图像超分辨方法,首先,对待处理图像进行特征提取,并用基模型估计高分辨图像块;然后,用元模型估计高分辨图像块;最后,将两种高分辨图像块依次添加至低分辨图像的插值图像上,以获得最终的高分辨图像。
本发明的特点还在于:
具体按照以下步骤实施:
步骤1、提取待处理图像A的梯度特征和纹理特征,输出梯度特征矩阵、纹理特征矩阵;
步骤2、采用基模型中的梯度回归器对梯度特征矩阵进行处理,输出高分辨特征矩阵同时,采用基模型中的纹理回归器对纹理特征矩阵进行处理,输出高分辨特征矩阵/>
步骤3、对步骤2的输出高分辨特征矩阵和高分辨特征矩阵/>进行合并,输出高分辨特征矩阵/>
步骤4、采用元模型中的回归器对矩阵进行处理,输出高分辨特征矩阵/>
步骤5、将基模型的输出高分辨特征矩阵高分辨特征矩阵/>和元模型的输出高分辨特征矩阵/>添加至插值图像块特征,输出高分辨特征向量;
步骤6、将高分辨特征向量转换为图像块,并将图像块进行融合,输出高分辨率图像。
步骤1具体按照以下步骤实施:
步骤1.1、采用双立方插值算法对待处理图像A进行上采样,输出插值图像A0;
步骤1.2、将插值图像A0从RGB颜色空间转换到YCbCr颜色空间,并分离出亮度通道图像A1,及色度通道图像A2和A3;
步骤1.3、将亮度通道图像A1分割为9×9的图像块,且相邻的两个图像块相互重叠;
步骤1.4、依次提取图像块的梯度特征和纹理特征,输出梯度特征矩阵纹理特征矩阵/>
步骤1.4中,梯度特征提取过程具体如下:
将亮度通道图像A1中的图像块转换为81×1的向量形式,采用Roberts算子对向量进行卷积,输出梯度特征向量;
所述步骤1.4中,纹理特征提取过程具体如下:
将亮度通道图像A1中的图像块转换为81×1的向量形式,向量中每个元素减去所有元素的平均值,输出纹理特征向量。
步骤2具体按照以下步骤实施:
步骤2.1、基模型对梯度特征矩阵、纹理特征矩阵进行处理
(1)采用基模型中的梯度回归器对梯度特征矩阵进行处理
对梯度特征矩阵中的每个特征向量/>进行如下处理:根据相关性最大原则从梯度回归器中选择最优回归器/>计算/>与特征向量/>的乘积,输出高分辨特征向量/>
(2)采用基模型中的纹理回归器对纹理特征矩阵进行处理
对纹理特征矩阵中的每个特征向量/>进行如下处理:根据相关性最大原则从纹理回归器中选择最优回归器/>计算/>与特征向量/>的乘积输出高分辨特征向量/>
步骤2.2、计算高分辨特征矩阵高分辨特征矩阵/>的平均值,输出高分辨特征矩阵/>和高分辨特征矩阵/>
步骤4具体按照以下步骤实施:
步骤4.1、元模型对高分辨特征矩阵进行处理
对高分辨特征矩阵中的每个特征向量/>进行如下处理:根据相关性最大原则从元模型回归器中选择最优回归器/>计算回归函数/>与特征向量/>的乘积,输出高分辨特征向量/>
输出高分辨率特征矩阵
步骤4.2、计算高分辨率特征矩阵的平均值,输出高分辨率特征矩阵/>
步骤5具体过程如下:
计算高分辨特征矩阵高分辨特征矩阵/>的平均值;将平均值、高分辨特征矩阵/>插值图像块P1相加,输出高分辨特征矩阵/>其中,插值图像块P1由步骤1.3中亮度通道图像A1提取图像块特征得到,提取过程为,将9×9的图像块转换为81×1的向量形式。
步骤6具体过程如下:
将81×1的高分辨特征向量转换为9×9的图像块;将所有图像块依次拼接,相邻图像块之间的重叠部分取该位置上的平均值,输出高分辨图像;其中,高分辨图像的大小与步骤1.1中上采样后图像的大小一致。
步骤2中,基模型的训练按照以下步骤实施:
步骤1、采用双立方插值算法对训练集中的低分辨图像Yl进行上采样,输出插值图像Y0;
步骤2、分别提取插值图像Y0的梯度特征ygl和纹理特征ytl,输出梯度特征空间{ygl,yh}、纹理特征空间{ytl,yh};其中,yh表示图像的高频成分,即原始高分辨图像块特征y与插值图像块特征y0之差;
步骤3、采用C倍交叉验证法对梯度特征空间{ygl,yh}、梯度特征空间{ygl,yh}进行训练,输出一组梯度回归器和一组纹理回归器/>
步骤4、采用梯度回归器纹理回归器/>进行处理,输出高分辨特征矩阵/>高分辨特征矩阵/>其中,/> 表示第i个梯度特征向量;/>表示第i个纹理特征向量;/>表示与/>与匹配度最高的回归器;/>表示与/>匹配度最高的回归器;j的值由如下公式计算得到:
即,将字典Dg中的所有原子投影到第i个梯度特征向量/>选出令投影值最大的回归器作为将/>转换为高分辨特征向量/>的回归器。
步骤3具体按照以下步骤实施:
步骤3.1、利用K-SVD字典学习算法,在梯度特征ygl上学习得到超完备字典Dg,K-SVD字典学习优化公式如下:
式中,ygl为低分辨梯度特征向量,A为ygl的稀疏表示系数。同理可学习得到纹理特征空间ytl上的超完备字典Dt;
步骤3.2、以字典Dg和Dt中的k个原子分别为锚点,在各自的高-低分辨率特征空间上搜索与各个原子相关性最大的p个近邻,组成高-低分辨率邻域对;
步骤3.3、利用脊回归模型对每个高-低分辨率邻域对分别学习线性回归器;第k个邻域上的梯度回归器根据下式建立:
式中,对应于字典Dg中的第k个原子/>I为一个p×p的单位矩阵。λ为正则化常数。同理可得纹理回归器/>经C倍交叉验证后最终得到一组梯度回归器/>和一组纹理回归器/>
步骤4中,元模型的训练按照以下步骤实施:
步骤1、将YG和YT进行合并,作为下一层的低分辨输入ym,同时将新产生的高频细节y′h作为下一层的高分辨输入,生成新的高-低分辨率特征空间{ym,y′h},即:
ym={YG,YT} (4)
步骤2、采用步骤3的方法训练,输出一组元回归器
本发明的有益效果是:
(1)本发明对低分辨图像进行处理时同时采用了梯度特征和纹理特征进行图像描述,克服了现有超分辨技术中由特征单一造成的对图像描述不充分的问题;
(2)本发明所采用的Stacking集成学习策略,能够对由不同特征重建出的高分辨特征进行有效融合,提高了对不同类型图像的泛化能力;
(3)本发明中的模型训练过程,采用了交叉验证方法,有效防止了数据过拟合,使模型具有较强的鲁棒性;进而使得生成的高分辨图像更加真实可靠。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
如图1所示,本发明一种基于Stacking集成学习的图像超分辨方法,首先,对待处理图像进行特征提取,并用基模型估计高分辨图像块;然后,用元模型估计高分辨图像块;最后,将两种高分辨图像块依次添加至低分辨图像的插值图像上,以获得最终的高分辨图像。
具体按照以下步骤实施:
步骤1、提取待处理图像A的梯度特征和纹理特征,输出梯度特征矩阵、纹理特征矩阵;
步骤1具体按照以下步骤实施:
步骤1.1、采用双立方插值算法对待处理图像A进行上采样,输出插值图像A0;
步骤1.2、将插值图像A0从RGB颜色空间转换到YCbCr颜色空间,并分离出亮度通道图像A1,及色度通道图像A2和A3;
步骤1.3、将亮度通道图像A1分割为9×9的图像块,且相邻的两个图像块相互重叠;
步骤1.4、依次提取图像块的梯度特征和纹理特征,输出梯度特征矩阵纹理特征矩阵/>
梯度特征提取过程具体如下:
将亮度通道图像A1中的图像块转换为81×1的向量形式,采用Roberts算子对向量进行卷积,输出梯度特征向量;
纹理特征提取过程具体如下:
将亮度通道图像A1中的图像块转换为81×1的向量形式,向量中每个元素减去所有元素的平均值,输出纹理特征向量。
步骤2、采用基模型中的梯度回归器对梯度特征矩阵进行处理,输出高分辨特征矩阵同时,采用基模型中的纹理回归器对纹理特征矩阵进行处理,输出高分辨特征矩阵/>
步骤2具体按照以下步骤实施:
步骤2.1、基模型对梯度特征矩阵、纹理特征矩阵进行处理
(1)采用基模型中的梯度回归器对梯度特征矩阵进行处理
对梯度特征矩阵中的每个特征向量/>进行如下处理:根据相关性最大原则从梯度回归器中选择最优回归器/>计算/>与特征向量/>的乘积,输出高分辨特征向量/>
(2)采用基模型中的纹理回归器对纹理特征矩阵进行处理
对纹理特征矩阵中的每个特征向量/>进行如下处理:根据相关性最大原则从纹理回归器中选择最优回归器/>计算/>与特征向量/>的乘积输出高分辨特征向量/>
步骤2.2、计算高分辨特征矩阵高分辨特征矩阵/>的平均值,输出高分辨特征矩阵/>和高分辨特征矩阵/>
步骤3、对步骤2的输出高分辨特征矩阵和高分辨特征矩阵/>进行合并,输出高分辨特征矩阵/>
步骤4、采用元模型中的回归器对矩阵进行处理,输出高分辨特征矩阵/>
步骤4.1、元模型对高分辨特征矩阵进行处理
对高分辨特征矩阵中的每个特征向量/>进行如下处理:根据相关性最大原则从元模型回归器中选择最优回归器/>计算回归函数/>与特征向量/>的乘积,输出高分辨特征向量/>
输出高分辨率特征矩阵
步骤4.2、计算高分辨率特征矩阵的平均值,输出高分辨率特征矩阵/>
步骤5、将基模型的输出高分辨特征矩阵高分辨特征矩阵/>和元模型的输出高分辨特征矩阵/>添加至插值图像块特征,输出高分辨特征向量;
步骤5具体过程如下:
计算高分辨特征矩阵高分辨特征矩阵/>的平均值;将平均值、高分辨特征矩阵/>插值图像块P1相加,输出高分辨特征矩阵/>其中,插值图像块P1由步骤1.3中亮度通道图像A1提取图像块特征得到,提取过程为,将9×9的图像块转换为81×1的向量形式。
步骤6、将高分辨特征向量转换为图像块,并将图像块进行融合,输出高分辨率图像;
步骤6具体过程如下:
将81×1的高分辨特征向量转换为9×9的图像块;将所有图像块依次拼接,相邻图像块之间的重叠部分取该位置上的平均值,输出高分辨图像;其中,高分辨图像的大小与步骤1.1中上采样后图像的大小一致。
如图2所示,步骤2中,基模型的训练按照以下步骤实施:
步骤1、采用双立方插值算法对训练集中的低分辨图像Yl进行上采样,输出插值图像Y0;
步骤2、分别提取插值图像Y0的梯度特征ygl和纹理特征ytl,输出梯度特征空间{ygl,yh}、纹理特征空间{ytl,yh};其中,yh表示图像的高频成分,即原始高分辨图像块特征y与插值图像块特征y0之差;
步骤3、采用C倍交叉验证法对梯度特征空间{ygl,yh}、梯度特征空间{ygl,yh}进行训练,输出一组梯度回归器和一组纹理回归器/>
步骤3具体按照以下步骤实施:
步骤3.1、利用K-SVD字典学习算法,在梯度特征ygl上学习得到超完备字典Dg,K-SVD字典学习优化公式如下:
式中,ygl为低分辨梯度特征向量,A为ygl的稀疏表示系数。同理可学习得到纹理特征空间ytl上的超完备字典Dt;
步骤3.2、以字典Dg和Dt中的k个原子分别为锚点,在各自的高-低分辨率特征空间上搜索与各个原子相关性最大的p个近邻,组成高-低分辨率邻域对;
步骤3.3、利用脊回归模型对每个高-低分辨率邻域对分别学习线性回归器;第k个邻域上的梯度回归器根据下式建立:
式中,对应于字典Dg中的第k个原子/>I为一个p×p的单位矩阵。λ为正则化常数。同理可得纹理回归器/>经C倍交叉验证后最终得到一组梯度回归器/>和一组纹理回归器/>
步骤4、采用梯度回归器纹理回归器/>进行处理,输出高分辨特征矩阵/>高分辨特征矩阵/>其中,/> 表示第i个梯度特征向量;/>表示第i个纹理特征向量;/>表示与/>与匹配度最高的回归器;/>表示与/>匹配度最高的回归器;j的值由如下公式计算得到:
即,将字典Dg中的所有原子投影到第i个梯度特征向量/>选出令投影值最大的回归器作为将/>转换为高分辨特征向量/>的回归器。
如图2所示,步骤4中,元模型的训练按照以下步骤实施:
步骤1、将YG和YT进行堆叠,作为下一层的低分辨输入ym,同时将新产生的高频细节y′h作为下一层的高分辨输入,生成新的高-低分辨率特征空间{ym,y′h},即:
ym={YG,YT} (4)
步骤2、采用步骤3的方法训练,输出一组元回归器
实施例1
图3为数据集Set5中“Bird”图像在3倍放大下的比较结果;现有技术ANR方法、FD方法、MoE方法、SERF方法、A+方法、SRCNN方法和本发明方法在“Bird”图像上获得的PSNR值和SSIM值分别如下所示:
ANR方法(PSNR:34.4762,SSIM:0.9466);
FD方法(PSNR:34.5145,SSIM:0.945)
MoE方法(PSNR:35.5153,SSIM:0.9562)
SERF方法(PSNR:34.8058,SSIM:0.9494)
A+方法(PSNR:35.3465,SSIM:0.9521)
SRCNN方法(PSNR:34.9966,SSIM:0.9495)
本发明中方法((PSNR:35.9623,SSIM:0.9577)
经对比,本发明方法不论在主观视觉质量还是客观评价指标上均优于其他几种对比方法。
实施例2
图4为数据集Set14中“Foreman”图像在3倍放大下的比较结果;现有技术ANR方法、FD方法、MoE方法、SERF方法、A+方法、SRCNN方法和本发明方法在“Foreman”图像上获得的PSNR值和SSIM值分别如下所示:
ANR方法(PSNR:33.5772,SSIM:0.9308)
FD方法(PSNR:33.615,SSIM:0.930)
MoE方法(PSNR:34.4286,SSIM:0.94)
SERF方法(PSNR:33.5352,SSIM:0.9333)
A+方法(PSNR:34.7736,SSIM:0.9401)
SRCNN方法(PSNR:34.0179,SSIM:0.9339)
本发明方法(PSNR:34.9644,SSIM:0.9433)
经对比,本发明方法在图像边缘处能够保持更清晰的轮廓,并产生较少的影伪,同时取得了优于其他几种对比方法的PSNR和SSIM结果。
实施例3
图5为数据集Set14中“ppt3”图像在3倍放大下的比较结果;现有技术ANR方法、FD方法、MoE方法、SERF方法、A+方法、SRCNN方法和本发明方法在“ppt3”图像上获得的PSNR值和SSIM值分别如下所示
ANR方法(PSNR:24.7488,SSIM:0.9087)
FD方法(PSNR:24.9568,SSIM:0.9021)
MoE方法(PSNR:25.5296,SSIM:0.9243)
SERF方法(PSNR:25.5109,SSIM:0.9173)
A+方法(PSNR:25.8523,SSIM:0.9297)
SRCNN方法(PSNR:25.9622,SSIM:0.9184)
本发明方法(PSNR:26.2349,SSIM:0.9393)
经对比,本发明方法在图像文字区域能够产生较好的重建效果,并取得了优于其他几种对比方法的PSNR和SSIM结果。
实施例4
为了验证Stacking集成学习策略的有效性,图6给出了梯度模型、纹理模型和Stacking模型分别在7个标准数据集上获得的平均PSNR值和SSIM值;图(a)为2倍放大下的PSNR值;图(b)为3倍放大下的PSNR值;图(c)为2倍放大下的SSIM值;图(d)为3倍放大下的SSIM值;从图中可以看出,梯度模型在2倍放大下比纹理模型更具优势,而纹理模型在3倍放大下能够获得优于梯度模型的重建结果;上述结果表明,梯度模型适用于放大倍数较小的情况,而当放大倍数较大时,纹理模型更有利于恢复低分辨图像中丢失的高频细节。相比之下,本发明提出的Stacking模型在2倍放大和3倍放大的情况下均能取得最优重建结果。
本发明对低分辨图像进行处理时同时采用了梯度特征和纹理特征进行图像描述,克服了现有超分辨技术中由特征单一造成的对图像描述不充分的问题;本发明所采用的Stacking集成学习策略,能够对由不同特征重建出的高分辨特征进行有效融合,提高了对不同类型图像的泛化能力;本发明中的模型训练过程,采用了交叉验证方法,有效防止了数据过拟合,使模型具有较强的鲁棒性;进而使得生成的高分辨图像更加真实可靠。