CN112884654B - 一种基于cnn的wdsr图像超分辨率重建优化方法 - Google Patents

Abstract

本发明公开了一种基于CNN的WDSR图像超分辨率重建优化方法，包括：获取原始训练集和原始测试集；构建基于WDSR算法的图像超分辨率重建模型，并利用原始训练集对图像超分辨率重建模型进行训练，获得初始图像超分辨率重建模型；利用增强预测算法优化初始图像超分辨率重建模型，获得中间图像超分辨率重建模型；利用测试集对初始图像超分辨率重建模型进行重建效果验证；基于重建效果验证结果，对WDSR算法进行改进，直至重建效果验证结果符合预设约束条件，获得最终图像超分辨率重建模型。本发明在对WDSR算法改进的基础上，结合增强预测算法，能够降低计算开销，提高模型精度，能够获得更好的训练和测试准确率。

Description

一种基于CNN的WDSR图像超分辨率重建优化方法

技术领域

本发明涉及图像处理技术领域，更具体的说是涉及一种基于CNN的WDSR图像超分辨率重建优化方法。

背景技术

超分辨率技术(Super-Resolution)，简称SR，是指通过软件或硬件的方法，从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像遥感、网络图片压缩传输及存储、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有重要的应用价值。

传统的图像超分辨率重建技术中，基于插值的方法，方式相对简单，但是达到的效果较其它方法比较差。基于重建的方法，需要依赖多幅图像序列信息进行重构才能提高算法的效果，必须是同一场景的图片，即连续系列的帧图像。

基于深度学习的SR，主要是基于单张低分辨率的重建方法，即Single ImageSuper-Resolution(SISR)，是现在研究的热门算法，由于其强大的特征表达和非线性变换能力，在图像超分辨率领域取得了非常不错的效果。

WDSR是基于CNN的SR算法，不足之处是对输入图像进行旋转、翻转操作后，像素点P(x，y)位置改变了，使用同一个模式经过卷积操作(该操作对像素位置比较敏感)的结果会显著不同。而在超分辨这种像素级操作的任务中，同一张图片经旋转、翻折等，再分别进行超分辨，得到的结果不应该在精度上有较大的差异。

因此，如何充分利用WDSR算法的优点，对WDSR算法进行改进，并在WDSR算法改进的基础上，提高超分辨精准度的基于CNN的WDSR图像超分辨率重建优化方法，是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于CNN的WDSR图像超分辨率重建优化方法，在对WDSR算法改进的基础上，将增强预测算法与之相结合，能够降低计算开销，提高模型的精度，获得更好的训练和测试准确率，得到更好的超分辨率重建图像。

为了实现上述目的，本发明采用如下技术方案：

一种基于CNN的WDSR图像超分辨率重建优化方法，包括：

获取原始图片集，并将所述原始图片集分为原始训练集和原始测试集；

构建基于WDSR算法的图像超分辨率重建模型，并利用所述原始训练集对所述图像超分辨率重建模型进行初步训练，获得初始图像超分辨率重建模型；

引入增强预测算法，并利用所述增强预测算法对原始训练集和原始测试集进行处理，获得新的训练集和新的测试集；

基于所述新的训练集优化所述初始图像超分辨率重建模型，获得中间图像超分辨率重建模型；

利用所述原始测试集或所述新的测试集对所述中间图像超分辨率重建模型进行重建效果验证；

基于重建效果验证结果，对WDSR算法进行改进，直至所述重建效果验证结果符合预设约束条件，获得最终图像超分辨率重建模型。

优选的，在上述一种基于CNN的WDSR图像超分辨率重建优化方法中，所述原始训练集和所述原始测试集的制作过程为：

获取原始图片集，对所述原始图片集中的各个原始高清图片依次进行压缩和尺寸放大，获得模糊图片集；

将所述模糊图片集中的各个模糊图片和与其对应的原始高清图片分别组成图片对；

将所有所述图片对分成数量不等的两部分，将数量相对较多的部分作为所述原始训练集，将数量相对较少的部分作为所述原始测试集。

优选的，在上述一种基于CNN的WDSR图像超分辨率重建优化方法中，所述增强预测算法包括：

将所述原始训练集中的每张原始高清图片分别进行上、下、左、右翻转，生成四张翻转后的图片，并将每张翻转后的图片分别旋转90°、180°、270°，共生成12张图片；

将生成的12张图片分别输入至所述初始图像超分辨率重建模型，进行卷积、池化和全联接操作，得到相应的12张超分辨率重建图片；

将得到的12张超分辨率重建图片，分别经过逆翻转、逆旋转操作，使每张图像、每个像素都变换回原始位置，每个位置的像素值取12张图中对应位置像素值的平均值。

优选的，在上述一种基于CNN的WDSR图像超分辨率重建优化方法中，卷积操作的非线性变换公式如下：

上式中，I’(x,y)表示卷积操作的输出像素，I(x,y)表示位置在x，y的输入像素点，k(i,j)表示卷积核i，j位置的权重，2k+1表示卷积核的大小。

优选的，在上述一种基于CNN的WDSR图像超分辨率重建优化方法中，利用所述原始测试集或所述新的测试集对所述中间图像超分辨率重建模型进行重建效果验证，包括：

输入所述原始测试集或所述新的测试集至所述中间图像超分辨率重建模型，获得重建图片；

采用PSNR方法或SSIM方法将所述原始训练集中的原始高清图片与所述重建图片进行比较，生成比较结果；

基于所述比较结果，验证所述中间图像超分辨率重建模型的重建效果。

优选的，在上述一种基于CNN的WDSR图像超分辨率重建优化方法中，所述基于重建效果验证结果，对WDSR算法进行改进，直至所述重建效果验证结果符合预设约束条件，获得最终图像超分辨率重建模型，包括：

基于重建效果验证结果，调节优化所述中间图像超分辨率重建模型的网络节点和模型参数；

再次训练所述中间图像超分辨率重建模型，并再次利用PSNR方法或SSIM方法对再次训练后的所述中间图像超分辨率重建模型的重建效果进行验证；

反复对所述中间图像超分辨率重建模型进行调节、优化和重建效果验证，直至重建效果验证结果符合预设约束条件。

优选的，在上述一种基于CNN的WDSR图像超分辨率重建优化方法中，基于重建效果验证结果，调节优化所述中间图像超分辨率重建模型的网络节点和模型参数，包括：

调节WDSR算法中head、body、tail、skip的卷积操作；

去除冗余卷积层，优化提高relu前的特征图channel数，提高PSNR值和SSIM值。

优选的，在上述一种基于CNN的WDSR图像超分辨率重建优化方法中，所述PSNR方法的表达式如下：

上式中，I表示给定的大小为h×w的干净图像；K表示给定的大小为h×w噪声图像；MSE表示均方误差；n表示每个像素的比特数；PSNR表示峰值信噪比，数值越大，表示图像失真越小。

优选的，在上述一种基于CNN的WDSR图像超分辨率重建优化方法中，SSIM方法分别从亮度、对比度和结构三方面度量图像相似性，其取值范围为[0,1]，取值越大，表示图像失真越小。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于CNN的WDSR图像超分辨率重建优化方法，利用WDSR算法的优点，并对WDSR算法进行改进，将增强预测算法与改进后的WDSR算法相结合，能够降低计算开销性能，提高深度模型的精度，获得更好的训练和测试准确率，得到更加好的超分辨率重建图像。本发明通过增强预测方法，即对训练后的图像超分辨率重建模型，通过对输入图像进行旋转、翻转等操作，得到多个不同的结果，再将结果取平均来得到提高模型的学习能力，并提高超分辨重建图片的精准度的目的。本发明通过深度学习，结合增强预测算法进行处理，并通过PSNR方法、SSIM方法等不断优化调节节点模型和参数，可以重建出比较令人满意的效果。对于所有的输入图像进行的卷积操作，一方面，效果具有翻转鲁棒性，使得对旋转、翻转敏感的卷积操作随着位置的旋转、翻转不再产生显著的不同，即对图像的像素位置不再敏感；另一方面，多个不同模型的平均泛化效果优于单个模型的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的基于CNN的WDSR图像超分辨率重建优化方法的流程图；

图2附图为本发明提供的S1中的训练集和测试集的制作过程示意图；

图3附图为本发明提供的S3中增强预测算法的流程图；

图4附图为本发明提供的S4中重建效果验证的流程图；

图5附图为本发明提供的WDSR算法改进的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例公开了一种基于CNN的WDSR图像超分辨率重建优化方法，包括以下步骤：

S1、获取原始图片集，并将原始图片集分为原始训练集和原始测试集；

S2、构建基于WDSR算法的图像超分辨率重建模型，并利用原始训练集对图像超分辨率重建模型进行初步训练，获得初始图像超分辨率重建模型；

S3、引入增强预测算法，并利用增强预测算法对原始训练集和原始测试集进行处理，获得新的训练集和新的测试集；

S4、基于新的训练集优化初始图像超分辨率重建模型，获得中间图像超分辨率重建模型；

S5、利用原始测试集或新的测试集对中间图像超分辨率重建模型进行重建效果验证；

S6、基于重建效果验证结果，对WDSR算法进行不断改进，直至重建效果验证结果符合预设约束条件，获得最终图像超分辨率重建模型。

如图2所示，原始训练集和原始测试集的具体制作过程为：

S11、获取原始图片集，对原始图片集中的各个原始高清图片依次进行压缩和尺寸放大，获得模糊图片集；

S12、将模糊图片集中的各个模糊图片和与其对应的原始高清图片分别组成图片对；

S13、将所有图片对分成数量不等的两部分，将数量相对较多的部分作为原始训练集，将数量相对较少的部分作为原始测试集。

S3中，输入图像超分辨率重建模型的低分辨率图像和高分辨率图像之间的非线性函数关系可以表示为：P^HR＝f(P^LR),其中，P^HR表示重建之后输出的高分辨率图像，P^LR表示输入的低分辨率图像，f()表示卷积操作和非线性激活函数的组合。

对于输入的低分辨率图像的某个像素点I(x,y)，特定卷积核k在其上的卷积操作可表示为：

其中，I’(x,y)表示卷积操作的输出像素，I(x,y)表示位置在x，y的输入像素，k(i,j)表示卷积核i,j位置的权重，2k+1是卷积核的大小。由公式1可以看出，对像素进行卷积操作的结果I’(x,y)，与输入图像像素的相对位置I(x,y)有关，如果对输入图像进行旋转、翻转操作后，同一个模型经过公式1所示的非线性变换，对输入图像进行的操作结果是显著不同的。所以，卷积操作对输入图像像素的位置是很敏感的，但是，在超分辨率这种像素级操作的任务中，同一张图片经过旋转和翻转后，再分别进行超分辨，得到的结果不应该在精度上有较大的差异。为了提高卷积操作对图像旋转和翻转的鲁棒性，可以使用增强预测的方式提高深度模型的精度。

增强预测算法包括：

S31、将原始训练集中的每张原始高清图片分别进行上、下、左、右翻转，生成四张翻转后的图片，并将每张翻转后的图片分别旋转90°、180°、270°，共生成12张图片；

S32、将生成的12张图片分别输入至初始图像超分辨率重建模型，进行卷积、池化和全联接操作，得到相应的12张超分辨率重建图片；

S33、将得到的12张超分辨率重建图片，分别经过逆翻转、逆旋转操作，使每张图像、每个像素都变换回原始位置，变换回原始位置后的每张图片中每个位置的像素值取12张图中对应位置像素值的平均值。

通过增强算法将原始高清图片进行多状态改变，使中间图像超分辨率重建模型得到更深入的学习，以提高重建图片的清晰度。

S5、利用原始测试集或新的测试集对中间图像超分辨率重建模型进行重建效果验证，包括以下步骤：

S51、输入原始测试集或新的测试集至中间图像超分辨率重建模型，获得重建图片；

S52、采用PSNR方法或SSIM方法将原始训练集中的原始图片与重建图片进行比较，生成比较结果；

PSNR(Peak Signal to Noise Ratio)峰值信噪比，一种全参考的图像质量评价指标。

给定一个大小为h×w的干净图像I和噪声图像K，均方误差(MSE)定义为：

据此，PSNR(dB)定义为：

上式中，n为每像素的比特数，针对灰度图像，n一般取8，即像素灰阶数为256，如果是彩色图像，通常有三种方法来计算。

A.分别计算RGB三个通道的PSNR，然后取平均值。

B.计算RGB三通道的MSE，然后再除以3。

C.将图片转化为YCbCr格式，然后只计算Y分量也就是亮度分量的PSNR。

PSNR的单位是dB，数值越大表示失真越小。

SSIM(structural similarity)结构相似性，也是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性。SSIM取值范围[0,1]，值越大，表示图像失真越小。

S53、基于比较结果，验证中间图像超分辨率重建模型的重建效果。

S6、基于重建效果验证结果，对WDSR算法进行改进，直至重建效果验证结果符合预设约束条件，获得最终图像超分辨率重建模型，具体包括：

S61、基于重建效果验证结果，调节优化中间图像超分辨率重建模型的网络节点和模型参数；

S62、再次训练中间图像超分辨率重建模型，并再次利用PSNR方法或SSIM方法对再次训练后的中间图像超分辨率重建模型的重建效果进行验证；

S63、反复执行S61-S62，直至重建效果验证结果符合预设约束条件，生成最终图像超分辨率重建模型。

S61、基于重建效果验证结果，调节优化中间图像超分辨率重建模型的网络节点和模型参数，包括：

S611、调节WDSR算法中head、body、tail、skip的卷积操作；

S612、去除冗余卷积层，优化提高relu前的特征图channel数，提高PSNR值和SSIM值。

本实施例训练方法使用WDSR_b方法，并根据效果进行不断改进。

WDSR_b网络结构如下：

标准化输入

head：卷积×1

body：block(卷积+relu+卷积×2)*16

tail：卷积×1

skip：卷积×1

标准化输出

tail部分仅有一次卷积，实际放大思路同EDSR算法，不过是一次卷积得到足够的channels(3*n^2)，一步重建为3通道的图像。

本实例中也可使用其他基于深度卷积神经网络的超分重建学习算法。如DRCN、ESPCN、VESPCN、SRGAN和EDSR等算法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于CNN的WDSR图像超分辨率重建优化方法，其特征在于，包括：

获取原始图片集，并将所述原始图片集分为原始训练集和原始测试集，制作过程为：

获取原始图片集，对所述原始图片集中的各个原始高清图片依次进行压缩和尺寸放大，获得模糊图片集；

将所述模糊图片集中的各个模糊图片和与其对应的原始高清图片分别组成图片对；

将所有所述图片对分成数量不等的两部分，将数量相对较多的部分作为所述原始训练集，将数量相对较少的部分作为所述原始测试集；

构建基于WDSR算法的图像超分辨率重建模型，并利用所述原始训练集对所述图像超分辨率重建模型进行初步训练，获得初始图像超分辨率重建模型；

引入增强预测算法，并利用所述增强预测算法对所述原始训练集和所述原始测试集进行处理，获得新的训练集和新的测试集；

基于所述新的训练集优化所述初始图像超分辨率重建模型，获得中间图像超分辨率重建模型；

利用所述原始测试集或所述新的测试集对所述中间图像超分辨率重建模型进行重建效果验证，包括：

输入所述原始测试集或所述新的测试集至所述中间图像超分辨率重建模型，获得重建图片；

采用PSNR方法或SSIM方法将所述原始训练集中的原始高清图片与所述重建图片进行比较，生成比较结果；

基于所述比较结果，验证所述中间图像超分辨率重建模型的重建效果；

基于重建效果验证结果，对WDSR算法进行改进，直至所述重建效果验证结果符合预设约束条件，获得最终图像超分辨率重建模型，包括：

基于重建效果验证结果，调节优化所述中间图像超分辨率重建模型的网络节点和模型参数，具体包括：调节WDSR算法中head、body、tail、skip的卷积操作；去除冗余卷积层，优化提高relu前的特征图channel数，提高PSNR值和SSIM值；

再次训练所述中间图像超分辨率重建模型，并再次利用PSNR方法或SSIM方法对再次训练后的所述中间图像超分辨率重建模型的重建效果进行验证；

反复对所述中间图像超分辨率重建模型进行调节、优化和重建效果验证，直至重建效果验证结果符合预设约束条件；

所述增强预测算法包括：

将所述原始训练集中的每张原始高清图片分别进行上、下、左、右翻转，生成四张翻转后的图片，并将每张翻转后的图片分别旋转90°、180°、270°，共生成12张图片；

将生成的12张图片分别输入至所述初始图像超分辨率重建模型，进行卷积、池化和全联接操作，得到相应的12张超分辨率重建图片；

将得到的12张超分辨率重建图片分别经过逆翻转、逆旋转操作，使每张图像、每个像素都变换回原始位置，变换回原始位置后的每张图片中每个位置的像素值取12张图中对应位置像素值的平均值。

2.根据权利要求1所述的一种基于CNN的WDSR图像超分辨率重建优化方法，其特征在于，卷积操作的非线性变换公式如下：

上式中，I’(x,y)表示卷积操作的输出像素，I(x,y)表示位置在x，y的输入像素点，k(i,j)表示卷积核i，j位置的权重，2k+1表示卷积核的大小。

3.根据权利要求1所述的一种基于CNN的WDSR图像超分辨率重建优化方法，其特征在于，所述PSNR方法的表达式如下：

上式中，I表示给定的大小为h×w的干净图像；K表示给定的大小为h×w噪声图像；MSE表示均方误差；n表示每个像素的比特数；PSNR表示峰值信噪比，数值越大，表示图像失真越小。

4.根据权利要求1所述的一种基于CNN的WDSR图像超分辨率重建优化方法，其特征在于，SSIM方法分别从亮度、对比度和结构三方面度量图像相似性，其取值范围为[0,1]，取值越大，表示图像失真越小。