CN115731099A - 基于多退化模型的多任务协同优化图像超分辨率重建方法 - Google Patents

Abstract

本发明涉及一种基于多退化模型的多任务协同优化图像超分辨率重建方法。所述方法包括以下步骤：获取训练数据集、验证数据集，其中LR图像由多退化系统生成；采用经典的模型FSRCNN为基础模型；初始化上述建立的深度学习网络模型的权重，初始化网络模型，选取优化器，设置网络训练的参数；改进后的模型提出了一种多任务协同优化的策略优化模型；获取测试数据集，其中部分图像运用多退化模型获得，部分选用真实图像；将测试数据集输入到超分辨率模型生成超分辨率图像；计算峰值信噪比(PSNR)，结构相似性(SSIM)，并保存可视化图像。本发明通过优化退化系统，改进优化方案来提升网络重建超分辨率图像的性能，解决真实场景下图像超分辨率问题。

Description

基于多退化模型的多任务协同优化图像超分辨率重建方法

技术领域

本发明属于计算机视觉领域，尤其是基于多退化模型的多任务协同优化图像超分辨率重建方法。

背景技术

伴随着计算机技术、信息处理技术和视觉通信技术的高速发展，人类进入了一个全新的信息化时代。人们所能够获取的知识量呈爆炸式增长，因此迫切的要求信息处理技术不断完善和发展。数字图像及其相关处理技术是信息处理技术的重要内容之一，在很多领域得到了越来越广泛的应用。图像超分辨技术作为数字图像处理的一个重要应用，在众多要求高分辨图像领域：如医学成像、遥感军事应用、视频监控等发挥着重要作用。

图像的超分辨率重建技术指的是将给定的低分辨率图像通过特定的算法恢复成相应的高分辨率图像。图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数，包括时间分辨率、空间分辨率及色阶分辨率等，体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像，高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度，意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。过去几十年来，图像超分辨率重建已被广泛研究，许多准确和有效的方法已被广泛应用于计算机视觉领域。

最近，很多基于卷积神经CNN的SR网络实现了对双三次下采样图像的强大性能。其中以EDSR(Bee Lim，Sanghyun Son，Heewon Kim，Seungjun Nah，and Kyoung MuLee.Enhanced deep residual networks for single image super-resolution.InProceedings of the IEEE conference on computer vision and pattern recognitionworkshops，pages 136-144，2017.)为代表，它使用深度残差网络训练SR模型。Dai等人提出了一种二阶通道注意模块网络SAN(Tao Dai，Jianrui Cai，Yongbing Zhang，Shu-Tao Xia，and Lei Zhang.Second-order attention network for single image super-resolution.In Proceedings of the IEEE Conference on Computer Vision andPattern Recognition，pages 11065-11074，2019.)，通过使用二阶特征统计量来自适应地重新缩放通道特征，以获得更多的判别表示。Haris(Muhammad Haris，GregoryShakhnarovich，and Norimichi Ukita.Deep back-projection networks for super-resolution.In Proceedings of the IEEE conference on computer vision andpattern recognition，pages 1664-1673，2018.)等人提出深度反投影网络利用迭代的上采样层和下采样层，为每个阶段的投影误差提供误差反馈机制。

这些基于双三次核生成的数据训练的SR模型只能在干净的HR数据上很好地工作，因为模型在训练过程中从未见过模糊/噪声的数据，这与现实世界的需求不一致，真实的LR图像经常带有噪音和模糊。为了解决这个矛盾，Xu等人(Xiangyu Xu，Yongrui Ma，andWenxiu Sun.Towards real scene super-resolution with raw images.In Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition，pages 1723-1731，2019.)用特定的相机设备直接从自然场景中收集原始照片对，但是收集这样的配对数据需要严格的条件和大量的人工成本。与此同时，一系列现实世界的超分辨率挑战吸引了许多参与者，许多新的方法被提出来解决这个问题。例如Fritsche等人(ManuelFritsche，Shuhang Gu，and Radu Timofte.Frequency separation for real-worldsuper-resolution.arXiv preprint arXiv：1911.07850，2019.)提出了DSGAN模型来生成退化图像。Lugmayr等人(Andreas Lugmayr，Martin Danelljan，and RaduTimofte.Unsupervised learning for real-world super-resolution.In ICCVWorkshops，2019.)提出了一种用于现实世界超分辨率的无监督学习方法。ZSSR(AssafShocher，Nadav Cohen，and Michal Irani.“zero-shot”super-resolution usingdeep internal learning.In Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition，pages 3118-3126，2018.)放弃了对大数据的训练过程，对每幅测试图像训练一个小模型，使特定的模型更关注图像的内部信息，但是付出的代价是推理的时间大大增加了。

发明内容

本发明的目的在于解决上述的问题，提供一种改进的基于多退化模型的多任务协同优化图像超分辨率重建方法。本发明通过多退化模型制作训练集和验证集，使退化后的低分辨率图像更加接近真实图像，从而使网络模型对处理真实图像更加友好；另外通过应用多任务协同优化的策略优化网络，使得模型更关注于图像本身特征，包括局部亮度、对比度、结构相似性，实验证明本发明能够生成更高质量的超分辨率图像。

基于多退化模型的多任务协同优化图像超分辨率重建方法，包括以下步骤：

步骤1：获取训练数据集、验证数据集，其中训练集和验证集都包括原始的高分辨率HR图像以及由特有的退化系统生成的低分辨率LR图像；

步骤2：采用经典的深度学习模型FSRCNN为基础模型重建超分辨率图像，该模型提出了一个紧凑的沙漏形CNN结构，以更快、更好的进行图像的超分辨；

步骤3：初始化步骤2中建立的深度学习网络模型的权重，初始化网络模型，选取优化器，设置网络训练的参数；

步骤4：改进后的模型没有沿用FSRCNN中的MSE损失，而是提出了一种多任务协同优化的策略来代替像素级的L2损失函数，该方法使真实数据集更加友好的训练网络模型直到收敛，从而使得网络具有较好的重建图像的能力；

步骤5：制作测试数据集realset，该数据集由两部分组成，其中一部分是真实场景下图像，另一部分运用多退化模型获取；

步骤6：加载训练好的网络模型，将测试数据集输入到超分辨率网络模型，生成超分辨率图像；

步骤7：计算生成的超分辨率图像SR与真实的高分辨率图像HR之间的峰值信噪比(PSNR)，结构相似性(SSIM)，获得图像重建质量的量比评价指标；此外，将该模型的SR图像进行可视化，并获得图像重建质量可视化评价。

进一步地，步骤1中，采用某公司提供的真实数据集中的若干张图像制作成对的低分辨率-高分辨率图像作为训练数据集；传统算法多采用双三次下采样的方法对原始的图像进行处理，我们采用更加贴合现实世界中模糊的退化方法得到低分辨率图像，与原始的高分辨率图像构成训练样本对；所提供的图像多表现为黑暗条件下造成的模糊，我们力求能改善黑暗带给图像的模糊，故在制作训练集时，采用提供的较高清(非黑暗)图像作为高分辨率图像HR，另采用多退化模型处理高分辨率图像，得到scale为r的低分辨率LR，此外LR图像的黑暗程度可以根据源域图像进行调节，LR生成公式表示为：

I_LR＝I_HR↓_r，dark (1)

其中I_LR和I_HR分别为低分辨率图像和高分辨率图像，r为下采样比例因子，dark为黑暗操作。

另外，采用某公司提供的真实数据集中的若干张图像来制作成对的低分辨率-高分辨率图像作为验证数据集；传统算法多采用譬如set5、set14、urban100、Manga109等标准数据集作为验证集，显然用标准验证集评估真实数据集训练的网络是不合理的，故同样运用多退化模型自制验证集，力求在网络训练过程更加准确评估网络的重建性能，利于观察网络模型的收敛程度。

进一步地，在步骤4中，改进后的模型没有沿用FSRCNN中的MSE损失--L2损失函数，而是采用多任务协同优化策略去优化模型，其中一个恢复效果任务是聚焦图像本身特征，故采用ssim loss进行调节，在恢复超分辨率图像方面被证明是有效的，其定义ssim loss为：

其中网络FSRCNN由θ_FSRCNN参数化，

是X与

之间的空间相似性，X是ground-truth图像，

是I_LR的最终输出。

所述协同优化策略，其另一个任务是拟合真实数据的分布，因此采用交叉熵损失函数Cross Entropy Loss的微调策略来拟合HR的分布，定义Cross Entropy Loss为：

其中PX为ground-truth图像概率分布，

为FSRCNN模型输出的概率分布，N为训练数据的数量。

在上述步骤4中，经典的FSRCNN模型使用的L2损失函数更多的是相关于峰值信噪比PSNR，而与人类对图像质量的感知并不具有很好的相关性，甚至在某种程度上psnr与感知质量成反比，因此我们提出了一种多任务协同优化的策略来代替像素级的L2损失函数，这使得模型更关注于图像本身特征，包括局部亮度、对比度、结构相似性；因此，采用了上述不同的损失函数分别侧重关注图像恢复的任务，最后对两个损失函数进行加权求和；多任务协同优化策略是指两个损失函数的组合可以达到多任务协同优化的目的，进一步提高性能。基于上述两个任务的损失，我们将FSRCNN超分辨率模型的总体损失函数定义为：

L^FSRCNN(θ_FSRCNN，X)＝L^SSIM(θ_FSRCNN，X)+βL^ED(θ_FSRCNN，X) (4)

其中，L^FSRCNN(θ_FSRCNN，X)是FSRCNN模型的多任务协同优化总体损失函数，β是一个权衡参数，通过平衡整体目标损失函数来微调模型。

附图说明

图1为本发明基于多退化模型的多任务协同优化图像超分辨率重建方法的训练流程图。

图2为本发明基于多退化模型的多任务协同优化图像超分辨率重建方法的baseline模型结构示意图。

图3为本发明基于多退化模型的多任务协同优化图像超分辨率重建方法的多退化模型示意图。

图4为本发明在不同黑暗程度下恢复图像的峰值信噪比(PSNR)、结构相似性(SSIM)。

图5为本发明实施案例中多退化模型处理的LR图像示意图。

图6为本发明实施案例中采用基于多退化模型的多任务协同优化图像超分辨率重建方法的SR图像示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

按照训练流程图，如图1所示，首先采用某公司提供的真实数据集中的若干张图像制作成对的低分辨率-高分辨率图像作为训练数据集和验证数据集。所提供的图像多表现为黑暗条件下造成的模糊，我们力求能改善黑暗带给图像的模糊，故在制作训练集时，采用提供的较高清(非黑暗)图像作为高分辨率图像HR，另采用基于opencv库函数的多退化模型(如图3所示)处理高分辨率图像，得到scale为r的低分辨率LR，此外黑暗程度可以根据源域进行调节。

采用经典的深度学习模型FSRCNN为基础模型重建超分辨率图像，该模型提出了一个紧凑的沙漏形CNN结构，以更快、更好的进行图像的超分辨，如图2所示；

进一步，初始化上述建立的深度学习网络模型的权重，初始化网络模型，选取优化器，设置网络训练的参数；

改进后的模型没有沿用FSRCNN中的MSE损失，而是提出了一种多任务协同优化的策略来代替像素级的L2损失函数，因为L2损失函数更多的是相关于峰值信噪比PSNR，而与人类对图像质量的感知并不具有很好的相关性，甚至在某种程度上psnr与感知质量成反比，因此我们提出了一种多任务协同优化的策略来代替像素级的L2损失函数，这使得模型更关注于图像本身特征，包括局部亮度、对比度、结构相似性；因此，采用了不同的损失函数分别侧重关注图像恢复的任务，最后对两个损失函数进行加权求和；多任务协同优化策略是指两个损失函数的组合可以达到多任务协同优化的目的，进一步提高性能。

制作测试数据集realset，该数据集由两部分组成，其中一部分是真实场景下图像，另一部分运用多退化模型获取；运用特有的多退化系统获取测试数据集，其中包括三个场景，分别为马路、汽车、斑马线，每个场景下包含三种不同黑暗程度的图像，分别为70度黑暗图、100度黑暗图、130度黑暗图，如图5所示；

加载训练好的网络模型，将测试数据集输入到超分辨率网络模型进行测试，生成超分辨率图像；

最后，计算生成的超分辨率图像SR与真实的高分辨率图像HR之间的峰值信噪比(PSNR)，结构相似性(SSIM)，获得图像重建质量的量比评价指标，如图4所示；此外，将该模型的SR图像进行可视化，并获得图像重建质量可视化评价，如图6所示。

Claims (6)

1.基于多退化模型的多任务协同优化图像超分辨率重建方法，其特征在于，包括以下步骤：

步骤1：获取训练数据集、验证数据集，其中训练集和验证集都包括原始的高分辨率HR图像以及由多退化模型生成的低分辨率LR图像；

步骤2：采用经典的深度学习模型FSRCNN为基础模型重建超分辨率图像，该模型提出了一个紧凑的沙漏形CNN结构，以更快、更好的进行图像的超分辨；

步骤3：初始化步骤2中建立的深度学习网络模型的权重，初始化网络模型，选取优化器，设置网络训练的参数；

步骤4：改进后的模型没有沿用FSRCNN中的MSE损失函数，而是提出了一种多任务协同优化的策略来代替像素级的L2损失函数优化模型；

步骤5：制作测试数据集realset，该数据集由两部分组成，其中一部分是真实场景下图像，另一部分运用多退化模型获取；

步骤6：加载训练好的网络模型，将测试数据集输入到超分辨率网络模型，生成超分辨率图像；

步骤7：计算生成的超分辨率图像SR与真实的高分辨率图像HR之间的峰值信噪比(PSNR)，结构相似性(SSIM)，获得图像重建质量的量比评价指标；此外，将该模型的SR图像进行可视化，并获得图像重建质量可视化评价。

2.根据权利要求1所述的一种基于多退化模型的多任务协同优化图像超分辨率重建方法，其特征在于，在上述步骤1中，制作训练数据集时，采用多退化模型处理高清图像，得到下采样率为r的低分辨率图像。不同于其他研究工作算法中的低分辨率图像，该工作中低分辨率图像在尺寸大小、模糊度和加黑暗三方面都做了工作。另外为了贴合真实场景下黑暗图片，该退化模型根据源域中真实黑暗程度调节低分辨率图像，低分辨率图像的生成公式表示为：

I_LR＝I_HR↓_r，dark (1)

其中I_LR和I_HR分别为低分辨率图像和高分辨率图像，r为下采样比例因子，dark为黑暗操作。

3.根据权利要求1所述的基于多退化模型的多任务协同优化图像超分辨率重建方法，其特征在于，在上述步骤1中，传统算法多采用譬如set5、set14、urban100、Manga109等标准数据集作为验证集，显然用标准验证集评估真实数据集训练的网络是不合理的，故同样采用上述步骤2中的方法自制验证集。

4.根据权利要求1所述的基于多退化模型的多任务协同优化图像超分辨率重建方法，其特征在于，在上述步骤4中，改进后的模型没有沿用FSRCNN中的MSE损失--L2损失函数，而是采用多任务协同优化策略去优化模型，其中一个恢复效果任务是聚焦图像本身特征，故采用ssim loss进行调节，该损失函数定义为：

其中网络FSRCNN由θ_FSRCNN参数化，

是X与

之间的空间相似性，X是ground-truth图像，

是I_LR的最终输出。

5.根据权利要求4所述的基于多退化模型的多任务协同优化图像超分辨率重建方法，其特征在于，在上述步骤4中，采用交叉熵损失函数Cross Entropy Loss的微调策略来拟合HR的分布，其定义为：

其中PX为ground-truth图像概率分布，

为FSRCNN模型输出的概率分布，N为训练数据的数量。

6.根据权利要求1所述的基于多退化模型的多任务协同优化图像超分辨率重建方法，其特征在于，在上述步骤4中，我们提出了一种多任务协同优化的策略来代替像素级的L2损失函数。多任务协同优化策略是指多个损失函数的加权组合可以达到多任务协同优化模型的目的，故采用了上述不同的损失函数分别侧重关注图像恢复的任务，基于上述两个任务的损失函数，我们将FSRCNN超分辨率模型的总体损失函数定义为：

L^FSRCNN(θ_FSRCNN，X)＝L^SSIM(θ_FSRCNN，X)+βL^ED(θ_FSRCNN，X) (4)

其中，L^FSRCNN(θ_FSRCNN，X)是FSRCNN模型的多任务协同优化总体损失函数，β是一个权衡参数，通过平衡整体目标损失函数来微调模型。

Images