CN115760638A - 一种基于深度学习的端到端去模糊超分辨率的方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的端到端去模糊超分辨率的方法。首先构建JD_NDMSR网络模型，基于深度卷积神经网络，包括下采样层、颜色提取模块、特征提取模块、图像重建模块、两个上采样层和一个残差块；然后进行数据进行预处理；最后通过预处理好的数据训练构建的网络模型。本发明所提出的基于端到端学习的解决方案JD_ND_MSR在数量和质量上都优于其他解决方案。此外，通过使用平均绝对误差代价函数代替均方误差进行训练，提高了JD_ND_MSR的性能。

Description

一种基于深度学习的端到端去模糊超分辨率的方法

技术领域

本文涉及计算机视觉领域，提出了使用深度学习的方法来解决图像模糊和提高图像分辨率的方法。

背景技术

随着深度卷积神经网络及其在图像恢复中的应用的最新进展，基于深度学习的方法在图像去模糊领域得到了最好的效果。在许多实际应用中，采集的图像会因很多原因而失真，因此必须解决单个图像的恢复问题。然而，现有的解决方案并不理想。针对图像去噪问题，大多数算法平滑了高频内容，如图像细节和纹理，同时消除了平坦区域的噪声。图像去马赛克和超分辨率算法通常会在固定图像的纹理区域和图像的边缘周围引入颜色伪影。因此，此类的去模糊方法将会导致误差的累积。

为了得到较好的解决方案，LaurentCondat等人提出了组合问题的联合解决方案，但是为图像去模糊、去马赛克和超分辨率同时找到联合解决方案的问题却很少提及。最近，Liu等人提出了联合问题的一种解决方案，即SGNet，通过对绿色通道引导和密度图引导的发展显著的提高了其去马赛克的性能。

造成图像模糊的原因点有很多，包括聚焦问题、成相过程中物体的相对运动和环境随机噪声等都会导致图像的模糊。在计算机视觉领域，想要恢复模糊图像的方法大体来说有三大类，包括图像增强、图像复原和超分辨率重构。

在深度卷积神经网络的训练过程中，运动模糊图像的生成是至关重要的，一般的方法是使用高帧率的相机来模拟生成模糊图片，但是限制是环境无法改变，并且图片的尺寸很难进行修改。其中SUN使用了73个线性运动的卷积核来对清晰的图片进行卷积操作得到模糊图片，XU使用Linearmotionkernels来合成模糊图片，还有可以通过对随机生成轨迹的拟合来生成模糊核，从而生成随机的模糊图像。图像模糊最简单的实现就是在一定区域内对像素做平均值计算及卷积，图像去模糊就是修复图像的过程。采集信息的完整度也会影响去模糊的过程，一般图像都是由三色光(红绿蓝)组成，理论上只要其中一种颜色信息完整，就可以用于辅助修复其他色光，而模糊成像一般是由对焦问题产生，导致对焦出现问题的情况有很多，假定我们能够计算得到当时是受什么因素影响，就可以通过卷积的方式来移除这一干扰因素。在我们的理解中，清晰的图片+干扰因素＝模糊成像，反过来会不会是模糊成像-干扰因素＝清晰图片，但其实不然。

在图像超分辨率领域，由于高频信息的丢失，使得从缩小的低分辨率图片中恢复细节成为难题。其中有可逆双射变换，生成效果较好的低分辨率的图像来进行训练，并在过程中使用潜在的变量跟踪损失信息的分布，捕捉其信息，通过这种方式，通过网络将随机绘制的潜在变量与低分辨率图像反向传递，从而使放大变得易于处理。基于上述阐述，对一张图像如果可以同时完成去噪声、去模糊和去马赛克任务，不仅可以实现问题解决的快捷化还可以增加拍摄处理图像的完成度。

先进的图像去模糊的方法可分为两大类：基于模型的方法和基于深度学习的方法。BM3D通常被视为去模糊的基准，属于第一类。2017年，Zhang等人应用了一种称为DnCNN的深卷积神经网络。DnCNN在CNN上采用残差学习和批量归一化方法对高斯噪声进行盲去模糊，取得了很好的效果。后来，出现了许多其他基于机器学习的图像去模糊的方法。为了降低制造成本，大多数数码相机传感器在每个像素上只捕获一种颜色。摄像机传感器由彩色滤光片阵列(CFA)覆盖。图像去马赛克是指从动物传感器输出的不完整彩色样本中，对全分辨率彩色图像进行相互极化的过程。大多数拆卸方法都是专门为CFA设计的，拜耳CFA是最流行的CFA。现有算法也可分为两类：基于模型的方法，该方法基于数学模型和空间光谱域中的图像先验信息恢复图像；以及基于学习的方法，基于从大量训练数据中学习到的过程映射。在实际应用中，多个图像恢复问题同时出现，导致了需要解决的组合问题。近年来，多重图像的混合问题取代了传统的单一问题。例如联合去模糊和去马赛克等。然而，关于去模糊、去马赛克和图像超分辨率的组合问题的研究仍然缺乏特别的关注。2019年，Qian等人提出了一个三位一体网络来共同解决这一复合问题。2020年，Liu等人提出了用于联合图像去模糊和超分辨率的SGNet，它还可以处理去模糊、去马赛克和SR的混合问题。对于现有联合任务的研究而言，在联合任务的执行顺序上一直无法准确的给出最佳方案，所使用的网络模型也参差不齐，增加了确定执行顺序的复杂度。

发明内容

针对现有技术中存在的不足，本发明提供一种基于深度学习的端到端去模糊超分辨率的方法。

我们首先研究了图像去模糊、去马赛克和超分辨率的执行顺序。然后，我们提出了一个关于混合问题的深度卷积神经网络。对于去模糊、去马赛克和图像超分辨率的混合问题，需要从噪声较低的原始图像中估计高分辨率彩色图像。对于执行顺序，去马赛克应该遵循位于去模糊之后，以避免去马赛克后过滤相关噪声的复杂性。此外，由于在超分辨率彩色图像时可以利用颜色通道之间的相关性，因此应在超分辨率之前执行去马赛克。此外，对原始图像进行超分辨率处理会破坏原始马赛克图案，增加了去马赛克的难度。因此，对于固定的执行顺序：去模糊→去马赛克→图像SR。

基于以上的说明，可以得出的第一种解决方案是依次使用三种有针对性的方法逐个解决相应的问题以达到图像恢复的目的：

其中M表示图像恢复方法，DN、DM、SR分别表示去模糊、去马赛克和超分辨率，ILR是高分辨率图像IHR的估计。

第二种解决方案可以是组合两个图像恢复任务，然后再执行剩余的一个，以下分别阐述了先执行超分辨率再组合执行去噪去马赛克和先组合执行去马赛克超分任务再单独执行去噪任务：

其中J表示联合过程。同样，第三种解决方案是完全组合的端到端的解决方案，即组合三种任务为一体的形式：

一种基于深度学习的端到端去模糊超分辨率的方法，包括如下步骤：

步骤1、构建JDNDMSR网络模型；

JDNDMSR网络模型基于深度卷积神经网络，包括下采样层、颜色提取模块、特征提取模块、图像重建模块、两个上采样层和一个残差块。

输入数据首先经过下采样层，下采样方式为卷积直接下采样，即通过核为3步长为2的单一卷积层实现下采样。

颜色提取模块是下采样后首先经过的模块，该模块包括了一个256通道输出的卷积层和一个输出为64的转置卷积层。通过颜色提取模块将输入图像经过一次尺度的放大，提升整体网络的性能，所得到的权重信息可以有效的提取图片的色彩信息，来有效还原预处理之后的图片。

对颜色提取模块处理后的数据进行上采样，通过上采样到输入图像尺寸的两倍完成超分辨率任务，在本次上采样的过程中使用的是通道数为64，上采样倍率为2的双三次线性插值；

特征提取模块由两个稠密层连接RRDB和一个长跳转连接(LSC)组成，通过特征提取模块对经过上采样后的颜色提取模块输出数据进行特征提取。在充分重复利用前一个模块提取出的特征的同时，更有助于重建模块的图像重建。通过特征提取模块的提取，可以更好的提取图片本身的纹理信息。

在经过特征提取模块后的输入图像通过上采样到输入图像尺寸的两倍完成超分辨率任务，在本次上采样的过程中使用的是通道数为64，上采样倍率为2的双三次线性插值。

在上采样之后需要经过图像重建模块，首先使用转置卷积层将提取的特征转换为原始图像的信息特征，再在此之后经过输出卷积层得到图像重建模块的输出。

图像重建模块的输出与上采样后的颜色提取模块输出数据通过残差块连接，获得网络模型的最终输出；残差块的内容包括了一个转置卷积层，具体参数为步长2核2padding0。

步骤2、数据预处理；

网络模型分为三个子训练过程，在数据处理中需要分别对需要训练的数据集做预处理操作。在进行去模糊训练中，需要对输入的拜耳CFA图像进行模糊操作。即，对于去模糊的数据进行预处理过程，通过添加噪声(σ)为10、20和30的高斯噪声生成带噪输入图像。在进行去马赛克的训练过程中，需要将输入的图像更改为RAW图，即对于去马赛克的数据进行预处理操作，将已经加入噪声的输入图像拼接成拜耳CFA模式的单通道图像。在进行超分辨率的训练过程中，需要原始的高分辨率的图像按照一定的比例进行缩小，即表述为超分辨率的数据预处理，对高分辨率图像使用比例因子为2进行双三次插值的缩放。

步骤3、通过预处理好的数据训练构建的网络模型；

在训练过程中的处理如下：对图像进行随机的旋转，包括90°、180°、270°来进一步增强数据。对于每个训练单元，小批量大小为16，裁剪大小为64×64。对于网络参数的优化器，使用β₁＝0.9和β₂＝0.99的Adam优化器，学习率初始化为0.001；训练进行100轮。

所提出的网络模型JDND_MSR采用MSE损失函数进行优化。对于通过步骤2处理的现有训练集

对网络模型进行训练，其中

和

分别代表了低分辨率输入和相应的高分辨率输出，训练的目的就是最小化其损失函数:

上式中，Θ表示JD_ND_MSR的参数集。

本发明有益效果如下：

本发明所提出的基于端到端学习的解决方案JD_ND_MSR在数量和质量上都优于其他解决方案。此外，通过使用平均绝对误差代价函数代替均方误差进行训练，提高了JD_ND_MSR的性能。此外，可以关闭建议网络的去噪操作和超分辨率操作(通过将噪声级设置为0，比例因子设置为1)。当超分辨率操作关闭时，用于联合去模糊和去马赛克的JD_ND_MSR优于最先进的方法。

附图说明

图1为本发明实施例网络模型结构示意图；

图2为本发明实施例实验数据。

具体实施方式

以下结合附图与实施例对本发明进行进一步描述。

一种基于深度学习的端到端去模糊超分辨率的方法，包括如下步骤：

步骤1、构建JDND_MSR网络模型；

JDNDMSR网络模型基于深度卷积神经网络，结构如图1所示，包括下采样层、颜色提取模块、特征提取模块、图像重建模块、两个上采样层和一个残差块。

输入数据首先经过下采样层，下采样方式为卷积直接下采样，即通过核为3步长为2的单一卷积层实现下采样。

颜色提取模块是下采样后首先经过的模块，该模块包括了一个256通道输出的卷积层和一个输出为64的转置卷积层。通过颜色提取模块将输入图像经过一次尺度的放大，提升整体网络的性能，所得到的权重信息可以有效的提取图片的色彩信息，来有效还原预处理之后的图片。

对颜色提取模块处理后的数据进行上采样，通过上采样到输入图像尺寸的两倍完成超分辨率任务，在本次上采样的过程中使用的是通道数为64，上采样倍率为2的双三次线性插值；

特征提取模块由两个稠密层连接RRDB和一个长跳转连接(LSC)组成，通过特征提取模块对经过上采样后的颜色提取模块输出数据进行特征提取。在充分重复利用前一个模块提取出的特征的同时，更有助于重建模块的图像重建。通过特征提取模块的提取，可以更好的提取图片本身的纹理信息。

在经过特征提取模块后的输入图像通过上采样到输入图像尺寸的两倍完成超分辨率任务，在本次上采样的过程中使用的是通道数为64，上采样倍率为2的双三次线性插值。

在上采样之后需要经过图像重建模块，首先使用转置卷积层将提取的特征转换为原始图像的信息特征，再在此之后经过输出卷积层得到图像重建模块的输出。

图像重建模块的输出与上采样后的颜色提取模块输出数据通过残差块连接，获得网络模型的最终输出；残差块的内容包括了一个转置卷积层，具体参数为步长2核2padding0。

步骤2、数据预处理；

网络模型分为三个子训练过程，在数据处理中需要分别对需要训练的数据集做预处理操作。在进行去模糊训练中，需要对输入的拜耳CFA图像进行模糊操作。即，对于去模糊的数据进行预处理过程，通过添加噪声(σ)为10、20和30的高斯噪声生成带噪输入图像。在进行去马赛克的训练过程中，需要将输入的图像更改为RAW图，最常见的方式就是变更为拜耳CFA模式的图片，即对于去马赛克的数据进行预处理操作，将已经加入噪声的输入图像拼接成拜耳CFA模式的单通道图像。在进行超分辨率的训练过程中，需要原始的高分辨率的图像按照一定的比例进行缩小，即表述为超分辨率的数据预处理，对高分辨率图像使用比例因子为2进行双三次插值的缩放。

步骤3、通过预处理好的数据训练构建的网络模型；

在训练过程中的处理如下：对图像进行随机的旋转，包括90°、180°、270°来进一步增强数据。对于每个训练单元，小批量大小为16，裁剪大小为64×64。上述所有的过程和本文模型运行所采用的平台都是Python。对于网络参数的优化器，使用β₁＝0.9和β₂＝0.99的Adam优化器，学习率初始化为0.001；训练进行100轮。

所提出的网络模型JD_NDMSR采用MSE损失函数进行优化。通过步骤2预处理后的现有训练集

对网络模型进行训练，本次任务所使用的训练和测试数据集为DIV2K，其中

和

分别代表了低分辨率输入和相应的高分辨率输出，训练的目的就是最小化其损失函数:

上式中，Θ表示JD_ND_MSR的参数集。

通过计算完整RGB图像上的PSNR和SSIM指标，对其进行定量分析，其中结果是整个数据集的平均值。对于超分辨率图像，图像的边界将被刮除，比例因子作为刮除边界的宽度。图2显示了联合图像去模糊、去马赛克和超分辨率的所有解决方案的定量比较。我们将噪声级固定为10，比例因子固定为2。此比较中使用的损失函数为MSE。由于CNN模型对输入数据敏感，所有模型都使用特定的输入和输出对进行重新训练。为了减少不同任务之间的交互，模型应该输入前一个模型的结果，同时尝试纠正前一个处理过程中产生的错误。与其他解决方案相比，我们的组合解决方案JD_ND_MSR在两个数据集上都表现得更好。即使没有迁移学习，我们单一的组合解决方案JD_ND_MSR也优于大多数比较解决方案。另一方面，与直接利用训练模型相比，重新训练的模型可以获得更好的性能。我们的JD_ND_MSR不仅消除了模糊，而且在高频区域恢复了更多细节。

在图2中，我们可以看到我们的基本的网络模型JD_ND_MSR是最好的联合解决方案。相比之下，以第二个方法组合的训练模型达到了第二好的性能。此外，第四个最佳解决方案是Eqn的再训练版本。这两种解决方案都从特定的重新训练的DnCNN模型开始。因此，一个经过专门训练的DnCNN模型可以为联合去模糊、去马赛克和图像超分辨率提供良好的开端。

然而，通过额外的噪声级估计输入，我们的JD_ND_MSR可以实现相当好的性能，展示了卓越的性能。这一观察结果表明，组合解决方案可以避免累积误差。再根据表1，组合解决方案JD_ND_MSR在性能、存储和计算效率方面优于其他解决方案。

在固定的执行顺序下，我们系统地比较了图像去模糊、去马赛克和超分辨率联合问题的解决方案。大量实验表明，所提出的基于端到端学习的解决方案JD_ND_MSR在数量和质量上都优于其他解决方案。此外，通过使用平均绝对误差代价函数代替均方误差进行训练，提高了JD_ND_MSR的性能。在四个基准数据集上，该优化模型的性能超过了最先进的方法原理。此外，可以关闭建议网络的去噪操作和超分辨率操作(通过将噪声级设置为0，比例因子设置为1)。当超分辨率操作关闭时，用于联合去模糊和去马赛克的JD_ND_MSR优于最先进的方法。

Claims (2)

1.一种基于深度学习的端到端去模糊超分辨率的方法，其特征在于，包括如下步骤：

步骤1、构建JD_ND_MSR网络模型；

JDNDMSR网络模型基于深度卷积神经网络，包括下采样层、颜色提取模块、特征提取模块、图像重建模块、两个上采样层和一个残差块；

步骤2、数据预处理；

网络模型分为三个子训练过程，在数据处理中需要分别对需要训练的数据集做预处理操作；在进行去模糊训练中，需要对输入的拜耳CFA图像进行模糊操作；即，对于去模糊的数据进行预处理过程，通过添加噪声为10、20和30的高斯噪声生成带噪输入图像；在进行去马赛克的训练过程中，需要将输入的图像更改为RAW图，即对于去马赛克的数据进行预处理操作，将已经加入噪声的输入图像拼接成拜耳CFA模式的单通道图像；在进行超分辨率的训练过程中，需要原始的高分辨率的图像按照一定的比例进行缩小，即表述为超分辨率的数据预处理，对高分辨率图像使用比例因子为2进行双三次插值的缩放；

步骤3、通过预处理好的数据训练构建的网络模型；

在训练过程中的处理如下：对图像进行随机的旋转，包括90°、180°、270°来进一步增强数据；对于每个训练单元，小批量大小为16，裁剪大小为64×64；对于网络参数的优化器，使用β₁＝0.9和β₂＝0.99的Adam优化器，学习率初始化为0.001；训练进行100轮；

所提出的网络模型JD_ND_MSR采用MSE损失函数进行优化；对于通过步骤2处理的现有训练集

对网络模型进行训练，其中

和

分别代表了低分辨率输入和相应的高分辨率输出，训练的目的就是最小化其损失函数:

上式中，Θ表示JD_ND_MSR的参数集。

2.根据权利要求1所述的一种基于深度学习的端到端去模糊超分辨率的方法，其特征在于，步骤1具体方法如下：

JDNDMSR网络模型基于深度卷积神经网络，包括下采样层、颜色提取模块、特征提取模块、图像重建模块、两个上采样层和一个残差块；

输入数据首先经过下采样层，下采样方式为卷积直接下采样，即通过核为3步长为2的单一卷积层实现下采样；

颜色提取模块是下采样后首先经过的模块，该模块包括了一个256通道输出的卷积层和一个输出为64的转置卷积层；通过颜色提取模块将输入图像经过一次尺度的放大，提升整体网络的性能，所得到的权重信息可以有效的提取图片的色彩信息，来有效还原预处理之后的图片；

对颜色提取模块处理后的数据进行上采样，通过上采样到输入图像尺寸的两倍完成超分辨率任务，在本次上采样的过程中使用的是通道数为64，上采样倍率为2的双三次线性插值；

特征提取模块由两个稠密层连接RRDB和一个长跳转连接(LSC)组成，通过特征提取模块对经过上采样后的颜色提取模块输出数据进行特征提取；在充分重复利用前一个模块提取出的特征的同时，更有助于重建模块的图像重建；通过特征提取模块的提取，可以更好的提取图片本身的纹理信息；

在经过特征提取模块后的输入图像通过上采样到输入图像尺寸的两倍完成超分辨率任务，在本次上采样的过程中使用的是通道数为64，上采样倍率为2的双三次线性插值；

在上采样之后需要经过图像重建模块，首先使用转置卷积层将提取的特征转换为原始图像的信息特征，再在此之后经过输出卷积层得到图像重建模块的输出；

图像重建模块的输出与上采样后的颜色提取模块输出数据通过残差块连接，获得网络模型的最终输出；残差块的内容包括了一个转置卷积层，具体参数为步长2核2padding0。

Images