CN111476745A - 一种进行运动模糊超分辨的多分支网络及方法 - Google Patents

Abstract

本发明公开了一种进行运动模糊超分辨的多分支网络及方法，包括依次相连的去模糊模块、融合模块、重建模块和图像输出模块，还包括与去模糊模块并联的SR特征提取模块。方法包括：获取图像并对图像进行处理；建立数据集；构建网络结构；计算并输出处理结果。提出包括三条分支的网络，前两条分别实现高频去模糊和低频去模糊，构成了对偶双分支生成对抗网络为去模糊模块，把高频信息去模糊作为单独一条支路更加强调了图像细节部分的复原，第三条分支实现超分辨特征提取，经过融合模块把去模糊和超分辨特征融合再进行重建，对由于相机和景物之间的相对运动造成的运动模糊图像进行有效地超分辨，生成令人愉悦的高分辨率图像。

Description

一种进行运动模糊超分辨的多分支网络及方法

技术领域

本发明涉及图像处理领域，尤其涉及一种进行运动模糊超分辨的多分支网络及方法。

背景技术

超分辨旨在从低分辨率(LR)图像恢复高分辨率(HR)图像，近年来，这种图像受到了广泛的关注和进步。超分辨方法用于输入固有的低分辨率图像，例如来自监视摄像机和移动摄像机的低质量图像，生成令人愉悦的高分辨率图像，生成的高分辨率可以显着提高其他机器视觉任务的性能。在实际应用中，由于摄像机或者目标运动，捕获的图像倾向于变得模糊，这种模糊称之为运动模糊。此时进行超分辨方法将放大移动人周围的运动模糊并生成模糊的高分辨率斑块，无法得到正常的高分辨率图像，因此可对具有运动模糊的图像进行超分辨尤其重要。

基于单幅模糊图像的去模糊问题存在高度欠定的问题。且在图像模糊的过程中，清晰图像和模糊核发生卷积，相当于对场景信息进行一次低通滤波，对应于模糊核高频零点的图像信息在成像过程中会发生缺失。卷积不可逆，导致用传统方法去运动模糊成为了一个病态性的问题，且去模糊之后也无法产生一张高分辨率的图像。无论是先超分辨再去模糊还是先去模糊再超分辨都会产生大量的参数且会不适当地增强某些结构伪像。

中国专利文献CN104376547A公开了一种“运动模糊图像复原方法”。包括：相机选型；场景序列图像获取；序列图像间时空配准；高分辨率图像序列重构等步骤。与现有技术相比较，本发明具备如下有益效果：(1)本发明充分利用了多相机获取同场景图像序列和时序控制电路的时序控制，增加了所获场景图像的细节信息；(2)本发明充分利用了分层搜索策略，提高了图像匹配的速度和精度； (3)本发明充分利用了不同视频图像间亚像素级互补信息和超分辨率重建算法，复原了运动模糊图像，提高了视频图像的分辨率。上述技术方案依次进行去模糊和超分辨，对图像造成了不可逆的影响。

发明内容

本发明主要解决原有的超分辨和去模糊对图像造成不可逆影响的技术问题，提供一种进行运动模糊超分辨的多分支网络及方法，提出包括三条分支的网络，前两条分别实现高频去模糊和低频去模糊，构成了对偶双分支生成对抗网络为去模糊模块，把高频信息去模糊作为单独一条支路更加强调了图像细节部分的复原，第三条分支实现超分辨特征提取，经过融合模块把去模糊和超分辨特征融合再进行重建，对由于相机和景物之间的相对运动造成的运动模糊图像进行有效地超分辨，生成令人愉悦的高分辨率图像。

本发明的上述技术问题主要是通过下述技术方案得以解决的：一种进行运动模糊超分辨的多分支网络，包括图像输入模块、去模糊模块、SR特征提取模块、融合模块、重建模块和图像输出模块，所述去模糊模块、融合模块、重建模块和图像输出模块依次相连，所述SR特征提取模块与去模糊模块并联的同时和图像输入模块、融合模块相连。

作为优选，所述的去模糊模块包括高频去模糊模块和低频去模糊模块，去模糊模块的训练集包括模糊低分辨图像LRB、清晰低分辨图像的高频部分LRSH和清晰低分辨图像的低频部分LRSL，上下两个分支均使用对偶生成对抗网络结构，生成器使用pix2pix的U-Net结构，配置有相等数量的下采样和上采样层，在镜像的下采样层和上采样层之间设有跳过连接成为U形网络。

作为优选，所述的SR特征提取模块的生成器部分包括八个ResBlocks。

作为优选，所述的融合模块包括两个卷积层，其滤波器大小分别为3×3和 1×1。

作为优选，所述的重建模块包括八个ResBlock、一个像素改组层和两个最终的卷积层，所述融合模块与八个ResBlock和一个像素改组层相连。

一种进行运动模糊超分辨的多分支网络的运行方法，其特征在于，包括以下步骤：

(1)获取图像并对图像进行处理；

(2)建立数据集；

(3)构建网络结构；

(4)计算并输出处理结果。

作为优选，所述的步骤1获取图像为高分辨率清晰图像HRS。

作为优选，所述的步骤1处理方法为先对高分辨率清晰图像HRS进行2倍降采样，得到低分辨率清晰图像LRS，对低分辨率清晰图像LRS再进行模糊处理，固定模糊角度为0°，前10张模糊尺度设为5，后面每隔10张模糊尺度加1，最终得到模糊尺度不相同的低分辨率模糊图像LRB。

作为优选，所述的步骤2使用滤波器对低分辨率清晰图像LRS分别提取高频信息部分LRSH和低频信息部分LRSL，形成三对数据集，低分辨率模糊图像 LRB和低分辨率清晰图像的高频信息部分LRSH,低分辨率模糊图像LRB和低分辨率清晰图像的低频信息部分LRSL,低分辨率模糊图像LRB和高分辨率清晰图像HRS。

作为优选，所述的步骤4通过计算确定损失函数，分支均使用GAN网络，去模糊模块两个分支的生成对抗网络的损失函数分别为：

其中，X表示输入的低分辨率模糊图像LRB，Y1表示低分辨率清晰图像的高频信息部分LRSH,Y2表示低分辨率清晰图像的低频信息部分LRSL，G_H(X)表示输入模糊图通过高频分支生成的图像，D_H表示高频分支判别器，G_L(X)表示输入模糊图通过低频分支生成的图像，D_L表示低频分支判别器。超分辨分支的损失函数为：

其中Y表示高分辨清晰图像HRS,G_SR(X)表示输入模糊图通过超分辨分支生成的图像，D_H表示超分辨分支判别器，因此，本专利通过共同优化超分辨率损失和去模糊损失来训练我们的网络：

min[SR_loss+αH_loss+βL_loss]

其中α和β是权衡三个损失项的权重。根据经验将α＝0.3，β＝0.3。

本发明的有益效果是：提出包括三条分支的网络，前两条分别实现高频去模糊和低频去模糊，构成了对偶双分支生成对抗网络为去模糊模块，把高频信息去模糊作为单独一条支路更加强调了图像细节部分的复原，第三条分支实现超分辨特征提取，经过融合模块把去模糊和超分辨特征融合再进行重建，对由于相机和景物之间的相对运动造成的运动模糊图像进行有效地超分辨，生成令人愉悦的高分辨率图像。

附图说明

图1是本发明的一种原理连接结构框图。

图中1图像输入模块，2去模糊模块，2.1高频去模糊模块，2.2低频去模糊模块，3SR特征提取模块，4融合模块，5重建模块，6图像输出模块。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：本实施例的一种进行运动模糊超分辨的多分支网络，如图1所示，包括图像输入模块1、去模糊模块2、SR特征提取模块3、融合模块4、重建模块5和图像输出模块6，其中，去模糊模块、融合模块、重建模块和图像输出模块依次相连，SR特征提取模块与去模糊模块并联的同时和图像输入模块、融合模块相连。去模糊模块Deblurring Module，用于分别提取去模糊特征并预测清晰的低分辨率图像LR的高频信息部分LRSH和低频信息部分LRSL，再进行加权。 SR特征提取模块SR Module提取图像超分辨率的特征。融合模块GateModule 用于混合去模糊和超分辨率特征的权重图。重建模块Reconstruction Module重建最终的高分辨率HR输出图像。

去模糊模块使用GAN网络，包括高频去模糊模块2.1和低频去模糊模块2.2，去模糊模块的训练集包括模糊低分辨图像LRB、清晰低分辨图像的高频部分LRSH 和清晰低分辨图像的低频部分LRSL，上下两个分支均使用对偶生成对抗网络结构，生成器使用pix2pix的U-Net结构，配置有相等数量的下采样和上采样层，在镜像的下采样层和上采样层之间设有跳过连接成为U形网络。这样的设计使得低级信息能够在输入和输出之间共享，将编码器中的浅层特征直接传递给深层的解码器，两者在通道维度上直接进行拼接，通过该种方式，浅层特征与深层特征实现了融合，有利于网络重建出细节更丰富的图像。如果没有跳过层，所有级别的信息都必须穿过瓶颈，通常会导致高频信息的大量丢失。判别器使用的是 pix2pix中的判别器——PatchGAN，与普通判别网络不同，它只在图像块上判断图像的真实性，整张图像的真实性为所有图像块的真实性的平均值。只关注图像块使得PatchGAN能将“注意力”放在图像的局部信息上，使生成的图像结构更丰富细腻、整体更逼真。生成器负责根据输入的图像产生高频和低频的复原图像，判别器则负责将生成器产生的模拟图像和数据集中的清晰图像进行比较判别，并输出判别结果。

SR特征提取模块SR Module依然使用GAN网络，与去模糊模块不同的是，该模块的生成器部分，使用八个ResBlocks提取高维特征以获得图像超分辨率。因为深度残差网络大大加深了网络层数，模型的容纳能力得到大幅提升，使用该结构能获得更好更高清的图像生成效果。为了保持空间信息，不使用任何池化或跨步卷积层。

融合模块Gate Module仅由两个卷积层组成，其滤波器大小分别为3×3和 1×1。受栅极结构可用于发现多模态融合的特征重要性这一事实的启发建立栅极模块以自适应融合这两个分支特征，要保证该模块的两输入尺寸保持一致。

重建模块Reconstruction Module负责把融合模块输出的张量重建成输入图像空间分辨率扩大两倍的图像，来自融合模块的融合特征被馈入八个 ResBlock和一个像素改组层，以将空间分辨率扩大2倍。然后使用两个最终的卷积层来重构HR输出HRS。

一种进行运动模糊超分辨的多分支网络的运行方法，包括以下步骤：

(1)获取图像并对图像进行处理；用相机拍摄1151张高分辨率清晰图像 HRS，先对高分辨率清晰图像HRS进行2倍降采样，得到1151张低分辨率清晰图像LRS，对低分辨率清晰图像LRS再进行模糊处理，固定模糊角度为0°，前10 张模糊尺度设为5，后面每隔10张模糊尺度加1，最终得到1151张模糊尺度不相同的低分辨率模糊图像LRB，这是整个网络的输入图像。

(2)建立数据集；使用滤波器对低分辨率清晰图像LRS分别提取高频信息部分LRSH和低频信息部分LRSL，形成三对数据集，低分辨率模糊图像LRB和低分辨率清晰图像的高频信息部分LRSH,低分辨率模糊图像LRB和低分辨率清晰图像的低频信息部分LRSL,低分辨率模糊图像LRB和高分辨率清晰图像HRS。

(3)构建网络结构。

(4)计算并输出处理结果。

(4.1)通过计算确定损失函数。由于三条分支均使用GAN网络，去模糊模块两个分支的生成对抗网络的损失函数分别为：

其中，X表示输入的低分辨率模糊图像LRB，Y1表示低分辨率清晰图像的高频信息部分LRSH,Y2表示低分辨率清晰图像的低频信息部分LRSL，G_H(X)表示输入模糊图通过高频分支生成的图像，D_H表示高频分支判别器，G_L(X)表示输入模糊图通过低频分支生成的图像，D_L表示低频分支判别器。超分辨分支的损失函数为：

其中Y表示高分辨清晰图像HRS，G_SR(X)表示输入模糊图通过超分辨分支生成的图像，D_H表示超分辨分支判别器，因此，本专利通过共同优化超分辨率损失和去模糊损失来训练我们的网络：

min[SR_loss+αH_loss+βL_loss]

其中α和β是权衡三个损失项的权重。根据经验将α＝0.3，β＝0.3。

(4.2)训练。为了优化网络，遵循WGAN中提出的训练程序，先对鉴别器进行关键步骤训练，然后对生成器进行一步训练。使用小批量随机梯度下降法并应用RMSProp求解器，因为基于动量的方法，例如Adam，偶尔会引起不稳定性，并且已知RMSProp即使在高度不稳定的问题上也表现良好。通常将每个生成器迭代的批注者迭代次数n设置为2-4，并将批处理大小设为1，通过实验发现，这样获得的模型在测试集上的表现更好而在实验有效性上没有明显差异。削波参数c通常设置为[0.01，0.1]，具体取决于应用程序。详细的模型训练参数如表1。

初始学习率	0.00005
		优化算法	RMSProp
α	0.3
		β	0.3
Batch size	1
		迭代次数	200

表1模型训练参数。

Claims (10)

1.一种进行运动模糊超分辨的多分支网络，其特征在于，包括图像输入模块、去模糊模块、SR特征提取模块、融合模块、重建模块和图像输出模块，所述去模糊模块、融合模块、重建模块和图像输出模块依次相连，所述SR特征提取模块与去模糊模块并联的同时和图像输入模块、融合模块相连。

2.根据权利要求1所述的一种进行运动模糊超分辨的多分支网络，其特征在于，所述去模糊模块包括高频去模糊模块和低频去模糊模块，所述去模糊模块的训练集包括模糊低分辨图像LRB、清晰低分辨图像的高频部分LRSH和清晰低分辨图像的低频部分LRSL，上下两个分支均使用对偶生成对抗网络结构，生成器使用pix2pix的U-Net结构，配置有相等数量的下采样和上采样层，在镜像的下采样层和上采样层之间设有跳过连接成为U形网络。

3.根据权利要求1所述的一种进行运动模糊超分辨的多分支网络，其特征在于，所述SR特征提取模块的生成器部分包括八个ResBlocks。

4.根据权利要求1所述的一种进行运动模糊超分辨的多分支网络，其特征在于，所述融合模块包括两个卷积层，其滤波器大小分别为3×3和1×1。

5.根据权利要求1所述的一种进行运动模糊超分辨的多分支网络，其特征在于，所述重建模块包括八个ResBlock、一个像素改组层和两个最终的卷积层，所述融合模块与八个ResBlock和一个像素改组层相连。

6.一种进行运动模糊超分辨的多分支网络的运行方法，其特征在于，包括以下步骤：

(1)获取图像并对图像进行处理；

(2)建立数据集；

(3)构建网络结构；

(4)计算并输出处理结果。

7.根据权利要求6所述的一种通过多分支进行运动模糊超分辨的方法，其特征在于，所述步骤1获取图像为高分辨率清晰图像HRS。

8.根据权利要求7所述的一种通过多分支进行运动模糊超分辨的方法，其特征在于，所述步骤1处理方法为先对高分辨率清晰图像HRS进行2倍降采样，得到低分辨率清晰图像LRS，对低分辨率清晰图像LRS再进行模糊处理，固定模糊角度为0°，前10张模糊尺度设为5，后面每隔10张模糊尺度加1，最终得到模糊尺度不相同的低分辨率模糊图像LRB。

9.根据权利要求8所述的一种通过多分支进行运动模糊超分辨的方法，其特征在于，所述步骤2使用滤波器对低分辨率清晰图像LRS分别提取高频信息部分LRSH和低频信息部分LRSL，形成三对数据集，低分辨率模糊图像LRB和低分辨率清晰图像的高频信息部分LRSH,低分辨率模糊图像LRB和低分辨率清晰图像的低频信息部分LRSL,低分辨率模糊图像LRB和高分辨率清晰图像HRS。

10.根据权利要求6所述的一种通过多分支进行运动模糊超分辨的方法，其特征在于，所述步骤4通过计算确定损失函数，分支均使用GAN网络，去模糊模块两个分支的生成对抗网络的损失函数分别为：

其中，X表示输入的低分辨率模糊图像LRB，Y1表示低分辨率清晰图像的高频信息部分LRSH,Y2表示低分辨率清晰图像的低频信息部分LRSL，G_H(X)表示输入模糊图通过高频分支生成的图像，D_H表示高频分支判别器，G_L(X)表示输入模糊图通过低频分支生成的图像，D_L表示低频分支判别器。超分辨分支的损失函数为：

其中Y表示高分辨清晰图像HRS,G_SR(X)表示输入模糊图通过超分辨分支生成的图像，D_H表示超分辨分支判别器，因此，本专利通过共同优化超分辨率损失和去模糊损失来训练我们的网络：

min[SR_loss+αH_loss+βL_loss]

其中α和β是权衡三个损失项的权重。根据经验将α＝0.3，β＝0.3。

Images