CN110969589B - 基于多流注意对抗网络的动态场景模糊图像盲复原方法 - Google Patents

Abstract

本发明提出一种基于多流注意力生成对抗网络的动态场景模糊盲复原方法。本发明首先设计了一种注意力引导模块，利用该模块生成具有在特征提取和去模糊过程中具有引导作用的注意力引导图，该引导图能够更多的关注模糊程度严重的区域或目标及其周围复杂的结构。另外，针对复杂的动态场景模糊信息，提出多流多尺度特征提取策略用于提取的复杂特征，并且设计一个多尺度残差块提取动态场景模糊图像的多尺度特征，捕获不同类型的模糊信息和更多纹理细节。最后，提出利用多尺度融合策略来获取更好的特征，并设计一个可学习的门结构来自适应融合来自不同流的多尺度特征。本发明可以更好地复原模糊程度较大的和复杂的动态场景模糊；进一步，还能提高复原图像的效率。

Description

基于多流注意对抗网络的动态场景模糊图像盲复原方法

技术领域

本发明属于图像处理技术领域。

背景技术

图像去模糊问题是图像复原领域长期存在的难点问题，其中动态场景模糊因其形成因素极其复杂，包括相机抖动、多目标运动、曝光时间内场景深度变化、运动边界遮挡等，更具有挑战性。

传统的动态场景模糊图像复原技术严重依赖于精确的图像分割技术，复原模型通常需要解决高度非凸优化问题，计算量很大。深度学习具有自动提取特征的特点，以及强大的计算能力和泛化能力，已经成为一种有效的工具被应用到图像复原领域，也取得了显著的进步。但是目前的理论和技术仅适用于模糊程度较小的模糊图像复原和特定类型的动态场景模糊图像复原。

发明内容

本发明提出一种基于多流注意对抗网络的动态场景模糊图像盲复原方法，其基于多流注意生成对抗网络(Generative Adversarial Nets，GAN)去除模糊程度严重和模糊情况复杂的动态场景模糊。以更好地复原模糊程度较大的和复杂的动态场景模糊；进一步，还提高复原图像的效率。

在同一幅动态场景图像中，不同区域或对象的模糊程度往往会因像素的不同而不同。由这个特点，本发明将模糊图像与对应的清晰图像相减，发现不同模糊区域的像素值有很大的差异。因此，本发明首先设计了一个新颖的注意力引导模块，利用该模块生成具有在特征提取和去模糊过程中有引导作用的注意力引导图，该引导图能够更多的关注于大的模糊区域或目标及其周围复杂的结构。其次，针对复杂的模糊信息，为提取更有效的复杂特征，提出多流多尺度特征提取策略，并且设计一个多尺度残差块，来提取多尺度特征，捕获不同类型的模糊信息和更多纹理细节。另外，提出利用自适应特征融合门结构来获取更好的特征，并设计一个可学习的门结构来自适应融合来自不同流的多尺度特征。最后，设计了多组分损失函数，主要通过联合优化注意损失函数、多流损失函数、感知损失函数和对抗损失函数来训练本发明提出的多流注意对抗网络。

为实现以上发明目的，本发明的技术方案如下：

本发明方法主要包括五个部分：注意力引导模块、注意力特征提取模块、多尺度特征提取模块、多流多尺度特征融合模块和判别网络模块。

具体方法主要包括以下步骤：

步骤1：将动态场景模糊图像分别送入注意力引导模块和多尺度特征提取模块，从注意力引导模块中得到注意力引导图，从多尺度特征提取模块中得到相应尺度的特征映射图和初步复原图像。

步骤2：将注意力引导模块中输出的注意力引导图，连接最初的模糊图像输入注意力特征提取模块中，从注意力特征提取模块中也得到相应尺度的特征映射图和初步复原图像。

步骤3：将从注意力特征提取模块和多尺度特征提取模块中分别获得的三个尺寸的特征映射图和初步复原图像分别级联，然后分别输入到对应尺寸的多流多尺度融合重构模块中进行特征融合和图像重构。

步骤4：将多流多尺度融合重构模块中最后输出的复原图像和清晰图像送入由五个卷积层组成的判别网络中进行判别，并反向优化网络，得到最终的复原结果。

本发明方法与现有基于深度学习的模糊图像复原方法的区别在于：

1、生成网络的结构不同

本发明中生成网络区别于现有方法主要包括三个点：

第一是采用了注意力引导模块，该模块可以生成一个注意引导图，该引导图在特征提取和去模糊过程中可以聚焦于严重的模糊区域或边缘和纹理结构。这使本发明的方法可以更好地处理模糊程度严重的动态场景模糊。

第二是为了处理复杂的动态场景模糊，提出多流多尺度特征提取策略，该策略通过注意力特征提取模块和多尺度特征提取模块，以及设计的多尺度残差块，来提取多尺度特征，捕获不同类型的模糊信息和更多纹理细节。

第三是为了更好地表征复杂动态场景模糊的特征，提出了一种自适应特征融合门结构，通过设计的门结构在多流多尺度特征融合模块中实现，能够自适应地学习和融合来自不同流的复杂多尺度特征。

2、损失函数的不同

本发明的损失函数主要通过联合优化注意损失函数、多流损失函数、感知损失函数和对抗损失函数来训练本发明提出的多流注意生成对抗网络。损失函数的每一部分都有其特殊的作用。为了更好地处理模糊程度严重的动态场景模糊，利用最小均方差函数定义了注意损失函数来生成更好的注意力引导图。为了每一支流网络更好的提取复杂动态场景模糊的复杂特征，利用最小均方差函数定义了多流损失函数来监督特征提取。感知损失函数可以评估生成的清晰图像与真实的清晰图像特征之间的全局差异。为了约束多流多尺度特征融合模块的最终输出，引入了感知损失函数。为了使生成图像的质量与真实图像难以区分，本发明也引入了对抗损失函数。

综上所述，本发明的优点在于：

相比于现有的动态场景模糊图像复原方法，本发明可以更好的复原模糊程度较大的和复杂的动态场景模糊；复原图像的效率要快于传统的模糊图像复原方法上百倍，也优于目前存在的基于深度学习的模糊图像复原方法。

为了更好的说明本发明的模糊图像复原效率，利用本发明方法与基于传统方法以及深度学习的方法在GoPro数据集上复原尺寸为1280x720的模糊图像，耗时结果如表1所示。

表1.本发明的方法与传统方法在GoPro数据集上测试尺寸为1280x720的图像耗时(秒)对比

本发明方法具有很大的学术意义价值，同时，由于动态场景模糊图像广泛存在于科学研究、社会活动的各个方面，为此，本发明也具有很好的社会经济价值。

附图表说明

图1：提出的多流注意生成对抗网络结构图；

图2：提出的注意力循环模块结构图，其中，(a)图为注意力引导模块，(b)图为注意力模块，(c)图为注意力模块的残差模块；

图3：生成的注意力引导图示例；

图4：(a)为注意力特征提取模块中所用残差模块，(b)为多尺度特征提取模块中所用多尺度残差模块；

图5：中间特征映射图，(a)为输入模糊图像，(b)为注意力特征提取模块所提取的特征，(c)为多尺度特征提取模块所提取的特征，(d)为融合后的特征；

图6：测试图像的复原结果。

表1：本发明的方法与传统的和深度学习的方法在GoPro数据集上测试尺寸为1280x720的图像耗时对比。

具体实施方式

以下将结合附图，以动态场景模糊图像盲复原的整个过程为例，对本发明的优选实施例进行详细描述。优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

本发明提出的多流注意生成对抗网络模型如图1所示。其中生成网络包括四个部分：注意力引导模块(attentive guidance module,AGM)；注意力特征提取模块(attentivefeature extraction Module,AFM)；多尺度特征提取模块(multi-scale featureextraction module,MSFM)；多流多尺度融合重构模块(multi-stream and multi-scalefeature fusion module,MSFRM)；具体模型如下:

如图2所示，本实施例中，注意力引导模块AGM由四个注意模块组成，其中每个注意模块由一个输入层、五个残差模块、一个卷积长短记忆(convolutional long short termmemory,ConvLSTM)单元和一个输出层组成。其中残差模块由两个卷积核大小为3×3的卷积层Conv3×3，两个组归一化层GN和两个激活函数ReLU组成。

为了生成更好的注意力引导图，本实施例在训练生成网络时创建了一个二进制标签M。首先，本实施例里用相应的清晰图像减去模糊退化的图像。然后，为训练数据集中的所有图像设置阈值为β，β为清晰图像像素与模糊图像像素之差的阈值，在本发明中阈值β取为20将大于阈值β的像素设为1，小于阈值β的像素设为0，得到所述二进制标签M。

在每一个注意力模块中，本实施例利用最小均方差函数定义在t时刻注意力引导图A_t和标签M之间的损失为：

A_t＝ATT_t(f_t-1,h_t-1,g_t-1) (1)

其中A_t是t时刻注意力引导模块生成的引导图。ATT_t是t时刻的注意力引导模块。f_t-1是输入的模糊图像和上一时刻生成的引导图的连接，当t＝1时，是初始化注意力引导图，该初始化注意力引导图的所有像素值为α，在本发明中α取值为0.5。θ^N-t是不同时刻的权重。如图3所示是本发明提出的注意力引导模块生成的注意力引导图。

本实施例中，注意力特征提取模块AFM由非对称的编码解码结构组成，其中编码器由三个尺度组成，每个尺度包括三个残差模块如图4的(a)所示，和两个步长为2的卷积层。解码器由两个转置卷积层组成，此外跳跃连接用来加速网络收敛和生成更好的结果。

本实施例中，多尺度特征提取模块MSFM也由非对称的编码解码结构组成，其中编码器由三个尺度组成，每个尺度包括三个多尺度残差模块如图4的(b)所示，和两个步长为2的卷积层。解码器由两个转置卷积层组成。多尺度残差块是由4个卷积层组成，卷积核的大小分别为1×1,3×3,5×5用来提取特征和用于特征融合的卷积核的大小为1×1输出层。此外，本实施例用LeakReLU替代ReLU作为激活函数，并且在每个多尺度残差块中采用局部残差学习，提高了网络的效率，降低了网络的复杂度。

在经过以上处理后，将从AFM和MSFM中获得不同尺度的特征，相应尺度连接输入多流多尺度特征融合模块MSFRM。并经设计的自适应特征融合门结构融合。本实施例中，所述三个尺寸的特征映射图，尺寸分别为256×256，128×128，64×64。

多流多尺度特征融合模块MSFRM包括三个尺度门结构、两个转置卷积层、一个卷积层和一个具有Tanh的卷积层。其中，特征融合门结构主要由两个卷积层组成，卷积核尺寸分别为3×3和1×1和3个残差块。自适应特征融合门结构G_gate逐像素混合

和/>

其中/>

代表从多尺度特征提取模块提取的三个尺度的特征和/>

代表从注意力特征提取模块提取的三个尺度的特征。自适应特征融合门结构取/>

和/>

作为输入，其中/>

是经转置卷积层获得，仅当i等于1时，该门结构G_gate只取/>

和/>

作为输入。它可以被计算按如下函数：

其中，cat代表连接，

代表逐元素相乘，/>

代表逐元素相加。i的取值范围为1到3。如图5所示，(b)，(c)和(d)分别是/>

和/>

的特征图示例。

本实施例主要通过联合优化注意损失函数L_ATT、多流损失函数L_MS、感知损失函数L_P和对抗损失函数L_GAN来训练本发明提出的网络模型。损失函数被定义为：

L＝L_ATT+L_MS+L_p+L_GAN (3)

损失函数的每一部分都有其相应的作用，其中注意损失L_ATT在前面已经说明。为了每一支流网络更好的提取特征，利用最小均方差函数定义了多流损失函数：

其中，I^S是清晰图像，I^Bi是对应支流的复原图像。

感知损失可以评估生成的图像与相应的真实清晰图像特征之间的全局差异。为了约束多流多尺度特征融合模块的最终输出，引入了感知损失，感知损失函数被定义如下：

其中，G_θG是生成网络，I^B是模糊图像，Φ_i,j是VGG19网络在第i个最大尺化层之前，从第j个卷积层中获得的特征，H_i,j和W_i,j是特征图的高和宽，本发明使用的是来自VGG_3,3卷积层。

为了使生成的高质量图像与真实图像难以区分，引入了对抗损失，对抗损失函数如下：

其中，G是生成器，D判别器，I^S是清晰图像，I^B是输入模糊图像，

代表清晰真实图像数据分布，/>

代表模糊图像数据分布，/>

表示数学期望。

图6为利用本发明方法对模糊程度严重和复杂的动态场景模糊图像进行盲复原的结果。从中可以看出，本发明方法对于模糊程度较大和模糊情况比较复杂的动态场景模糊，复原出的图像主观效果较好。

以上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种基于多流注意生成对抗网络的动态场景模糊图像盲复原方法，步骤如下：

步骤1：将动态场景模糊图像分别送入注意力引导模块和多尺度特征提取模块，从注意力引导模块中得到注意力引导图，从多尺度特征提取模块中得到相应尺度的特征映射图和初步复原图像；

步骤2：将注意力引导模块中输出的注意力引导图，连接最初的模糊图像输入注意力特征提取模块中，从注意力特征提取模块中也得到相应尺度的特征映射图和初步复原图像；

步骤3：将从注意力特征提取模块和多尺度特征提取模块中分别获得的三个尺度的特征映射图和初步去模糊图像分别级联，然后分别输入到对应尺寸的多流多尺度融合重构模块中进行特征融合和图像重构；

步骤4：将多流多尺度融合重构模块中最后输出的复原图像和清晰图像送入由五个卷积层组成的判别网络中进行判别，并反向优化网络，得到最终的复原结果。

2.根据权利要求1所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法，其特征在于，所述注意力引导模块由四个注意模块组成，每个所述注意模块由一个输入层、五个残差模块、一个卷积长短记忆(convolutional long short term memory,ConvLSTM)单元和一个输出层组成；残差模块由两个卷积核为3×3的卷积层分别跟随组归一化层和激活函数层组成；在每一个注意力模块中，利用最小均方差函数定义在t时刻注意力引导图A_t和标签M之间的注意力损失函数为：

A_t＝ATT_t(f_t-1,h_t-1,g_t-1)

其中A_t是t时刻注意力引导模块生成的引导图，ATT_t是t时刻的注意力引导模块，f_t-1是输入的模糊图像和上一时刻生成的引导图的连接，当t＝1时，是初始化注意力引导图，该初始化注意力引导图的所有像素值为α，α取值为0.5，θ^N-t是不同时刻的权重。

3.根据权利要求2所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法，其特征在于，所述标签M是在生成注意力引导图时创建的一个二进制标签，方法是首先用清晰图像减去模糊图像的到一个残差标签；然后，为训练数据集中的所有图像设置阈值为β，β为清晰图像像素与模糊图像像素之差的阈值，将大于阈值β的像素设为1，小于阈值β的像素设为0，得到所述二进制标签M。

4.根据权利要求1所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法，其特征在于，所述多尺度特征提取模块由非对称的编码解码结构组成，其中编码器由三个尺度组成，每个尺度包括三个多尺度残差模块和两个步长为2的卷积层，解码器由两个转置卷积层组成；所述多尺度残差模块是由四个卷积层组成，卷积核的大小分别为1×1,3×3,5×5用来提取特征和用于特征融合的卷积核大小为1×1输出层。

5.根据权利要求1所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法，其特征在于，在所述多尺度特征提取模块用LeakReLU替代ReLU作为激活函数，并且在每个多尺度残差块中采用局部残差学习。

6.根据权利要求1所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法，其特征在于，所述步骤3的多流多尺度特征融合模块包括三个尺度的自适应特征融合门结构G_gate、两个转置卷积层、一个卷积层和一个具有Tanh的卷积层；其中，所述自适应特征融合门结构G_gate由两个卷积层组成，卷积核尺寸分别为3×3和1×1和3个残差块；自适应特征融合门结构G_gate逐像素混合

和/>

其中，/>

代表从多尺度特征提取模块中提取的三个尺度的特征，/>

代表从注意力特征提取模块中提取的三个尺度的特征；所述自适应特征融合门结构取/>

和/>

作为输入，其中/>

是经转置卷积层获得，仅当i等于1时，自适应特征融合门结构G_gate只取/>

和/>

作为输入，按如下函数计算：

其中，cat代表连接，

代表逐元素相乘，/>

代表逐元素相加，i的取值范围为1到3。

7.根据权利要求1或6所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法，其特征在于，所述三个不同尺度的特征映射图的尺寸分别为256×256，128×128，64×64。

8.根据权利要求1所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法，其特征在于，所述步骤4中反向优化网络是通过联合优化注意损失函数L_ATT、多流损失函数L_MS、感知损失函数L_P和对抗损失函数L_GAN来训练提出的多流注意生成对抗网络，损失函数被定义为：

L＝L_ATT+L_MS+L_p+L_GAN。

9.根据权利要求8所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法，其特征在于，所述多流损失函数是利用最小均方差函数定义：

其中，I^S是清晰图像，

是对应支流的复原图像。

10.根据权利要求8所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法，其特征在于，所述感知损失函数被定义为：

其中，

是生成网络，I^B是最终复原图像，Φ_i,j是VGG19在第i个最大尺化层之前，从第j个卷积层中获得的特征，H_i,j和W_i,j是特征图的高和宽。

11.根据权利要求8所述的基于多流注意生成对抗网络的动态场景模糊图像盲复原方法，其特征在于，对抗损失函数如下：

其中，G是生成器，D判别器，I^S是清晰图像，I^B是输入模糊图像,

代表清晰真实图像数据分布，/>

代表模糊图像数据分布，E(·)表示数学期望。/>

Images