CN112164011A - 基于自适应残差与递归交叉注意力的运动图像去模糊方法 - Google Patents

Abstract

本发明公开了一种基于自适应残差与递归交叉注意力的运动图像去模糊方法，其特征在于，包括：1）去模糊网络框架的建立；2）浅层特征提取；3）自适应残差过程；4）递归交叉注意力过程；5）图像重建；6）判别网络模型。这种方法能解决运动模糊图像的非均匀性问题，去除伪影且获取更多的图像高频特征，重建出纹理细节丰富的高质量图像。

Description

基于自适应残差与递归交叉注意力的运动图像去模糊方法

技术领域

本发明涉及智能图像处理技术领域，具体是一种基于自适应残差与递归交叉注意力的运动图像去模糊方法。

背景技术

运动模糊图像是由于拍照时相机抖动和物体运动造成的降质图像。运动图像去模糊的目的则是在给定运动模糊图像的情况下，对未知的清晰图像进行重建估计，该应用有利于其他计算机视觉任务，如目标检索、图像恢复、动作识别、事件检测、图像质量评价等。

近年来，得益于深度学习在图像恢复方面的优越性能，将其运用在运动图像去模糊应用中获得不错的效果。Gong等人将非均匀的运动模糊表示为像素方向的线性运动模糊，所提出的方法利用全卷积神经网络(Fully-Convolutional deep Neural Network)估计密集运动流图进行模糊去除。与添加图像先验来估计模糊核相比，学习运动流可以使模型专注于模糊的原因，而不需要对图像内容进行建模，减少了学习的复杂度；Noroozi等人利用端到端的多尺度CNN策略来分解去模糊任务的复杂性，能够在遮挡、运动视差和相机旋转等动态情况下恢复清晰的图像。另一方面，随着生成对抗网络(Generative AdversarialNetwork，简称GAN)的提出，将其用于各种图像转换任务表现出强大的生成能力。受此启发，Kupyn等人使用条件对抗网络结合感知损失进行盲运动去模糊，对抗网络通过对图形结构的学习，能够快速的重建出逼真的生成图像，与此同时，利用感知损失对对抗网络进行约束，保证了生成图像的感知保真度。

尽管当前一些基于深度学习的运动图像去模糊方法已经获得了一定的效果，但在设计CNN结构时未考虑到由运动模糊图像形变引起的非均匀性，使用标准卷积中相同的卷积核参数来处理非均匀的模糊内容，会导致网络在对一些复杂场景下生成的模糊图像去模糊效果较差。其次，随着网络加深，容易导致网络难以训练，无法有效的提取高频信息，除此之外，目前基于卷积神经网络的方法在学习运动模糊图像与清晰图像的非线性映射函数时，受卷积局部操作的限制，无法捕捉每一特征像素与距离较远的特征像素间的相似性信息，只能在局部范围内捕获相关的上下文信息，即无法对所有位置的全局相似特征信息进行联系。这种通过局部特征所提取的上下文信息往往只是局部性的，未能充分表达特征的全局性，对于纹理特征的表达往往不能达到令人满意的效果。

发明内容

本发明的目的是针对现有运动图像去模糊技术的不足，而提供一种基于自适应残差与递归交叉注意力的运动图像去模糊方法。这种方法能解决运动模糊图像的非均匀性问题，去除伪影且获取更多的图像高频特征，重建出纹理细节丰富的高质量图像。

实现本发明目的的技术方案是：

一种基于自适应残差与递归交叉注意力的运动图像去模糊方法，包括如下步骤：

1)去模糊网络框架的建立：基于对抗博弈的思想，去模糊网络包括生成网络G和判别网络D，所述生成网络G设有浅层特征提取模块M_e、自适应残差模块即ARM、递归交叉注意力模块即RCCAM和特征重建模块M_r，所述判别网络D对所学习的去模糊图像和清晰图像进行判别；

2)浅层特征提取：步骤1)中生成网络G的输入为原始的模糊图像B，

首先采用M_e对输入的模糊图像B进行浅层特征提取，得到浅层特征P₀如公式(1)所示：

P₀＝M_e(B) (1)；

3)自适应残差过程：在步骤1)之后加入9个自适应残差模块ARM，对浅层特征P₀进行深层次特征学习，如公式(2)所示：

P_r＝P_l(P_l-1(…P₁(P₀)…)) (2)；

4)递归交叉注意力过程：将步骤3)中得到的P_r送入递归交叉注意力模块即RCCAM中，得到全局性特征P_RCCAM如公式(3)所示：

5)图像重建：特征重建模块M_r采用P_RCCAM进行图像重建，并结合全局跳跃连接GSC得到去模糊图像y；

6)判别网络模型：判别网络D的输入是步骤5)中生成的去模糊图像y与真实的清晰图像，对两者进行判别。

步骤1)中所述的浅层特征提取模块M_e设有一个7×7卷积层和两个3×3的卷积层，在每个卷积层后面都加入实例归一化IN(Instance Normalization，简称IN))和ReLU函数。

步骤1)中所述的特征重建模块M_r设有转置卷积和7×7卷积，转置卷积后面加入实例归一化IN)和ReLU，采用tanh作为激活函数。

步骤1)中所述的判别网络D设有5个卷积层、卷积核大小都设置为4×4，除了第一层和最后一层卷积外，每一卷积层后面都加入实例归一化IN)和非线性激活函数LeakyReLU，判别网络D采用PatchGAN方式，在图像中64×64大小的图像块上判别出此图像是属于生成的去模糊图像还是清晰图像。

步骤3)中所述的自适应残差过程包括形变卷积模块和通道注意力模块组成且输入和输出之间又通过短跳连接SSC进行联系，具体如下：输入为步骤2)中的浅层特征P₀，先经由两层3×3卷积以及实例归一化IN和ReLU层组成的残差基本块进行特征提取得到残差特征P_c，并送入形变卷积模块：

标准卷积结构对输入的特征进行特征提取时，所获取的特征映射f_s的每个位置P_b表示如公式(4)所示：

R表示标准的卷积结构，P_n为R的枚举位置，在形变卷积模块中，采用常规卷积P_a学习输入特征的偏移量ΔP_n，随后把偏移量ΔP_n加入到原先的规则采样位置得到新的采样位置，并采用(w₁,w₂,...w₉)表示3×3大小的卷积核，根据新的采样位置而进行动态变化，最终得到的形变特征f_c如公式(5)所示：

随后，将所提取的形变特征f_c送入通道注意力模块中进行通道筛选，首先，采用全局平均池化y_p将形变特征f_c由大小为H×W×C减小到1×1×C，f_c变成一个实数y_c，具体过程如公式(6)所示：

为了建模图像特征各通道间的相关性，引入门控机制F_ex，它使用sigmoid函数和ReLU函数来现如公式(7)所示：

其中β和δ分别表示sigmoid函数和ReLU函数，H_D和H_U分别代表卷积层的降维和升维权重集，y_c首先经由H_D以缩减比r＝16进行通道缩减得到描述各通道特征的通道描述符，其大小为

在经ReLU函数激活后，随后由权重设置为H_U的通道放大层以比率r＝16增加，恢复到大小1×1×C，然后通过sigmoid函数将其范围缩放至0到1之间，最终得到通道特征的权重集合r_c,它表示经过特征选择后每个通道特征的重要性，将r_c与输入的形变特征f_c进行通道元素相乘，得到筛选后的特征

其大小为H×W×C如公式(8)所示：

前一阶段输入的形变特征f_c通过通道注意力模块的提取后被自适应地重新缩放选择，可以使网络更加关注于含有高频特征的通道，增加对冗余特征的抑制，从而提升网络性能。

步骤1)中所述的递归交叉注意力模块即RCCAM设有两个串联的单交叉注意力模块即CCAM，而每个单交叉注意力模块CCAM具体动作过程如下：

交叉注意力模块分为两条支路，第一条支路称为注意力生成支路，可以生成注意力图A，首先，注意力生成支路输入为步骤3)的P_r，为方便表示，注意力图A大小为H×W×C，先利用两个1×1卷积层，得到大小为H×W×C'的两个特征图Q、K，在特征图Q的每个位置u，在所有通道可以得到向量Q_u∈R^C′，同样的，在特征图K中，可以提取与u位置相同的行或列的特征向量集合Ω_u∈R^(H+W-1)×C'，其中，Ω_i,u是Ω_u的第i个元素，为得到每个位置Q_u与Ω_i,u相似性程度，进行如公式(9)所示的操作：

d_i,u＝Q_uΩ_i,u ^T (9)，

Ω_i,u经转置操作后与Q_u进行乘法运算得到表示特征相似度d_i,u，最后通过softmax层对d_i,u进行归一化操作计算得到注意力图A；

第二条支路同样是用1×1卷积层对特征H进行操作以获取特征V,且V∈R^C×W×H，同理，在特征映射V的每个位置u可以得到特征向量V_u∈R^C,且其与每一位置u同一行或同一列的向量集合为Φ_u∈R^(H+W-1)×C，由此，对上下文信息的聚合操作可如公式(10)所示表达：

A_i,u表示注意力特征图A在位置u的第i个通道的标量值，也代表着位置u的上下文信息，或者说是与位置u同行或者同列的特征元素与u的关联程度，H_u'表示输出特征H'∈R^{C ×W×H}在位置u时的特征，也即表示每一特征元素在经聚合上下文信息增强后的特征表示，通过交叉注意力从空间上有选择的聚合上下文信息，可以实现特征之间的相互增益，在经过两个CCAM级联形成的RCCAM能更好的捕捉全局特征，增强去模糊图像纹理细节的表达能力。

上述技术方案，有效地实现了模糊伪影的去除，能够重建出纹理丰富的高质量去模糊图像：

(1)形变卷积模块通过对空间采样的位置信息作进一步位移调整，以自适应动态采样的方式解决了卷积神经网络在抓取图像特征时无法有效的适应运动模糊图像的非均性问题；

(2)通道注意力模块通过学习的方式来自动获取到每个通道特征的重要程度，提升对重要特征的学习并抑制用处不大的特征。能使网络在训练过程中更加关注含有丰富高频信息的通道，有助于纹理细节的重建。

(3)由(1)和(2)组成的自适应残差模块能够充分融合两者的优势，实现高效的模糊图像复原；

(4)递归交叉注意力模块通过所提取的全局上下文信息，实现特征增益，进一步增强对于纹理细节的表达能力。

这种方法能解决运动模糊图像的非均匀性问题，去除伪影且获取更多的图像高频特征，重建出纹理细节丰富的高质量图像。

附图说明

图1为实施例中方法流程示意图；

图2为实施例中自适应残差模块示意图；

图3为实施例中形变卷积模块示意图；

图4为实施例中通道注意力模块示意图；

图5为实施例递归交叉注意力模块示意图。

具体实施方式

下面结合附图和实施例对本发明内容作进一步的说明，但不是对本发明的限定。

实施例：

参照图1，一种基于自适应残差与递归交叉注意力的运动图像去模糊方法，包括如下步骤：

1)去模糊网络框架的建立：基于对抗博弈的思想，去模糊网络包括生成网络G和判别网络D，所述生成网络G设有浅层特征提取模块M_e、自适应残差模块即ARM、递归交叉注意力模块即RCCAM和特征重建模块M_r，所述判别网络D对所学习的去模糊图像和清晰图像进行判别；

2)浅层特征提取：步骤1)中生成网络G的输入为原始的模糊图像B，

首先采用M_e对输入的模糊图像B进行浅层特征提取，得到浅层特征P₀如公式(1)所示：

P₀＝M_e(B) (1)；

3)自适应残差过程：在步骤1)之后加入9个自适应残差模块ARM，对浅层特征P₀进行深层次特征学习，如公式(2)所示：

P_r＝P_l(P_l-1(…P₁(P₀)…)) (2)；

4)递归交叉注意力过程：将步骤3)中得到的P_r送入递归交叉注意力模块即RCCAM中，得到全局性特征P_RCCAM如公式(3)所示：

5)图像重建：图像重建模块M_r采用P_RCCAM进行图像重建，并结合全局跳跃连接GSC得到去模糊图像y；

6)判别网络模型：判别网络D的输入是步骤5)中生成的去模糊图像y与真实的清晰图像，对两者进行判别。

步骤1)中所述的浅层特征提取模块M_e设有一个7×7卷积层和两个3×3的卷积层，在每个卷积层后面都加入实例归一化IN)和ReLU函数。

步骤1)中所述的特征重建模块M_r设有转置卷积和7×7卷积，转置卷积后面加入实例归一化IN)和ReLU，采用tanh作为激活函数。

步骤1)中所述的判别网络D设有5个卷积层、卷积核大小都设置为4×4，除了第一层和最后一层卷积外，每一卷积层后面都加入实例归一化IN)和非线性激活函数LeakyReLU，判别网络D采用PatchGAN方式，在图像中64×64大小的图像块上判别出此图像是属于生成的去模糊图像还是清晰图像。

如图2所示，步骤3)中所述的自适应残差过程包括形变卷积模块和通道注意力模块组成且输入和输出之间又通过短跳连接SSC进行联系，具体如下：输入为步骤2)中的浅层特征P₀，先经由两层3×3卷积以及实例归一化IN和ReLU层组成的残差基本块进行特征提取得到残差特征P_c，并送入如图3所示的形变卷积模块：

标准卷积结构对输入的特征进行特征提取时，所获取的特征映射f_s的每个位置P_b表示如公式(4)所示：

R表示标准的卷积结构，P_n为R的枚举位置，在形变卷积模块中，采用常规卷积P_a学习输入特征的偏移量ΔP_n，随后把偏移量ΔP_n加入到原先的规则采样位置得到新的采样位置，并采用(w₁,w₂,...w₉)表示3×3大小的卷积核，根据新的采样位置而进行动态变化，最终得到的形变特征f_c如公式(5)所示：

随后，将所提取的形变特征f_c送入如图4所示的通道注意力模块中进行通道筛选，首先，采用全局平均池化y_p将形变特征f_c由大小为H×W×C减小到1×1×C，f_c变成一个实数y_c，具体过程如公式(6)所示：

为了建模图像特征各通道间的相关性，引入门控机制F_ex，它使用sigmoid函数和ReLU函数来现如公式(7)所示：

其中β和δ分别表示sigmoid函数和ReLU函数，H_D和H_U分别代表卷积层的降维和升维权重集，y_c首先经由H_D以缩减比r＝16进行通道缩减得到描述各通道特征的通道描述符，其大小为

在经ReLU函数激活后，随后由权重设置为H_U的通道放大层以比率r＝16增加，恢复到大小1×1×C，然后通过sigmoid函数将其范围缩放至0到1之间，最终得到通道特征的权重集合r_c,它表示经过特征选择后每个通道特征的重要性，将r_c与输入的形变特征f_c进行通道元素相乘，得到筛选后的特征

其大小为H×W×C如公式(8)所示：

前一阶段输入的形变特征f_c通过通道注意力模块的提取后被自适应地重新缩放选择，可以使网络更加关注于含有高频特征的通道，增加对冗余特征的抑制，从而提升网络性能。

步骤1)中所述的递归交叉注意力模块即RCCAM如图5所示，设有两个串联的单交叉注意力模块即CCAM，而每个单交叉注意力模块CCAM具体动作过程如下：

交叉注意力模块分为两条支路，第一条支路称为注意力生成支路，可以生成注意力图A，首先，注意力生成支路输入为步骤3)的P_r，为方便表示，注意力图A大小为H×W×C，先利用两个1×1卷积层，得到大小为H×W×C'的两个特征图Q、K，在特征图Q的每个位置u，在所有通道可以得到向量Q_u∈R^C′，同样的，在特征图K中，可以提取与u位置相同的行或列的特征向量集合Ω_u∈R^(H+W-1)×C'，其中，Ω_i,u是Ω_u的第i个元素，为得到每个位置Q_u与Ω_i,u相似性程度，进行如公式(9)所示的操作：

d_i,u＝Q_uΩ_i,u ^T (9)，

Ω_i,u经转置操作后与Q_u进行乘法运算得到表示特征相似度d_i,u，最后通过softmax层对d_i,u进行归一化操作计算得到注意力图A；

第二条支路同样是用1×1卷积层对特征H进行操作以获取特征V,且V∈R^C×W×H，同理，在特征映射V的每个位置u可以得到特征向量V_u∈R^C,且其与每一位置u同一行或同一列的向量集合为Φ_u∈R^(H+W-1)×C，由此，对上下文信息的聚合操作可如公式(10)所示表达：

A_i,u表示注意力特征图A在位置u的第i个通道的标量值，也代表着位置u的上下文信息，或者说是与位置u同行或者同列的特征元素与u的关联程度，H_u′表示输出特征H'∈R^{C ×W×H}在位置u时的特征，也即表示每一特征元素在经聚合上下文信息增强后的特征表示，通过交叉注意力从空间上有选择的聚合上下文信息，可以实现特征之间的相互增益，在经过两个CCAM级联形成的RCCAM能更好的捕捉全局特征，增强去模糊图像纹理细节的表达能力。

Claims (6)

1.一种基于自适应残差与递归交叉注意力的运动图像去模糊方法，其特征在于，包括如下步骤：

1)去模糊网络框架的建立：去模糊网络包括生成网络G和判别网络D，所述生成网络G设有浅层特征提取模块M_e、自适应残差模块即ARM、递归交叉注意力模块即RCCAM和特征重建模块M_r，所述判别网络D对所学习的去模糊图像和清晰图像进行判别；

2)浅层特征提取：步骤1)中生成网络G的输入为原始的模糊图像B，

首先采用M_e对输入的模糊图像B进行浅层特征提取，得到浅层特征P₀如公式(1)所示：

P₀＝M_e(B) (1)；

3)自适应残差过程：在步骤1)之后加入9个自适应残差模块ARM，对浅层特征P₀进行深层次特征学习，如公式(2)所示：

P_r＝P_l(P_l-1(…P₁(P₀)…)) (2)；

4)递归交叉注意力过程：将步骤3)中得到的P_r送入递归交叉注意力模块即RCCAM中，得到全局性特征P_RCCAM如公式(3)所示：

5)图像重建：图像重建模块M_r采用P_RCCAM进行图像重建，并结合全局跳跃连接GSC得到去模糊图像y；

6)判别网络模型：判别网络D的输入是步骤5)中生成的去模糊图像y与真实的清晰图像，对两者进行判别。

2.根据权利要求1所述的基于自适应残差与递归交叉注意力的运动图像去模糊方法，其特征在于，步骤1)中所述的浅层特征提取模块M_e设有一个7×7卷积层和两个3×3的卷积层，在每个卷积层后面都加入实例归一化IN)和ReLU函数。

3.根据权利要求1所述的基于自适应残差与递归交叉注意力的运动图像去模糊方法，其特征在于，步骤1)中所述的特征重建模块M_r设有转置卷积和7×7卷积，转置卷积后面加入实例归一化IN)和ReLU，采用tanh作为激活函数。

4.根据权利要求1所述的基于自适应残差与递归交叉注意力的运动图像去模糊方法，其特征在于，步骤1)中所述的判别网络D设有5个卷积层、卷积核大小都设置为4×4，除了第一层和最后一层卷积外，每一卷积层后面都加入实例归一化IN)和非线性激活函数LeakyReLU，判别网络D采用PatchGAN方式，在图像中64×64大小的图像块上判别出此图像是属于生成的去模糊图像还是清晰图像。

5.根据权利要求1所述的基于自适应残差与递归交叉注意力的运动图像去模糊方法，其特征在于，步骤3)中所述的自适应残差过程包括形变卷积模块和通道注意力模块组成且输入和输出之间又通过短跳连接SSC进行联系，具体如下：输入为步骤2)中的浅层特征P₀，先经由两层3×3卷积以及实例归一化IN和ReLU层组成的残差基本块进行特征提取得到残差特征P_c，并送入形变卷积模块：

标准卷积结构对输入的特征进行特征提取时，所获取的特征映射f_s的每个位置P_b表示如公式(4)所示：

R表示标准的卷积结构，P_n为R的枚举位置，在形变卷积模块中，采用常规卷积P_a学习输入特征的偏移量ΔP_n，随后把偏移量ΔP_n加入到原先的规则采样位置得到新的采样位置，并采用(w₁,w₂,...w₉)表示3×3大小的卷积核，根据新的采样位置而进行动态变化，最终得到的形变特征f_c如公式(5)所示：

随后，将所提取的形变特征f_c送入通道注意力模块中进行通道筛选，首先，采用全局平均池化y_p将形变特征f_c由大小为H×W×C减小到1×1×C，f_c变成一个实数y_c，具体过程如公式(6)所示：

引入门控机制F_ex，它使用sigmoid函数和ReLU函数来现如公式(7)所示：

其中β和δ分别表示sigmoid函数和ReLU函数，H_D和H_U分别代表卷积层的降维和升维权重集，y_c首先经由H_D以缩减比r＝16进行通道缩减得到描述各通道特征的通道描述符，其大小为

在经ReLU函数激活后，随后由权重设置为H_U的通道放大层以比率r＝16增加，恢复到大小1×1×C，然后通过sigmoid函数将其范围缩放至0到1之间，最终得到通道特征的权重集合r_c,它表示经过特征选择后每个通道特征的重要性，将r_c与输入的形变特征f_c进行通道元素相乘，得到筛选后的特征

其大小为H×W×C如公式(8)所示：

6.根据权利要求1所述的基于自适应残差与递归交叉注意力的运动图像去模糊方法，其特征在于，步骤1)中所述的递归交叉注意力模块即RCCAM设有两个串联的单交叉注意力模块即CCAM，而每个单交叉注意力模块CCAM具体动作过程如下：

交叉注意力模块分为两条支路，第一条支路称为注意力生成支路，可以生成注意力图A，首先，注意力生成支路输入为步骤3)的P_r，注意力图A大小为H×W×C，先利用两个1×1卷积层，得到大小为H×W×C'的两个特征图Q、K，在特征图Q的每个位置u，在所有通道可以得到向量Q_u∈R^C′，同样的，在特征图K中，可以提取与u位置相同的行或列的特征向量集合Ω_u∈R^(H+W-1)×C'，其中，Ω_i,u是Ω_u的第i个元素，为得到每个位置Q_u与Ω_i,u相似性程度，进行如公式(9)所示的操作：

d_i,u＝Q_uΩ_i,u ^T (9)，

Ω_i,u经转置操作后与Q_u进行乘法运算得到表示特征相似度d_i,u，最后通过softmax层对d_i,u进行归一化操作计算得到注意力图A；

第二条支路同样是用1×1卷积层对特征H进行操作以获取特征V,且V∈R^C×W×H，同理，在特征映射V的每个位置u可以得到特征向量V_u∈R^C,且其与每一位置u同一行或同一列的向量集合为Φ_u∈R^(H+W-1)×C，由此，对上下文信息的聚合操作可如公式(10)所示表达：

A_i,u表示注意力特征图A在位置u的第i个通道的标量值，也代表着位置u的上下文信息，或者说是与位置u同行或者同列的特征元素与u的关联程度，H_u′表示输出特征H'∈R^C×W×H在位置u时的特征，也即表示每一特征元素在经聚合上下文信息增强后的特征表示。

Images