CN113284064B - 一种基于注意力机制跨尺度上下文低照度图像增强方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制跨尺度上下文低照度图像增强方法，步骤包括：1)构建特征提取模块，该特征提取模块的输入为原始微光图像，输出是32通道的特征图；2)构建跨尺度上下文模块，该跨尺度上下文模块的输入数据是步骤1的输出特征，输出是经过跨尺度跳跃连接之后的图像特征；3)构建融合模块，该融合模块的输入数据是步骤2的输出特征，输出是增强后高质量无噪声的彩色图像。本发明方法，解决了现有技术中存在的微光图像低可见度、低对比度、噪声污染和颜色扭曲的问题，能够有效的将微光图像恢复到正常光照条件下获取的图像，并保持图像的纹理细节以及颜色信息等。

Description

一种基于注意力机制跨尺度上下文低照度图像增强方法

技术领域

本发明属于图像处理技术领域，具体属于RGB真彩色图像恢复技术，涉及一种基于注意力机制跨尺度上下文低照度图像增强方法。

背景技术

在弱光环境中获取的图像往往可视性差、细节不清楚、颜色信息丢失以及噪声大，导致图像质量严重下降，此时就需要利用图像增强方法来提高图像质量，以便于后续的图像处理。图像增强是指针对给定图像的应用场合，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰，或强调某些感兴趣的特征而抑制不感兴趣的特征，扩大图像中不同物体特征之间的差别，改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析和处理的需要。

传统的微光图像增强方法主要有直方图均衡化方法和基于视网膜理论方法。其中，直方图均衡化方法调整了图像的像素强度的动态范围，专注于增强图像对比度，而却忽略了不同区域的光照水平和噪声。而基于视网膜理论方法试图通过将输入图像分解为反射分量和照明分量来照亮图像，反射分量是场景的固有属性，而照明分量受环境照度的影响；基于视网膜理论方法通常增强微光图像的照明分量，以近似对应的正常光图像。然而，这些方法没有充分考虑弱光条件下不可忽略的噪声。

深度学习在过去十年中受到了越来越多的关注，在低视觉任务中取得了突出的性能，包括微光图像增强和图像去噪。但是大多数基于深度学习的方法严重依赖于数据集的质量，并且假设在暗光区域没有噪声，或者不考虑噪声在不同照明区域的分布，因此不能有效地抑制真实图像中的噪声，并且会产生不令人满意的视觉效果。

微光图像通常有两个主要问题。一是图像可见度低，二是图像中噪声的干扰。真实微光图像的空间分布特征是非常复杂，光照条件随空间的变化而变化。然而，许多深度学习方法不能调整图像的整体可视性，也不能明显恢复曝光不足的区域。因此，在不同的曝光区域自适应调整光照强度仍然是一个挑战。另一方面，在图像采集过程中，由于多种因素会引入各种噪声。然而，简单地级联降噪和增强过程不能达到很好的效果。在增强前进行去噪会使图像细节难以恢复，因为低像素无法提供足够的信息，而去噪作为后处理会导致图像模糊。因此，如何有效地抑制噪声，恢复隐藏在黑暗中的信息，是当前方法中一个重要但常被忽视的问题。

发明内容

本发明的目的是提供一种基于注意力机制跨尺度上下文低照度图像增强方法，解决了现有技术中存在的微光图像低可见度、低对比度、噪声污染和颜色扭曲的问题。

本发明所采用的技术方案是，一种基于注意力机制跨尺度上下文低照度图像增强方法，按照以下步骤具体实施：

步骤1、构建特征提取模块，该特征提取模块的输入为原始微光图像，该特征提取模块的输出是32通道的特征图；

步骤2、构建跨尺度上下文模块，该跨尺度上下文模块的输入数据是步骤1的输出特征，该跨尺度上下文模块的输出是经过跨尺度跳跃连接之后的图像特征；

步骤3、构建融合模块，该融合模块的输入数据是步骤2的输出特征，该融合模块的输出是增强后高质量无噪声的彩色图像，

融合模块包含三步操作，前两步是将步骤2的输出经过混合注意力模块再次提取重要的图像特征，第三步利用二维卷积以及ReLu激活函数，进行通道压缩，最后输出增强后高质量无噪声的彩色图像，即成。

本发明的有益效果是，能够有效的将微光图像恢复到正常光照条件下获取的图像，并保持图像的纹理细节以及颜色信息等。

附图说明

图1是本发明方法的流程框图；

图2是本发明方法中构建的特征提取模块结构流程图；

图3是本发明方法中构建的通道注意力模块结构示意图；

图4是本发明方法中构建的空间注意力模块结构示意图；

图5是本发明方法中构建的混合注意力模块网络流程图；

图6是本发明方法中构建的融合模块流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的主要思路是：构建一个混合注意力模块，包括空间注意力模块和通道注意力模块。空间注意力模块有效地学习权重以聚焦曝光不足区域中不同程度的噪声；同时，通道注意力模块学习不同的通道特征，以帮助恢复图像颜色信息，从而引导混合注意力模块的主干网络有效抑制不同照明条件下的噪声并恢复颜色。为了保证全局颜色信息特征在网络高层依然能够指导图像恢复，本发明还构建了跨尺度上下文模块，在强制只在编码层和解码层子网络的相同尺度的特征映射上进行聚合的基础上，重新构建跳跃连接，在解码层子网络上聚合不同语义尺度的特征，形成高度灵活的特征融合方案。在网络的解码层部分依然拥有全局信息的指导。融合模块有效融合各个阶段网络中的局部和全局特征，有效地抑制了不期望的色差和噪声。此外，为了让网络拥有更好的性能，在网络的最开始单独引入了通道注意力模块，将得到的通道权重和原始输入共同作为网络的输入。

如图1所示，本申请的基于注意力机制跨尺度上下文微光图像增强网络(以下简称为网络)，由特征提取模块、跨尺度上下文模块、融合模块组成。特征提取模块以微光图像直接作为输入，首先通过通道注意力模块，学习每个通道的权重；然后将通道权重与原始微光图像一起作为编码层的输入；通过通道注意力模块学习到的通道权重，有利于对图像颜色特征的提取。在编码层部分，主要是由几个混合注意力模块提取图像的语义特征，有利于恢复图像的亮度并抑制噪声。在解码层部分，采用反卷积与混合注意力模块用于从语义特征中恢复高分辨率图像。同时，提出了跨尺度上下文模块，在常规的编码、解码对应尺度特征进行跳跃连接的基础上，又加入了跨尺度跳跃连接，有利于图像的全局特征与局部特征结合。最后通过融合模块对特征进行挑选，去除冗余特征并输入最后的结果。

本发明的方法，利用上述的网络框架，按照以下步骤具体实施：

步骤1、构建特征提取模块，该特征提取模块的输入为原始微光图像，该特征提取模块的输出是32通道的特征图。

如图2所示，特征提取模块的作用是通过通道注意力模块和空间注意力模块提取出微光图像的特征信息，特征提取模块的结构依次为：原始微光图像(Input_image)作为输入→第一个卷积层(Conv1))→第二个卷积层(Conv2)→第三个卷积层(Conv3)→第四个卷积层(Conv4)→第五个卷积层(Deconv5)→第六个卷积层(Deconv6)→第七个卷积层(Deconv7)→输出特征(Output_feature)，

其中，第一个卷积层Conv1为通道注意力模块，其特征映射总数为32个，通道注意力模块的结构如图3所示，对于输入的图像，首先在空间维度上进行平均卷积操作，得出每个通道的代表值；然后使用两个全连接层和激活函数学习通道之间的关系，第一个全连接层之后设置有ReLu激活函数，第二个全连接之后设置有Sigmoid激活函数；

第二个卷积层Conv2、第三个卷积层Conv3和第四个卷积层Conv4为混合注意力模块，其特征映射图的总数分别为64、128和256个，混合注意力模块如图5所示，包括空间注意力模块和通道注意力模块；首先，利用空间注意力模块获取不同位置的权重，将图像的空间信息通过空间转换模型变换到另一个空间中并保留关键信息，为每个位置生成权重掩码并加权输出，从而增强感兴趣的特定目标区域同时弱化不相关的背景区域；空间注意力模块结构如图4所示，先对输入进行全局平均池化操作，来增大感受野，以便于获取更多的信息，再通过卷积操作来获取三个代表不同信息的特征图，将其中两个特征图进行融合并经过Softmax激活函数，再和第一个特征图进行融合得到最后的空间信息权重；然后，将得到的这些空间信息权重输入通道注意力模块，通道注意力模块结构如图3所示，进行颜色特征的提取；最后，将包含图像空间和颜色信息的特征通过卷积操作筛选有用特征，去除冗余特征信息；

第五个卷积层Deconv5、第六个卷积层Deconv6和第七个卷积层Deconv7的特征映射图的总数分别为128、64、32个，Deconv层包含了反卷积操作和混合注意力模块；

特征提取模块最后一层的输出尺寸为H×W×32，其中H和W代表输入图像的高度和宽度。

步骤2、构建跨尺度上下文模块，该跨尺度上下文模块的输入数据是步骤1的输出特征，该跨尺度上下文模块的输出是经过跨尺度跳跃连接之后的图像特征，

传统的跳跃连接强制只在编码器和解码器子网的相同尺度的特征映射上进行聚合，造成了部分全局信息的丢失。对此本步骤重新构建跳跃连接，在解码器子网络上聚合不同语义尺度的特征，形成高度灵活的特征融合方案，在网络的解码部分依然拥有全局信息的指导；

跨尺度上下文模块用于提取更多的图像特征，将不同尺度下的特征图利用反卷积设置不同的步长，将他们上采样至H×W大小；

跨尺度上下文模块分别将Conv1、Conv2、Conv3和Conv4四个不同尺度的编码层特征上采样至H×W大小，将这些特征与步骤1的输出连接到一起作为跨尺度上下文模块的输出。

步骤3、构建融合模块，该融合模块的输入数据是步骤2的输出特征，该融合模块的输出是增强后高质量无噪声的彩色图像，

融合模块如图6所示，跨尺度上下文模块提取了大量的全局特征和局部特征，这些特征不能作为网络的最终输出，融合模块就是为了更好的整合跨尺度上下文模块提取的有用信息，

为了更好的恢复图像的纹理以及颜色的一致性，融合模块包含三步操作，前两步是将步骤2的输出经过混合注意力模块再次提取重要的图像特征，第三步利用二维卷积以及ReLu激活函数，进行通道压缩，最后输出增强后高质量无噪声的彩色图像，即成。

在训练基于注意力机制跨尺度上下文微光图像增强网络时，考虑到L₁损失函数在目标轮廓的对比度、均匀区域的平滑效果方面表现较好，同时SSIM损失函数引入结构约束能够很好地恢复图像的结构和局部细节，Perceptual损失函数能够约束真实图像和预测图像之间的差异，保持图像感知和细节的保真度。本步骤中，将L₁+SSIM损失函数+Perceptual损失函数组合在一起作为基于注意力机制跨尺度上下文微光图像增强网络的总损失函数，表示为：

L_to_tal＝(1-λ_s-λ_p)L₁+λ_sL_ssim+λ_pL_perc

式中，L₁表示像素级别的L₁范数损失，L_ssim表示结构相似性损失，L_perc表示感知损失。λ_s、λ_p是相对应的系数，其中λ_s＝0.15、λ_p＝0.1。

Claims (1)

1.一种基于注意力机制跨尺度上下文低照度图像增强方法，其特征在于，按照以下步骤具体实施：

步骤1、构建特征提取模块，该特征提取模块的输入为原始微光图像，该特征提取模块的输出是32通道的特征图，

特征提取模块的结构依次为：原始微光图像Input_image作为输入→第一个卷积层Conv1→第二个卷积层Conv2→第三个卷积层Conv3→第四个卷积层Conv4→第五个卷积层Deconv5→第六个卷积层Deconv6→第七个卷积层Deconv7→输出特征Output_feature，

其中，第一个卷积层Conv1为通道注意力模块，其特征映射总数为32个；所述的通道注意力模块的结构是，对于输入的图像，首先在空间维度上进行平均卷积操作，得出每个通道的代表值；然后使用两个全连接层和激活函数学习通道之间的关系，第一个全连接层之后设置有ReLu激活函数，第二个全连接之后设置有Sigmoid激活函数；

第二个卷积层Conv2、第三个卷积层Conv3和第四个卷积层Conv4为混合注意力模块，其特征映射图的总数分别为64、128和256个；所述的混合注意力模块包括空间注意力模块和通道注意力模块；首先，利用空间注意力模块获取不同位置的权重，将图像的空间信息通过空间转换模型变换到另一个空间中并保留关键信息，为每个位置生成权重掩码并加权输出，从而增强感兴趣的特定目标区域同时弱化不相关的背景区域；所述的空间注意力模块的结构是，先对输入进行全局平均池化操作，来增大感受野，以便于获取更多的信息，再通过卷积操作来获取三个代表不同信息的特征图，将其中两个特征图进行融合并经过Softmax激活函数，再和第一个特征图进行融合得到最后的空间信息权重；然后，再利用通道注意力模块，进行颜色特征的提取；最后，将包含图像空间和颜色信息的特征通过卷积操作筛选有用特征，去除冗余特征信息；

第五个卷积层Deconv5、第六个卷积层Deconv6和第七个卷积层Deconv7的特征映射图的总数分别为128、64、32个，Deconv层包含了反卷积操作和混合注意力模块；特征提取模块最后一层的输出尺寸为H×W×32，其中H和W代表输入图像的高度和宽度；

步骤2、构建跨尺度上下文模块，该跨尺度上下文模块的输入数据是步骤1的输出特征，该跨尺度上下文模块的输出是经过跨尺度跳跃连接之后的图像特征；

所述的跨尺度上下文模块是用于提取更多的图像特征，将不同尺度下的特征图利用反卷积设置不同的步长，将他们上采样至H×W大小；

所述的跨尺度上下文模块，分别将Conv1、Conv2、Conv3和Conv4四个不同尺度的编码层特征上采样至H×W大小，将这些特征与步骤1的输出连接到一起作为跨尺度上下文模块的输出；

步骤3、构建融合模块，该融合模块的输入数据是步骤2的输出特征，该融合模块的输出是增强后高质量无噪声的彩色图像，

所述的融合模块是，跨尺度上下文模块提取了大量的全局特征和局部特征，这些特征不能作为网络的最终输出，融合模块就是为了更好的整合跨尺度上下文模块提取的有用信息；

融合模块包含三步操作，前两步是将步骤2的输出经过混合注意力模块再次提取重要的图像特征，第三步利用二维卷积以及ReLu激活函数，进行通道压缩，最后输出增强后高质量无噪声的彩色图像，即成。

Images