CN117635478A - 一种基于空间通道注意力的低光照图像增强方法 - Google Patents

Abstract

本发明提供一种基于空间通道注意力的低光照图像增强方法，首先输入待增强的低光照图像，将其归一化到0到1之间；接着，经输入层处理，获得低光照图像的初步的图像特征；然后，在编码‑解码模型中编码部分的浅层，经空间注意力处理，获得包含准确空间信息的特征，在编码部分的深层，经通道注意力处理，获得包含丰富语义信息的特征；接着，在编码‑解码模型中解码部分，进行与在编码部分相同的对称操作，获得经空间通道注意力处理的最后特征；最后，将该最后特征使用输出层进行映射，输出低光照图像增强结果。本发明能够更好处理低光照环境下的图像内容恢复和噪声抑制难题，能够增强模型的表征能力以处理更广泛的实际低光照情形。

Description

一种基于空间通道注意力的低光照图像增强方法

技术领域

本发明涉及图像处理中图像增强技术，具体涉及一种基于空间通道注意力的低光照图像增强方法。

背景技术

低光照图像增强，是图像处理领域的一个关键问题，近年来受到研究者们的大量关注。它涉及到在光线条件不佳下拍摄的图像的增强，这种情况下图像的质量通常受到错误曝光、噪声、模糊、偏色和低对比度的影响。低光照条件可能源自各种因素，包括天气、环境光线、设备限制等。解决低光照图像增强问题对于许多应用来说至关重要，如监控摄像头、夜间摄影、医学影像处理和自动驾驶等。在监控系统中，低光图像增强可以帮助识别安全威胁或犯罪行为，提高夜间监控的效率。在夜间摄影中，它可以改善照片的质量，为摄影师提供更多创作空间。在医学影像处理中，它有助于提高影像诊断的准确性。在自动驾驶系统中，低光图像增强有助于提高车辆在夜间或恶劣天气条件下的感知能力，从而提高道路安全。因此，低光照图像增强在众多应用中具有广泛的意义。

低光图像增强的任务目标是改善这些图像的质量，以便更清晰地显示关键信息，包括增加图像的亮度、增强细节、减少噪声和提高对比度。最终目标是使图像更适合人眼观察和计算机视觉算法处理，从而提高图像的可用性。近年来，研究人员们开发了丰富的算法来处理低光照图像增强问题，取得了重要的进展，然而，低光图像增强仍然面临一些重要问题：1）噪声和纹理混杂的问题。噪声的抑制和纹理的增强是增强过程中极其重要的需要平衡的问题，否则，可能导致噪声的放大或是图像内容的平滑，这对图像质量不利；2）结果的自然性问题。许多低光图像增强方法容易引入伪影，使图像看起来不自然。保持图像的自然性是一个重要目标，特别是在摄影和医学应用中。3）泛化性能。某些深度学习方法在处理与训练数据集不同的场景时表现不佳，然而，这也是一个关键问题，因为实际的低光照情形可以因环境、设备和场景而异。

近年来，深度学习技术，特别是卷积神经网络（CNN），已经成为低光照图像增强的重要工具。然而，增强结果的自然性和算法的泛化性依然是潜在的问题。

发明内容

本发明具有以下两个目的，1）引入空间注意力机制，以帮助模型利用图像的不同区域，恢复图像的细节纹理以及抑制噪声，处理各种退化情况，提升模型在极暗条件下的增强性能。2）引入通道注意力机制，增强模型在图像的特征空间中进行特征交互的能力，提升模型的表达能力，从而提升模型的泛化性能。

本发明提出一种基于空间通道注意力的低光照图像增强方法，所述方法包括以下步骤：

步骤 1): 输入待增强的低光照图像；

步骤 2): 将输入的低光照图像归一化到0到1之间；

步骤 3): 低光照图像经输入层处理，被映射到对应的特征空间，获得初步的图像特征；

步骤4): 在编码-解码模型中编码部分的浅层，初步的图像特征经由卷积层以及空间注意力进行处理，获得包含准确空间信息的特征；

步骤 5): 在编码-解码模型中编码部分的深层，包含准确空间信息的特征被下采样到一定尺度，通道注意力使各个特征进行充分的交互，获得包含丰富语义信息的特征；

步骤 6): 在编码-解码模型中解码部分，进行与在编码部分相同的对称操作，即在解码部分的深层进行相同的通道注意力操作，将深层的特征经上采样到浅层后，进行相同的空间注意力操作，获得经空间通道注意力处理的最后特征；

步骤 7): 将经过空间通道注意力处理的最后特征使用输出层进行映射，从特征空间映射回图像空间；

步骤 8): 输出最终的低光照图像增强结果。

进一步，编码-解码模型由输入层、输出层以及堆叠的卷积层和跳连接组成，多次的下采样和上采样操作将特征的尺寸进行缩小和放大；相同尺度的特征之间使用跳连接进行特征拼接，使用池化层进行下采样，使用转置卷积进行上采样；每次下采样，特征图的长宽均减半，而通道数加倍，上采样则反之；通道数自浅到深为64，128，256以及512；所采用的卷积核大小均为3×3，除输出层输入层之外的所有卷积层的激活函数均为PReLU，输出层的激活函数为Sigmoid；编码-解码模型的输入为低光照图像，输出为增强后的图像。

进一步，空间注意力在高分辨率的特征空间中执行，采用十字交叉注意力在空间上计算相关性，该空间注意力计算了空间中行上的注意力和列上的注意力，经过两个卷积层，对于每一个像素，输出有关其所在行上的长度为W的行空间注意力权重以及有关其所在列上的长度为H的列空间注意力权重，其中H为图像的纵向分辨率，W为图像的横向分辨率，将获得的空间注意力权重施加在经一个卷积层处理的特征图上，每个像素的新值为其相同行列上像素的加权和，参考了空间中行和列位置上的信息用于增强；此外，该空间注意力连续计算两次，将感受野扩展到全图，且两次计算中卷积层的参数共享。

进一步，通道注意力在低分辨率的特征空间中执行，采用通道注意力计算通道间的相关性，模型通过两个卷积层学习得到C×C的通道注意力图，其中C为通道数，该通道注意力图包含了每个通道与所有通道之间的相关性，将获得的通道注意力施加在经一个卷积层处理的特征图上，每个通道的新值为所有通道的加权和，其参考了所有通道的特征信息进行特征间交互。

进一步，所述编码-解码模型使用一个混合损失函数来训练模型，该损失函数包含逐像素的损失和结构损失，逐像素的损失由L1损失和L2损失组成，其表达式如下：

，

其中，和/>为L1损失和L2损失的权重，/>表示网络输出的增强图像，Y表示对应的正常光图像，/>和/>分别表示L1范数和L2范数；

结构损失表达式如下：

，

其中，表示计算/>和Y之间的结构相似度，其值在0到1之间，值越大表示二者的结构相似度越高，其计算方程由下式给出：

，

其中，和/>为待计算结构相似度的两张输入图片，/>和/>分别为图片/>和/>的局部均值，/>为局部总像素数，/>和/>为各自窗口内的像素值，/>和/>分别为图片/>和/>的局部标准差，/>为/>和/>之间的局部协方差；/>和/>是常量，用于避免公式中某些值趋近0时计算不稳定的现象；

最终的损失函数是/>和/>的加权和，即/>，其中/>和/>分别为逐像素损失和结构损失的权重。

本发明技术方案的优点和积极效果：

1）能够更好处理低光照环境下的图像内容恢复和噪声抑制难题；

在分辨率与原图像相近的特征空间中，特征包含准确的空间信息。对这些特征进行空间注意力操作，有助于模型利用自然图像的自相似性，参考图像中的相似块，对图像的微弱纹理进行恢复以及进行合理的去噪，在恢复细节的同时抑制噪声，保证在低光照环境下增强的准确性。

2）能够增强模型的表征能力以处理更广泛的实际低光照情形；

在经过多次下采样的特征空间中，特征包含丰富的语义信息。这些语义信息能够引导增强，通过通道注意力对这些特征进行聚合以及交互，模型的表征能力能够得到一定的提升。在处理现实中多变的低光照情况时，模型强大的表征能力能够使得算法具有良好的鲁棒性和泛化性。

附图说明

图1为基于空间通道注意力的低光照图像增强流程图；

图 2为本发明提出的编码-解码模型示意图；

图 3为空间注意力计算示例图；

图 4为通道注意力计算示例图；

图5(a)为低光照图像，图5(b)为一种基于对抗生成网络的方法生成的图像；图5(c)为一种基于可学习的Retinex模型的方法生成的图像；图5(d)为一种基于归一化流的方法生成的图像；图5(e)为一种基于深度展开网络的方法生成的图像，图5(f)为本发明提出的基于空间通道注意力的方法生成的图像。

具体实施方式

本发明的技术方案：如图1所示，基于空间通道注意力的低光照图像增强流程图；首先输入待增强的低光照图像，将其归一化到0到1之间；接着，低光照图像经输入层处理，被映射到对应的特征空间，获得初步的图像特征；然后，在编码-解码模型中编码部分的浅层，初步的图像特征经由卷积层以及空间注意力进行处理，获得包含准确空间信息的特征，在编码-解码模型中编码部分的深层，包含准确空间信息的特征被下采样到一定尺度，通道注意力使各个特征进行充分的交互，获得包含丰富语义信息的特征；接着，在编码-解码模型中解码部分，进行与在编码部分相同的对称操作，即在解码部分的深层进行相同的通道注意力操作，将深层的特征经上采样到浅层后，进行相同的空间注意力操作，获得经空间通道注意力处理的最后特征；最后，将经过空间通道注意力处理的最后特征使用输出层进行映射，从特征空间映射回图像空间，输出最终的低光照图像增强结果。

步骤 1): 输入待增强的低光照图像；

步骤 2): 将输入的低光照图像归一化到0到1之间；

步骤 3): 低光照图像经输入层处理，被映射到对应的特征空间，获得初步的图像特征；

步骤4): 在编码-解码模型中编码部分的浅层，初步的图像特征经由卷积层以及空间注意力进行处理，获得包含准确空间信息的特征；

步骤 5): 在编码-解码模型中编码部分的深层，包含准确空间信息的特征被下采样到一定尺度，通道注意力使各个特征进行充分的交互，获得包含丰富语义信息的特征；

步骤 6): 在编码-解码模型中解码部分，进行与在编码部分相同的对称操作，即在解码部分的深层进行相同的通道注意力操作，将深层的特征经上采样到浅层后，进行相同的空间注意力操作，获得经空间通道注意力处理的最后特征；

步骤 7): 将经过空间通道注意力处理的最后特征使用输出层进行映射，从特征空间映射回图像空间；

步骤 8): 输出最终的低光照图像增强结果。

本发明提出的基于空间通道注意力的低光照图像增强方法使用的骨干网络模型结构为常用的编码-解码模型，如图2所示。在方法的输入部分和输出部分，使用卷积层将图像映射到特征空间或是将特征映射到图像空间。模型的主干部分由堆叠的卷积层组成，多次的下采样和上采样操作将特征的尺寸进行缩小和放大，赋予模型多尺度学习的能力。相同尺度的特征之间使用跳连接保证训练的稳定和合理的残差学习。使用池化层进行下采样，使用转置卷积进行上采样；每次下采样，特征图的长宽均减半，而通道数加倍，上采样则反之。通道数自浅到深为64，128，256以及512。所采用的卷积核大小均为3×3，中间层的激活函数均为PReLU，输出层的激活函数为Sigmoid。模型的输入为低光照图像，输出为增强后的图像。

本发明引入空间注意力来利用自然图像的自相似性，帮助恢复图像细节。考虑到随着摄影设备的发展，图像的分辨率越来越高，且本发明中的空间注意力在高分辨率的特征空间中执行，需要采用轻量级的空间注意力计算方式保证良好的效率。本发明采用十字交叉注意力在空间上计算相关性，只需要线性复杂度，如图3所示。该空间注意力计算了行上的注意力和列上的注意力，因此对于每一个像素，其参考了空间中行和列位置上的信息用于增强；此外，该空间注意力连续计算了两次，将感受野扩展到全图而非局限在十字范围中，两次计算中卷积层的参数共享，因此并不带来额外的参数量。

具体实施方法：经过编码或解码部分的浅层的卷积层提取的尺寸为N×C×H×W特征图作为输入，其中N为批大小，C为特征图通道数，H为特征图的长，W为特征图的宽。经过三个卷积层的变换后，获得有关输入的查询（query）,键（key）和值（value），尺寸与输入大小一致。以行上的注意力权重计算为例，经过reshape操作调整维度后，查询和键的尺寸分别变为(NH)×W×C以及(NH)×C×W，将查询和键进行矩阵相乘并调整维度，得到 N×H×W×W的有关行的注意力图，该注意力图包含了所有的H×W个像素与其对应行上所有W个像素的相似度权重。同理，可以获得N×H×W×H的有关列的注意力图。行列的注意力图拼接起来,并进行Softmax、分离以及调整维度的操作，生成了最终的行注意力图和列注意力图，尺寸分别为NH×W×W以及NW×H×H。将这两张注意力图与值（value）进行矩阵相乘并调整维度相加，每个像素位置将参考其对应行列上的空间信息用于增强。上述操作将重复两次，每次的卷积层参数共享，两次注意力计算之后即可输出经空间注意力处理的特征图，其尺寸与输入特征图尺寸相同大小，即N×C×H×W。

本发明引入通道注意力来增强特征之间的聚合和交互，从而提升模型的表达能力，最终达到提升模型泛化性能的目的。在编码-解码模型的深层，特征的空间分辨率低，通道数多，包含大量的语义信息。早期的通道注意力基于池化层和全连接层，学习逐通道的权重，这种方式虽然有效，但无法实现通道间的交互。更好的方式是引入通道间的自注意力计算，由于通道数一般小于空间像素数，因此通道自注意力的计算是可以负担的。本发明引入的通道自注意力计算流程如图4所示，模型通过两个卷积层学习得到C×C的通道注意力图，其中C为通道数，将特征图与通道注意力进行矩阵乘法，实现了通道注意力的计算，该计算有助于学习通道之间的相关性，更好地实现了特征之间的聚合和交互。

具体实施方法：经过编码或解码部分的深层的卷积层提取的尺寸为N×C×H×W特征图作为输入，经过三个卷积层的变换后，获得有关输入的查询（query）,键（key）和值（value），尺寸与输入大小一致。经过reshape操作调整维度后，查询和键的尺寸分别变为N×C×(HW)以及N×(HW)×C，将查询和键进行矩阵相乘并进行Softmax，得到 N×C×C的通道注意力图，该注意力图包含了每个通道与所有C个通道的相似度权重。将该注意力图与值（value）进行矩阵相乘并调整维度，每个通道得以和所有通道进行特征交互，即可输出经通道注意力处理的特征图，其尺寸与输入特征图尺寸相同大小，即N×C×H×W。

本发明提出使用一个混合损失函数来训练模型，保证增强结果拥有良好的纹理、结构和色彩。该损失函数包含逐像素的损失和结构损失。逐像素的损失由L1损失和L2损失组成，其表达式如下：

，

其中，和/>为L1损失和L2损失的权重，/>表示网络输出的增强图像，Y表示对应的正常光图像，/>和/>分别表示L1范数和L2范数。

结构损失表达式如下：

，

其中，表示计算/>和Y之间的结构相似度，其值在0到1之间，值越大表示二者的结构相似度越高，其计算方程由下式给出：

，

其中，和/>为待计算结构相似度的两张输入图片，/>和/>分别为图片/>和/>的局部均值，/>为局部总像素数，/>和/>为各自窗口内的像素值，/>和/>分别为图片/>和/>的局部标准差，/>为/>和/>之间的局部协方差；/>和/>是常量，用于避免公式中某些值趋近0时计算不稳定的现象；

最终的损失函数是/>和/>的加权和，即/>，其中/>和/>分别为逐像素损失和结构损失的权重。其中，图5(a)为低光照图像，图5(b)为一种基于对抗生成网络的方法生成的图像；图5(c)为一种基于可学习的Retinex模型的方法生成的图像；图5(d)为一种基于归一化流的方法生成的图像；图5(e)为一种基于深度展开网络的方法生成的图像，图5(f)为本发明提出的基于空间通道注意力的方法生成的图像。以上展示了本发明提出的基于空间通道注意力的低光照图像增强方法的与其他基于深度学习方法的增强性能对比。可以看出本发明提出的方法能够更好地恢复低光照中的纹理细节和结构，保证了准确的颜色，并有优异的去噪性能，整体的增强效果更佳。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于空间通道注意力的低光照图像增强方法，其特征在于，所述方法包括以下步骤：

步骤 1): 输入待增强的低光照图像；

步骤 2): 将输入的低光照图像归一化到0到1之间；

步骤 3): 低光照图像经输入层处理，被映射到对应的特征空间，获得初步的图像特征；

步骤4): 在编码-解码模型中编码部分的浅层，初步的图像特征经由卷积层以及空间注意力进行处理，获得包含准确空间信息的特征；

步骤 5): 在编码-解码模型中编码部分的深层，包含准确空间信息的特征被下采样到一定尺度，通道注意力使各个特征进行充分的交互，获得包含丰富语义信息的特征；

步骤 6): 在编码-解码模型中解码部分，进行与在编码部分相同的对称操作，即在解码部分的深层进行相同的通道注意力操作，将深层的特征经上采样到浅层后，进行相同的空间注意力操作，获得经空间通道注意力处理的最后特征；

步骤 7): 将经过空间通道注意力处理的最后特征使用输出层进行映射，从特征空间映射回图像空间；

步骤 8): 输出最终的低光照图像增强结果。

2.根据权利要求1所述的方法，其特征在于，编码-解码模型由输入层、输出层以及堆叠的卷积层和跳连接组成，多次的下采样和上采样操作将特征的尺寸进行缩小和放大；相同尺度的特征之间使用跳连接进行特征拼接，使用池化层进行下采样，使用转置卷积进行上采样；每次下采样，特征图的长宽均减半，而通道数加倍，上采样则反之；通道数自浅到深为64，128，256以及512；所采用的卷积核大小均为3×3，除输出层输入层之外的所有卷积层的激活函数均为PReLU，输出层的激活函数为Sigmoid；编码-解码模型的输入为低光照图像，输出为增强后的图像。

3.根据权利要求1所述的方法，其特征在于，空间注意力在高分辨率的特征空间中执行，采用十字交叉注意力在空间上计算相关性，该空间注意力计算了空间中行上的注意力和列上的注意力，经过两个卷积层，对于每一个像素，输出有关其所在行上的长度为W的行空间注意力权重以及有关其所在列上的长度为H的列空间注意力权重，其中H为图像的纵向分辨率，W为图像的横向分辨率，将获得的空间注意力权重施加在经一个卷积层处理的特征图上，每个像素的新值为其相同行列上像素的加权和，参考了空间中行和列位置上的信息用于增强；此外，该空间注意力连续计算两次，将感受野扩展到全图，且两次计算中卷积层的参数共享。

4.根据权利要求1所述的方法，其特征在于，通道注意力在低分辨率的特征空间中执行，采用通道注意力计算通道间的相关性，模型通过两个卷积层学习得到C×C的通道注意力图，其中C为通道数，该通道注意力图包含了每个通道与所有通道之间的相关性，将获得的通道注意力施加在经一个卷积层处理的特征图上，每个通道的新值为所有通道的加权和，其参考了所有通道的特征信息进行特征间交互。

5.根据权利要求1所述的方法，其特征在于，所述编码-解码模型使用一个混合损失函数来训练模型，该损失函数包含逐像素的损失和结构损失，逐像素的损失由L1损失和L2损失组成，其表达式如下：

，

其中，和/>为L1损失和L2损失的权重，/>表示网络输出的增强图像，Y表示对应的正常光图像，/>和/>分别表示L1范数和L2范数；

结构损失表达式如下：

，

其中，表示计算/>和Y之间的结构相似度，其值在0到1之间，值越大表示二者的结构相似度越高，其计算方程由下式给出：

，

其中，和/>为待计算结构相似度的两张输入图片，/>和/>分别为图片/>和/>的局部均值，/>为局部总像素数，/>和/>为各自窗口内的像素值，/>和/>分别为图片/>和/>的局部标准差，/>为/>和/>之间的局部协方差；/>和/>是常量，用于避免公式中某些值趋近0时计算不稳定的现象；

最终的损失函数是/>和/>的加权和，即/>，其中/>和分别为逐像素损失和结构损失的权重。