CN117011194A - 一种基于多尺度双通道注意力网络的低光图像增强方法 - Google Patents
一种基于多尺度双通道注意力网络的低光图像增强方法 Download PDFInfo
- Publication number
- CN117011194A CN117011194A CN202311278822.1A CN202311278822A CN117011194A CN 117011194 A CN117011194 A CN 117011194A CN 202311278822 A CN202311278822 A CN 202311278822A CN 117011194 A CN117011194 A CN 117011194A
- Authority
- CN
- China
- Prior art keywords
- low
- enhancement
- channel attention
- dual
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000009977 dual effect Effects 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 21
- 238000005286 illumination Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 230000001965 increasing effect Effects 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 230000005284 excitation Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000001629 suppression Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于多尺度双通道注意力网络的低光图像增强方法，包括：构建训练集；所述训练集包括：低光图像和高光图像；利用所述训练集对预设的多尺度双通道注意力低光增强网络（MDANet）进行训练；预设的多尺度双通道注意力低光增强网络包括：多尺度特征提取和融合(MFEF)模块、双通道注意力特征增强(DAFE)模块；对所述低光图像进行预处理后，输入训练后的所述多尺度双通道注意力低光增强网络，完成低光图像增强。本发明通过堆叠多个多尺度特征提取和融合模块，实现自顶向下的特征提取和自底向上的特征融合，并取得极好的低光增强效果。
Description
技术领域
本发明属于低光图像增强领域，尤其涉及一种基于多尺度双通道注意力网络的低光图像增强方法。
背景技术
低光照图像增强的目的是突出关键信息，尽可能地排除干扰信息，将原来不清晰或者亮度较低的图像变得清晰或者增强亮度。低光照图像增强算法主要分为传统的低光照图像增强算法以及基于深度学习的低光照图像增强算法。目前常见的低光照图像增强方法包括色调映射算法，直方图均衡化算法，伽马修正算法，基于Retinex分解的算法等。色调映射算法通过映射函数处理图像的像素点来提升对比度与亮度。直方图均衡化算法通过改变图像的直方图来改变图像中各像素的灰度，增强动态范围偏小的图像的对比度。伽马修正算法是一种通过对图像的伽玛曲线进行编辑，实现对图像进行非线性色调编辑的方法。基于Retinex理论的低亮度图片增强算法，通常把图片分解为亮度分量和反射分量，通过将增强后的亮度分量与反射分量融合实现图像增强。尽管传统算法对低光图像有一定的增强效果，但其效果仍受限于手工特征和人工定义的增强规格，在适应各种低光条件和复杂场景时具有极大的局限性。
自2017年Kin等人提出将深度学习用于低光增强的方法LLNet并取得令人惊讶的效果后，越来越多的研究人员加入其中。LLNet通过堆叠多个去噪自动编码器的方式提取图像特征，并适当增强图片亮度。受PS中亮度调整曲线的启发，Guo等人将低光增强视为图像特定曲线估计任务，提出Zero-DEC。EnligthenGAN是基于GAN设计的将U-Net网络作为backbone的无监督增强网络，它加入了Self-Regularized Attention，同时引入了全局-局部判别器来平衡全局和局部微光增强。RetinexNet是基于Retinex图像分解理论卷积神经网络模型，它分为分解、调整和重建模型三部分。分解模型实现的是反射分量和光照分量的分解，调整模型是对低光照图像的反射分量进行噪声抑制及其光照分量的校正，重建模型根据处理后的反射分量和光照分量恢复出正常光照图像。TBEFN是一个双分支曝光融合网络，它分别在两个基于U-Net的不同结构分支分别处理轻度和严重退化的图像，然后利用自适应注意力将分支的输出融合为最终结果。MIRNet是基于空间注意力和通道注意力的多尺度特征聚合网络，可以学习到来自多个尺度的上下文信息，同时保留高分辨率的空间细节。MIRNet使用对偶注意单元(dual-attention units)捕获空间和通道维度的上下文信息，并利用并行的多分辨率卷积流进行定期重复的跨多分辨率的信息交换，在信息聚合时MIRNet引入了一种利用自注意机制对多种分辨率的融合特征进行非线性处理的过程。MIRNet-V2是MIRNet的改进版，它将原来的对偶注意单元(dual-attention units)替换为同样基于注意力的残差上下文块(RCB)。SMNet是同步多尺度低光增强网络，重点集成局部和全局两个方面，以同步的方式学习多尺度表示。SMNet提出一个基于注意力的全局特征重新校准模块在同步多尺度表示后获取全局亮度信息。
在各种低光增强任务中，将多尺度特征学习网络和注意力机制结合起来的低光图像增强方法取得了目前最好的效果。但是当前尚未很好解决的问题包括：1）目前大多数多尺度方法利用定期重复的特征融合、信息交换模块实现噪音抑制和特征增强，但是这种机制使模型参数量极大增加，使网络规模变得复杂庞大。2）目前最好的低光增强方法的增强图像仍存在噪音大、细节模糊和色彩退化问题。本发明针对的是低光图像增强这个特定领域内的上述问题，这些问题阻碍了这个领域的发展，急需解决。
发明内容
为解决上述技术问题，本发明提出一种基于多尺度双通道注意力网络的低光图像增强方法。它是由多尺度特征提取融合模块（MFEF）和双通道注意力特征增强模块（DAFE）组成的多尺度双通道注意力低光增强网络，称其为MDANet。与现有的多尺度特征学习架构不同，基于编码器-解码器结构的MFEF中较高分辨率的分支直接融合包含丰富上下文信息的低分辨率特征之后再通过DAFE。为了再次融合特征和交换信息，最高分辨率分支还会连接底层所有分支并再次通过DAFE。该方法不但显著降低了网络参数规模，而且可以克服因为卷积核大小的限制而无法感受全局信息的困难。DAFE由双通道注意力和多层卷积块组成，它通过调整特征图的通道权重提高对图像中不同通道的重要信息的关注度，并通过后续的多层卷积块进一步过滤噪音和强化特征。
本发明提供一种基于多尺度双通道注意力网络的低光图像增强方法，包括：
构建训练集；所述训练集包括：成对的低光图像和高光图像；
利用所述训练集对预设的多尺度双通道注意力低光增强网络进行训练；预设的多尺度双通道注意力低光增强网络包括：多尺度特征提取和融合模块、双通道注意力特征增强模块；
将所述低光图像输入训练后的所述多尺度双通道注意力低光增强网络，完成低光图像增强。
可选地，对预设的多尺度双通道注意力低光增强网络进行训练前包括：对所述低光图像进行预处理；
对所述低光图像进行预处理，包括：
对所述低光图像进行最大池化操作，分离出所述低光图像中的光照分量；
将所述光照分量与所述低光图像进行拼接，获取原始输入；
通过若干层卷积块将所述光照分量和所述原始输入进行初步融合，获取输入数据。
可选地，将所述光照分量和所述原始输入进行初步融合包括：
使用卷积核为3×3的卷积层将所述原始输入从低维映射到高维；
利用卷积核为3×3和1×1的卷积块，将映射到高维后的所述原始输入，进行降维处理，实现信息交换和融合；
利用卷积核为3×3和1×1的卷积块，将降维处理后的所述原始输入，进行升维处理，实现进一步信息交换和融合；
将升高通道数处理后的所述原始输入与所述信息交换和融合后的输入逐位相加建立残差连接，获得所述输入数据。
可选地，对预设的多尺度双通道注意力低光增强网络进行训练包括：
对所述训练集中的低光图像进行预处理，获取输入数据；
将所述输入数据通过三个所述多尺度特征提取和融合模块，在每个所述多尺度特征提取和融合模块中，进行两次下采样操作，获取特征图，再自下而上将所述特征图融合；其中，所述特征图包括：高分辨特征图、中分辨特征图和低分辨特征图；
每个多尺度特征提取和融合模块中，将所述低分辨率特征图经过所述双通道注意力特征增强模块后与所述中分辨率特征图逐位相加；将相加后的所述中分辨率特征图经过所述双通道注意力特征增强模块后与所述高分辨率特征图逐位相加；相加后的所述高分辨率特征图经过所述双通道注意力特征增强模块后与增强后的所述低分辨率特征图和中分辨率特征图串联拼接；拼接后的特征图再次经过所述双通道注意力特征增强模块进行降维处理；
将升高通道数处理后的所述原始输入与每个所述多尺度特征提取和融合模块后的输出逐位相加，建立残差连接；
最后利用卷积核为1×1的卷积层将残差连接后的数据进行降维，完成所述多尺度双通道注意力低光增强网络的训练。
可选地，进行下采样操作的表达式为：
其中，为中分辨流通的特征图，/>为高分辨流通的特征图，/>为低分辨流通的特征图，/>为下采样操作。
可选地，将所述特征图自底向上融合低分辨率和高分辨特征的表达式为：
其中，为双通道注意力增强模块，/>为经过DAFE模块的低分辨率特征图，/>为经过DAFE模块的中分辨率特征图，/>为经过DAFE的高分辨率特征图，/>为串联拼接操作，/>为上采样操作，/>是经过DAFE模块增强后的输出。
可选地，所述双通道注意力特征增强模块包括：压缩操作、激发操作和增强操作；
将每一分辨率分支特征图，输入所述双通道注意力特征增强模块进行压缩操作、激发操作和增强操作包括：
通过所述压缩操作中的最大池化和平均池化操作，将融合后的特征数据编码为通道描述符和/>；其中，所述/>重视特征图中显著性信息，所述/>注重特征图的全局信息；
通过所述激发操作，将所述和/>分别通过全连接层、激活函数ReLu、全连接层和激活函数Sigmoid，以此学习不同通道的权重分布，在重新校正/>和/>之后，将它们相加并在通道维度上逐元素与融合后的特征数据相乘，之后再与融合后的特征图建立残差连接，输出预设特征图；
通过所述增强操作，将所述预设特征图经过预设卷积块，进一步调整所述预设特征图的通道注意力权重并实现跨通道的信息交换和融合；其中预设卷积块为：两层由卷积核为3×3的卷积层、激活函数为PReLU的激活层和卷积核为1×1的卷积层组成的卷积块。
可选地，对预设的多尺度双通道注意力低光增强网络进行训练过程中采用的损失函数为：
其中，为结构损失，/>为感知损失，/>为Huber损失，为颜色损失，/>为总变分损失。
与现有技术相比，本发明具有如下优点和技术效果：
在本发明中，通过提出一个简单有效的多尺度特征提取和融合模块MFEF，MFEF在下采样操作之后通过多次自底向上融合低分辨率和高分辨特征，克服卷积核尺寸对感受野大小的限制，使模型学习到输入图像的全局信息；通过提出一个双通道注意力特征增强模块DAFE，通过双层通道注意力和多层卷积块实现对噪音的过滤和重要特征的强化，让模型具有优秀的全局光照重建、色彩恢复和细节重建能力，继而改善图像的质量和视觉效果；通过提出一个由多尺度特征提取和融合模块和双通道注意力特征增强模块组成的多尺度双通道低光增强网络MDANet，通过堆叠多个MEFE模块，实现自顶向下的特征提取和自底向上的特征融合，并取得令人满意的低光增强效果，将DAFE中的通道注意力替换为通道注意力和空间注意力的各种组合，并用实验证明了空间注意力并不适用于低光增强任务。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为一种基于多尺度双通道注意力网络的低光图像增强方法的流程图；
图2为本发明实施例的MDANet整体框架结构示意图；
图3为本发明实施例的DAEF结构示意图；
图4为本发明实施例的双通道注意力特征增强模块结构示意图；
图5为本发明实施例的结果示例图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
如图1所示，本实施例提出一种基于多尺度双通道注意力网络的低光图像增强方法；如图2所示，为本实施例中的MDANet整体框架结构，根据以往的研究，本发明认为低光增强方法应重点关注光照重建、细节呈现、噪音抑制。鉴于多尺度网络结构可以将低级特征和高级特征良好地融合，通道注意力可以过滤噪音和强化特征，本发明提出由一种由多尺度特征提取和融合模块（MFEF）和双通道注意力特征增强模块（DAFE）组成的多尺度双通道注意力低光增强网络MDANet。
亮度信息对于低光图像来说十分重要，为了充分利用低光图像中的亮度特征，如图2所示，本实施例在空间维度上对进行最大池化（GMP）操作，分离出图像中的光照分量，再将其与/>拼接为4通道的输入/>，随后通过多层卷积块将光照分量和原始输入（原始输入是H×W×3）融合。在进行所有特征提取和融合操作之前，先使用3×3的卷积核将输入从低维（4通道）映射到高维（64通道）。这一做法的动机有三，一）低维特征无法充分描述图像中的复杂结构和细节信息，通过转换到高维空间，可以引入更多的特征维度，使得特征更能够区分不同的图像物体和细节。二）低维信息在网络间流动时更容易因为ReLU等激活函数而损失有用信息。三）通过在高维空间中对图像进行表示可以增加特征之间的差异性，提取更丰富的视觉信息，使得增强效果更好。
在提高维度之后，堆叠两层卷积核为3×3和1×1的卷积块将光照分量和原始输入融合。为了进一步跨通道交换信息和减少计算量，我们降低中间卷积层通道数，即利用中间1×1的卷积层降低通道数，将其从64通道变为16通道，随后再用3×3的卷积层升高通道数，将其从16通道恢复为64通道。其中3×3卷积层可以有效地进行空间信息变换和信息融合。为了避免网络的退化，在将输入送入多尺度模块前，本实施例建立了一个残差连接，用于防止网络退化。
在残差连接之后，输入将被送入多尺度特征提取和融合模块（MFEF），MFEF由多尺度网络和双通道注意力特征增强模块（DAEF）组成。通过堆叠多个MFEF和残差连接，MDCNet实现了低光图像的全局光照重建和局部细节恢复。
多尺度特征提取和融合模块
图3展示了多尺度特征提取和融合模块的结构。其中输入进入DAEF后会被执行两次下采样，这可以缩小特征图和扩大感受野。为了在缩小特征图的同时尽可能保留特征信息，每次下采样都会将分辨率减小一半，通道数增加一倍。高分辨流通的特征图为/>，中分辨率流通的特征图为，同理，低分辨率则为/>。下采样公式如下：
低分辨率的特征图有着丰富的上下文信息，但由于下采样操作损失了更多的空间信息，高分辨特征图则相反。为了让图像兼顾上下文信息和空间特征，本发明让特征图自底向上流动，将具有丰富上下文信息的低分辨率特征与具有准确空间信息的高分辨率特征融合。
Mirnet和MirnetV2等利用定期重复的跨分辨率信息交换多次强化全局特征和局部细节，它们的每个分支的特征图通过两次特征增强模块和特征融合模块，这让网络结构变得十分庞大繁杂。与Mirnet和Mirnet-V2等的做法不同，MDANet中最底层的分支直接经过DAEF再通过上采样与中间分支融合。中间分支融合最底层的特征图之后再经过DAEF，之后中间分支上采样与最高层分支融合。最高层分支同样在融合中间分支后再通过DAEF。在最后输出前，最高层分支会再次融合所有底层分支并再次通过DAEF，这个DAEF会将特征图的通道数由192降为64，最后输出与原输入建立残差连接后再往后传递。简单来说，MFEF只在每个分支和最后输出前放置一个特征增强和融合模块，这种重复跨分辨率的特征融合和强化方法不但大大减小了网络的参数，而且可以克服因为卷积核大小的限制而无法感受全局信息的困难，让网络根据空间信息和语义信息再次强化全局和局部特征。往后传递的特征图经过卷积核为1×1的卷积层将维度降为3，得到增强后的输出图像。这部分过程主要公式如下所示：
双通道注意力特征增强模块
图4展示了双通道注意力特征增强模块的结构。在多尺度网络的每一个分支和最后输出前都需要一个让特征图进行信息交换、融合和增强的模块，而注意力机制和卷积块的组合可以实现本实施例的需求，基于双通道注意力和多层卷积块，本实施例构建了DAEF，它由压缩、激发、增强三部分组成，其结构如图4所示。
在压缩中，对于输入，利用全局最大池化和全局平均池化操作将其编码为通道描述符/>和/>，它们是包含特征图全局信息的两种不同表征，前者更加重视特征图中显著性信息，后者更加注重特征图的全局信息。
在激发中，将上述两种特征描述符分别通过全连接层FC、激活函数ReLu、全连接层FC和激活函数Sigmoid，以此学习不同通道的权重分布，即降低不重要通道的权重，增加含有更重要语义信息通道的权重，从而达到抑制噪音、增强特征的目的。重新校正和/>之后，将它们相加并在通道维度上逐元素与输入/>相乘，之后再与输入建立残差连接。将和/>融合，可以结合全局最大池化和全局平均池化的优势，最大池化能够编码目标的显著性信息，这能够弥补平均池化编码的全局信息的不足。
在增强部分，为了进一步调整特征图的通道注意力权重和使经过通道注意力加权后的特征与其周围的上下文信息相互作用，获得更全局和综合的特征表示，本实施例让特征图经过两层由卷积核为3×3的卷积层、激活函数为PReLU的激活层和卷积核为1×1的卷积层组成的卷积块。卷积块中的激活层是为了让网络具有非线性建模和更强的表达能力。为了促进跨通道的交互和信息融合以及减小计算量，卷积块中间的卷积核为1×1和3×3的卷积层会将特征图通道数先降低再提高。最终经过增强部分输出的具有强大的特征表达能力。
需要注意的是DAEF中只使用了最大池化和平均池化的通道注意力，没有使用空间注意力。原因有二：1）在MFEF中，随着下采样操作，特征图的尺寸逐级减小，通道数逐级增加。空间信息随着下采样操作大量丢失，本实施例认为空间注意力不再适用于低分辨率多通道的特征图，而通道注意力可以提高重要通道的权重，降低不重要通道的权重，它比空间注意力更能让网络关注重要信息。2）在低光环境中拍摄的低光图像存在严重的噪声和细节丢失问题，本实施例认为使用空间注意力机制会使放大图像噪音，降低模型的增强效果。
损失函数
损失函数在低光图像增强任务中起着指导模型训练、衡量重建误差、提升感知质量和处理特定任务要求的作用。在低光增强领域中，常用的损失函数包括结构损失、感知损失、平滑度损失、颜色损失、曝光损失、对抗损失等。考虑到图像的结构信息、语义信息，本实施例设计的损失函数由5部分构成：
其中是结构损失，/>是感知损失，/>是Huber损失，是颜色损失，/>是总变分损失（Total Variation Loss）。
结构损失（SSIM Loss）：SSIM损失函数的计算基于图像的亮度、对比度和结构相似性。SSIM损失函数的公式如下：
其中和/>分别是输出图像和目标图像，/>和/>分别是/>和/>的均值，/>和/>分别是/>和/>的标准差，/>是/>和/>的协方差，/>和/>是用于稳定计算、防止分母为0的常数。
感知损失（Perceptual Loss）是一种基于深度学习的损失函数，通常使用预训练的卷积神经网络来计算两张图片之间的差异，这些网络已经在大规模的数据集上进行了训练，可以提取图像的高级特征。本实施例使用计算L1距离的感知损失，计算公式如下：
其中，是输出图像，/>是目标图像，/>和 />分别表示它们在预训练的VGG-16[49]神经网络中的第/>块的第/>层的特征表示。
Huber损失（Huber Loss）在图像增强中可以用于平衡平方损失和绝对值损失之间的权衡，在图像重建过程中可以平衡异常值的影响，并在一定程度上提升图像的平滑度。Huber Loss的计算公式如下：
其中是 Huber Loss 的参数，取其经验值1，/>是输出图像，/>是目标图像。
颜色损失是可以有效校正图像颜色的损失函数，它通过计算输出与预测值之间的余弦值来减轻图像重建过程中颜色失真现象，其公式如下所示：
其中表示像素，/>是一个运算符，它将RGB颜色作为三维向量，并计算两种颜色之间的夹角，上述公式即是对输出/>和预测值/>中每个像素对的颜色向量夹角求和。
总变分损失（Total Variation Loss）常用于图像增强和图像去噪等任务。其公式如下所示：
。
图5是实施例所提供的结果示例图。
本实施例提出的的多尺度特征提取和融合模块（MFEF），MFEF在下采样操作之后通过多次自底向上融合低分辨率和高分辨特征，克服卷积核尺寸对感受野大小的限制，使模型学习到输入图像的全局信息。
本实施例提出的双通道注意力特征增强模块（DAEF），通过双层通道注意力和多层卷积块实现对噪音的过滤和重要特征的强化，让模型具有优秀的全局光照重建、色彩恢复和细节重建能力，继而改善图像的质量和视觉效果。
本实施例提出的由多尺度特征提取和融合模块（MFEF）和双通道注意力特征增强模块（DAEF）组成的多尺度双通道低光增强网络MDANet。通过堆叠多个MFEF模块，实现自顶向下的特征提取和自底向上的特征融合，并取得令人满意的低光增强效果。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.一种基于多尺度双通道注意力网络的低光图像增强方法，其特征在于，包括：
构建训练集；所述训练集包括：成对的低光图像和高光图像；
利用所述训练集对预设的多尺度双通道注意力低光增强网络进行训练；预设的多尺度双通道注意力低光增强网络包括：多尺度特征提取和融合模块、双通道注意力特征增强模块；
将所述低光图像输入训练后的所述多尺度双通道注意力低光增强网络，完成低光图像增强。
2.根据权利要求1所述的基于多尺度双通道注意力网络的低光图像增强方法，其特征在于，对预设的多尺度双通道注意力低光增强网络进行训练前包括：对所述低光图像进行预处理；
对所述低光图像进行预处理，包括：
对所述低光图像进行最大池化操作，分离出所述低光图像中的光照分量；
将所述光照分量与所述低光图像进行拼接，获取原始输入；
通过若干层卷积块将所述光照分量和所述原始输入进行初步融合，获取输入数据。
3.根据权利要求2所述的基于多尺度双通道注意力网络的低光图像增强方法，其特征在于，将所述光照分量和所述原始输入进行初步融合包括：
使用卷积核为3×3的卷积层将所述原始输入从低维映射到高维；
利用卷积核为3×3和1×1的卷积块，将映射到高维后的所述原始输入，进行降维处理，实现信息交换和融合；
利用卷积核为3×3和1×1的卷积块，将降维处理后的所述原始输入，进行升维处理，实现进一步信息交换和融合；
将升高通道数处理后的所述原始输入与所述信息交换和融合后的输入逐位相加建立残差连接，获得所述输入数据。
4.根据权利要求2所述的基于多尺度双通道注意力网络的低光图像增强方法，其特征在于，对预设的多尺度双通道注意力低光增强网络进行训练包括：
对所述训练集中的低光图像进行预处理，获取输入数据；
将所述输入数据通过三个所述多尺度特征提取和融合模块，在每个所述多尺度特征提取和融合模块中，进行两次下采样操作，获取特征图，再自下而上将所述特征图融合；其中，所述特征图包括：高分辨率特征图、中分辨率特征图和低分辨率特征图；
每个多尺度特征提取和融合模块中，将所述低分辨率特征图经过所述双通道注意力特征增强模块后与所述中分辨率特征图逐位相加；将相加后的所述中分辨率特征图经过所述双通道注意力特征增强模块后与所述高分辨率特征图逐位相加；相加后的所述高分辨率特征图经过所述双通道注意力特征增强模块后与增强后的所述低分辨率特征图和中分辨率特征图串联拼接；拼接后的特征图再次经过所述双通道注意力特征增强模块进行降维处理；
将升高通道数处理后的所述原始输入与每个所述多尺度特征提取和融合模块后的输出逐位相加，建立残差连接；
最后利用卷积核为1×1的卷积层将残差连接后的数据进行降维，完成所述多尺度双通道注意力低光增强网络的训练。
5.根据权利要求4所述的基于多尺度双通道注意力网络的低光图像增强方法，其特征在于，进行下采样操作的表达式为：
其中，/>为中分辨流通的特征图，/>为高分辨流通的特征图，/>为低分辨流通的特征图，/>为下采样操作。
6.根据权利要求4所述的基于多尺度双通道注意力网络的低光图像增强方法，其特征在于，将所述特征图自底向上融合低分辨率和高分辨特征的表达式为：
其中，为双通道注意力增强模块，/>为经过DAFE模块的低分辨率特征图，/>为经过DAFE模块的中分辨率特征图，/>为经过DAFE的高分辨率特征图，/>为串联拼接操作，/>为上采样操作，/>为经过DAFE模块增强后的输出。
7.根据权利要求4所述的基于多尺度双通道注意力网络的低光图像增强方法，其特征在于，所述双通道注意力特征增强模块包括：压缩操作、激发操作和增强操作；
将每一分辨率分支特征图，输入所述双通道注意力特征增强模块进行压缩操作、激发操作和增强操作包括：
通过所述压缩操作中的最大池化和平均池化操作，将融合后的特征数据编码为通道描述符和/>；其中，所述/>重视特征图中显著性信息，所述/>注重特征图的全局信息；
通过所述激发操作，将所述和/>分别通过全连接层、激活函数ReLu、全连接层和激活函数Sigmoid，以此学习不同通道的权重分布，在重新校正/>和/>之后，将它们相加并在通道维度上逐元素与融合后的特征数据相乘，之后再与融合后的特征图建立残差连接，输出预设特征图；
通过所述增强操作，将所述预设特征图经过预设卷积块，进一步调整所述预设特征图的通道注意力权重并实现跨通道的信息交换和融合；其中预设卷积块为：两层由卷积核为3×3的卷积层、激活函数为PReLU的激活层和卷积核为1×1的卷积层组成的卷积块。
8.根据权利要求1所述的基于多尺度双通道注意力网络的低光图像增强方法，其特征在于，对预设的多尺度双通道注意力低光增强网络进行训练过程中采用的损失函数为：
其中，/>为结构损失，为感知损失，/>为Huber损失，/>为颜色损失，/>为总变分损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311278822.1A CN117011194B (zh) | 2023-10-07 | 2023-10-07 | 一种基于多尺度双通道注意力网络的低光图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311278822.1A CN117011194B (zh) | 2023-10-07 | 2023-10-07 | 一种基于多尺度双通道注意力网络的低光图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117011194A true CN117011194A (zh) | 2023-11-07 |
| CN117011194B CN117011194B (zh) | 2024-01-30 |
Family
ID=88576585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311278822.1A Active CN117011194B (zh) | 2023-10-07 | 2023-10-07 | 一种基于多尺度双通道注意力网络的低光图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117011194B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635478A (zh) * | 2024-01-23 | 2024-03-01 | 中国科学技术大学 | 一种基于空间通道注意力的低光照图像增强方法 |
| CN117893413A (zh) * | 2024-03-15 | 2024-04-16 | 博创联动科技股份有限公司 | 基于图像增强的车载终端人机交互方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862713A (zh) * | 2021-02-02 | 2021-05-28 | 山东师范大学 | 一种基于注意力机制的低光图像增强方法及系统 |
| CN113052210A (zh) * | 2021-03-11 | 2021-06-29 | 北京工业大学 | 一种基于卷积神经网络的快速低光照目标检测方法 |
| US11468543B1 (en) * | 2021-08-27 | 2022-10-11 | Hong Kong Applied Science and Technology Research Institute Company Limited | Neural-network for raw low-light image enhancement |
| CN116091357A (zh) * | 2023-02-20 | 2023-05-09 | 重庆理工大学 | 深度卷积注意力和多尺度特征融合的低光图像增强方法 |
| CN116152120A (zh) * | 2023-04-20 | 2023-05-23 | 南京大学 | 一种融合高低频特征信息的低光图像增强方法及装置 |
| CN116596809A (zh) * | 2023-05-30 | 2023-08-15 | 南京邮电大学 | 一种基于Residual-Unet网络的低照度图像增强方法 |
-
2023
- 2023-10-07 CN CN202311278822.1A patent/CN117011194B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862713A (zh) * | 2021-02-02 | 2021-05-28 | 山东师范大学 | 一种基于注意力机制的低光图像增强方法及系统 |
| CN113052210A (zh) * | 2021-03-11 | 2021-06-29 | 北京工业大学 | 一种基于卷积神经网络的快速低光照目标检测方法 |
| US11468543B1 (en) * | 2021-08-27 | 2022-10-11 | Hong Kong Applied Science and Technology Research Institute Company Limited | Neural-network for raw low-light image enhancement |
| CN116091357A (zh) * | 2023-02-20 | 2023-05-09 | 重庆理工大学 | 深度卷积注意力和多尺度特征融合的低光图像增强方法 |
| CN116152120A (zh) * | 2023-04-20 | 2023-05-23 | 南京大学 | 一种融合高低频特征信息的低光图像增强方法及装置 |
| CN116596809A (zh) * | 2023-05-30 | 2023-08-15 | 南京邮电大学 | 一种基于Residual-Unet网络的低照度图像增强方法 |
Non-Patent Citations (4)
| Title |
|---|
| SHUN LONG ET AL.: "A Low-Cost Detail-Aware Neural Network Framework and Its Application in Mask Wearing Monitoring", 《APPLIDED SCIENCES》, pages 1 - 16 * |
| YANG QUN ET AL.: "A Lowlight Image Enhancement Method Learning from Both Paired and Unpaired Data by Adversarial Training", 《 NEUROCOMPUTING》, pages 1 - 9 * |
| 徐超越: "基于U-Net的多尺度低照度图像增强网络", 《计算机工程》, pages 215 - 223 * |
| 龙舜 等: "一种基于格雷码置乱与分块混沌置乱的医学影像隐私保护分类方案", 《数据采集与处理》, pages 984 - 996 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635478A (zh) * | 2024-01-23 | 2024-03-01 | 中国科学技术大学 | 一种基于空间通道注意力的低光照图像增强方法 |
| CN117635478B (zh) * | 2024-01-23 | 2024-05-17 | 中国科学技术大学 | 一种基于空间通道注意力的低光照图像增强方法 |
| CN117893413A (zh) * | 2024-03-15 | 2024-04-16 | 博创联动科技股份有限公司 | 基于图像增强的车载终端人机交互方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117011194B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020152521A1 (en) | Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures | |
| EP4198875A1 (en) | Image fusion method, and training method and apparatus for image fusion model | |
| CN117011194B (zh) | 一种基于多尺度双通道注意力网络的低光图像增强方法 | |
| CN113344773B (zh) | 基于多级对偶反馈的单张图片重构hdr方法 | |
| CN114170286B (zh) | 一种基于无监督深度学习的单目深度估计方法 | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| CN116152120A (zh) | 一种融合高低频特征信息的低光图像增强方法及装置 | |
| CN115393227A (zh) | 基于深度学习的微光全彩视频图像自适应增强方法及系统 | |
| CN114565539B (zh) | 一种基于线上知识蒸馏的图像去雾方法 | |
| CN115035010A (zh) | 一种由卷积网络引导模型映射的水下图像增强方法 | |
| CN115035011A (zh) | 一种融合策略下自适应RetinexNet的低照度图像增强方法 | |
| Singh et al. | Low-light image enhancement for UAVs with multi-feature fusion deep neural networks | |
| CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
| CN117408924A (zh) | 一种基于多重语义特征融合网络的低光照图像增强方法 | |
| CN116823662A (zh) | 一种融合原生特征的图像去噪去模糊方法 | |
| CN113837963B (zh) | 基于深度网络在lab颜色空间下的水下图像增强方法 | |
| Huang et al. | An end-to-end dehazing network with transitional convolution layer | |
| CN116266336A (zh) | 视频超分辨率重建方法、装置、计算设备及存储介质 | |
| CN114862707A (zh) | 一种多尺度特征恢复图像增强方法、装置及存储介质 | |
| CN114881879A (zh) | 一种基于亮度补偿残差网络的水下图像增强方法 | |
| CN114511487A (zh) | 图像融合方法及装置、计算机可读存储介质、终端 | |
| CN114902237A (zh) | 图像处理方法、装置和电子设备 | |
| CN113240589A (zh) | 一种多尺度特征融合的图像去雾方法及系统 | |
| CN114586056A (zh) | 图像处理方法及装置、设备、视频处理方法及存储介质 | |
| CN114897718B (zh) | 一种能同时平衡上下文信息和空间细节的低光图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |