CN115115549A - 多支路融合注意力机制的图像增强模型、方法、设备及存储介质 - Google Patents
多支路融合注意力机制的图像增强模型、方法、设备及存储介质 Download PDFInfo
- Publication number
- CN115115549A CN115115549A CN202210773177.XA CN202210773177A CN115115549A CN 115115549 A CN115115549 A CN 115115549A CN 202210773177 A CN202210773177 A CN 202210773177A CN 115115549 A CN115115549 A CN 115115549A
- Authority
- CN
- China
- Prior art keywords
- image
- enhancement
- low
- fusion
- enhanced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 65
- 230000007246 mechanism Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 230000002708 enhancing effect Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 3
- 235000011941 Tilia x europaea Nutrition 0.000 description 3
- 239000004571 lime Substances 0.000 description 3
- 238000011158 quantitative evaluation Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种多支路融合注意力机制的图像增强模型、方法、设备及存储介质，图像增强模型由特征提取阶段，增强阶段和融合阶段构成。特征提取阶段负责识别低光图像的不同区域，并提取出边缘、纹理等有效信息；增强阶段将提取出来的特征通过结合注意力机制自适应设置不同权重，来增强图像并实现去噪；融合阶段利用多分支融合网络将输出的结果进一步融合增强，最终输出增强图像。本发明能够自适应的提升图像亮度的同时降低图像的噪声和去除伪影，能解决低光照图像对比度低、细节信息丢失、颜色失真以及噪声伪影等引起的过度曝光问题。
Description
技术领域
本发明属于图像处理技术领域，涉及多支路融合注意力机制的低光照图像增强模型、方法、设备及存储介质。
背景技术
计算机视觉领域高速发展的今天，高质量图像不仅记录日常生活而且还为科研提供了便利。在日常生活中由于受到天气晴雨、光照强度或拍摄方式等影响，使得得到的图像对比度低、噪声严重以及出现伪影和信息丢失等问题。从而影响后续的操作如目标识别、图像分类以及检测等。因此，低光照图像增强技术应运而生。
对于低照度图像增强，人们近年来提出了各种不同的算法，主要分为三类：基于传统算法、基于物理模型先验算法、基于深度学习算法。
针对传统算法如直方图均衡化、伽马校正等灰度增强方法，其通过对亮区域进行灰度拉伸，以达到对暗区域增强的目的。LIME[详见“Guo X,Li Y,Ling H.LIME:Low-lightimage enhancement via illumination map estimation[J].IEEE Transactions onimage processing,2016,26(2):982-993.”]通过优化低光图像的亮通道图得到光照图像，然后再经过伽马变换得到增强后图像；这些方法能够有效的提升全局和局部对比度，但对数据处理不够敏感，易使局部仍存在一些不好的视觉效果。
针对物理模型先验算法，如Retinex模型是模仿人类视觉系统构建出的算法。MSR[详见“Jobson D J,Rahman Z,Woodell G A.A multiscale retinex for bridging thegap between color images and the human observation of scenes[J].IEEETransactions on Image processing,1997,6(7):965-976.”]和SRIE[详见“Fu X,Zeng D,Huang Y,et al.A weighted variational model for simultaneous reflectance andillumination estimation[C]//Proceedings of the IEEE conference on computervision andpattern recognition.2016:2782-2790.”]等，能够在一定程度上对低光图像质量有所提高，但在求解构建出的复杂先验正则项，往往需要进行多次的迭代，耗时长。
最近深度学习成为热门的研究方向，如Retinex-Net[详见“Wei C,WangW,Yang W,et al.Deep retinex decomposition for low-light enhancement[J].arXiv preprintarXiv:1808.04560,2018.”]将输入图像分别经过分解模块和低光增强模块，然后再通过约束条件来实现增强；Kind[详见“Zhang Y,Zhang J,Guo X.Kindling the darkness:Apractical low-light image enhancer[C]//Proceedings of the 27th ACMinternational conference on multimedia.2019:1632-1640.”]网络包括分解模块、恢复模块以及重建模块，通过使用在不同曝光程度的图像块来进行训练，使得到的增强图像具有很好的效果；Zero-DCE[详见“Li C,Guo C,Chen C L.Learning to Enhance Low-LightImage via Zero-Reference Deep Curve Estimation[J].IEEE Transactions onSoftware Engineering,2021”]则构建一个无监督的训练网络，不依赖训练数据，通过采用迭代递进的方式来估测输入图像的亮度曲线来对低光照图像增强。GLADNet[详见“Wang W,Wei C,Yang W,et al.Gladnet:Low-light enhancement network with globalawareness[C]//201813th IEEE international conference on automatic face&gesture recognition,2018:751-755.”]提出了一种全局感知和细节保持网络，将低光图像通过全局光照估计来估计照明图像，然后再通过细节重建模块，从而对低光图像增强。
上述低照度图像增强方法虽取得了不错的效果，但存在以下问题：
(1)无法同时对低光图像进行去噪、伪影的抑制以及对不同区域增强；
(2)没有去噪模块，没有考虑噪声对图像的影响。
因此，本发明提出一种多支路低光增强网络(MANet)，首先对输入图像特征进行有效的提取，然后结合注意力机制的对提取出的不同区域图像设置不同权重进行增强，最后对增强后的输出融合来进一步提高图像。
发明内容
为了解决上述问题，本发明提供一种多支路融合注意力机制的图像增强模型，它能提升低光图像的亮度，同时降低图像的噪声和去除伪影，能解决低光照图像对比度低、细节信息丢失、颜色失真以及噪声伪影等引起的过度曝光问题。
本发明的第二目的是，提供一种多支路融合注意力机制的图像增强方法。
本发明的第三目的是，提供一种电子设备。
本发明的第四目的是，提供一种计算机存储介质。
本发明所采用的技术方案是，一种多支路融合注意力机制的图像增强模型，包括：特征提取阶段，增强阶段和融合阶段；
所述特征提取阶段负责识别低光图像的不同区域，并提取出边缘、纹理等有效信息；
所述增强阶段将提取出来的特征通过结合注意力机制自适应设置不同权重，来增强图像并实现去噪；
所述融合阶段利用多分支融合网络将输出的结果进一步融合增强，最终输出增强图像。
进一步地，所述特征提取阶段由3组深度可分离卷积层组成；
所述每组深度可分离卷积层的结构为Depthwise+BN+ReLu，其卷积核大小为3×3，通道数为32；
所述每组深度可分离卷积层负责提取不同区域的亮度并送到后续的操作；
所述深度可分离卷积层在降低运算量的同时，有助于提取低光照图像的边缘、纹理等有效的特征信息。
进一步地，所述增强阶段由3个EM增强模块构成；
所述EM增强模块首先使用1个3×3的卷积层提取输入图像的有效特征，然后再经过CBAM模块来对不同区域识别和增强；
所述EM增强模块根据下采样输出的特征图的宽和高来设计下采样块的数量，共用到3个下采样块，在一系列对称的上采样块之后，输出增强特征图；
所述下采样块由步长为2的卷积层和ReLU组成；
所述下采样块将最大池化层替换为CBAM注意力模块；首先将输入特征分别进行通道池化，再分别经过卷积网络并将输出的结果进行元素拼接，得到权重系数Mc，最后与输入的特征相乘得到通道注意力模块的输出；再将通道注意力模块的输出作为空间注意力模块的输入，再经过3×3卷积层，得到权重系数Ms，最后再与最开始的输入特征相乘得到最后的结果；该模块的所有层采用3×3卷积层，通道数分别为16，32，64，128；
所述EM增强模块利用跳跃连接将从下采样的特征引入到其相对应的上采样模块中，来补偿丢失的细节信息，增强清晰度；
所述增强阶段分别对3个EM增强模块的输出EM1o、EM2o、EM3o进行1×1卷积后，进行融合，即可得到对低光照图像增强的结果。
进一步地，所述融合阶段负责融合增强阶段的输出结果；
所述融合阶段采用四尺度融合结构，用四条平行支路的多尺度卷积结构对增强模块的输出EMo进一步合并增强；
所述融合阶段输出的增强图像在颜色通道维度中连接来自EM1o、EM2o、EM3o三个模块的所有输出；
所述融合阶段可以完全保留增强模块的信息并对其进行增强。
一种多支路融合注意力机制的图像增强方法，按以下步骤进行图像增强：
步骤S1、将低光图像输入到多支路融合注意力机制的图像增强模型中；
步骤S2、多支路融合注意力机制的图像增强模型，利用特征提取模块识别低光图像的不同区域，并提取出边缘、纹理等有效信息；
步骤S3、多支路融合注意力机制的图像增强模型，利用增强模块通过设置不同权重，增强步骤S2中提取的边缘、纹理等特征，并完成去噪，得到增强特征图；
步骤S4、多支路融合注意力机制的图像增强模型，利用融合模块对步骤S3输出的增强特征图进一步合并增强，得到最终的增强图像。
进一步地，所述图像增强方法必须借助在损失函数约束下训练好的图像增强模型实现；
所述损失函数能够在训练过程中使得图像增强模型估计出的增强图像与输入低光图像对应的真实增强图像之间的距离缩小；
所述损失函数包括结构损失、感知损失和区域损失，其计算公式为，
Loss＝αLSSIM+βLVGG+γLRegion (1)
其中LSSIM、LVGG和LRegion分别表示结构损失、感知损失和区域损失。
进一步地，所述结构损失函数用来衡量真实图像和增强后图像之间的差异，提高输出图像的视觉质量效果，其计算式为，
其中，μx和μy分别为x和y的图像像素的平均值，σx 2、σy 2与σxy分别表示x和y的方差和协方差，C1、C2为任意非零常数，其值是防止分母为零；
所述结构损失只注重图像的低层信息，但对于增强图像质量还需要高层信息；
所述感知损失，利用图像风格转换算法将低光图像经过卷积得到的特征与增强后图像得到的特征比较，其计算式为，
其中，E和G分别表示增强后的图像和真实图像，Wi,jHi,jCi,j分别表示特征图的宽度、高度以及通道数，
为第i块第j卷积层得到的特征图，取i＝3，j＝4；
所述区域损失是为了约束图像中的低光区域和其它区域之间的增强程度，避免整幅图像的不同区域整体增强导致的过度曝光问题，其计算式为，
其中El和Gl是增强图像和真实图像的低光区域，Eh和Gh是图像的其余部分；
所述权重取值为ωl＝5,ωh＝1，该取值的依据是：为了在训练时更多地关注图像中低光区域，对低光区域设置更大的权重值。
一种电子设备，其特征在于，采用如权利要求5-7任一项所述的方法实现对低光图像的增强。
一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如权利要求5-7任一项所述的低光图像的增强方法。
本发明实施例的有益效果是，通过将普通卷积替换为可分离卷积，在提取出边缘、纹理等有效特征的同时降低计算量。能够根据不同的特性信息设置不同的权重，实现不同区域的特征信息局部增强，能减少语义特征丢失，提高图像清晰度。本发明能够自适应的提升图像亮度的同时降低图像的噪声和去除伪影，能解决低光照图像对比度低、细节信息丢失、颜色失真以及噪声伪影等引起的过度曝光问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种多支路融合注意力机制的图像增强模型的结构示意图。
图2是本发明实施例的一种多支路融合注意力机制的图像增强模型的增强阶段的增强模块结构示意图。
图3是本发明实施例的一种多支路融合注意力机制的图像增强模型的融合阶段的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1，
一种多支路融合注意力机制的图像增强模型，其结构如图1所示，包括：特征提取阶段，增强阶段和融合阶段；
其中特征提取阶段负责识别低光图像的不同区域，并提取出边缘、纹理等有效信息；特征提取阶段由3组深度可分离卷积层组成；每组深度可分离卷积层的结构为Depthwise+BN+ReLu，其卷积核大小为3×3，通道数为32；每组深度可分离卷积层负责提取不同区域的亮度并送到后续的操作；深度可分离卷积层在降低运算量的同时，有助于提取低光照图像的边缘、纹理等有效的特征信息。
如图2所示，
增强阶段将提取出来的特征通过结合注意力机制自适应设置不同权重，来增强图像并实现去噪；
增强阶段由3个EM增强模块构成；EM增强模块首先使用1个3×3的卷积层提取输入图像的有效特征，然后再经过CBAM模块来对不同区域识别和增强；EM增强模块根据下采样输出的特征图的宽和高来设计下采样块的数量，共用到3个下采样块，在一系列对称的上采样块之后，输出增强特征图；
下采样块由步长为2的卷积层和ReLU组成；下采样块将最大池化层替换为CBAM注意力模块；首先将输入特征分别进行通道池化，再分别经过卷积网络并将输出的结果进行元素拼接，得到权重系数Mc，最后与输入的特征相乘得到通道注意力模块的输出；再将通道注意力模块的输出作为空间注意力模块的输入，再经过3×3卷积层，得到权重系数Ms，最后再与最开始的输入特征相乘得到最后的结果；该模块的所有层采用3×3卷积层，通道数分别为16，32，64，128；
EM增强模块利用跳跃连接将从下采样的特征引入到其相对应的上采样模块中，来补偿丢失的细节信息，增强清晰度；
增强阶段分别对3个EM增强模块的输出EM1o、EM2o、EM3o进行1×1卷积后，进行融合，即可得到对低光照图像增强的结果。
如图3所示，
融合阶段利用多分支融合网络将输出的结果进一步融合增强，最终输出增强图像。
融合阶段采用四尺度融合结构，用四条平行支路的多尺度卷积结构对增强模块的输出EMo进一步合并增强；
所述融合阶段输出的增强图像在颜色通道维度中连接来自EM1o、EM2o、EM3o三个模块的所有输出；
所述融合阶段可以完全保留增强模块的信息并对其进行增强。
实施例2，
一种多支路融合注意力机制的图像增强方法，按图1所示的以下步骤进行图像增强：
步骤S1、将低光图像输入到多支路融合注意力机制的图像增强模型中；
步骤S2、多支路融合注意力机制的图像增强模型，利用特征提取模块识别低光图像的不同区域，并提取出边缘、纹理等有效信息；
步骤S3、多支路融合注意力机制的图像增强模型，利用增强模块通过设置不同权重，增强步骤S2中提取的边缘、纹理等特征，并完成去噪，得到增强特征图；
步骤S4、多支路融合注意力机制的图像增强模型，利用融合模块对步骤S3输出的增强特征图进一步合并增强，得到最终的增强图像。
图像增强方法必须借助在损失函数约束下训练好的图像增强模型实现；损失函数能够在训练过程中使得图像增强模型估计出的增强图像与输入低光图像对应的真实增强图像之间的距离缩小；
损失函数包括结构损失、感知损失和区域损失，其计算公式为，
Loss＝αLSSIM+βLVGG+γLRegion
其中LSSIM、LVGG和LRegion分别表示结构损失、感知损失和区域损失。
结构损失函数用来衡量真实图像和增强后图像之间的差异，提高输出图像的视觉质量效果，其计算式为，
其中，μx和μy分别为x和y的图像像素的平均值，σx 2、σy 2与σxy分别表示x和y的方差和协方差，C1、C2为任意非零常数，其值是防止分母为零；
结构损失只注重图像的低层信息，但对于增强图像质量还需要高层信息；
感知损失，利用图像风格转换算法将低光图像经过卷积得到的特征与增强后图像得到的特征比较，其计算式为，
其中，E和G分别表示增强后的图像和真实图像，Wi,jHi,jCi,j分别表示特征图的宽度、高度以及通道数，
为第i块第j卷积层得到的特征图，取i＝3，j＝4；
区域损失是为了约束图像中的低光区域和其它区域之间的增强程度，避免整幅图像的不同区域整体增强导致的过度曝光问题，其计算式为，
其中El和Gl是增强图像和真实图像的低光区域，Eh和Gh是图像的其余部分；
权重取值为ωl＝5,ωh＝1，该取值的依据是：为了在训练时更多地关注图像中低光区域，对低光区域设置更大的权重值。
为了验证本发明实施例的多支路融合注意力机制的图像增强方法MANet的有效性，在144张合成低光图像数据集和不同曝光组成的配对数据集SCIE上开展实验。144张合成低光图像数据集使用基于MBLLE的PASCALVOC图像数据集合成的大量低光图像。其中训练集有16925张，验证集56张和测试集144张，图像的大小为256×256×3。数据集SCIE是在不同场景下的选取了由不同曝光组成的配对效果，每个序列有3到18张不同曝光度的低对比度图像，总共包含4413张多重曝光图像。
将MANet在上述两个数据集上开展图像增强实验，并分别与9个低光增强网络：LIME、MSR、BIMEF[详见，“YingZ,Ge L,Wen G.A Bio-InspiredMulti-Exposure FusionFrameworkfor Low-light Image Enhancement[J].2017.DOI:10.48550/arXiv.1711.00591”]、SRIE、Zero-DCE、KinD、GLADNet、RetinexNet、R2RNet[详见，“Hai J,Xuan Z,YangR,et al.R2RNet:Low-light Image Enhancement via Real-low to Real-normal Network[J].2021.DOI:10.48550/arXiv.2106.14501”]进行比较。
表1、2是在合成低光144张图像上测试，表3是在SCIE上4413张图像测试。其中“↑”表示值越高图像质量越好，“↓”表示值越低图像质量越好。
表1是不含噪声看出本算法在PSNR、SSIM和NIQE上都取得较好的优势，且与R2RNet相比PSNR提高了17％。表2是含噪声的图像，从表中可以看出MANet模型在PSNR、SSIM和NIQE与其他方法相比对噪声抑制有一定的效果，且与R2RNet相比PSNR提高了大约20％。
表1合成低光图像(不含噪声)增强的定量评价
注：粗体表示最优，斜体表示次之。
表2合成低光图像(含噪声)增强的定量评价
注：粗体表示最优，斜体表示次之。
表3是在SCIE数据集上测试结果，从表中可以看出MANet模型在PSNR、SSIM以及NIQE与其他方法相比有取得较好的结果，且与R2RNet相比在PSNR和SSIM分别提高了7％与12％
表3 SCIE数据集上定量评价
注：粗体表示最优，斜体表示次之。
综上所述，本发明MANet模型在所有指标上取得最优结果，且对低光图像也有一定的增强效果。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (9)
1.一种多支路融合注意力机制的图像增强模型，其特征在于，包括：特征提取阶段，增强阶段和融合阶段；
所述特征提取阶段负责识别低光图像的不同区域，并提取出边缘、纹理等有效信息；
所述增强阶段将提取出来的特征通过结合注意力机制自适应设置不同权重，来增强图像并实现去噪；
所述融合阶段利用多分支融合网络将输出的结果进一步融合增强，最终输出增强图像。
2.根据权利要求1所述的一种多支路融合注意力机制的图像增强模型，其特征在于，所述特征提取阶段由3组深度可分离卷积层组成；
所述每组深度可分离卷积层的结构为Depthwise+BN+ReLu，其卷积核大小为3×3，通道数为32；
所述每组深度可分离卷积层负责提取不同区域的亮度并送到后续的操作；
所述深度可分离卷积层在降低运算量的同时，有助于提取低光照图像的边缘、纹理等有效的特征信息。
3.根据权利要求1所述的一种多支路融合注意力机制的图像增强模型，其特征在于，所述增强阶段由3个EM增强模块构成；
所述EM增强模块首先使用1个3×3的卷积层提取输入图像的有效特征，然后再经过CBAM模块来对不同区域识别和增强；
所述EM增强模块根据下采样输出的特征图的宽和高来设计下采样块的数量，共用到3个下采样块，在一系列对称的上采样块之后，输出增强特征图；
所述下采样块由步长为2的卷积层和ReLU组成；
所述下采样块将最大池化层替换为CBAM注意力模块；首先将输入特征分别进行通道池化，再分别经过卷积网络并将输出的结果进行元素拼接，得到权重系数Mc，最后与输入的特征相乘得到通道注意力模块的输出；再将通道注意力模块的输出作为空间注意力模块的输入，再经过3×3卷积层，得到权重系数Ms，最后再与最开始的输入特征相乘得到最后的结果；该模块的所有层采用3×3卷积层，通道数分别为16，32，64，128；
所述EM增强模块利用跳跃连接将从下采样的特征引入到其相对应的上采样模块中，来补偿丢失的细节信息，增强清晰度；
所述增强阶段分别对3个EM增强模块的输出EM1o、EM2o、EM3o进行1×1卷积后，进行融合，即可得到对低光照图像增强的结果。
4.根据权利要求1所述的一种多支路融合注意力机制的图像增强模型，其特征在于，所述融合阶段负责融合增强阶段的输出结果；
所述融合阶段采用四尺度融合结构，用四条平行支路的多尺度卷积结构对增强模块的输出EMo进一步合并增强；
所述融合阶段输出的增强图像在颜色通道维度中连接来自EM1o、EM2o、EM3o三个模块的所有输出；
所述融合阶段可以完全保留增强模块的信息并对其进行增强。
5.一种多支路融合注意力机制的图像增强方法，其特征在于，按以下步骤进行图像增强：
步骤S1、将低光图像输入到多支路融合注意力机制的图像增强模型中；
步骤S2、多支路融合注意力机制的图像增强模型，利用特征提取模块识别低光图像的不同区域，并提取出边缘、纹理等有效信息；
步骤S3、多支路融合注意力机制的图像增强模型，利用增强模块通过设置不同权重，增强步骤S2中提取的边缘、纹理等特征，并完成去噪，得到增强特征图；
步骤S4、多支路融合注意力机制的图像增强模型，利用融合模块对步骤S3输出的增强特征图进一步合并增强，得到最终的增强图像。
6.根据权利要求5所述一种多支路融合注意力机制的图像增强方法，其特征在于，所述图像增强方法必须借助在损失函数约束下训练好的图像增强模型实现；
所述损失函数能够在训练过程中使得图像增强模型估计出的增强图像与输入低光图像对应的真实增强图像之间的距离缩小；
所述损失函数包括结构损失、感知损失和区域损失，其计算公式为，
Loss＝αLSSIM+βLVGG+γLRegion (1)
其中LSSIM、LVGG和LRegion分别表示结构损失、感知损失和区域损失。
7.根据权利要求6所述一种多支路融合注意力机制的图像增强方法，其特征在于，所述结构损失函数用来衡量真实图像和增强后图像之间的差异，提高输出图像的视觉质量效果，其计算式为，
其中，μx和μy分别为x和y的图像像素的平均值，σx 2、σy 2与σxy分别表示x和y的方差和协方差，C1、C2为任意非零常数，其值是防止分母为零；
所述结构损失只注重图像的低层信息，但对于增强图像质量还需要高层信息；
所述感知损失，利用图像风格转换算法将低光图像经过卷积得到的特征与增强后图像得到的特征比较，其计算式为，
其中，E和G分别表示增强后的图像和真实图像，Wi,jHi,jCi,j分别表示特征图的宽度、高度以及通道数，
为第i块第j卷积层得到的特征图，取i＝3，j＝4；
所述区域损失是为了约束图像中的低光区域和其它区域之间的增强程度，避免整幅图像的不同区域整体增强导致的过度曝光问题，其计算式为，
其中El和Gl是增强图像和真实图像的低光区域，Eh和Gh是图像的其余部分；
所述权重取值为ωl＝5,ωh＝1，该取值的依据是：为了在训练时更多地关注图像中低光区域，对低光区域设置更大的权重值。
8.一种电子设备，其特征在于，采用如权利要求5-7任一项所述的方法实现对低光图像的增强。
9.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如权利要求5-7任一项所述的低光图像的增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210773177.XA CN115115549A (zh) | 2022-07-01 | 2022-07-01 | 多支路融合注意力机制的图像增强模型、方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210773177.XA CN115115549A (zh) | 2022-07-01 | 2022-07-01 | 多支路融合注意力机制的图像增强模型、方法、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115115549A true CN115115549A (zh) | 2022-09-27 |
Family
ID=83331138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210773177.XA Pending CN115115549A (zh) | 2022-07-01 | 2022-07-01 | 多支路融合注意力机制的图像增强模型、方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115115549A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861380A (zh) * | 2023-02-16 | 2023-03-28 | 深圳市瓴鹰智能科技有限公司 | 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置 |
| CN116664463A (zh) * | 2023-05-29 | 2023-08-29 | 中兴协力(山东)数字科技集团有限公司 | 两阶段的低照度图像增强方法 |
-
2022
- 2022-07-01 CN CN202210773177.XA patent/CN115115549A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861380A (zh) * | 2023-02-16 | 2023-03-28 | 深圳市瓴鹰智能科技有限公司 | 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置 |
| CN116664463A (zh) * | 2023-05-29 | 2023-08-29 | 中兴协力(山东)数字科技集团有限公司 | 两阶段的低照度图像增强方法 |
| CN116664463B (zh) * | 2023-05-29 | 2024-01-30 | 中兴协力(山东)数字科技集团有限公司 | 两阶段的低照度图像增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Single image defogging based on multi-channel convolutional MSRCR | |
| CN109754377B (zh) | 一种多曝光图像融合方法 | |
| Hou et al. | An efficient nonlocal variational method with application to underwater image restoration | |
| CN112381897B (zh) | 基于自编码网络结构的低照度图像增强方法 | |
| CN115115549A (zh) | 多支路融合注意力机制的图像增强模型、方法、设备及存储介质 | |
| CN111915525A (zh) | 基于改进深度可分离生成对抗网络的低照度图像增强方法 | |
| Rasheed et al. | A comprehensive experiment-based review of low-light image enhancement methods and benchmarking low-light image quality assessment | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| Xu et al. | Deep retinex decomposition network for underwater image enhancement | |
| Wang et al. | Low-light image enhancement based on virtual exposure | |
| CN117237279A (zh) | 一种非均匀失真全景图像盲质量评价方法及系统 | |
| CN110910347B (zh) | 一种基于图像分割的色调映射图像无参考质量评价方法 | |
| Yan et al. | MMP-net: a multi-scale feature multiple parallel fusion network for single image haze removal | |
| Wang et al. | Multiscale supervision-guided context aggregation network for single image dehazing | |
| Huang et al. | Underwater image enhancement based on color restoration and dual image wavelet fusion | |
| Zhao et al. | A multi-scale U-shaped attention network-based GAN method for single image dehazing | |
| Yang et al. | CSDM: A cross-scale decomposition method for low-light image enhancement | |
| CN117391981A (zh) | 一种基于低光照明和自适应约束的红外与可见光图像融合方法 | |
| CN116664446A (zh) | 基于残差密集块的轻量级暗光图像增强方法 | |
| CN111626944A (zh) | 一种基于时空金字塔网络和对抗自然先验的视频去模糊方法 | |
| CN116563133A (zh) | 基于模拟曝光和多尺度融合的低照度彩色图像增强方法 | |
| Hua et al. | Iterative residual network for image dehazing | |
| Zhu et al. | Near-infrared and visible fusion for image enhancement based on multi-scale decomposition with rolling WLSF | |
| Zhou et al. | Tone mapping high dynamic range images based on region-adaptive self-supervised deep learning | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |