CN115170410A - 融合小波变换和注意力机制的图像增强方法及装置 - Google Patents
融合小波变换和注意力机制的图像增强方法及装置 Download PDFInfo
- Publication number
- CN115170410A CN115170410A CN202210693209.5A CN202210693209A CN115170410A CN 115170410 A CN115170410 A CN 115170410A CN 202210693209 A CN202210693209 A CN 202210693209A CN 115170410 A CN115170410 A CN 115170410A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- sublayer
- feature
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 230000007246 mechanism Effects 0.000 title claims abstract description 52
- 230000009466 transformation Effects 0.000 title claims abstract description 24
- 238000005070 sampling Methods 0.000 claims abstract description 195
- 238000000605 extraction Methods 0.000 claims abstract description 76
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000005286 illumination Methods 0.000 claims description 75
- 238000010586 diagram Methods 0.000 claims description 59
- 230000006870 function Effects 0.000 claims description 57
- 238000000354 decomposition reaction Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 23
- 238000013519 translation Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 21
- 230000002708 enhancing effect Effects 0.000 description 15
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000003623 enhancer Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种融合小波变换和注意力机制的图像增强方法及装置，该方法包括：将目标图像输入增强模型中的特征提取分支模型，得到目标图像的多个不同尺度的第一特征图；将目标图像输入增强模型中图像增强分支模型的第一下采样模块，得到目标图像的第二特征图；将第二特征图和第一特征图输入图像增强分支模型的第一上采样模块，得到目标图像的第三特征图；第一上采样模块和第一下采样模块均融合小波变换和注意力机制；将目标图像的第三特征图输入图像增强分支模型的第三输出层，得到目标图像的增强图像。本发明实现在图像增强过程中融合小波变换和注意力机制，以实现在自适应增强目标图像的同时抑制噪声，进而提高增强图像的质量。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种融合小波变换和注意力机制的图像增强方法及装置。
背景技术
在暗光环境下拍摄的图像往往会出现可视性低、对比度低等问题，不仅会使图像的美学质量受到影响，而且严重阻碍了后续的视觉分析，如物体跟踪、识别和检测。暗光图像增强在不同的领域中有着广泛的应用，包括视觉监控和自动假设等。尽管一些拍摄技术可以提高暗光环境下图像的能见度，但是通常也会带来新的问题，如运动模糊、噪声放大等。因此，如何增强暗光图像的亮度和感知质量十分重要。
现有技术中，有一些学者采用直方图均衡直接拉伸暗光图像像素值的动态范围从而增加对比度，但是该方法无法适应不同的光照环境，通常会产生过曝光或者色移等问题。
此外，由于深度学习方法在底层视觉任务中，如图像去噪、图像去模糊、图像超分辨率等，取得了巨大的成功，许多研究者将深度卷积神经网络用于增强暗光图像。一些方法直接学习暗光图像到正常光照图像之间的映射而忽略了考虑暗光图像的退化过程，因此会不可避免地放大暗光图像中的噪声，并缺乏对不同光照条件的鲁棒性。一些方法直接使用暗光图像与正常光照图像之差作为光照引导，使得获取的光照图中存在较大的噪声，这样不准确的光照图会导致不均匀曝光，进而导致增强后的图像质量较差。此外，一些方法将Retinex(Retina Cortex，视网膜大脑皮层理论)模型与卷积神经网络相结合用于暗光图像增强，这些方法首先将暗光图像分解为光照层和反射层，随后分别对光照图和反射图进行增强和去噪处理，然而这种后续的去噪方式无法有效去除分解过程中放大的噪声，导致最终的增强结果中出现伪影或者色彩偏差。
综上，现有技术中无法对在暗光图像的增强过程中的噪声进行有效抑制，且光照适应性差，导致增强后的图像质量较差。
发明内容
本发明提供一种融合小波变换和注意力机制的图像增强方法及装置，用以解决现有技术中无法在增强暗光图像的过程中抑制噪声，光照适应性差，导致增强后的图像质量较差的缺陷，实现提高增强后的图像质量。
本发明提供一种融合小波变换和注意力机制的图像增强方法，包括：
将目标图像输入增强模型中的特征提取分支模型，从所述特征提取分支模型的各层输出的第一特征图中获取所述目标图像的多个不同尺度的第一特征图；
将所述目标图像输入所述增强模型中图像增强分支模型的第一下采样模块，得到所述目标图像的第二特征图；所述第一下采样模块包括正向小波变换层、第一注意力层和第一输出层，所述正向小波变换层用于对所述目标图像进行小波分解，所述第一注意力层用于对小波分解结果中多个不同频率的第一小波系数进行调整，第一输出层用于根据调整后的多个不同频率的第一小波系数输出所述第二特征图；
将所述第二特征图和所述多个不同尺度的第一特征图输入所述图像增强分支模型的第一上采样模块，得到所述目标图像的第三特征图；所述第一上采样模块包括逆向小波变换层、第二注意力层和第二输出层，所述第二注意力层用于对所述第二特征图和所述第一特征图融合得到的融合特征图中多个不同频率的第二小波系数进行调整，所述逆向小波变换层用于对调整后的多个不同频率的第二小波系数进行重构，所述第二输出层用于根据重构结果输出所述第三特征图；
将所述目标图像的第三特征图输入所述图像增强分支模型的第三输出层，得到所述目标图像的增强图像；
其中，所述增强模型是基于第一样本图像和第二样本图像进行训练得到；所述第一样本图像的光照强度小于所述第二样本图像的光照强度。
根据本发明提供的一种融合小波变换和注意力机制的图像增强方法，所述第一下采样模块包括多个第一下采样单元，每一第一下采样单元均包括正向小波变换子层、第一注意力子层和第一输出子层；所述第一输出子层是基于残差网络构建生成的；
所述将所述目标图像输入所述增强模型中图像增强分支模型的第一下采样模块，得到所述目标图像的第二特征图，包括：
对于每一第一下采样单元执行如下步骤：
根据所述目标图像或当前第一下采样单元的上一层下采样单元的输出结果，确定所述当前第一下采样单元的第一输入信息；
将所述第一输入信息输入所述当前第一下采样单元的正向小波变换子层，得到所述第一输入信息的多个不同频率的第三小波系数；
将所述多个不同频率的第三小波系数输入所述当前第一下采样单元的第一注意力子层，得到所述多个不同频率的第三小波系数的调整结果；
将所述调整结果输入所述当前第一下采样单元的第一输出子层，得到所述当前第一下采样单元的输出层输出的所述目标图像的第一特征子图；
将最后一层第一下采样单元输出的所述第一特征子图，作为所述目标图像的第二特征图。
根据本发明提供的一种融合小波变换和注意力机制的图像增强方法，所述当前第一下采样单元的第一注意力子层包括空间注意力子层和通道注意力子层和第一卷积子层；
所述将所述多个不同频率的第三小波系数输入所述当前第一下采样单元的第一注意力子层，得到所述多个不同频率的第三小波系数的调整结果，包括：
将所述多个不同频率的第三小波系数输入所述空间注意力子层，得到所述多个不同频率的第三小波系数在空间维度上的第一调整结果；
将所述多个不同频率的第三小波系数的第一调整结果，输入所述通道注意力子层，得到所述多个不同频率的第三小波系数在通道维度上的第二调整结果；
将所述第二调整结果输入所述第一卷积子层，得到所述多个不同频率的第三小波系数的所述调整结果。
根据本发明提供的一种融合小波变换和注意力机制的图像增强方法，所述空间注意力子层包括多个第二卷积子层；
其中，所述第二卷积子层用于对所述多个不同频率的第三小波系数的特征空间维度数量进行调整；
所述通道注意力子层包括池化子层和多个第三卷积子层；
所述池化子层用于生成所述多个不同频率的第三小波系数的通道统计信息，所述第三卷积子层用于根据所述通道统计信息对所述多个不同频率的第三小波系数的特征通道维度数量进行调整。
根据本发明提供的一种融合小波变换和注意力机制的图像增强方法，所述第一上采样模块包括多个第一上采样单元，每一第一上采样单元包括逆向小波变换子层、第二注意力子层和第二输出子层，以及第一残差子层和频域变换子层；每一第一上采样单元与每一第一下采样单元一一对应，且与每一尺度的第一特征图一一对应；
所述将所述第二特征图和所述多个不同尺度的第一特征图输入所述图像增强分支模型的第一上采样模块，得到所述目标图像的第三特征图，包括：
对于每一第一上采样单元执行如下步骤：
根据所述第二特征图、当前第一上采样单元的上一层第一上采样单元的输出结果和所述当前第一上采样单元对应的第一下采样单元的输出结果中的一种或多种组合，确定所述当前第一上采样单元的第二输入信息；
将所述第二输入信息输入所述当前第一上采样单元的第一残差子层，得到所述目标图像的第二特征子图；
将所述第二特征子图和所述当前第一上采样单元对应的第一特征图输入所述当前第一上采样单元的频域变换子层，由所述频域变换子层对所述当前第一上采样单元对应的第一特征图进行学习，得到缩放系数和平移参数，并根据所述缩放系数对所述第二特征子图中频率较低的特征进行缩放，根据所述平移参数，对缩放后的第二特征子图进行平移操作，得到所述目标图像的第三特征子图；
将所述第三特征子图输入所述当前第一上采样单元的第二注意力子层，得到所述第三特征子图中多个不同频率的第四小波系数的调整结果；
将所述多个不同频率的第四小波系数的调整结果输入所述当前第一上采样单元的逆向小波变换子层，得到所述多个不同频率的第四小波系数的调整结果的重构结果；
将所述多个不同频率的第四小波系数的重构结果输入所述当前第一上采样单元的第二输出子层，得到所述目标图像的第四特征子图；
将最后一层第一上采样单元输出的第四特征子图作为所述目标图像的所述第三特征图。
根据本发明提供的一种融合小波变换和注意力机制的图像增强方法，所述特征提取分支模型包括第三卷积子层、第二下采样模块和第二上采样模块；
其中，所述第二上采样模块包括多个第二上采样单元，所述第二下采样模块包括多个第二下采样单元，每一第二上采样单元和每一第二下采样单元一一对应；
每一第二下采样单元包括顺次连接的正向小波变换子层、第三注意力子层和第二残差子层，所述每一第二上采样单元的输入是根据所述每一第二上采样单元的上一层第二上采样单元的输出结果和所述每一第二上采样单元对应的第二下采样单元的输出结果确定的；
每一第二上采样单元包括顺次连接的第三残差子层、第四注意力子层、逆向小波变换子层和第五卷积子层。
根据本发明提供的一种融合小波变换和注意力机制的图像增强方法，所述增强模型的训练步骤包括：
将所述第一样本图像输入所述增强模型中的特征提取分支模型中，由所述特征提取分支模型的第一特征提取层对所述第一样本图像进行多尺度特征提取，得到所述第一样本图像的多个不同尺度的第四特征图，由所述特征提取分支模型的第二特征提取层对所述第一特征提取层的最后一层输出的所述第一样本图像的第四特征图进行卷积操作，得到所述第一样本图像的光照引导图；
根据所述第一样本图像的光照引导图和所述第二样本图像的光照引导图，得到所述特征提取分支模型的第一损失函数；
将所述多个不同尺度的第四特征图和所述第一样本图像输入所述图像增强分支模型，得到所述第一样本图像的增强图像；
根据所述第一样本图像的增强图像和所述第二样本图像，确定所述图像增强分支模型的第二损失函数，根据所述第一样本图像的增强图像的梯度算子和所述第二样本图像的梯度算子，确定所述图像增强分支模型的第三损失函数；
根据所述第一损失函数、第二损失函数和第三损失函数，对所述增强模型进行联合训练。
本发明还提供一种融合小波变换和注意力机制的图像增强装置，包括：
特征提取模块，用于将目标图像输入增强模型中的特征提取分支模型，从所述特征提取分支模型的各层输出的第一特征图中获取所述目标图像的多个不同尺度的第一特征图；
第一特征增强模块，用于将所述目标图像输入所述增强模型中图像增强分支模型的第一下采样模块，得到所述目标图像的第二特征图；所述第一下采样模块包括正向小波变换层、第一注意力层和第一输出层，所述正向小波变换层用于对所述目标图像进行小波分解，所述第一注意力层用于对小波分解结果中多个不同频率的第一小波系数进行调整，第一输出层用于根据调整后的多个不同频率的第一小波系数输出所述第二特征图；
第二特征增强模块，用于将所述第二特征图和所述多个不同尺度的第一特征图输入所述图像增强分支模型的第一上采样模块，得到所述目标图像的第三特征图；所述第一上采样模块包括逆向小波变换层、第二注意力层和第二输出层，所述第二注意力层用于对所述第二特征图和所述第一特征图融合得到的融合特征图中多个不同频率的第二小波系数进行调整，所述逆向小波变换层用于对调整后的多个不同频率的第二小波系数进行重构，所述第二输出层用于根据重构结果输出所述第三特征图；
图像增强模块，用于将所述目标图像的第三特征图输入所述图像增强分支模型的第三输出层，得到所述目标图像的增强图像；
其中，所述增强模型是基于第一样本图像和第二样本图像进行训练得到；所述第一样本图像的光照强度小于所述第二样本图像的光照强度。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述融合小波变换和注意力机制的图像增强方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述融合小波变换和注意力机制的图像增强方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述融合小波变换和注意力机制的图像增强方法。
本发明提供的融合小波变换和注意力机制的图像增强方法及装置，一方面根据增强模型中的特征提取分支模型，对目标图像进行多尺度特征提取，得到多个不同尺度的光照引导特征，以完整目标图像中不同区域需要被增强的程度，提高光照适应性，以及辅助图像增强分支模型进行图像增强，提高增强模型对于不同光照条件的鲁棒性，进而提高增强图像的质量；另一方面，通过增强模型中图像增强分支模型中的正向小波变换层和第一注意力层，以及逆向小波变换层和第二注意力层对目标图像进行图像增强，可将目标图像中的低频内容信息与高频噪声分离开，以实现在自适应增强目标图像的过程中抑制噪声，进一步提高增强图像的质量。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的融合小波变换和注意力机制的图像增强方法的流程示意图之一；
图2是本发明提供的融合小波变换和注意力机制的图像增强方法中增强模型的结构示意图；
图3是本发明提供的融合小波变换和注意力机制的图像增强方法中正向小波变换子层和第一注意力子层的融合模型的结构示意图；
图4是本发明提供的融合小波变换和注意力机制的图像增强方法中空间注意力子层的结构示意图；
图5是本发明提供的融合小波变换和注意力机制的图像增强方法中通道注意力子层的结构示意图；
图6是本发明提供的融合小波变换和注意力机制的图像增强方法中逆向小波变换子层和第二注意力子层的融合模型的结构示意图；
图7是本发明提供的融合小波变换和注意力机制的图像增强装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本申请中的术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
现有技术中多采用Retinex模型对暗光图像进行增强。其中，Retinex模型假设自然图像可以分解为光照层和反射层，这为暗光图像增强提供了物理模型。许多方法提出了不同的先验来约束图像的分解过程，包括加权的变分先验、结构感知先验、低秩先验等。此外，为了更好的描述暗光图像的退化过程，还通过显式的引入噪声项从而提出了鲁棒的Retinex模型。尽管这类方法在部分情形下取得了良好的效果，但是手工设计的先验项通常会涉及到复杂的优化问题，难以保证增强后的图像质量。
另外，一些方法将Retinex模型与卷积神经网络相结合用于暗光图像增强，这些方法首先将暗光图像分解为光照层和反射层，随后分别对光照图和反射图进行增强和去噪处理，然而这种后续的去噪方式无法有效去除分解过程中放大的噪声，导致最终的增强结果中出现伪影或者色彩偏差。
因此，现有技术中的图像增强技术，无法在增强暗光图像的过程中抑制噪声，或者图像增强过程中缺乏图像光照信息，进而无法保证图像增强后的质量。
针对上述问题，本实施例提出一种融合小波变换和注意力机制的图像增强方法，为了在自适应地增强所需内容的同时抑制噪声，本实施例一方面通过多尺度特征提取，获取多个不同尺度的光照引导特征，提高光照适应性，另一方面通过将注意力机制与小波变换相结合，首先使用小波变换来分离高频噪声和低频内容，然后利用注意力机制自适应地调整不同频率的特征，进而达到增强低频内容，抑制高频噪声的目的，提高增强后的图像的质量。
下面结合图1-图6描述本申请的融合小波变换和注意力机制的图像增强方法，如图1所示，该方法包括如下步骤：
步骤101，将目标图像输入增强模型中的特征提取分支模型，从所述特征提取分支模型的各层输出的第一特征图中获取所述目标图像的多个不同尺度的第一特征图；
其中，目标图像为光照强度小于光照阈值的暗光图像，且待进行图像增强的图像。目标图像的来源可以是实时采集的，也可以是预先获取的。本实施例对待检测图像的来源不作具体限定。
特征提取分支模型包括多层上采样单元和多层下采样单元；其中，上采样单元和下采样单元可以根据实际需求进行设置，如包含卷积子层、小波变换子层、注意力子层和残差子层中的一种或多种组合，本实施例对此不作具体地限定。
可选地，在获取到目标图像后，可以将目标图像输入增强模型中的特征提取分支模型，由特征提取分支模型对目标图像进行多次上采样后，再进行多次下采样，以获取多个下采样单元输出的多个不同尺度的第一特征图。其中，不同特征图中包含不同尺度的光照引导特征，用于表征目标图像中的不同区域子图所需被增强的程度和目标图像中的高频细节等信息，以辅助提升增强模型的图像增强质量，提高增强模型对于不同光照条件的鲁棒性。
步骤102，将所述目标图像输入所述增强模型中图像增强分支模型的第一下采样模块，得到所述目标图像的第二特征图；所述第一下采样模块包括正向小波变换层、第一注意力层和第一输出层，所述正向小波变换层用于对所述目标图像进行小波分解，所述第一注意力层用于对小波分解结果中多个不同频率的第一小波系数进行调整，第一输出层用于根据调整后的多个不同频率的第一小波系数输出所述第二特征图；
其中，由于小波变换的有效性和可逆性，小波变换被广泛用于信号处理中。正向离散小波变换可将输入图像分解为多个个不同频率的子图，如4个；相应地，逆向离散小波变换可以由这些分解的子图重建输入图像。通过正向离散小波变换的小波分解和逆向离散小波变换的图像重建，可以在没有信息丢失的情况下改变分辨率，以有效分离出有效的低频内容和高频噪声，以准确对低频内容进行增强，对高频噪声进行去噪。
注意力机制是受人类视觉系统启发而提出的，用于使模型专注于输入信息中更重要的部分。注意力机制被广泛地应用于各种数据处理场景，包括图像标注生成、图像分类、图像复原等。
由于不同频率的特征在特征提取分支模型和图像增强分支模型中的贡献不同，本实施例中将注意力机制与小波变换相结合，以在频率域中捕获目标图像中不同重要程度的特征。
其中，第一下采样模块中包含一组或多组顺次连接的下采样单元，相应地，正向小波变换层、第一注意力层和第一输出层均包含一个或多个子层；其中，每一下采样单元中的正向小波变换子层、第一注意力子层和第一输出子层以顺次连接的形式进行连接。
第一小波系数的数量可以根据实际需求进行设置，如4个。
可选地，将目标图像输入增强模型中图像增强分支模型的第一下采样模块，由第一下采样模块中的正向小波变换层对目标图像进行小波分解，以得到目标图像的多个不同频率的第一小波系数；由第一注意力层对多个不同频率的第一小波系数进行调整，以使调整后的多个不同频率的第一小波系数在目标图像中具有不同的重要程度。
最后，将调整后的多个不同频率的第一小波系数输入第一输出层，由输出层对多个不同频率的第一小波系数进行学习，得到目标图像的第二特征图。
步骤103，将所述第二特征图和所述多个不同尺度的第一特征图输入所述图像增强分支模型的第一上采样模块，得到所述目标图像的第三特征图；所述第一上采样模块包括逆向小波变换层、第二注意力层和第二输出层，所述第二注意力层用于对所述第二特征图和所述第一特征图融合得到的融合特征图中多个不同频率的第二小波系数进行调整，所述逆向小波变换层用于对调整后的多个不同频率的第二小波系数进行重构，所述第二输出层用于根据重构结果输出所述第三特征图；
其中，第一下采样模块中包括一组或多组顺次连接的上采样单元；相应地，逆向小波变换层、第二注意力层和第二输出层也包含多个子层；每一上采样单元中包含的逆向小波变换子层、第二注意力子层和第二输出子层以顺次连接的形式进行连接。
第二注意力层和第一注意力层具有相同的结构。
可选地，在获取到第一特征图和第二特征图，可以将第一特征图和第二特征图输入图像增强分支模型的第一上采样模块，由第一上采样模块中的第二注意力层对第一特征图和第二特征图融合得到的融合特征图中多个不同频率的第二小波系数进行调整，以使调整后的多个不同频率的第二小波系数在目标图像中具有不同的重要程度；然后，由逆向小波变换层对调整后的多个不同频率的第二小波系数进行重构，以自适应地增强目标图像中低频特征，抑制高频特征中的噪声；最后，由第二输出层对重构结果进行学习，得到目标图像的第三特征图。
步骤104，将所述目标图像的第三特征图输入所述图像增强分支模型的第三输出层，得到所述目标图像的增强图像；其中，所述增强模型是基于第一样本图像和第二样本图像进行训练得到；所述第一样本图像的光照强度小于所述第二样本图像的光照强度。
其中，第一样本图像为样本暗光图像，第二样本图像为样本暗光图像对应的正常光照图像。
增强模型是以第一样本图像为样本，以第二样本图像为样本标签进行训练得到。
第三输出层可以基于卷积神经网络和残差网络等其他深度学习模型进行构建生成。
可选地，在获取到目标图像的第三特征图之后，将目标图像的第三特征图输入第三输出层，由第三输出层对第三特征图进行学习，得到目标图像的增强图像。
本实施例中的融合小波变换和注意力机制的图像增强方法，一方面通过增强模型中的特征提取分支模型，对目标图像进行多尺度特征提取，得到多个不同尺度的光照引导特征，以完整表征目标图像中不同区域需要被增强的程度，提高光照适应性，以及辅助图像增强分支模型进行图像增强，提高增强模型对于不同光照条件的鲁棒性，进而提高增强图像的质量；另一方面，通过增强模型中图像增强分支模型中的正向小波变换层和第一注意力层，以及逆向小波变换层和第二注意力层对目标图像进行图像增强，可将目标图像中的低频内容信息与高频噪声分离开，以实现在自适应增强目标图像的过程中抑制噪声，进一步提高增强图像的质量。
在一些实施例中，所述第一下采样模块包括多个第一下采样单元，每一第一下采样单元均包括正向小波变换子层、第一注意力子层和第一输出子层；所述第一输出子层是基于残差网络构建生成的；所述将所述目标图像输入所述增强模型中图像增强分支模型的第一下采样模块，得到所述目标图像的第二特征图，包括：对于每一第一下采样单元执行如下步骤：根据所述目标图像或当前第一下采样单元的上一层下采样单元的输出结果，确定所述当前第一下采样单元的第一输入信息；将所述第一输入信息输入所述当前第一下采样单元的正向小波变换子层，得到所述第一输入信息的多个不同频率的第三小波系数；将所述多个不同频率的第三小波系数输入所述当前第一下采样单元的第一注意力子层，得到所述多个不同频率的第三小波系数的调整结果；将所述调整结果输入所述当前第一下采样单元的第一输出子层，得到所述当前第一下采样单元的输出层输出的所述目标图像的第一特征子图；将最后一层第一下采样单元输出的所述第一特征子图，作为所述目标图像的第二特征图。
如图2所示，第一下采样单元中的多个第一下采样单元顺次连接，每一第一下采样单元中的正向小波变换子层、第一注意力子层和第一输出子层也顺次连接。其中，正向小波变换子层和第一注意力子层融合形成的模型简称为ADWT(Attentive Discrete WaveletTransform，注意力离散小波变换)模型。
第一注意力子层包括空间注意力子层和/或通道注意力子层。
可选地，步骤102中获取目标图像的第二特征图的具体步骤包括：
首先，在将目标图像输入所述增强模型中图像增强分支模型的第一下采样模块之前，先使用卷积网络对目标图像进行卷积操作；然后，将卷积操作结果依次输入第一下采样模块中的每一第一下采样单元。
其中，对于第一下采样模块中的每一第一下采样单元执行如下步骤：
获取当前第一下采样单元的第一输入信息；其中，在当前第一下采样单元为第一下采样模块中的第一层第一下采样单元的情况下，当前第一下采样单元的第一输入信息包括目标图像的卷积操作结果；在当前第一下采样单元为第一下采样模块中的中间层第一下采样单元的情况下，当前第一下采样单元的第一输入信息包括上一层第一下采样单元的输出信息。
将第一输入信息输入当前第一下采样单元，由当前第一下采样单元中的正向小波变换子层对第一输入信息进行多层小波分解，将其分解为多个不同频率的第三小波系数，以捕获图像的空间特征和频率特征，并在频域中将目标图像中频率较低的有效内容与高频率较高部分的噪声分离开来，便于实现在暗光图像的增强过程中抑制噪声的目的。小波分解的层数可以根据实际需求进行设置。
接着，由当前第一下采样单元的第一注意力子层对多个不同频率的第三小波系数进行调整，以使不同频率和不同空间位置的特征在图像增强中的贡献不同，进而自适应地增强目标图像中的低频背景，并抑制高频特征中的噪声。
然后，由第一输出子层对调整结果进行残差操作，得到当前第一下采样单元输出的第一特征子图。
最后，将最后一层第一下采样单元输出的第一特征子图作为目标图像的第二特征图。
以下以具体的实例对本实施例中的第一下采样单元的采样过程进行具体描述。
如图3所示，为注意力子层和正向小波变换子层的融合模型的结构示意图，对于第一输入信息中的特征Fin∈RC×H×W，首先使用正向离散小波变换子层(Discrete WaveletTransform，DWT)将其分解为4个不同的小波系数
随后使用注意力子层对不同的小波系数进行调整，以得到调整后的特征
最后使用残差网络对调整结果进行残差操作，得到当前第一下采样单元输出的第一特征子图。
本实施例中联合小波变换层和注意力层，可实现将目标图像中的低频内容信息与高频噪声分离开，以达到在增强暗光图像的过程中抑制噪声的目的。
在一些实施例中，所述当前第一下采样单元的第一注意力子层包括空间注意力子层和通道注意力子层和第一卷积子层；所述将所述多个不同频率的第三小波系数输入所述当前第一下采样单元的第一注意力子层，得到所述多个不同频率的第三小波系数的调整结果，包括：将所述多个不同频率的第三小波系数输入所述空间注意力子层，得到所述多个不同频率的第三小波系数在空间维度上的第一调整结果；将所述多个不同频率的第三小波系数的第一调整结果，输入所述通道注意力子层，得到所述多个不同频率的第三小波系数在通道维度上的第二调整结果；将所述第二调整结果输入所述第一卷积子层，得到所述多个不同频率的第三小波系数的所述调整结果。
其中，第一注意力子层包括空间注意力子层和通道注意力子层和第一卷积子层。
可选地，对多个不同频率的第三小波系数进行调整的具体步骤如下：
在获取到多个不同频率的第三小波系数后，由空间注意力(Spatial Attention，SA)子层中的一组空间注意力块在空间维度上对不同的第三小波系数进行调整；再使用通道注意力(Channel Attention，CA)子层在通道维度上对不同的第三小波系数进行调整，最后使用一个卷积核大小为1×1的第一卷积子层对调整后的第三小波系数的通道数量进行调整，得到最终的调整结果。
本实施例中联合空间注意力层和通道注意力层，增强对目标图像在通道上进行图像增强和空间上进行图像增强的能力，进而提高图像增强的质量。
在一些实施例中，所述空间注意力子层包括多个第二卷积子层；其中，所述第二卷积子层用于对所述多个不同频率的第三小波系数的特征空间维度数量进行调整；所述通道注意力子层包括池化子层和多个第三卷积子层；所述池化子层用于生成所述多个不同频率的第三小波系数的通道统计信息，所述第三卷积子层用于根据所述通道统计信息对所述多个不同频率的第三小波系数的特征通道维度数量进行调整。
其中，空间注意力子层包括多个第二卷积子层，第二卷积子层的数量和结构可以根据实际需求进行设置，本实施例对此不作具体地限定。
如图4所示，空间注意力子层包括两层第二卷积子层Conv和RELU(RectifiedLinear Unit，线性整流)函数以及sigmoid函数(即S型函数)。
空间注意力子层通过多个第二卷积子层分别对多个不同频率的第三小波系数的特征空间维度数量进行调整。
例如，在空间注意力子层中，给定输入特征Y∈RC×H×W，即任一小波系数，使用两个卷积核大小为1×1的第二卷积子层和sigmoid函数来生成空间注意力图attSA∈R1×H×W，具体公式为：
其中σ(·)和δ(·)分别表示sigmoid函数和ReLU激活函数，*表示卷积操作，
和
分别为两个1×1第二卷积子层的权重参数。第一个第二卷积子层的参数
用于将输入特征的通道数压缩γ倍，第二个第二卷积子层的参数
用于将输出特征的通道数压缩为1，从而得到空间注意力图。其中，γ可以根据实际需求进行设置，如γ＝4。
最后，空间注意力子层根据空间注意力图attSA用于对输入特征Y在空间维度上进行调整，具体计算公式为：
其中，
为空间注意力子层输出的调整结果，attSA为空间注意力图，Y为空间注意力子层的输入，⊙为逐元素乘法操作。
其中，通道注意力子层包括池化子层和多个第三卷积子层，池化子层和第三卷积子层的数量和结构可以根据实际需求进行设置，本实施例对此不作具体地限定，如池化子层为全局平均池化子层等。
如图5所示，通道注意力子层包括一层池化子层和两层第三卷积子层Conv，以及RELU函数和sigmoid函数。
通道注意力子层通过池化子层生成多个不同频率的第三小波系数的通道统计信息，通过第三卷积子层，根据通道统计信息对多个不同频率的第三小波系数的特征通道维度数量进行调整。
例如，在通道注意力层中，给定输入特征U∈RC×H×W，首先使用全局平均池化(Global Average Pooling，GAP)操作生成通道统计信息zCA∈RC×1×1，具体公式如下：
其中，Uc(i,j)表示U的第c个通道上(i,j)位置处的值，C、H和W分别为输入特征的通道数量、高度和宽度。
随后，使用两个卷积核大小为1×1的第三卷积子层和sigmoid函数来生成空间注意力图attCA∈RC×1×1，具体公式为：
其中σ(·)和δ(·)分别表示sigmoid函数和ReLU激活函数，*表示卷积，
和
分别为两个1×1的第三卷积子层的权重参数。第一个第三卷积子层的参数
将特征的通道数压缩r倍，第二个第三卷积子层的参数
将特征通道数还原为C。r的数值可以根据实际需求进行设置，如r＝8。
最后，通道注意力层，通过通道注意力图attCA对输入特征U在通道维度上进行调整，具体公式如下：
其中，⊙为逐元素乘法。
在一些实施例中，所述第一上采样模块包括多个第一上采样单元，每一第一上采样单元包括逆向小波变换子层、第二注意力子层和第二输出子层，以及第一残差子层和频域变换子层；每一第一上采样单元与每一第一下采样单元一一对应，且与每一尺度的第一特征图一一对应；所述将所述第二特征图和所述多个不同尺度的第一特征图输入所述图像增强分支模型的第一上采样模块，得到所述目标图像的第三特征图，包括：对于每一第一上采样单元执行如下步骤：根据所述第二特征图、当前第一上采样单元的上一层第一上采样单元的输出结果和所述当前第一上采样单元对应的第一下采样单元的输出结果中的一种或多种组合，确定所述当前第一上采样单元的第二输入信息；将所述第二输入信息输入所述当前第一上采样单元的第一残差子层，得到所述目标图像的第二特征子图；将所述第二特征子图和所述当前第一上采样单元对应的第一特征图输入所述当前第一上采样单元的频域变换子层，由所述频域变换子层对所述当前第一上采样单元对应的第一特征图进行学习，得到缩放系数和平移参数，并根据所述缩放系数对所述第二特征子图中频率较低的特征进行缩放，根据所述平移参数，对缩放后的第二特征子图进行平移操作，得到所述目标图像的第三特征子图；将所述第三特征子图输入所述当前第一上采样单元的第二注意力子层，得到所述第三特征子图中多个不同频率的第四小波系数的调整结果；将所述多个不同频率的第四小波系数的调整结果输入所述当前第一上采样单元的逆向小波变换子层，得到所述多个不同频率的第四小波系数的调整结果的重构结果；将所述多个不同频率的第四小波系数的重构结果输入所述当前第一上采样单元的第二输出子层，得到所述目标图像的第四特征子图；将最后一层第一上采样单元输出的第四特征子图作为所述目标图像的所述第三特征图。
如图2，第一上采样模块中的多个第一上采样单元顺次连接，每一第一上采样单元中的第一残差子层、第二注意力子层、逆向小波变换子层和第二输出子层也顺次连接。其中，第二注意力子层、逆向小波变换子层融合形成的模型简称为AIDWT(Attentive InverseDiscrete Wavelet Transform，注意力离散小波逆变换)模型。
第一残差子层的结构可以根据实际需求进行设置，如包括两层卷积子层和RELU函数。
频域变换子层的结构也可以根据实际需求进行设置，如两层卷积子层和RELU函数。
第二注意力子层也包括空间注意力子层和通道注意力子层。
第二输出子层基于卷积网络构建生成，具体结构可以根据实际需求进行设置，如卷积核大小为1×1的卷积网络。
可选地，步骤103中获取目标图像的第三特征图的具体步骤包括：
首先，将第二特征图和多个不同尺度的第一特征图输入图像增强分支模型的第一上采样模块。
其中，对于第一下采样模块中的每一第一下采样单元执行如下步骤：
获取当前第一上采样单元的第二输入信息；其中，在当前第一上采样单元为第一上采样模块中的第一层第一上采样单元的情况下，当前第一上采样单元的第二输入信息包括第二特征图；在当前第一上采样单元为第一上采样模块中的中间层第一上采样单元的情况下，当前第一上采样单元的第二输入信息包括上一层第一上采样单元的输出信息和当前第一上采样单元对应的第一下采样单元的输出信息；
将第二输入信息输入当前第一上采样单元，由当前第一上采样单元中的第一残差子层对第二输入信息进行残差操作，以得到目标图像的第二特征子图；
接着，为了避免在增强低频内容的同时放大高频特征中的噪声，使用频率变换子层对特征图中频率较低的特征进行缩放操作，而对特征图整体进行平移操作，从而达到增强低频特征的内容，抑制高频特征中的噪声的目的。
可选地，将目标图像的第二特征子图和当前第一上采样单元对应的第一特征图输入频域变换子层，由频域变换子层对当前第一上采样单元对应的第一特征图进行学习，得到对特征图中频率较低的特征进行缩放的缩放参数，以及对特征图中所有特征进行整体平移操作的平移参数；然后根据缩放参数对第二特征子图中频率较低的特征进行缩放，得到缩放后的第二特征子图，再根据平移参数对缩放后的第二特征子图进行平移操作，得到目标图像的第三特征子图。使得第三特征子图中既包含第一特征图的特征信息又包含第二子特征图的特征信息，进而使得第三特征子图中包含丰富的图像特征，进而有效提高图像增强的质量。
例如，对于第一特征图FI∈RC×H×W，频域变换层，首先使用两个卷积核大小为1×1的卷积子层从FI中估计缩放参数
与平移参数β∈RC×H×W，随后，利用缩放参数α对第二子特征图FS中的频域较低的特征部分
进行缩放操作，利用平移参数β对第二子特征图像FS进行整体平移操作，得到目标图像的第三特征子图
具体公式为：
其中，
和
为第二子特征图像中不同频率的特征，⊙表示逐元素乘法，[·]表示按通道的拼接操作。
如图6所示，得到第三特征子图后，将频率转换层输出的第三特征子图输入当前第一上采样单元的第二注意力子层，由第二注意力子层对第三特征子图多个不同频率的第四小波系数进行空间维度和通道维度进行调整，得到多个不同频率的第四小波系数的调整结果，以使不同频率和不同空间位置的特征在图像增强中的贡献不同，进而自适应地增强目标图像中的低频背景，并抑制高频特征中的噪声。
接着，由当前第一上采样单元的逆向小波变换子层对调整后的多个不同频率的第四小波系数进行重构，使得重构结果中仅包含有效的低频特征，消除图像增强过程的高频特征中的噪声。
接着，由当前第一上采样单元的第二输出子层对重构结果进行卷积操作，以调整重构结果中的特征通道数量，根据卷积结果得到目标图像的第四特征子图。
接着，将最后一层第一上采样单元输出的第四特征子图作为目标图像的所述第三特征图；
将第三特征图输入图像增强分支模型的第三输出层，得到目标图像的增强图像。
本实施例中联合逆向小波变换子层、注意力子层和频域变换子层，可自适应地增强目标图像中的频率较低特征的内容信息，抑制频域较高特征中的噪声，进而提升增强图像的质量。
在一些实施例中，所述特征提取分支模型包括第三卷积子层、第二下采样模块和第二上采样模块；其中，所述第二上采样模块包括多个第二上采样单元，所述第二下采样模块包括多个第二下采样单元，每一第二上采样单元和每一第二下采样单元一一对应；每一第二下采样单元包括顺次连接的正向小波变换子层、第三注意力子层和第二残差子层，所述每一第二上采样单元的输入是根据所述每一第二上采样单元的上一层第二上采样单元的输出结果和所述每一第二上采样单元对应的第二下采样单元的输出结果确定的；每一第二上采样单元包括顺次连接的第三残差子层、第四注意力子层、逆向小波变换子层和第五卷积子层。
其中，特征提取分支模型中各层的结构可以根据实际需求进行设置。
特征提取分支模型中的第四卷积子层、多个第二上采样单元和多个第二下采样单元顺次连接；第二下采样单元中的正向小波变换子层、第三注意力子层和第二残差子层顺次连接；第二上采样单元中的第三残差子层、第四注意力子层、逆向小波变换子层和第五卷积子层顺次连接。可选地，步骤101中提取多个不同尺度的第一特征图的具体步骤包括：
首先，将目标图像输入特征提取分支模型中，由第四卷积子层对目标图像进行卷积操作，得到目标图像的卷积操作结果；然后，将目标图像的卷积操作结果依次输入各第二下采样单元；
对于每一第二下采样单元执行如下操作：
获取当前第二下采样单元的输入信息；其中，在当前第二下采样单元为特征提取分支模型中的第一层第二下采样单元的情况下，当前第二下采样单元的输入信息包括目标图像的卷积操作结果；在当前第二下采样单元为特征提取分支模型中的中间层第二下采样单元的情况下，当前第二下采样单元的输入信息包括上一层第二下采样单元的输出信息。
将输入信息输入当前第二下采样单元，由当前第二下采样单元中的正向小波变换子层对输入信息进行小波分解，由第三注意力子层对小波分解结果中的小波系数进行调整，由第二残差子层中的残差块对调整结果进行残差操作后与输入信息进行融合，得到目标图像的上采样结果，即当前第二下采样单元的输出结果；通过在第二下采样单元中设置第二残差子层，实现通过增加相当的深度来提高图像增强的准确率，且有效缓解在深度神经网络中增加深度带来的梯度消失问题。
然后，将最后一层第二下采样单元输出的上采样结果依次输入各第二上采样单元；对于每一第二上采样单元执行如下操作：
获取当前上采样单元的输入信息；其中，在当前第二上采样单元为特征提取分支模型中的第一层第二上采样单元的情况下，当前第二上采样单元的输入信息包括最后一层第二下采样单元的输出结果；在当前第二上采样单元为特征提取分支模型中的中间层第二上采样单元的情况下，当前第二上采样单元的输入信息包括上一层第二上采样单元的输出结果和当前第二上采样单元对应的第二下采样单元的输出结果。
将输入信息输入当前第二上采样单元，由当前第二上采样单元中的第三残差子层对输入信息进行残差操作，由第四注意力子层对残差操作结果中的多个不同频率的小波系数进行调整，由逆向小波变换子层对调整后的多个不同频率的小波系数进行重构，以增强低频率小波系数中的内容信息，消除高频率小波系数中的噪声；然后，由第五卷积子层对重构结果进行通道数调整，得到目标图像的第一特征图。
最后，根据多个第二上采样单元输出的目标图像的第一特征图，作为目标图像的多个不同尺度的第一特征图。
本实施例中联合多个第二下采样单元和多个第二上采样单元对目标图像进行多尺度的特征提取，使得提取的特征图中包含目标图像的不同区域的多尺度光照引导特征，有效提高图像增强的质量。
在一些实施例中，所述增强模型的训练步骤包括：将所述第一样本图像输入所述增强模型中的特征提取分支模型中，由所述特征提取分支模型的第一特征提取层对所述第一样本图像进行多尺度特征提取，得到所述第一样本图像的多个不同尺度的第四特征图，由所述特征提取分支模型的第二特征提取层对所述第一特征提取层的最后一层输出的所述第一样本图像的第四特征图进行卷积操作，得到所述第一样本图像的光照引导图；根据所述第一样本图像的光照引导图和所述第二样本图像的光照引导图，得到所述特征提取分支模型的第一损失函数；将所述多个不同尺度的第四特征图和所述第一样本图像输入所述图像增强分支模型，得到所述第一样本图像的增强图像；根据所述第一样本图像的增强图像和所述第二样本图像，确定所述图像增强分支模型的第二损失函数，根据所述第一样本图像的增强图像的梯度算子和所述第二样本图像的梯度算子，确定所述图像增强分支模型的第三损失函数；根据所述第一损失函数、第二损失函数和第三损失函数，对所述增强模型进行联合训练。
可选地，在执行步骤101之前，需要先对增强模型进行训练，增强模型的具体训练过程如下：
首先，按照上述对目标图像进行特征提取的方式，将第一样本图像输入特征提取分支模型中，由第一特征提取层对第一样本图像进行多尺度特征提取，得到第一样本图像的多个不同尺度的第四特征图，由第二特征提取层对第一特征提取层的最后一层输出的所述第一样本图像的第四特征图进行卷积操作，得到第一样本图像的光照引导图；
并且利用RetinexNet模型对第二样本图像进行估计，得到第二样本图像的光照引导图。
然后，将第一样本图像的光照引导图和第二样本图像的光照引导图进行比较，根据比较结果得到特征提取分支模型的第一损失函数；
同时，将第一样本图像的多个不同尺度的第四特征图和第一样本图像输入图像增强分支模型，对第一样本图像进行增强，得到第一样本图像的增强图像。
然后，将第一样本图像的增强图像和第二样本图像进行比较，根据比较结果确定图像增强分支模型的第二损失函数；将第一样本图像的增强图像的梯度算子和第二样本图像的梯度算子进行比较，根据比较结果确定图像增强分支模型的第三损失函数。
以下以具体的实例，对本实施例中的增强模型的训练过程展开描述。
如图2所示，增强模型主要包含两个分支，分别为特征提取分支模型和图像增强分支模型。给定输入的第一样本图像SL，首先，特征提取分支模型估计多尺度的光照引导特征
即第四特征图，同时输出估计的光照引导图IE，其中光照引导特征用于辅助图像增强网络，提高模型对于不同光照条件的鲁棒性。随后，第一样本图像SL和光照引导特征
输入图像增强分支模型中，得到最终的增强结果SE。
然后，根据第一样本图像的光照引导图IE与第二样本图像的光照引导图IN进行比较，得到第一损失函数
根据第一样本图像的增强结果SE和第二样本图像进行比较，得到第二损失函数
和第三损失函数
其中，第一损失函数
以最小化第一样本图像的光照引导图IE和第二样本图像的光照引导图IN之间的负MS-SSIM(Multiscale Structural Similarity Index，多尺度结构相似性)距离为目标，具体公式为：
其中，
为第一损失函数、-MSSSIM(·)为负MS-SSIM距离函数，IE为第一样本图像的光照引导图，IN为第二样本图像的光照引导图，IN具体是使用RetinexNet模型从第二样本图像SN中估计的光照引导图。
第二损失函数
以最小化第一样本图像的增强图像SE和第二样本图像SN之间的负MS-SSIM距离为目标，具体公式为：
其中，
为第二损失函数、-MSSSIM(·)为负MS-SSIM距离函数，SE为第一样本图像的增强图像，SN为第二样本图像。
第三损失函数
以最小化第一样本图像的增强图像SE的梯度算子与第二样本图像的梯度算子之间的L1距离为目标，计算公式为：
其中
表示包含水平方向和方向的梯度算子，‖·‖1为1范数函数。
在获取到第一损失函数、第二损失函数和第三损失函数后，为了使得增强模型的增强性能综合最优，可以联合第一损失函数、第二损失函数和第三损失函数得到总损失函数，根据总损失函数对增强模型进行联合训练，以使得训练后的增强模型，在需要对目标图像进行增强的场景下，可以对目标图像中所需内容进行增强的同时，降低增强过程中的高频噪声，并输出高质量的目标图像的增强图像。
其中，总损失函数的获取方式包括但不限于将第一损失函数、第二损失函数和第三损失函数直接求和，或者加权求和等，本实施对此不作具体地限定。
可选地，为了平衡整个增强模型的损失函数，对第一损失函数、第二损失函数和第三损失函数进行加权求和，得到总损失函数
的公式为：
其中，ωIMS和ωILC为权重系数，具体可以根据权重算法计算得到，也可根据实际需求进行设置得到，如ωIMS＝10，ωILC＝0.2。
本实施例中联合特征提取分支模型的损失函数以及图像增强分支模型的损失函数对增强模型进行联合训练，可以有效提高增强模型的图像增强性能，使得增强后的图像具有更高的亮度和感知质量。
为了验证本实施例中的图像增强方法的有效性，以下采用具体的实例对本实施例中的图像增强效果进行具体说明。
表1不同方法在LOL-V2数据集上的评价指标
示例一，采用有标签的暗光图像数据集LOL-V2，包括LOL-V2中的真实图像数据集(简称LOL-V2 Real)和合成图像数据集(简称LOL-V2 Synthetic)进行验证。并使用PSNR(Peak Signal-to-Noise Ratio，峰值信噪比)和SSIM(Structural SIMilarity，结构相似性)作为有标签数据集上的评价指标，采用多种现有的图像增强方法与本实施例中的图像增强方法进行对比，具体对比结果如表1所示。
其中，现有的图像增强方法具体如下：
SRIE(A weighted variational model for simultaneous reflectance andillumination estimation，一种同时估计反射与光照的加权变分模型)，该方法基于Retinex理论，构建了对数域的加权变分模型，在对数域中分别对光照图和反射图使用加权的L_2和L_1正则化约束，并使用交替最小化算法求解该模型，从而同时估计光照图和反射图。
LIME(Low-light image enhancement via illumination map estimation)基于光照估计的暗光图像增强方法，仅通过优化问题估计暗光图像的光照图，并将反射图视为最终增强结果。
RetinexNet(Deep retinex decomposition for low-light enhancement，Retinex深度分解模型)，基于卷积神经网络的分解-重构方式。使用卷积神经网络将图像分解为光照图和反射图，分别对光照图和反射图处理后共同重构最终的增强结果。
KinD(Kindling the darkness:A practical low-light image enhancer，一种简单有效的暗光图像增强网络)，与RetinexNet相同，都是基于卷积神经网络的分解-重构方式，该方法中使用卷积神经网络分别处理分解后光照图和反射图。
ZeroDCE(Zero-reference deep curve estimation for low-light imageenhancement，无需参考图像的深度曲线估计网络)，通过参数自适应的曲线函数将暗光图像映射为正常光照图像。曲线参数使用卷积神经网络学习，训练过程中无需使用参考图像。
EnlightenGAN(Deep light enhancement without paired supervision，基于非配对学习的深度光照增强模型)，使用具有自注意力机制的编码器-解码器网络结构进行增强。该方法使用生成对抗的方式进行训练，训练过程使用非配对的暗光或正常光照图像。
LPNet(Luminance-aware pyramid network for low-light imageenhancement，光照感知的金字塔网络)，该方法使用金字塔结构的卷积神经网络，按分辨率由低到高渐进地对暗光图像进行增强。
根据表1可知，相比于现有的图像增强方法，本实施例中的图像增强方法的PSNR和SSIM指标均大于现有的增强方法，故本实施例中的图像增强方法具有良好的性能。
示例二，在无标签的真实图像数据集DICM，LIME，MEF，NPE，Fusion上进行实验。如表2所示，使用NIQE(Natural Image Quality Evaluator，自然图像质量评估)在无标签数据集上进行评价。
表2不同方法在DICM,LIME,MEF,NPE,Fusion数据集上的评价指标
| DICM | LIME | MEF | NPE | Fusion | Average | |
| SRIE | 4.1110 | 3.8375 | 4.3065 | 3.5061 | 3.6031 | 3.8728 |
| LIME | 4.0533 | 4.1007 | 4.5142 | 3.7093 | 3.6017 | 4.0138 |
| RetinexNet | 4.5445 | 4.6312 | 5.3614 | 4.5673 | 4.2686 | 4.6746 |
| KinD | 4.3897 | 5.2809 | 5.0942 | 3.5831 | 3.5644 | 4.3825 |
| ZeroDCE | 3.9309 | 3.8308 | 4.11471 | 3.5731 | 3.3429 | 3.7650 |
| EnlightenGAN | 3.8481 | 3.7466 | 3.7418 | 3.5880 | 3.3854 | 3.6620 |
| LPNet | 4.7979 | 4.1332 | 4.6156 | 4.0425 | 4.1077 | 4.3394 |
| 本实施例 | 3.7580 | 3.9163 | 3.6539 | 3.3450 | 3.2510 | 3.5848 |
根据表2可知，相比于现有的图像增强方法，本实施例中的图像增强方法在任何数据集下的NIQE均小于现有增强方法，故本实施例中的图像增强方法具有良好的性能。
综上，本实施例中的图像增强方法可适用于多种场景，且在各种场景下均具有良好的图像增强效果。
下面对本发明提供的融合小波变换和注意力机制的图像增强装置进行描述，下文描述的融合小波变换和注意力机制的图像增强装置与上文描述的融合小波变换和注意力机制的图像增强方法可相互对应参照。
如图7所示，本实施例提供一种融合小波变换和注意力机制的图像增强装置，该装置包括：特征提取模块701、第一特征增强模块702、第二特征增强模块703和图像增强模块704，其中：
特征提取模块701用于将目标图像输入增强模型中的特征提取分支模型，从所述特征提取分支模型的各层输出的第一特征图中获取所述目标图像的多个不同尺度的第一特征图；
第一特征增强模块702用于将所述目标图像输入所述增强模型中图像增强分支模型的第一下采样模块，得到所述目标图像的第二特征图；所述第一下采样模块包括正向小波变换层、第一注意力层和第一输出层，所述正向小波变换层用于对所述目标图像进行小波分解，所述第一注意力层用于对小波分解结果中多个不同频率的第一小波系数进行调整，第一输出层用于根据调整后的多个不同频率的第一小波系数输出所述第二特征图；
第二特征增强模块703用于将所述第二特征图和所述多个不同尺度的第一特征图输入所述图像增强分支模型的第一上采样模块，得到所述目标图像的第三特征图；所述第一上采样模块包括逆向小波变换层、第二注意力层和第二输出层，所述第二注意力层用于对所述第二特征图和所述第一特征图融合得到的融合特征图中多个不同频率的第二小波系数进行调整，所述逆向小波变换层用于对调整后的多个不同频率的第二小波系数进行重构，所述第二输出层用于根据重构结果输出所述第三特征图；
图像增强模块704用于将所述目标图像的第三特征图输入所述图像增强分支模型的第三输出层，得到所述目标图像的增强图像；
其中，所述增强模型是基于第一样本图像和第二样本图像进行训练得到；所述第一样本图像的光照强度小于所述第二样本图像的光照强度。
本实施例中，一方面通过增强模型中的特征提取分支模型，对目标图像进行多尺度特征提取，得到多个不同尺度的光照引导特征，以完整目标图像中不同区域需要被增强的程度，提高光照适应性，以及辅助图像增强分支模型进行图像增强，提高增强模型对于不同光照条件的鲁棒性，进而提高增强图像的质量；另一方面，通过增强模型中图像增强分支模型中的正向小波变换层和第一注意力层，以及逆向小波变换层和第二注意力层对目标图像进行图像增强，可将目标图像中的低频内容信息与高频噪声分离开，以实现在自适应增强目标图像的过程中抑制噪声，进一步提高增强图像的质量。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)801、通信接口(Communications Interface)802、存储器(memory)803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。处理器801可以调用存储器803中的逻辑指令，以执行融合小波变换和注意力机制的图像增强方法，该方法包括：将目标图像输入增强模型中的特征提取分支模型，从所述特征提取分支模型的各层输出的第一特征图中获取所述目标图像的多个不同尺度的第一特征图；将所述目标图像输入所述增强模型中图像增强分支模型的第一下采样模块，得到所述目标图像的第二特征图；所述第一下采样模块包括正向小波变换层、第一注意力层和第一输出层，所述正向小波变换层用于对所述目标图像进行小波分解，所述第一注意力层用于对小波分解结果中多个不同频率的第一小波系数进行调整，第一输出层用于根据调整后的多个不同频率的第一小波系数输出所述第二特征图；将所述第二特征图和所述多个不同尺度的第一特征图输入所述图像增强分支模型的第一上采样模块，得到所述目标图像的第三特征图；所述第一上采样模块包括逆向小波变换层、第二注意力层和第二输出层，所述第二注意力层用于对所述第二特征图和所述第一特征图融合得到的融合特征图中多个不同频率的第二小波系数进行调整，所述逆向小波变换层用于对调整后的多个不同频率的第二小波系数进行重构，所述第二输出层用于根据重构结果输出所述第三特征图；将所述目标图像的第三特征图输入所述图像增强分支模型的第三输出层，得到所述目标图像的增强图像；其中，所述增强模型是基于第一样本图像和第二样本图像进行训练得到；所述第一样本图像的光照强度小于所述第二样本图像的光照强度。
此外，上述的存储器803中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的融合小波变换和注意力机制的图像增强方法，该方法包括：将目标图像输入增强模型中的特征提取分支模型，从所述特征提取分支模型的各层输出的第一特征图中获取所述目标图像的多个不同尺度的第一特征图；将所述目标图像输入所述增强模型中图像增强分支模型的第一下采样模块，得到所述目标图像的第二特征图；所述第一下采样模块包括正向小波变换层、第一注意力层和第一输出层，所述正向小波变换层用于对所述目标图像进行小波分解，所述第一注意力层用于对小波分解结果中多个不同频率的第一小波系数进行调整，第一输出层用于根据调整后的多个不同频率的第一小波系数输出所述第二特征图；将所述第二特征图和所述多个不同尺度的第一特征图输入所述图像增强分支模型的第一上采样模块，得到所述目标图像的第三特征图；所述第一上采样模块包括逆向小波变换层、第二注意力层和第二输出层，所述第二注意力层用于对所述第二特征图和所述第一特征图融合得到的融合特征图中多个不同频率的第二小波系数进行调整，所述逆向小波变换层用于对调整后的多个不同频率的第二小波系数进行重构，所述第二输出层用于根据重构结果输出所述第三特征图；将所述目标图像的第三特征图输入所述图像增强分支模型的第三输出层，得到所述目标图像的增强图像；其中，所述增强模型是基于第一样本图像和第二样本图像进行训练得到；所述第一样本图像的光照强度小于所述第二样本图像的光照强度。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的融合小波变换和注意力机制的图像增强方法，该方法包括：将目标图像输入增强模型中的特征提取分支模型，从所述特征提取分支模型的各层输出的第一特征图中获取所述目标图像的多个不同尺度的第一特征图；将所述目标图像输入所述增强模型中图像增强分支模型的第一下采样模块，得到所述目标图像的第二特征图；所述第一下采样模块包括正向小波变换层、第一注意力层和第一输出层，所述正向小波变换层用于对所述目标图像进行小波分解，所述第一注意力层用于对小波分解结果中多个不同频率的第一小波系数进行调整，第一输出层用于根据调整后的多个不同频率的第一小波系数输出所述第二特征图；将所述第二特征图和所述多个不同尺度的第一特征图输入所述图像增强分支模型的第一上采样模块，得到所述目标图像的第三特征图；所述第一上采样模块包括逆向小波变换层、第二注意力层和第二输出层，所述第二注意力层用于对所述第二特征图和所述第一特征图融合得到的融合特征图中多个不同频率的第二小波系数进行调整，所述逆向小波变换层用于对调整后的多个不同频率的第二小波系数进行重构，所述第二输出层用于根据重构结果输出所述第三特征图；将所述目标图像的第三特征图输入所述图像增强分支模型的第三输出层，得到所述目标图像的增强图像；其中，所述增强模型是基于第一样本图像和第二样本图像进行训练得到；所述第一样本图像的光照强度小于所述第二样本图像的光照强度。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种融合小波变换和注意力机制的图像增强方法，其特征在于，包括：
将目标图像输入增强模型中的特征提取分支模型，从所述特征提取分支模型的各层输出的第一特征图中获取所述目标图像的多个不同尺度的第一特征图；
将所述目标图像输入所述增强模型中图像增强分支模型的第一下采样模块，得到所述目标图像的第二特征图；所述第一下采样模块包括正向小波变换层、第一注意力层和第一输出层，所述正向小波变换层用于对所述目标图像进行小波分解，所述第一注意力层用于对小波分解结果中多个不同频率的第一小波系数进行调整，第一输出层用于根据调整后的多个不同频率的第一小波系数输出所述第二特征图；
将所述第二特征图和所述多个不同尺度的第一特征图输入所述图像增强分支模型的第一上采样模块，得到所述目标图像的第三特征图；所述第一上采样模块包括逆向小波变换层、第二注意力层和第二输出层，所述第二注意力层用于对所述第二特征图和所述第一特征图融合得到的融合特征图中多个不同频率的第二小波系数进行调整，所述逆向小波变换层用于对调整后的多个不同频率的第二小波系数进行重构，所述第二输出层用于根据重构结果输出所述第三特征图；
将所述目标图像的第三特征图输入所述图像增强分支模型的第三输出层，得到所述目标图像的增强图像；
其中，所述增强模型是基于第一样本图像和第二样本图像进行训练得到；所述第一样本图像的光照强度小于所述第二样本图像的光照强度。
2.根据权利要求1所述的融合小波变换和注意力机制的图像增强方法，其特征在于，所述第一下采样模块包括多个第一下采样单元，每一第一下采样单元均包括正向小波变换子层、第一注意力子层和第一输出子层；所述第一输出子层是基于残差网络构建生成的；
所述将所述目标图像输入所述增强模型中图像增强分支模型的第一下采样模块，得到所述目标图像的第二特征图，包括：
对于每一第一下采样单元执行如下步骤：
根据所述目标图像或当前第一下采样单元的上一层下采样单元的输出结果，确定所述当前第一下采样单元的第一输入信息；
将所述第一输入信息输入所述当前第一下采样单元的正向小波变换子层，得到所述第一输入信息的多个不同频率的第三小波系数；
将所述多个不同频率的第三小波系数输入所述当前第一下采样单元的第一注意力子层，得到所述多个不同频率的第三小波系数的调整结果；
将所述调整结果输入所述当前第一下采样单元的第一输出子层，得到所述当前第一下采样单元的输出层输出的所述目标图像的第一特征子图；
将最后一层第一下采样单元输出的所述第一特征子图，作为所述目标图像的第二特征图。
3.根据权利要求2所述的融合小波变换和注意力机制的图像增强方法，其特征在于，所述当前第一下采样单元的第一注意力子层包括空间注意力子层、通道注意力子层和第一卷积子层；
所述将所述多个不同频率的第三小波系数输入所述当前第一下采样单元的第一注意力子层，得到所述多个不同频率的第三小波系数的调整结果，包括：
将所述多个不同频率的第三小波系数输入所述空间注意力子层，得到所述多个不同频率的第三小波系数在空间维度上的第一调整结果；
将所述多个不同频率的第三小波系数的第一调整结果，输入所述通道注意力子层，得到所述多个不同频率的第三小波系数在通道维度上的第二调整结果；
将所述第二调整结果输入所述第一卷积子层，得到所述多个不同频率的第三小波系数的所述调整结果。
4.根据权利要求3所述的融合小波变换和注意力机制的图像增强方法，其特征在于，所述空间注意力子层包括多个第二卷积子层；
其中，所述第二卷积子层用于对所述多个不同频率的第三小波系数的特征空间维度数量进行调整；
所述通道注意力子层包括池化子层和多个第三卷积子层；
所述池化子层用于生成所述多个不同频率的第三小波系数的通道统计信息，所述第三卷积子层用于根据所述通道统计信息对所述多个不同频率的第三小波系数的特征通道维度数量进行调整。
5.根据权利要求2所述的融合小波变换和注意力机制的图像增强方法，其特征在于，所述第一上采样模块包括多个第一上采样单元，每一第一上采样单元包括逆向小波变换子层、第二注意力子层和第二输出子层，以及第一残差子层和频域变换子层；每一第一上采样单元与每一第一下采样单元一一对应，且与每一尺度的第一特征图一一对应；
所述将所述第二特征图和所述多个不同尺度的第一特征图输入所述图像增强分支模型的第一上采样模块，得到所述目标图像的第三特征图，包括：
对于每一第一上采样单元执行如下步骤：
根据所述第二特征图、当前第一上采样单元的上一层第一上采样单元的输出结果和所述当前第一上采样单元对应的第一下采样单元的输出结果中的一种或多种组合，确定所述当前第一上采样单元的第二输入信息；
将所述第二输入信息输入所述当前第一上采样单元的第一残差子层，得到所述目标图像的第二特征子图；
将所述第二特征子图和所述当前第一上采样单元对应的第一特征图输入所述当前第一上采样单元的频域变换子层，由所述频域变换子层对所述当前第一上采样单元对应的第一特征图进行学习，得到缩放系数和平移参数，并根据所述缩放系数对所述第二特征子图中频率较低的特征进行缩放，根据所述平移参数，对缩放后的第二特征子图进行平移操作，得到所述目标图像的第三特征子图；
将所述第三特征子图输入所述当前第一上采样单元的第二注意力子层，得到所述第三特征子图中多个不同频率的第四小波系数的调整结果；
将所述多个不同频率的第四小波系数的调整结果输入所述当前第一上采样单元的逆向小波变换子层，得到所述多个不同频率的第四小波系数的调整结果的重构结果；
将所述多个不同频率的第四小波系数的重构结果输入所述当前第一上采样单元的第二输出子层，得到所述目标图像的第四特征子图；
将最后一层第一上采样单元输出的第四特征子图作为所述目标图像的所述第三特征图。
6.根据权利要求1-5任一所述的融合小波变换和注意力机制的图像增强方法，其特征在于，所述特征提取分支模型包括第三卷积子层、第二下采样模块和第二上采样模块；
其中，所述第二上采样模块包括多个第二上采样单元，所述第二下采样模块包括多个第二下采样单元，每一第二上采样单元和每一第二下采样单元一一对应；
每一第二下采样单元包括顺次连接的正向小波变换子层、第三注意力子层和第二残差子层，所述每一第二上采样单元的输入是根据所述每一第二上采样单元的上一层第二上采样单元的输出结果和所述每一第二上采样单元对应的第二下采样单元的输出结果确定的；
每一第二上采样单元包括顺次连接的第三残差子层、第四注意力子层、逆向小波变换子层和第五卷积子层。
7.根据权利要求1-5任一所述的融合小波变换和注意力机制的图像增强方法，其特征在于，所述增强模型的训练步骤包括：
将所述第一样本图像输入所述增强模型中的特征提取分支模型中，由所述特征提取分支模型的第一特征提取层对所述第一样本图像进行多尺度特征提取，得到所述第一样本图像的多个不同尺度的第四特征图，由所述特征提取分支模型的第二特征提取层对所述第一特征提取层的最后一层输出的所述第一样本图像的第四特征图进行卷积操作，得到所述第一样本图像的光照引导图；
根据所述第一样本图像的光照引导图和所述第二样本图像的光照引导图，得到所述特征提取分支模型的第一损失函数；
将所述多个不同尺度的第四特征图和所述第一样本图像输入所述图像增强分支模型，得到所述第一样本图像的增强图像；
根据所述第一样本图像的增强图像和所述第二样本图像，确定所述图像增强分支模型的第二损失函数，根据所述第一样本图像的增强图像的梯度算子和所述第二样本图像的梯度算子，确定所述图像增强分支模型的第三损失函数；
根据所述第一损失函数、第二损失函数和第三损失函数，对所述增强模型进行联合训练。
8.一种融合小波变换和注意力机制的图像增强装置，其特征在于，包括：
特征提取模块，用于将目标图像输入增强模型中的特征提取分支模型，从所述特征提取分支模型的各层输出的第一特征图中获取所述目标图像的多个不同尺度的第一特征图；
第一特征增强模块，用于将所述目标图像输入所述增强模型中图像增强分支模型的第一下采样模块，得到所述目标图像的第二特征图；所述第一下采样模块包括正向小波变换层、第一注意力层和第一输出层，所述正向小波变换层用于对所述目标图像进行小波分解，所述第一注意力层用于对小波分解结果中多个不同频率的第一小波系数进行调整，第一输出层用于根据调整后的多个不同频率的第一小波系数输出所述第二特征图；
第二特征增强模块，用于将所述第二特征图和所述多个不同尺度的第一特征图输入所述图像增强分支模型的第一上采样模块，得到所述目标图像的第三特征图；所述第一上采样模块包括逆向小波变换层、第二注意力层和第二输出层，所述第二注意力层用于对所述第二特征图和所述第一特征图融合得到的融合特征图中多个不同频率的第二小波系数进行调整，所述逆向小波变换层用于对调整后的多个不同频率的第二小波系数进行重构，所述第二输出层用于根据重构结果输出所述第三特征图；
图像增强模块，用于将所述目标图像的第三特征图输入所述图像增强分支模型的第三输出层，得到所述目标图像的增强图像；
其中，所述增强模型是基于第一样本图像和第二样本图像进行训练得到；所述第一样本图像的光照强度小于所述第二样本图像的光照强度。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述融合小波变换和注意力机制的图像增强方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述融合小波变换和注意力机制的图像增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210693209.5A CN115170410A (zh) | 2022-06-17 | 2022-06-17 | 融合小波变换和注意力机制的图像增强方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210693209.5A CN115170410A (zh) | 2022-06-17 | 2022-06-17 | 融合小波变换和注意力机制的图像增强方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115170410A true CN115170410A (zh) | 2022-10-11 |
Family
ID=83485100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210693209.5A Pending CN115170410A (zh) | 2022-06-17 | 2022-06-17 | 融合小波变换和注意力机制的图像增强方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115170410A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115375677A (zh) * | 2022-10-24 | 2022-11-22 | 山东省计算中心（国家超级计算济南中心） | 基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统 |
| CN115908144A (zh) * | 2023-03-08 | 2023-04-04 | 中国科学院自动化研究所 | 基于随机小波注意力的图像处理方法、装置、设备及介质 |
| CN116993630A (zh) * | 2023-09-27 | 2023-11-03 | 闽都创新实验室 | 基于残差图像的注意力特征的去运动模糊方法及装置 |
| CN117253184A (zh) * | 2023-08-25 | 2023-12-19 | 燕山大学 | 一种雾先验频域注意表征引导的雾天图像人群计数方法 |
-
2022
- 2022-06-17 CN CN202210693209.5A patent/CN115170410A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115375677A (zh) * | 2022-10-24 | 2022-11-22 | 山东省计算中心（国家超级计算济南中心） | 基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统 |
| CN115908144A (zh) * | 2023-03-08 | 2023-04-04 | 中国科学院自动化研究所 | 基于随机小波注意力的图像处理方法、装置、设备及介质 |
| CN117253184A (zh) * | 2023-08-25 | 2023-12-19 | 燕山大学 | 一种雾先验频域注意表征引导的雾天图像人群计数方法 |
| CN117253184B (zh) * | 2023-08-25 | 2024-05-17 | 燕山大学 | 一种雾先验频域注意表征引导的雾天图像人群计数方法 |
| CN116993630A (zh) * | 2023-09-27 | 2023-11-03 | 闽都创新实验室 | 基于残差图像的注意力特征的去运动模糊方法及装置 |
| CN116993630B (zh) * | 2023-09-27 | 2023-12-15 | 闽都创新实验室 | 基于残差图像的注意力特征的去运动模糊方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | An experimental-based review of image enhancement and image restoration methods for underwater imaging | |
| CN111275637B (zh) | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 | |
| CN109919838B (zh) | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 | |
| CN115170410A (zh) | 融合小波变换和注意力机制的图像增强方法及装置 | |
| CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| CN110796622B (zh) | 一种基于串联神经网络多层特征的图像比特增强方法 | |
| CN116051428B (zh) | 一种基于深度学习的联合去噪与超分的低光照图像增强方法 | |
| Min et al. | Blind deblurring via a novel recursive deep CNN improved by wavelet transform | |
| CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
| CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
| CN116934592A (zh) | 一种基于深度学习的图像拼接方法、系统、设备及介质 | |
| CN109064402A (zh) | 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法 | |
| CN114155161B (zh) | 图像去噪方法、装置、电子设备与存储介质 | |
| CN114445299A (zh) | 一种基于注意力分配机制的双残差去噪方法 | |
| Karthikeyan et al. | Energy based denoising convolutional neural network for image enhancement | |
| Dharejo et al. | SwinWave-SR: Multi-scale lightweight underwater image super-resolution | |
| CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
| Wali et al. | Recent Progress in Digital Image Restoration Techniques: A Review | |
| CN117408924A (zh) | 一种基于多重语义特征融合网络的低光照图像增强方法 | |
| CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
| CN113362338B (zh) | 铁轨分割方法、装置、计算机设备和铁轨分割处理系统 | |
| CN114565528A (zh) | 一种基于多尺度和注意力机制的遥感影像降噪方法及系统 | |
| Rela et al. | Efficient image enhancement techniques applied on medical imaging-a state-of-the art survey | |
| Tun et al. | Joint Training of Noisy Image Patch and Impulse Response of Low-Pass Filter in CNN for Image Denoising | |
| CN112862698B (zh) | 一种基于结构感知和纹理敏感的物理启发学习的水下图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |