CN116433516A - 一种基于注意力机制的低照度图像去噪增强方法 - Google Patents

一种基于注意力机制的低照度图像去噪增强方法 Download PDF

Info

Publication number
CN116433516A
CN116433516A CN202310325969.5A CN202310325969A CN116433516A CN 116433516 A CN116433516 A CN 116433516A CN 202310325969 A CN202310325969 A CN 202310325969A CN 116433516 A CN116433516 A CN 116433516A
Authority
CN
China
Prior art keywords
layer
image
convolution
attention
convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310325969.5A
Other languages
English (en)
Inventor
王正宁
胥鹏
丁桢炎
匡育衡
刘旭航
何中国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202310325969.5A priority Critical patent/CN116433516A/zh
Publication of CN116433516A publication Critical patent/CN116433516A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理和计算机视觉领域，具体为一种基于注意力机制的低照度图像去噪增强方法。该方法通过每个下采样单元之后加入的去噪模块，提取出真实低光照图像复杂背景中的隐藏噪声，以此提高整个网络模型的学习能力，减少训练时间。在去噪模块中，通过空洞卷积和标准卷积的组合，扩大了感受野，在提取出更多有用特征的同时减少了网络的深度，提高了去噪的效果和效率。在两个注意力单元同，通过拼接层有效利用全局特征和局部特征，提高浅层特征对深层特征的影响和去噪模型的表达能力，从而可以得到更好的重建图像，减小噪声对低光照图像增强的影响，使得低光照图像增强达到更好的效果。

Description

一种基于注意力机制的低照度图像去噪增强方法
技术领域
本发明属于图像处理和计算机视觉领域，具体为一种基于注意力机制的低照度图像去噪增强方法。
技术背景
随着深度学习技术在计算机视觉领域的蓬勃发展，各种低光照图像增强方法在生活中得到了广泛应用。图像质量的好坏与光照有着重要的联系，当图片从低照度环境中捕获得到时，一般存在亮度低、对比度低、噪声、细节信息模糊等缺点，需要对其进行亮度增强处理以获得更好的视觉效果。低照度图像增强通过变换数据，有选择地提取图像中需要的重要特征或者抑制图像中某些不重要的特征，使图像与视觉响应特性相匹配，既可以有效提升图像视频的视觉质量，也可以为目标检测、跟踪等视觉处理应用提供一个良好的预处理基础。在低光照图像增强中，图像去噪扮演了一个重要的角色。图像去噪是现实世界中低层次视觉应用的典型问题。基于图像去噪对图片质量的影响和本身的现实意义，已成为图像处理和计算机视觉领域的热门话题。
图像去噪在研究前期，许多传统的方法在图像去噪方面取得了有竞争力的表现，但这些方法仍然具有参数需要手动选择、算法的优化较复杂、只针对某些特定的噪声任务这三个主要的问题。深度学习方法具有强大的表示能力，其已经成为解决这些缺点的主要技术，具有灵活模块化架构的卷积神经网络已被广泛应用于图像去噪中：
文献“Zhang K,Zuo W,Chen Y,et al.Beyond a gaussian denoiser:Residuallearning of deep cnn for image denoising[J].IEEE transactions on imageprocessing,2017”公开的一种去噪卷积神经网络(DnCNN)，将非常深入的结构、学习算法和正则化方法的进展纳入图像去噪。利用残差学习和批处理归一化来加快训练速度，提高去噪性能。DnCNN模型能够处理未知噪声水平下的高斯去噪(即盲高斯去噪)。利用残差学习策略，DnCNN隐式去除隐藏层中潜在的干净图像。这一特性促使提出的DnCNN可以使用模型来处理多种去噪任务，如高斯去噪、单个图像超分辨率和JPEG图像去块。然而，随着深度的增长，深度网络可能会导致性能下降。
文献“Tai Y,Yang J,Liu X.Image super-resolution via deep recursiveresidual network[C]//Proceedings of the IEEE conference on computer visionand pattern recognition.2017”公开的一种基于深度递归残差网络(DRRN)的图像超分辨率方法，其利用全局和局部RL技术来增强训练模型在图像恢复中的表示能力。DRRN中引入了全局和局部残差学习，为了保持模型的紧凑性，在DRRN中提出了残差单元的递归学习方法。DRRN有一个由几个残差单元组成的递归块，这些残差单元之间共享权值。DRRN通过设计一个具有多路径结构的递归块来减轻由于网络过深引起的梯度爆炸和梯度消失问题。
文献“Liu P,Fang R.Learning pixel-distribution prior with widerconvolution for image denoising[J].arXiv preprint arXiv:1707.09135,2017”公开的一种基于像素分布先验的图像去噪算法，通过增加网络的宽度有助于在图像去噪中挖掘更多信息，通过增加CNN的宽度，使其接收场更大，每层的通道更多，可以揭示CNN学习像素分布的能力。此方法的关键是发现更宽的CNN倾向于学习像素分布特征，这说明了推理映射主要依赖于先验，而不是具有更多堆叠非线性层的更深层CNN的可能性。
文献“Liu J,Sun Y,Xu X,et al.Image restoration using total variationregularized deep image prior[C]//ICASSP 2019-2019IEEE InternationalConference on Acoustics,Speech and Signal Processing(ICASSP).IEEE,2019”公开的一种基于全变差正则化深度图像先验的图像恢复方法，将深度图像先验(DIP)和传统的正则化方法全变分(TV)相结合，获得一种新的模型结构，将先验和CNN相结合的方法对图像进行恢复训练，这种方法非常有利于加速图像恢复的训练。深度图像先验使用了卷积神经网络的架构，没有数据驱动的训练，而传统的正则化方法，如全变分，依赖于稀疏性分析模型。本文将DIP框架与传统正则化全变分相结合，对其进行了扩展，发现在一些传统的恢复任务，如图像去噪和去模糊测试中，包含全变分可以带来可观的性能提升。
尽管上述提出的方法对图像的增强去噪有一定效果，但它们仍然存在一些缺点。如残差密集网络等方法具有较高的计算成本和内存消耗，深层网络中有一些没有充分利用浅层网络对深层网络的影响，以及这些方法大多忽略了复杂背景可能隐藏一些关键特征的问题，并不适用于低光照图像去噪增强。
发明内容
本发明的目的在于提供一种基于注意力机制的低照度图像去噪增强方法，以适用于低光照图像去噪增强处理。
为实现上述目的，本发明采用如下技术方案：
一种基于注意力机制的低照度图像去噪增强方法，包括以下步骤：
步骤1、获取样本数据集，该样本数据集是由多个数据对组成的序列集，每个数据对是由低光照图像和低光照图像对应的真值图像组成，其中真值图指的是正常照度图像；
步骤2、将样本数据集划分为训练集、测试集和验证集；
步骤3、构建以注意力为导向的图像增强网络：
以注意力为导向的图像增强网络为一个U型编解码网络，包括特征编码器和特征解码器，特征编码器与特征解码器连接；
所述特征编码器用于提低照度图像的图像特征，包括N个依次连接的下采样单元，每个下采样单元后均连接一个去噪模块；
所述特征解码器包括N个依次连接的上采样单元、以及连接在最后一个上采样单元之后的一个1×1卷积层，使用跳跃连接从下采样单元到对应的上采样单元；
步骤4、将训练集输入步骤3构建的以注意力为导向的图像增强网络，进行图像增强训练，并通过损失函数对以注意力为导向的图像增强网络进行优化，得到成训练好的以注意力为导向的图像增强网络；
步骤5、将测试集输入训练好的以注意力为导向的图像增强网络进行测试，将验证集输入训练好的以注意力为导向的图像增强网络进行验证，得到网络预测图片。
进一步的，所述特征编码器中的下采样单元，包括依次连接的第一3×3的未填充卷积层、第二3×3的未填充卷积层和2×2最大池化层，第一卷积层和第二卷积层均为采用未填充的卷积层，每个3×3的未填充卷积层后采用ReLU激活函数；
所述特征解码器中的上采样单元，包括依次连接第一3×3的未填充卷积层、第二3×3的未填充卷积层和2×2的反卷积层，第一卷积层和第二卷积层均为采用未填充的卷积层，每个3×3的未填充卷积层后采用ReLU激活函数。
进一步的，所述去噪模块包括依次连接的卷积神经网络、第一注意力单元、第二注意力单元以及重建单元；
卷积神经网络包括第一卷积部分和第二卷积部分，第一卷积部分由n个A类型卷积结构层和k个B类型卷积结构层组成，第一个A类型卷积结构之前连接有一个B类型卷积结构层，相邻两个A类型卷积结构之间设有两个B类型卷积结构；其中A类型的卷积结构由依次连接的空洞卷积层、批规范化层和Sigmoid激活层组成，空洞卷积层的扩张率为2，卷积核尺寸为3×3；B类型的卷积结构由依次连接的标准卷积层、批规范化层和Sigmoid激活层组成，标准卷积层的卷积核尺寸为64×3×3×64；第二卷积部分由M个依次连接的B类型卷积结构层组成；卷积神经网络的输入为对应下采样单元输出的噪声图像IN，输出为根据噪声图像IN提取的深度特征图；
第一注意力单元包括依次连接标准卷积层、拼接层、全局均值池化层、标准卷积层和ReLU激活函数层；该单元中：标准卷积层接收卷积神经网络输出的深度特征图，并将传输给拼接层的输入；沿传输方向，位于在拼接层之前的标准卷积层的卷积核尺寸为64×3×3×c，位于ReLU激活函数层之前的标准卷积层的卷积核尺寸为4c×1×1×c，其中c为给定噪声图像的通道数，彩色图片c为3，灰度图c为1；拼接层的输入接卷积神经网络第一部分中连接在第二个A类型卷积结构之前的B类型卷积结构层、卷积神经网络第二部分的第一个B类型卷积结构层、对应下采样单元输出的噪声图像IN、以及本单元标准卷积层输出的特征图，并通过拼接融合得到噪声特征输出至全局均值池化层；全局均值池化层代替全连接层，根据接收的噪声特征计算出特征向量，传输给之后的标准卷积层进行卷积操作，再将第一注意力单元中第二个标准卷积层的输出通过一个激活函数ReLU转换为非线性后，得到一维向量，将其作为权值与位于拼接层之前的标准卷积层输出相乘，得到注意力机制下的噪声特征；
第二注意力单元与第一注意力单元结构完全相同，其计算过程与第一注意力单元完全相同，区别仅在于，第二注意力单元的输入为第一注意力单元输出的噪声特征，输出为映射噪声图像IR；
重建单元输入分别接对应下采样单元输出的噪声图像IN、第二注意力单元输出的映射噪声图像IR，输出为去噪图像IC；用于根据噪声图像IN和映射噪声图像IR完成图像重建，得到去噪图像IC输出。
本发明提供的一种基于注意力机制的低照度图像去噪增强方法，通过每个下采样单元之后加入的去噪模块，提取出真实低光照图像复杂背景中的隐藏噪声，以此提高整个网络模型的学习能力，减少训练时间。在去噪模块中，通过空洞卷积和标准卷积的组合，扩大了感受野，在提取出更多有用特征的同时减少了网络的深度，提高了去噪的效果和效率。在两个注意力单元同，通过拼接层有效利用全局特征和局部特征，提高浅层特征对深层特征的影响和去噪模型的表达能力，从而可以得到更好的重建图像，减小噪声对低光照图像增强的影响，使得低光照图像增强达到更好的效果。
附图说明
图1为本发明实施例以注意力为导向的图像增强网络结构图；
图2为本发明实施例去噪网络结构图。
具体实施方式
本实施例提供的一种基于注意力机制的低照度图像去噪增强方法，包括以下步骤：
步骤1、获取样本数据集，该样本数据集是由多个数据对组成的序列集，每个数据对是由低光照图像和低光照图像对应的真值图像组成，其中真值图指的是正常照度图像。低光照图和其对应的真值图可以是网页上下载的图像，也可以是由专业相机拍摄的图像等。例如，通过调节相机曝光时间来获得明暗图片对,或以原图作为真值图，通过调节曝光曲线人工合成低照度图片，以此构成的数据对。得到数据对后，需要对低光照图和低光照图裁剪成a×a的小块，这样可以减少计算误差，本实施例裁剪的图片大小为64×64，即a取64，训练时每个图像会随机旋转。
步骤2、将样本数据集划分为训练集、测试集和验证集。
步骤3、构建以注意力为导向的图像增强网络，如图1所示，以注意力为导向的图像增强网络为一个U型编解码网络，包括特征编码器和特征解码器，特征编码器与特征解码器连接。
所述特征编码器的输入为低照度图像，用于提取低照度图像的噪声特征并输出，特征编码器是由N个依次连接的下采样单元组成，每个下采样单元后均连接一个去噪模块。特征编码器中的下采样单元，由依次连接的第一3×3的卷积层、第二3×3卷积层和2×2最大池化层组成，第一3×3的卷积层和第二3×3的卷积层均为未填充的卷积层，每个3×3的未填充卷积层后采用ReLU激活函数。
所述特征解码器的输入接下采样单元输出的局部特征和去噪模块输出的噪声特征，输出为网络预测图片。特征解码器由N个依次连接的上采样单元、以及连接在最后一个上采样单元之后的一个1×1卷积层组成，使用跳跃连接从下采样单元到对应的上采样单元。所述特征解码器中的上采样单元，包括依次连接第一3×3的卷积层、第二3×3的卷积层和2×2的反卷积层，第一3×3的卷积层和第二3×3的卷积层均为采用未填充的卷积层，每个3×3的未填充卷积层后采用ReLU激活函数。
步骤4、将训练集输入步骤3构建的以注意力为导向的图像增强网络，进行图像增强训练，并通过损失函数对以注意力为导向的图像增强网络进行优化，得到成训练好的以注意力为导向的图像增强网络。
其中，以注意力为导向的图像增强网络的训练方法为：
输入特征编码器的低照度图像通过两个3×3的未填充卷积层的卷积操作，提取出低照度图的局部区域特征，再通过一个大小为2×2、步长为2的最大池化层对卷积层提取的局部特征进行压缩后，输出至去噪模块中提取噪声特征。本实施例共进行了4次下采样，在下采样过程中，每个3×3卷积层后均采用ReLU激活函数来对输入的低照度图片进行下采样操作，步长为2的。
特征解码器通过两个3×3的卷积层和一个大小为2×2的反卷积层进行上采样，一共上采样4次。每次上采样过程与噪声图像进行融合，最大程度的保留下前面下采样过程中的一些重要特征信息。上采样单元中每个3×3卷积层后同样采用激活函数ReLU，每一步是一个大小为2×2的反卷积层，将编码网络的卷积特征图和与之相同维度的解码网络的卷积特征图进行跳跃连接，使每一步的上采样中都加入来自相对应编码网络的局部区域特征。最后通过1×1卷积融合不同层次的特征，得到网络预测图片输出。
为了得到最优以注意力为导向的图像增强网络，需要在训练过程中对该图像增强网络进行优化，优化具体操作包括以下步骤：
(1)、使用L2损失作为训练网络的损失函数，最小化网络预测图与真值图的差距，L2损失函数如公式为：
LMSE＝||INA-IGT||2
其中INA表示图像增强网络的预测图，IGT表示真值图。
(2)、利用VGG网络模型计算经过以注意力为导向的图像增强网络输出的网络预测图片和真值图的感知损失，感知损失的计算公式为：
Lvgg＝|||φ(INA)-φ(IGT)||1
其中φ是预训练的VGG网络。
(3)、根据(1)和(2)计算出的损失，调整以注意力为导向的图像增强网络的训练参数，最小化以下损失函数优化网络模型：
Ltotal＝LMSE+λLvgg
式中λ表示权重系数，用于平衡两类损失。
本实施例的图像增强网络在进行训练时，设置的初始学习率α1为10-3，epsilon为10-6，β1为0.8，β2为0.899。epsilon，β1，β2是BN的参数，epsilon是归一化时防止分母为0加的一个常量。Batch size和epochs分别为128和50，在这50个epoch中学习率有所变化，前30个epochs的学习率α1为10-3，这之后的20个epochs的学习率α1为10-4，最后10个epochs学习率α1为10-5。根据损失函数优化网络模型时λ设为0.1。
步骤5、将测试集输入训练好的以注意力为导向的图像增强网络进行测试，将验证集输入训练好的以注意力为导向的图像增强网络进行验证，得到网络预测图片。
在本实施的图像增强网络中，为获得更好的增强效果，本实施对特征编码器部分的去噪模块进行改进，改进后的去噪模块能够有效提取真实低光照图像复杂背景中的隐藏噪声，提升模型的学习能力，减少训练时间，提高去噪效果和效率。如图2所示，去噪模块包括依次连接的卷积神经网络、第一注意力单元、第二注意力单元和重建单元。对应图2，去噪模块共22层。沿传输方向，其中第1～第11层为卷积神经网络，第12～第16层为第一注意力单元，第17～第21层为第二注意单元，第22层为重建单元。
卷积神经网络的输入为对应下采样单元输出的噪声图像IN，输出为根据噪声图像IN提取的深度特征图。
卷积神经网络包括第一卷积部分和第二卷积部分，其中第1～8层为第一卷积部分，该部分中：第2层、第5层和第8层采用了A类型卷积结构，A类型卷积结构由依次连接的空洞卷积层、批规范化层和Sigmoid激活层组成，空洞卷积层的扩张率为2，卷积核尺寸为3×3。第1层、3层、4层、6层、7层B类型的卷积结构，B类型的卷积结构由依次连接的标准卷积层、批规范化层和Sigmoid激活层组成，标准卷积层的卷积核尺寸为64×3×3×64。第二卷积部分即第9～第11层，均为B类型卷积结构层；本实施例中，在A类型采用空洞卷积可以扩大感受野，捕获多尺度上下文信息，保存更多信息，在应用时，可以将这些层视为高能量点。在网络层数较少时，在提取图像中的有用信息时效率会更高，而且网络的复杂度也会降低。B类型的卷积结构可视为低能量点，通过A、B两种网络结构的结合，使得卷积神经网络具有稀疏性，在进行噪声特征提取的过程中，一方面降低去噪网络深度，另一方提升去噪效果。网络中，输入的噪声图像通道数是c，第2～8层的输入和输出通道数均为64。
第一注意力单元，第一注意力单元包括依次连接标准卷积层、拼接层、全局均值池化层、标准卷积层和ReLU激活函数层；该单元中：标准卷积层接收卷积神经网络输出的深度特征图，并将传输给拼接层的输入；沿传输方向，位于在拼接层之前的标准卷积层的卷积核尺寸为64×3×3×c，位于ReLU激活函数层之前的标准卷积层的卷积核尺寸为4c×1×1×c，其中c为给定噪声图像的通道数，彩色图片c为3，灰度图c为1；拼接层的输入接卷积神经网络第一部分第4层输出的局部特征图、卷积神经网络第二部分第1层输出的局部特征图、对应下采样单元输出的噪声图像IN、以及本单元标准卷积层输出的特征图，并通过拼接融合得到噪声特征输出至全局均值池化层；全局均值池化层代替全连接层，根据接收的噪声特征计算出特征向量，传输给之后的标准卷积层进行卷积操作，再将第15层的输出通过一个激活函数ReLU转换为非线性后，得到一维向量，将其作为权值与位于拼接层之前的标准卷积层输出相乘，得到注意力机制下的噪声特征。第二注意力单元与第一注意力单元结构完全相同，其计算过程与第一注意力单元完全相同，区别仅在于，第二注意力单元的输入为第一注意力单元输出的噪声特征，输出为映射噪声图像IR。
重建单元输入分别接对应下采样单元输出的噪声图像IN、第二注意力单元输出的映射噪声图像IR，输出为去噪图像IC；用于根据噪声图像IN和映射噪声图像IR完成图像重建，得到去噪图像IC输出。
本实施例的去噪模块是通过当前阶段来引导前一阶段去学习噪声信息，实现注意力机制下的噪声特征提取。提取过程中，可以在两个注意力单元中进行权重的调整，通过调整权值获得更好的噪声特征。两个注意单元的叠加使用，对于噪声特征提取更为精确，从而可以提高噪声去除效率，实现更好的注意力引导效果。
综上可见，本发明通过在下采样单元增加去噪模块提取噪声特征，提高去噪效果和效率。通过对去噪模块进行改进，即引入注意力单元降低整个网络的训练难度，提高了网络训练效率以及图像增强效果。

Claims (3)

1.一种基于注意力机制的低照度图像去噪增强方法，其特征在于，包括以下步骤：
步骤1、获取样本数据集，该样本数据集是由多个数据对组成的序列集，每个数据对是由低光照图像和低光照图像对应的真值图像组成，其中真值图指的是正常照度图像；
步骤2、将样本数据集划分为训练集、测试集和验证集；
步骤3、构建以注意力为导向的图像增强网络：
以注意力为导向的图像增强网络为一个U型编解码网络，包括特征编码器和特征解码器，特征编码器与特征解码器连接；
所述特征编码器用于提低照度图像的图像特征，包括N个依次连接的下采样单元，每个下采样单元后均连接一个去噪模块；
所述特征解码器包括N个依次连接的上采样单元、以及连接在最后一个上采样单元之后的一个1×1卷积层，使用跳跃连接从下采样单元到对应的上采样单元；
步骤4、将训练集输入步骤3构建的以注意力为导向的图像增强网络，进行图像增强训练，并通过损失函数对以注意力为导向的图像增强网络进行优化，得到成训练好的以注意力为导向的图像增强网络；
步骤5、将测试集输入训练好的以注意力为导向的图像增强网络进行测试，将验证集输入训练好的以注意力为导向的图像增强网络进行验证，得到网络预测图片。
2.如权利要求1所述的一种基于注意力机制的低照度图像去噪增强方法，其特征在于：所述特征编码器中的下采样单元，包括依次连接的第一3×3的未填充卷积层、第二3×3的未填充卷积层和2×2最大池化层，第一卷积层和第二卷积层均为采用未填充的卷积层，每个3×3的未填充卷积层后采用ReLU激活函数；
所述特征解码器中的上采样单元，包括依次连接第一3×3的未填充卷积层、第二3×3的未填充卷积层和2×2的反卷积层，第一卷积层和第二卷积层均为采用未填充的卷积层，每个3×3的未填充卷积层后采用ReLU激活函数。
3.如权利要求1～2任一项所述的一种基于注意力机制的低照度图像去噪增强方法，其特征在于：所述去噪模块包括依次连接的卷积神经网络、第一注意力单元、第二注意力单元以及重建单元；
卷积神经网络包括第一卷积部分和第二卷积部分，第一卷积部分由n个A类型卷积结构层和k个B类型卷积结构层组成，第一个A类型卷积结构之前连接有一个B类型卷积结构层，相邻两个A类型卷积结构之间设有两个B类型卷积结构；其中A类型的卷积结构由依次连接的空洞卷积层、批规范化层和Sigmoid激活层组成，空洞卷积层的扩张率为2，卷积核尺寸为3×3；B类型的卷积结构由依次连接的标准卷积层、批规范化层和Sigmoid激活层组成，标准卷积层的卷积核尺寸为64×3×3×64；第二卷积部分由M个依次连接的B类型卷积结构层组成；卷积神经网络的输入为对应下采样单元输出的噪声图像IN，输出为根据噪声图像IN提取的深度特征图；
第一注意力单元包括依次连接标准卷积层、拼接层、全局均值池化层、标准卷积层和ReLU激活函数层；该单元中：标准卷积层接收卷积神经网络输出的深度特征图，并将传输给拼接层的输入；沿传输方向，位于在拼接层之前的标准卷积层的卷积核尺寸为64×3×3×c，位于ReLU激活函数层之前的标准卷积层的卷积核尺寸为4c×1×1×c，其中c为给定噪声图像的通道数，彩色图片c为3，灰度图c为1；拼接层的输入接卷积神经网络第一部分中连接在第二个A类型卷积结构之前的B类型卷积结构层、卷积神经网络第二部分的第一个B类型卷积结构层、对应下采样单元输出的噪声图像IN、以及本单元标准卷积层输出的特征图，并通过拼接融合得到噪声特征输出至全局均值池化层；全局均值池化层代替全连接层，根据接收的噪声特征计算出特征向量，传输给之后的标准卷积层进行卷积操作，再将第一注意力单元中第二个标准卷积层的输出通过一个激活函数ReLU转换为非线性后，得到一维向量，将其作为权值与位于拼接层之前的标准卷积层输出相乘，得到注意力机制下的噪声特征；
第二注意力单元与第一注意力单元结构完全相同，其计算过程与第一注意力单元完全相同，区别仅在于，第二注意力单元的输入为第一注意力单元输出的噪声特征，输出为映射噪声图像IR；
重建单元输入分别接对应下采样单元输出的噪声图像IN、第二注意力单元输出的映射噪声图像IR，输出为去噪图像IC；用于根据噪声图像IN和映射噪声图像IR完成图像重建，得到去噪图像IC输出。
CN202310325969.5A 2023-03-30 2023-03-30 一种基于注意力机制的低照度图像去噪增强方法 Pending CN116433516A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310325969.5A CN116433516A (zh) 2023-03-30 2023-03-30 一种基于注意力机制的低照度图像去噪增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310325969.5A CN116433516A (zh) 2023-03-30 2023-03-30 一种基于注意力机制的低照度图像去噪增强方法

Publications (1)

Publication Number Publication Date
CN116433516A true CN116433516A (zh) 2023-07-14

Family

ID=87086580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310325969.5A Pending CN116433516A (zh) 2023-03-30 2023-03-30 一种基于注意力机制的低照度图像去噪增强方法

Country Status (1)

Country Link
CN (1) CN116433516A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635478A (zh) * 2024-01-23 2024-03-01 中国科学技术大学 一种基于空间通道注意力的低光照图像增强方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635478A (zh) * 2024-01-23 2024-03-01 中国科学技术大学 一种基于空间通道注意力的低光照图像增强方法
CN117635478B (zh) * 2024-01-23 2024-05-17 中国科学技术大学 一种基于空间通道注意力的低光照图像增强方法

Similar Documents

Publication Publication Date Title
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
Zhang et al. Image restoration: From sparse and low-rank priors to deep priors [lecture notes]
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN116681584A (zh) 一种多级扩散图像超分辨算法
CN110458765A (zh) 基于感知保持卷积网络的图像质量增强方法
CN110796622B (zh) 一种基于串联神经网络多层特征的图像比特增强方法
CN111861894A (zh) 基于生成式对抗网络的图像去运动模糊方法
CN114463218B (zh) 一种基于事件数据驱动的视频去模糊方法
CN112614061A (zh) 基于双路编解码器的低照度图像亮度增强及超分辨率方法
CN112288632A (zh) 基于精简esrgan的单图像超分辨率方法及系统
US20220156891A1 (en) Methods and systems for deblurring blurry images
Rasheed et al. LSR: Lightening super-resolution deep network for low-light image enhancement
CN114638768B (zh) 一种基于动态关联学习网络的图像去雨方法、系统及设备
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
CN116433516A (zh) 一种基于注意力机制的低照度图像去噪增强方法
CN113902647B (zh) 一种基于双闭环网络的图像去模糊方法
CN116664446A (zh) 基于残差密集块的轻量级暗光图像增强方法
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
Peng et al. RAUNE-Net: A Residual and Attention-Driven Underwater Image Enhancement Method
CN117893409A (zh) 基于光照条件约束扩散模型的人脸超分辨率重建方法及系统
Zhang et al. Efficient content reconstruction for high dynamic range imaging
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
CN116883265A (zh) 一种基于增强特征融合机制的图像去模糊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication