CN117392036A - 基于照明幅度的低光图像增强方法 - Google Patents
基于照明幅度的低光图像增强方法 Download PDFInfo
- Publication number
- CN117392036A CN117392036A CN202311397230.1A CN202311397230A CN117392036A CN 117392036 A CN117392036 A CN 117392036A CN 202311397230 A CN202311397230 A CN 202311397230A CN 117392036 A CN117392036 A CN 117392036A
- Authority
- CN
- China
- Prior art keywords
- low
- image
- enhancement
- illumination
- light image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000008569 process Effects 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 230000000873 masking effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000005303 weighing Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 1
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 235000011941 Tilia x europaea Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004571 lime Substances 0.000 description 1
- 101150077939 mapA gene Proteins 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于照明幅度图的低光图像增强方法，该方法根据Retinex理论构造一个先验照明网络用于获取低光图像的照明幅度图，照明幅度图反应了图像在增强过程中各个像素值所需放大的倍数，同时也反映了增强过程中各个区域受噪声影响的情况。对于受噪声影响低的区域，采用残差网络捕获图像区域的增强信息；对于受噪声影响大的区域，采用Transformer捕获区域内部的增强信息和噪声信息，通过下采样卷积层削减噪声信息，最终将两个分支的特征进行融合得到增强特征，再将特征通过残差网络重构为增强图像。分区域的操作使得模型更有针对性的学习不同区域的增强模式，而区域的划分又源于预先训练好的网络，可以自适应的为各种低光图像划分出合理的区域。
Description
技术领域
本发明为一种涉及图像增强领域中对极暗图像进行增强的方法。
背景技术
高级视觉任务已为人们的生活带来了诸多便利，如人脸识别、自动驾驶、目标检测等等。然而，在环境光较差的情况下，相机拍摄的图像总是呈现出低可见度和低对比度，这很大程度影响着机器在各种高级视觉任务上的性能。尽管可以通过使用更加专业的相机或者增加曝光时长来改善这种情况，但问题仍然不能得到有效的解决。因此，软件层面的低光图像处理变得尤其重要。
早期的方法主要通过调整图像的对比度来对图像进行增强，如直方图均衡，通过调整各灰度级的像素数量来扩大图像的对比度，从而实现对低光图像进行增强，但这些方法会增加背景噪声的对比度并且降低有用信号的对比度。Xiaojie Guo等人将Retinex 理论引入到低光图像增强中，他们取RGB图像三通道最大值作为初始照明图，再通过交替方向乘子法（ADMM）求解最佳照明，但这种方法仅考虑图像的照明因素，也没有考虑图像本身携带的噪声，因此生成的结果仍含有许多噪声和颜色偏差。
随着深度学习在各种视觉任务上的优异表现，大多数研究人员开始利用深度学习来解决低光图像增强问题。Chen Wei等人首次根据Retinex理论并使用卷积神经网络对低光图像进行增强，他们首先学习一个分解网络将低光图像分解为反射R和照明L，再通过照明增强网络对低光图像的照明分量L进行增强，最后对反射分量R进行去噪并与照明分量L相乘得到增强图像。之后，Chunle Guo等人提出一个Zero-DCE模型，将低光图像增强的过程视为像素不断迭代变大的过程，通过一系列的损失函数让模型学习这种放大过程的映射。然而，这些方法在增强过程并没有考虑噪声的影响，Chen Wei等人仅仅是对R进行一个去噪的后处理，Chunle Guo等人在放大像素的同时也会放大图像中的噪声，因此他们实际增强的图像并不理想。隐藏在低光图像中的噪声总会干扰图像的增强，尽管有许多工作尽尝试去除图像中的噪声，然而由于无法确定噪声的位置，因此这些去噪的方法通常也会损害图像中的有用信息。因此，提出一种针对噪声且尽可能减少对有用信息损害的图像增强方法是很有必要的。
发明内容
极暗环境下捕获的图像上的噪声会随着图像的增强过程而逐渐放大，且图像上不同区域的噪声模式不同，现有方法很难在增强过程中规避噪声的影响。因此本发明提供了一种基于照明幅度图的分区域增强方法减少了低光图像增强过程中噪声的影响。照明幅度图反应了低光图像增强为正常光图像各像素值所需放大的倍数，通过大量观察发现，照明幅度大的区域在增强的过程中受噪声影响也越大，可能原因在于照明幅度越大的区域的噪声将随区域的增强而被放得更大，或是这些区域很难学到正确的照明幅度值。因此我们根据照明幅度图的大小将图像分成两类区域，分别是增强过程中噪声会严重放大的区域和微弱放大的区域，再针对不同区域采用不同的增强网络，从而解决极暗图像增强受噪声影响的问题。如图1所示，本发明的技术方案如下：
步骤1：获取低光图像及相应的参考图像，对低光图像和参考图像做预处理并划分为训练集和测试集；
步骤2：使用卷积层和残差块搭建先验照明网络，并用训练集对网络进行训练，确保网络的参数在测试集上效果较好；
步骤3：将低光图像输入到预训练的先验照明网络得到照明幅度图，对照明幅度图归一化并计算照明幅度掩码；
步骤4：将低光图像输入到卷积层中提取图像特征，并将图像特征输入到残差网络分支计算增强过程中受噪声影响小的区域的增强特征；
步骤5：将步骤4中提取的图像特征输入到Transformer分支计算增强过程中受噪声影响大的区域的增强特征；
步骤6：使用归一化的照明幅度图对两个分支的特征进行融合，并通过残差网络重建图像，最后通过卷积层输出增强图像。
所述步骤1中配对数据（低光图像和参考图像）的获取方式：在环境光较差的情况下拍摄低光图像，并保持相机位置不变，在环境光好的情况下且相机内景物保持不变时拍摄相应的参考图像。
所述步骤1中数据预处理方式包括：从训练集上随机裁剪下256×256的图片，并对图片进行水平旋转。
根据Retinex理论可知图像I可分解为照明L和反射R，即，其中表示逐
元素相乘，且反射R为物体固有属性，不会随照明的改变而改变。因此可以知道，其中分别表示低光图像及其对应的参考图
像，分别表示低光图像和参考图像相应的照明分量。于是可以得到，其中为照明幅度，/表示逐元素相除，也即为了达
到正常环境下的照明效果，当前环境（低光环境）的照明应该放大的倍数。
所述步骤2的先验照明网络PLN如图2所示，先验照明网络用来获取低光图像的照明幅度图，其网络结构包括1层用于捕获图像特征的3×3的卷积层，5个连续的3×3的残差块用于捕获图像的照明信息和1层用于重建照明幅度图的3×3的卷积层。
使用测试集测试训练好的先验照明网络，可以观察到照明幅度图与低光图
像相乘得到的增强图像上有许多的噪声。我们猜测这些噪声可能来自低光图像
上本身的噪声，随着照明的增大而放大或者是模型学习到错误的照明幅度值从而产生噪
声。通过观察发现，照明幅度越大的区域噪声越严重，也即这些区域在增强的过程中噪声被
放大的最多或难以学习这些区域的照明幅度。因此我们使用照明幅度图作为我们的先验知
识，对图像分成照明幅度低的区域和照明幅度高的区域，这两类区域在增强过程中受噪声
影响的程度不一样，通过采取不同的网络对这两类区域进行针对性地增强。
所述步骤3的照明幅度掩码的获取包含以下步骤：
步骤3.1：加载预训练的先验照明网络参数；
步骤3.2：将低光图像输入到先验照明网络中计算得到照明幅度图，并对其使用最小最大值归一化；
步骤3.3：将照明幅度图分成大小为p×p的块，如p=4，计算每个块的均值；
步骤3.4：设置阈值α，如α=0.5，将均值小于α的块的值置为0，将大于等于α的块的值置为的1。
所述步骤4的图像特征输入到残差网络中包含以下步骤：
步骤4.1：将图像的特征输入再一次通过两层下采样卷积层进行下采样，此时特征
图的尺寸为原来的；
步骤4.2：将下采样特征通过残差网络获取深层特征；
步骤4.3：将深层特征通过两层上采样卷积层进行上采样，获取增强特征。
所述步骤5的图像特征输入到Transformer分支中包含以下步骤：
步骤5.1：将低光图像的特征分成大小为p×p的块，如p=4，并将其通过嵌入层获取块的嵌入向量；
步骤5.2：对嵌入向量添加位置编码，编码方式采取绝对位置编码，编码后的嵌入向量输入到Transformer block中；
步骤5.3：将含有位置信息的嵌入向量通过归一化层对嵌入维度进行归一化，再通
过三个全连接层获取Q，K，V矩阵，计算注意力矩阵，其中d为嵌入向量的维度，使用照
明幅度掩码对注意力矩阵进行“遮掩”，若照明幅度掩码的块的值为0，则将注意力矩阵上该
块与其他块的注意力值置为-1×10-9，否则保留原注意力的值，将修改后的注意力矩阵通过
softmax层并乘以V矩阵得到含有块间信息的加权信息块；
步骤5.4：对加权信息块再一次归一化并输入到全连接层中获取Transformerblock的输出；
步骤5.5：Transformer block的输出记录着这类区域的噪声信息和增强信息，将Transformer block的输出重组为特征图，并通过下/上采样卷积层进行下/上采样，再继续将其分成大小为p×p的块；
步骤5.6：重复步骤5.3-5.5，其中步骤5.3-5.4为Transformer block的计算流程，具体次序和上下采样操作的选择可看图1。
所述步骤6的特征融合通过进
行融合，针对增强过程中受噪声影响小的区域，使用残差网络分支获取这类区域的增强特
征LNA_fea，针对增强过程中受噪声影响大的区域，使用Transformer分支获取这类区域的
增强特征HNA_fea，并将归一化的照明幅度图作为mask来权衡这类特征的融合。
先验照明网络和低光图像增强网络均使用Charbonnier损失函数进行反向传播并
采用Adam优化器（），如无特别说明，所有卷积层之后均添加GeLU激活函
数。
该方法的有益效果在于：基于照明幅度图可以自适应的告诉模型低光图像上哪些区域在增强过程中受噪声的影响最大，哪些区域的影响最小。噪声影响不同的区域理应采取不同处理方法，对于噪声影响小的区域，使用简单的残差网络捕获低光图像的增强信息。二对于噪声影响大的区域，使用Transformer计算这些区域内部的噪声信息和增强信息，并通过配合下采样卷积来消除这些噪声信息对增强信息的干扰。这种分区域处理的方式使得最终增强的图像在阴暗处的噪声更少，模型泛化也更稳定。
附图说明
附图1为本发明所述的一种基于照明幅度图的低光图像增强方法的流程图。
附图2为预先训练的先验照明网络PLN的训练流程。
附图3为Transformer block的具体实现细节。
附图4为各种低光增强方法在数据集LOL中某图像上的视觉效。
附图5为各种低光增强方法在数据集LOL-Real中某图像上的视觉效果。
附图6为各种低光增强方法在数据集LOL-Synthetic中某图像上的视觉效果。
具体实施方式
下面详细说明本发明一种基于照明幅度图的低光图像增强方法的一个典型实施例，对该方法进行进一步的具体描述。有必要在此指出的是，以下实施例只用于该方法做进一步的说明，不能理解为对该方法保护范围的限制，该领域技术熟练人员根据上述该方法内容对该方法做出一些非本质的改进和调整，仍属于本发明的保护范围。
对于步骤1，我们直接使用数据集LOL，该数据集的训练集含有485对低光图像-参考图像，测试集含有15对配对数据，采用随机裁剪256×256，无水平旋转的预处理方式。
对于步骤2，需构建先验照明网络PLN，网络由1层3×3卷积核，通道数为64，步伐为1，填充为1的卷积层、5个残差块组成的残差网络及1层3×3卷积核，通道数为1，步伐为1，填充为1的卷积层及一条位于最后卷积层的输出与低光图像间的乘数连接组成。残差块由两层3×3卷积核，通道数为64，步伐为1，填充为1的卷积层及一条位于残差块输入和第二个卷积层输出间的残差连接。如无特别说明，除残差块第二个卷积层后无添加激活函数，其他所有卷积层后面均添加GeLU激活函数，后续不再重复说明。
给定输入低光图像，其维度应为，其中B表示训练使用的
batch size，3表示图像的通道数，后面两个维度分别表示图像的长和宽。通过第一层卷积
得到图像的特征，则该低光图像的照明幅度图为，其中表示由5个残差块组成的残差网络。
根据Retinex理论可知增强图像为。使用损失函数、Adam优化器（）进行网络训练。
对于步骤3，给定输入低光图像，将其输入到步骤2中预先训练好的先验照明
网络PLN，则可以直接获得该低光图像的照明幅度图，其维度应
该为。使用最小最大值归一化方法对照明幅度图进行归一化，可得。其中分别表示在整个通道
上所有像素中的最大值和最小值。接着将切分成大小为p×p的块，如p=4，此时维度为，其中4096表示块的数量，16表示块的
长度。计算每个块的均值，其中表示计算最后一维的均值，则的维度应该为。设置阈值α，如α=0.5，将均值小于α的块的值置为0，将大于等于α的块的值置
为的1，可得照明掩码，其维度应该为，取值为0或者1，若为0则表示相应
的块不参与计算，表征增强过程中受噪声影响小的区域，为1则表示相应的块参与计算，表
征增强过程中受噪声影响大的区域。
对于步骤4，低光图像首先通过1层卷积核为3×3，通道数为64，步伐和填充均
为1的卷积层得到图像特征，接着将图像的特征通过两层连续的
下采样卷积层，第一个下采样卷积层输出的通道数为64×2=128，卷积核为3×3，步伐为2，
填充为1，第二个下采样卷积层输出的通道数为128×2=256，卷积核为3×3，步伐为2，填充
为1，于是通过两次下采样后的特征为，接着将通过由5个残差块组成的残差网络，得到深度特征，再将通过两个连续的上采样卷积层
得到增强特征，为来这两卷积层输出的残差连接，其中该增强特征通过简单的残
差块处理获得，适用于学习受噪声影响小的区域的增强模式。
对于步骤5，首先将低光图像的特征切分成大小为p×p的块，如p=4，此
时的维度为，其中4096表示块的数量，
1024表示嵌入维度，再将通过嵌入层（也即全连接层，输出维度也是1024）得到各个
块的嵌入向量，采用绝对位置编码，为每个块添加上位置信息，可知，pos的维度与块的嵌入维度一致，的维度应该为。将通过三个全连接层得到Q,K,V矩阵，即，全连接层输出维度均为n_
head×64，则Q,K,V矩阵的维度应该均为。接着将Q,K,V输入到归
一化层中，对最后一维进行归一化，即，
再将归一化后Q,K,V矩阵沿着最后一维分成份，即，其中。再依次计算注意力矩阵，
其中d为Q最后一维的维度，根据照明掩码，若块标记为0，则将该块与其他块的注意
力置为0。再将修改后的注意力矩阵通过softmax层，对最后一维使用softmax函数，再乘
得到块间的加权信息。将份信息合并起来，并将合并的结果通过归一化层对最后
一维进行归一化，再通过全连接层输出各个块增强信息。
由于这些块所在区域在增强的过程中受噪声影响严重，因此使用下采样卷积层削
减噪声的干扰，再进入下采样卷积层之前需将各块重组为特征图，通过下采样后再继续分
成大小为4×4的块并输入到下一个Transformer block中。下一个Transformer block的输
入同样重组为新的特征图并通过下采样卷积层，然后继续分块，进入第三个Transformer
block，后续还需依次通过两组上采样卷积层和Transformer block，如图1所示，最终输出
受噪声影响严重的区域的增强特征。
对于步骤6，使用归一化后的照明幅度图作为mask，通过对两个区域处理的特征进行融合，得到
最终的增强特征，再将该增强特征通过5个残差块组成的残差网络进行重建，
最后通过一个卷积核为3×3，输出通道数为3，步伐和填充为1的卷积层输出增强图像，则增
强的图像为。
使用损失函数、Adam优化器（）对低光图像网络进行训练。
使用测试集对训练好的低光图像增强网络进行测试，尽可能让模型的参数确保测试效果较好。
将所提出的方法在数据集LOL，LOL-Real，LOL-Synthetic上进行了测试，并与其他方法进行了比较，使用Peak Signal-to-Noise Ratio (PSNR) and StructuralSimilarity Index (SSIM)作为比较的指标，PSNR用来衡量图像的生成质量，越大说明图像的质量越好。SSIM用来衡量图像与目标图像之间的结构相似性，越大说明相似度越高，比较结果如下表一：
| 方法 | PSNR | SSIM | PSNR | SSIM | PSNR | SSIM |
| LIME [4] | 16.76 | 0.560 | 15.24 | 0.47 | 16.88 | 0.776 |
| RetinexNet [8] | 14.99 | 0.508 | 15.55 | 0.612 | 17.34 | 0.679 |
| Zero-DCE [5] | 16.02 | 0.510 | 12.92 | 0.442 | 17.00 | 0.806 |
| EnlightenGAN [34] | 17.48 | 0.650 | 18.23 | 0.617 | 16.57 | 0.734 |
| Kind [12] | 20.86 | 0.790 | 14.74 | 0.641 | 13.29 | 0.578 |
| UTVNet [33] | 20.97 | 0.766 | 19.48 | 0.753 | 21.45 | 0.893 |
| IEDCN [10] | 20.33 | 0.803 | 19.35 | 0.808 | 16.18 | 0.743 |
| DeepUPE [35] | 14.38 | 0.446 | 13.27 | 0.452 | 15.08 | 0.623 |
| DeepLPF [36] | 15.28 | 0.473 | 14.10 | 0.480 | 16.02 | 0.587 |
| RUAS [15] | 18.23 | 0.720 | 18.37 | 0.723 | 16.55 | 0.652 |
| FIDE [37] | 18.27 | 0.665 | 16.85 | 0.678 | 15.20 | 0.612 |
| SCI [32] | 17.72 | 0.515 | 16.30 | 0.496 | 15.02 | 0.761 |
| 我们 | 23.05 | 0.818 | 19.59 | 0.779 | 22.08 | 0.897 |
从表中可以看出，我们的方法超过了许多的低光图像增强的方法。图片4-6依次展示了各种方法在数据集LOL，LOL-Real，LOL-Synthetic上的视觉效果。从图4-5中可以看出，我们的方法对于极暗区域产生的噪声更少，图像更光滑。从图6中可以看出我们的方法能更好地保留背景细节，如天空中的纹理和远处的背景。
Claims (9)
1.一种基于照明幅度图的低光图像增强方法，其特征在于，包括以下步骤：
步骤1：获取低光图像及相应的参考图像，对低光图像和参考图像做预处理并划分为训练集和测试集；
步骤2：使用卷积层和残差块搭建先验照明网络，并用训练集对网络进行训练，确保网络的参数在测试集上效果较好；
步骤3：将低光图像输入到预训练的先验照明网络得到照明幅度图，对照明幅度图归一化并计算照明幅度掩码；
步骤4：将低光图像输入到卷积层中提取图像特征，并将图像特征输入到残差网络分支计算增强过程中受噪声影响小的区域的增强特征；
步骤5：将步骤4中提取的图像特征输入到Transformer分支计算增强过程中受噪声影响大的区域的增强特征；
步骤6：使用归一化的照明幅度图对两个分支的特征进行融合，并通过残差网络重建图像，最后通过卷积层输出增强图像。
2.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，所述步骤1中配对数据（低光图像和参考图像）的获取方式：在环境光较差的情况下拍摄低光图像，并保持相机位置不变，在环境光好的情况下且相机内景物保持不变时拍摄相应的参考图像。
3.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，所述步骤1中数据预处理方式包括：从训练集上随机裁剪下256×256的图片，并对图片进行水平旋转。
4.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，所述步骤2的先验照明网络包括1层用于捕获图像特征的3×3的卷积层，5个连续的3×3的残差块用于捕获图像的照明信息和1层用于重建照明幅度图的3×3的卷积层，照明幅度图反应低光图像增强时各像素所需放大的倍数。
5.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，所述步骤3的照明幅度掩码的获取包含以下步骤：
步骤3.1：加载预训练的先验照明网络参数；
步骤3.2：将低光图像输入到先验照明网络中计算得到照明幅度图，并对其使用最小最大值归一化；
步骤3.3：将照明幅度图分成大小为p×p的块，如p=4，计算每个块的均值；
步骤3.4：设置阈值α，如α=0.5，将均值小于α的块的值置为0，将大于等于α的块的值置为的1。
6.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，所述步骤4的图像特征输入到残差网络中包含以下步骤：
步骤4.1：将图像的特征输入再一次通过两层下采样卷积层进行下采样，此时特征图的尺寸为原来的；
步骤4.2：将下采样特征通过残差网络获取深层特征；
步骤4.3：将深层特征通过两层上采样卷积层进行上采样，获取增强特征。
7.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，所述步骤5的图像特征输入到Transformer分支中包含以下步骤：
步骤5.1：将低光图像的特征分成大小为p×p的块，如p=4，并将其通过嵌入层获取块的嵌入向量；
步骤5.2：对嵌入向量添加位置编码，编码方式采取绝对位置编码，编码后的嵌入向量输入到Transformer block中；
步骤5.3：将含有位置信息的嵌入向量通过归一化层对嵌入维度进行归一化，再通过三个全连接层获取Q，K，V矩阵，计算注意力矩阵，其中d为嵌入向量的维度，使用照明幅度掩码对注意力矩阵进行“遮掩”，若照明幅度掩码的块的值为0，则将注意力矩阵上该块与其他块的注意力值置为-1×10-9，否则保留原注意力的值，将修改后的注意力矩阵通过softmax层并乘以V矩阵得到含有块间信息的加权信息块；
步骤5.4：对加权信息块再一次归一化并输入到全连接层中获取Transformer block的输出；
步骤5.5：Transformer block的输出记录着这类区域的噪声信息和增强信息，将Transformer block的输出重组为特征图，并通过下/上采样卷积层进行下/上采样，再继续将其分成大小为p×p的块；
步骤5.6：重复步骤5.3-5.5，其中步骤5.3-5.4为Transformer block的计算流程，具体次序和上下采样操作的选择可看图1。
8.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，所述步骤6的特征融合通过进行融合，针对增强过程中受噪声影响小的区域，使用残差网络分支获取这类区域的增强特征LNA_fea，针对增强过程中受噪声影响大的区域，使用Transformer分支获取这类区域的增强特征HNA_fea，并将归一化的照明幅度图作为mask来权衡这类特征的融合。
9.根据权利要求1所述的一种基于照明幅度图的低光图像增强方法，其特征在于，先验照明网络和低光图像增强网络均使用Charbonnier损失函数进行反向传播并采样Adam优化器（），如无特别说明，所有卷积层之后都添加GeLU激活函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311397230.1A CN117392036A (zh) | 2023-10-26 | 2023-10-26 | 基于照明幅度的低光图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311397230.1A CN117392036A (zh) | 2023-10-26 | 2023-10-26 | 基于照明幅度的低光图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117392036A true CN117392036A (zh) | 2024-01-12 |
Family
ID=89435565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311397230.1A Pending CN117392036A (zh) | 2023-10-26 | 2023-10-26 | 基于照明幅度的低光图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117392036A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117893413A (zh) * | 2024-03-15 | 2024-04-16 | 博创联动科技股份有限公司 | 基于图像增强的车载终端人机交互方法 |
-
2023
- 2023-10-26 CN CN202311397230.1A patent/CN117392036A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117893413A (zh) * | 2024-03-15 | 2024-04-16 | 博创联动科技股份有限公司 | 基于图像增强的车载终端人机交互方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112288658B (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
| CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| CN111260591B (zh) | 一种基于注意力机制的图像自适应去噪方法 | |
| CN111210395B (zh) | 基于灰度值映射的Retinex水下图像增强方法 | |
| Wang et al. | MAGAN: Unsupervised low-light image enhancement guided by mixed-attention | |
| CN111709888B (zh) | 一种基于改进的生成对抗网络的航拍图像去雾方法 | |
| CN112541877A (zh) | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 | |
| CN117392036A (zh) | 基于照明幅度的低光图像增强方法 | |
| CN113450290A (zh) | 基于图像修补技术的低照度图像增强方法及系统 | |
| CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
| CN113191983A (zh) | 一种基于深度学习注意力机制的图像去噪方法及装置 | |
| CN113284061A (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
| CN115984979A (zh) | 一种面向未知对抗攻击的人脸伪造识别方法及装置 | |
| CN116309178A (zh) | 一种基于自适应注意力机制网络的可见光图像去噪方法 | |
| CN115965544A (zh) | 自适应亮度调节的图像增强方法及系统 | |
| CN115131229A (zh) | 图像降噪、滤波数据处理方法、装置和计算机设备 | |
| CN114581318A (zh) | 一种低照明度图像增强方法及系统 | |
| CN112819705B (zh) | 一种基于网状结构与长距离相关性的真实图像去噪方法 | |
| Wali et al. | Recent Progress in Digital Image Restoration Techniques: A Review | |
| US20240054605A1 (en) | Methods and systems for wavelet domain-based normalizing flow super-resolution image reconstruction | |
| CN116862809A (zh) | 一种低曝光条件下的图像增强方法 | |
| CN115358952B (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| Yang et al. | Mixed noise removal by residual learning of deep cnn | |
| CN116229081A (zh) | 基于注意力机制的无人机全景图像去噪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |