CN113313657B - 一种用于低光照图像增强的非监督学习方法和系统 - Google Patents
一种用于低光照图像增强的非监督学习方法和系统 Download PDFInfo
- Publication number
- CN113313657B CN113313657B CN202110864974.4A CN202110864974A CN113313657B CN 113313657 B CN113313657 B CN 113313657B CN 202110864974 A CN202110864974 A CN 202110864974A CN 113313657 B CN113313657 B CN 113313657B
- Authority
- CN
- China
- Prior art keywords
- image
- sampling
- low
- network
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 230000002708 enhancing effect Effects 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims description 56
- 238000006243 chemical reaction Methods 0.000 claims description 37
- 238000010586 diagram Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000009466 transformation Effects 0.000 description 6
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 4
- 235000011941 Tilia x europaea Nutrition 0.000 description 4
- 239000004571 lime Substances 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本发明公开了一种用于低光照图像增强的非监督学习方法和系统，属于低光照图像增强领域。针对监督数据数量少且获取困难的问题，本发明首先构建非配对样本的训练集，其次考虑图像的亮度和语义信息构建生成对抗网络的生成器和判别器，将训练集中的低光照图像输入生成器中，得到增强后的图像输入辨别器中，对输入图像的真伪进行辨别；通过最小化损失函数更新优化网络参数，得到训练完成的模型；最后使用训练后的生成对抗网络对待处理的低光照图像进行增强，得到增强图像。该方法能够通过基于输入图像的亮度和语义分割信息来正则化不成对的训练，减少由于缺少监督信息导致的模型效果差的问题，本发明还能解决图像增强后的过曝和颜色分布不均匀问题。
Description
技术领域
本发明属于低光照图像增强领域，涉及一种用于低光照图像增强的非监督学习方法和系统，能够广泛适用于各种需要提高图像或视频的亮度以提高能见度的低光照场景。
背景技术
随着摄影技术的发展，图像质量在分辨率和清晰度方面都有很大提高。然而，由于不可避免的环境或技术限制，在非均匀照明环境下拍摄的图像依然会受到低光照条件的影响，造成低可见度。而低光照环境下的图像是很多场景中重要的分析数据，因此夜间监控视频/图像的增强处理是充分实现视频监控系统效力最大化的关键，也是在夜间应用基于计算机视觉算法的智能系统的前提。
目前，低光照图像增强方法主要分为三类：直方图均衡化方法、基于retinex理论方法，基于学习的方法。直方图均衡化方法是通过对图像进行非线性拉伸，重新分布图像的像素值来实现亮度增强。该方法运算快速且稳定。但是该方法及后续的以专利《基于改进的直方图均衡化低照度图像增强算法》（CN2016109766744）为代表的改进方法中存在色彩恢复不佳、曝光过度等问题。基于Retinex理论的方法是假设低光照图像可以分解为照度图像和反射图像两部分，通过估计照度图像以达到提高亮度的目的。现有的单尺度（SSR）和多尺度（MSR）retinex算法以及改进方法虽然能够有效提升亮度，但照度图像估计模型往往是根据经验建立的，需要复杂的参数调整，增强结果往往存在颜色偏差问题。基于学习的方法是从大量图像中学习低光照图像到正常光图像的映射以实现图像增强。目前，大部分基于学习的算法是有监督的，然而监督数据集制作困难，并且监督学习训练过程存在如何选择最优参考图像和如何保证模型不过度依赖监督训练集的两大问题，这导致该方法泛化能力差。
非监督学习能够从不成对的训练数据中学习低光照图像到正常光图像的映射，是最具前景的方法之一。基于非监督学习的方法在不依赖于精准匹配的监督数据集的情况下进行训练，避免了监督数据集带来的弊端，可以更好地推广到各种真实世界的场景。但是该方法因为缺少监督信息，而对算法建模提出更高的要求。在现有方法中，《EnlightenGANDeep Light Enhancement without Paired Supervision》设计的Enlightengan方法提出了一种高效无监督的生成对抗网络，该方法利用生成对抗网络学习从一组低光照图像到一组正常光图像（非成对数据）的映射。该方法可以非常容易地应用于各种真实世界的场景，并且增强的图像亮度明显提升。然而，该方法由于缺少对图像中相邻区域相关性的考虑，在结果中存在颜色分布不均匀和噪声过多问题。另外，该方法在某些光照不均匀的情况下存在过度曝光问题。《Zero-Reference Deep Curve Estimation for Low-Light ImageEnhancement》设计的Zero-DCE方法在训练期间只需要低光照图像，并通过一组精心制定的非参考损失函数实现低光照图像增强。该方法运算速度快，但是该方法损失函数设计的假设过强，增强结果中很容易出现颜色恢复不佳和曝光不足问题。
发明内容
本发明提出了一种用于低光照图像增强的非监督学习方法和系统，
本发明的技术方案如下：
本发明首先提供了一种用于低光照图像增强的非监督学习方法，其包括如下步骤：
1）构建非配对样本的训练集，训练集包括低光照图像和正常光照图像两部分；
2）考虑图像的亮度和语义信息构建生成对抗网络的生成器和判别器；
所述生成器包括下采样环节和上采样环节，下采样环节包括N个下采样阶段，上采样环节包括与各上采样阶段对应的N个上采样阶段；第N个下采样阶段的特征图通过中间连接模块传递到第1个上采样阶段；
在每个下采样阶段，采用两个卷积层对特征进行提取，提取的特征图一路经空间特征转换模块进行空间特征转换，然后采用最大池化层对空间特征转换后的特征图进行下采样，并输出至后续阶段；提取的特征图另一路与对应尺寸的可学习的亮度自正则注意力图相乘，然后将其与上采样环节前一阶段的高层特征连接，作为对应的上采样阶段的输入；
在每个上采样阶段，首先通过两个卷积层对输入特征进行提取，然后经空间特征转换模块进行空间特征转换，再对转换后的特征图进行上采样，并输出至下一阶段；
上采样环节之后，经过全卷积模块输出残差图像，将残差图像与注意力图逐像素点乘，并通过跳层连接与输入图像相加，得到最终的增强结果；
3）将训练集中的低光照图像输入生成器中，得到增强后的图像，将增强后的图像与训练集中正常光照图像输入辨别器中，对输入图像的真伪进行辨别；然后通过最小化损失函数更新优化生成对抗网络参数，得到训练完成的生成对抗网络；
4）使用训练后的生成对抗网络对待处理的低光照图像进行增强，得到增强图像。
进一步的，所述空间特征转换模利用提前获取的低光照图像的语义分割概率图，经过条件转换模块生成条件特征图，将条件特征图经过两个独立的调制模块，生成一对适应输入特征图尺寸的调制参数a和b；
在空间特征转换时，空间特征转换模块以调制参数a和b作为空间特征转换条件，将参数a与空间特征转换模块的输入特征相乘后与b相加，得到最终的空间特征调制模块的输出。
进一步的，所述的条件转换模块是一个包含5个卷积层的全卷积网络，条件转换模块生成32通道的条件特征图；所述的两个独立的调制模块的结构相同，都包含一个后接LeakyReLU的卷积层和一个全卷积层。
进一步的，所述的可学习的亮度自正则注意力图如下式所示；
其中V代表输入图像的灰度图，通过将输入的RGB三通道图像转化为一通道的灰度图，然后将其标准化为[0，1]获得，α代表控制注意力图曲率的参数。参数α是可学习参数，在训练开始阶段将参数α初始化为1，并将其requires_grad属性设置为True，连同网络模型一起训练并保存参数值，以实现自动学习网络最优亮度注意力图。在模型训练阶段，随着网络模型参数的变化，优化参数α，形成对亮度信息的非线性变换，获得更符合低光照图像增强问题的注意力图，减少过度曝光的风险。
进一步的，步骤2）中，所述提取的特征图另一路与对应尺寸的可学习的亮度自正则注意力图相乘，具体为：可学习的亮度自正则注意力图利用最大池化缩放到目标尺寸，再和生成器指定隐藏层输出的特征图相乘。
在本发明的优选方案中，所述的判别器包括全局判别器和局部判别器；
全局判别器是由7个卷积层组成的全卷积网络，以生成器输出的增强图像和正常光照图像的整幅图像作为输入，输出通道数为1的判别结果，用于从全局角度判断输入图像来自于正常光照图像还是生成器增强结果；
局部判别器由6个卷积层组成的全卷积网络，以生成器输出的增强图像和正常光照图像的局部图像块作为输入，输出通道数为1的判别结果，用于从局部角度判断输入图像来自于正常光照图还是生成器增强结果。
本发明还公开了一种用于低光照图像增强的非监督学习系统，该系统包括存储单元和处理单元，所述存储单元中存储可在所述处理单元上运行的计算机程序；所述处理单元执行所述计算机程序时实现上述任一项所述的用于低光照图像增强的非监督学习方法。
本发明能够通过基于输入图像的亮度和语义分割信息来正则化不成对的训练，减少由于缺少监督信息导致的模型效果差的问题，能够广泛适用于各种需要提高图像或视频的亮度以提高能见度的低光照场景。该发明是包含曝光控制，空间特征转换，网络模型的构建和训练方法在内的一整套建模方法，能够有效提高低光照图像的亮度的同时，控制过度曝光和颜色分布不均匀问题。
附图说明
图1为本发明生成器网络结构图；
图2为本发明判别器网络结构图；
图3为本发明低光照图像增强方法流程示意图；
图4 为 各方法增强后图像对比示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
为了减少监督数据数量少且获取困难的问题，本发明设计了一种用于低光照图像增强的非监督学习方法和系统，该方法能够利用非监督数据训练模型；同时该方法能够通过基于输入图像的亮度和语义分割信息来正则化不成对的训练，从而减少由于缺少监督信息导致的模型效果差的问题；另外该方法通过设计的曝光控制算法和空间特征转换模块解决图像增强后的过曝和颜色分布不均匀问题。
本发明解决其技术问题所采用的技术方案是：
1)构建非配对样本的训练集，分为低光照图像
和正常光照图像
两部
分；
2)考虑图像的亮度和语义信息构建生成对抗网络的生成器和判别器；
所述生成器包括下采样环节和上采样环节，下采样环节包括N个下采样阶段，上采样环节包括与各上采样阶段对应的N个上采样阶段；第N个下采样阶段的特征图通过中间连接模块传递到第1个上采样阶段；
在每个下采样阶段，采用两个卷积层对特征进行提取，提取的特征图一路经空间特征转换模块进行空间特征转换，然后采用最大池化层对空间特征转换后的特征图进行下采样，并输出至后续阶段；提取的特征图另一路与对应尺寸的可学习的亮度自正则注意力图相乘，然后将其与上采样环节前一阶段的高层特征连接，作为对应的上采样阶段的输入；
在每个上采样阶段，首先通过两个卷积层对输入特征进行提取，然后经空间特征转换模块进行空间特征转换，再对转换后的特征图进行上采样，并输出至下一阶段；
上采样环节之后，经过全卷积模块输出残差图像，将残差图像与注意力图逐像素点乘，并通过跳层连接与输入图像相加，得到最终的增强结果；
3)将
输入生成器（G）中，得到增强后的图像
，将
与正常光照图像
输入辨别器(D)中，对输入图像的真伪进行辨别；然后通过最小化损失函数更新优
化网络参数，得到训练完成的模型；
4)使用训练后的生成对抗网络对待处理的低光照图像进行增强，得到增强图像。
以下对本发明的生成对抗网络模型、可学习的亮度自正则注意力图、空间特征转换模块三块内容进行详细阐述。
一、用于低光照图像增强的生成对抗网络模型
如图1和2所示，生成对抗网络属于非监督学习的一种，由两部分组成，一个是生成
器（G），用来学习从低光照图像分布（X）到正常光图像分布（Y）的映射，即为G：X->Y。另一个
是判别器（D），用来尽可能好的检测出生成器（G）产生的“赝品”（
）。
本发明所提出的模型中，生成器（G）的网络结构如图1所示，该网络由4对上下采样模块、一个中间连接模块、一个全卷积模块和跳层连接的U型网络组成。该生成器由本发明中提出的注意力图和空间调制模块提供强有力的监督信息。在4个下采样阶段中，首先采用两个卷积层对特征进行提取，其中卷积核的大小均设置为3×3，然后采用最大池化层对特征图进行下采样，特征图尺寸被下采样2倍，获得不同深度不同视野的特征。在4个上采样阶段中，同样包括两个卷积核大小为3×3的卷积层，在阶段结束时对特征进行2倍双线性上采样，以逐渐恢复图像尺寸。中间连接模块是为了将第4个下采样阶段的特征图传递到上采样阶段，首先通过两个卷积核大小为3×3的卷积层对特征进行提取，然后对特征进行2倍上采样，最后将特征图传递到第一个上采样阶段。在跳层连接阶段中，本发明将浅层特征与调整大小后的注意力图相乘引导网络更多关注暗区域，然后将其与高层特征按通道连接，作为后续网络输入。为了实现包含更丰富和更真实的纹理的增强结果，本发明在每个下采样模块中的最大池化层之前和每个上采样模块中的双线性上采样之前都进行了空间特征变换。最后经过1个卷积核尺寸为3×3的全卷积模块进一步提高特征的表达能力，输出通道数为3的残差图像，与此同时，本发明将残差图像与注意力图逐像素点乘，并通过跳层连接与输入图像相加，得到最终的增强结果。
本发明中的判别器网络结构如图2所示，包括两个判别器：全局判别器Dg和局部判
别器Dl。全局判别器是由7个卷积层组成的全卷积网络，以生成器输出的增强图像（
）和
正常光照图像（
）的整幅图像作为输入，输出通道数为1的判别结果，用于从全局角
度判断输入图像来自于正常光照图像(
)还是生成器增强结果（
）。局部判别器
与其相似，是由6个卷积层组成的全卷积网络，以生成器输出的增强图像（
）和正常光照
图像（
）的局部图像块作为输入，输出通道数为1的判别结果，用于从局部角度判断
输入图像来自于正常光照图像(
)还是生成器增强结果（
）。
接下来分别定义本发明中生成器和判别器用于更新优化网络参数的损失函数。本发明的生成器损失函数定义如下：
其中，
和
是生成器全局对抗损失和局部对抗损失；
代表内容损失；
、
和
分别是上述损失函数的权重。这些损失函数公式如（2）-（4）所示。
其中
为全局判别器，E（∙）为求均值运算，P real 为真实自然光图像数据分布，P fake
为网络生成图像数据分布，x r 和x f 为对应数据分布中的样本；
其中
为局部判别器，P fake_patch 为网络生成图像块数据分布，在本实施例中，图像
块的大小为32×32。
其中，W,H分别表示特征图的宽和高，
代表预训练的VGG-16模型第5个最大池
化层后第一个卷积层的输出。I表示输入图像，R表示网络生成图像。
判别器损失函数公式如（5）所示
其中
和
分别代表全局对抗损失和局部对抗损失，
和
分别为相应
损失函数的权重，他们的定义分别如式（6）-（7）所示：
其中
为全局判别器网络输出，
为局部判别器网络输出，P real_patch 为真实自然
光图像块数据分布。
二、可学习的亮度自正则注意力图
在低光照图像增强过程中，我们总是希望增强暗区域多于亮区域，这样既能保证暗区域的信息更易被察觉，又能够保留亮区域的细节不因过度增强而消失。因此在本发明所提出的生成器模型中，设计了自正则注意力图，利用最大池化缩放到目标尺寸，用于和生成器指定隐藏层输出的特征图相乘（具体位置参见图1），以引导网络增加对暗区域图像块的关注。具体方法参照Enlightengan，本发明首先将输入的RGB三通道图像转化为一通道的灰度图V，然后将其标准化为[0，1]，以实现后续注意力图与网络结构的融合，最后使用1-V作为自正则注意力图。在此基础上，为了更灵活的实现曝光控制，本发明设计了一种可学习的亮度自正则注意力图，能够实现更有效的曝光控制，公式如（8）所示。
其中V代表输入图像的灰度图，α代表控制注意力图曲率的参数。参数α是可学习参数，在训练开始阶段将参数α初始化为1，并将其requires_grad属性设置为True，连同网络模型一起训练并保存参数值，以实现自动学习网络最优亮度注意力图。在模型训练阶段，随着网络模型参数的变化，优化参数α，形成对亮度信息的非线性变换，获得更符合低光照图像增强问题的注意力图，减少过度曝光的风险。
三、空间特征转换模块
本发明以分割网络获得的语义分割信息作为先验条件，提出空间特征调制模块，如图1中突出显示区域所示，用于生成器指定隐藏层输出的特征图应用仿射变换（具体位置参见图1），实现具有丰富语义区域的明亮图像的重建。本发明首先利用提前获取的低光照图像的语义分割概率图，经过条件转换模块生成32通道的条件特征图，其中条件转换模块是一个包含5个卷积层的全卷积网络。然后将条件特征图经过两个独立的小型调制模块，生成一对适应输入特征图尺寸的调制参数a和b。两个调制模块的结构相同，都包含一个后接LeakyReLU的卷积层和一个全卷积层。最后本发明以调制参数a和b作为空间特征转换条件，将参数a与空间特征转换模块的输入特征相乘后与b相加，得到最终的空间特征调制模块的输出。本发明中的空间特征转换模块将额外的图像先验信息（语义分割图）有效的结合到网络中，提升网络表达能力，恢复出与所属语义类别特征一致的纹理，减少噪声以及由于光照不均导致的增强图像中色块不均的现象。
以下结合实施例对本发明进行阐述。如图3所示，本发明按如下流程对本发明的用于低光照图像增强的非监督学习方法进行实施，步骤如下：
步骤一：通过网络爬虫手段从互联网图像搜索引擎爬取1000张低光照图像和1000张正常光照图像作为训练集。
步骤二：对于训练数据集中每一张低光照图像I，提取其对应的亮度和语义信息，利用本发明中的可学习的亮度自正则注意力图和空间特征转换模块得到亮度注意力图和调制参数a、b。
步骤三：基于步骤二中的亮度注意力图和调制参数建立生成器模型。与此同时建立全局判别器和局部判别器。
步骤四：按照损失函数公式分别构建生成器损失函数和判别器损失函数。
步骤五：本发明利用Adam优化器对模型进行训练，并设置batchsize为16，学习率为1×10-4。整个训练过程共200轮。
步骤六：在模型训练完毕后，本发明使用训练好的生成器（G）去增强验证集中的所有图像，并分别统计各个数据集的平均NIQE指标，最后与对比方法做比较。其中，测试集上的NIQE越低代表模型图像增强能力越好。
本实验将本发明提出的模型在MEF、LIME、NPE、DICM 四个公开真实自然低光照数据集上与6种当前先进方法进行对比，其中包含了3种传统方法LIME、NPE、SRIE以及3种深度学习方法RetinexNet、EnlightenGAN和ZeroDCE。实验采用无参考图像评价指标-NIQE来测试算法性能。NIQE越小，说明图像越自然，越接近于正常光图像分布。表1展示了所有方法的NIQE指标,从结果可以看出，本发明提出的模型在所有数据集上的指标均优于其他几种先进方法，验证了本发明所提出模型的有效性。如图4所示，本发明所提出模型增强后的图像可以在保留固有颜色和细节的同时提升低光照图像亮度，另外，在曝光控制、噪声抑制和色块均匀等方面都有不同程度的优势。
表1 模型增强后图像性能对比
| 方法\数据集 | MEF | LIME | NPE | DICM |
| Input | 4.265 | 4.438 | 4.319 | 4.255 |
| SRIE | 3.475 | 3.788 | 3.986 | 3.899 |
| LIME | 3.720 | 4.155 | 4.268 | 3.846 |
| NPE | 3.524 | 3.905 | 3.953 | 3.760 |
| RetinexNet | 4.149 | 4.420 | 4.485 | 4.200 |
| EnlightenGAN | 3.232 | 3.719 | 4.113 | 3.570 |
| ZeroDCE | 3.871 | 3.778 | 3.931 | 3.871 |
| 本发明模型 | 2.979 | 3.706 | 3.725 | 3.411 |
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
需要说明的是，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (7)
1.一种用于低光照图像增强的非监督学习方法，其特征在于包括如下步骤：
1）构建非配对样本的训练集，训练集包括低光照图像和正常光照图像两部分；
2）考虑图像的亮度和语义信息构建生成对抗网络的生成器和判别器；
所述生成器包括下采样环节和上采样环节，下采样环节包括N个下采样阶段，上采样环节包括与各上采样阶段对应的N个上采样阶段；第N个下采样阶段的特征图通过中间连接模块传递到第1个上采样阶段；
在每个下采样阶段，采用两个卷积层对特征进行提取，提取的特征图一路经空间特征转换模块进行空间特征转换，然后采用最大池化层对空间特征转换后的特征图进行下采样，并输出至后续阶段；提取的特征图另一路与对应尺寸的可学习的亮度自正则注意力图相乘，然后将其与上采样环节前一阶段的高层特征连接，作为对应的上采样阶段的输入；
所述的可学习的亮度自正则注意力图如下式所示；
其中V代表输入图像的灰度图，通过将输入的RGB三通道图像转化为一通道的灰度图，然后将其标准化为[0，1]获得，α代表控制注意力图曲率的参数；参数α是可学习参数，在训练开始阶段将参数α初始化为1，并将其requires_grad属性设置为True，连同生成对抗网络模型一起训练并保存参数值，以实现自动学习网络最优亮度注意力图；
在每个上采样阶段，首先通过两个卷积层对输入特征进行提取，然后经空间特征转换模块进行空间特征转换，再对转换后的特征图进行上采样，并输出至下一阶段；
上采样环节之后，经过全卷积模块输出残差图像，将残差图像与注意力图逐像素点乘，并通过跳层连接与输入图像相加，得到最终的增强结果；
所述空间特征转换模利用提前获取的低光照图像的语义分割概率图，经过条件转换模块生成条件特征图，将条件特征图经过两个独立的调制模块，生成一对适应输入特征图尺寸的调制参数a和b；
在空间特征转换时，空间特征转换模块以调制参数a和b作为空间特征转换条件，将参数a与空间特征转换模块的输入特征相乘后与b相加，得到最终的空间特征调制模块的输出；
所述的条件转换模块是一个包含5个卷积层的全卷积网络，条件转换模块生成32通道的条件特征图；
所述的两个独立的调制模块的结构相同，都包含一个后接LeakyReLU的卷积层和一个全卷积层；
3）将训练集中的低光照图像输入生成器中，得到增强后的图像，将增强后的图像与训练集中正常光照图像输入辨别器中，对输入图像的真伪进行辨别；然后通过最小化损失函数更新优化生成对抗网络参数，得到训练完成的生成对抗网络；
4）使用训练后的生成对抗网络对待处理的低光照图像进行增强，得到增强图像。
2.根据权利要求1所述的用于低光照图像增强的非监督学习方法，其特征在于，步骤2）中，所述提取的特征图另一路与对应尺寸的可学习的亮度自正则注意力图相乘，具体为：可学习的亮度自正则注意力图利用最大池化缩放到目标尺寸，再和生成器指定隐藏层输出的特征图相乘。
3.根据权利要求1所述的用于低光照图像增强的非监督学习方法，其特征在于，上采样阶段两个卷积层的卷积核的大小均设置为3×3；下采样阶段两个卷积层的卷积核的大小均设置为3×3；所述的N为4，上采样和下采样的倍数均为2倍。
4.根据权利要求1所述的用于低光照图像增强的非监督学习方法，其特征在于，输出残差图像的全卷积模块，其卷积核尺寸为3×3，其输出通道数为3的残差图像。
5.根据权利要求1所述的用于低光照图像增强的非监督学习方法，其特征在于所述的判别器包括全局判别器和局部判别器；
全局判别器是由7个卷积层组成的全卷积网络，以生成器输出的增强图像和正常光照图像的整幅图像作为输入，输出通道数为1的判别结果，用于从全局角度判断输入图像来自于正常光照图像还是生成器增强结果；
局部判别器由6个卷积层组成的全卷积网络，以生成器输出的增强图像和正常光照图像的局部图像块作为输入，输出通道数为1的判别结果，用于从局部角度判断输入图像来自于正常光照图还是生成器增强结果。
6.根据权利要求1所述的用于低光照图像增强的非监督学习方法，其特征在于所述生成器的损失函数定义如下：
其中，
和
是生成器全局对抗损失和局部对抗损失；
代表内容损失；
、
和
分别是上述损失函数的权重；
其中，
为全局判别器，E（∙）为求均值运算，P real 为真实自然光图像数据分布，P fake 为
网络生成图像数据分布，x r 和x f 为对应数据分布中的样本；
其中，
为局部判别器，P fake_patch 为网络生成图像块数据分布；
其中，W,H分别表示特征图的宽和高，
代表预训练的VGG-16模型第5个最大池化层
后第一个卷积层的输出，I表示输入图像，R表示网络生成图像；
判别器损失函数公式如（5）所示
其中
和
分别代表全局对抗损失和局部对抗损失，
和
分别为相应损失函
数的权重，定义分别如式（6-7）所示：
其中
为全局判别器网络输出，
为局部判别器网络输出，P real_patch 为真实自然光图
像块数据分布。
7.一种用于低光照图像增强的非监督学习系统，其特征在于，该系统包括存储单元和处理单元，所述存储单元中存储可在所述处理单元上运行的计算机程序；所述处理单元执行所述计算机程序时实现如权利要求1-6任一项所述的用于低光照图像增强的非监督学习方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110864974.4A CN113313657B (zh) | 2021-07-29 | 2021-07-29 | 一种用于低光照图像增强的非监督学习方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110864974.4A CN113313657B (zh) | 2021-07-29 | 2021-07-29 | 一种用于低光照图像增强的非监督学习方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113313657A CN113313657A (zh) | 2021-08-27 |
| CN113313657B true CN113313657B (zh) | 2021-12-21 |
Family
ID=77382063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110864974.4A Active CN113313657B (zh) | 2021-07-29 | 2021-07-29 | 一种用于低光照图像增强的非监督学习方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113313657B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744169A (zh) * | 2021-09-07 | 2021-12-03 | 讯飞智元信息科技有限公司 | 图像增强方法、装置、电子设备和存储介质 |
| CN113902915A (zh) * | 2021-10-12 | 2022-01-07 | 江苏大学 | 一种基于低光照复杂道路场景下的语义分割方法及系统 |
| CN114065838B (zh) * | 2021-10-22 | 2023-07-14 | 中国科学院深圳先进技术研究院 | 一种低光照障碍物检测方法、系统、终端以及存储介质 |
| CN114926348B (zh) * | 2021-12-22 | 2024-03-01 | 天翼数字生活科技有限公司 | 一种去除低照度视频噪声的装置和方法 |
| CN115115540A (zh) * | 2022-06-08 | 2022-09-27 | 大连海事大学 | 基于光照信息引导的无监督低光图像增强方法及装置 |
| CN114972116B (zh) * | 2022-06-29 | 2024-03-26 | 桂林电子科技大学 | 一种基于NASPE-net的低照度图像增强方法 |
| CN115661001B (zh) * | 2022-12-14 | 2023-04-07 | 临沂大学 | 基于生成对抗网络的单通道煤岩图像增强方法 |
| CN116363017B (zh) * | 2023-05-26 | 2023-10-24 | 荣耀终端有限公司 | 图像处理方法及装置 |
| CN117237859B (zh) * | 2023-11-14 | 2024-02-13 | 南京信息工程大学 | 基于低光照增强的夜间高速公路雾天能见度检测方法 |
| CN117808721B (zh) * | 2024-02-28 | 2024-05-03 | 深圳市瓴鹰智能科技有限公司 | 基于深度学习的低照度图像增强方法、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008149363A2 (en) * | 2007-06-05 | 2008-12-11 | Dblur Technologies Ltd. | Non-linear transformations for enhancement of images |
| CN111798400A (zh) * | 2020-07-20 | 2020-10-20 | 福州大学 | 基于生成对抗网络的无参考低光照图像增强方法及系统 |
| CN112614077A (zh) * | 2020-12-30 | 2021-04-06 | 北京航空航天大学杭州创新研究院 | 一种基于生成对抗网络的非监督低照度图像增强方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111915526A (zh) * | 2020-08-05 | 2020-11-10 | 湖北工业大学 | 一种基于亮度注意力机制低照度图像增强算法的摄影方法 |
-
2021
- 2021-07-29 CN CN202110864974.4A patent/CN113313657B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008149363A2 (en) * | 2007-06-05 | 2008-12-11 | Dblur Technologies Ltd. | Non-linear transformations for enhancement of images |
| CN111798400A (zh) * | 2020-07-20 | 2020-10-20 | 福州大学 | 基于生成对抗网络的无参考低光照图像增强方法及系统 |
| CN112614077A (zh) * | 2020-12-30 | 2021-04-06 | 北京航空航天大学杭州创新研究院 | 一种基于生成对抗网络的非监督低照度图像增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113313657A (zh) | 2021-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113313657B (zh) | 一种用于低光照图像增强的非监督学习方法和系统 | |
| CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
| Golts et al. | Unsupervised single image dehazing using dark channel prior loss | |
| CN109859147B (zh) | 一种基于生成对抗网络噪声建模的真实图像去噪方法 | |
| CN109754015B (zh) | 用于画作多标签识别的神经网络及相关方法、介质和设备 | |
| CN112614077B (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
| CN110648334A (zh) | 一种基于注意力机制的多特征循环卷积显著性目标检测方法 | |
| Sun et al. | Robust retinal vessel segmentation from a data augmentation perspective | |
| CN111507993A (zh) | 一种基于生成对抗网络的图像分割方法、装置及存储介质 | |
| CN115063373A (zh) | 基于多尺度特征智能感知的社交网络图像篡改定位方法 | |
| CN111861906A (zh) | 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法 | |
| CN112651917A (zh) | 一种基于生成对抗网络的空间卫星低照度图像增强方法 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN112149526B (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
| CN112580661A (zh) | 一种深度监督下的多尺度边缘检测方法 | |
| CN110135435B (zh) | 一种基于广度学习系统的显著性检测方法及装置 | |
| CN116645569A (zh) | 一种基于生成对抗网络的红外图像彩色化方法和系统 | |
| CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
| CN112541566B (zh) | 一种基于重构损失的图像翻译方法 | |
| Zheng et al. | Overwater image dehazing via cycle-consistent generative adversarial network | |
| CN116452469B (zh) | 一种基于深度学习的图像去雾处理方法及装置 | |
| CN117495718A (zh) | 一种多尺度自适应的遥感图像去雾方法 | |
| CN116341650B (zh) | 一种基于噪声自训练的铁路货车螺栓丢失检测方法 | |
| CN116542924A (zh) | 一种前列腺病灶区域检测方法、装置及存储介质 | |
| CN116452472A (zh) | 基于语义知识引导的低照度图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |