CN113674191B - 一种基于条件对抗网络的弱光图像增强方法和装置 - Google Patents
一种基于条件对抗网络的弱光图像增强方法和装置 Download PDFInfo
- Publication number
- CN113674191B CN113674191B CN202110966571.0A CN202110966571A CN113674191B CN 113674191 B CN113674191 B CN 113674191B CN 202110966571 A CN202110966571 A CN 202110966571A CN 113674191 B CN113674191 B CN 113674191B
- Authority
- CN
- China
- Prior art keywords
- network
- light image
- generator
- discriminator
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000005070 sampling Methods 0.000 claims abstract description 58
- 239000011159 matrix material Substances 0.000 claims abstract description 26
- 238000012937 correction Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000002708 enhancing effect Effects 0.000 claims abstract description 13
- 230000017105 transposition Effects 0.000 claims abstract description 11
- 230000003213 activating effect Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 64
- 238000010586 diagram Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 14
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 12
- 230000008485 antagonism Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 3
- 230000009471 action Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000002207 retinal effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种基于条件对抗网络的弱光图像增强方法、装置、计算机设备和存储介质。所述方法包括：使用多个串联的残差结构的卷积神经网络作为生成器以及WGAN‑GP作为判别器，通过跨步卷积网络对弱光图像进行下采样，通过残差网络对下采样特征图进行处理，通过转置网络对残差校正特征图进行上采样，通过跳跃连接结构将弱光图像样本原图与上采样特征图进行融合后进行激活输出，得到生成器生成图；通过判别器网络对生成器生成图进行判别，得到判别器输出矩阵，在预设的损失函数的约束作用下，生成有效的弱光增强模型。该模型能够保留原始图像的细节信息，提高图像的亮度，同时不会产生增益噪声干扰，生成的图像更为自然，质量高。
Description
技术领域
本申请涉及图像增强技术领域，特别是涉及一种基于条件对抗网络的弱光图像增强方法、装置、计算机设备和存储介质。
背景技术
在弱光环境下，摄像机的成像质量差，表现在噪声多、色彩失真、亮度和对比度低，通常需要进行图像增强处理。
传统弱光图像增强方法主要分为2类。第1类方法建立在直方图均衡化技术的基础上，并增加额外的先验和约束，其目的是扩大范围来提高图像对比度。如差分灰度直方图方法，通过扩大相邻像素之间的灰度差异，可以一定程度上提高图像的对比度，但是在色彩处理方面表现不佳。第2类算法是基于视网膜理论，视网膜理论是人类视觉的亮度和色彩感知模型，其假定图像可以分解为反射率和照明度这两个分量。早期的算法单尺度视网膜理论和多尺度视网膜理论输出的图像看起来不自然，并且出现过度增强的问题。通常，传统的弱光增强方法建立在具体的统计模型和特定的假设之上，在提高图像照明度和消除噪音方面取得一定效果，而在色彩处理、图像自然性方面存在局限。随着深度学习的出现，低级视觉任务从深度模型中取得了显著的效果，例如用于降噪的，用于超分辨率的，用于压缩伪影去除和用于压缩伪影、除雾等。同时出现了大量针对弱光图像增强的方法。LLNet使用深度自动编码器进行微光图像去噪，但其网络结果过于简单，所得的效果不佳。其他基于CNN的方法，如LLCNN，不能同时增强图像对比度和去噪。Retinex-Net的深度网络结合了图像分解和照明映射，并利用了除噪声工具来处理反射分量，但增强后的图像颜色失真严重。因此，现有技术存在效果不佳的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高弱光图像增强效果的基于条件对抗网络的弱光图像增强方法、装置、计算机设备和存储介质。
一种基于条件对抗网络的弱光图像增强方法，所述方法包括：
获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强训练模型中；所述弱光图像增强训练模型包括生成器网络和判别器网络；所述生成器网络包括跨步卷积网络、残差网络和转置网络；所述判别器网络为Wasserstein GAN结构的批判网络；
通过所述跨步卷积网络对所述弱光图像进行下采样，得到下采样特征图；所述跨步卷积网络包括若干个跨步卷积块；
通过所述残差网络对所述下采样特征图进行处理，得到残差校正特征图；所述残差网络包括多个残差块；
通过所述转置网络对所述残差校正特征图进行上采样，得到上采样特征图；所述转置网络包括若干个卷积块；
通过跳跃连接结构将所述弱光图像样本与所述上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；
通过所述判别器网络对所述生成器生成图进行判别，得到判别器输出矩阵；
根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，得到训练好的生成器网络；
通过训练好的生成器网络进行弱光图像的增强。
在其中一个实施例中，还包括：所述残差块由卷积层、实例归一化层和Relu激活层组成。
在其中一个实施例中，还包括：所述损失函数由对抗性损失、内容损失和结构损失组合而成，所述损失函数为：
Ltotal＝Lgan+λ1·Lper+λ2·Lssim
其中，Ltotal表示所述损失函数，Lgan表示所述对抗性损失，Lper表示所述内容损失，Lssim表示所述结构损失，λ1和λ2为预设的系数。
在其中一个实施例中，还包括：所述对抗性损失为：
其中，Il代表暗光图像，G(·)代表生成器，D(·)代表判别器，N表示判别器的输出像数总量。
在其中一个实施例中，还包括：所述内容损失为感知损失，所述感知损失为：
其中，φi,j代表图像通过VGG19卷积层网络的第i个最大池化层，第j次卷积后获得的特征层，其中i＝3,j＝3，VGG19为在ImageNet上预先训练好的网络模型，Wi,j，Hi,j和Ci,j代表特征图像的维度。
在其中一个实施例中，还包括：所述结构损失为：
其中，μx和μy代表图像像素的平均值，
和
代表方差，σxy代表协方差，，C1和C2是防止分母为零的常数。
在其中一个实施例中，还包括：根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，每在判别器上执行5个梯度下降步骤，在生成器上执行一个步骤，共执行150轮训练；所述生成器网络和所述判别器网络的初始学习速率设置为10-4。
一种基于条件对抗网络的弱光图像增强装置，所述装置包括：
弱光图像样本获取模块，用于获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强训练模型中；所述弱光图像增强训练模型包括生成器网络和判别器网络；所述生成器网络包括跨步卷积网络、残差网络和转置网络；所述判别器网络为Wasserstein GAN结构的批判网络；
下采样模块，用于通过所述跨步卷积网络对所述弱光图像进行下采样，得到下采样特征图；所述跨步卷积网络包括若干个跨步卷积块；
残差网络模块，用于通过所述残差网络对所述下采样特征图进行处理，得到残差校正特征图；所述残差网络包括多个残差块；
上采样模块，用于通过所述转置网络对所述残差校正特征图进行上采样，得到上采样特征图；所述转置网络包括若干个卷积块；
跳跃连接模块，用于通过跳跃连接结构将所述弱光图像样本与所述上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；
判别器输出模块，用于通过所述判别器网络对所述生成器生成图进行判别，得到判别器输出矩阵；
训练和使用模块，用于根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，得到训练好的生成器网络；通过训练好的生成器网络进行弱光图像的增强。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强训练模型中；所述弱光图像增强训练模型包括生成器网络和判别器网络；所述生成器网络包括跨步卷积网络、残差网络和转置网络；所述判别器网络为Wasserstein GAN结构的批判网络；
通过所述跨步卷积网络对所述弱光图像进行下采样，得到下采样特征图；所述跨步卷积网络包括若干个跨步卷积块；
通过所述残差网络对所述下采样特征图进行处理，得到残差校正特征图；所述残差网络包括多个残差块；
通过所述转置网络对所述残差校正特征图进行上采样，得到上采样特征图；所述转置网络包括若干个卷积块；
通过跳跃连接结构将所述弱光图像样本与所述上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；
通过所述判别器网络对所述生成器生成图进行判别，得到判别器输出矩阵；
根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，得到训练好的生成器网络；
通过训练好的生成器网络进行弱光图像的增强。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强训练模型中；所述弱光图像增强训练模型包括生成器网络和判别器网络；所述生成器网络包括跨步卷积网络、残差网络和转置网络；所述判别器网络为Wasserstein GAN结构的批判网络；
通过所述跨步卷积网络对所述弱光图像进行下采样，得到下采样特征图；所述跨步卷积网络包括若干个跨步卷积块；
通过所述残差网络对所述下采样特征图进行处理，得到残差校正特征图；所述残差网络包括多个残差块；
通过所述转置网络对所述残差校正特征图进行上采样，得到上采样特征图；所述转置网络包括若干个卷积块；
通过跳跃连接结构将所述弱光图像样本与所述上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；
通过所述判别器网络对所述生成器生成图进行判别，得到判别器输出矩阵；
根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，得到训练好的生成器网络；
通过训练好的生成器网络进行弱光图像的增强。
上述基于条件对抗网络的弱光图像增强方法、装置、计算机设备和存储介质，通过获取弱光图像样本，将弱光图像样本输入到弱光图像增强训练模型中；弱光图像增强训练模型包括生成器网络和判别器网络；生成器网络包括跨步卷积网络、残差网络和转置网络；判别器网络为Wasserstein GAN结构的批判网络；通过跨步卷积网络对弱光图像进行下采样，得到下采样特征图；通过残差网络对下采样特征图进行处理，得到残差校正特征图；通过转置网络对残差校正特征图进行上采样，得到上采样特征图；通过跳跃连接结构将弱光图像样本原图与上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；通过判别器网络对生成器生成图进行判别，得到判别器输出矩阵；根据预先构建的损失函数、判别器输出矩阵和生成器生成图对弱光图像增强训练模型进行训练，得到训练好的生成器网络；通过训练好的生成器网络进行弱光图像的增强。本发明提出了一种端到端的弱光图像增强学习方法，该学习基于条件生成对抗网络，实现了弱光环境下的图像增强。该模型能够保留原始图像的细节信息，提高图像的亮度，同时不会产生增益噪声干扰，生成的图像更为自然，质量高。
附图说明
图1为一个实施例中基于条件对抗网络的弱光图像增强方法的流程示意图；
图2为一个实施例中生成器网络结构示意图；
图3为一个实施例中判别器网络结构示意图；
图4为一个实施例中在LOLdata数据集上的部分处理结果视觉对比图；
图5为一个实施例中基于条件对抗网络的弱光图像增强装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于条件对抗网络的弱光图像增强方法，可以应用于如下应用环境中。其中，终端执行一种基于条件对抗网络的弱光图像增强方法，使用多个串联的残差结构的卷积神经网络作为生成器以及WGAN-GP作为判别器，在预设的损失函数的约束作用下，生成有效的弱光增强模型。其中，终端可以但不限于是各种个人计算机、笔记本电脑和平板电脑。
在一个实施例中，如图1所示，提供了一种基于条件对抗网络的弱光图像增强方法，包括以下步骤：
步骤102，获取弱光图像样本，将弱光图像样本输入到弱光图像增强训练模型中。
弱光图像增强训练模型包括生成器网络和判别器网络；生成器网络包括跨步卷积网络、残差网络和转置网络；判别器网络为Wasserstein GAN结构的批判网络。
步骤104，通过跨步卷积网络对弱光图像进行下采样，得到下采样特征图。
跨步卷积网络包括若干个跨步卷积块。
步骤106，通过残差网络对下采样特征图进行处理，得到残差校正特征图。
残差网络包括多个残差块。通过残差块，在在训练中学习对暗光图像Il的残差校正Ir，最后得到正常光的图像Is＝Il+Ir。这样的方式训练速度更快，所得到的模型具有更好的泛化能力。
步骤108，通过转置网络对残差校正特征图进行上采样，得到上采样特征图。
转置网络包括若干个卷积块。
步骤110，通过跳跃连接结构将弱光图像样本与上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图。
通过全局跳过连接，引入原始的图像，保留更多的图像细节信息。
步骤112，通过判别器网络对生成器生成图进行判别，得到判别器输出矩阵。
带有梯度惩罚的Wasserstein GAN结构的批判网络D，简称之为WGAN-GP。其判别网络的体系结构与PatchGan相同。除了最后一个卷积层之外，所有的卷积层之后紧随着实例归一化层和α＝0.2的LeakyReLU激活层，如图3所示。不同于原始的GAN判别器,此判别器输出的是N×N的矩阵，并非简单的真假二分类器,对小尺寸的图像块进行计算时,减少了参数量和计算量,加快了收敛速度。
步骤114，根据预先构建的损失函数、判别器输出矩阵和生成器生成图对弱光图像增强训练模型进行训练，得到训练好的生成器网络。
步骤116，通过训练好的生成器网络进行弱光图像的增强。
上述基于条件对抗网络的弱光图像增强方法中，通过获取弱光图像样本，将弱光图像样本输入到弱光图像增强训练模型中；弱光图像增强训练模型包括生成器网络和判别器网络；生成器网络包括跨步卷积网络、残差网络和转置网络；判别器网络为WassersteinGAN结构的批判网络；通过跨步卷积网络对弱光图像进行下采样，得到下采样特征图；通过残差网络对下采样特征图进行处理，得到残差校正特征图；通过转置网络对残差校正特征图进行上采样，得到上采样特征图；通过跳跃连接结构将弱光图像样本原图与上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；通过判别器网络对生成器生成图进行判别，得到判别器输出矩阵；根据预先构建的损失函数、判别器输出矩阵和生成器生成图对弱光图像增强训练模型进行训练，得到训练好的生成器网络；通过训练好的生成器网络进行弱光图像的增强。本发明提出了一种端到端的弱光图像增强学习方法，该学习基于条件生成对抗网络，实现了弱光环境下的图像增强。该模型能够保留原始图像的细节信息，提高图像的亮度，同时不会产生增益噪声干扰，生成的图像更为自然，质量高。
在其中一个实施例中，还包括：残差块由卷积层、实例归一化层和Relu激活层组成，如图2所示。
在每个残差块中的第一卷积层之后还添加概率为0.5的丢弃正则化。
在其中一个实施例中，还包括：损失函数由对抗性损失、内容损失和结构损失组合而成，损失函数为：
Ltotal＝Lgan+λ1·Lper+λ2·Lssim
其中，Ltotal表示损失函数，Lgan表示对抗性损失，Lper表示内容损失，Lssim表示结构损失，λ1和λ2为预设的系数。
在具体实验时，λ1等于50，λ2等于50。
在其中一个实施例中，还包括：对抗性损失为：
其中，Il代表暗光图像，G(·)代表生成器，D(·)代表判别器，N表示判别器的输出像数总量。
大量涉及条件GAN的研究普遍采用原始GAN目标作为损失函数。最近，在不同体系结构上的初步实验证，使用WGAN-GP作为评价函数被证明对所选择的生成器体系结构是稳健的，因此能够使用较轻量的网络结构。
在其中一个实施例中，还包括：内容损失为感知损失，感知损失为：
其中，φi,j代表图像通过VGG19卷积层网络的第i个最大池化层，第j次卷积后获得的特征层，其中i＝3,j＝3，VGG19为在ImageNet上预先训练好的网络模型，Wi,j，Hi,j和Ci,j代表特征图像的维度。
“内容”损失函数的两个经典选择是原始像素的MAE损失和MSE损失。但是使用这些函数作为唯一的优化目标会导致生成的图像存在像素平均化，从而产生模糊和伪影。因此，我们采用了感知损失。感知损失是一种简单的基于CNN特征图生成的图像和目标图像差异的MSE损失。本实施例使用了VGG3,3卷积层作为提取层，其中提取层越深代表着越高层次的图像特征。感知损失集中于恢复一般内容，而对抗损失集中在恢复纹理细节上。若训练时没有感知损失，或者仅仅是采用了MSE损失，而训练收敛得不到最佳的结果。
在其中一个实施例中，还包括：结构损失为：
其中，μx和μy代表图像像素的平均值，
和
代表方差，σxy代表协方差，，C1和C2是防止分母为零的常数。
SSIM度量指标关注的是图像中的低层信息，用以衡量增强图像和真实图像之间的差异。与感知损失不同的是，此损失函数针对的是图像亮度，对比度和结构多个指标。因此，本实施例采用图像质量评估算法SSIM来建立结构损失，用于指导模型的生成学习过程，这种损失旨在提高输出图像的视觉质量。
在其中一个实施例中，还包括：基于PyTorch深度学习框架实现所有模型。训练是在单个GTX Tesla 100GPU上进行的，基于公开的暗光数据集(LOLdata)上进行训练的。由于模型是完全卷积的，并且是在图像块上训练的，因此它们可以应用于任意大小的图像。对于优化过程，每在判别器上执行5个梯度下降步骤，然后在生成器上执行一个步骤，使用Adam作为优化器。生成器和判别器的学习速率最初都设置为10-4。经过150轮训练后，我们在接下来的150轮训练中将速率线性衰减到零。所有的模型都用Batch size＝16进行了训练，这在验证上表现出更好的结果。训练阶段对此网络进行了1天的训练。
本发明明显提升了图像的峰值信噪比(PSNR)和结构相似性指数(SSIM)指标，具有更为优异的图像细节信息保留能力。如图4所示，为在LOLdata数据集上的部分处理结果视觉对比情况，其中，第一行图像为输入的弱光图像，第二行图像为参照图像，最后一行图像为本算法的结果图，其余为对比算法的结果图。可见，本发明的增强结果更为接近参照图像，具有更为自然，细节轮廓更清晰。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种基于条件对抗网络的弱光图像增强装置，包括：弱光图像样本获取模块502、下采样模块504、残差网络模块506、上采样模块508、跳跃连接模块510、判别器输出模块512和训练和使用模块514，其中：
弱光图像样本获取模块502，用于获取弱光图像样本，将弱光图像样本输入到弱光图像增强训练模型中；弱光图像增强训练模型包括生成器网络和判别器网络；生成器网络包括跨步卷积网络、残差网络和转置网络；判别器网络为Wasserstein GAN结构的批判网络；
下采样模块504，用于通过跨步卷积网络对弱光图像进行下采样，得到下采样特征图；跨步卷积网络包括若干个跨步卷积块；
残差网络模块506，用于通过残差网络对下采样特征图进行处理，得到残差校正特征图；残差网络包括多个残差块；
上采样模块508，用于通过转置网络对残差校正特征图进行上采样，得到上采样特征图；转置网络包括若干个卷积块；
跳跃连接模块510，用于通过跳跃连接结构将弱光图像样本与上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；
判别器输出模块512，用于通过判别器网络对生成器生成图进行判别，得到判别器输出矩阵；
训练和使用模块514，用于根据预先构建的损失函数、判别器输出矩阵和生成器生成图对弱光图像增强训练模型进行训练，得到训练好的生成器网络；通过训练好的生成器网络进行弱光图像的增强。
训练和使用模块514还用于根据预先构建的损失函数、判别器输出矩阵和生成器生成图对弱光图像增强训练模型进行训练，每在判别器上执行5个梯度下降步骤，在生成器上执行一个步骤，共执行150轮训练；生成器网络和判别器网络的初始学习速率设置为10-4。
关于基于条件对抗网络的弱光图像增强装置的具体限定可以参见上文中对于基于条件对抗网络的弱光图像增强方法的限定，在此不再赘述。上述基于条件对抗网络的弱光图像增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于条件对抗网络的弱光图像增强方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于条件对抗网络的弱光图像增强方法，其特征在于，所述方法包括：
获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强训练模型中；所述弱光图像增强训练模型包括生成器网络和判别器网络；所述生成器网络包括跨步卷积网络、残差网络和转置网络；所述判别器网络为Wasserstein GAN结构的批判网络；
通过所述跨步卷积网络对所述弱光图像进行下采样，得到下采样特征图；所述跨步卷积网络包括若干个跨步卷积块；
通过所述残差网络对所述下采样特征图进行处理，得到残差校正特征图；所述残差网络包括多个残差块；
通过所述转置网络对所述残差校正特征图进行上采样，得到上采样特征图；所述转置网络包括若干个卷积块；
通过跳跃连接结构将所述弱光图像样本与所述上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；
通过所述判别器网络对所述生成器生成图进行判别，得到判别器输出矩阵；
根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，得到训练好的生成器网络；
通过训练好的生成器网络进行弱光图像的增强。
2.根据权利要求1所述的方法，其特征在于，所述残差块由卷积层、实例归一化层和Relu激活层组成。
3.根据权利要求1所述的方法，其特征在于，所述损失函数由对抗性损失、内容损失和结构损失组合而成，所述损失函数为：
Ltotal＝Lgan+λ1·Lper+λ2·Lssim
其中，Ltotal表示所述损失函数，Lgan表示所述对抗性损失，Lper表示所述内容损失，Lssim表示所述结构损失，λ1和λ2为预设的系数。
4.根据权利要求3所述的方法，其特征在于，所述对抗性损失为：
其中，Il代表暗光图像，G(·)代表生成器，D(·)代表判别器，N表示判别器的输出像数总量。
5.根据权利要求4所述的方法，其特征在于，所述内容损失为感知损失，所述感知损失为：
其中，φi,j代表图像通过VGG19卷积层网络的第i个最大池化层，第j次卷积后获得的特征层，其中i＝3,j＝3，VGG19为在ImageNet上预先训练好的网络模型，Wi,j，Hi,j和Ci,j代表特征图像的维度。
6.根据权利要求5所述的方法，其特征在于，所述结构损失为：
其中，μx和μy代表图像像素的平均值，
和
代表方差，σxy代表协方差，，C1和C2是防止分母为零的常数。
7.根据权利要求6所述的方法，其特征在于，根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，包括：
根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，每在判别器上执行5个梯度下降步骤，在生成器上执行一个步骤，共执行150轮训练；所述生成器网络和所述判别器网络的初始学习速率设置为10-4。
8.一种基于条件对抗网络的弱光图像增强装置，其特征在于，所述装置包括：
弱光图像样本获取模块，用于获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强训练模型中；所述弱光图像增强训练模型包括生成器网络和判别器网络；所述生成器网络包括跨步卷积网络、残差网络和转置网络；所述判别器网络为Wasserstein GAN结构的批判网络；
下采样模块，用于通过所述跨步卷积网络对所述弱光图像进行下采样，得到下采样特征图；所述跨步卷积网络包括若干个跨步卷积块；
残差网络模块，用于通过所述残差网络对所述下采样特征图进行处理，得到残差校正特征图；所述残差网络包括多个残差块；
上采样模块，用于通过所述转置网络对所述残差校正特征图进行上采样，得到上采样特征图；所述转置网络包括若干个卷积块；
跳跃连接模块，用于通过跳跃连接结构将所述弱光图像样本与所述上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；
判别器输出模块，用于通过所述判别器网络对所述生成器生成图进行判别，得到判别器输出矩阵；
训练和使用模块，用于根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，得到训练好的生成器网络；通过训练好的生成器网络进行弱光图像的增强。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110966571.0A CN113674191B (zh) | 2021-08-23 | 2021-08-23 | 一种基于条件对抗网络的弱光图像增强方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110966571.0A CN113674191B (zh) | 2021-08-23 | 2021-08-23 | 一种基于条件对抗网络的弱光图像增强方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113674191A CN113674191A (zh) | 2021-11-19 |
| CN113674191B true CN113674191B (zh) | 2022-09-16 |
Family
ID=78544965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110966571.0A Active CN113674191B (zh) | 2021-08-23 | 2021-08-23 | 一种基于条件对抗网络的弱光图像增强方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113674191B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114495110A (zh) * | 2022-01-28 | 2022-05-13 | 北京百度网讯科技有限公司 | 图像处理方法、生成器训练方法、装置及存储介质 |
| CN114913086B (zh) * | 2022-05-05 | 2023-05-02 | 上海云思智慧信息技术有限公司 | 基于生成对抗网络的人脸图像质量增强方法 |
| CN116327133A (zh) * | 2023-05-29 | 2023-06-27 | 智慧眼科技股份有限公司 | 一种多生理指标检测方法、装置及相关设备 |
| CN117541969B (zh) * | 2024-01-09 | 2024-04-16 | 四川大学 | 一种基于语义和图像增强的色情视频检测方法 |
| CN118036701B (zh) * | 2024-04-10 | 2024-07-05 | 南昌工程学院 | 一种基于紫外图像的绝缘子电晕放电数据增强方法及系统 |
| CN118071656B (zh) * | 2024-04-22 | 2024-07-19 | 清华大学深圳国际研究生院 | 一种基于Vision Transformer的水下图像增强方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001847A (zh) * | 2020-08-28 | 2020-11-27 | 徐州工程学院 | 相对生成对抗超分辨率重建模型生成高质量图像的方法 |
| CN112150379A (zh) * | 2020-09-22 | 2020-12-29 | 武汉工程大学 | 基于感知判别增强生成对抗网络的图像去雾方法及装置 |
| CN112561838B (zh) * | 2020-12-02 | 2024-01-30 | 西安电子科技大学 | 基于残差自注意力和生成对抗网络的图像增强方法 |
| CN112991227B (zh) * | 2021-04-15 | 2022-09-09 | 中国人民解放军国防科技大学 | 基于U-net++网络的弱光图像增强方法和装置 |
-
2021
- 2021-08-23 CN CN202110966571.0A patent/CN113674191B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113674191A (zh) | 2021-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113674191B (zh) | 一种基于条件对抗网络的弱光图像增强方法和装置 | |
| CN111047516B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN110163235B (zh) | 图像增强模型的训练、图像增强方法、装置和存储介质 | |
| CN109345456B (zh) | 生成对抗网络训练方法、图像处理方法、设备及存储介质 | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| Sim et al. | MaD-DLS: mean and deviation of deep and local similarity for image quality assessment | |
| CN108765425B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN111369440A (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN112991227B (zh) | 基于U-net++网络的弱光图像增强方法和装置 | |
| KR20200073267A (ko) | 생성 적대 네트워크를 위한 트레이닝 방법, 이미지 처리 방법, 디바이스 및 저장 매체 | |
| CN112070670B (zh) | 全局-局部分离注意力机制的人脸超分辨率方法及系统 | |
| CN113284051B (zh) | 一种基于频率分解多注意力机制的人脸超分辨方法 | |
| CN113159143B (zh) | 基于跳跃连接卷积层的红外与可见光图像融合方法和装置 | |
| CN113658040B (zh) | 一种基于先验信息和注意力融合机制的人脸超分辨方法 | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN113298718A (zh) | 一种单幅图像超分辨率重建方法及系统 | |
| CN112446835B (zh) | 图像恢复方法、图像恢复网络训练方法、装置和存储介质 | |
| CN113222855A (zh) | 一种图像恢复方法、装置和设备 | |
| CN112950497A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN117710216B (zh) | 一种基于变分自编码器的图像超分辨率重建方法 | |
| CN115170410A (zh) | 融合小波变换和注意力机制的图像增强方法及装置 | |
| CN116739899A (zh) | 基于saugan网络的图像超分辨率重建方法 | |
| CN116468605A (zh) | 基于时空分层掩膜注意力融合的视频超分辨率重建方法 | |
| CN116645569A (zh) | 一种基于生成对抗网络的红外图像彩色化方法和系统 | |
| CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |