CN113674191B - 一种基于条件对抗网络的弱光图像增强方法和装置 - Google Patents

一种基于条件对抗网络的弱光图像增强方法和装置 Download PDF

Info

Publication number
CN113674191B
CN113674191B CN202110966571.0A CN202110966571A CN113674191B CN 113674191 B CN113674191 B CN 113674191B CN 202110966571 A CN202110966571 A CN 202110966571A CN 113674191 B CN113674191 B CN 113674191B
Authority
CN
China
Prior art keywords
network
light image
generator
discriminator
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110966571.0A
Other languages
English (en)
Other versions
CN113674191A (zh
Inventor
程江华
刘通
程榜
李华基
陈朔
谢喜洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110966571.0A priority Critical patent/CN113674191B/zh
Publication of CN113674191A publication Critical patent/CN113674191A/zh
Application granted granted Critical
Publication of CN113674191B publication Critical patent/CN113674191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种基于条件对抗网络的弱光图像增强方法、装置、计算机设备和存储介质。所述方法包括：使用多个串联的残差结构的卷积神经网络作为生成器以及WGAN‑GP作为判别器，通过跨步卷积网络对弱光图像进行下采样，通过残差网络对下采样特征图进行处理，通过转置网络对残差校正特征图进行上采样，通过跳跃连接结构将弱光图像样本原图与上采样特征图进行融合后进行激活输出，得到生成器生成图；通过判别器网络对生成器生成图进行判别，得到判别器输出矩阵，在预设的损失函数的约束作用下，生成有效的弱光增强模型。该模型能够保留原始图像的细节信息，提高图像的亮度，同时不会产生增益噪声干扰，生成的图像更为自然，质量高。

Description

一种基于条件对抗网络的弱光图像增强方法和装置
技术领域
本申请涉及图像增强技术领域，特别是涉及一种基于条件对抗网络的弱光图像增强方法、装置、计算机设备和存储介质。
背景技术
在弱光环境下，摄像机的成像质量差，表现在噪声多、色彩失真、亮度和对比度低，通常需要进行图像增强处理。
传统弱光图像增强方法主要分为2类。第1类方法建立在直方图均衡化技术的基础上，并增加额外的先验和约束，其目的是扩大范围来提高图像对比度。如差分灰度直方图方法，通过扩大相邻像素之间的灰度差异，可以一定程度上提高图像的对比度，但是在色彩处理方面表现不佳。第2类算法是基于视网膜理论，视网膜理论是人类视觉的亮度和色彩感知模型，其假定图像可以分解为反射率和照明度这两个分量。早期的算法单尺度视网膜理论和多尺度视网膜理论输出的图像看起来不自然，并且出现过度增强的问题。通常，传统的弱光增强方法建立在具体的统计模型和特定的假设之上，在提高图像照明度和消除噪音方面取得一定效果，而在色彩处理、图像自然性方面存在局限。随着深度学习的出现，低级视觉任务从深度模型中取得了显著的效果，例如用于降噪的，用于超分辨率的，用于压缩伪影去除和用于压缩伪影、除雾等。同时出现了大量针对弱光图像增强的方法。LLNet使用深度自动编码器进行微光图像去噪，但其网络结果过于简单，所得的效果不佳。其他基于CNN的方法，如LLCNN，不能同时增强图像对比度和去噪。Retinex-Net的深度网络结合了图像分解和照明映射，并利用了除噪声工具来处理反射分量，但增强后的图像颜色失真严重。因此，现有技术存在效果不佳的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高弱光图像增强效果的基于条件对抗网络的弱光图像增强方法、装置、计算机设备和存储介质。
一种基于条件对抗网络的弱光图像增强方法，所述方法包括：
获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强训练模型中；所述弱光图像增强训练模型包括生成器网络和判别器网络；所述生成器网络包括跨步卷积网络、残差网络和转置网络；所述判别器网络为Wasserstein GAN结构的批判网络；
通过所述跨步卷积网络对所述弱光图像进行下采样，得到下采样特征图；所述跨步卷积网络包括若干个跨步卷积块；
通过所述残差网络对所述下采样特征图进行处理，得到残差校正特征图；所述残差网络包括多个残差块；
通过所述转置网络对所述残差校正特征图进行上采样，得到上采样特征图；所述转置网络包括若干个卷积块；
通过跳跃连接结构将所述弱光图像样本与所述上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；
通过所述判别器网络对所述生成器生成图进行判别，得到判别器输出矩阵；
根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，得到训练好的生成器网络；
通过训练好的生成器网络进行弱光图像的增强。
在其中一个实施例中，还包括：所述残差块由卷积层、实例归一化层和Relu激活层组成。
在其中一个实施例中，还包括：所述损失函数由对抗性损失、内容损失和结构损失组合而成，所述损失函数为：
Ltotal＝Lgan+λ1·Lper+λ2·Lssim
其中，Ltotal表示所述损失函数，Lgan表示所述对抗性损失，Lper表示所述内容损失，Lssim表示所述结构损失，λ1和λ2为预设的系数。
在其中一个实施例中，还包括：所述对抗性损失为：
Figure BDA0003224139420000021
其中，Il代表暗光图像，G(·)代表生成器，D(·)代表判别器，N表示判别器的输出像数总量。
在其中一个实施例中，还包括：所述内容损失为感知损失，所述感知损失为：
Figure BDA0003224139420000031
其中，φi,j代表图像通过VGG19卷积层网络的第i个最大池化层，第j次卷积后获得的特征层，其中i＝3,j＝3，VGG19为在ImageNet上预先训练好的网络模型，Wi,j，Hi,j和Ci,j代表特征图像的维度。
在其中一个实施例中，还包括：所述结构损失为：
Figure BDA0003224139420000032
其中，μx和μy代表图像像素的平均值，
Figure BDA0003224139420000033
和
Figure BDA0003224139420000034
代表方差，σxy代表协方差，，C1和C2是防止分母为零的常数。
在其中一个实施例中，还包括：根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，每在判别器上执行5个梯度下降步骤，在生成器上执行一个步骤，共执行150轮训练；所述生成器网络和所述判别器网络的初始学习速率设置为10-4。
一种基于条件对抗网络的弱光图像增强装置，所述装置包括：
弱光图像样本获取模块，用于获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强训练模型中；所述弱光图像增强训练模型包括生成器网络和判别器网络；所述生成器网络包括跨步卷积网络、残差网络和转置网络；所述判别器网络为Wasserstein GAN结构的批判网络；
下采样模块，用于通过所述跨步卷积网络对所述弱光图像进行下采样，得到下采样特征图；所述跨步卷积网络包括若干个跨步卷积块；
残差网络模块，用于通过所述残差网络对所述下采样特征图进行处理，得到残差校正特征图；所述残差网络包括多个残差块；
上采样模块，用于通过所述转置网络对所述残差校正特征图进行上采样，得到上采样特征图；所述转置网络包括若干个卷积块；
跳跃连接模块，用于通过跳跃连接结构将所述弱光图像样本与所述上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；
判别器输出模块，用于通过所述判别器网络对所述生成器生成图进行判别，得到判别器输出矩阵；
训练和使用模块，用于根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，得到训练好的生成器网络；通过训练好的生成器网络进行弱光图像的增强。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强训练模型中；所述弱光图像增强训练模型包括生成器网络和判别器网络；所述生成器网络包括跨步卷积网络、残差网络和转置网络；所述判别器网络为Wasserstein GAN结构的批判网络；
通过所述跨步卷积网络对所述弱光图像进行下采样，得到下采样特征图；所述跨步卷积网络包括若干个跨步卷积块；
通过所述残差网络对所述下采样特征图进行处理，得到残差校正特征图；所述残差网络包括多个残差块；
通过所述转置网络对所述残差校正特征图进行上采样，得到上采样特征图；所述转置网络包括若干个卷积块；
通过跳跃连接结构将所述弱光图像样本与所述上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；
通过所述判别器网络对所述生成器生成图进行判别，得到判别器输出矩阵；
根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，得到训练好的生成器网络；
通过训练好的生成器网络进行弱光图像的增强。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强训练模型中；所述弱光图像增强训练模型包括生成器网络和判别器网络；所述生成器网络包括跨步卷积网络、残差网络和转置网络；所述判别器网络为Wasserstein GAN结构的批判网络；
通过所述跨步卷积网络对所述弱光图像进行下采样，得到下采样特征图；所述跨步卷积网络包括若干个跨步卷积块；
通过所述残差网络对所述下采样特征图进行处理，得到残差校正特征图；所述残差网络包括多个残差块；
通过所述转置网络对所述残差校正特征图进行上采样，得到上采样特征图；所述转置网络包括若干个卷积块；
通过跳跃连接结构将所述弱光图像样本与所述上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；
通过所述判别器网络对所述生成器生成图进行判别，得到判别器输出矩阵；
根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，得到训练好的生成器网络；
通过训练好的生成器网络进行弱光图像的增强。
上述基于条件对抗网络的弱光图像增强方法、装置、计算机设备和存储介质，通过获取弱光图像样本，将弱光图像样本输入到弱光图像增强训练模型中；弱光图像增强训练模型包括生成器网络和判别器网络；生成器网络包括跨步卷积网络、残差网络和转置网络；判别器网络为Wasserstein GAN结构的批判网络；通过跨步卷积网络对弱光图像进行下采样，得到下采样特征图；通过残差网络对下采样特征图进行处理，得到残差校正特征图；通过转置网络对残差校正特征图进行上采样，得到上采样特征图；通过跳跃连接结构将弱光图像样本原图与上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；通过判别器网络对生成器生成图进行判别，得到判别器输出矩阵；根据预先构建的损失函数、判别器输出矩阵和生成器生成图对弱光图像增强训练模型进行训练，得到训练好的生成器网络；通过训练好的生成器网络进行弱光图像的增强。本发明提出了一种端到端的弱光图像增强学习方法，该学习基于条件生成对抗网络，实现了弱光环境下的图像增强。该模型能够保留原始图像的细节信息，提高图像的亮度，同时不会产生增益噪声干扰，生成的图像更为自然，质量高。
附图说明
图1为一个实施例中基于条件对抗网络的弱光图像增强方法的流程示意图；
图2为一个实施例中生成器网络结构示意图；
图3为一个实施例中判别器网络结构示意图；
图4为一个实施例中在LOLdata数据集上的部分处理结果视觉对比图；
图5为一个实施例中基于条件对抗网络的弱光图像增强装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于条件对抗网络的弱光图像增强方法，可以应用于如下应用环境中。其中，终端执行一种基于条件对抗网络的弱光图像增强方法，使用多个串联的残差结构的卷积神经网络作为生成器以及WGAN-GP作为判别器，在预设的损失函数的约束作用下，生成有效的弱光增强模型。其中，终端可以但不限于是各种个人计算机、笔记本电脑和平板电脑。
在一个实施例中，如图1所示，提供了一种基于条件对抗网络的弱光图像增强方法，包括以下步骤：
步骤102，获取弱光图像样本，将弱光图像样本输入到弱光图像增强训练模型中。
弱光图像增强训练模型包括生成器网络和判别器网络；生成器网络包括跨步卷积网络、残差网络和转置网络；判别器网络为Wasserstein GAN结构的批判网络。
步骤104，通过跨步卷积网络对弱光图像进行下采样，得到下采样特征图。
跨步卷积网络包括若干个跨步卷积块。
步骤106，通过残差网络对下采样特征图进行处理，得到残差校正特征图。
残差网络包括多个残差块。通过残差块，在在训练中学习对暗光图像Il的残差校正Ir，最后得到正常光的图像Is＝Il+Ir。这样的方式训练速度更快，所得到的模型具有更好的泛化能力。
步骤108，通过转置网络对残差校正特征图进行上采样，得到上采样特征图。
转置网络包括若干个卷积块。
步骤110，通过跳跃连接结构将弱光图像样本与上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图。
通过全局跳过连接，引入原始的图像，保留更多的图像细节信息。
步骤112，通过判别器网络对生成器生成图进行判别，得到判别器输出矩阵。
带有梯度惩罚的Wasserstein GAN结构的批判网络D，简称之为WGAN-GP。其判别网络的体系结构与PatchGan相同。除了最后一个卷积层之外，所有的卷积层之后紧随着实例归一化层和α＝0.2的LeakyReLU激活层，如图3所示。不同于原始的GAN判别器,此判别器输出的是N×N的矩阵，并非简单的真假二分类器,对小尺寸的图像块进行计算时,减少了参数量和计算量,加快了收敛速度。
步骤114，根据预先构建的损失函数、判别器输出矩阵和生成器生成图对弱光图像增强训练模型进行训练，得到训练好的生成器网络。
步骤116，通过训练好的生成器网络进行弱光图像的增强。
上述基于条件对抗网络的弱光图像增强方法中，通过获取弱光图像样本，将弱光图像样本输入到弱光图像增强训练模型中；弱光图像增强训练模型包括生成器网络和判别器网络；生成器网络包括跨步卷积网络、残差网络和转置网络；判别器网络为WassersteinGAN结构的批判网络；通过跨步卷积网络对弱光图像进行下采样，得到下采样特征图；通过残差网络对下采样特征图进行处理，得到残差校正特征图；通过转置网络对残差校正特征图进行上采样，得到上采样特征图；通过跳跃连接结构将弱光图像样本原图与上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；通过判别器网络对生成器生成图进行判别，得到判别器输出矩阵；根据预先构建的损失函数、判别器输出矩阵和生成器生成图对弱光图像增强训练模型进行训练，得到训练好的生成器网络；通过训练好的生成器网络进行弱光图像的增强。本发明提出了一种端到端的弱光图像增强学习方法，该学习基于条件生成对抗网络，实现了弱光环境下的图像增强。该模型能够保留原始图像的细节信息，提高图像的亮度，同时不会产生增益噪声干扰，生成的图像更为自然，质量高。
在其中一个实施例中，还包括：残差块由卷积层、实例归一化层和Relu激活层组成，如图2所示。
在每个残差块中的第一卷积层之后还添加概率为0.5的丢弃正则化。
在其中一个实施例中，还包括：损失函数由对抗性损失、内容损失和结构损失组合而成，损失函数为：
Ltotal＝Lgan+λ1·Lper+λ2·Lssim
其中，Ltotal表示损失函数，Lgan表示对抗性损失，Lper表示内容损失，Lssim表示结构损失，λ1和λ2为预设的系数。
在具体实验时，λ1等于50，λ2等于50。
在其中一个实施例中，还包括：对抗性损失为：
Figure BDA0003224139420000081
其中，Il代表暗光图像，G(·)代表生成器，D(·)代表判别器，N表示判别器的输出像数总量。
大量涉及条件GAN的研究普遍采用原始GAN目标作为损失函数。最近，在不同体系结构上的初步实验证，使用WGAN-GP作为评价函数被证明对所选择的生成器体系结构是稳健的，因此能够使用较轻量的网络结构。
在其中一个实施例中，还包括：内容损失为感知损失，感知损失为：
Figure BDA0003224139420000082
其中，φi,j代表图像通过VGG19卷积层网络的第i个最大池化层，第j次卷积后获得的特征层，其中i＝3,j＝3，VGG19为在ImageNet上预先训练好的网络模型，Wi,j，Hi,j和Ci,j代表特征图像的维度。
“内容”损失函数的两个经典选择是原始像素的MAE损失和MSE损失。但是使用这些函数作为唯一的优化目标会导致生成的图像存在像素平均化，从而产生模糊和伪影。因此，我们采用了感知损失。感知损失是一种简单的基于CNN特征图生成的图像和目标图像差异的MSE损失。本实施例使用了VGG3,3卷积层作为提取层，其中提取层越深代表着越高层次的图像特征。感知损失集中于恢复一般内容，而对抗损失集中在恢复纹理细节上。若训练时没有感知损失，或者仅仅是采用了MSE损失，而训练收敛得不到最佳的结果。
在其中一个实施例中，还包括：结构损失为：
Figure BDA0003224139420000091
其中，μx和μy代表图像像素的平均值，
Figure BDA0003224139420000092
和
Figure BDA0003224139420000093
代表方差，σxy代表协方差，，C1和C2是防止分母为零的常数。
SSIM度量指标关注的是图像中的低层信息，用以衡量增强图像和真实图像之间的差异。与感知损失不同的是，此损失函数针对的是图像亮度，对比度和结构多个指标。因此，本实施例采用图像质量评估算法SSIM来建立结构损失，用于指导模型的生成学习过程，这种损失旨在提高输出图像的视觉质量。
在其中一个实施例中，还包括：基于PyTorch深度学习框架实现所有模型。训练是在单个GTX Tesla 100GPU上进行的，基于公开的暗光数据集(LOLdata)上进行训练的。由于模型是完全卷积的，并且是在图像块上训练的，因此它们可以应用于任意大小的图像。对于优化过程，每在判别器上执行5个梯度下降步骤，然后在生成器上执行一个步骤，使用Adam作为优化器。生成器和判别器的学习速率最初都设置为10-4。经过150轮训练后，我们在接下来的150轮训练中将速率线性衰减到零。所有的模型都用Batch size＝16进行了训练，这在验证上表现出更好的结果。训练阶段对此网络进行了1天的训练。
本发明明显提升了图像的峰值信噪比(PSNR)和结构相似性指数(SSIM)指标，具有更为优异的图像细节信息保留能力。如图4所示，为在LOLdata数据集上的部分处理结果视觉对比情况，其中，第一行图像为输入的弱光图像，第二行图像为参照图像，最后一行图像为本算法的结果图，其余为对比算法的结果图。可见，本发明的增强结果更为接近参照图像，具有更为自然，细节轮廓更清晰。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种基于条件对抗网络的弱光图像增强装置，包括：弱光图像样本获取模块502、下采样模块504、残差网络模块506、上采样模块508、跳跃连接模块510、判别器输出模块512和训练和使用模块514，其中：
弱光图像样本获取模块502，用于获取弱光图像样本，将弱光图像样本输入到弱光图像增强训练模型中；弱光图像增强训练模型包括生成器网络和判别器网络；生成器网络包括跨步卷积网络、残差网络和转置网络；判别器网络为Wasserstein GAN结构的批判网络；
下采样模块504，用于通过跨步卷积网络对弱光图像进行下采样，得到下采样特征图；跨步卷积网络包括若干个跨步卷积块；
残差网络模块506，用于通过残差网络对下采样特征图进行处理，得到残差校正特征图；残差网络包括多个残差块；
上采样模块508，用于通过转置网络对残差校正特征图进行上采样，得到上采样特征图；转置网络包括若干个卷积块；
跳跃连接模块510，用于通过跳跃连接结构将弱光图像样本与上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；
判别器输出模块512，用于通过判别器网络对生成器生成图进行判别，得到判别器输出矩阵；
训练和使用模块514，用于根据预先构建的损失函数、判别器输出矩阵和生成器生成图对弱光图像增强训练模型进行训练，得到训练好的生成器网络；通过训练好的生成器网络进行弱光图像的增强。
训练和使用模块514还用于根据预先构建的损失函数、判别器输出矩阵和生成器生成图对弱光图像增强训练模型进行训练，每在判别器上执行5个梯度下降步骤，在生成器上执行一个步骤，共执行150轮训练；生成器网络和判别器网络的初始学习速率设置为10-4。
关于基于条件对抗网络的弱光图像增强装置的具体限定可以参见上文中对于基于条件对抗网络的弱光图像增强方法的限定，在此不再赘述。上述基于条件对抗网络的弱光图像增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于条件对抗网络的弱光图像增强方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于条件对抗网络的弱光图像增强方法，其特征在于，所述方法包括：
获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强训练模型中；所述弱光图像增强训练模型包括生成器网络和判别器网络；所述生成器网络包括跨步卷积网络、残差网络和转置网络；所述判别器网络为Wasserstein GAN结构的批判网络；
通过所述跨步卷积网络对所述弱光图像进行下采样，得到下采样特征图；所述跨步卷积网络包括若干个跨步卷积块；
通过所述残差网络对所述下采样特征图进行处理，得到残差校正特征图；所述残差网络包括多个残差块；
通过所述转置网络对所述残差校正特征图进行上采样，得到上采样特征图；所述转置网络包括若干个卷积块；
通过跳跃连接结构将所述弱光图像样本与所述上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；
通过所述判别器网络对所述生成器生成图进行判别，得到判别器输出矩阵；
根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，得到训练好的生成器网络；
通过训练好的生成器网络进行弱光图像的增强。
2.根据权利要求1所述的方法，其特征在于，所述残差块由卷积层、实例归一化层和Relu激活层组成。
3.根据权利要求1所述的方法，其特征在于，所述损失函数由对抗性损失、内容损失和结构损失组合而成，所述损失函数为：
Ltotal＝Lgan+λ1·Lper+λ2·Lssim
其中，Ltotal表示所述损失函数，Lgan表示所述对抗性损失，Lper表示所述内容损失，Lssim表示所述结构损失，λ1和λ2为预设的系数。
4.根据权利要求3所述的方法，其特征在于，所述对抗性损失为：
Figure FDA0003224139410000011
其中，Il代表暗光图像，G(·)代表生成器，D(·)代表判别器，N表示判别器的输出像数总量。
5.根据权利要求4所述的方法，其特征在于，所述内容损失为感知损失，所述感知损失为：
Figure FDA0003224139410000021
其中，φi,j代表图像通过VGG19卷积层网络的第i个最大池化层，第j次卷积后获得的特征层，其中i＝3,j＝3，VGG19为在ImageNet上预先训练好的网络模型，Wi,j，Hi,j和Ci,j代表特征图像的维度。
6.根据权利要求5所述的方法，其特征在于，所述结构损失为：
Figure FDA0003224139410000022
其中，μx和μy代表图像像素的平均值，
Figure FDA0003224139410000023
和
Figure FDA0003224139410000024
代表方差，σxy代表协方差，，C1和C2是防止分母为零的常数。
7.根据权利要求6所述的方法，其特征在于，根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，包括：
根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，每在判别器上执行5个梯度下降步骤，在生成器上执行一个步骤，共执行150轮训练；所述生成器网络和所述判别器网络的初始学习速率设置为10-4。
8.一种基于条件对抗网络的弱光图像增强装置，其特征在于，所述装置包括：
弱光图像样本获取模块，用于获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强训练模型中；所述弱光图像增强训练模型包括生成器网络和判别器网络；所述生成器网络包括跨步卷积网络、残差网络和转置网络；所述判别器网络为Wasserstein GAN结构的批判网络；
下采样模块，用于通过所述跨步卷积网络对所述弱光图像进行下采样，得到下采样特征图；所述跨步卷积网络包括若干个跨步卷积块；
残差网络模块，用于通过所述残差网络对所述下采样特征图进行处理，得到残差校正特征图；所述残差网络包括多个残差块；
上采样模块，用于通过所述转置网络对所述残差校正特征图进行上采样，得到上采样特征图；所述转置网络包括若干个卷积块；
跳跃连接模块，用于通过跳跃连接结构将所述弱光图像样本与所述上采样特征图进行融合，再对融合图进行激活输出，得到生成器生成图；
判别器输出模块，用于通过所述判别器网络对所述生成器生成图进行判别，得到判别器输出矩阵；
训练和使用模块，用于根据预先构建的损失函数、所述判别器输出矩阵和所述生成器生成图对所述弱光图像增强训练模型进行训练，得到训练好的生成器网络；通过训练好的生成器网络进行弱光图像的增强。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110966571.0A 2021-08-23 2021-08-23 一种基于条件对抗网络的弱光图像增强方法和装置 Active CN113674191B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110966571.0A CN113674191B (zh) 2021-08-23 2021-08-23 一种基于条件对抗网络的弱光图像增强方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110966571.0A CN113674191B (zh) 2021-08-23 2021-08-23 一种基于条件对抗网络的弱光图像增强方法和装置

Publications (2)

Publication Number Publication Date
CN113674191A CN113674191A (zh) 2021-11-19
CN113674191B true CN113674191B (zh) 2022-09-16

Family

ID=78544965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110966571.0A Active CN113674191B (zh) 2021-08-23 2021-08-23 一种基于条件对抗网络的弱光图像增强方法和装置

Country Status (1)

Country Link
CN (1) CN113674191B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913086B (zh) * 2022-05-05 2023-05-02 上海云思智慧信息技术有限公司 基于生成对抗网络的人脸图像质量增强方法
CN116327133A (zh) * 2023-05-29 2023-06-27 智慧眼科技股份有限公司 一种多生理指标检测方法、装置及相关设备
CN117541969B (zh) * 2024-01-09 2024-04-16 四川大学 一种基于语义和图像增强的色情视频检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001847A (zh) * 2020-08-28 2020-11-27 徐州工程学院 相对生成对抗超分辨率重建模型生成高质量图像的方法
CN112150379A (zh) * 2020-09-22 2020-12-29 武汉工程大学 基于感知判别增强生成对抗网络的图像去雾方法及装置
CN112561838B (zh) * 2020-12-02 2024-01-30 西安电子科技大学 基于残差自注意力和生成对抗网络的图像增强方法
CN112991227B (zh) * 2021-04-15 2022-09-09 中国人民解放军国防科技大学 基于U-net++网络的弱光图像增强方法和装置

Also Published As

Publication number Publication date
CN113674191A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN113674191B (zh) 一种基于条件对抗网络的弱光图像增强方法和装置
CN111047516B (zh) 图像处理方法、装置、计算机设备和存储介质
CN110163235B (zh) 图像增强模型的训练、图像增强方法、装置和存储介质
EP4105877A1 (en) Image enhancement method and image enhancement apparatus
CN112991227B (zh) 基于U-net++网络的弱光图像增强方法和装置
KR20200073267A (ko) 생성 적대 네트워크를 위한 트레이닝 방법, 이미지 처리 방법, 디바이스 및 저장 매체
Sim et al. MaD-DLS: mean and deviation of deep and local similarity for image quality assessment
CN108765425B (zh) 图像分割方法、装置、计算机设备和存储介质
CN112070670B (zh) 全局-局部分离注意力机制的人脸超分辨率方法及系统
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN113284051B (zh) 一种基于频率分解多注意力机制的人脸超分辨方法
CN113159143B (zh) 基于跳跃连接卷积层的红外与可见光图像融合方法和装置
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN113298718A (zh) 一种单幅图像超分辨率重建方法及系统
CN115170410A (zh) 融合小波变换和注意力机制的图像增强方法及装置
CN115170915A (zh) 一种基于端到端注意力网络的红外与可见光图像融合方法
CN113222855A (zh) 一种图像恢复方法、装置和设备
CN116645569A (zh) 一种基于生成对抗网络的红外图像彩色化方法和系统
CN114037888A (zh) 基于联合注意力和自适应nms的目标检测方法和系统
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法
CN115909172A (zh) 深度伪造视频检测分割识别系统、终端及存储介质
CN116739899A (zh) 基于saugan网络的图像超分辨率重建方法
CN115601820A (zh) 一种人脸伪造图像检测方法、装置、终端及存储介质
CN116258933A (zh) 基于全局信息感知的医学图像分割装置
CN115293966A (zh) 一种人脸图像重建方法、装置以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant