CN112991227B - 基于U-net++网络的弱光图像增强方法和装置 - Google Patents

基于U-net++网络的弱光图像增强方法和装置 Download PDF

Info

Publication number
CN112991227B
CN112991227B CN202110407894.6A CN202110407894A CN112991227B CN 112991227 B CN112991227 B CN 112991227B CN 202110407894 A CN202110407894 A CN 202110407894A CN 112991227 B CN112991227 B CN 112991227B
Authority
CN
China
Prior art keywords
light image
low
enhancement
network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110407894.6A
Other languages
English (en)
Other versions
CN112991227A (zh
Inventor
刘通
程江华
程榜
李华基
赵康成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110407894.6A priority Critical patent/CN112991227B/zh
Publication of CN112991227A publication Critical patent/CN112991227A/zh
Application granted granted Critical
Publication of CN112991227B publication Critical patent/CN112991227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于U‑net++网络的弱光图像增强方法、装置、计算机设备和存储介质。所述方法包括：通过获取弱光图像样本，将弱光图像样本输入到弱光图像增强网络模型中；弱光图像增强网络模型包括：基于U‑net++网络的深层密集连接网络和多层全卷积层网络；通过深层密集连接网络得到亮度增强特征图，通过多层全卷积层网络对图像进行细节重建，得到预测增强图；根据预先构建的损失函数和预测增强图，对弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型，进行弱光图像的增强。本发明在弱光图像的增强过程中，可以在增强亮度的同时更好保留图像的细节，在降低噪声的前提下尽可能地提升了色彩保真度和细节还原度。

Description

基于U-net++网络的弱光图像增强方法和装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种基于U-net++网络的弱光图像增强方法、装置、计算机设备和存储介质。
背景技术
弱光增强是计算机视觉中最具挑战性的任务之一。当拍摄场景光线不足时，成像时容易出现信息丢失和噪声，导致图像成像质量低。通过补光方式有助于提高成像质量，但在隐蔽成像等特殊需求下，无法采用补光手段。提高拍摄设备的硬件性能有助于在一定程度上提高成像质量，然而成本偏高。因此，在实际的应用中，通过增强算法提高微光图像质量有着重要的意义。
现有技术中对微光图像增强进行了各种研究。为了改善图像的对比度，亮度和质量，学者们从不同角度研究了这个问题，例如传统方法中的直方图均衡化(HE)方法，基于视网膜理论的方法以及基于图像分割，除雾模型的方法等。这些算法通常致力于提高图像的对比度和恢复图像的亮度，并且抑制暗光成像过程所产生的高噪声以及颜色失真等现象。这些方法取得了一定的增强效果，但是仍然存在着很大的改进空间。例如，现有的方法难以做到提高图像的亮亮同时清晰保留图像的特征，会出现图像轮廓不明显，模糊等状况。除此以外，还存在暗区伪像，颜色突变、失真，暗光成像过程所产生的干扰噪声等问题，没能得到令人满意的结果，算法性能有待提高。因此，现有技术存在效果不佳的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高弱光图像增强效果的基于U-net++网络的弱光图像增强方法、装置、计算机设备和存储介质。
一种基于U-net++网络的弱光图像增强方法，所述方法包括：
获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强网络模型中；所述弱光图像增强网络模型包括：基于U-net++网络的深层密集连接网络、多层全卷积层网络；所述深层密集连接网络包括：一路级联编码器、多路级联解码器和跳跃连接结构；
通过所述级联编码器对所述弱光图像样本进行处理，得到多个层次的下采样特征图；通过所述多路级联解码器对所述多个层次的下采样特征图进行处理，得到多个层次的上采样特征图；通过所述跳跃连接结构将所述下采样特征图连接到相同层次的所述上采样特征图进行累加；通过所述深层密集连接网络得到亮度增强特征图；
将所述弱光图像样本和所述亮度增强特征图输入到所述多层全卷积层网络进行细节重建，得到预测增强图；
根据预先构建的损失函数和所述预测增强图，对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；
通过训练好的弱光图像增强网络模型进行弱光图像的增强。
在其中一个实施例中，还包括：通过所述级联编码器对所述弱光图像样本进行处理，得到多个层次的下采样特征图；所述级联编码器采用步幅为2的卷积层实现图像下采样。
在其中一个实施例中，还包括：将所述弱光图像样本和所述亮度增强特征图输入到所述多层全卷积层网络进行细节重建，得到预测增强图；所述多层全卷积层网络为带有ReLU函数的5个卷积层。
在其中一个实施例中，还包括：根据预先构建的损失函数和所述预测增强图，对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；所述损失函数由四部分构成，包括均值误差、感知损失、结构损失和区域损失。
在其中一个实施例中，还包括：根据预先构建的损失函数和所述预测增强图，对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；所述损失函数由四部分构成，包括均值误差、感知损失、结构损失和区域损失；所述感知损失由预先训练的Resnet50网络的ReLU激活层的输出来定义。
在其中一个实施例中，还包括：根据预先构建的损失函数和所述预测增强图，对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；所述损失函数由四部分构成，包括均值误差、感知损失、结构损失和区域损失；所述结构损失采用图像质量评估算法SSIM来建立。
其中一个实施例中，还包括：根据预先构建的损失函数和所述预测增强图，采用了学习率衰减策略对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型。
一种基于U-net++网络的弱光图像增强装置，所述装置包括：
样本获取模块，用于获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强网络模型中；所述弱光图像增强网络模型包括：基于U-net++网络的深层密集连接网络、多层全卷积层网络；所述深层密集连接网络包括：一路级联编码器、多路级联解码器和跳跃连接结构；
亮度增强模块，用于通过所述级联编码器对所述弱光图像样本进行处理，得到多个层次的下采样特征图；通过所述多路级联解码器对所述多个层次的下采样特征图进行处理，得到多个层次的上采样特征图；通过所述跳跃连接结构将所述下采样特征图连接到相同层次的所述上采样特征图进行累加；通过所述深层密集连接网络得到亮度增强特征图；
细节重建模块，用于将所述弱光图像样本和所述亮度增强特征图输入到所述多层全卷积层网络进行细节重建，得到预测增强图；
训练模块，用于根据预先构建的损失函数和所述预测增强图，对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；
使用模块，用于通过训练好的弱光图像增强网络模型进行弱光图像的增强。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强网络模型中；所述弱光图像增强网络模型包括：基于U-net++网络的深层密集连接网络、多层全卷积层网络；所述深层密集连接网络包括：一路级联编码器、多路级联解码器和跳跃连接结构；
通过所述级联编码器对所述弱光图像样本进行处理，得到多个层次的下采样特征图；通过所述多路级联解码器对所述多个层次的下采样特征图进行处理，得到多个层次的上采样特征图；通过所述跳跃连接结构将所述下采样特征图连接到相同层次的所述上采样特征图进行累加；通过所述深层密集连接网络得到亮度增强特征图；
将所述弱光图像样本和所述亮度增强特征图输入到所述多层全卷积层网络进行细节重建，得到预测增强图；
根据预先构建的损失函数和所述预测增强图，对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；
通过训练好的弱光图像增强网络模型进行弱光图像的增强。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强网络模型中；所述弱光图像增强网络模型包括：基于U-net++网络的深层密集连接网络、多层全卷积层网络；所述深层密集连接网络包括：一路级联编码器、多路级联解码器和跳跃连接结构；
通过所述级联编码器对所述弱光图像样本进行处理，得到多个层次的下采样特征图；通过所述多路级联解码器对所述多个层次的下采样特征图进行处理，得到多个层次的上采样特征图；通过所述跳跃连接结构将所述下采样特征图连接到相同层次的所述上采样特征图进行累加；通过所述深层密集连接网络得到亮度增强特征图；
将所述弱光图像样本和所述亮度增强特征图输入到所述多层全卷积层网络进行细节重建，得到预测增强图；
根据预先构建的损失函数和所述预测增强图，对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；
通过训练好的弱光图像增强网络模型进行弱光图像的增强。
上述基于U-net++网络的弱光图像增强方法、装置、计算机设备和存储介质，通过获取弱光图像样本，将弱光图像样本输入到弱光图像增强网络模型中；弱光图像增强网络模型包括：基于U-net++网络的深层密集连接网络、多层全卷积层网络；深层密集连接网络包括：一路级联编码器、多路级联解码器和跳跃连接结构；通过级联编码器对弱光图像样本进行处理，得到多个层次的下采样特征图；通过多路级联解码器对多个层次的下采样特征图进行处理，得到多个层次的上采样特征图；通过跳跃连接结构将下采样特征图连接到相同层次的上采样特征图进行累加；通过深层密集连接网络得到亮度增强特征图；将弱光图像样本和亮度增强特征图输入到多层全卷积层网络进行细节重建，得到预测增强图；根据预先构建的损失函数和预测增强图，对弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；通过训练好的弱光图像增强网络模型进行弱光图像的增强。本发明在弱光图像的增强过程中，可以在增强亮度的同时更好保留图像的细节，在降低噪声的前提下尽可能地提升了色彩保真度和细节还原度。
附图说明
图1为一个实施例中基于U-net++网络的弱光图像增强方法的流程示意图；
图2为一个实施例中基于U-net++网络的弱光图像增强方法的网络框图；
图3为一个具体实施例中PASCAL VOC数据集下视觉对比示意图；
图4为一个实施例中基于U-net++网络的弱光图像增强装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于U-net++网络的弱光图像增强方法，可以应用于如下应用环境中。其中，终端执行一种基于U-net++网络的弱光图像增强方法，通过获取弱光图像样本，将弱光图像样本输入到弱光图像增强网络模型中；弱光图像增强网络模型包括：基于U-net++网络的深层密集连接网络和多层全卷积层网络；通过深层密集连接网络得到亮度增强特征图，通过多层全卷积层网络对图像进行细节重建，得到预测增强图；根据预先构建的损失函数和预测增强图，对弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型，进行弱光图像的增强。其中，终端可以但不限于是各种个人计算机、笔记本电脑和平板电脑。
在一个实施例中，如图1所示，提供了一种基于U-net++网络的弱光图像增强方法，包括以下步骤：
步骤102，获取弱光图像样本，将弱光图像样本输入到弱光图像增强网络模型中。
弱光图像增强网络模型包括：基于U-net++网络的深层密集连接网络、多层全卷积层网络；深层密集连接网络包括：一路级联编码器、多路级联解码器和跳跃连接结构。
U-net结构的网络具有优秀的图像特征学习和重建的能力，被广泛应用在图像的增强网络中。相较于U-net网络，U-net++网络结构中的各个层次之间的联系更为紧密，更有利于全方位学习图像的特征信息，降低图像细节丢失。因此，我们基于U-net++网络的架构，建立了网络的增强模块。整个网络的框图如图2所示。
步骤104，通过级联编码器对弱光图像样本进行处理，得到多个层次的下采样特征图；通过多路级联解码器对多个层次的下采样特征图进行处理，得到多个层次的上采样特征图；通过跳跃连接结构将下采样特征图连接到相同层次的上采样特征图进行累加；通过深层密集连接网络得到亮度增强特征图。
下采样的过程可以提取出源图像的高维信息，之后经过一系列对称的上采样块，将所获得特征图重新缩放为原始输入的大小，并在上采样的过程中合并各层次的特征信息。中间网络结构构造了多个编码器/解码器网络以覆盖整个图像不同层次的特征。跳过连接将下采样模块引入到其相应的对称的上采样模块，即下采样块的输出被传递到上采样块的特征图并与之累加。这种结构迫使网络学习残差而不是预测图像实际像素值。因此，这种网络充分利用各层次的信息，提高网络效率，对整个图像的照明分布具有全面的提取能力。
步骤106，将弱光图像样本和亮度增强特征图输入到多层全卷积层网络进行细节重建，得到预测增强图。
经过增强模块，图像的亮度得到了明显的增强，但是在网络上下采样的过程，其中部分图像细节不可避免发生丢失。原始输入包含更多的图像细节信息，可以为细节恢复提供信息。为了弥补图像在缩放过程中出现的细节损失，因此在细节重建模块中使用级联合并原始输入和增强模块的输出特征图，以完整保留原始信息和照度估计，并将其传输到下一步。再使用带有ReLU函数的5个卷积层，将输入的图像信息和亮度增强后的特征图进行组合，得到清晰高质量的自然光照图。
步骤108，根据预先构建的损失函数和预测增强图，对弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型。
步骤110，通过训练好的弱光图像增强网络模型进行弱光图像的增强。
上述基于U-net++网络的弱光图像增强方法中，通过获取弱光图像样本，将弱光图像样本输入到弱光图像增强网络模型中；弱光图像增强网络模型包括：基于U-net++网络的深层密集连接网络、多层全卷积层网络；深层密集连接网络包括：一路级联编码器、多路级联解码器和跳跃连接结构；通过级联编码器对弱光图像样本进行处理，得到多个层次的下采样特征图；通过多路级联解码器对多个层次的下采样特征图进行处理，得到多个层次的上采样特征图；通过跳跃连接结构将下采样特征图连接到相同层次的上采样特征图进行累加；通过深层密集连接网络得到亮度增强特征图；将弱光图像样本和亮度增强特征图输入到多层全卷积层网络进行细节重建，得到预测增强图；根据预先构建的损失函数和预测增强图，对弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；通过训练好的弱光图像增强网络模型进行弱光图像的增强。本发明在弱光图像的增强过程中，可以在增强亮度的同时更好保留图像的细节，在降低噪声的前提下尽可能地提升了色彩保真度和细节还原度。
在其中一个实施例中，还包括：通过级联编码器对弱光图像样本进行处理，得到多个层次的下采样特征图；级联编码器采用步幅为2的卷积层实现图像下采样。
由于池化层会使图像的部分细节信息丢失，因此更优地，本实施例下采样的过程中，利用步幅为2的卷积层代替池化层，可以有效避免图像信息的丢失。具体地，输入图像依次通过5层步幅为1和2带有ReLU激活函数的卷积层将输入图像下采样为固定的大小。其中步幅为2的卷积层替代池化层实现图像下采样。
在其中一个实施例中，还包括：将弱光图像样本和亮度增强特征图输入到多层全卷积层网络进行细节重建，得到预测增强图；多层全卷积层网络为带有ReLU函数的5个卷积层。
在其中一个实施例中，还包括：根据预先构建的损失函数和预测增强图，对弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；损失函数由四部分构成，包括均值误差、感知损失、结构损失和区域损失。感知损失由预先训练的Resnet50网络的ReLU激活层的输出来定义，结构损失采用图像质量评估算法SSIM来建立。
最小化损失函数可以拉近重建的图像与相应的真实图像之间的距离，从而实现训练过程。为了得到更高质量的重建图像和更贴近真实图像的重建效果，我们需要在训练中加入合适的损失函数。均值误差，均方误差和最大似然误差常用于建立网络的损失函数，这些损失在图像的恢复和增强上取得良好的效果，但是单凭简单的度量仍然不够。考虑到图像的结构信息、上下文信息和区域差异的存在，我们设计的损失函数由四部分构成，总的表达式为：
Loss＝L1+Lres50+Lssim+Lregion
其中，L1表示均值误差，Lres50表示感知损失，Lssim表示结构损失，Lregion表示区域损失，从多方面兼顾考虑影响图像质量的因素，详细情况如下：
结构损失：在暗光下捕捉的图像，通常会导致图像的结构失真，如模糊效，伪影等常见的问题。SSIM度量标准关注的是图像中的低层信息，用以衡量增强图像和真实图像之间的差异。因此，我们采用图像质量评估算法SSIM[21]来建立我们的结构损失，用于指导生成学习过程，这种损失旨在提高输出图像的视觉质量。简化形式的SSIM公式，如下所示：
Figure BDA0003023003860000091
其中μx和μy代表图像像素的平均值、
Figure BDA0003023003860000092
和
Figure BDA0003023003860000093
代表方差、σxy代表协方差、以及C1和C2是防止分母为零的常数。
感知损失：除了图像的低层信息以外，同时也需要使用图像高层信息来提高视觉质量。基本思想是使用预先训练好网络模型作为内容提取器，分别处理增强图像和真实图像，利用两者的差异构造损失函数。研究表明，Resnet50网络[22]在特征提取的过程表现出良好的结构保留性能，于是我们选择Resnet50网络作为我们的方法中的内容提取器。我们基于预先训练的Resnet50网络的ReLU激活层的输出来定义感知损失。为了测量增强图像和真实图像之间的差异，我们计算它们的绝对差之和。最后，上感知损失定义如下:
Figure BDA0003023003860000094
其中F和T表示增强的图像和真实图像，而Wi,j，Hi,j，Ci,j分别表示Resnet网络内各个特征图的尺寸(宽度，高度，通道数)。此外，
Figure BDA0003023003860000095
对Resnet网络第i块第j卷积层获得的特征图。
区域损失：我们注意到图像的不同区域的亮度会存在差异，简单的把图像看作一个整体进行亮度增强难以达到良好的增强效果。为了达到暗光增强效果，网络的训练需要更多地关注图像中低亮度区域。因此，我们参考了MBLLEN[23]所采用的区域损失，用于平衡图像中低亮度区域和其他区域之间的增强力度。为了达到此目的，我们首先将图像的像素点根据亮度值大小进行排列，选择前40％最暗的像素作为低亮度区域，从而把低亮度区域与图像的其他部分分开。然后，根据不同亮度区域所需要增强力度进行权重的分配。最后，区域损失定义如下:
Figure BDA0003023003860000096
其中，Fl和Tl分别是增强图像和参考图像的弱光区域，Fh和Gh分别是增强图像和参考图像的其余部分。本文中，建议wl＝4，wh＝1。
其中一个实施例中，还包括：根据预先构建的损失函数和预测增强图，采用了学习率衰减策略对弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个具体实施例中，采用NVIDIA GTX 1080Ti GPU进行网络模型训练，图像数据集采用MBLLEN所处理过的公开数据集PASCAL VOC，其中包含了16925幅大小为256×256×3图像。将输入图像值归一化，并且进行分批量训练，Batch size设置为16。在实验中，使用ADAM优化器进行训练，学习率为α＝0.002，β1＝0.9，β2＝0.999，ε＝108。采用学习率衰减策略，在每个训练轮次之后将学习率降低到原来的95％，使得后期的训练达到最优。如图3所示，从实验结果可以看出，本方法不仅提高了输入图像的亮度，而且具有良好的亮度/对比度和更少的伪像，退化现象明显消除，具有更好的视觉效果。
在一个实施例中，如图4所示，提供了一种基于U-net++网络的弱光图像增强装置，包括：样本获取模块402、亮度增强模块404、细节重建模块406、训练模块408和使用模块410，其中：
样本获取模块402，用于获取弱光图像样本，将弱光图像样本输入到弱光图像增强网络模型中；弱光图像增强网络模型包括：基于U-net++网络的深层密集连接网络、多层全卷积层网络；深层密集连接网络包括：一路级联编码器、多路级联解码器和跳跃连接结构；
亮度增强模块404，用于通过级联编码器对弱光图像样本进行处理，得到多个层次的下采样特征图；通过多路级联解码器对多个层次的下采样特征图进行处理，得到多个层次的上采样特征图；通过跳跃连接结构将下采样特征图连接到相同层次的上采样特征图进行累加；通过深层密集连接网络得到亮度增强特征图；
细节重建模块406，用于将弱光图像样本和亮度增强特征图输入到多层全卷积层网络进行细节重建，得到预测增强图；
训练模块408，用于根据预先构建的损失函数和预测增强图，对弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；
使用模块410，用于通过训练好的弱光图像增强网络模型进行弱光图像的增强。
亮度增强模块404还用于通过级联编码器对弱光图像样本进行处理，得到多个层次的下采样特征图；级联编码器采用步幅为2的卷积层实现图像下采样。
细节重建模块406还用于将弱光图像样本和亮度增强特征图输入到多层全卷积层网络进行细节重建，得到预测增强图；多层全卷积层网络为带有ReLU函数的5个卷积层。
训练模块408还用于根据预先构建的损失函数和预测增强图，对弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；损失函数由四部分构成，包括均值误差、感知损失、结构损失和区域损失。
训练模块408还用于根据预先构建的损失函数和预测增强图，对弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；损失函数由四部分构成，包括均值误差、感知损失、结构损失和区域损失；感知损失由预先训练的Resnet50网络的ReLU激活层的输出来定义。
训练模块408还用于根据预先构建的损失函数和预测增强图，对弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；损失函数由四部分构成，包括均值误差、感知损失、结构损失和区域损失；结构损失采用图像质量评估算法SSIM来建立。
关于基于U-net++网络的弱光图像增强装置的具体限定可以参见上文中对于基于U-net++网络的弱光图像增强方法的限定，在此不再赘述。上述基于U-net++网络的弱光图像增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于U-net++网络的弱光图像增强方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于U-net++网络的弱光图像增强方法，其特征在于，所述方法包括：
获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强网络模型中；所述弱光图像增强网络模型包括：基于U-net++网络的深层密集连接网络、多层全卷积层网络；所述深层密集连接网络包括：一路级联编码器、多路级联解码器和跳跃连接结构；
通过所述级联编码器对所述弱光图像样本进行处理，得到多个层次的下采样特征图；通过所述多路级联解码器对所述多个层次的下采样特征图进行处理，得到多个层次的上采样特征图；通过所述跳跃连接结构将所述下采样特征图连接到相同层次的所述上采样特征图进行累加；通过所述深层密集连接网络得到亮度增强特征图；
将所述弱光图像样本和所述亮度增强特征图输入到所述多层全卷积层网络进行细节重建，得到预测增强图；
根据预先构建的损失函数和所述预测增强图，对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；
通过训练好的弱光图像增强网络模型进行弱光图像的增强。
2.根据权利要求1所述的方法，其特征在于，通过所述级联编码器对所述弱光图像样本进行处理，得到多个层次的下采样特征图，包括：
通过所述级联编码器对所述弱光图像样本进行处理，得到多个层次的下采样特征图；所述级联编码器采用步幅为2的卷积层实现图像下采样。
3.根据权利要求2所述的方法，其特征在于，将所述弱光图像样本和所述亮度增强特征图输入到所述多层全卷积层网络进行细节重建，得到预测增强图，包括：
将所述弱光图像样本和所述亮度增强特征图输入到所述多层全卷积层网络进行细节重建，得到预测增强图；所述多层全卷积层网络为带有ReLU函数的5个卷积层。
4.根据权利要求3所述的方法，其特征在于，根据预先构建的损失函数和所述预测增强图，对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型，包括：
根据预先构建的损失函数和所述预测增强图，对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；所述损失函数由四部分构成，包括均值误差、感知损失、结构损失和区域损失。
5.根据权利要求4所述的方法，其特征在于，根据预先构建的损失函数和所述预测增强图，对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；所述损失函数由四部分构成，包括均值误差、感知损失、结构损失和区域损失，包括：
根据预先构建的损失函数和所述预测增强图，对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；所述损失函数由四部分构成，包括均值误差、感知损失、结构损失和区域损失；所述感知损失由预先训练的Resnet50网络的ReLU激活层的输出来定义。
6.根据权利要求4所述的方法，其特征在于，根据预先构建的损失函数和所述预测增强图，对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；所述损失函数由四部分构成，包括均值误差、感知损失、结构损失和区域损失，包括：
根据预先构建的损失函数和所述预测增强图，对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；所述损失函数由四部分构成，包括均值误差、感知损失、结构损失和区域损失；所述结构损失采用图像质量评估算法SSIM来建立。
7.根据权利要求1至6任一项所述的方法，其特征在于，根据预先构建的损失函数和所述预测增强图，对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型，包括：
根据预先构建的损失函数和所述预测增强图，采用了学习率衰减策略对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型。
8.一种基于U-net++网络的弱光图像增强装置，其特征在于，所述装置包括：
样本获取模块，用于获取弱光图像样本，将所述弱光图像样本输入到弱光图像增强网络模型中；所述弱光图像增强网络模型包括：基于U-net++网络的深层密集连接网络、多层全卷积层网络；所述深层密集连接网络包括：一路级联编码器、多路级联解码器和跳跃连接结构；
亮度增强模块，用于通过所述级联编码器对所述弱光图像样本进行处理，得到多个层次的下采样特征图；通过所述多路级联解码器对所述多个层次的下采样特征图进行处理，得到多个层次的上采样特征图；通过所述跳跃连接结构将所述下采样特征图连接到相同层次的所述上采样特征图进行累加；通过所述深层密集连接网络得到亮度增强特征图；
细节重建模块，用于将所述弱光图像样本和所述亮度增强特征图输入到所述多层全卷积层网络进行细节重建，得到预测增强图；
训练模块，用于根据预先构建的损失函数和所述预测增强图，对所述弱光图像增强网络模型进行训练，得到训练好的弱光图像增强网络模型；
使用模块，用于通过训练好的弱光图像增强网络模型进行弱光图像的增强。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110407894.6A 2021-04-15 2021-04-15 基于U-net++网络的弱光图像增强方法和装置 Active CN112991227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110407894.6A CN112991227B (zh) 2021-04-15 2021-04-15 基于U-net++网络的弱光图像增强方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110407894.6A CN112991227B (zh) 2021-04-15 2021-04-15 基于U-net++网络的弱光图像增强方法和装置

Publications (2)

Publication Number Publication Date
CN112991227A CN112991227A (zh) 2021-06-18
CN112991227B true CN112991227B (zh) 2022-09-09

Family

ID=76340665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110407894.6A Active CN112991227B (zh) 2021-04-15 2021-04-15 基于U-net++网络的弱光图像增强方法和装置

Country Status (1)

Country Link
CN (1) CN112991227B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628215B (zh) * 2021-06-29 2022-10-04 展讯通信（上海）有限公司 图像处理方法、系统、设备及存储介质
CN113674190B (zh) * 2021-08-20 2022-09-16 中国人民解放军国防科技大学 基于密集连接生成对抗网络的图像融合方法和装置
CN113674191B (zh) * 2021-08-23 2022-09-16 中国人民解放军国防科技大学 一种基于条件对抗网络的弱光图像增强方法和装置
CN113761771B (zh) * 2021-09-16 2024-05-28 中国人民解放军国防科技大学 多孔材料吸声性能预测方法、装置、电子设备和存储介质
CN115171079B (zh) * 2022-09-08 2023-04-07 松立控股集团股份有限公司 一种基于夜间场景的车辆检测方法
CN117237859B (zh) * 2023-11-14 2024-02-13 南京信息工程大学 基于低光照增强的夜间高速公路雾天能见度检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087269B (zh) * 2018-08-21 2020-08-04 厦门美图之家科技有限公司 弱光图像增强方法及装置
CN112348747A (zh) * 2019-08-08 2021-02-09 苏州科达科技股份有限公司 图像增强方法、装置及存储介质
CN111028163B (zh) * 2019-11-28 2024-02-27 湖北工业大学 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN112001863B (zh) * 2020-08-28 2023-06-16 太原科技大学 一种基于深度学习的欠曝光图像恢复方法

Also Published As

Publication number Publication date
CN112991227A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112991227B (zh) 基于U-net++网络的弱光图像增强方法和装置
CN111311629B (zh) 图像处理方法、图像处理装置及设备
US20230080693A1 (en) Image processing method, electronic device and readable storage medium
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN112164011B (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN113674191B (zh) 一种基于条件对抗网络的弱光图像增强方法和装置
CN112541877B (zh) 基于条件生成对抗网络的去模糊方法、系统、设备及介质
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN113344773B (zh) 基于多级对偶反馈的单张图片重构hdr方法
CN116051428B (zh) 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN111372006B (zh) 一种面向移动端的高动态范围成像方法及系统
CN113450290A (zh) 基于图像修补技术的低照度图像增强方法及系统
CN111105376A (zh) 基于双分支神经网络的单曝光高动态范围图像生成方法
López-Tapia et al. A single video super-resolution GAN for multiple downsampling operators based on pseudo-inverse image formation models
Dhara et al. Exposedness-based noise-suppressing low-light image enhancement
CN115035011A (zh) 一种融合策略下自适应RetinexNet的低照度图像增强方法
Liu et al. Facial image inpainting using multi-level generative network
CN112200719B (zh) 图像处理方法、电子设备及可读存储介质
CN114240767A (zh) 一种基于曝光融合的图像宽动态范围处理方法及装置
Zheng et al. Windowing decomposition convolutional neural network for image enhancement
Wang et al. Learning a self‐supervised tone mapping operator via feature contrast masking loss
CN112950497A (zh) 图像处理方法、装置、电子设备及存储介质
CN114830168A (zh) 图像重建方法、电子设备和计算机可读存储介质
CN116402721A (zh) 基于对比感知损失的水下图像增强方法
CN116523787A (zh) 基于lab空间和多尺度特征金字塔的低照度图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant