CN115170415A - 一种低光照图像增强方法、系统及可读存储介质 - Google Patents

一种低光照图像增强方法、系统及可读存储介质 Download PDF

Info

Publication number
CN115170415A
CN115170415A CN202210756511.0A CN202210756511A CN115170415A CN 115170415 A CN115170415 A CN 115170415A CN 202210756511 A CN202210756511 A CN 202210756511A CN 115170415 A CN115170415 A CN 115170415A
Authority
CN
China
Prior art keywords
illumination
image
target
reflectivity
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210756511.0A
Other languages
English (en)
Inventor
罗玉
游璧佳
凌捷
柳毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210756511.0A priority Critical patent/CN115170415A/zh
Publication of CN115170415A publication Critical patent/CN115170415A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供的一种低光照图像增强方法、系统及可读存储介质，该方法包括获取低光照图像；确定目标深度曲线估计网络，并通过目标深度曲线估计网络对低光照图像进行无监督光照增强处理，得到相应的增亮图像；确定目标分解网络，并通过目标分解网络分别对低光照图像、以及增亮图像进行反射率的分解处理，得到对应反射率取值保持一致性的目标低光照反射率和目标增强图反射率；在确定光照增强后得到的目标反射率图像中存在模糊点和/或噪声点时，通过预先构建好的目标修复网络对目标反射率图像进行修复处理，以得到最优的图像增强效果。

Description

一种低光照图像增强方法、系统及可读存储介质
技术领域
本申请涉及微光图像处理技术领域，具体而言，涉及一种低光照图像增强方法、系统及可读存储介质。
背景技术
在过去的几十年里，许多研究者致力于微光图像增强。最早的方法是直接放大全局照明。后来，则是通过直方图均衡化(HE)方法扩展了图像的动态范围，但是它们的结果可能呈现带有放大的强噪声的不期望的照明。
目前，随着CNN(卷积神经网络)在图像领域的广泛使用，2018年第一篇基于Retinex理论结合CNN的Retinex-Net模型诞生。然而，当前的基于Retinex理论的低光增强模型中，针对亮黑暗区域后，如何消除之前隐藏在黑暗中的噪声和色彩失真等退化现象，以及如何仅通过查看两个/几个不同的示例，来训练一个没有明确定义的地面真实光照条件的模型以增强低光照图像，仍然没有得到很好的处理。另外，因为分解网络的缺点，得到的反射率总是不可避免的出现噪声点退化现象，存在图像增强效果不佳的问题。
发明内容
本申请实施例的目的在基于提供一种低光照图像增强方法、系统及可读存储介质，可以提高图像增强效果。
本申请实施例提供了一种低光照图像增强方法，包括以下步骤：
获取低光照图像；
确定目标深度曲线估计网络，并通过所述目标深度曲线估计网络对所述低光照图像进行无监督光照增强处理，得到相应的目标增亮图像；
确定目标分解网络，并通过所述目标分解网络分别对所述低光照图像、以及所述增亮图像进行反射率的分解处理，得到对应反射率取值保持一致性的目标低光照反射率和目标增强图反射率；
在确定光照增强后得到的目标反射率图像中存在模糊点和/或噪声点时，通过预先构建好的目标修复网络对所述目标反射率图像进行修复处理，以得到最优的图像增强效果。
第二方面，本申请实施例还提供了一种低光照图像增强系统，所述系统包括数据获取模块、光照增强模块、反射率分解处理模块以及增强优化模块，其中
所述数据获取模块，用于获取低光照图像；
所述光照增强模块，用于确定目标深度曲线估计网络，并通过所述目标深度曲线估计网络对所述低光照图像进行无监督光照增强处理，得到相应的增亮图像；
所述反射率分解处理模块，用于确定目标分解网络，并通过所述目标分解网络分别对所述低光照图像、以及所述增亮图像进行反射率的分解处理，得到对应反射率取值保持一致性的目标低光照反射率和目标增强图反射率；
所述增强优化模块，用于在确定光照增强后得到的目标反射率图像中存在模糊点和/或噪声点时，通过预先构建好的目标修复网络对所述目标反射率图像进行修复处理，以得到最优的图像增强效果。
第三方面，本申请实施例还提供了一种可读存储介质，所述可读存储介质中包括低光照图像增强方法程序，所述低光照图像增强方法程序被处理器执行时，实现如上述任一项所述的一种低光照图像增强方法的步骤。
由上可知，本申请实施例提供的一种低光照图像增强方法、系统及可读存储介质，利用分解网络和修复网络强大的深度学习能力，对不同照度下分解得到的反射率进行联合训练，一方面利用不同照度图片的反射率应当保持一致特性构建相似性约束函数，在保证光照增强的精准度的同时，通过深度学习的拟合能力学习到图片最干净底层的反射率。另一方面，还在确定光照增强后得到的目标反射率图像中存在模糊点和/或噪声点时，通过修复网络对光照增强后得到的目标反射率图像进行修复优化，以此来得到更高质量的反射率，提高了图像增强效果。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种低光照图像增强方法的流程图；
图2为本申请实施例提供的深度曲线估计网络的结构示意图；
图3为本申请实施例提供的分解网络的结构示意图；
图4为本申请实施例提供的修复网络的结构示意图；
图5为本申请实施例提供的整体网络系统的结构示意图；
图6为本申请实施例提供的一种低光照图像增强系统的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种低光照图像增强方法的流程图。以该方法应用于计算机设备(该计算机设备具体可以是终端或服务器，终端具体可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群)为例进行说明，包括以下步骤：
步骤S100，获取低光照图像。
步骤S200，确定目标深度曲线估计网络，并通过目标深度曲线估计网络对低光照图像进行无监督光照增强处理，得到相应的增亮图像。
步骤S300，确定目标分解网络，并通过目标分解网络分别对低光照图像、以及增亮图像进行反射率的分解处理，得到对应反射率取值保持一致性的目标低光照反射率和目标增强图反射率。
步骤S400，在确定光照增强后得到的目标反射率图像中存在模糊点和/或噪声点时，通过预先构建好的目标修复网络对目标反射率图像进行修复处理，以得到最优的图像增强效果。
由上可知，本申请实施例提供的一种低光照图像增强方法，利用分解网络和修复网络强大的深度学习能力，对不同照度下分解得到的反射率进行联合训练，一方面利用不同照度图片的反射率应当保持一致特性构建相似性约束函数，在保证光照增强的精准度的同时，通过深度学习的拟合能力学习到图片最干净底层的反射率。另一方面，还在确定光照增强后得到的目标反射率图像中存在模糊点和/或噪声点时，通过修复网络对光照增强后得到的目标反射率图像进行修复优化，以此来得到更高质量的反射率，提高了图像增强效果。
在其中一个实施例中，步骤S200中，通过目标深度曲线估计网络对低光照图像进行无监督光照增强处理，得到相应的增亮图像，包括：
步骤S2001，将低光照图像作为目标深度曲线估计网络的输入，并通过目标深度曲线估计网络对输入图像进行处理，得到相应的最优拟合光增强曲线。
具体的，请参考图2，计算机设备在对输入图像进行光照增强处理时，使用包含五层卷积网络的深度曲线估计网络，以此来得到该输入图像对应的一组最佳拟合光增强曲线LE。
步骤S2002，通过迭代应用最优拟合光增强曲线，来映射输入图像的颜色通道中包含的所有像素，以得到相应的增亮图像。
具体的，上述的颜色通道可以为RGB通道(即红、绿、蓝三个通道)，需要说明的是，RGB通道是一种加色模型，其将红(Red)、绿(Green)、蓝(Blue)三原色的色光以不同的比例相加，以合成产生各种色彩光。
在其中一个实施例中，计算机设备通过迭代地应用得到的最优拟合光增强曲线，来映射输入图像中的所有像素，以获得最终的增亮图像。其中，为了保证增强图的质量，在网络模型训练的过程中，还可以使用多个针对该网络模型的损失函数进行损失约束约束，以保证光照增强的精准度。
上述实施例，通过深度曲线估计网络对获取到的低光照图像进行无监督光照增强的预处理，得到光照增强后的增亮图像，其中，该增亮图像可作为有监督学习时配对的标准光照图像，可用于监督后续的分解效果。
在其中一个实施例中，步骤S2001中，确定目标深度曲线估计网络，包括：
步骤S20011，构建初始深度曲线估计网络，其中，初始深度曲线估计网络由多层卷积网络构成。
步骤S20012，获取用于进行网络训练的低光照训练图像，并通过初始深度曲线估计网络对低光照训练图像进行光照增强的训练处理，其中，训练过程中，根据预先构建的第一目标损失函数对所述初始深度曲线估计网络进行约束，保证光照增强的精准度，所述第一目标损失函数包括空间一致性损失函数、曝光控制损失函数、颜色一致性损失函数以及照明平滑度损失函数。
步骤S20013，在达到预设的第一训练结束条件时，输出、并确定所需的目标深度曲线估计网络。
上述实施例，通过构建损失函数来对深度曲线估计网络进行损失约束，保证了光照增强的精准度，为后续的反射率分解提供了良好的数据基础，保证了数据分析的准确性。
在其中一个实施例中，所述第一目标损失函数包括：
根据训练所得的增亮图像、与低光照训练图像之间的局部差异性所确定的空间一致性损失函数。
根据训练所得的增亮图像中的局部区域产生的平均强度值所确定的曝光控制损失函数。
根据训练所得的增亮图像中相应颜色通道产生的平均强度值所确定的颜色一致性损失函数。
根据综合经由水平梯度操作、以及垂直梯度操作处理所得的结果的所确定的照明平滑度损失函数。
在其中一个实施例中，空间一致性损失函数的参考公式，包括：
Figure BDA0003722672710000061
其中，Lspa为空间一致性损失函数，K为局部区域的总数量，Ω(i)为以i为中心的四个相邻区域，Y和I分别代表训练所得的增亮图像、以及低光照训练图像。
曝光控制损失函数的参考公式，包括
Figure BDA0003722672710000071
其中，Lexp为曝光控制损失函数，M为不重叠局部区域的总数量，Yk为训练所得的增亮图像中局部区域k产生的强度值。
颜色一致性损失函数的参考公式，包括：
Figure BDA0003722672710000072
其中，Lcol为颜色一致性损失函数，Jp、Jq均为训练所得的增亮图像中相应通道p、q产生的强度值。
照明平滑度损失函数的参考公式，包括：
Figure BDA0003722672710000073
其中，LtvA为照明平滑度损失函数，A为所得的拟合光增强曲线的参考图，N为预设的最大迭代次数，
Figure BDA0003722672710000074
和
Figure BDA0003722672710000075
分别为水平梯度操作以及垂直梯度操作。
在其中一个实施例中，步骤S300中，确定目标分解网络，包括：
步骤S3001，构建初始分解网络，初始分解网络包括对应于反射处理的反射率分支网络、以及对应于照明处理的照明分支网络，其中，反射率分支网络由包括卷积层和sigmoid层构成的多层U-Net网络组成，照明分支网络由反射率分支网络的级联特征图上的两个conv+Relu层和一个conv层组成。
具体的，分解网络的结构示意图可以参考图3。
在其中一个实施例中，根据Retinex理论可知，每张图片均由反射率R和照度图I组成。由此，在进行网络结构设计的时候，考虑将分解网络分解为一个对应于反射率处理的反射分支、以及对应于照明处理的照明分支，在其中一个实施例中，反射率分支采用典型的五层U-Net网络，其中，U-Net网络包含卷积层和sigmoid层。照明分支则由反射率分支的级联特征图上的两个conv+Relu层和一个conv层所组成，且最终是由sigmoid层输出处理结果。
步骤S3002，获取低光照训练图像、以及损失后训练输出的增亮训练图像，并通过初始分解网络对低光照训练图像、以及增亮训练图像进行反射率的分解训练处理，其中，训练过程中，结合不同照度图像之间的反射率保持一致的原则构建相似性约束损失函数，通过调整网络模型的参数，以保证所得低光照训练反射率与对应增强训练反射率之间的取值一致性。
具体的，由于不同照度图片的反射率应当保持一致性，当前实施例中，将其作为约束条件，并根据学习到的不同照度图片的反射率识别结果构建相似性约束损失函数，通过不断的梯度迭代来优化模型参数，以通过深度学习的拟合能力去学习图片最干净底层的反射率。
步骤S3003，在达到预设的第二训练结束条件时，输出、并确定所需的目标分解网络。
上述实施例，结合深度学习的拟合能力，去学习图片最干净底层的反射率，能够有效提高增强图反射率的识别准确度，保证了分析准确度，提高图像增强效果。
在其中一个实施例中，步骤S3002中，在训练初始分解网络的过程中，该方法还包括：
步骤S30021，构建第二目标损失函数，以通过所述第二目标损失函数对所述初始分解网络进行约束，避免在光照影响的情况下，降低取值准确度，其中，所述第二目标损失函数包括重建损失函数、局部阶段性光滑损失函数、以及反射率的梯度对比损失函数。
具体的：
(1)重建损失程度的计算公式可以参考：
Lrecon＝||S-R·I||；
其中，Lrecon为重建损失函数，S为分解的图片，R为分解得到的反射率，I为分解得到的照度图。
(2)局部阶段性光滑损失程度的计算公式可以参考：
Figure BDA0003722672710000091
其中，LR为局部阶段性光滑损失函数，c分别为R、G、B通道，F(*)表示图像“*”的直方图均衡化算子，λ为预设的权重参数。
(3)反射率的梯度对比损失程度的的计算公式可以参考：
Figure BDA0003722672710000095
综上，本申请实施例公开的分解网络的总损失函数可以表示为：
Ldecom＝Lrecon+λ1LR+λ2LI；
其中，一方面，本申请实施例对权重参数的具体取值不作限定，不同实施例中，可以结合网络训练情况进行调整，但其限定范围在0～1之间。另一方面，上述的总损失函数意味着反射率的最大通道应该符合低光图像的最大通道，并具有最大熵。
在其中一个实施例中，目标修复网络由九个卷积单元构成，其中，每个卷积单元包括多个conv+Relu层、以及max pooling层；在对预先构建好的初始修复网络进行训练的过程中，该方法还包括：通过根据所得的网络修复的反射率、以及增亮图的反射率之间的差异程度构建的第三目标损失函数进行网络约束，以保证图像修复精准度，并在达到预设的训练结束条件时，输出、并确定所需的目标修复网络。
具体的，请参考图4和图5，图像修复的原理可以理解为：由计算机设备将增强后得到的反射率图来约束低光照得到反射率图的修复，同时输入相应的照度图辅助其修复得到更高品质的反射率图。
在其中一个实施例中，第三目标损失函数的参考计算公式包括：
Figure BDA0003722672710000092
其中，
Figure BDA0003722672710000093
为网络修复的反射率，Rh为作为对比的增亮图的反射率，
Figure BDA0003722672710000094
为梯度操作计算符，SSIM(*)为计算“*”的结构相似性度。
上述实施例，通过对不同照度下分解的反射率建立联合训练模型，并利用结构相似性约束不同照度图片的分解，再对得到的反射率进行修复优化，使得在大量数据集的数据驱动下，能够训练出结合反射率一致性共同向最佳反射率逼近的深度学习网络，与单一反射率学习最佳反射率的模型对比达到更高质量的增强效果。
请参照图6所示，本申请实施例还提供了一种低光照图像增强系统600，该系统600包括数据获取模块601、光照增强模块602、反射率分解处理模块603以及增强优化模块604，其中
数据获取模块601，用于获取低光照图像。
光照增强模块602，用于确定目标深度曲线估计网络，并通过目标深度曲线估计网络对低光照图像进行无监督光照增强处理，得到相应的增亮图像。
反射率分解处理模块603，用于确定目标分解网络，并通过目标分解网络分别对低光照图像、以及增亮图像进行反射率的分解处理，得到对应反射率取值保持一致性的目标低光照反射率和目标增强图反射率。
增强优化模块604，用于在确定光照增强后得到的目标反射率图像中存在模糊点和/或噪声点时，通过预先构建好的目标修复网络对目标反射率图像进行修复处理，以得到最优的图像增强效果。
上述低光照图像增强系统，利用分解网络和修复网络强大的深度学习能力，对不同照度下分解得到的反射率进行联合训练，一方面利用不同照度图片的反射率应当保持一致特性构建相似性约束函数，在保证光照增强的精准度的同时，通过深度学习的拟合能力学习到图片最干净底层的反射率。另一方面，还在确定光照增强后得到的目标反射率图像中存在模糊点和/或噪声点时，通过修复网络对光照增强后得到的目标反射率图像进行修复优化，以此来得到更高质量的反射率，提高了图像增强效果。
本申请实施例提供一种可读存储介质，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random AccessMemory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable ProgrammableRead Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
上述可读存储介质，利用分解网络和修复网络强大的深度学习能力，对不同照度下分解得到的反射率进行联合训练，一方面利用不同照度图片的反射率应当保持一致特性构建相似性约束函数，在保证光照增强的精准度的同时，通过深度学习的拟合能力学习到图片最干净底层的反射率。另一方面，还在确定光照增强后得到的目标反射率图像中存在模糊点和/或噪声点时，通过修复网络对光照增强后得到的目标反射率图像进行修复优化，以此来得到更高质量的反射率，提高了图像增强效果。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种低光照图像增强方法，其特征在于，包括以下步骤：
获取低光照图像；
确定目标深度曲线估计网络，并通过所述目标深度曲线估计网络对所述低光照图像进行无监督光照增强处理，得到相应的增亮图像；
确定目标分解网络，并通过所述目标分解网络分别对所述低光照图像、以及所述增亮图像进行反射率的分解处理，得到对应反射率取值保持一致性的目标低光照反射率和目标增强图反射率；
在确定光照增强后得到的目标反射率图像中存在模糊点和/或噪声点时，通过预先构建好的目标修复网络对所述目标反射率图像进行修复处理，以得到最优的图像增强效果。
2.根据权利要求1所述的方法，其特征在于，所述通过所述目标深度曲线估计网络对所述低光照图像进行无监督光照增强处理，得到相应的增亮图像，包括：
将所述低光照图像作为所述目标深度曲线估计网络的输入，并通过所述目标深度曲线估计网络对输入图像进行处理，得到相应的最优拟合光增强曲线；
通过迭代应用所述最优拟合光增强曲线，来映射所述输入图像的颜色通道中包含的所有像素，以得到相应的增亮图像。
3.根据权利要求2所述的方法，其特征在于，所述确定目标深度曲线估计网络，包括：
构建初始深度曲线估计网络，其中，所述初始深度曲线估计网络包括多层卷积网络；
获取用于进行网络训练的低光照训练图像，并通过所述初始深度曲线估计网络对所述低光照训练图像进行光照增强的训练处理，其中，训练过程中，根据预先构建的第一目标损失函数对所述初始深度曲线估计网络进行约束，保证光照增强的精准度，所述第一目标损失函数包括空间一致性损失函数、曝光控制损失函数、颜色一致性损失函数以及照明平滑度损失函数；
在达到预设的第一训练结束条件时，输出、并确定所需的目标深度曲线估计网络。
4.根据权利要求3所述的方法，其特征在于，所述第一目标损失函数包括：
根据训练所得的增亮图像、与低光照训练图像之间的局部差异性所确定的空间一致性损失函数；
根据训练所得的增亮图像中的局部区域产生的平均强度值所确定的曝光控制损失函数；
根据训练所得的增亮图像中相应颜色通道产生的平均强度值所确定的颜色一致性损失函数；
根据综合经由水平梯度操作、以及垂直梯度操作处理所得的结果的所确定的照明平滑度损失函数。
5.根据权利要求4所述的方法，其特征在于，所述空间一致性损失函数的参考公式，包括：
Figure FDA0003722672700000021
其中，Lspa为空间一致性损失函数，K为局部区域的总数量，Ω(i)为以i为中心的四个相邻区域，Y和I分别代表训练所得的增亮图像、以及低光照训练图像；
所述曝光控制损失函数的参考公式，包括
Figure FDA0003722672700000022
其中，Lexp为曝光控制损失函数，M为不重叠局部区域的总数量，Yk为训练所得的增亮图像中局部区域k产生的强度值；
所述颜色一致性损失函数的参考公式，包括：
Figure FDA0003722672700000023
其中，Lcol为颜色一致性损失函数，Jp、Jq均为训练所得的增亮图像中相应通道p、q产生的强度值；
所述照明平滑度损失函数的参考公式，包括：
Figure FDA0003722672700000031
其中，LtvA为照明平滑度损失函数，A为所得的拟合光增强曲线的参考图，N为预设的最大迭代次数，
Figure FDA0003722672700000032
和
Figure FDA0003722672700000033
分别为水平梯度操作以及垂直梯度操作。
6.根据权利要求1所述的方法，其特征在于，所述确定目标分解网络，包括：
构建初始分解网络，所述初始分解网络包括对应于反射处理的反射率分支网络、以及对应于照明处理的照明分支网络，其中，所述反射率分支网络由包括由卷积层和sigmoid层构成的多层U-Net网络组成，所述照明分支网络由所述反射率分支网络的级联特征图上的两个conv+Relu层和一个conv层组成；
获取低光照训练图像、以及损失后训练输出的增亮训练图像，并通过所述初始分解网络对所述低光照训练图像、以及所述增亮训练图像进行反射率的分解训练处理，其中，训练过程中，结合不同照度图像之间的反射率保持一致的原则构建相似性约束损失函数，通过调整网络模型的参数，以保证所得低光照训练反射率与对应增强训练反射率之间的取值一致性；
在达到预设的第二训练结束条件时，输出、并确定所需的目标分解网络。
7.根据权利要求6所述的方法，其特征在于，在训练所述初始分解网络的过程中，所述方法还包括：
构建第二目标损失函数，以通过所述第二目标损失函数对所述初始分解网络进行约束，避免在光照影响的情况下，降低取值准确度，其中，所述第二目标损失函数包括重建损失函数、局部阶段性光滑损失函数、以及反射率的梯度对比损失函数。
8.根据权利要求1所述的方法，其特征在于，所述目标修复网络由多个卷积单元构成，其中，每个卷积单元包括多个conv+Relu层、以及max pooling层；在对预先构建好的初始修复网络进行训练的过程中，所述方法还包括：
通过根据所得的网络修复的反射率、以及增亮图的反射率之间的差异程度构建的第三目标损失函数进行网络约束，以保证图像修复精准度，并在达到预设的训练结束条件时，输出、并确定所需的目标修复网络。
9.一种低光照图像增强系统，其特征在于，所述系统包括数据获取模块、光照增强模块、反射率分解处理模块以及增强优化模块，其中
所述数据获取模块，用于获取低光照图像；
所述光照增强模块，用于确定目标深度曲线估计网络，并通过所述目标深度曲线估计网络对所述低光照图像进行无监督光照增强处理，得到相应的增亮图像；
所述反射率分解处理模块，用于确定目标分解网络，并通过所述目标分解网络分别对所述低光照图像、以及所述增亮图像进行反射率的分解处理，得到对应反射率取值保持一致性的目标低光照反射率和目标增强图反射率；
所述增强优化模块，用于在确定光照增强后得到的目标反射率图像中存在模糊点和/或噪声点时，通过预先构建好的目标修复网络对所述目标反射率图像进行修复处理，以得到最优的图像增强效果。
10.一种可读存储介质，其特征在于，所述可读存储介质中包括低光照图像增强方法程序，所述低光照图像增强方法程序被处理器执行时，实现如权利要求1至8中任一项所述的方法的步骤。
CN202210756511.0A 2022-06-30 2022-06-30 一种低光照图像增强方法、系统及可读存储介质 Pending CN115170415A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210756511.0A CN115170415A (zh) 2022-06-30 2022-06-30 一种低光照图像增强方法、系统及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210756511.0A CN115170415A (zh) 2022-06-30 2022-06-30 一种低光照图像增强方法、系统及可读存储介质

Publications (1)

Publication Number Publication Date
CN115170415A true CN115170415A (zh) 2022-10-11

Family

ID=83489092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210756511.0A Pending CN115170415A (zh) 2022-06-30 2022-06-30 一种低光照图像增强方法、系统及可读存储介质

Country Status (1)

Country Link
CN (1) CN115170415A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117006947A (zh) * 2023-06-05 2023-11-07 西南交通大学 一种低光照图像增强的高层建筑结构位移测量方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117006947A (zh) * 2023-06-05 2023-11-07 西南交通大学 一种低光照图像增强的高层建筑结构位移测量方法及系统
CN117006947B (zh) * 2023-06-05 2024-03-29 西南交通大学 一种低光照图像增强的高层建筑结构位移测量方法及系统

Similar Documents

Publication Publication Date Title
Ma et al. Deep guided learning for fast multi-exposure image fusion
Zhao et al. Pixelated semantic colorization
CN110889813A (zh) 基于红外信息的低光图像增强方法
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
Liu et al. LAE-Net: A locally-adaptive embedding network for low-light image enhancement
Liu et al. Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives
Wang et al. MAGAN: Unsupervised low-light image enhancement guided by mixed-attention
CN113129236B (zh) 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统
Huang et al. Low light image enhancement network with attention mechanism and retinex model
Feng et al. Low-light image enhancement based on multi-illumination estimation
Lepcha et al. A deep journey into image enhancement: A survey of current and emerging trends
Veluchamy et al. Optimized Bezier curve based intensity mapping scheme for low light image enhancement
Shutova et al. NTIRE 2023 challenge on night photography rendering
Lv et al. Low-light image enhancement via deep Retinex decomposition and bilateral learning
Song et al. Multi-scale joint network based on Retinex theory for low-light enhancement
Liu et al. Progressive complex illumination image appearance transfer based on CNN
Almutiry et al. Underwater images contrast enhancement and its challenges: a survey
Wei et al. An image fusion dehazing algorithm based on dark channel prior and retinex
CN115170415A (zh) 一种低光照图像增强方法、系统及可读存储介质
Cui et al. A novel underwater image restoration method based on decomposition network and physical imaging model
Liu et al. A shadow imaging bilinear model and three-branch residual network for shadow removal
Wang et al. Single low-light image brightening using learning-based intensity mapping
Singh et al. Multiscale reflection component based weakly illuminated nighttime image enhancement
Zhang et al. Single image relighting based on illumination field reconstruction
Bhattacharya et al. D2bgan: A dark to bright image conversion model for quality enhancement and analysis tasks without paired supervision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination