CN115063318A - 自适应频率分解的低光照图像增强方法与相关设备 - Google Patents

自适应频率分解的低光照图像增强方法与相关设备 Download PDF

Info

Publication number
CN115063318A
CN115063318A CN202210763940.0A CN202210763940A CN115063318A CN 115063318 A CN115063318 A CN 115063318A CN 202210763940 A CN202210763940 A CN 202210763940A CN 115063318 A CN115063318 A CN 115063318A
Authority
CN
China
Prior art keywords
network
low
adaptive frequency
data set
frequency decomposition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210763940.0A
Other languages
English (en)
Inventor
闫潇宁
陈晓艳
梁禧文
陈文海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Anruan Huishi Technology Co ltd
Original Assignee
Shenzhen Anruan Huishi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Anruan Huishi Technology Co ltd filed Critical Shenzhen Anruan Huishi Technology Co ltd
Priority to CN202210763940.0A priority Critical patent/CN115063318A/zh
Publication of CN115063318A publication Critical patent/CN115063318A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于计算机视觉图像技术领域，提供了一种自适应频率分解的低光照图像增强方法与相关设备，所述方法包括：获取包含不同亮度图像的数据集，并进行预处理，得到训练数据集和测试数据集；构建包含拉普拉斯金字塔层、特征提取层、自适应频率分解层的自适应频率分解网络，同时，以自适应频率分解网络作为生成网络，构建判别器网络；引入生成器损失函数和判别器损失函数，并以训练数据集为自适应频率分解网络和判别器网络整体的输入进行训练，直到训练完成输出得到低光照增强模型，之后，以测试数据集为输入进行低照度增强，计算定量指标。本发明减少了频率分解模型的训练量，且能够挖掘图像的更多潜在信息，提高了图像的低照度增强效果。

Description

自适应频率分解的低光照图像增强方法与相关设备
技术领域
本发明属于计算机视觉图像技术领域，尤其涉及一种自适应频率分解的低光照图像增强方法与相关设备。
背景技术
由于不可避免的环境或技术限制，许多图像往往是在不理想的照明条件下拍摄的，这样的图像往往存在整体偏暗、噪声多、对比度差等问题，这样的图像一方面影响视觉效果，另一方面给后期计算机的高级视觉处理带来困难。而一种高效的低光照图像算法能很好弥补设备上的不足，通过算法对图像的成像质量进行改进，可以提升观感，也能够为后续的高级视觉任务提供预处理，例如目标识别，目标跟踪等。因此，研究低光照图像增强算法是一件具有实际需求且应用广泛的任务。
一般的低光照图像增强手段具有可预见的质量问题，比如在增亮图像整体亮度和对比度的同时，图像黑暗区间的噪声会被放大，使暗部细节丢失。相关算法的研究一开始有两个方向：一种算法基于物理模型，例如直方图均衡化(HE)，主要是通过扩大整个图片的动态范围来提升图像的对比度；另一种算法基于Retinex理论，主要是通过单尺度SSR过滤出低频信息，留下高频信息，从而增强图像的边缘信息，在此基础上，又出现多尺度Retinex(MSR)和带颜色恢复的多尺度Retinex(MSRCR)方法，然而上述方法局限于图片输出的方式，往往出现图像中的部分区域被过度强化，导致图像看起来不自然。随着深度学习技术的发展，一些基于深度学习的低光照图像增强算法也被提出，Lore等人提出的微光网络(LLNet)构建了一个深度网络来对低照度图像做增强和去噪，然而该网络采用的数据集是合成数据集，对真实场景下的图像并不能产生很好地效果；Shen等人将传统的多尺度Retinex(MSR)设计为拥有多个高斯卷积前馈的前馈神经网络，并效仿MSR的流程提出了MSR-Net，实现端到端的图像增强，以上方法较为早期，都属于有监督的方法，使得训练过程比较复杂。有研究者采用对抗生成网络(GAN)的无监督方法构建了一种用于低照度图像增强的网络EnlightenGAN，其不需要配对数据集，只需要提供不成对的低光照数据集和正常光照数据集，就能使网络学习到低光照图像到正常光照之间的非线性映射，无论从主观还是客观都能取到不错的效果；Li等人提出一种无参考的低照度图像方法Zero-DCE，其通过一组无参考损失学习低光照图像与曲线参数之间的映射关系，并通过迭代的方式增强图像亮度和对比度，后续还基于深度可分离卷积提出了Zero-DCE++，但缺点是其模型输出的图像仍不足以达到一个高对比的效果，且存在部分噪点。
比较前沿的研究中，《Learning to Restore Low-Light Images viaDecomposition and Enhancement》一文中设计了一种基于频率的分解增强模型用于增强低照度图像，其在第一阶段提取出低频信息以进行噪声抑制和低频层信息增强，在第二阶段提取出高频信息以进行细节增强。问题在于，这种模型需要大量的试验来确定最佳参数以控制提取多大感受野的高、低频信息，因此不能很好达到一个自适应调节感受野的策略，而且分阶段提取频带信息大大增加了模型训练的难度。
发明内容
本发明实施例提供一种自适应频率分解的低光照图像增强方法与相关设备，旨在解决现有的频率分解增强模型在低照度图像增强的场景下存在的训练量大、频带提取过程较为复杂的问题。
第一方面，本发明实施例提供一种自适应频率分解的低光照图像增强方法，所述方法包括以下步骤：
S101、获取包含多张不同亮度图像的LOL数据集，对LOL数据集进行预处理，得到训练数据集和测试数据集；
S102、构建包含拉普拉斯金字塔层、特征提取层、以及自适应频率分解层的自适应频率分解网络，所述特征提取层包括编码分支和解码分支；所述自适应频率分解网络作为生成对抗网络结构的生成网络，并构建对应所述自适应频率分解网络的判别器网络，所述判别器网络包括全局判别器和局部判别器；
S103、引入生成器损失函数和判别器损失函数，并以所述训练数据集为所述自适应频率分解网络和所述判别器网络整体的输入进行训练，直到训练完成输出得到低光照增强模型，之后，以所述测试数据集为所述低光照增强模型的输入，对图像进行低照度增强，并计算定量指标。
更进一步地，步骤S101中对所述LOL数据集进行预处理的方法包括归一化、随机裁剪和随机水平翻转中的其中至少一种。
更进一步地，所述自适应频率分解网络中，输入的图像经过所述拉普拉斯金字塔层处理得到拉普拉斯残差图，所述拉普拉斯残差图具有浅层特征和深层特征，所述浅层特征和所述深层特征分别满足如下表达式(1)、(2)：
Ik+1＝f↓(Ik) (1)
Lk＝Ik-f↑(Lk+1) (2)
其中，k∈{1,2,3}，f↓()代表双线性差值的下采样，f↑()代表双线性差值的上采样。
更进一步地，所述自适应频率分解层包括低频特征分支和高频特征分支，所述编码分支对所述拉普拉斯残差图进行特征提取得到编码特征，定义所述编码特征为xen，所述低频特征分支和所述高频特征分支分别对所述编码特征进行感知特征提取，得到不同感受野的两组特征，并进一步结合不同感受野的特征得到两组感知特征图Ca，所述感知特征图Ca满足如下关系式(3)：
Figure BDA0003721647210000031
其中，i取值1、2，使用fd1()和fd2()分别计算不同感受野的两组特征，当i取值为1时，f1 d1和f1 d2均表示卷积核大小为3×3、膨胀率为1和6的卷积操作，当i取值2时，f2 d1和f2 d2均表示卷积核大小为3×3、膨胀率为1和12的卷积操作，σ表示线性激活函数Leakyrelu；
将不同的所述感知特征图与所述编码特征在通道维度上进行拼接，得到高频特征和低频特征，所述高频特征和所述低频特征分别满足如下关系式(4)、(5)：
Figure BDA0003721647210000041
Figure BDA0003721647210000042
更进一步地，所述自适应频率分解层得到所述高频特征和所述低频特征后，将所述高频特征和所述低频特征输入一个SE注意力机制中，得到一个全局向量。
更进一步地，定义所述生成器损失函数为Ltotal，且所述生成器损失函数满足如下表达式(6)：
Ltotal＝Lcontent+Lquelity+5×Lmc+Ltv (6)
其中，Lcontent为内容损失，其由重构损失Lrec和感知损失Lvgg组成，Lmc为相互一致性损失，Lquelity为感知质量指标，Ltv为总变分损失，所述感知质量指标Lquelity满足如下表达式(7)：
Lquelity＝LGg+LGl
Figure BDA0003721647210000043
Figure BDA0003721647210000044
表达式(7)中，LGg和LGl分别表示生成对抗网络的全局对抗损失和局部对抗损失，Dg表示所述全局判别器，Dl表示所述局部判别器，E()为均值计算，xr和xf为预设数据样本；
所述判别器损失满足如下表达式(8)：
LD＝LDg+LDl
Figure BDA0003721647210000051
Figure BDA0003721647210000052
更进一步地，所述自适应频率分解网络和所述判别器网络整体进行训练时，使用Adam作为优化器，训练轮数为200轮，其中，训练学习率在前100轮中设置为le-4，并在后100轮内使所述训练学习率逐轮线性衰减至0。
第二方面，本发明实施例还提供一种自适应频率分解的低光照图像增强系统，包括：
数据获取模块，用于获取包含多张不同亮度图像的LOL数据集，对LOL数据集进行预处理，得到训练数据集和测试数据集；
网络构建模块，用于构建包含拉普拉斯金字塔层、特征提取层、以及自适应频率分解层的自适应频率分解网络，所述特征提取层包括编码分支和解码分支；以所述自适应频率分解网络作为生成对抗网络结构的生成网络，并构建对应所述自适应频率分解网络的判别器网络，所述判别器网络包括全局判别器和局部判别器；
网络训练模块，用于引入生成器损失函数和判别器损失函数，并以所述训练数据集为所述自适应频率分解网络和所述判别器网络整体的输入进行训练，直到训练完成输出得到低光照增强模型，之后，以所述测试数据集为所述低光照增强模型的输入，对图像进行低照度增强，并计算定量指标。
第三方面，本发明实施例还提供一种计算机设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例中任意一项所述的自适应频率分解的低光照图像增强方法中的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中任意一项所述的自适应频率分解的低光照图像增强方法中的步骤。
本发明所达到的有益效果，由于在低照度增强网络中采用了拉普拉斯金字塔分支和自适应频率分解模块，能够最大程度地挖掘图像潜在的信息，同时不需要多次试验来确定模型参数，减少了训练量，提高了图像的低照度增强效果。
附图说明
图1是本发明实施例提供的自适应频率分解的低光照图像增强方法的步骤流程框图；
图2是本发明实施例提供的自适应频率分解网络的框架示意图；
图3是本发明实施例提供的自适应频率分解层的结构示意图；
图4是本发明实施例提供的自适应频率分解网络训练数据流示意图；
图5是本发明实施例提供的自适应频率分解的低光照图像增强系统200的结构示意图；
图6是本发明实施例提供的计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参照图1，图1是本发明实施例提供的自适应频率分解的低光照图像增强方法的步骤流程框图，所述方法包括以下步骤：
S101、获取包含多张不同亮度图像的LOL数据集，对LOL数据集进行预处理，得到训练数据集和测试数据集。
具体的，步骤S101中对所述LOL数据集进行预处理的方法包括归一化、随机裁剪和随机水平翻转中的其中至少一种，所述LOL(Low-Light Enhancement)数据集为一种开源数据集，其中包括500张低亮度、高亮度的配对数据，每一图像大小都为400×600，图像格式都为PNG，示例性的，在本发明实施例中对所述LOLO数据集进行预处理后得到485张配对的低照度配对图像和正常照度配对图像，并将这两种图像等分为所述训练数据集和所述测试数据集。
S102、构建包含拉普拉斯金字塔层、特征提取层、以及自适应频率分解层的自适应频率分解网络，所述特征提取层包括编码分支和解码分支；以所述自适应频率分解网络作为生成对抗网络结构的生成网络，并构建对应所述自适应频率分解网络的判别器网络，所述判别器网络包括全局判别器和局部判别器。
具体的，请参照图2，图2是本发明实施例提供的自适应频率分解网络的框架示意图，本发明实施例所使用的所述自适应频率分解网络基于U-Net，U-Net是一种语义分割深度模型，在现有的U-Net模型的基础上，本发明实施例将其作为特征提取层，并额外在其输入层与所述编码分支之间加入所述拉普拉斯金字塔层，使图像得到更明显的分层的特征。
更进一步地，所述自适应频率分解网络中，输入的图像经过所述拉普拉斯金字塔层处理得到拉普拉斯残差图，所述拉普拉斯残差图具有浅层特征和深层特征，所述浅层特征和所述深层特征分别满足如下表达式(1)、(2)：
Ik+1＝f↓(Ik) (1)
Lk＝Ik-f↑(Lk+1) (2)
其中，k∈{1,2,3}，f↓()代表双线性差值的下采样，f↑()代表双线性差值的上采样，在本发明实施例中，L4等于I4，这使得原始图像上采样或下采样输出得到都是16倍大小的图像。
本发明实施例所使用的所述特征提取层使用的卷积核大小为3×3，所述编码分支使用卷积核对所述拉普拉斯残差图进行特征提取。更进一步地，请参照图3，图3是本发明实施例提供的自适应频率分解层的结构示意图，所述自适应频率分解层包括低频特征分支和高频特征分支，所述编码分支对所述拉普拉斯残差图进行特征提取得到编码特征，定义所述编码特征为xen，所述低频特征分支和所述高频特征分支分别对所述编码特征进行感知特征提取，得到不同感受野的两组特征，并进一步结合不同感受野的特征得到两组感知特征图Ca，所述感知特征图Ca满足如下关系式(3)：
Figure BDA0003721647210000081
其中，i取值1、2，使用fd1()和fd2()分别计算不同感受野的两组特征，当i取值为1时，f1 d1和f1 d2均表示卷积核大小为3×3、膨胀率为1和6的卷积操作，当i取值2时，f2 d1和f2 d2均表示卷积核大小为3×3、膨胀率为1和12的卷积操作，σ表示线性激活函数Leakyrelu；
将不同的所述感知特征图与所述编码特征在通道维度上进行拼接，得到高频特征和低频特征，所述高频特征和所述低频特征分别满足如下关系式(4)、(5)：
Figure BDA0003721647210000082
Figure BDA0003721647210000083
具体的，所述感知特征图Ca是像素对比信息，高频、低频的所述感知特征图区别在于其对比度不同，使用Ca与所述编码特征xen可以提取出高频信息，使用1-Ca同样提取出低频信息，具体是通过自驱动的方式提取不同尺度的、基于频率的感知特征，在通道维度上拼接时，在小尺度上采用(1-Ca)提取低频信息，在大尺度上采用Ca来提取高频信息，从而使最终应用在低照度图像增强时，在低尺度上对图像的低频内容进行增强和噪声抑制，在高尺度上对图像的高频内容进行细节恢复。
更进一步地，所述自适应频率分解层得到所述高频特征和所述低频特征后，将所述高频特征和所述低频特征输入一个SE注意力机制中，得到一个全局向量，所述全局向量最终与原本输入所述自适应频率分解网络的图像进行加权相乘，以体现图像中不同通道的重要性，在本发明实施例中，通过控制加权时的权重，可以调整图像增强时的感受野的表现，示例性的，本发明实施例对不同分支的权重设置权重模板，以达到自适应地选择图像感受野的网络训练策略。
结合图2与图3，本发明实施例提供的所述自适应频率分解层将不同分支、不同卷积率的空洞卷积提取到的所述感知特征图Ca相减后，与输入的特征相乘，得到基于频率的特征，随后将两分支的特征与所述解码分支的上采样特征按通道进行拼接，再经过一个SE模块获取一个全局向量对所有通道进行自适应加权，最后，所述解码分支输出上采样恢复了的残差图像，在本发明实施例中，所述特征提取层输出的所述残差图像与原始输入以及一个可学习参数α相乘后的结果相加，得到图像的最终增强结果，示例性的，本发明实施例中使用的所述可学习参数α初始化时赋值为1，并将其requires_grad属性设置为True，并且在网络训练的最终结果中保存其参数值。
请参照图4，图4是本发明实施例提供的自适应频率分解网络训练数据流示意图，本发明实施例的自适应频率分解网络包括生成对抗网络的结构，用于提升最终的图像视觉效果，示例性的，本发明实施例使用的所述全局判别器是由7个卷积层组成的全卷积网络，所述局部判别器是由6个卷积层组成的全卷积网络，作为判别器，其判别结果的输出通道均为1，用于从全局或局部判别生成器生成的图像是正常亮度的图像还是经过低照度增强后的图像。
S103、引入生成器损失函数和判别器损失函数，并以所述训练数据集为所述自适应频率分解网络和所述判别器网络整体的输入进行训练，直到训练完成输出得到低光照增强模型，之后，以所述测试数据集为所述低光照增强模型的输入，对图像进行低照度增强，并计算定量指标。
更进一步地，基于本发明实施例所使用的数据集以及生成对抗网络的结构，定义所述生成器损失函数为Ltotal，且所述生成器损失函数满足如下表达式(6)：
Ltotal＝Lcontent+Lquelity+5×Lmc+Ltv (6)
其中，Lcontent为内容损失，其由重构损失Lrec和感知损失Lvgg组成，感知损失Lvgg用于计算增强后的图像与参考图像之间的VGG特征距离，以鼓励增强后的图像特征表现尽可能地靠近参考图像，为了恢复图像局部区域的细节，本发明实施例随机提取出图像中五个大小为3232的局部区域计算感知损失，从而约束网络来学习局部信息，所述内容损失Lcontent满足如下表达式：
Lcontent＝Lrec+Lvgg
Figure BDA0003721647210000101
Figure BDA0003721647210000102
其中，Ilow是低照度增强后的图像，Inormal是参考图像，
Figure BDA0003721647210000103
是低照度增强后的图像的局部区域，
Figure BDA0003721647210000104
是参考图像的局部区域，
Figure BDA0003721647210000105
是在ImageNet上预训练的VGG-16模型提取的深度为i、宽度为j的特征图。
Lquelity为感知质量指标，所述感知质量指标Lquelity满足如下表达式(7)：
Lquelity＝LGg+LGl
Figure BDA0003721647210000106
Figure BDA0003721647210000107
表达式(7)中，LGg和LGl分别表示生成对抗网络的全局对抗损失和局部对抗损失，Dg表示所述全局判别器，Dl表示所述局部判别器，E()为均值计算，xr和xf为预设数据样本；
Lmc为相互一致性损失，所述相互一致性损失Lmc满足：
Lmc＝||M*exp(-c*M)||1
Figure BDA0003721647210000108
其中，c为惩罚因子，用于控制函数形状的参数，惩罚因子c取越小，M和L呈比例关系越显著，c取越大，非线性越强；
Ltv为总变分损失，所述总变分损失Ltv满足：
Figure BDA0003721647210000109
其中，
Figure BDA00037216472100001010
是低照度增强后的图像在x轴上的梯度，
Figure BDA00037216472100001011
是低照度增强后的图像在y轴上的梯度，N为批次大小；
所述判别器损失满足如下表达式(8)：
LD＝LDg+LDl
Figure BDA0003721647210000111
Figure BDA0003721647210000112
更进一步地，所述自适应频率分解网络和所述判别器网络整体进行训练时，使用Adam作为优化器，训练轮数为200轮，其中，训练学习率在前100轮中设置为le-4，并在后100轮内使所述训练学习率逐轮线性衰减至0。
示例性的，本发明实施例在训练完成得到的所述低光照增强模型进行定量指标计算，并与现有的多种低光照增强的神经网络模型进行对比，具体包括：LIME、MBLLEN、Retinex-Net、Zero-DCE、EnlightenGAN、Kind和Kind++。本发明实施例所计算的定量指标包括：MAE(平均误差均值)，MSE(方均根误差均值)，PSNR(峰值信噪比)，SSIM(结构相似度)，AB(亮度均值)，LPIPS(学习感知图像块相似度)，NIQE(自然图像质量)。为了从不同的图像中获取到图像增强对比结果，本发明实施例在以下五种公开的自然低光照图像数据集上进行图像增强对比：DICM、Fusion、LIME、low、MEF、NPE。具体的，本发明实施例提供的所述低光照增强模型与现有模型在以上的环境中的指标结果如下表1所示。
表1低光照增强模型与现有模型在以上的环境中的指标结果
Figure BDA0003721647210000113
由于本发明实施例在对比时使用的以上数据集没有配对参考图像，在同本发明实施例的所述低光照增强模型进行指标比对时，采用一种无参考的评价指标NIQE，NIQE越小，说明图像越自然，越接近真实光图像分布。本发明实施例提供的所述低光照增强模型与现有模型在以上的环境中的指标对比结果如下表2所示。可以看到我们的方法在所在数据集上的指标均优于其它方法，证明本发明的所提出方法的有效性。本发明实施例提供的所述低光照增强模型与现有模型在以上的环境中的指标对比结果如下表2所示。
表2低光照增强模型与现有模型在以上的环境中的指标对比结果
NIQE(↓) DCIM Fusion LIME low MEF
MBLLEN 3.6940 4.7166 4.6265 3.9725 4.5147
Retinex-Net 4.4972 4.3378 4.8011 4.0007 5.6886
Kind 3.8612 4.1223 4.3540 3.6267 4.6410
Kind++ 3.1143 3.7137 5.0014 3.3849 4.1043
Ours 3.0008 3.6647 4.1820 3.3429 3.3321
综合以上数据，可以看出本发明实施例提供的所述低光照增强模型在作为对比的数据集上的指标均优于其它神经网络模型。
需要说明的是，本发明实施例提供的所述低光照增强模型在构建时使用U-Net作为特征提取的底层网络，但是底层网络本身的结构并不限制本发明实施例中额外加入的所述拉普拉斯金字塔层、所述自适应频率分解层的使用，示例性的，本发明实施例提供的所述拉普拉斯金字塔层、所述自适应频率分解层的结构还可以应用在ResNet、DenseNet、MobileNets等用于特征提取的网络结构中，同时，在用于图像复原、图像分割的神经网络模型中也可以应用，且能够得到相似的技术效果。
本发明所达到的有益效果，由于在低照度增强网络中采用了拉普拉斯金字塔分支和自适应频率分解模块，能够最大程度地挖掘图像潜在的信息，同时不需要多次试验来确定模型参数，减少了训练量，提高了图像的低照度增强效果。
本发明实施例还提供一种自适应频率分解的低光照图像增强系统，请参照图5，图5是本发明实施例提供的自适应频率分解的低光照图像增强系统200的结构示意图，所述自适应频率分解的低光照图像增强系统200包括：
数据获取模块201，用于获取包含多张不同亮度图像的LOL数据集，对LOL数据集进行预处理，得到训练数据集和测试数据集；
网络构建模块202，用于构建包含拉普拉斯金字塔层、特征提取层、以及自适应频率分解层的自适应频率分解网络，所述特征提取层包括编码分支和解码分支；以所述自适应频率分解网络作为生成对抗网络结构的生成网络，并构建对应所述自适应频率分解网络的判别器网络，所述判别器网络包括全局判别器和局部判别器；
网络训练模块203，用于引入生成器损失函数和判别器损失函数，并以所述训练数据集为所述自适应频率分解网络和所述判别器网络整体的输入进行训练，直到训练完成输出得到低光照增强模型，之后，以所述测试数据集为所述低光照增强模型的输入，对图像进行低照度增强，并计算定量指标。
所述自适应频率分解的低光照图像增强系统200能够实现如上述实施例中的自适应频率分解的低光照图像增强方法中的步骤，且能实现同样的技术效果，参上述实施例中的描述，此处不再赘述。
本发明实施例还提供一种计算机设备，请参照图6，图6是本发明实施例提供的计算机设备的结构示意图，所述计算机设备300包括：存储器302、处理器301及存储在所述存储器302上并可在所述处理器301上运行的计算机程序。
所述处理器301调用所述存储器302存储的计算机程序，执行本发明实施例提供的自适应频率分解的低光照图像增强方法中的步骤，请结合图1，具体包括：
S101、获取包含多张不同亮度图像的LOL数据集，对LOL数据集进行预处理，得到训练数据集和测试数据集。
更进一步地，步骤S101中对所述LOL数据集进行预处理的方法包括归一化、随机裁剪和随机水平翻转中的其中至少一种。
S102、构建包含拉普拉斯金字塔层、特征提取层、以及自适应频率分解层的自适应频率分解网络，所述特征提取层包括编码分支和解码分支；以所述自适应频率分解网络作为生成对抗网络结构的生成网络，并构建对应所述自适应频率分解网络的判别器网络，所述判别器网络包括全局判别器和局部判别器。
更进一步地，所述自适应频率分解网络中，输入的图像经过所述拉普拉斯金字塔层处理得到拉普拉斯残差图，所述拉普拉斯残差图具有浅层特征和深层特征，所述浅层特征和所述深层特征分别满足如下表达式(1)、(2)：
Ik+1＝f↓(Ik) (1)
Lk＝Ik-f↑(Lk+1) (2)
其中，k∈{1,2,3}，f↓()代表双线性差值的下采样，f↑()代表双线性差值的上采样。
更进一步地，所述自适应频率分解层包括低频特征分支和高频特征分支，所述编码分支对所述拉普拉斯残差图进行特征提取得到编码特征，定义所述编码特征为xen，所述低频特征分支和所述高频特征分支分别对所述编码特征进行感知特征提取，得到不同感受野的两组特征，并进一步结合不同感受野的特征得到两组感知特征图Ca，所述感知特征图Ca满足如下关系式(3)：
Figure BDA0003721647210000141
其中，i取值1、2，使用fd1()和fd2()分别计算不同感受野的两组特征，当i取值为1时，f1 d1和f1 d2均表示卷积核大小为3×3、膨胀率为1和6的卷积操作，当i取值2时，f2 d1和f2 d2均表示卷积核大小为3×3、膨胀率为1和12的卷积操作，σ表示线性激活函数Leakyrelu；
将不同的所述感知特征图与所述编码特征在通道维度上进行拼接，得到高频特征和低频特征，所述高频特征和所述低频特征分别满足如下关系式(4)、(5)：
Figure BDA0003721647210000142
Figure BDA0003721647210000143
更进一步地，所述自适应频率分解层得到所述高频特征和所述低频特征后，将所述高频特征和所述低频特征输入一个SE注意力机制中，得到一个全局向量。
S103、引入生成器损失函数和判别器损失函数，并以所述训练数据集为所述自适应频率分解网络和所述判别器网络整体的输入进行训练，直到训练完成输出得到低光照增强模型，之后，以所述测试数据集为所述低光照增强模型的输入，对图像进行低照度增强，并计算定量指标。
更进一步地，定义所述生成器损失函数为Ltotal，且所述生成器损失函数满足如下表达式(6)：
Ltotal＝Lcontent+Lquelity+5×Lmc+Ltv (6)
其中，Lcontent为内容损失，其由重构损失Lrec和感知损失Lvgg组成，Lmc为相互一致性损失，Lquelity为感知质量指标，Ltv为总变分损失，所述感知质量指标Lquelity满足如下表达式(7)：
Lquelity＝LGg+LGl
Figure BDA0003721647210000151
Figure BDA0003721647210000152
表达式(7)中，LGg和LGl分别表示生成对抗网络的全局对抗损失和局部对抗损失，Dg表示所述全局判别器，Dl表示所述局部判别器，E()为均值计算，xr和xf为预设数据样本；
所述判别器损失满足如下表达式(8)：
LD＝LDg+LDl
Figure BDA0003721647210000153
Figure BDA0003721647210000154
更进一步地，所述自适应频率分解网络和所述判别器网络整体进行训练时，使用Adam作为优化器，训练轮数为200轮，其中，训练学习率在前100轮中设置为le-4，并在后100轮内使所述训练学习率逐轮线性衰减至0。
本发明实施例提供的计算机设备300能够实现如上述实施例中的自适应频率分解的低光照图像增强方法中的步骤，且能实现同样的技术效果，参上述实施例中的描述，此处不再赘述。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的自适应频率分解的低光照图像增强方法中的各个过程及步骤，且能实现相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，所揭露的仅为本发明较佳实施例而已，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式用等同变化，均属于本发明的保护之内。

Claims (10)

1.一种自适应频率分解的低光照图像增强方法，其特征在于，所述方法包括以下步骤：
S101、获取包含多张不同亮度图像的LOL数据集，对LOL数据集进行预处理，得到训练数据集和测试数据集；
S102、构建包含拉普拉斯金字塔层、特征提取层、以及自适应频率分解层的自适应频率分解网络，所述特征提取层包括编码分支和解码分支；以所述自适应频率分解网络作为生成对抗网络结构的生成网络，并构建对应所述自适应频率分解网络的判别器网络，所述判别器网络包括全局判别器和局部判别器；
S103、引入生成器损失函数和判别器损失函数，并以所述训练数据集为所述自适应频率分解网络和所述判别器网络整体的输入进行训练，直到训练完成输出得到低光照增强模型，之后，以所述测试数据集为所述低光照增强模型的输入，对图像进行低照度增强，并计算定量指标。
2.如权利要求1所述的自适应频率分解的低光照图像增强方法，其特征在于，步骤S101中对所述LOL数据集进行预处理的方法包括归一化、随机裁剪和随机水平翻转中的其中至少一种。
3.如权利要求1所述的自适应频率分解的低光照图像增强方法，其特征在于，所述自适应频率分解网络中，输入的图像经过所述拉普拉斯金字塔层处理得到拉普拉斯残差图，所述拉普拉斯残差图具有浅层特征和深层特征，所述浅层特征和所述深层特征分别满足如下表达式(1)、(2)：
Ik+1＝f↓(Ik) (1)
Lk＝Ik-f↑(Lk+1) (2)
其中，k∈{1,2,3}，f↓()代表双线性差值的下采样，f↑()代表双线性差值的上采样。
4.如权利要求3所述的自适应频率分解的低光照图像增强方法，其特征在于，所述自适应频率分解层包括低频特征分支和高频特征分支，所述编码分支对所述拉普拉斯残差图进行特征提取得到编码特征，定义所述编码特征为xen，所述低频特征分支和所述高频特征分支分别对所述编码特征进行感知特征提取，得到不同感受野的两组特征，并进一步结合不同感受野的特征得到两组感知特征图Ca，所述感知特征图Ca满足如下关系式(3)：
Figure FDA0003721647200000021
其中，i取值1、2，使用fd1()和fd2()分别计算不同感受野的两组特征，当i取值为1时，f1 d1和f1 d2均表示卷积核大小为3×3、膨胀率为1和6的卷积操作，当i取值2时，f2 d1和f2 d2均表示卷积核大小为3×3、膨胀率为1和12的卷积操作，σ表示线性激活函数Leakyrelu；
将不同的所述感知特征图与所述编码特征在通道维度上进行拼接，得到高频特征和低频特征，所述高频特征和所述低频特征分别满足如下关系式(4)、(5)：
Figure FDA0003721647200000022
Figure FDA0003721647200000023
5.如权利要求4所述的自适应频率分解的低光照图像增强方法，其特征在于，所述自适应频率分解层得到所述高频特征和所述低频特征后，将所述高频特征和所述低频特征输入一个SE注意力机制中，得到一个全局向量。
6.如权利要求1所述的自适应频率分解的低光照图像增强方法，其特征在于，定义所述生成器损失函数为Ltotal，且所述生成器损失函数满足如下表达式(6)：
Ltotal＝Lcontent+Lquelity+5×Lmc+Ltv (6)
其中，Lcontent为内容损失，其由重构损失Lrec和感知损失Lvgg组成，Lmc为相互一致性损失，Lquelity为感知质量指标，Ltv为总变分损失，所述感知质量指标Lquelity满足如下表达式(7)：
Lquelity＝LGg+LGl
Figure FDA0003721647200000031
Figure FDA0003721647200000032
表达式(7)中，LGg和LGl分别表示生成对抗网络的全局对抗损失和局部对抗损失，Dg表示所述全局判别器，Dl表示所述局部判别器，E()为均值计算，xr和xf为预设数据样本；
所述判别器损失满足如下表达式(8)：
LD＝LDg+LDl
Figure FDA0003721647200000033
Figure FDA0003721647200000034
7.如权利要求1所述的自适应频率分解的低光照图像增强方法，其特征在于，所述自适应频率分解网络和所述判别器网络整体进行训练时，使用Adam作为优化器，训练轮数为200轮，其中，训练学习率在前100轮中设置为le-4，并在后100轮内使所述训练学习率逐轮线性衰减至0。
8.一种自适应频率分解的低光照图像增强系统，其特征在于，包括：
数据获取模块，用于获取包含多张不同亮度图像的LOL数据集，对LOL数据集进行预处理，得到训练数据集和测试数据集；
网络构建模块，用于构建包含拉普拉斯金字塔层、特征提取层、以及自适应频率分解层的自适应频率分解网络，所述特征提取层包括编码分支和解码分支；以所述自适应频率分解网络作为生成对抗网络结构的生成网络，并构建对应所述自适应频率分解网络的判别器网络，所述判别器网络包括全局判别器和局部判别器；
网络训练模块，用于引入生成器损失函数和判别器损失函数，并以所述训练数据集为所述自适应频率分解网络和所述判别器网络整体的输入进行训练，直到训练完成输出得到低光照增强模型，之后，以所述测试数据集为所述低光照增强模型的输入，对图像进行低照度增强，并计算定量指标。
9.一种计算机设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的自适应频率分解的低光照图像增强方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的自适应频率分解的低光照图像增强方法中的步骤。
CN202210763940.0A 2022-06-29 2022-06-29 自适应频率分解的低光照图像增强方法与相关设备 Pending CN115063318A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210763940.0A CN115063318A (zh) 2022-06-29 2022-06-29 自适应频率分解的低光照图像增强方法与相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210763940.0A CN115063318A (zh) 2022-06-29 2022-06-29 自适应频率分解的低光照图像增强方法与相关设备

Publications (1)

Publication Number Publication Date
CN115063318A true CN115063318A (zh) 2022-09-16

Family

ID=83204537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210763940.0A Pending CN115063318A (zh) 2022-06-29 2022-06-29 自适应频率分解的低光照图像增强方法与相关设备

Country Status (1)

Country Link
CN (1) CN115063318A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152120A (zh) * 2023-04-20 2023-05-23 南京大学 一种融合高低频特征信息的低光图像增强方法及装置
CN117496160A (zh) * 2023-12-29 2024-02-02 中国民用航空飞行学院 一种面向室内场景的无人机拍摄低光照图像语义分割方法
CN117765264A (zh) * 2024-02-22 2024-03-26 北京理工大学 基于频率自适应膨胀卷积的图像语义分割方法及系统
CN117893413A (zh) * 2024-03-15 2024-04-16 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152120A (zh) * 2023-04-20 2023-05-23 南京大学 一种融合高低频特征信息的低光图像增强方法及装置
CN117496160A (zh) * 2023-12-29 2024-02-02 中国民用航空飞行学院 一种面向室内场景的无人机拍摄低光照图像语义分割方法
CN117496160B (zh) * 2023-12-29 2024-03-19 中国民用航空飞行学院 一种面向室内场景的无人机拍摄低光照图像语义分割方法
CN117765264A (zh) * 2024-02-22 2024-03-26 北京理工大学 基于频率自适应膨胀卷积的图像语义分割方法及系统
CN117893413A (zh) * 2024-03-15 2024-04-16 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法

Similar Documents

Publication Publication Date Title
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
Golts et al. Unsupervised single image dehazing using dark channel prior loss
CN108986050B (zh) 一种基于多分支卷积神经网络的图像和视频增强方法
Wang et al. Dehazing for images with large sky region
CN113313657B (zh) 一种用于低光照图像增强的非监督学习方法和系统
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN111275637A (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN110136075B (zh) 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法
Feng et al. URNet: A U-Net based residual network for image dehazing
CN111047543A (zh) 图像增强方法、装置和存储介质
US11887218B2 (en) Image optimization method, apparatus, device and storage medium
CN111951172A (zh) 一种图像优化方法、装置、设备和存储介质
CN112651917A (zh) 一种基于生成对抗网络的空间卫星低照度图像增强方法
Fan et al. Multi-scale depth information fusion network for image dehazing
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
CN116645569A (zh) 一种基于生成对抗网络的红外图像彩色化方法和系统
CN113160286A (zh) 一种基于卷积神经网络的近红外和可见光图像融合方法
CN113763268B (zh) 人脸图像盲修复方法及系统
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
CN111768326A (zh) 一种基于gan扩增图像前景物体的高容量数据保护方法
Li et al. AEMS: an attention enhancement network of modules stacking for lowlight image enhancement
Li et al. An end-to-end system for unmanned aerial vehicle high-resolution remote sensing image haze removal algorithm using convolution neural network
Wali et al. Recent Progress in Digital Image Restoration Techniques: A Review
CN116596792B (zh) 一种面向智能船舶的内河雾天场景恢复方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination