CN113344804B - 一种弱光图像增强模型的训练方法和弱光图像增强方法 - Google Patents
一种弱光图像增强模型的训练方法和弱光图像增强方法 Download PDFInfo
- Publication number
- CN113344804B CN113344804B CN202110513024.7A CN202110513024A CN113344804B CN 113344804 B CN113344804 B CN 113344804B CN 202110513024 A CN202110513024 A CN 202110513024A CN 113344804 B CN113344804 B CN 113344804B
- Authority
- CN
- China
- Prior art keywords
- image
- light
- low
- loss function
- function value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000005286 illumination Methods 0.000 claims abstract description 174
- 238000011084 recovery Methods 0.000 claims abstract description 128
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 82
- 230000006870 function Effects 0.000 claims description 191
- 238000004590 computer program Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000002310 reflectometry Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 3
- 235000011941 Tilia x europaea Nutrition 0.000 description 3
- 239000004571 lime Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000003623 enhancer Substances 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012812 general test Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种弱光图像增强模型的训练方法和弱光图像增强方法，弱光图像增强模型的训练方法包括：将正常光图像和弱光图像输入初始分解模块，得到正常光反射图像、正常光照明图像、弱光反射图像和弱光照明图像；将弱光反射图像和弱光照明图像输入初始颜色恢复模块得到颜色恢复图像；确定第一损失函数值、第二损失函数值和第三损失函数值；根据第一损失函数值和第二损失函数值训练初始分解模块，根据第三损失函数值训练初始颜色恢复模块。本发明中，训练后的分解模块和颜色恢复模块可以取到较好的输出结果，逐步恢复图像的细节特征和颜色信息，通过训练得到的弱光图像增强模型生成的弱光增强图像，在图像细节和颜色恢复上可以得到更好的结果。
Description
技术领域
本申请涉及图像处理领域，特别是涉及一种弱光图像增强模型的训练方法和弱光图像增强方法。
背景技术
弱光或者低照度条件下拍摄的图像具有亮度低、对比度低等缺陷，除此之外，在弱光图像的低光照区域往往隐藏大量噪声，并存在颜色失真等问题，另一方面，高质量的图像是进行图像识别、分析和理解的必要条件，因此，弱光图像增强是提高图像质量为后续图像处理做准备的重要步骤。
现有弱光图像增强方法，例如，通过直方图均衡化方法、基于Retinex模型方法和基于图像去雾的方法，这些方法不能有效恢复图像细节信息，容易出现局部欠增强，或者局部过增强和颜色失真现象。
因此，现有技术有待改进。
发明内容
本发明所要解决的技术问题是，现有的弱光图像增强方法，存在颜色失真和细节增强不足的问题。本发明提出了一种弱光图像增强模型的训练方法和弱光图像增强方法，通过第一损失函数值和第二损失函数值训练初始分解模块，得到初始分解模块，通过第三损失函数值训练初始颜色恢复模块，得到颜色恢复模块，弱光图像增强模型包括分解模块、颜色恢复模块和已训练的调整模块，使用弱光图像增强模型增强弱光图像，图像细节和颜色恢复都可以取得较好的效果。
第一方面，本发明实施例提供了一种弱光图像增强模型的训练方法，包括：
将训练数据集中的正常光图像和弱光图像输入初始分解模块，得到所述正常光图像对应的正常光反射图像和正常光照明图像，以及所述弱光图像对应的弱光反射图像和弱光照明图像；
根据所述弱光反射图像、所述正常光照明图像、所述正常光反射图像、所述正常光图像和所述弱光图像确定第一损失函数值；
根据所述正常光反射图像、所述正常光图像、所述正常光照明图像、所述弱光照明图像和所述弱光反射图像确定第二损失函数值；
将所述弱光反射图像和所述弱光照明图像输入初始颜色恢复模块，得到颜色恢复图像；
根据所述颜色恢复图像和所述正常光反射图像确定第三损失函数值；
根据所述第一损失函数值和所述第二损失函数值修改所述初始分解模块的参数，并根据所述第三损失函数值修改所述初始颜色恢复模块的参数，并继续执行所述将训练数据集中的正常光图像和弱光图像输入初始分解模块的步骤，直至满足预设训练条件，得到训练后的分解模块和训练后的颜色恢复模块；
根据所述分解模块、所述颜色恢复模块和已训练的调整模块得到弱光图像增强模型。
作为进一步的改进技术方案，所述根据所述弱光反射图像、所述正常光照明图像、所述正常光反射图像、所述正常光图像和所述弱光图像确定第一损失函数值，具体包括：
根据所述弱光反射图像、所述正常光照明图像和所述正常光图像确定第一重构损失函数值；
根据所述正常光反射图像和所述弱光反射图像确定结构相似性损失函数值；
根据所述正常光反射图像和所述弱光反射图像确定反射不变性损失函数值；
根据所述第一重构损失函数值、所述结构相似性损失函数值和所述反射不变性损失函数值确定所述第一损失函数值。
作为进一步的改进技术方案，所述根据所述正常光反射图像和所述弱光反射图像确定结构相似性损失函数值，具体包括：
确定所述正常光反射图像的第一像素平均值和第一方差，确定所述弱光反射图像的第二像素平均值和第二方差；
基于所述第一像素平均值、所述第一方差、所述第二像素平均值和所述第二方差确定结构相似性损失函数值。
作为进一步的改进技术方案，所述根据所述正常光反射图像、所述正常光图像、所述正常光照明图像、所述弱光照明图像和所述弱光反射图像确定第二损失函数值，具体包括：
根据所述正常光反射图像、所述弱光照明图像和所述正常光图像确定第二重构损失函数值；
根据所述弱光照明图像和所述正常光照明图像确定亮度差异损失函数值；
根据所述弱光照明图像和所述弱光反射图像确定局部光照平滑性损失函数值；
根据所述第二重构损失函数值、所述亮度差异损失函数值和所述局部光照平滑性损失函数值确定所述第二损失函数值。
作为进一步的改进技术方案，所述根据所述弱光照明图像和所述正常光照明图像确定亮度差异损失函数值，具体包括：
对于所述正常光照明图像中的每个第一像素点，在所述弱光照明图像中确定该第一像素点对应的第二像素点，并计算该第一像素点和所述第二像素点的差值的平方，得到该第一像素点对应的亮度差；
根据每个第一像素点各自分别对应的亮度差确定亮度差平均值，并将所述亮度差平均值作为所述亮度差异损失函数值。
作为进一步的改进技术方案，所述根据所述颜色恢复图像和所述正常光反射图像确定第三损失函数值，具体包括：
根据所述颜色恢复图像和所述正常光反射图像确定第三重构损失函数值；
根据所述颜色恢复图像和所述正常光反射图像确定颜色损失函数值；
根据所述第三重构损失函数值、所述颜色损失函数值和正则化项确定第三损失函数值。
作为进一步的改进技术方案，所述根据所述颜色恢复图像和所述正常光反射图像确定颜色损失函数值，具体包括：
其中，Lcolor是颜色损失函数值，Rres是颜色恢复图像，
是颜色恢复图像的一阶梯度，
是颜色恢复图像的高斯卷积结果，Rhigh是正常光反射图像，
是正常光反射图像的一阶梯度，
是正常光反射图像的高斯卷积结果，ε是预设参数，‖·‖2表示2范数。
第二方面，本发明还提供了一种弱光图像增强方法，应用于弱光图像增强模型，所述弱光图像增强模型是上述一种弱光图像增强方法中所述的弱光图像增强模型，所述弱光图像增强模型包括：分解模块、颜色恢复模块和调整模块，所述弱光图像增强方法包括：
将待处理弱光图像输入所述分解模块，得到待处理弱光反射图像和待处理弱光照明图像；
将所述待处理弱光反射图像和所述待处理弱光照明图像输入所述颜色恢复模块，得到待处理恢复图像；
将所述弱光照明图像输入所述调整模块，得到待处理调整图像；
融合所述待处理调整图像和所述待处理恢复图像，以得到所述待处理弱光图像对应的弱光增强图像。
第三方面，本发明提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将训练数据集中的正常光图像和弱光图像输入初始分解模块，得到所述正常光图像对应的正常光反射图像和正常光照明图像，以及所述弱光图像对应的弱光反射图像和弱光照明图像；
根据所述弱光反射图像、所述正常光照明图像、所述正常光反射图像、所述正常光图像和所述弱光图像确定第一损失函数值；
根据所述正常光反射图像、所述正常光图像、所述正常光照明图像、所述弱光照明图像和所述弱光反射图像确定第二损失函数值；
将所述弱光反射图像和所述弱光照明图像输入初始颜色恢复模块，得到颜色恢复图像；
根据所述颜色恢复图像和所述正常光反射图像确定第三损失函数值；
根据所述第一损失函数值和所述第二损失函数值修改所述初始分解模块的参数，并根据所述第三损失函数值修改所述初始颜色恢复模块的参数，并继续执行所述将训练数据集中的正常光图像和弱光图像输入初始分解模块的步骤，直至满足预设训练条件，得到训练后的分解模块和训练后的颜色恢复模块；
根据所述分解模块、所述颜色恢复模块和已训练的调整模块得到弱光图像增强模型；
或者，将待处理弱光图像输入所述分解模块，得到待处理弱光反射图像和待处理弱光照明图像；
将所述待处理弱光反射图像和所述待处理弱光照明图像输入所述颜色恢复模块，得到待处理恢复图像；
将所述弱光照明图像输入所述调整模块，得到待处理调整图像；
融合所述待处理调整图像和所述待处理恢复图像，以得到所述待处理弱光图像对应的弱光增强图像。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
将训练数据集中的正常光图像和弱光图像输入初始分解模块，得到所述正常光图像对应的正常光反射图像和正常光照明图像，以及所述弱光图像对应的弱光反射图像和弱光照明图像；
根据所述弱光反射图像、所述正常光照明图像、所述正常光反射图像、所述正常光图像和所述弱光图像确定第一损失函数值；
根据所述正常光反射图像、所述正常光图像、所述正常光照明图像、所述弱光照明图像和所述弱光反射图像确定第二损失函数值；
将所述弱光反射图像和所述弱光照明图像输入初始颜色恢复模块，得到颜色恢复图像；
根据所述颜色恢复图像和所述正常光反射图像确定第三损失函数值；
根据所述第一损失函数值和所述第二损失函数值修改所述初始分解模块的参数，并根据所述第三损失函数值修改所述初始颜色恢复模块的参数，并继续执行所述将训练数据集中的正常光图像和弱光图像输入初始分解模块的步骤，直至满足预设训练条件，得到训练后的分解模块和训练后的颜色恢复模块；
根据所述分解模块、所述颜色恢复模块和已训练的调整模块得到弱光图像增强模型；
或者，将待处理弱光图像输入所述分解模块，得到待处理弱光反射图像和待处理弱光照明图像；
将所述待处理弱光反射图像和所述待处理弱光照明图像输入所述颜色恢复模块，得到待处理恢复图像；
将所述弱光照明图像输入所述调整模块，得到待处理调整图像；
融合所述待处理调整图像和所述待处理恢复图像，以得到所述待处理弱光图像对应的弱光增强图像。
与现有技术相比，本发明实施例具有以下优点：
本发明通过第一损失函数值和第二损失函数值修改初始分解模块的参数，通过第三损失函数值修改初始颜色恢复模块的参数，弱光图像增强模型包括训练后的分解模块、颜色恢复模块和已训练的调整模块。联合第一损失函数值、第二损失函数值和第三损失函数值训练，使得训练后的分解模块和训练后的颜色恢复模块均可以取到较好的输出结果，可以逐步恢复图像的细节特征和颜色信息，通过训练得到的弱光图像增强模型生成的弱光增强图像，在图像细节和颜色恢复上可以得到更好的结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种弱光图像增强模型的训练方法的流程示意图；
图2为现有技术和本发明，得到的弱光照明图像和弱光反射图像的对比示意图；
图3为现有技术和本发明，得到的颜色恢复图像对比示意图；
图4为本发明实施例中一种弱光图像增强方法的流程示意图；
图5为待处理弱光图像为LOL数据集某街道图像时，现有技术和本发明的测试对比示意图；
图6为待处理弱光图像为Nikon DX相机拍摄的图像时，现有技术和本发明的测试对比示意图；
图7为本发明实施例中一种计算机设备的内部结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
发明人经过研究发现，弱光或者低照度条件下拍摄的图像具有亮度低、对比度低等缺陷，除此之外，在弱光图像的低光照区域往往隐藏大量噪声，并存在颜色失真等问题，另一方面，高质量的图像是进行图像识别、分析和理解的必要条件，因此，弱光图像增强是提高图像质量为后续图像处理做准备的重要步骤。
弱光图像增强的方法大致可分为基于直方图均衡化方法、基于Retinex模型方法和基于图像去雾的方法。基于Retinex理论的传统方法，是根据反射率一致性分解原图为反射图和照明图，通过对两分量分别估计和调整来恢复照度和结构信息，例如经典的单尺度Retinex(Single-scale Retinex，SSR)、多尺度Retinex(multi-scale Retinex，MSR)、带颜色恢复的多尺度Retinex(Multi-Scale Retinex with Color Restoration，MSRCR)以及之后的一些类似的对数域照明估计方法往往不能有效恢复图像细节信息，出现局部欠、过增强和颜色失真现象。
之后，Fu等人提出同步反射率和光照估计的加权变分模型，能够有效估计照度和反射率，保持反射图细节，但是合成之后的增强有一定的局部欠增强和颜色失真问题。Li等人提出基于Retinex的联合弱光增强和去噪方法，暗区域亮度和对比度有明显提升，但是边缘细节有模糊现象。随着深度学习在计算机视觉领域的成功应用，在基于Retinex理论的深度学习方法中，Shen等人基于Retinex理论于2017年首次提出利用前馈卷积神经网络代替不同高斯卷积核端到端的学习一个弱光图像到正常光照图像的映射，提升整体照度，但是网络深度较浅特征提取有限，Cai等人在没有弱光图像真值(Ground-truth)对比图像时，通过多曝光图像序列，端到端的构建了三个单图像对比度增强器(Deep Single ImageContrast Enhancer,SICE)分阶段提升提升图像的细节、对比度和全图结构纹理，有效平衡了细节特征和颜色恢复，取得了较好的效果，但是模型参数量大，需要大量图像序列，不易训练；随后，Chen等人提出深度Retinex分解模型(Retinex-Net)端到端的训练一个基于Retinex理论的弱光增强模型，并采集了实际场景的弱光图像对LOL，该模型容量较小且适用于各种场景的弱光图像增强，然而最终增强图像存在明显的颜色失真和局部细节模糊现象。综上所述，基于Retinex理论的弱光增强算法仍然存在局部欠增强，或者局部过增强和颜色失真的问题。
为了解决上述问题，本发明通过第一损失函数值和第二损失函数值修改初始分解模块的参数，通过第三损失函数值修改初始颜色恢复模块的参数，弱光图像增强模型包括训练后的分解模块、颜色恢复模块和已训练的调整模块。联合第一损失函数值、第二损失函数值和第三损失函数值训练，使得训练后的分解模块和训练后的颜色恢复模块均可以取到较好的输出结果，可以逐步恢复图像的细节特征和颜色信息，通过训练得到的弱光图像增强模型生成的弱光增强图像，在图像细节和颜色恢复上可以得到更好的结果。
本申请提供的一种弱光图像增强模型的训练方法可以应用于电子设备上，所述电子设备可以以各种形式来实现，例如，PC机、服务器、手机、平板电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)等。另外，该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，所述电子设备至少包括处理器和存储介质。
下面结合附图，详细说明本发明的各种非限制性实施方式。
参见图1，示出了本发明实施例中的一种弱光图像增强模型的训练方法，包括以下步骤：
S1、将训练数据集中的正常光图像和弱光图像输入初始分解模块，得到所述正常光图像对应的正常光反射图像和正常光照明图像，以及所述弱光图像对应的弱光反射图像和弱光照明图像。
在本发明实施例中，所述训练数据集中包括多个图像对，每个图像对均包括一张正常光图像和该正常光图像对应的弱光图像。由于单观测图像评估光照或反射率是一个不适定问题，如何选择合适的弱光数据对于以数据驱动的神经网络学习是一个重要问题，这不仅要求多场景、多曝光水平的自然弱光图像提高模型的泛化能力，而且要求与之对应的标签图像在主观和客观评价中有更好的表现。在综合考虑这两方面的问题后，训练数据集中的图像对包括：SICE论文中的Part1和Part2共589个场景，每个场景随机选择3幅低照度图像，共1767幅弱光图像，以及使用LOL数据集485张图像，总共2252幅图像，每幅图像都有一个与之对应的正常光图像。
在本发明实施例中，在训练时，将训练数据集中的一个图像对作为初始分解模块的输入项，图像对中包括一张正常光图像和一张弱光图像。所述初始分解模块的参数为初始化得到的参数。所述初始分解模块包括连续的多个3×3卷积层，通过多个3×3的卷积层从输入的图像对中提取图像特征，同时使用lReLU(Leaky-ReLU)作为激活函数，lReLU中较小的ai值不会造成模型反向传播过程中梯度消失，而且对于图像细节的学习效果较ReLU更优。最后一层使用1×1卷积核增加分解得到的照明图像和反射图像的非线性特征，并使用sigmoid激活函数保证分解后的照明图像和反射图像均在[0,1]之间。
在本发明实施例中，所述初始分解模块根据正常光图像Shig得到正常光反射图像Rhig和正常光照明图像Ihigh；所述初始分解模块根据弱光图像Slow得到弱光反射图像Rlow和弱光照明图像Ilow。
在本发明实施例中，得到弱光反射图像和正常光反射图像，以及得到弱光照明图像和正常照明图像，是通过同一个初始分解网络、不同的损失函数得到的，为了保证弱光图像分解之后的图像在反射率和照度上逼近正常光图像，设计第一损失函数，使得分解得到的弱光反射图像和正常光反射图像的反射率保持一致，并且设计第二损失函数，使得分解得到的弱光照明图像和正常光照明图像具有相似的平滑结构。
接下来介绍计算第一损失函数值的过程。
S2、根据所述弱光反射图像、所述正常光照明图像、正常光反射图像、所述正常光图像和所述弱光图像确定第一损失函数值。
在本发明实施例中，所述第一损失函数值是基于第一重构损失函数值、结构相似性损失函数值和反射不变性损失函数值得到。
具体的，步骤S2包括：
S21、根据所述弱光反射图像、所述正常光照明图像和所述正常光图像确定第一重构损失函数值。
在本发明实施例中，所述第一重构损失函数值，通过计算分解之后的弱光反射图像、正常光照明图像和原始的正常光图像之间的像素差得到，如公式(1)所示。
Lrecon1＝||Rlow×Ihigh-Shigh||1 (1)
其中，Lrecon是第一重构损失函数值，Rlow是弱光反射图像，Ihigh是正常光照明图像，Shigh是正常光图像，‖·‖1表示1范数。
S22、根据所述正常光反射图像和所述弱光反射图像确定结构相似性损失函数值。
在本发明实施例中，所述结构相似性损失函数值用于反映所述正常光反射图像和所述弱光反射图像之间的结构相似性。确定所述正常光反射图像的第一像素平均值和第一方差，确定所述弱光反射图像的第二像素平均值和第二方差；基于所述第一像素平均值、所述第一方差、所述第二像素平均值和所述第二方差确定结构相似性损失函数值。
具体的，如公式(2)所示。
其中，LSSIM是结构相似性损失函数值，μx是正常光反射图像对应的第一像素平均值，μy是弱光反射图像对应的第二像素平均值，σx是正常光反射图像对应的第一方差，σy是弱光反射图像对应的第二方差，σxy是相关系数，K1和K2表示常量。
S23、根据所述正常光反射图像和所述弱光反射图像确定反射不变性损失函数值。
在本发明实施例中，所述反射不变性损失函数通过计算正常光反射图像和所述弱光反射图像之间的像素差得到，如公式(3)所示。
Lir＝||Rlow-Rhigh||1 (3)
其中，Lir是反射不变性损失函数值，Rlow是弱光反射图像，Rhigh是正常光反射图像，‖·‖1表示1范数。
S24、根据所述第一重构损失函数值、所述结构相似性损失函数值和所述反射不变性损失函数值确定所述第一损失函数值。
在本发明实施例中，第一损失函数值如公式(4)所示。
L1＝Lrecon1+C1·LSSIM+C2·Lir (4)
其中，L1是第一损失函数值，Lrecon1是第一重构损失函数值，LSsIM是结构相似性损失函数值，Lir是反射不变性损失函数值，C1和C2表示系数，可以按照经验设置为：C1＝0.5，C2＝0.5。
S3、根据所述正常光反射图像、所述弱光照明图像、所述正常光图像、所述正常光照明图像和所述弱光反射图像确定第二损失函数值。
在本发明实施例中，所述第二损失函数值是基于第二重构损失函数值，亮度差异损失函数值和局部光照平滑性损失函数值确定。
具体的，步骤S3包括：
S31、根据所述正常光反射图像、所述弱光照明图像和所述正常光图像确定第二重构损失函数值。
在本发明实施例中，所述第二重构损失函数值，通过计算正常光反射图像、弱光照明图像和正常光图像之间的像素差得到，如公式(5)所示。
Lrecon2＝||Rhigh×Ilow-Shigh||1 (5)
其中，Lrec是第二重构损失函数值，Rhigh是正常光反射图像，Ilow是弱光照明图像，Shig是正常光图像，‖·‖1表示1范数。
S32、根据所述弱光照明图像和所述正常光照明图像确定亮度差异损失函数值。
在本发明实施例中，所述亮度差异损失函数值用于反映弱光照明图像和所述正常光照明图像之间的亮度差异。对于所述正常光照明图像中的每个第一像素点，在所述弱光照明图像中确定该第一像素点对应的第二像素点，并计算该第一像素点和所述第二像素点的差值的平方，得到该第一像素点对应的亮度差；根据每个第一像素点各自分别对应的亮度差确定亮度差平均值，并将所述亮度差平均值作为所述亮度差异损失函数值。也就是说，通过弱光照明图像和所述正常光照明图像之间的像素均方差表示亮度的差异。如公式(6)所示。
其中，LMSE是亮度差异损失函数值，N是弱光照明图像中所有像素点的数量(等于正常光照明图像中所有像素点的数量)，i是弱光照明图像中的一个像素点(也是正常光照明图像中的一个像素点)，
是正常光照明图像中第i个像素点的像素值，
是弱光照明图像中第i个像素点的像素值，‖·‖F表示F范数。
S33、根据所述弱光照明图像和所述弱光反射图像确定局部光照平滑性损失函数值。
在本发明实施例中，如公式(7)所示。
其中，Ii是弱光照明图像，Ri是弱光反射图像，N是弱光照明图像中所有像素点的数量(等于弱光反射图像中所有像素点的数量)，i是弱光照明图像中的一个像素点(也是弱光反射图像中的一个像素点)，
表示梯度，包括水平梯度
和垂直梯度
λg表示结构平滑性系数，
约束了光照变化较大的情况，使其梯度平滑变化。
S34、根据所述第二重构损失函数值、所述亮度差异损失函数值和所述局部光照平滑性损失函数值确定所述第二损失函数值。
在本发明实施例中，第二损失函数值如公式(8)所示。
L2＝Lre +C3·LMSE+C4·Lis (8)
其中，L2是第二损失函数值，Lrecon2是第二重构损失函数值，LMSE是亮度差异损失函数值，Lis是局部光照平滑性损失函数值，C3和C4表示系数，可以按照经验设置为：C3＝1，C4＝0.5。
S4、将所述弱光反射图像和所述弱光照明图像输入初始颜色恢复模块，得到颜色恢复图像。
在本发明实施例中，所述初始颜色恢复模块通过类似于自编码器的网络结构和不同卷积核重构弱光反射图像和所述弱光照明图像的细节和颜色信息。弱光反射图像保留了弱光图像的反射率、颜色和纹理等高频信息，而弱光照明图像保留了亮度和光照信息等低频信息，将所述弱光反射图像和所述弱光照明图像输入初始颜色恢复模块，得到颜色恢复图像。
所述初始颜色恢复模块通过双通道的跳跃连接实现颜色恢复，具体的，一个通道采用3×3卷积核配合池化和上采样操作，输出同尺寸的特征图，另一个通道使用5×5卷积核经过一个轻量级CNN输出特征图，将两个通道输出的特征图进行连接，最后一层使用1×1的卷积核整合特征信息并输出颜色恢复图像。在每一个卷积层都使用64个卷积核进行不同尺度特征的提取。
初始颜色恢复模块的结构如表1所示。
表1
S5、根据所述颜色恢复图像和所述正常光反射图像确定第三损失函数值。
在本发明实施例中，所述第三损失函数值是基于第三重构损失函数值、颜色损失函数值和正则化项得到。
具体的，步骤S5包括：
S51、根据所述颜色恢复图像和所述正常光反射图像确定第三重构损失函数值。
在本发明实施例中，所述第三重构损失函数值，通过计算颜色恢复图像和正常光反射图像之间的像素差得到。如公式(9)所示
Lrecon＝||Rres-Rhigh||1 (9)
其中，Lrecon3是第三重构损失函数值，Rres是颜色恢复图像，Rhigh是正常光反射图像，‖·‖1表示1范数。
S52、根据所述颜色恢复图像和所述正常光反射图像确定颜色损失函数值。
在本发明实施例中，颜色损失函数值考虑了边缘信息的一致性，颜色结构在图像内部具有连续性，在边缘具有突变型边缘可用梯度表示，颜色结构可以用2D高斯卷积核与图像的滤波表示，如公式(10)所示。
其中，Lcolor是颜色损失函数值，Rres是颜色恢复图像，
是颜色恢复图像的一阶梯度，
是颜色恢复图像的高斯卷积结果，Rhigh是正常光反射图像，
是正常光反射图像的一阶梯度，
是正常光反射图像的高斯卷积结果，ε是预设参数，‖·‖2表示2范数。
G(k,l)是像素点(k,l)的2D高斯滤波。
在本发明实施例中，
和
表征了图像整体颜色的差异，
和
分别作为加权参数调节局部色差，在Rhigh和Rres边缘区域，一阶梯度大，相乘后整体色差大，这正好符合实际情况。
S53、根据所述第三重构损失函数值、所述颜色损失函数值和正则化项确定第三损失函数值。
在本发明实施例中，所述第三损失函数值如公式(11)所示。
其中，L3是第三损失函数值，Lrecon3是第三重构损失函数值，Lcolor是颜色损失函数值，
是正则化项，λ表示系数，
是随机变量。
S6、根据所述第一损失函数值和所述第二损失函数值修改所述初始分解模块的参数，并根据所述第三损失函数值修改所述初始颜色恢复模块的参数，并继续执行所述将训练数据集中的正常光图像和弱光图像输入初始分解模块的步骤，直至满足预设训练条件，得到训练后的分解模块和训练后的颜色恢复模块。
在本发明实施例中，修改一次参数(修改初始分解模块的参数和修改初始颜色恢复模块的参数)即完成一次训练，下一次训练时再从训练数据集中获取正常光图像和弱光图像输入初始分解模块，并修改参数。所述预设训练条可以是训练次数达到预设次数，得到训练后的分解模块和训练后的颜色恢复模块。初始学习率可以设为0.001，训练周期可以设为500，并使用Adam优化器进行训练。
在一种实现方式中，为了提高模型的泛化能力，可以把训练数据集中不同尺寸的图像随机分割成128×128大小的patchs，并且每次批量选择20幅图像作为输入进行训练。
在本发明实施例中，参见图2，现有技术得到的弱光照明图像和弱光反射图像，与本发明实施例中，通过训练后的分解模块得到的弱光照明图像和弱光反射图像相比，现有技术中的弱光反射图有明显细节模糊和颜色失真问题，通过训练后的分解模块得到的弱光反射图表现更好。现有技术通过Retinex-Net实现。
参见图3，现有技术得到的颜色恢复图像，与本发明实施例中，通过训练后的颜色恢复模块得到的颜色恢复图像相比，在颜色和细节恢复上，通过训练后的颜色恢复模块得到的颜色恢复图像表现更好。
S7、根据所述分解模块、所述颜色恢复模块和已训练的调整模块得到弱光图像增强模型。
在本发明实施例中，所述弱光图像增强模型包括：分解模块、颜色恢复模块和已训练的调整模块。所述调整模块可以是Gamma矫正模块，在应用时，Gamma矫正模块用于校正弱光照明图像。通常，弱光照明图像包含弱光图像的照度信息和少量的结构信息，可以通过一个轻量级CNN模型学习光照变化，但是在一定范围内弱光图像可以通过一个非线性变化到达所需的照度条件，所以使用Gamma矫正模块调整弱光照明图像，虽然只能满足部分条件的弱光照明图像增强，但是考虑到简化模型和时间复杂度，Gamma矫正模块针对大部分的弱光照明图像恢复是可行的。Gamma矫正模块的Gamma参数可以设定为0.4。
本发明提出来的弱光图像增强模型的训练方法对应的硬件配置可以为：CPU：Intel Core i5-9300H，显卡：GTX1660Ti，主频：2.40GHz，内存：4G的环境下Matlab以及Pycharm软件环境中运行。
在本发明实施例中，将训练数据集中的正常光图像和弱光图像输入初始分解模块，得到所述正常光图像对应的正常光反射图像和正常光照明图像，以及所述弱光图像对应的弱光反射图像和弱光照明图像；根据所述弱光反射图像、所述正常光照明图像、所述正常光反射图像、所述正常光图像和所述弱光图像确定第一损失函数值；根据所述正常光反射图像、所述正常光图像、所述正常光照明图像、所述弱光照明图像和所述弱光反射图像确定第二损失函数值；将所述弱光反射图像和所述弱光照明图像输入初始颜色恢复模块，得到颜色恢复图像；根据所述颜色恢复图像和所述正常光反射图像确定第三损失函数值；根据所述第一损失函数值和所述第二损失函数值修改所述初始分解模块的参数，并根据所述第三损失函数值修改所述初始颜色恢复模块的参数，并继续执行所述将训练数据集中的正常光图像和弱光图像输入初始分解模块的步骤，直至满足预设训练条件，得到训练后的分解模块和训练后的颜色恢复模块；根据所述分解模块、所述颜色恢复模块和已训练的调整模块得到弱光图像增强模型。本发明通过第一损失函数值和第二损失函数值修改初始分解模块的参数，通过第三损失函数值修改初始颜色恢复模块的参数，弱光图像增强模型包括训练后的分解模块、颜色恢复模块和已训练的调整模块。联合第一损失函数值、第二损失函数值和第三损失函数值训练，使得训练后的分解模块和训练后的颜色恢复模块均可以取到较好的输出结果，可以逐步恢复图像的细节特征和颜色信息，通过训练得到的弱光图像增强模型生成的弱光增强图像，在图像细节和颜色恢复上可以得到更好的结果。
基于上述一种弱光图像增强模型的训练方法，参见图4，本发明还提出了一种弱光图像增强方法，应用于弱光图像增强模型，所述弱光图像增强模型是上述一种弱光图像增强模型的训练方法中的弱光图像增强模型，所述弱光图像增强模型包括：分解模块、颜色恢复模块和调整模块，所述弱光图像增强方法包括：
M1、将待处理弱光图像输入所述分解模块，得到待处理弱光反射图像和待处理弱光照明图像；
M2、将所述待处理弱光反射图像和所述待处理弱光照明图像输入所述颜色恢复模块，得到待处理恢复图像；
M3、将所述弱光照明图像输入所述调整模块，得到待处理调整图像；
M4、融合所述待处理调整图像和所述待处理恢复图像，以得到所述待处理弱光图像对应的弱光增强图像。
在本发明实施例中，所述分解模块是上述一种弱光图像增强模型的训练方法中，对初始分解模块进行训练得到的，分解模块的网络结构与初始分解模块的网路网络结构相同，步骤M1中，将待处理弱光图像输入分解模块，得到待处理弱光反射图像和待处理弱光照明图像的过程与步骤S1中，初始分解模块根据弱光图像得到弱光反射图像和弱光照明图像的过程一致，因此，步骤M1的具体过程，可以参见步骤S1的说明。
所述颜色恢复模块是上述一种弱光图像增强模型的训练方法中，对初始颜色恢复模块进行训练得到的，颜色恢复模块的网络结构与初始颜色恢复模块的网络结构相同，具体可以参见表1。步骤M2中，将所述待处理弱光反射图像和所述待处理弱光照明图像输入所述颜色恢复模块，得到待处理恢复图像的过程，与步骤S4中，初始颜色恢复模块根据弱光反射图像和弱光照明图像得到颜色恢复图像的过程一致，因此，步骤M2的具体过程，可以参见步骤S4的说明。
所述调整模块是上述一种弱光图像增强模型的训练方法中的调整模块，所述调整模块可以是Gamma矫正模块，通过调整模块用于校正待处理弱光照明图像，再将待处理调整图像和待处理恢复图像融合，得到弱光增强图像。其中，通过调整模块校正待处理弱光照明图像，以及融合待处理调整图像和待处理恢复图像均可以采用现有技术实现，在此不赘述了。
为了展示本发明得到的弱光图像增强模型在实际弱光环境中的泛化能力，分别从LOL通用测试图像和真实弱光环境中所采集的图像两个场景出发，采用6种弱光增强算法做对比实验，具体包含3种基于照明估计的方法：NPE、SRIE和LIME；一种基于联合照明与噪声估计的方法：JED；两种基于深度学习的方法：MSR-Net、Retinex-Net；以及本发明所提出弱光图像增强模型。通过主观以及PSNR(Peak Signal to Noise Ratio)、SSIM(StructuralSimilarity Index)、LOE(Lightness Order Error)、NIQE(Natural Image QualityEvaluator)等客观评价方式来对增强之后图像的质量进行评估。PSNR和SSIM分别表征图像噪声水平和整体结构相似度，参数越高表明增强效果越好，但是由于它们都需要正常光照的标签图像作为对比，所以本发明采用专业图像处理工具构造同一场景下正常光照图像作为监督学习的标签值，构造目标是充分降噪以及反射率接近1；另外由于PSNR和SSIM受构造标签图像方法和视觉主观性影响，另外使用LOE和NIQE指标评价增强图像，它们分别代表图像的自然度和盲图像质量，参数越低越好。
参见图5，待处理弱光图像为LOw-Light dataset(LOL)数据集某街道测试图像，尺寸：370pixels×415pixels，前景车辆、行人和背景天空有较大的对比度差异。从主观视觉上来看：NPE算法对整体自然度和亮度都提升到较为正常的水平，但是远景的细节有明显的模糊现象，如红顶的房屋；SRIE算法亮度恢复欠缺，且暗区域有较大噪声；LIME算法对特定亮度区域增强效果显著，但对暗区域有明显的过增强现象；JED算法对暗区域噪声有一定抑制作用，但是部分边缘模糊较大；在基于深度学习的算法中，MSR-Net对全局结构特征有一定恢复，但局部特征恢复不明显，有模糊；Retinex-Net网络是单阶段端到端的映射，其在整体结构上保存完整，亮度提升明显，然而颜色扭曲严重，没有映射到一个正常水平；本发明得到的弱光图像增强模型的分解模块和颜色恢复模块，可以使得反射图和照明图同时映射到一个正常水平，以达到局部最优效果，最后的增强效果表明相较于其他方法，避免了颜色失真现象，同时整体亮度和图像特征得到显著的恢复。
参见图6，待处理弱光图像为自然弱光场景下使用Nikon DX相机拍摄的景物图，图像的原始尺寸为4000pixels×6000pixels，图6中所示的待处理弱光图像为下采样之后的图像，尺寸为400pixels×600pixels，前景是对比度差异较大的红色房子和汽车，背景是傍晚的天空，由于相机对焦的原因，前景有部分虚化现象，但不是由于噪声引起的。从主观增强效果来看，NPE整体颜色恢复和自然度都有较好效果，但是背景天空和树木出现欠、过增强现象；SRIE前景汽车的对比度恢复不够；LIME虽然弥补了SRIE前景欠增强问题，但是有明显颜色失真和局部过增强；JED在传统的基于Retinex模型增强方法中表现的最好，噪声去除和细节增强表现显著，但是对于背景天空和“墙体”的边缘有一定的模糊平滑效果，在基于CNN的增强方法中，MSR-Net对背景恢复明显，但由于网络简单，前景增强不足；Retinex-Net有严重的颜色失真和模糊效果；而本文提出的颜色恢复Retinex-Net模型，对于颜色信息保存完整，对自然场景下弱光图像各部分都有较好的增强效果。
表2是与图5对应的，将弱光图像增强模型应用于LOL数据集所有测试图像的平均指标。
表2
表3是与图6对应的，各增强图像的客观评价数据值。
表3
根据表2和表3可以看出，JED的PSRN和SSIM值最高，其在去噪和结构特征上取得最好的效果，本发明在LOE和NIQE指标取得最好的效果，表明其增强效果的图像质量达到较高水平，并有一定的泛化能力。
在本发明实施例中，基于端到端学习的Retinex模型在进行弱光增强过程中，经常会出现颜色失真问题，本发明提出的一种弱光图像增强模型的训练方法，在第一阶段通过分解网络得到待处理弱光图像的最优的待处理弱光反射图像和待处理弱光照明图像，第二阶段将第一阶段的输出图像作为输入，分别通过颜色恢复模块和调整模块(可以是Gamma矫正模块)得到待处理恢复图像和待处理调整图像，最后将待处理图像和待处理恢复图像进行融合得到最终弱光增强图像。实验结果表明，对实际自然弱光场景的LOE、NIQE值分别降到879和7.40，相较于其他方法有更好的增强效果，表明本发明所提出的弱光图像增强模型在弱光图像增强方面有较好的性能。
本发明实施例还提供了一种计算机设备，该设备可以是终端，内部结构如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种弱光图像增强模型的训练方法或一种弱光图像增强方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7所示的仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将训练数据集中的正常光图像和弱光图像输入初始分解模块，得到所述正常光图像对应的正常光反射图像和正常光照明图像，以及所述弱光图像对应的弱光反射图像和弱光照明图像；
根据所述弱光反射图像、所述正常光照明图像、所述正常光反射图像、所述正常光图像和所述弱光图像确定第一损失函数值；
根据所述正常光反射图像、所述正常光图像、所述正常光照明图像、所述弱光照明图像和所述弱光反射图像确定第二损失函数值；
将所述弱光反射图像和所述弱光照明图像输入初始颜色恢复模块，得到颜色恢复图像；
根据所述颜色恢复图像和所述正常光反射图像确定第三损失函数值；
根据所述第一损失函数值和所述第二损失函数值修改所述初始分解模块的参数，并根据所述第三损失函数值修改所述初始颜色恢复模块的参数，并继续执行所述将训练数据集中的正常光图像和弱光图像输入初始分解模块的步骤，直至满足预设训练条件，得到训练后的分解模块和训练后的颜色恢复模块；
根据所述分解模块、所述颜色恢复模块和已训练的调整模块得到弱光图像增强模型；
或者，将待处理弱光图像输入所述分解模块，得到待处理弱光反射图像和待处理弱光照明图像；
将所述待处理弱光反射图像和所述待处理弱光照明图像输入所述颜色恢复模块，得到待处理恢复图像；
将所述弱光照明图像输入所述调整模块，得到待处理调整图像；
融合所述待处理调整图像和所述待处理恢复图像，以得到所述待处理弱光图像对应的弱光增强图像。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
将训练数据集中的正常光图像和弱光图像输入初始分解模块，得到所述正常光图像对应的正常光反射图像和正常光照明图像，以及所述弱光图像对应的弱光反射图像和弱光照明图像；
根据所述弱光反射图像、所述正常光照明图像、所述正常光反射图像、所述正常光图像和所述弱光图像确定第一损失函数值；
根据所述正常光反射图像、所述正常光图像、所述正常光照明图像、所述弱光照明图像和所述弱光反射图像确定第二损失函数值；
将所述弱光反射图像和所述弱光照明图像输入初始颜色恢复模块，得到颜色恢复图像；
根据所述颜色恢复图像和所述正常光反射图像确定第三损失函数值；
根据所述第一损失函数值和所述第二损失函数值修改所述初始分解模块的参数，并根据所述第三损失函数值修改所述初始颜色恢复模块的参数，并继续执行所述将训练数据集中的正常光图像和弱光图像输入初始分解模块的步骤，直至满足预设训练条件，得到训练后的分解模块和训练后的颜色恢复模块；
根据所述分解模块、所述颜色恢复模块和已训练的调整模块得到弱光图像增强模型；
或者，将待处理弱光图像输入所述分解模块，得到待处理弱光反射图像和待处理弱光照明图像；
将所述待处理弱光反射图像和所述待处理弱光照明图像输入所述颜色恢复模块，得到待处理恢复图像；
将所述弱光照明图像输入所述调整模块，得到待处理调整图像；
融合所述待处理调整图像和所述待处理恢复图像，以得到所述待处理弱光图像对应的弱光增强图像。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
Claims (7)
1.一种弱光图像增强模型的训练方法，其特征在于，包括：
将训练数据集中的正常光图像和弱光图像输入初始分解模块，得到所述正常光图像对应的正常光反射图像和正常光照明图像，以及所述弱光图像对应的弱光反射图像和弱光照明图像；
根据所述弱光反射图像、所述正常光照明图像、所述正常光反射图像和所述正常光图像确定第一损失函数值；
根据所述正常光反射图像、所述正常光图像、所述正常光照明图像、所述弱光照明图像和所述弱光反射图像确定第二损失函数值；
将所述弱光反射图像和所述弱光照明图像输入初始颜色恢复模块，得到颜色恢复图像；
根据所述颜色恢复图像和所述正常光反射图像确定第三损失函数值；
根据所述第一损失函数值和所述第二损失函数值修改所述初始分解模块的参数，并根据所述第三损失函数值修改所述初始颜色恢复模块的参数，并继续执行所述将训练数据集中的正常光图像和弱光图像输入初始分解模块的步骤，直至满足预设训练条件，得到训练后的分解模块和训练后的颜色恢复模块；
根据所述分解模块、所述颜色恢复模块和已训练的调整模块得到弱光图像增强模型；
所述根据所述弱光反射图像、所述正常光照明图像、所述正常光反射图像和所述正常光图像确定第一损失函数值，具体包括：
根据所述弱光反射图像、所述正常光照明图像和所述正常光图像确定第一重构损失函数值；
根据所述正常光反射图像和所述弱光反射图像确定结构相似性损失函数值；
根据所述正常光反射图像和所述弱光反射图像确定反射不变性损失函数值；
根据所述第一重构损失函数值、所述结构相似性损失函数值和所述反射不变性损失函数值确定所述第一损失函数值；
所述根据所述正常光反射图像、所述正常光图像、所述正常光照明图像、所述弱光照明图像和所述弱光反射图像确定第二损失函数值，包括：
根据所述正常光反射图像、所述弱光照明图像和所述正常光图像确定第二重构损失函数值；
根据所述弱光照明图像和所述正常光照明图像确定亮度差异损失函数值；
根据所述弱光照明图像和所述弱光反射图像确定局部光照平滑性损失函数值；
根据所述第二重构损失函数值、所述亮度差异损失函数值和所述局部光照平滑性损失函数值确定所述第二损失函数值；
所述根据所述颜色恢复图像和所述正常光反射图像确定第三损失函数值，具体包括：
根据所述颜色恢复图像和所述正常光反射图像确定第三重构损失函数值；
根据所述颜色恢复图像和所述正常光反射图像确定颜色损失函数值；
根据所述第三重构损失函数值、所述颜色损失函数值和正则化项确定第三损失函数值。
2.根据权利要求1所述的弱光图像增强模型的训练方法，其特征在于，所述根据所述正常光反射图像和所述弱光反射图像确定结构相似性损失函数值，具体包括：
确定所述正常光反射图像的第一像素平均值和第一方差，确定所述弱光反射图像的第二像素平均值和第二方差；
基于所述第一像素平均值、所述第一方差、所述第二像素平均值和所述第二方差确定结构相似性损失函数值。
3.根据权利要求1所述的弱光图像增强模型的训练方法，其特征在于，所述根据所述弱光照明图像和所述正常光照明图像确定亮度差异损失函数值，具体包括：
对于所述正常光照明图像中的每个第一像素点，在所述弱光照明图像中确定该第一像素点对应的第二像素点，并计算该第一像素点和所述第二像素点的差值的平方，得到该第一像素点对应的亮度差；
根据每个第一像素点各自分别对应的亮度差确定亮度差平均值，并将所述亮度差平均值作为所述亮度差异损失函数值。
4.根据权利要求1所述的弱光图像增强模型的训练方法，其特征在于，所述根据所述颜色恢复图像和所述正常光反射图像确定颜色损失函数值，具体包括：
其中，Lcolor是颜色损失函数值，Rres是颜色恢复图像，
是颜色恢复图像的一阶梯度，
是颜色恢复图像的高斯卷积结果，Rhigh是正常光反射图像，
是正常光反射图像的一阶梯度，
是正常光反射图像的高斯卷积结果，ε是预设参数，‖·‖2表示2范数。
5.一种弱光图像增强方法，其特征在于，应用于弱光图像增强模型，所述弱光图像增强模型是权利要求1-4中任意一项所述的弱光图像增强模型，所述弱光图像增强模型包括：分解模块、颜色恢复模块和调整模块，所述弱光图像增强方法包括：
将待处理弱光图像输入所述分解模块，得到待处理弱光反射图像和待处理弱光照明图像；
将所述待处理弱光反射图像和所述待处理弱光照明图像输入所述颜色恢复模块，得到待处理恢复图像；
将所述弱光照明图像输入所述调整模块，得到待处理调整图像；
融合所述待处理调整图像和所述待处理恢复图像，以得到所述待处理弱光图像对应的弱光增强图像。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任意一项所述的弱光图像增强模型的训练方法，或者权利要求5中所述的弱光图像增强方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任意一项所述的弱光图像增强模型的训练方法，或者权利要求5中所述的弱光图像增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110513024.7A CN113344804B (zh) | 2021-05-11 | 2021-05-11 | 一种弱光图像增强模型的训练方法和弱光图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110513024.7A CN113344804B (zh) | 2021-05-11 | 2021-05-11 | 一种弱光图像增强模型的训练方法和弱光图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113344804A CN113344804A (zh) | 2021-09-03 |
| CN113344804B true CN113344804B (zh) | 2022-06-14 |
Family
ID=77470747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110513024.7A Active CN113344804B (zh) | 2021-05-11 | 2021-05-11 | 一种弱光图像增强模型的训练方法和弱光图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113344804B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998120B (zh) * | 2022-05-17 | 2024-01-12 | 深圳小湃科技有限公司 | 暗光图像优化训练方法、智能终端及计算机可读存储介质 |
| CN115587950B (zh) * | 2022-11-03 | 2023-09-26 | 昆山腾云达信息咨询技术服务中心(有限合伙) | 一种微光增强色彩恢复方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2657681A1 (en) * | 2012-04-26 | 2013-10-30 | Roche Diagnostics GmbH | Improvement of the sensitivity and the dynamic range of photometric assays by generating multiple calibration curves |
| CN103955902A (zh) * | 2014-05-08 | 2014-07-30 | 国网上海市电力公司 | 基于Retinex和Reinhard色彩迁移的弱光照图像的增强方法 |
| CN106485674A (zh) * | 2016-09-20 | 2017-03-08 | 天津大学 | 一种基于融合技术的弱光图像增强方法 |
| CN111489303A (zh) * | 2020-03-27 | 2020-08-04 | 武汉理工大学 | 一种低照度环境下海事图像增强方法 |
| CN112712481B (zh) * | 2021-01-11 | 2022-09-02 | 中国科学技术大学 | 一种针对弱光图像增强的结构-纹理感知方法 |
-
2021
- 2021-05-11 CN CN202110513024.7A patent/CN113344804B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113344804A (zh) | 2021-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN112381897B (zh) | 基于自编码网络结构的低照度图像增强方法 | |
| CN113344804B (zh) | 一种弱光图像增强模型的训练方法和弱光图像增强方法 | |
| CN112164011B (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
| CN111161360A (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| JP7353803B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN111951172A (zh) | 一种图像优化方法、装置、设备和存储介质 | |
| CN104657951A (zh) | 图像乘性噪声移除方法 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| Yu et al. | Fla-net: multi-stage modular network for low-light image enhancement | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
| Jeon et al. | Low-light image enhancement using inverted image normalized by atmospheric light | |
| CN113763268B (zh) | 人脸图像盲修复方法及系统 | |
| CN117078553A (zh) | 一种基于多尺度深度学习的图像去雾方法 | |
| Singh et al. | Multiscale reflection component based weakly illuminated nighttime image enhancement | |
| CN116452431A (zh) | 基于多分支渐进式深度网络的弱光图像增强方法 | |
| CN114862699B (zh) | 基于生成对抗网络的人脸修复方法、装置及存储介质 | |
| CN116563133A (zh) | 基于模拟曝光和多尺度融合的低照度彩色图像增强方法 | |
| CN115797205A (zh) | 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统 | |
| CN115713473A (zh) | 基于上下文信息聚合和融合特征注意力的图像去雾方法 | |
| Yang et al. | Difflle: Diffusion-guided domain calibration for unsupervised low-light image enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |