CN114663300A - 基于dce的低照度图像增强方法、系统及相关设备 - Google Patents

基于dce的低照度图像增强方法、系统及相关设备 Download PDF

Info

Publication number
CN114663300A
CN114663300A CN202210196296.3A CN202210196296A CN114663300A CN 114663300 A CN114663300 A CN 114663300A CN 202210196296 A CN202210196296 A CN 202210196296A CN 114663300 A CN114663300 A CN 114663300A
Authority
CN
China
Prior art keywords
low
enhancement
model
data set
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210196296.3A
Other languages
English (en)
Inventor
闫潇宁
陈晓艳
梁禧文
陈文海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Anruan Huishi Technology Co ltd
Original Assignee
Shenzhen Anruan Huishi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Anruan Huishi Technology Co ltd filed Critical Shenzhen Anruan Huishi Technology Co ltd
Priority to CN202210196296.3A priority Critical patent/CN114663300A/zh
Publication of CN114663300A publication Critical patent/CN114663300A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明适用于图像处理领域，提供了一种基于DCE的低照度图像增强方法、系统及相关设备，所述方法包括：获取真实场景的视频数据；对所述视频数据进行拆帧处理，得到拆帧图片，并从所述拆帧图片中筛选出包含配对图片数据的测试数据集，并从SICE数据集中筛选出包含不同曝光度图片的训练数据集；利用所述训练数据集对预设增强模型进行迭代训练，并保存完成迭代训练的所述预设增强模型为低照度增强模型；利用所述低照度增强模型对所述测试数据集进行低照度增强。本发明防止了图像增强过程中图像原始信息的丢失，并进一步保护了图像中的边缘信息，提高了图像增强效果。

Description

基于DCE的低照度图像增强方法、系统及相关设备
技术领域
本发明属于图像处理领域，尤其涉及一种基于DCE的低照度图像增强方法、系统及相关设备。
背景技术
在低光照环境以及摄像设备不理想的条件下，采集的图像存在亮度较低、对比度较低、噪声较大等问题，不仅影响图像的美感、人类的视觉感受，还会降低运用正常光照图片的高级视觉任务的性能。
低照度图像增强技术经过不断发展，研究工作者提出各种方法来提高低照度图像的主观和客观质量。目前比较常见的低照度图像增强算法包括基于直方图均衡的方法、Retinex理论的低照度图像增强算法和深度学习的低照度图像增强算法。前一类的基于直方图均衡的方法简单高效，但昏暗区域容易出现增强不足、同时明亮区域增强过度，从而出现色偏问题；Retinex理论的低照度图像增强算法将弱光照图像看作光照图像和反射率图像的乘积，但是需要利用先验知识或已有约束来估计Retinex理论模型中的光照图，然而，当先验知识或已有约束无法描述复杂变化的光照条件时，光照图像的估计会出现误差，从而影响后续反射率图像的准确度。
在最近的研究中，Zero-DCE(Zero-Reference Deep Curve Estimation，零参考深度曲线估计)神经网络模型常被用于低照度图像增强，是基本的DCE模型的一种，该模型的训练过程不需要任何成对数据,而是采用一组非参考损失函数监督网络训练产生高阶曲线，对输入的低光照图像变化范围进行像素级调整，问题在于，Zero-DCE模型训练常采用有规律的光照图像，使得最终图像的暗部细节等边缘信息容易丢失，使得增强效果不足。
发明内容
本发明实施例提供一种低照度图像增强方法、系统及相关设备，旨在解决传统的基于直方图和Retinex理论的低照度图像增强方法容易出现色偏、复杂光照条件下出现误差的问题。
第一方面，本发明实施例提供一种低照度图像增强方法，所述低照度图像增强方法基于DCE模型，其包括以下步骤：
获取真实场景的视频数据；
对所述视频数据进行拆帧处理，得到拆帧图片，并从所述拆帧图片中筛选出包含配对图片数据的测试数据集，并从SICE数据集中筛选出包含不同曝光度图片，作为训练数据集；
利用所述训练数据集对预设增强模型进行迭代训练，并保存完成迭代训练的所述预设增强模型，作为低照度增强模型；
利用所述低照度增强模型对所述测试数据集进行低照度增强。
更进一步地，所述预设增强模型包含四组跳跃连接的DCE-Net模块、迭代参数模块、曲线迭代模块，其中：
所述DCE-Net模块以图像数据为输入，并输出8组参数保存至所述迭代参数模块；
所述迭代参数模块中的每一参数用于确定一曲线形状，所述图像数据中RGB通道上的像素按照所述曲线形状调整原RGB像素值；
所述曲线迭代模块以所述迭代参数模块中的8组迭代参数为输入，并通过迭代及像素化计算高阶亮度增强曲线LE。
更进一步地，所述DCE-Net模块中包含顺序连接的八层卷积层，其中，第一至第四层中的每层所述卷积层皆包含一组32*32大小的卷积，第五至第八层中的每层所述卷积层皆包含两组32*32大小的卷积，并且，第一层所述卷积层与第八层所述卷积层跳跃连接，第二层所述卷积层与第七层所述卷积层跳跃连接，第三层所述卷积层与第六层所述卷积层跳跃连接，第四层所述卷积层与第五层所述卷积层跳跃连接。
更进一步地，所述曲线迭代模块中的所述高阶亮度增强曲线LE满足如下关系式(1)：
LEn(I(x)；r)＝LEn-1+r*LEn-1(1-LEn-1) (1)
其中，I(x)表示输入的所述图像数据，LEn(I(x)；r)表示I(x)第n次的增强估计，r表示所述迭代参数，n表示迭代次数，r的取值满足如下关系式(2)：
r∈(-1,1) (2)。
更进一步地，所述预设增强模型在迭代训练过程中使用的损失函数包括基本损失Loss和相互一致性损失函数Lmc，其中，所述基本损失Loss包括空间一致性损失、曝光度控制损失、色彩恒定性损失、光照平滑度损失。
更进一步地，所述相互一致性损失函数Lmc满足如下关系式(3)：
Lmc＝∥M*exp(-c*M)∥1 (3)
其中，M表示所述图像数据与其对应的增强估计在平面坐标轴上的梯度的平方，c表示预设惩罚因子。
更进一步地，所述预设惩罚因子c在所述预设增强模型的迭代训练过程中，从预设定值开始使所述相互一致性损失函数Lmc随M的增大而逐渐增大，并在所述相互一致性损失函数Lmc达到最大值后使之逐渐减小至0，所述预设增强模型的迭代训练次数至少为200次。
第二方面，本发明实施例还提供一种低照度图像增强系统，包括：
数据获取模块，用于获取真实场景的视频数据；
数据处理模块，用于对所述视频数据进行拆帧处理，得到拆帧图片，并从所述拆帧图片中筛选出包含配对图片数据的测试数据集，并从SICE数据集中筛选出包含不同曝光度图片，作为训练数据集；
模型训练模块，用于利用所述训练数据集对预设增强模型进行迭代训练，并保存完成迭代训练的所述预设增强模型，作为低照度增强模型；
图像增强模块，用于利用所述低照度增强模型对所述测试数据集进行低照度增强。
第三方面，本发明实施例还提供一种计算机设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例中任意一项所述的低照度图像增强方法中的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中任意一项所述的低照度图像增强方法中的步骤。
本发明所达到的有益效果，由于采用了优化结构的DCE-Net模块为神经网络的基础，并加入了特殊的相互一致性损失到原本的无参考损失函数中，从而防止了图像增强过程中图像原始信息的丢失，并进一步保护了图像中的边缘信息，提高了图像增强效果。
附图说明
图1是本发明实施例提供的低照度图像增强方法的步骤流程框图；
图2是本发明实施例提供的预设增强模型的结构示意图；
图3是本发明实施例提供的二阶亮度增强曲线LE的不同r取值的曲线示意图；
图4是本发明实施例提供的二阶亮度增强曲线LE的不同迭代次数的曲线示意图；
图5是本发明实施例提供的惩罚因子c取值不同时损失函数曲线的示意图；
图6是本发明实施例提供的低照度图像增强系统200的结构示意图；
图7是本发明实施例提供的计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参照图1，图1是本发明实施例提供的低照度图像增强方法的步骤流程框图，具体包括以下步骤：
S101、获取真实场景的视频数据。
在本发明实施例中，所述真实场景可以是一个封闭的真实空间，例如办公区、教学区等，用于获取所述真实场景的视频数据的方式可以是使用定点的摄像头对所述真实场景进行连续的拍摄，并且，为了使所述视频数据的表现能够体现低照度图像的特点以及对应的明亮场景，所述视频数据应尽可能包含日夜变化中不同光照条件下的数据，例如，使用摄像头对教学区中的出入口进行定点拍摄，在连续的24小时内，拍摄获取1000段每段时长为3秒的所述视频数据。
S102、对所述视频数据进行拆帧处理，得到拆帧图片，并从所述拆帧图片中筛选出包含配对图片数据的测试数据集，并从SICE数据集中筛选出包含不同曝光度图片，作为训练数据集。
具体的，所述视频数据为具有一定时长的连续帧图像，在本发明实施例中按照一定时长将每一段所述视频数据拆帧为所述拆帧图片，例如，将每一段时长为3秒的所述视频数据按照每0.5秒提取一次的速度进行拆帧处理，对1000段所述视频数据处理后得到6000张光照度不同的同一场景的所述拆帧图片。之后，再通过计算机处理或人工筛选的方式，从所述拆帧图片中筛选出包含配对图片数据的测试数据集，配对图片数据指的是，对于一张低照度的所述拆帧图片，将一张相同场景的但光照度明显高于该低照度图片的所述拆帧图片作为其配对图片，因此一对所述配对图片数据中包含两张不同光照度的所述拆帧图片，在本发明实施例中，所述配对图片数据至少包含1000对。所述SICE数据集(Single ImageContrast Enhancer，单图像增强对比)为低照度图像研究中常用的数据集，所述SISE数据集中的图片均不包含配对数据，在本发明实施例中，利用计算机或人工的方法从所述SICE数据集中随机筛选出不同曝光度的图片作为用于本发明实施例中的预设增强模型的训练数据集。
S103、利用所述训练数据集对预设增强模型进行迭代训练，并保存完成迭代训练的所述预设增强模型，作为低照度增强模型。
具体的，请参照图2，图2是本发明实施例提供的预设增强模型的结构示意图，所述预设增强模型包含四组跳跃连接的DCE-Net模块、迭代参数模块、曲线迭代模块，其中：
所述DCE-Net模块以图像数据为输入，并输出8组参数保存至所述迭代参数模块；
所述迭代参数模块中的每一参数用于确定一曲线形状，所述图像数据中RGB通道上的像素按照所述曲线形状调整原RGB像素值；
所述曲线迭代模块以所述迭代参数模块中的8组迭代参数为输入，并通过迭代及像素化计算高阶亮度增强曲线LE。
所述DCE-Net模块以Zero-DCE模型为基础架构进行构建，所述Zero-DCE模型是一种用于低照度图像增强的神经网络模型，该模型的训练过程不需要任何成对数据,而是采用一组非参考损失函数监督网络训练产生高阶曲线，对输入的低光照图像变化范围进行像素级调整，问题在于，所述Zero-DCE模型在对照度不均匀且重复的场景中，图像的增强效果还不足。
本发明实施例中的所述DCE-Net模块中包含顺序连接的八层卷积层，其中，第一至第四层所述卷积层每层包含一组32*32大小的卷积，第五至第八层所述卷积层每层包含两组32*32大小的卷积，并且，第一层所述卷积层与第八层所述卷积层跳跃连接，第二层所述卷积层与第七层所述卷积层跳跃连接，第三层所述卷积层与第六层所述卷积层跳跃连接，第四层所述卷积层与第五层所述卷积层跳跃连接。相比于原本的所述Zero-DCE模型，本发明实施例中的所述DCE-Net模块增加了卷积层，并将跳跃连接的后四层卷积层做了多层次设计，这使得本发明实施例的神经网络模型在提高图像的特征提取的精度的同时，能够增加模型参数量，提升模型的复杂程度以应对更加复杂的场景。
所述迭代参数模块的数量对应所述DCE-Net模块的输出数量，在本发明实施例中，所述DCE-Net模块共输出8组参数至所述迭代参数模块，因此所述迭代参数模块中包含8组所述迭代参数。
所述曲线迭代模块中的所述高阶亮度增强曲线LE满足如下关系式(1)：
LEn(I(x)；r)＝LEn-1+r*LEn-1(1-LEn-1) (1)
其中，I(x)表示输入的所述图像数据，LEn(I(x)；r)表示I(x)第n次的增强估计，r表示所述迭代参数，n表示迭代次数，r的取值满足如下关系式(2)：
r∈(-1,1) (2)
对于所述高阶亮度增强曲线LE，在第一阶迭代时以所述迭代参数模块中的第一组所述迭代参数为R赋值，并在完成第一次增强估计的计算后，继续使用所述迭代参数模块中的下一组所述迭代参数进行计算，例如，二阶的所述高阶亮度增强曲线LE可以表示为以下关系式(4)：
LE(I(x)；r)＝I(x)+r*I(x)(1-I(x)) (4)
具体的，请参照图3和图4，图3是本发明实施例提供的二阶亮度增强曲线LE的不同r取值的曲线示意图，图4是本发明实施例提供的二阶亮度增强曲线LE的不同迭代次数的曲线示意图，在图4中，r取值为-1，二阶亮度增强曲线LE的迭代次数n为1至4次，很明显的，本发明实施例中的所述高阶亮度增强曲线LE具有双向调整能力，对于过曝光和低光照都能进行调整，通过一次次的迭代，图像亮度和对比度得到逐渐提升。
所述预设增强模型在迭代训练过程中使用的损失函数包括基本损失Loss和相互一致性(mutual consistency)损失函数Lmc，其中，所述基本损失Loss包括空间一致性损失、曝光度控制损失、色彩恒定性损失、光照平滑度损失，所述基本损失Loss应用于所述Zero-DCE模型中，而原本的所述Zero-DCE模型并不包含相互一致性损失函数Lmc。
具体的，所述相互一致性损失函数Lmc满足如下关系式(3)：
Lmc＝∥M*exp(-c*M)∥1 (3)
其中，M表示所述图像数据与其对应的增强估计在平面坐标轴上的梯度的平方，c表示预设惩罚因子。所述预设惩罚因子用于控制损失函数的形状，以对应不同程度的训练调整形态，同时，本发明实施例中的所述惩罚因子对M和所述相互一致性损失函数Lmc的关系具有影响，具体的，所述惩罚因子c取越小，M和Lmc呈比例关系越显著；所述惩罚因子c取越大，非线性越强，Lmc随着M的增加呈现先上升后下降。请参照图5，图5是本发明实施例提供的惩罚因子c取值不同时损失函数曲线的示意图，例如，在将所述惩罚因子c取为10时，总的对于Lmc的惩罚先是上升，然后随着M的增加而下降到0，同时对比到其他的所述惩罚因子c的取值，在这个过程中，随着所述惩罚因子c增大，M增大并使Lmc的最大值变小，并使Lmc在达到最大值后开始减小，最终使得Lmc结果值接近0。在以上设计的前提下，本发明实施例中的所述相互一致性损失函数Lmc能够在所述预设增强模型的训练过程中鼓励保留图像中差异大的边缘信息，同时使得较少差异小的边缘信息得到强化，从而保留更多的暗部细节，提高图像增强效果。
在本发明实施例中，利用所述训练数据集对所述预设增强模型进行至少200次的迭代训练，并将完成了所述迭代训练的所述预设增强模型作为所述低照度增强模型保存并输出。
S104、利用所述低照度增强模型对所述测试数据集进行低照度增强。
在本步骤中，利用所述低照度增强模型对所述测试数据集中较低亮度的所述拆帧图像进行增强，并将低照度增强后得到的图像与所述配对数据中较高亮度的所述拆帧图像进行对比，从而完成所述测试数据集的低照度图像增强过程。
示例性的，本发明实施例中的所述低照度增强模型使用公开Kind测试集和所述测试数据集中的10张所述配对数据作为实例真实数据集进行指标计算，所述公开Kind测试集包括LOL、LIME、NPE和MEF四个数据集的15张配对数据，所述指标包括MSE(mean squareerror，均方误差)、PSNR(Peak Signal-to-Noise Ratio，峰值信噪比)、SSIM(StructureSimilarity Index Measure，结构衡量指标)、AB(Average Brightness，平均亮度)，所述低照度增强模型在公开Kind测试集和实例真实数据集中的指标计算结果如下表1所示。
表1公开Kind测试集和实例真实数据集中的指标计算结果
Figure BDA0003526320400000091
以上数据表明，本发明实施例中的所述低照度增强模型在公开Kind测试集上指标均有良好的提升，在真实数据集上，MSE和PSNR上几乎持平，在SSIM以及AB有显著提升，尤其是AB指标，指标计算结果表明在图像增强的同时，亮度均值显著提升，增强效果显著。
本发明所达到的有益效果，由于采用了优化结构的DCE-Net模块为神经网络的基础，并加入了特殊的相互一致性损失到原本的无参考损失函数中，从而防止了图像增强过程中图像原始信息的丢失，并进一步保护了图像中的边缘信息，提高了图像增强效果。
本发明实施例还提供一种低照度图像增强系统，请参照图6，图6是本发明实施例提供的低照度图像增强系统200的结构示意图，所述低照度图像增强系统200包括：
数据获取模块201，用于获取真实场景的视频数据；
数据处理模块202，用于对所述视频数据进行拆帧处理，得到拆帧图片，并从所述拆帧图片中筛选出包含配对图片数据的测试数据集，并从SICE数据集中筛选出包含不同曝光度图片，作为训练数据集；
模型训练模块203，用于利用所述训练数据集对预设增强模型进行迭代训练，并保存完成迭代训练的所述预设增强模型，作为低照度增强模型；
图像增强模块204，用于利用所述低照度增强模型对所述测试数据集进行低照度增强。
所述低照度图像增强系统200能够实现如上述实施例中的低照度图像增强方法中的步骤，且能实现同样的技术效果，参上述实施例中的描述，此处不再赘述。
本发明实施例还提供一种计算机设备，请参照图7，图7是本发明实施例提供的计算机设备的结构示意图，所述计算机设备300包括：存储器302、处理器301及存储在所述存储器302上并可在所述处理器301上运行的计算机程序。
所述处理器301调用所述存储器302存储的计算机程序，执行本发明实施例提供的园区管理方法中的步骤，请结合图1，具体包括：
S101、获取真实场景的视频数据。
S102、对所述视频数据进行拆帧处理，得到拆帧图片，并从所述拆帧图片中筛选出包含配对图片数据的测试数据集，并从SICE数据集中筛选出包含不同曝光度图片的训练数据集。
S103、利用所述训练数据集对预设增强模型进行迭代训练，并保存完成迭代训练的所述预设增强模型为低照度增强模型。
S104、利用所述低照度增强模型对所述测试数据集进行低照度增强。
更进一步地，所述预设增强模型包含四组跳跃连接的DCE-Net模块、迭代参数模块、曲线迭代模块，其中：
所述DCE-Net模块以图像数据为输入，并输出8组参数保存至所述迭代参数模块；
所述迭代参数模块中的每一参数用于确定一曲线形状，所述图像数据中RGB通道上的像素按照所述曲线形状调整原RGB像素值；
所述曲线迭代模块以所述迭代参数模块中的8组迭代参数为输入，并通过迭代及像素化计算高阶亮度增强曲线LE。
更进一步地，所述DCE-Net模块中包含顺序连接的八层卷积层，其中，第一至第四层中的每层所述卷积层皆包含一组32*32大小的卷积，第五至第八层中的每层所述卷积层皆包含两组32*32大小的卷积，并且，第一层所述卷积层与第八层所述卷积层跳跃连接，第二层所述卷积层与第七层所述卷积层跳跃连接，第三层所述卷积层与第六层所述卷积层跳跃连接，第四层所述卷积层与第五层所述卷积层跳跃连接。
更进一步地，所述曲线迭代模块中的所述高阶亮度增强曲线LE满足如下关系式(1)：
LEn(I(x)；r)＝LEn-1+r*LEn-1(1-LEn-1) (1)
其中，I(x)表示输入的所述图像数据，LEn(I(x)；r)表示I(x)第n次的增强估计，r表示所述迭代参数，n表示迭代次数，r的取值满足如下关系式(2)：
r∈(-1,1) (2)。
更进一步地，所述预设增强模型在迭代训练过程中使用的损失函数包括基本损失Loss和相互一致性损失函数Lmc，其中，所述基本损失Loss包括空间一致性损失、曝光度控制损失、色彩恒定性损失、光照平滑度损失。
更进一步地，所述相互一致性损失函数Lmc满足如下关系式(3)：
Lmc＝∥M*exp(-c*M)∥1 (3)
其中，M表示所述图像数据与其对应的增强估计在平面坐标轴上的梯度的平方，c表示预设惩罚因子。
更进一步地，所述预设惩罚因子c在所述预设增强模型的迭代训练过程中，从预设定值开始使所述相互一致性损失函数Lmc随M的增大而逐渐增大，并在所述相互一致性损失函数Lmc达到最大值后使之逐渐减小至0，所述预设增强模型的迭代训练次数至少为200次。
本发明实施例提供的计算机设备300能够实现如上述实施例中的低照度图像增强方法中的步骤，且能实现同样的技术效果，参上述实施例中的描述，此处不再赘述。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的低照度图像增强方法中的各个过程及步骤，且能实现相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，所揭露的仅为本发明较佳实施例而已，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式用等同变化，均属于本发明的保护之内。

Claims (10)

1.一种低照度图像增强方法，其特征在于，所述低照度图像增强方法基于DCE模型，其包括以下步骤：
获取真实场景的视频数据；
对所述视频数据进行拆帧处理，得到拆帧图片，并从所述拆帧图片中筛选出包含配对图片数据的测试数据集，并从SICE数据集中筛选出包含不同曝光度图片，作为训练数据集；
利用所述训练数据集对预设增强模型进行迭代训练，并保存完成迭代训练的所述预设增强模型，作为低照度增强模型；
利用所述低照度增强模型对所述测试数据集进行低照度增强。
2.如权利要求1所述的低照度图像增强方法，其特征在于，所述预设增强模型包含四组跳跃连接的DCE-Net模块、迭代参数模块、曲线迭代模块，其中：
所述DCE-Net模块以图像数据为输入，并输出8组参数保存至所述迭代参数模块；
所述迭代参数模块中的每一参数用于确定一曲线形状，所述图像数据中RGB通道上的像素按照所述曲线形状调整原RGB像素值；
所述曲线迭代模块以所述迭代参数模块中的8组迭代参数为输入，并通过迭代及像素化的方法计算高阶亮度增强曲线LE。
3.如权利要求2所述的低照度图像增强方法，其特征在于，所述DCE-Net模块中包含顺序连接的八层卷积层，其中，第一至第四层中的每层所述卷积层皆包含一组32*32大小的卷积，第五至第八层中的每层所述卷积层皆包含两组32*32大小的卷积，并且，第一层所述卷积层与第八层所述卷积层跳跃连接，第二层所述卷积层与第七层所述卷积层跳跃连接，第三层所述卷积层与第六层所述卷积层跳跃连接，第四层所述卷积层与第五层所述卷积层跳跃连接。
4.如权利要求2所述的低照度图像增强方法，其特征在于，所述曲线迭代模块中的所述高阶亮度增强曲线LE满足如下关系式(1)：
LEn(I(x)；r)＝LEn-1+r*LEn-1(1-LEn-1) (1)
其中，I(x)表示输入的所述图像数据，LEn(I(x)；r)表示I(x)第n次的增强估计，r表示所述迭代参数，n表示迭代次数，r的取值满足如下关系式(2)：
r∈(-1,1) (2)。
5.如权利要求2所述的低照度图像增强方法，其特征在于，所述预设增强模型在迭代训练过程中使用的损失函数包括基本损失Loss和相互一致性损失函数Lmc，其中，所述基本损失Loss包括空间一致性损失、曝光度控制损失、色彩恒定性损失、光照平滑度损失。
6.如权利要求5所述的低照度图像增强方法，其特征在于，所述相互一致性损失函数Lmc满足如下关系式(3)：
Lmc＝∥M*exp(-c*M)∥1 (3)
其中，M表示所述图像数据与其对应的增强估计在平面坐标轴上的梯度的平方，c表示预设惩罚因子。
7.如权利要求6所述的低照度图像增强方法，其特征在于，所述预设惩罚因子c在所述预设增强模型的迭代训练过程中，从预设定值开始使所述相互一致性损失函数Lmc随M的增大而逐渐增大，并在所述相互一致性损失函数Lmc达到最大值后使之逐渐减小至0，所述预设增强模型的迭代训练次数至少为200次。
8.一种低照度图像增强系统，其特征在于，包括：
数据获取模块，用于获取真实场景的视频数据；
数据处理模块，用于对所述视频数据进行拆帧处理，得到拆帧图片，并从所述拆帧图片中筛选出包含配对图片数据的测试数据集，并从SICE数据集中筛选出包含不同曝光度图片，作为训练数据集；
模型训练模块，用于利用所述训练数据集对预设增强模型进行迭代训练，并保存完成迭代训练的所述预设增强模型，作为低照度增强模型；
图像增强模块，用于利用所述低照度增强模型对所述测试数据集进行低照度增强。
9.一种计算机设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的低照度图像增强方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的低照度图像增强方法中的步骤。
CN202210196296.3A 2022-03-01 2022-03-01 基于dce的低照度图像增强方法、系统及相关设备 Pending CN114663300A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210196296.3A CN114663300A (zh) 2022-03-01 2022-03-01 基于dce的低照度图像增强方法、系统及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210196296.3A CN114663300A (zh) 2022-03-01 2022-03-01 基于dce的低照度图像增强方法、系统及相关设备

Publications (1)

Publication Number Publication Date
CN114663300A true CN114663300A (zh) 2022-06-24

Family

ID=82027526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210196296.3A Pending CN114663300A (zh) 2022-03-01 2022-03-01 基于dce的低照度图像增强方法、系统及相关设备

Country Status (1)

Country Link
CN (1) CN114663300A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511754A (zh) * 2022-11-22 2022-12-23 北京理工大学 基于改进的Zero-DCE网络的低照度图像增强方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511754A (zh) * 2022-11-22 2022-12-23 北京理工大学 基于改进的Zero-DCE网络的低照度图像增强方法
CN115511754B (zh) * 2022-11-22 2023-09-12 北京理工大学 基于改进的Zero-DCE网络的低照度图像增强方法

Similar Documents

Publication Publication Date Title
CN105809643B (zh) 一种基于自适应块通道拉伸的图像增强方法
CN109862389B (zh) 一种视频处理方法、装置、服务器及存储介质
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
CN111064904A (zh) 一种暗光图像增强方法
CN113191995B (zh) 一种基于深度学习的视频图像自动曝光校正方法
CN112348747A (zh) 图像增强方法、装置及存储介质
CN113284064B (zh) 一种基于注意力机制跨尺度上下文低照度图像增强方法
CN107895350B (zh) 一种基于自适应双伽玛变换的hdr图像生成方法
CN113850741B (zh) 图像降噪方法、装置、电子设备以及存储介质
CN111047543A (zh) 图像增强方法、装置和存储介质
WO2021093718A1 (zh) 视频处理方法、视频修复方法、装置及设备
CN112200736A (zh) 基于强化学习的图像处理方法及模型训练方法、装置
CN113706393B (zh) 视频增强方法、装置、设备及存储介质
CN113139909A (zh) 一种基于深度学习的图像增强方法
CN116309152A (zh) 一种低照度图像的细节增强方法、系统、设备和存储介质
CN113781318A (zh) 一种图像颜色映射方法、装置、终端设备及存储介质
CN115984570A (zh) 一种视频去噪方法、装置、存储介质和电子装置
CN114663300A (zh) 基于dce的低照度图像增强方法、系统及相关设备
CN112819699A (zh) 视频处理方法、装置及电子设备
CN114037641A (zh) 一种低照度图像增强方法、装置、设备及介质
CN117391987A (zh) 基于多阶段联合增强机制的暗光图像处理方法
CN112070686A (zh) 一种基于深度学习的逆光图像协同增强方法
CN116563133A (zh) 基于模拟曝光和多尺度融合的低照度彩色图像增强方法
CN116579940A (zh) 一种基于卷积神经网络的实时低照度图像增强方法
CN116389913A (zh) 一种基于深度曲线估计的图像曝光校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination