CN112465726A - 基于参考亮度指标指导的低照度可调节亮度增强方法 - Google Patents

基于参考亮度指标指导的低照度可调节亮度增强方法 Download PDF

Info

Publication number
CN112465726A
CN112465726A CN202011437884.9A CN202011437884A CN112465726A CN 112465726 A CN112465726 A CN 112465726A CN 202011437884 A CN202011437884 A CN 202011437884A CN 112465726 A CN112465726 A CN 112465726A
Authority
CN
China
Prior art keywords
image
brightness
feature
sampling
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011437884.9A
Other languages
English (en)
Inventor
姜竹青
王雅楠
刘畅
李凯
门爱东
王海婴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202011437884.9A priority Critical patent/CN112465726A/zh
Publication of CN112465726A publication Critical patent/CN112465726A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于参考亮度指标指导的低照度可调节亮度增强方法，属于计算机视觉图像技术领域。第一步，通过卷积、下采样和全局平均池化等方式，对输入暗光图像和参考亮度指标进行特征提取，得到特征向量；第二步，将特征向量分解为亮度和内容特征分量，组合暗光图像的内容分量和参考亮度指标的亮度分量，实现特征重组；第三步，通过转置卷积、上采样和跳连等方式，对重组的特征向量进行重建。本发明设计合理，充分考虑了不同应用场景或用户对光照的不同需求，高效地利用并保留了图像的亮度和内容信息，另外网络复杂度较低，在取得较好亮度增强效果的同时，保持了较快的运行速度，整体在暗光图像可调节亮度增强上取得了较好的效果。

Description

基于参考亮度指标指导的低照度可调节亮度增强方法
技术领域
本发明属于计算机视觉图像技术领域，尤其是一种基于参考亮度指标指导的低照度可调节亮度增强方法。
背景技术
随着科学技术的进步、移动设备的发展和普及，人们获取图像的方式越来越便捷。但在图像采集的过程中，受限于拍照设备和不受控的拍摄环境及光照条件，图像质量常常会下降。例如，智能手机相机的光圈和传感器较小，动态范围有限；拍摄环境光线不充足，图像中出现噪声和颜色失真。这些不仅会影响图像的视觉效果，使信息呈现不完整，还会限制后续应用。为了提高图像质量，常常需要一些后处理来进行图像增强。由于图像视觉质量的感知是一项与应用场景、用户性格和审美等因素有关的认知任务，因此图像增强的过程应该是面向应用场景或用户且具有可调节性的。虽然现有的专业软件提供了人为调整图像的工具，但这些工具要么操作复杂，需要专业知识；要么操作较简单，但增强效果不好。因此，如何根据不同应用场景或用户的需求，高效地对低质量暗光图像进行可调节亮度增强，是计算机视觉领域的一个重要但又具挑战性的研究课题。
低照度图像增强技术(Low-Light Image Enhancement)是针对照明不足的图像存在的低亮度、低对比度和噪声等问题进行处理，恢复图像亮度，提升视觉效果。低照度图像增强是一个主观过程，不同应用场景或用户对正常亮度等级的定义不同，所需亮度水平也不同，因此具有可调节性的亮度增强网络的实用性将会大大提高。低照度图像增强为计算机更好地观察、分析和处理图片提供了重要的技术支持，在医学影像和监控系统等很多领域都具有非常重要的应用价值。
传统的低照度图像增强方法主要表现为提高图像的对比度。直方图均衡化(HE)及其变体通过调整图像的直方图来扩大其有限的动态范围；视网膜理论(Retinex Theory)将图像看作反射层和光照层的乘积，通过估计并调整光照层以增强图像亮度。这些方法不能处理复杂情况下暗光到正常亮度的映射，无法保证图像增强的效果。
受益于深度学习的发展，越来越多的研究人员将神经网络应用于非线性低照度增强问题。例如，用随机伽马矫正模拟的数据对卷积神经网络进行训练的低照度增强技术(LLNet)，使用非成对数据对生成式对抗网络进行训练的低照度增强技术(EnlightenGAN)，通过卷积神经网络学习从图像到曲线的映射，并将曲线应用于原图以调整图像像素值的低照度增强技术(Zero-DCE)，通过卷积神经网络估计图像到光照图映射的低照度增强技术(DeepUPE)。但是这些方法只能实现固定亮度的增强，即一对一的映射，没有考虑应用场景或用户对亮度的不同需求。使用卷积神经网络将图像分解为反射层和光照层，在反射层进行去噪，在光照层通过比例系数进行亮度调节的低照度增强技术(KinD)可在有限范围内调整亮度等级，但人眼观察到的图像亮度等级并不与比例系数呈线性关系。通过卷积网络学习代表用户喜好的偏好向量，用于指导亮度增强过程的低照度增强技术(PieNet)，可通过用户选择的多张喜好图像生成该用户特定的增强图像，但前期准备和操作较复杂，且偏好向量中除包含亮度信息外，还学习到了颜色信息，导致增强图像中出现颜色失真的问题。
发明内容
本发明的目的在于克服现有技术的不足，提出一种设计合理、充分考虑主观因素且相对较为轻量的基于参考亮度指标指导的低照度可调节亮度增强方法。
本发明解决其技术问题是采取以下技术方案实现的：
一种基于参考亮度指标指导的低照度可调节亮度增强方法，包括以下步骤：
步骤1、在图像输入阶段，随机采用图像增强技术，变换样本内容；
步骤2、将暗光图像和参考亮度指标输入网络，分别进行特征提取，该阶段包括卷积、下采样和全局平均池化等操作，输出暗光图像和参考亮度指标的特征向量；
步骤3、将步骤2得到的两个特征向量分别分解为亮度特征分量和内容特征分量，通过剪切和拼接的操作，实现对特征向量的重组，输出由参考指标的亮度分量和暗光图像的内容分量组合构成的特征向量；
步骤4、对步骤3得到的重组后的特征向量进行重建，该阶段包括转置卷积、上采样和跳连等操作，输出亮度增强至与参考水平相近的特征图；
步骤5、步骤4得到的特征图经过卷积处理，映射到输出的特征维度，卷积核的输出通道数和输入图像的通道数一致，最终输出与参考指标亮度相近的正常亮度图像；
步骤6、将步骤5的输出图像重新送入网络，通过卷积、下采样和全局平均池化等操作，对其进行特征提取，并通过剪切得到两个特征分量。在隐空间中，使用本步骤和步骤3中得到的特征分量计算损失函数，用于优化网络。
进一步，所述步骤1的数据增强的具体方法包括以下步骤：
(1)若处于测试阶段，则直接进入步骤2；若处于训练阶段，则进行以下操作；
(2)对输入的暗光图像和参考亮度图像，以各1/4的概率决定其翻转方式，包括不翻转、水平翻转、垂直翻转和水平及垂直翻转，两个图像的翻转方式相同；
(3)在翻转后的输入图像中，随机定位一个尺寸为100×100的图像块，且在暗光图像和参考亮度图像中的位置相对应；
(4)对于被定位到的图像块，将暗光图像的这部分内容替换为用于监督的对应位置的参考亮度图像块内容，即让网络对这部分像素进行恒等映射的学习，对网络学习起到了正则化的作用。限制其只在需要增强亮度的地方进行增强处理，避免了处理后的图像出现过曝(过度增强)，迫使网络不仅需要学习如何进行亮度增强，还需要学习在哪儿进行亮度增强。
进一步，所述步骤2的具体细节包括以下内容：
(1)若处于测试阶段，则参考亮度指标为任意正常亮度指标；若处于训练阶段，则参考亮度指标为暗光图像对应的有监督正常亮度图像；
(2)该特征提取阶段逐步下采样，可视为编码器，共有四层下采样和一层全局平均池化；
(3)每一层下采样首先进行两次3×3的卷积，进一步提取特征，卷积不改变特征图尺寸，但是改变输出通道数分别至32、64、128和256，再使用最大值池化将特征图尺寸降低为原来的1/2，进行空间特征的压缩与融合，保留纹理内容，扩大卷积网络的感受野，提取更多语义信息；
(4)在全局平均池化前，首先对四层下采样后的特征图进行一次3×3的卷积，改变其通道数至512，再采用全局平均池化将特征图变为512维的特征向量，作为该阶段的输出；
进一步，所述步骤(1)的具体细节包括以下内容：
①用于测试阶段的参考亮度指标可以为任意正常亮度图像、无内容图像和图像的平均亮度值；
②若参考亮度指标为正常亮度图像，则直接输入网络进行亮度特征的提取；
③若参考亮度指标为无内容图像，如白图，则直接输入网络进行亮度特征的提取；
③若参考亮度指标为图像的平均亮度值，则首先将该值经过扩维和维度复制的操作，变为与暗光图像具有相同尺寸和通道数的图像，再输入网络进行亮度特征的提取。
进一步，所述步骤3的具体细节包括以下内容：
(1)对特征向量进行分解，限制其前96维表示图像亮度信息，97-512维表示图像内容信息；
(2)通过剪切，分别得到暗光图像和参考亮度指标的亮度特征分量和内容特征分量；
(3)将参考亮度指标的亮度分量和暗光图像的内容分量进行拼接，得到新的512维特征向量，重组后的向量中包含了目标亮度信息和亮度增强前后具有不变性的内容信息；
进一步，所述步骤4的具体细节包括以下内容：
(1)该图像重建阶段逐步上采样，可视为解码器，共有四层上采样，与步骤2中的下采样一一对应；
(2)在进行上采样之前，首先将512维特征向量通过维度复制扩展为目标特征图，该特征图具有与特征提取阶段第四次下采样前的特征图相同的尺寸和通道数；
(3)每一层上采样首先使用转置卷积，对特征图进行2倍上采样，并和特征提取阶段中对应层的具有相同尺寸的输出在通道维度上进行级联，及时补充在提取特征时由于下采样而丢失的空间信息，同时合并深层次语义特征信息；
(4)对级联后的特征图进行两次3×3的卷积，进一步重建图像信息，如此重复四次，并将第四层上采样后的特征图作为该阶段的输出；
进一步，所述步骤(2)的具体细节包括以下内容：
①对输入的512维特征向量，通过一次全连接层，将通道数改变为256；
②将256维特征向量进行扩维，变为1×1×256的特征图；
③将②中得到的特征图通过维度复制，得到尺寸为H×W×256的目标特征图，其中，H和W分别为特征提取阶段第四次下采样前的特征图的高和宽。
进一步，所述步骤6的具体细节包括以下内容：
(1)若处于测试阶段，则忽略该步骤，步骤5即为最终步骤；若处于训练阶段，则进行以下操作；
(2)对送入特征提取阶段的正常亮度图像进行与步骤2相同的操作，得到512维特征向量；
(3)对特征向量进行与步骤3中所述步骤(2)相同的操作，得到表示图像不同信息的亮度分量和内容分量；
(4)使用(3)中的内容分量与步骤3所述步骤(2)中暗光图像的内容分量计算均方误差损失；
(5)使用(3)中的亮度分量与步骤3所述步骤(2)中暗光图像和参考亮度图像的亮度分量计算三元组损失。
本发明的优点和积极效果是：
1、本发明设计合理，充分考虑到低照度图像增强是一个具有主观性的过程，由于不同应用场景或用户通常对正常光照的定义不同，所需亮度水平也不同，所以在低照度图像增强的过程中，引入参考亮度指标作为亮度增强的标准，使网络在高效利用该参考指标亮度信息的同时，最大程度地保留了原始暗光图像的内容信息。
2、本发明将参考亮度指标指导的低照度可调节增强过程分为三个阶段。第一阶段对暗光图像和参考亮度指标进行特征提取；第二阶段对提取出的特征向量进行重组，新的特征保留了原始暗光图像的内容信息，并引入参考指标的亮度信息；第三阶段对重组后的特征向量进行重建，最终网络输出与参考指标亮度相近的正常亮度图像。网络可通过输入不同亮度等级的参考指标改变暗光图像的增强效果，以满足不同应用场景或不同用户的需求，使网络在实现亮度增强的前提下，也完成了亮度可调节的目的。此外由于网络复杂度较低，在保证增强效果的同时，兼顾了算法的运行速度。
附图说明
图1是本发明的低照度可调节亮度增强网络的主干框架图；
图2是本发明的特征提取和图像重建模块的框架图；
具体实施方式
以下结合附图对本发明实施例做进一步详述。
一种基于参考亮度指标指导的低照度可调节亮度增强方法，如图1至图2所示，包括以下步骤：
步骤S1、在图像输入阶段，随机采用图像增强技术，变换样本内容；
步骤S2、将暗光图像和参考亮度指标输入网络，分别进行特征提取，该阶段包括卷积、下采样和全局平均池化等操作，输出暗光图像和参考亮度指标的特征向量；
步骤S3、将步骤S2得到的两个特征向量分别分解为亮度特征分量和内容特征分量，通过剪切和拼接的操作，实现对特征向量的重组，输出由参考指标的亮度分量和暗光图像的内容分量组合构成的特征向量；
步骤S4、对步骤S3得到的重组后的特征向量进行重建，该阶段包括转置卷积、上采样和跳连等操作，输出亮度增强至与参考水平相近的特征图；
步骤S5、步骤S4得到的特征图经过卷积处理，映射到输出的特征维度，卷积核的输出通道数和输入图像的通道数一致，最终输出与参考指标亮度相近的正常亮度图像；
步骤S6、将步骤S5的输出图像重新送入网络，通过卷积、下采样和全局平均池化等操作，对其进行特征提取，并通过剪切得到两个特征分量。在隐空间中，使用本步骤和步骤S3中得到的特征分量计算损失函数，用于优化网络。
步骤S2的具体实现方法如下：
步骤S2.1、若处于测试阶段，则参考亮度指标为任意正常亮度指标；若处于训练阶段，则参考亮度指标为暗光图像对应的有监督正常亮度图像；
步骤S2.2、该特征提取阶段逐步下采样，可视为编码器，共有四层下采样和一层全局平均池化；
步骤S2.3、每一层下采样首先进行两次3×3的卷积，进一步提取特征，卷积不改变特征图尺寸，但是改变输出通道数分别至32、64、128和256，再使用最大值池化将特征图尺寸降低为原来的1/2，进行空间特征的压缩与融合，保留纹理内容，扩大卷积网络的感受野，提取更多语义信息；
步骤S2.4、在全局平均池化前，首先对四层下采样后的特征图进行一次3×3的卷积，改变其通道数至512，再采用全局平均池化将特征图变为512维的特征向量，作为该阶段的输出；
步骤S2.1的具体实现方法如下：
步骤S2.1.1、用于测试阶段的参考亮度指标可以为任意正常亮度图像、无内容图像和图像的平均亮度值；
步骤S2.1.2、若参考亮度指标为正常亮度图像，则直接输入网络进行亮度特征的提取；
步骤S2.1.3、若参考亮度指标为无内容图像，如白图，则直接输入网络进行亮度特征的提取；
步骤S2.1.4、若参考亮度指标为图像的平均亮度值，则首先将该值经过扩维和维度复制的操作，变为与暗光图像具有相同尺寸和通道数的图像，再输入网络进行亮度特征的提取。
步骤S3的具体实现方法如下：
步骤S3.1、对特征向量进行分解，限制其前96维表示图像亮度信息，97-512维表示图像内容信息；
步骤S3.2、通过剪切，分别得到暗光图像和参考亮度指标的亮度特征分量和内容特征分量；
步骤S3.3、将参考亮度指标的亮度分量和暗光图像的内容分量进行拼接，得到新的512维特征向量，重组后的向量中包含了目标亮度信息和亮度增强前后具有不变性的内容信息；
步骤S4的具体实现方法如下：
步骤S4.1、该图像重建阶段逐步上采样，可视为解码器，共有四层上采样，与步骤S2中的下采样一一对应；
步骤S4.2、在进行上采样之前，首先将512维特征向量通过维度复制扩展为目标特征图，该特征图具有与特征提取阶段第四次下采样前的特征图相同的尺寸和通道数；
步骤S4.3、每一层上采样首先使用转置卷积，对特征图进行2倍上采样，并和特征提取阶段中对应层的具有相同尺寸的输出在通道维度上进行级联，及时补充在提取特征时由于下采样而丢失的空间信息，同时合并深层次语义特征信息；
步骤S4.4、对级联后的特征图进行两次3×3的卷积，进一步重建图像信息，如此重复四次，并将第四层上采样后的特征图作为该阶段的输出；
步骤S4.2的具体实现方法如下：
步骤S4.2.1、对输入的512维特征向量，通过一次全连接层，将通道数改变为256；
步骤S4.2.2、将256维特征向量进行扩维，变为1×1×256的特征图；
步骤S4.2.3、将步骤S4.2.2中得到的特征图通过维度复制，得到尺寸为H×W×256的目标特征图，其中，H和W分别为特征提取阶段第四次下采样前的特征图的高和宽。
步骤S6的具体实现方法如下：
步骤S6.1、若处于测试阶段，则忽略该步骤，步骤S5即为最终步骤；若处于训练阶段，则进行以下操作；
步骤S6.2、对送入特征提取阶段的正常亮度图像进行与步骤S2相同的操作，得到512维特征向量；
步骤S6.3、对特征向量进行与步骤S3.2相同的操作，得到表示图像不同信息的亮度分量和内容分量；
步骤S6.4、使用步骤S6.3中的内容分量与步骤S3.2中暗光图像的内容分量计算均方误差损失；
步骤S6.5、使用步骤S6.3中的亮度分量与步骤S3.2中暗光图像和参考亮度图像的亮度分量计算三元组损失。
通过以上步骤即可得到与参考图像亮度相近的正常亮度图像。
最后，我们以最小化绝对误差损失函数(L1损失函数)、均方误差损失函数(L2损失函数)、三元组损失函数(triplet损失函数)和余弦损失函数为目标训练网络，使用PSNR(Peak Signal to Noise Ratio，峰值信噪比)和SSIM(structural similarity index，结构相似性)定量评价网络性能，通过视觉效果定性评价网络性能。方法如下：
测试环境：Python 3.7；TensorFlow框架；Ubuntu16.04系统；NVIDIA GTX 2080tiGPU
测试序列：所选数据集是用于低照度增强的低光数据集(Low-Light dataset，LOL)，包含500对低光-正常光图像对；用于图像增强的高质量数据集(MIT Adobe 5K)，包含5组(A/B/C/D/E)5000对低光-正常光图像对。
测试方法：在LOL中选取15对图像对，在MIT Adobe 5K中选取C组中500对图像对作为测试集，定量和定性地评价网络效果。
测试指标：本发明使用PSNR和SSIM指标进行评测，对当今流行的不同算法计算指标数据然后进行结果对比，另外对相同图像应用于不同方法增强后的结果进行视觉效果的比较，证明本发明在低照度增强领域能够得到较好的结果，并且可根据参考图像输出不同亮度等级的增强结果。
测试结果如下：
表1.本发明在LoL数据集上与SOTA方法进行的性能对比
Method CRM Dong LIME MF Retinex MSR NPE GLAD KinD MIRNet Ours
PSNR 17.20 16.72 16.76 18.79 16.77 13.17 16.97 19.72 20.87 24.14 27.90
SSIM 0.64 0.58 0.56 0.64 0.56 0.48 0.59 0.70 0.80 0.83 0.86
表2.本发明在LoL数据集上与SOTA方法进行的性能对比
Method HDRNet W-Box DR DPE DeepUPE MIRNet Ours
PSNR 21.96 18.57 20.97 22.15 23.04 23.73 28.93
SSIM 0.866 0.701 0.841 0.850 0.893 0.925 0.952
本发明未述及之处适用于现有技术。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (8)

1.基于参考亮度指标指导的低照度可调节亮度增强方法，其特征在于包括以下步骤：
步骤1、在图像输入阶段，随机采用图像增强技术，变换样本内容；
步骤2、将暗光图像和参考亮度指标输入网络，分别进行特征提取，该阶段包括卷积、下采样和全局平均池化等操作，输出暗光图像和参考亮度指标的特征向量；
步骤3、将步骤2得到的两个特征向量分别分解为亮度特征分量和内容特征分量，通过剪切和拼接的操作，实现对特征向量的重组，输出由参考指标的亮度分量和暗光图像的内容分量组合构成的特征向量；
步骤4、对步骤3得到的重组后的特征向量进行重建，该阶段包括转置卷积、上采样和跳连等操作，输出亮度增强至与参考水平相近的特征图；
步骤5、步骤4得到的特征图经过卷积处理，映射到输出的特征维度，卷积核的输出通道数和输入图像的通道数一致，最终输出与参考指标亮度相近的正常亮度图像；
步骤6、将步骤5的输出图像重新送入网络，通过卷积、下采样和全局平均池化等操作，对其进行特征提取，并通过剪切得到两个特征分量。在隐空间中，使用本步骤和步骤3中得到的特征分量计算损失函数，用于优化网络。
2.根据权利要求1所述的基于参考亮度指标指导的低照度可调节亮度增强方法，其特征在于，所述步骤1的数据增强的具体方法包括以下步骤：
(1)若处于测试阶段，则直接进入权利要求1所述步骤2；若处于训练阶段，则进行以下操作；
(2)对输入的暗光图像和参考亮度图像，以各1/4的概率决定其翻转方式，包括不翻转、水平翻转、垂直翻转和水平及垂直翻转，两个图像的翻转方式相同；
(3)在翻转后的输入图像中，随机定位一个尺寸为100×100的图像块，且在暗光图像和参考亮度图像中的位置相对应；
(4)对于被定位到的图像块，将暗光图像的这部分内容替换为用于监督的对应位置的参考亮度图像块内容，即让网络对这部分像素进行恒等映射的学习，对网络学习起到了正则化的作用。限制其只在需要增强亮度的地方进行增强处理，避免了处理后的图像出现过曝(过度增强)，迫使网络不仅需要学习如何进行亮度增强，还需要学习在哪儿进行亮度增强。
3.根据权利要求1所述的基于参考亮度指标指导的低照度可调节亮度增强方法，其特征在于，所述步骤2的具体细节包括以下内容：
(1)若处于测试阶段，则参考亮度指标为任意正常亮度指标；若处于训练阶段，则参考亮度指标为暗光图像对应的有监督正常亮度图像；
(2)该特征提取阶段逐步下采样，可视为编码器，共有四层下采样和一层全局平均池化；
(3)每一层下采样首先进行两次3×3的卷积，进一步提取特征，卷积不改变特征图尺寸，但是改变输出通道数分别至32、64、128和256，再使用最大值池化将特征图尺寸降低为原来的1/2，进行空间特征的压缩与融合，保留纹理内容，扩大卷积网络的感受野，提取更多语义信息。
(4)在全局平均池化前，首先对四层下采样后的特征图进行一次3×3的卷积，改变其通道数至512，再采用全局平均池化将特征图变为512维的特征向量，作为该阶段的输出；
4.根据权利要求3所述的基于参考亮度指标指导的低照度可调节亮度增强方法，其特征在于，所述步骤(1)的具体细节包括以下内容：
①用于测试阶段的参考亮度指标可以为任意正常亮度图像、无内容图像和图像的平均亮度值；
②若参考亮度指标为正常亮度图像，则直接输入网络进行亮度特征的提取；
③若参考亮度指标为无内容图像，如白图，则直接输入网络进行亮度特征的提取；
③若参考亮度指标为图像的平均亮度值，则首先将该值经过扩维和维度复制的操作，变为与暗光图像具有相同尺寸和通道数的图像，再输入网络进行亮度特征的提取。
5.根据权利要求1所述的基于参考亮度指标指导的低照度可调节亮度增强方法，其特征在于，所述步骤3的具体细节包括以下内容：
(1)对特征向量进行分解，限制其前96维表示图像亮度信息，97-512维表示图像内容信息；
(2)通过剪切，分别得到暗光图像和参考亮度指标的亮度特征分量和内容特征分量；
(3)将参考亮度指标的亮度分量和暗光图像的内容分量进行拼接，得到新的512维特征向量，重组后的向量中包含了目标亮度信息和亮度增强前后具有不变性的内容信息。
6.根据权利要求1所述的基于参考亮度指标指导的低照度可调节亮度增强方法，其特征在于，所述步骤4的具体细节包括以下内容：
(1)该图像重建阶段逐步上采样，可视为解码器，共有四层上采样，与步骤2中的下采样一一对应；
(2)在进行上采样之前，首先将512维特征向量通过维度复制扩展为目标特征图，该特征图具有与特征提取阶段第四次下采样前的特征图相同的尺寸和通道数；
(3)每一层上采样首先使用转置卷积，对特征图进行2倍上采样，并和特征提取阶段中对应层的具有相同尺寸的输出在通道维度上进行级联，及时补充在提取特征时由于下采样而丢失的空间信息，同时合并深层次语义特征信息；
(4)对级联后的特征图进行两次3×3的卷积，进一步重建图像信息，如此重复四次，并将第四层上采样后的特征图作为该阶段的输出。
7.根据权利要求6所述的基于参考亮度指标指导的低照度可调节亮度增强方法，其特征在于，所述步骤(2)的具体细节包括以下内容：
①对输入的512维特征向量，通过一次全连接层，将通道数改变为256；
②将256维特征向量进行扩维，变为1×1×256的特征图；
③将②中得到的特征图通过维度复制，得到尺寸为H×W×256的目标特征图，其中，H和W分别为特征提取阶段第四次下采样前的特征图的高和宽。
8.根据权利要求1所述的基于参考亮度指标指导的低照度可调节亮度增强方法，其特征在于，所述步骤6的具体细节包括以下内容：
(1)若处于测试阶段，则忽略该步骤，权利要求1所述步骤5即为最终步骤；若处于训练阶段，则进行以下操作；
(2)对送入特征提取阶段的正常亮度图像进行与权利要求1所述步骤2相同的操作，得到512维特征向量；
(3)对特征向量进行与权利要求4所述步骤(2)相同的操作，得到表示图像不同信息的亮度分量和内容分量；
(4)使用(3)中的内容分量与权利要求5所述步骤(2)中暗光图像的内容分量计算均方误差损失；
(5)使用(3)中的亮度分量与权利要求5所述步骤(2)中暗光图像和参考亮度图像的亮度分量计算三元组损失。
CN202011437884.9A 2020-12-07 2020-12-07 基于参考亮度指标指导的低照度可调节亮度增强方法 Pending CN112465726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011437884.9A CN112465726A (zh) 2020-12-07 2020-12-07 基于参考亮度指标指导的低照度可调节亮度增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011437884.9A CN112465726A (zh) 2020-12-07 2020-12-07 基于参考亮度指标指导的低照度可调节亮度增强方法

Publications (1)

Publication Number Publication Date
CN112465726A true CN112465726A (zh) 2021-03-09

Family

ID=74800515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011437884.9A Pending CN112465726A (zh) 2020-12-07 2020-12-07 基于参考亮度指标指导的低照度可调节亮度增强方法

Country Status (1)

Country Link
CN (1) CN112465726A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927164A (zh) * 2021-03-22 2021-06-08 重庆邮电大学 一种基于深度卷积神经网络的无参考低照度图像增强方法
CN112949530A (zh) * 2021-03-12 2021-06-11 新疆爱华盈通信息技术有限公司 用于停车场巡检车的巡检方法与系统、巡检车
CN113229767A (zh) * 2021-04-12 2021-08-10 佛山市顺德区美的洗涤电器制造有限公司 用于处理图像的方法、处理器、控制装置及家用电器
CN113592733A (zh) * 2021-07-22 2021-11-02 北京小米移动软件有限公司 图像处理方法、装置、存储介质及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949530A (zh) * 2021-03-12 2021-06-11 新疆爱华盈通信息技术有限公司 用于停车场巡检车的巡检方法与系统、巡检车
CN112949530B (zh) * 2021-03-12 2024-05-28 芯算一体(深圳)科技有限公司 用于停车场巡检车的巡检方法与系统、巡检车
CN112927164A (zh) * 2021-03-22 2021-06-08 重庆邮电大学 一种基于深度卷积神经网络的无参考低照度图像增强方法
CN113229767A (zh) * 2021-04-12 2021-08-10 佛山市顺德区美的洗涤电器制造有限公司 用于处理图像的方法、处理器、控制装置及家用电器
CN113229767B (zh) * 2021-04-12 2022-08-19 佛山市顺德区美的洗涤电器制造有限公司 用于处理图像的方法、处理器、控制装置及家用电器
CN113592733A (zh) * 2021-07-22 2021-11-02 北京小米移动软件有限公司 图像处理方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN112465726A (zh) 基于参考亮度指标指导的低照度可调节亮度增强方法
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
CN112419151B (zh) 图像退化处理方法、装置、存储介质及电子设备
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN112348747A (zh) 图像增强方法、装置及存储介质
CN113129236B (zh) 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统
CN113284064B (zh) 一种基于注意力机制跨尺度上下文低照度图像增强方法
CN112614061A (zh) 基于双路编解码器的低照度图像亮度增强及超分辨率方法
CN111047543A (zh) 图像增强方法、装置和存储介质
CN113052814B (zh) 基于Retinex和注意力机制的暗光图像增强方法
CN112019827B (zh) 视频图像色彩增强的方法、装置、设备及存储介质
CN116051428B (zh) 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN115170915A (zh) 一种基于端到端注意力网络的红外与可见光图像融合方法
CN115393225A (zh) 一种基于多层次特征提取融合的低光照图像增强方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN117611467A (zh) 一种能同时平衡不同区域细节和亮度的低光图像增强方法
KR102277005B1 (ko) 비지도 학습을 이용한 저조도 영상 처리 방법 및 장치
CN116579940A (zh) 一种基于卷积神经网络的实时低照度图像增强方法
CN114638764B (zh) 基于人工智能的多曝光图像融合方法及系统
CN116977190A (zh) 图像处理方法、装置、设备、存储介质及程序产品
CN114663300A (zh) 基于dce的低照度图像增强方法、系统及相关设备
Lee et al. Efficient Low Light Video Enhancement Based on Improved Retinex Algorithms
CN114897718B (zh) 一种能同时平衡上下文信息和空间细节的低光图像增强方法
CN113688694B (zh) 基于非配对学习的提升视频清晰度的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination