CN114998145A - 一种基于多尺度和上下文学习网络的低照度图像增强方法 - Google Patents
一种基于多尺度和上下文学习网络的低照度图像增强方法 Download PDFInfo
- Publication number
- CN114998145A CN114998145A CN202210652706.0A CN202210652706A CN114998145A CN 114998145 A CN114998145 A CN 114998145A CN 202210652706 A CN202210652706 A CN 202210652706A CN 114998145 A CN114998145 A CN 114998145A
- Authority
- CN
- China
- Prior art keywords
- scale
- network
- image
- convolution
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 10
- 230000008447 perception Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 239000003086 colorant Substances 0.000 abstract description 2
- 238000004040 coloring Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 2
- 235000011941 Tilia x europaea Nutrition 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 239000004571 lime Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种图像增强方法，特别是指一种基于多尺度和上下文学习网络的低照度图像增强方法。构建基于多尺度和上下文编码的网络，通过提高模型的多尺度特征表示能力和学习全局视野，充分学习丰富的局部和全局信息，从而实现自适应的低光照图像增强，该网络的输入为低光照图像，输出为其对应的增强图像；有益效果在于，该模型能够提高多尺度特征表示能力和学习全局视野，充分学习丰富的局部和全局信息，从而实现自适应的低光照图像增强，在保证上色结果图像质量的同时提高了颜色的饱和度和多样性，增强低光照图像的细节信息，使低光照图像增强效果更自然、更清晰。
Description
技术领域
本发明涉及一种图像增强方法，特别是指一种基于多尺度和上下文学习网络的低照度图像增强方法。
背景技术
低光照图像增强是计算机视觉中一项重要且具有挑战性的任务。在暗光或光线不足的条件下拍摄的图像，通常会出现图像的亮度过低、部分图像信息缺失、产生大量噪声等严重影响图像成像质量的问题，低光照图像增强即对此类图像的光照、颜色、对比度等进行增强处理使图像变得自然和清晰。这项任务已被广泛用于安全监控、产品检验、人机交互、医学应用和目标检测等实际应用中。近年来，随着卷积神经网络，即CNN的快速发展，CNN被大量应用于计算机视觉任务中，其中基于CNN的低光照增强方法也得到了广泛研究。2017年Lore等人通过构造栈式稀疏去噪自编码器(LLNet)实现低照度增强，首次表明深度学习适用于低照度增强任务。2020年Syed等人提出了针对关键元素的多尺度残差模块来自多个尺度的背景信息，同时保留了高分辨率的空间细节，实现了低光照图像的细节增强。2021年Jiang等人设计的EnlightenGAN用于无参考低照度图像增强，减少了对成对(低光照－正常光照)数据集的依耐。
上述基于CNN的方法取得了显著的效果，但是该类方法受限于卷积核的尺寸，难以捕获多尺度特征信息和全局信息。缺陷在于：一方面，从局部看，低光照图像的照度分布是复杂的，其位置、形状和尺寸都具有一定的多样性。因此，单一尺寸的卷积操作难以充分学习低照度分布的特征信息。另一方面，从整体看，低光照图像的照度具备一定全局风格，比如整体非常暗或整体一般暗。学习全局信息有助于模型从全局视角指导局部的照度增强，通过对全局和局部信息的捕获，使得模型具备自适应增强的能力。受限于卷积核感受野的大小，CNN难以学习全局上下文信息，导致该类模型在稍暗的局部区域容易增强不足，或在稍亮的局部区域曝光过度。
发明内容
本发明的目的在于提供一种基于多尺度和上下文的低照度图像增强方法，从而克服现有技术的不足。
本发明的技术方案在于，构建基于多尺度和上下文编码的网络，即Multiscaleand Context Learning Network，简称MCL-Net，通过提高模型的多尺度特征表示能力和学习全局视野，充分学习丰富的局部和全局信息，从而实现自适应的低光照图像增强，该网络的输入为低光照图像，输出为其对应的增强图像；为了提取多尺度特征，通过四个多尺度特征提取模块和三个双线性插值操作，融合跳跃连联、上下文编码和最大池化，构建了多尺度特征学习子网络；为了获取全局视野以引导局部的照度增强，构建由转换器实现的上下文编码子网络；为了生成增强结果，构建由三组“上采样+特征拼接+多尺度特征学习子网络”和一个1×1卷积堆叠而成的上采样子网络。
本发明具体包括以下步骤：
步骤1，数据收集与处理，训练数据集2万对合成数据集，原始数据从VOC、COCO数据集中选择、测试数据LOL、NASA和LIME作为测试数据集。
步骤2，构建MCL-Net网络，基于多尺度和上下文学习的网络模型，采用提取多尺度特征和上下文编码信息，增强网络对多尺度信息的表示能力，通过残差注意力机制(通道注意力和空间注意力)，有效地学习照度分布信息，增强图像的细节信息和光照度。
多尺度学习模块利用不同步长的最大池化操作获得多尺度特征，然后特征送入空间注意力和3×3卷积以过滤噪声信息；多尺度特征融合时引入通道注意力加权不同的尺度特征，而非简单的同等对待各个尺度的信息，使得网络学习到更有价值的多尺度信息。该模块可以表示为：
Fi＝MSi(x)
MF＝Fu(F1,F2)
其中，MS(·)表示最大池化、空间注意力、3×3卷积和上采样等操作，Fu(·)为多尺度特征融合操作，包括以基于通道的特征拼接、1×1卷积、通道注意力和逐像素相加等操作；此外，该模块还引入了1×1卷积和自校准卷积。1×1卷积用来缩放输入、输出特征的通道，从而减少计算量；自校准卷积用于捕获包含局部长距离依赖关系；
步骤3，为了使MCL-Net获取全局视野以引导局部的照度增强，设计由Transformer实现的上下文编码子网络；Transformer用于捕获长距离依赖关系，主要由1个图像块嵌入、2个编辑器和1个上采样操作组成；输入特征首先经过图像块嵌入序列化处理，然后与位置嵌入融合后送入第一个编辑器，第二个编辑器的输入由第一个编辑器输出和位置嵌入组成，最后将序列化的向量经Reshape操作转成二维特征图，并送入上采样操作得到最终的输出。
s3.1，Patch Embedding：用于将输入特征切分成若干个p*p的块(patches)，并转换成序列化的向量。首先将输入特征(C×H×W)送入卷积核和步长均为p的卷积操作Hconv得到
的特征，然后经过变形(reshape)HResh和归一化操作HNorm获得序列化的向量
可表示为：
s3.2，Encoder：Encoder是Transformer的核心模块，用于像素间的捕获长距离依赖关系，每个Encoder由两个Transformer Encoder组成。Transformer Encoder的输入首先经过归一化处理，然后分别做线性变换(w1,w2,w3)得到关键向量Key、查询向量Query和值向量Value，并将其送入HMHSA，将输入与HMHSA的输出逐像素相加后送入前馈网络中HNorm与HMLP，再将输入与前馈网络HFF的输出相加得到Transformer Encoder最终的输出。TransformerEncoder可表示为：
其中，x,xpe为输入特征和位置编码信息，H,W为特征图的高、宽，i,j为特征图的元素下标，⊕为逐像素相加；
步骤4，上下文编码子网络的输出和多尺度子网络的输出作为上采样子网络的输入；最后采用1×1卷积将通道数映射到输出通道，得到增强图像。
为了评估低照度图像增强的图像质量，从图像重构全局信息、细节信息和生成内容方面考虑图像的损失，本发明定义了以重构损失、感知损失函数和内容生成的多项式损失函数，以弥补生成图像质量评判标准不足、引导网络生成高质量图像，Lrec为重构损失，Lper为感知损失，其中wrec＝1,wper＝0.006；
LACE-VAE＝wrecLrec+wperLper
重构损失用于确保MCL-Net生成结构内容完整的低照度增强图像，具体采用MSE计算MCL-Net输出与正常照度图像间的误差；如下面公式，Igt为正常照度图像，MCL-Net(·)为MCL-Net网络；
MSE在平滑图像中的噪声，同时也将细节纹理特征平滑，导致图片模糊，且容易产生伪影；为此，引入感知损失来引导网络保留更多的纹理信息，提高增强图像的质量，如下面公式：
其中，wij,hij,cij为MCL-Net网络中各个特征图的尺寸，
表示MCL-Net中第j个卷积组的第i个卷积模块，μx,μy为像素均值，
为方差，σxy为协方差，C1,C2为常数。
本发明的有益效果在于，该模型能够提高多尺度特征表示能力和学习全局视野，充分学习丰富的局部和全局信息，从而实现自适应的低光照图像增强，在保证上色结果图像质量的同时提高了颜色的饱和度和多样性，增强低光照图像的细节信息，使低光照图像增强效果更自然、更清晰。
附图说明
图1为网络整体结构图。
图2为多尺度特征学习子网络图。
图3为上下文编码子网络图。
具体实施方式
下面结合附图1至3对本发明的优选实施例作进一步说明，构建基于多尺度和上下文编码的网络，即Multiscale and Context Learning Network，简称MCL-Net，通过提高模型的多尺度特征表示能力和学习全局视野，充分学习丰富的局部和全局信息，从而实现自适应的低光照图像增强，该网络的输入为低光照图像，输出为其对应的增强图像；为了提取多尺度特征，通过四个多尺度特征提取模块和三个双线性插值操作，融合跳跃连联、上下文编码和最大池化，构建了多尺度特征学习子网络；为了获取全局视野以引导局部的照度增强，构建由转换器实现的上下文编码子网络；为了生成增强结果，构建由三组“上采样+特征拼接+多尺度特征学习子网络”和一个1×1卷积堆叠而成的上采样子网络。即三组“UP(upsamling)+concat+MF”和一个Conv1*1堆叠而成的上采样子网络。
本发明包括以下步骤：
步骤1，数据收集与处理，训练数据集2万对合成数据集，原始数据从VOC、COCO数据集中选择、测试数据LOL、NASA和LIME作为测试数据集。
步骤2，构建MCL-Net网络，基于多尺度和上下文学习的网络模型，采用提取多尺度特征和上下文编码信息，增强网络对多尺度信息的表示能力，通过残差注意力机制(通道注意力和空间注意力)，有效地学习照度分布信息，增强图像的细节信息和光照度。
多尺度学习模块利用不同步长的最大池化操作获得多尺度特征，然后特征送入空间注意力和3×3卷积以过滤噪声信息；多尺度特征融合时引入通道注意力加权不同的尺度特征，而非简单的同等对待各个尺度的信息，使得网络学习到更有价值的多尺度信息。该模块可以表示为：
Fi＝MSi(x)
MF＝Fu(F1,F2)
其中，MS(·)表示最大池化、空间注意力、3×3卷积和上采样等操作，Fu(·)为多尺度特征融合操作，包括以基于通道的特征拼接、1×1卷积、通道注意力和逐像素相加等操作；此外，该模块还引入了1×1卷积和自校准卷积。1×1卷积用来缩放输入、输出特征的通道，从而减少计算量；自校准卷积用于捕获包含局部长距离依赖关系；
步骤3，为了使MCL-Net获取全局视野以引导局部的照度增强，设计由Transformer实现的上下文编码子网络；
Transformer用于捕获长距离依赖关系，主要由1个图像块嵌入、2个编辑器和1个上采样操作组成；输入特征首先经过图像块嵌入序列化处理，然后与位置嵌入融合后送入第一个编码器，第二个编辑器的输入由第一个编辑器输出和位置嵌入组成，最后将序列化的向量经Reshape操作转成二维特征图，并送入上采样操作得到最终的输出。
s3.1，Patch Embedding：用于将输入特征切分成若干个p*p的块(patches)，并转换成序列化的向量。如图3，首先将输入特征(C×H×W)送入卷积核和步长均为p的卷积操作Hconv得到
的特征，然后经过变形(reshape)HResh和归一化操作HNorm获得序列化的向量
可表示为：
s3.2，Encoder：Encoder是Transformer的核心模块，用于像素间的捕获长距离依赖关系，每个编辑器Encoder由两个Transformer Encoder组成。Transformer Encoder的输入首先经过归一化处理，然后分别做线性变换(w1,w2,w3)得到关键向量Key、查询向量Query和值向量Value，并将其送入HMHSA，将输入与HMHSA的输出逐像素相加后送入前馈网络中HNorm与HMLP，再将输入与前馈网络HFF的输出相加得到Transformer Encoder最终的输出。Transformer Encoder可表示为：
其中，x,xpe为输入特征和位置编码信息，H,W为特征图的高、宽，i,j为特征图的元素下标，⊕为逐像素相加；
步骤4，上下文编码子网络的输出和多尺度子网络的输出作为上采样子网络的输入；最后采用1×1卷积将通道数映射到输出通道，得到增强图像。
为了评估低照度图像增强的图像质量，从图像重构全局信息、细节信息和生成内容方面考虑图像的损失，本发明定义了以重构损失、感知损失函数和内容生成的多项式损失函数，以弥补生成图像质量评判标准不足、引导网络生成高质量图像，Lrec为重构损失，Lper为感知损失，其中wrec＝1,wper＝0.006。
LACE-VAE＝wrecLrec+wperLper
重构损失用于确保MCL-Net生成结构内容完整的低照度增强图像，具体采用MSE计算MCL-Net输出与正常照度图像间的误差；如下面公式，Igt为正常照度图像，MCL-Net(·)为MCL-Net网络；
MSE在平滑图像中的噪声，同时也将细节纹理特征平滑，导致图片模糊，且容易产生伪影。为此，引入感知损失来引导网络保留更多的纹理信息，提高增强图像的质量，如下面公式：
其中，wij,hij,cij为MCL-Net网络中各个特征图的尺寸，
表示MCL-Net中第j个卷积组的第i个卷积模块，μx,μy为像素均值，
为方差，σxy为协方差，C1,C2为常数。
Claims (3)
1.一种基于多尺度和上下文学习网络的低照度图像增强方法，其特征在于：
构建基于多尺度和上下文编码的网络，即Multiscale and Context LearningNetwork，简称MCL-Net，通过提高模型的多尺度特征表示能力和学习全局视野，充分学习丰富的局部和全局信息，从而实现自适应的低光照图像增强，该网络的输入为低光照图像，输出为其对应的增强图像；为了提取多尺度特征，通过四个多尺度特征提取模块和三个双线性插值操作，融合跳跃连联、上下文编码和最大池化，构建了多尺度特征学习子网络；为了获取全局视野以引导局部的照度增强，构建由转换器实现的上下文编码子网络；为了生成增强结果，构建由三组“上采样+特征拼接+多尺度特征学习子网络”和一个1×1卷积堆叠而成的上采样子网络。
2.根据权利要求1所述的一种基于多尺度和上下文学习网络的低照度图像增强方法，其特征在于包括以下步骤：
步骤1，构建基于多尺度和上下文编码的网络，网络框架具体由多尺度特征学习子网络、上下文编码子网络和上采样子网络组成；MCL-Net表示为：
Fimg＝Hcon(Hms(Ill))
Ien＝Hup(Fimg)
其中，Hms(·)，Hcon(·)和Hup(·)分别表示多尺度特征学习子网络、上下文编码子网络和上采样子网络模块；Ill和Ien表示低光照图像和照度增强后的图像；Fimg表示多尺度特征学习子网络的输出特征；
步骤2，构建核心多尺度学习模块，结合不同步长的最大池化操作和注意力机制来构建该模块，使其能够增强网络对多尺度信息的表示能力，从而有效地学习照度分布信息；
多尺度学习模块利用不同步长的最大池化操作获得多尺度特征，然后特征送入空间注意力和3×3卷积以过滤噪声信息；多尺度特征融合时引入通道注意力加权不同的尺度特征，而非简单的同等对待各个尺度的信息，使得网络学习到更有价值的多尺度信息；该模块可以表示为：
Fi＝MSi(x)
MF＝Fu(F1，F2)
其中，MS(·)表示最大池化、空间注意力、3×3卷积和上采样等操作，Fu(·)为多尺度特征融合操作，包括基于通道的特征拼接、1×1卷积、通道注意力和逐像素相加等操作；此外，该模块还引入了1×1卷积和自校准卷积；1×1卷积用来缩放输入、输出特征的通道，从而减少计算量；自校准卷积用于捕获包含局部长距离依赖关系；
步骤3，为了使MCL-Net获取全局视野以引导局部的照度增强，设计由Transformer实现的上下文编码子网络；转换器用于捕获长距离依赖关系，主要由1个图像块嵌入、2个编辑器和1个上采样操作组成；输入特征首先经过图像块嵌入序列化处理，然后与位置嵌入融合后送入第一个编辑器，第二个编辑器的输入由第一个编辑器输出和位置嵌入组成，最后将序列化的向量经变形操作转成二维特征图，并送入上采样操作得到最终的输出；
s3.1，Patch Embedding：用于将输入特征切分成若干个p*p的块，并转换成序列化的向量；首先将输入特征C×H×W送入卷积核和步长均为p的卷积操作Hconv得到
的特征，然后经过变形操作HResh和归一化操作HNorm获得序列化的向量
可表示为：
s3.2，编辑器Encoder：编辑器Encoder是转换器的核心模块，用于像素间的捕获长距离依赖关系，每个编辑器Encoder由两个转换器编辑器Transformer Encoder组成；转换器编辑器Transformer Encoder的输入首先经过归一化处理，然后分别做线性变换w1，w2，w3得到关键向量Key、查询向量Query和值向量Value，并将其送入HMHSA，将输入与HMHSA的输出逐像素相加后送入前馈网络中HNorm与HMLP，再将输入与前馈网络HFF的输出相加得到转换器编辑器Transformer Encoder最终的输出；转换器编辑器Transformer Encoder可表示为：
其中，x，xpe为输入特征和位置编码信息，H，W为特征图的高、宽，i，j为特征图的元素下标，
为逐像素相加；
步骤4，上下文编码子网络的输出和多尺度子网络的中间输出作为上采样子网络的输入；最后采用1×1卷积将通道数映射到输出通道，得到增强图像。
3.根据权利要求1或2所述的一种基于多尺度和上下文学习网络的低照度图像增强方法，其特征在于：
为了评估低照度图像增强的图像质量，从图像重构全局信息、细节信息和生成内容方面考虑图像的损失，本发明定义了以重构损失、感知损失函数和内容生成的多项式损失函数，以弥补生成图像质量评判标准不足、引导网络生成高质量图像，Lrec为重构损失，Lper为感知损失，其中wrec＝1，wper＝0.006；
LACE-VAE＝wrecLrec+wperLper
重构损失用于确保MCL-Net生成结构内容完整的低照度增强图像，具体采用MSE计算MCL-Net输出与正常照度图像间的误差；如下面公式，Igt为正常照度图像，MCL-Net(·)为MCL-Net网络；
MSE在平滑图像中的噪声，同时也将细节纹理特征平滑，导致图片模糊，且容易产生伪影；为此，引入感知损失来引导网络保留更多的纹理信息，提高增强图像的质量，如下面公式：
其中，wij，hij，cij为MCL-Net网络中各个特征图的尺寸，
表示MCL-Net中第j个卷积组的第i个卷积模块，μx，μy为像素均值，
为方差，σxy为协方差，C1，C2为常数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210652706.0A CN114998145A (zh) | 2022-06-07 | 2022-06-07 | 一种基于多尺度和上下文学习网络的低照度图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210652706.0A CN114998145A (zh) | 2022-06-07 | 2022-06-07 | 一种基于多尺度和上下文学习网络的低照度图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114998145A true CN114998145A (zh) | 2022-09-02 |
Family
ID=83032668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210652706.0A Pending CN114998145A (zh) | 2022-06-07 | 2022-06-07 | 一种基于多尺度和上下文学习网络的低照度图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114998145A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115239603A (zh) * | 2022-09-23 | 2022-10-25 | 成都视海芯图微电子有限公司 | 一种基于多分支神经网络的无人机航拍图像暗光增强方法 |
| CN115511969A (zh) * | 2022-11-22 | 2022-12-23 | 阿里巴巴（中国）有限公司 | 图像处理与数据渲染方法、设备及介质 |
| CN116758617A (zh) * | 2023-08-16 | 2023-09-15 | 四川信息职业技术学院 | 一种低光照度场景下的校园学生签到方法和校园签到系统 |
| CN117876242A (zh) * | 2024-03-11 | 2024-04-12 | 深圳大学 | 眼底图像增强方法、装置、设备及可读存储介质 |
| CN117893413A (zh) * | 2024-03-15 | 2024-04-16 | 博创联动科技股份有限公司 | 基于图像增强的车载终端人机交互方法 |
-
2022
- 2022-06-07 CN CN202210652706.0A patent/CN114998145A/zh active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115239603A (zh) * | 2022-09-23 | 2022-10-25 | 成都视海芯图微电子有限公司 | 一种基于多分支神经网络的无人机航拍图像暗光增强方法 |
| CN115511969A (zh) * | 2022-11-22 | 2022-12-23 | 阿里巴巴（中国）有限公司 | 图像处理与数据渲染方法、设备及介质 |
| CN115511969B (zh) * | 2022-11-22 | 2023-03-31 | 阿里巴巴（中国）有限公司 | 图像处理与数据渲染方法、设备及介质 |
| CN116758617A (zh) * | 2023-08-16 | 2023-09-15 | 四川信息职业技术学院 | 一种低光照度场景下的校园学生签到方法和校园签到系统 |
| CN116758617B (zh) * | 2023-08-16 | 2023-11-10 | 四川信息职业技术学院 | 一种低光照度场景下的校园学生签到方法和校园签到系统 |
| CN117876242A (zh) * | 2024-03-11 | 2024-04-12 | 深圳大学 | 眼底图像增强方法、装置、设备及可读存储介质 |
| CN117876242B (zh) * | 2024-03-11 | 2024-05-28 | 深圳大学 | 眼底图像增强方法、装置、设备及可读存储介质 |
| CN117893413A (zh) * | 2024-03-15 | 2024-04-16 | 博创联动科技股份有限公司 | 基于图像增强的车载终端人机交互方法 |
| CN117893413B (zh) * | 2024-03-15 | 2024-06-11 | 博创联动科技股份有限公司 | 基于图像增强的车载终端人机交互方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114998145A (zh) | 一种基于多尺度和上下文学习网络的低照度图像增强方法 | |
| CN106910161B (zh) | 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 | |
| CN110992275B (zh) | 一种基于生成对抗网络的细化单幅图像去雨方法 | |
| CN111080541B (zh) | 基于比特分层和注意力融合机制的彩色图像去噪方法 | |
| CN109064396A (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| CN111784582B (zh) | 一种基于dec_se的低照度图像超分辨率重建方法 | |
| CN107633272B (zh) | 一种基于小样本下压缩感知的dcnn纹理疵点识别方法 | |
| CN110717868A (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
| Cai et al. | CURE-Net: a cascaded deep network for underwater image enhancement | |
| JP2021179833A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN116152120A (zh) | 一种融合高低频特征信息的低光图像增强方法及装置 | |
| CN112991493A (zh) | 基于vae-gan和混合密度网络的灰度图像着色方法 | |
| CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
| CN115393227A (zh) | 基于深度学习的微光全彩视频图像自适应增强方法及系统 | |
| CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其系统 | |
| CN113901928A (zh) | 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统 | |
| CN116309163A (zh) | 一种黑白图像引导的彩色raw图像联合去噪去马赛克方法 | |
| CN116188274A (zh) | 一种图像超分辨率重建方法 | |
| CN115631107A (zh) | 边缘引导的单幅图像噪声去除 | |
| CN115861614A (zh) | 一种基于羽绒服图像的自动生成语义分割图的方法和装置 | |
| CN115209119A (zh) | 一种基于深度神经网络的视频自动着色方法 | |
| Feng et al. | You only need one color space: An efficient network for low-light image enhancement | |
| CN117408924A (zh) | 一种基于多重语义特征融合网络的低光照图像增强方法 | |
| CN111325781B (zh) | 一种基于轻量化网络的位深度提升方法及其系统 | |
| CN116681627A (zh) | 一种跨尺度融合的自适应水下图像生成对抗增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |