CN116823659A - 一种基于深度特征提取的微光图像增强方法 - Google Patents
一种基于深度特征提取的微光图像增强方法 Download PDFInfo
- Publication number
- CN116823659A CN116823659A CN202310787627.5A CN202310787627A CN116823659A CN 116823659 A CN116823659 A CN 116823659A CN 202310787627 A CN202310787627 A CN 202310787627A CN 116823659 A CN116823659 A CN 116823659A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- enhancement
- low
- enhanced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000000605 extraction Methods 0.000 title claims abstract description 40
- 230000002708 enhancing effect Effects 0.000 claims abstract description 10
- 230000015556 catabolic process Effects 0.000 claims abstract description 8
- 238000006731 degradation reaction Methods 0.000 claims abstract description 8
- 230000007246 mechanism Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000005286 illumination Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000016776 visual perception Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 description 9
- 241000282414 Homo sapiens Species 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 4
- 235000011941 Tilia x europaea Nutrition 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 239000004571 lime Substances 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明针对传统的微光图像增强算法不能很好地解决微光图像的低亮度、低对比度和噪声等一系列退化因素，提出一种深度多层次特征提取再增强的微光图像增强方法。首先由基于残差连接和通道自注意力机制的特征提取模块提取不同层次的微光图像特征，计算通道权重，然后选出非线性激活的特征图送入不共享参数特征增强模块，对不同层次的特征进行增强，将增强后的特征融合得到最终处理结果。实验结果表明，该方法能同时处理微光图像的各种退化因素，增强图像的亮度和对比度，在去除噪声的同时保留图像的纹理细节。
Description
技术领域
本发明属于图像增强领域，主要是对微光图像增强的方法的研究改进。具体是一种基于深度特征提取的微光图像增强方法，可应用于图像摄影、自动驾驶、视觉导航等领域。
背景技术
微光图像增强的研究由来已久，增强方法主要分为三类，基于直方图均衡化(HE)的方法、基于Retinex理论的方法和基于深度学习的方法。基于HE的方法是通过映射改变图像中的灰度值，增加灰度值的动态范围从而增强图像的对比度，不同的基于HE的方法之间的区别在于使用了不同的附加优先级和约束。基于HE的方法虽然扩展了像素的动态范围，增强了图像的对比度，但没有考虑到亮度等其他退化因素，因此增强效果有限。Retinex理论假设图像可以分解为照明图和反射图，基于Retinex理论的方法核心在于估计照明图，但图像的分解是一个不适定的问题。这类方法的参数需要人工自行设置，不仅费时费力，而且无法自适应增强多种环境下的微光图像。基于深度学习的方法通过设计不同的网络结构和损失函数，以数据驱动的方式，在损失函数的指导下，不断缩小增强图像和正常光照图像之间的差距，从而确定网络参数，实现微光图像的增强。
到目前为止，已有多种增强方法被提出，如基于HE的方法：BPDHE通过控制增强图像的平均亮度接近输入图像，动态保持图像的亮度；DHECI引入差分灰度直方图，并使用强度灰度直方图和饱和度灰度直方图来定义彩色图像的差分灰度直方图，将自己的方法应用到彩色图像等等方法。还有基于Retinex理论的方法：如典型方法有SSR和MSR，通过分解出的照明图进行微光图像增强；NPE方法通过一种双对数变换映射照明图，取得细节和自然度的平衡，在增强细节的同时保持自然度；SRIE方法提出一个新的加权变分模型，用于估计反射率时保留更多的细节，同时可以一定程度上抑制噪声；LIME首先通过R、G、B通道的最大值粗略估计照明图，然后在其上施加先验进行细化，最终使用反射图作为增强结果等等方法。
2015年，Lore等人首次尝试提出了一种名为LLNet的深度自动编码器，用于增强对比度和去除噪声。在此之后，基于深度学习的微光图像增强一直是近年的热门研究内容。基于不同网络设计的各种方法被相继提出。如MSR-Net将微光图像增强公式化为一个机器学习问题，通过证明多尺度Retinex与具有不同高斯卷积核的前馈卷积神经网络具有等同效果提出一种端到端的微光图像增强网络；RetinexNet将Retinex理论和深度学习相结合，通过数据驱动的方式估计并调整照明图以实现微光图像增强，另外使用BM3D作为后处理进行去噪操作；Zero-DCE启发式的将微光图像增强转化为曲线估计问题，提出一个名为Zero-DCE的轻量级微光图像增强网络等等方法。
发明内容
本发明解决的技术问题是：针对微光图像对人类的视觉感受和后续图像处理任务的影响的问题，提出一种基于深度特征提取的微光图像增强方法，实现微光图像的增强。
本发明的技术解决方案是：一种基于深度特征提取的微光图像增强方法，步骤如下：
(1)特征提取阶段：设计了一个融合了跳跃连接和通道自注意力机制的特征提取模块用于提取原始输入图像的多层次特征。
(2)特征增强阶段：使用卷积层和转置卷积对称的结构构成特征增强模块，多个不共享参数的特征增强模块对特征提取阶段提取出的不同层次特征进行增强，处理各种退化因素。
(3)特征融合阶段：最终的特征融合卷积将多个特征增强模块增强后的特征融合输出得到最终增强图像。
(4)损失函数阶段：提出一种梯度损失的计算方法，并将其作为损失函数的一部分，以更精确地指导增强图像和参考图像具有一致的平滑度，使得增强图像更加符合视觉感受。并且使用多种损失对网络参数的调整进行指导。
(5)基于深度特征提取的微光图像增强模型的构建。
我们提出的基于深度多层次特征提取的微光图像增强方法的总体结构如图1(a)所示，由一个卷积层和N块重复结构以及最终的融合特征卷积操作构成。重复结构由一个如图1(b)所示的特征提取模块和若干如图1(d)所示的特征增强模块构成。首先由模型中的卷积层提取微光图像的初始特征并提升维度，然后由N个特征提取模块迭代提取多层次特征，选出具有非线性激活的特征图送入特征增强模块，最后将各个特征增强模块的输出由特征融合卷积操作输出得到最终的增强图像。
深度多层次特征提取模块
为了解决卷积提取特征感受野的问题以及层层卷积结构提取特征的片面性，本文设计了一个融合了通道自注意力的特征提取模块。该模块如图1(b)所示，分为两步。在第一步中，输入的特征图以1x1和3x3两种不同大小卷积核进行卷积运算，获得不同尺度下的图像特征，利用通道自注意力机制计算每个特征图的通道所占的不同的权重，最后对其作矩阵加法形成第二步的输入。处理流程为：
x1＝add[CA(Conv1x1(xin),CA(CR(Conv3x3(xin))))]
式中，xin代表特征提取模块的输入，x1代表第一阶段的输出，add代表矩阵加和操作，CA代表通道自注意力机制，Conv1x1代表卷积核大小为1x1的卷积操作，CR代表卷积操作和Relu激活函数的非线性运算组合。
在第二步中，基于残差模块的思想，将第一步的输出分别直接作注意力计算和非线性卷积运算后再做注意力计算，并将两部分相加，这样可以获得具有更多信息的特征图。在该模块中，选出具有丰富信息的特征并进行非线性relu激活，然后送入特征增强模块中，这就为接下来进行特征增强做好了数据准备。即：
式中，x2代表第二阶段的输出，代表2次卷积核大小为3x3的卷积操作。
通道自注意力模块：我们改进Cai等人使用的通道自注意力的计算方法，使用单头注意力代替多头注意力，并使用两个卷积层代替position embedding的计算简化计算，。该模块如图1(c)所示。假定X∈RHxWxC，首先将其reshape为X∈RHWxC，然后将其投影得到Q(Query)∈RHWxC，K(Key)∈RHWxC，V(Value)∈RHWxC。这是通过全连接层实现的，即
Q＝XWQ，K＝XWK，V＝XWV
式中，WQ，WK，WV就是全连接层。然后将KT∈RCxHW与V∈RHWxC做矩阵乘法，并使用softmax函数生成权重系数attn∈RCxC，即：
最后，通过attn∈RCxC与Q∈RHWxC的矩阵乘法为Q∈RHWxC的每一个通道赋予相应的权重值，并将生成position embedding的Q∈RHWxC与权重赋予的Q∈RHWxC相加然后reshape为Xo∈RHxWxC输出，即：
式中，Xo代表整个通道自注意力机制的输出，pe(Q)代表对Q进行两层卷积的计算position embedding操作，add为矩阵加和操作。
特征增强模块：特征提取模块的输出就是特征增强模块的输入，所以特征增强模块的数量就等于特征提取模块选出的特征图数量，但由于每一个特征增强模块是对不同层次的特征进行增强，所以它们之间不会共享参数。该模块具体结构如图1(d)所示，首先通过一个卷积层调整通道维度，其余四个卷积与转置卷积形成对称结构，但在卷积和转置卷积的操作的过程中，保证特征图的尺寸不变，并在该模块中，增加跳跃连接融合原始输入特征图的信息。整个流程如下公式所示：
式中，xs代表特征增强模块的输入，x3代表整个模块的输出，deconv代表转置卷积操作。
最后的融合特征卷积层将特征增强模块输出的大量增强后的多层次的特征融合得到最终增强结果。即：
xout＝Conv3x3(Concat(x3-all))
式中，xout代表整个增强网络的输出，即最终增强结果，Concat为维度拼接操作，x3-all代表所有特征增强模块的输出。
损失函数：提出一种梯度损失计算方法，通过水平和竖直方向的梯度算子计算增强图像和正常光照图像的梯度，然后通过其差值指导网络不断地缩小梯度差距，使得增强图像和正常光照图像具有一致的平滑度，该梯度损失能更好地平衡去除噪声和图像平滑，突出图像的纹理细节。设计的梯度损失计算如下所示：
除此之外，为了更好地保留图像的结构信息，将结构相似性(StructuralSimilarity，SSIM)和多尺度结构相似性(Multi Scale Structural Similarity，MS-SSIM)作为损失函数的一部分。它们可以从亮度、对比度和图像结构3个方面衡量正常光照图像和增强图像的结构损失。其计算公式分别如下：
式中，x和和y代表进行计算相似性的图像，μx和μy代表像素平均值。和/>表示方差，δxy表示两张图像的协方差，C1和C2是防止分母为零的常数。M表示不同的尺度，βm和γm表示两项之间的相对重要性。LSSIM和LMS-SSIM共同构成结构一致性损失，即：
LStr＝LSSIM+LMS-SSIM
为了保持感知和细节的保真度和使用更高级别的信息来提高视觉质量而引入感知损失。其计算如下：
式中，Hi和Wi分别代表第i张特征图的高度和宽度，Ci代表通道。代表在预训练的VGG19模型中获得的特征图。Ipred代表增强结果，Ih代表正常光照图像。
综上所述，我们设计的损失函数计算如下所示：
Loss＝LStr+λ1LPer+λ2LGrad
式中，λ1和λ2分别为对应部分的权重。
与现有技术相比，本发明的有益效果是：通过我们设计的特征提取模块，可以深度多层次地提取到微光图像不同层次的大量特征，这些特征图带有丰富的信息，然后通过不共享参数的特征增强模块对不同层次的特征进行增强，这样就可以同时处理微光图像的多种退化因素。与现有技术相比，我们的增强方法的增强效果不仅视觉效果更好，在客观评价指标上也是最佳的。
附图说明
为使得本发明中的技术方案，下面将会选取一些附图对本发明进行阐述。下述附图仅为本发明的一些实例；使用者可根据该附图获得其他类似的附图。其中：
图1为本发明的网络结构图
图2为一种基于深度特征提取的微光图像增强方法的流程图
图3为具体实施样例1的可视化效果图。
图4为具体实施样例2的可视化效果图。
我们的网络使用端到端的训练策略，使用LOL[(low-light dataset)数据集。该数据集有500对600x400大小的微光图像与正常光照图像，其中485对图像作为训练集，15对图像作为测试集。为了防止网络过拟合，本文对训练集的485对图像共进行10次的随机的裁剪、翻转和旋转等操作构造出大小为256x256的4850对训练样本。
一种基于深度特征提取的微光图像增强方法，包括以下步骤：
(1)特征提取阶段：设计了一个特征提取模块用于提取原始输入图像的多层次特征。
(2)特征增强阶段：多个不共享参数的特征增强模块对特征提取阶段提取出的不同层次特征进行增强，同时处理各种退化因素。
(3)特征融合阶段：最终的特征融合卷积将多个特征增强模块增强后的特征融合输出得到最终增强图像。
(4)损失函数阶段：提出一种梯度损失的计算方法，并将其作为损失函数的一部分，以更精确地指导增强图像和参考图像具有一致的平滑度，使得增强图像更加符合视觉感受。并且使用多种损失对网络参数的调整进行指导。
本文算法的代码是通过PyTorch实现的,实验在型号为3060的GPU上训练完成，共训练100个epoch。使用Adam优化器，初始学习率lr＝10-4，β1和β2分别为0.9和0.999，eps＝10-8，weight_decay＝10-4。本文还使用学习率衰减策略，每10个epoch，学习率就衰减为当前值的75％。
还使用LIME、DICM、MEF标准数据集评估本文方法的泛化性能。
特征提取模块会对输入的微光图像进行深度多层次地特征提取，并计算特征图的通道权重，达到有效利用重要通道信息，抑制不先关信息的目的。
特征增强模块的数量等于特征提取模块中选出特征图的数量，但它们之间不共享参数，达到同时处理微光图像各种退化因素的目的。
提出一种梯度损失函数的计算方式，通过算子计算增强图像和参考图像的梯度，并指导网络不断缩小它们之间的差距，使得增强图像和参考图像具有一致的平滑度，达到抑制噪声并保留图像细节纹理的目的。
综上所述，本文提出一种基于深度特征提取的微光图像增强方法。通过特征提取模块提取微光图像多层次的特征，提取到的特征具有丰富的信息，然后通过特征增强模块对不同层次的特征进行增强。网络采用端到端的训练策略，我们精心设计了指导网络训练的损失函数，将图像的亮度、对比度、颜色和图像结构都考虑进去，并且提出一种梯度损失的计算方法，在抑制噪声的同时，可以很好地保留图像细节信息。本方法的增强效果无论在视觉效果还是客观的评价指标上都能取得最佳结果。
具体实施方式1
采用的评价指标为峰值信噪比PSNR、结构相似性SSIM、多尺度结构相似性MS-SSIM和均方误差MSE。
PSNR是一种常用于评估图像质量的指标，其计算方法是比较增强图像和参考图像之间的信号强度和噪声干扰的影响，以此计算得到的质量评分。PSNR值越高，表示增强图像和参考图像的差异越小，图像质量越高。其计算公式如下：
式中，peak是像素值的最大范围，通常为255。MSE(x,y)代表均方误差，其定义如下所示：
式中，H和W分别代表图像的高度和宽度。i和j代表像素的位置，Ipred(i,j)和Ih(i,j)分别代表增强图像和正常光照参考图像。
SSIM的计算方法基于人类视觉系统对图像结构的感知机制，包括亮度、对比度和结构三个方面。它通过计算增强图像和参考图像中每个像素点亮度、对比度和结构的变化程度，从而确定两幅图像的结构相似性。SSIM的值介于-1和1之间，取值越大表示两幅图像之间的结构相似性越高，图像质量越好。起计算公式如下：
式中，x和y代表计算相似性的图像，μx和μy表示像素平均值。和/>表示方差，δxy表示两张图像的协方差，C1和C2是防止分母为零的常数。
MS-SSIM以结构相似性为基础，加入了多尺度分解技术，可以更好地模拟人眼对图像失真的判断，评价过程中增强图像进行多层次分解，然后计算每一层的结构相似度权值，最后按照权值加和的方式计算出总的评分，以评估增强图像与参考图像之间的相似度程度。MS-SSIM算法注重描述图像的结构信息，与传统评价指标相比，更能反映图像质量的感知性，更符合人类的视觉感受。其计算如公式如下：
式中，x和和y代表进行计算相似性的图像，μx和μy代表像素平均值。和/>表示方差，δxy表示两张图像的协方差，C1和C2是防止分母为零的常数。M表示不同的尺度，βm和γm表示两项之间的相对重要性。
MSE用于衡量原图像与处理后图像之间的差异程度。它的计算方法是将原图像和处理后的图像像素点之间的差值平方后求平均值。MSE的值越小，说明两者之间的差异越小，图像质量也越好。但是，MSE对于一些强烈变换的图像会出现误判的情况。因此，在实际应用中，还需要结合其他评价指标来进行综合评价。其计算公式在计算PSNR时已经提到，不再赘述。
本文使用上述多个评价指标，能够从亮度、对比度、噪声、信号强度和人眼的视觉感受多个方面反映增强图像的质量。其可视化增强结果如图3。
| PSNR | SSIM | MSE | MS-SSIM | |
| SRIE | 11.85 | 0.495 | 108.83 | 0.6508 |
| LIME | 14.11 | 0.408 | 102.90 | 0.7390 |
| RetinexNet | 17.42 | 0.687 | 104.12 | 0.7389 |
| MBLLEN | 19.23 | 0.781 | 99.02 | 0.8884 |
| EnGAN | 14.31 | 0.575 | 103.07 | 0.6016 |
| Zero-DCE | 14.86 | 0.562 | 104.95 | 0.7788 |
| Ours | 20.34 | 0.805 | 96.20 | 0.9055 |
本文的方法在各项指标都取得了最优结果，综上所述，本文的方法在增强结果上相较于其他对比方法，能获得更高质量的增强图像。
具体实施方式2
本文还以无参考图像的评价指标的定量分析真实数据集的增强结果来进一步验证本文方法性能。其结果如图4。
在DICM、LIME、MEF这三种公共数据集上对提出的方法进行评估，之所以选用这些数据集，是因为这些微光图像具有一定的亮度，且光照不均匀，与LOL数据集的测试图像有很大差别，可以更好地证明本文方法的泛化性能。
采用的评价指标为信息熵IE、标准偏差SD和自然图像质量评价NIQE。
IE表示信息熵(Information entropy)，信息熵越大说明图像的信息量越多。
SD表示标准偏差(Standard Deviation)，较大的标准偏差代表图像像素值分布范围较广，对比度较高。
NIQE(Natural Image Quality Evaluator)代表自然图像质量评价。
Claims (6)
1.一种基于深度特征提取的微光图像增强方法，其特征在于，包括以下步骤：
(1)特征提取阶段：设计了一个融合了跳跃连接和通道自注意力机制的特征提取模块用于提取原始输入图像的多层次特征。
(2)特征增强阶段：使用卷积层和转置卷积对称的结构构成特征增强模块，多个不共享参数的特征增强模块对特征提取阶段提取出的不同层次特征进行增强，处理各种退化因素。
(3)特征融合阶段：最终的特征融合卷积将多个特征增强模块增强后的特征融合输出得到最终增强图像。
(4)损失函数阶段：提出一种梯度损失的计算方法，并将其作为损失函数的一部分，以更精确地指导增强图像和参考图像具有一致的平滑度，使得增强图像更加符合视觉感受。并且使用多种损失对网络参数的调整进行指导。
(5)基于深度特征提取的微光图像增强模型的构建。
2.根据权利要求1所述的一种基于深度特征提取的微光图像增强方法，其特征在于，所述步骤1中，为了解决卷积提取特征感受野的问题以及层层卷积结构提取特征的片面性，我们设计了一个融合了跳跃连接和通道自注意力的特征提取模块。分为两步。在第一步中，输入的特征图以1x1和3x3两种不同大小卷积核进行卷积运算，获得不同尺度下的图像特征，利用通道自注意力机制计算每个特征图的通道所占的不同的权重，最后对其作矩阵加法形成第二步的输入。在第二步中，基于残差模块的思想，将第一步的输出分别直接作注意力计算和非线性卷积运算后再做注意力计算，并将两部分相加，这样可以获得具有更多信息的特征图。在该模块中，选出具有丰富信息的特征并进行非线性Relu激活，然后送入特征增强模块中。
3.根据权利要求1所述的一种基于深度特征提取的微光图像增强方法，其特征在于，所述步骤2中，特征增强模块的数量就等于特征提取模块选出的特征图数量，但由于每一个特征增强模块是对不同层次的特征进行增强，所以它们之间不会共享参数。首先通过一个卷积层调整通道维度，然后四个卷积与转置卷积形成对称结构，但在卷积和转置卷积的操作的过程中，保证特征图的尺寸不变，并在该模块中，增加跳跃连接融合原始输入特征图的信息。
4.根据权利要求1所述的一种基于深度特征提取的微光图像增强方法，其特征在于，所述步骤3中，最后的融合特征卷积层将特征增强模块输出的大量增强后的多层次的特征融合得到最终增强结果。
5.根据权利要求1所述的一种基于深度特征提取的微光图像增强方法，其特征在于，所述步骤4中，提出一种梯度损失计算方法，通过水平和竖直方向的梯度算子计算增强图像和正常光照图像的梯度，然后通过其差值指导网络不断地缩小梯度差距，使得增强图像和正常光照图像具有一致的平滑度，该梯度损失能更好地平衡去除噪声和图像平滑，突出图像的纹理细节。设计的梯度损失计算如下所示：
除此之外，为了更好地保留图像的结构信息，将结构相似性(Structural Similarity,SSIM)和多尺度结构相似性(Multi Scale Structural Similarity,MS-SSIM)作为损失函数的一部分。它们可以从亮度、对比度和图像结构3个方面衡量正常光照图像和增强图像的结构损失。其计算公式分别如下：
式中，x和和y代表进行计算相似性的图像，μx和μy代表像素平均值。和/>表示方差，δxy表示两张图像的协方差，C1和C2是防止分母为零的常数。M表示不同的尺度，βm和γm表示两项之间的相对重要性。LSSIM和LMS-SSIM共同构成结构一致性损失，即：
LStr＝LSSIM+LMS-SSIM
为了保持感知和细节的保真度和使用更高级别的信息来提高视觉质量而引入感知损失。其计算如下：
式中，Hi和Wi分别代表第i张特征图的高度和宽度，Ci代表通道。代表在预训练的VGG19模型中获得的特征图。Ipred代表增强结果，Ih代表正常光照图像。
综上所述，我们设计的损失函数计算如下所示：
Loss＝LStr+λ1LPer+λ2LGrad
式中，λ1和λ2分别为对应部分的权重。
6.根据权利要求1所述的一种基于深度特征提取的微光图像增强方法，其特征在于，所述步骤5中，在训练和测试阶段，利用所设计的特征提取模块深度多层次地提取原始输入图像的特征，然后选出非线性激活的特征图，由不共享参数的特征增强模块进行增强处理，最后由特征融合卷积将特征增强模块的增强后的特征图融合输出得到最终的增强图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310787627.5A CN116823659A (zh) | 2023-06-29 | 2023-06-29 | 一种基于深度特征提取的微光图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310787627.5A CN116823659A (zh) | 2023-06-29 | 2023-06-29 | 一种基于深度特征提取的微光图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116823659A true CN116823659A (zh) | 2023-09-29 |
Family
ID=88112317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310787627.5A Pending CN116823659A (zh) | 2023-06-29 | 2023-06-29 | 一种基于深度特征提取的微光图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823659A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437490A (zh) * | 2023-12-04 | 2024-01-23 | 深圳咔咔可洛信息技术有限公司 | 一种服装信息的处理方法、装置、电子设备和存储介质 |
-
2023
- 2023-06-29 CN CN202310787627.5A patent/CN116823659A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437490A (zh) * | 2023-12-04 | 2024-01-23 | 深圳咔咔可洛信息技术有限公司 | 一种服装信息的处理方法、装置、电子设备和存储介质 |
| CN117437490B (zh) * | 2023-12-04 | 2024-03-22 | 深圳咔咔可洛信息技术有限公司 | 一种服装信息的处理方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599409B (zh) | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 | |
| CN111754446A (zh) | 一种基于生成对抗网络的图像融合方法、系统及存储介质 | |
| CN111784602A (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| Wang et al. | Channel and space attention neural network for image denoising | |
| CN111783494B (zh) | 结合二值分割的卷积自编码器的受损二维码恢复方法 | |
| Noor et al. | Median filters combined with denoising convolutional neural network for Gaussian and impulse noises | |
| CN111696046A (zh) | 一种基于生成式对抗网络的水印去除方法和装置 | |
| CN115565056A (zh) | 基于条件生成对抗网络的水下图像增强方法及系统 | |
| CN111489364A (zh) | 基于轻量级全卷积神经网络的医学图像分割方法 | |
| CN109949200B (zh) | 基于滤波器子集选择和cnn的隐写分析框架构建方法 | |
| CN116823659A (zh) | 一种基于深度特征提取的微光图像增强方法 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN111986085A (zh) | 一种基于深度反馈注意力网络系统的图像超分辨率方法 | |
| CN112651917A (zh) | 一种基于生成对抗网络的空间卫星低照度图像增强方法 | |
| CN113870124A (zh) | 基于弱监督的双网络互激励学习阴影去除方法 | |
| CN113256494A (zh) | 一种文本图像超分辨率方法 | |
| CN116563682A (zh) | 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 | |
| CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
| Huang et al. | Binarizing super-resolution networks by pixel-correlation knowledge distillation | |
| CN117392036A (zh) | 基于照明幅度的低光图像增强方法 | |
| CN111768326A (zh) | 一种基于gan扩增图像前景物体的高容量数据保护方法 | |
| CN113554104B (zh) | 一种基于深度学习模型的图像分类方法 | |
| CN115482434A (zh) | 一种基于多尺度生成对抗网络的小样本高质量生成的方法 | |
| CN114897884A (zh) | 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |