CN118096621A - 基于混合注意力的渐进式弱光图像增强方法 - Google Patents
基于混合注意力的渐进式弱光图像增强方法 Download PDFInfo
- Publication number
- CN118096621A CN118096621A CN202410220490.XA CN202410220490A CN118096621A CN 118096621 A CN118096621 A CN 118096621A CN 202410220490 A CN202410220490 A CN 202410220490A CN 118096621 A CN118096621 A CN 118096621A
- Authority
- CN
- China
- Prior art keywords
- stage
- scale
- image
- feature
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 230000000750 progressive effect Effects 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 claims abstract description 74
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 238000011084 recovery Methods 0.000 claims abstract description 7
- 230000008447 perception Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 31
- 238000012216 screening Methods 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000010354 integration Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000004913 activation Effects 0.000 description 7
- 238000011176 pooling Methods 0.000 description 7
- 238000002407 reforming Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了基于混合注意力的渐进式弱光图像增强方法，具体包括如下过程：输入弱光图像经卷积得到初始特征映射，随后经过第一阶段子网络，由重建混合注意力模块对特征进行初步的整合；随后第二阶段子网络和第三阶段子网络以渐进融合的方式充分利用多尺度特征，实现特征的全局信息表达；最后引入像素损失、多尺度感知损失和颜色损失，进而重建出更高质量的弱光图像恢复结果。本发明通过对多尺度特征局部和非局部信息的充分利用，由粗到精的解决了图像重建后出现的失真问题。
Description
技术领域
本发明属于弱光图像增强技术领域，涉及基于混合注意力的渐进式弱光图像增强方法。
背景技术
当今，图像的分析和处理在各个领域中提供了支持和决策依据，包括医学影像、安防监控、自动驾驶等。然而，在弱光条件下，由于光线不足或环境限制，所获取的图像往往存在低亮度、低对比度、高噪声、颜色失真等多重退化问题，导致图像中的细节难以辨别，进而影响后续图像分析与处理的准确性和可靠性。为了在弱光条件下获得高质量的图像，通常可以使用一些方法。其中一种方法是使用外部照明设备，但这可能会导致产生不自然的照明效果，并干扰被摄主体或场景中的其他物体。另一种常见的方法是延长曝光时间或使用高感光度(ISO)设置，然而这往往容易导致图像模糊和引入高噪声，从而降低图像质量。因此，通过计算机算法进行弱光图像增强(LLIE)成为一个具有高应用价值的研究课题。
以往的方法尝试整合多尺度特征来扩展模型的接受野，以捕获更丰富的上下文信息，例如，一些研究采用多尺度残差块或拉普拉斯金字塔多尺度结构来捕捉丰富的上下文信息。然而，这些方法直接从严重退化的图像中提取多尺度信息，容易在多尺度特征中引入不必要的噪声和退化，同时没有考虑到不同尺度的特征可能包含许多相似或重叠的模式，如结构和纹理，这可能导致融合这些特征时产生冗余。这种冗余降低了模型对局部细节的敏感性，导致局部细节明显失真。
发明内容
本发明的目的是提供基于混合注意力的渐进式弱光图像增强方法，通过对多尺度特征局部和非局部信息的充分利用，由粗到精的解决了图像重建后出现的失真问题。
本发明所采用的技术方案是，基于混合注意力的渐进式弱光图像增强方法，具体包括如下过程：输入弱光图像经卷积得到初始特征映射，随后经过第一阶段子网络，由重建混合注意力模块对特征进行初步的整合；随后第二阶段子网络和第三阶段子网络以渐进融合的方式充分利用多尺度特征，实现特征的全局信息表达；最后引入像素损失、多尺度感知损失和颜色损失，进而重建出更高质量的弱光图像恢复结果。
本发明的特点还在于：
具体包括如下步骤：
步骤1，获取包含弱光图像Il和正常光照图像Ih的图像对数据集，将该数据集划分为训练集和测试集，其中正常光照图像Ih为标签图像；
步骤2，构建渐进式多尺度特征融合网络模型，对弱光图像Il进行重建，该渐进式多尺度特征融合网络模型包括第一阶段子网络、第二阶段子网络和第三阶段子网络；
步骤3，采用步骤1划分的训练集对步骤2构建的渐进式多尺度特征融合网络模型进行训练，输出训练好的渐进式多尺度特征融合网络模型；
步骤4，将步骤1划分的测试集输入步骤3训练好的渐进式多尺度特征融合网络模型中，输出得到重建后的正常光恢复图像。
步骤1中，将训练集图像对进行随机裁剪，将图像大小调整为256×256像素以增广训练数据集，同时将增广训练数据集中的正常光照图像Ih分别进行1/2和1/4的等比例缩放，得到大小为128×128和64×64像素的标签图像和/>
步骤2的具体过程为：
步骤2.1，从弱光图像Il中提取图像初始特征映射送入第一阶段子网络中进行初步特征预增强，从而输出第一阶段子网络增强特征映射F1；
步骤2.2，步骤2.1输出的增强特征映射F1作为第二阶段子网络的输入，第二阶段子网络在第一阶段子网络增强特征映射F1的基础上提取两种尺度特征并完成自适应的多尺度特征融合，从而得到第二阶段子网络增强特征映射F2；
步骤2.3，步骤2.2输出的增强特征映射F2作为第三阶段子网络的输入，第三阶段子网络在第二阶段子网络增强特征映射F2的基础上提取三种不同尺度特征并完成自适应的多尺度特征两两渐进的融合，从而得到第三阶段子网络增强特征映射F3；
步骤2.4，将第三阶段子网络增强特征映射F3压缩到RGB信道中，从而得到重建增强图像
步骤2.1的具体过程为：
步骤2.1.1，输入弱光图像经过卷积操作进行特征预提取后得到初始特征映射，图像被传递到第一阶段子网络中，得到第一阶段子网络通道数为64的初始特征映射/>
其中代表数据域；
步骤2.1.2，将初始特征映射输入重建混合注意力模块进行特征的筛选和整合，从而输出与输入同尺度的重建混合特征映射fRM64；
步骤2.1.3，特征映射经过重建混合注意力模块得到重建混合特征映射fRM64后，通过残差连接完成特征的初步处理，从而得到第一阶段子网络增强特征映射F1，处理过程表示为：
步骤2.2的具体过程为：
步骤2.2.1，对第一阶段增强特征映射F1进行1/2下采样操作，并通过卷积得到另一尺度的特征映射表示为：
其中，downsampling(·)表示1/2下采样操作，表示第二阶段子网络中通道数为128的尺度特征；
步骤2.2.2，将特征映射F1和分别经过重建混合注意力模块增强后融合，融合后的特征再经过一次重建混合注意力模块进行融合后的特征筛选与整合，从而得到第二阶段多尺度融合特征/>
其中，RMA(·)代表经过重建混合注意力模块后的特征映射，↑代表2×上采样操作，是第二阶段子网络增强后的通道数为64的多尺度融合特征；
步骤2.2.3，将多尺度融合特征通过残差连接得到第二阶段子网络增强特征映射F2，第二阶段过程表示为：
步骤2.3的具体过程为：
步骤2.3.1，对第二阶段增强特征映射F2进行连续1/2下采样操作，并通过卷积得到两种不同尺度的特征映射和/>表示为：
其中，downsampling(·)表示1/2下采样操作，表示第三阶段子网络中通道数为128的尺度特征，/>表示第二阶段子网络中通道数为256的尺度特征；
步骤2.3.2，将三种不同尺度的特征F2、和/>中的相邻两种尺度特征分别经过重建混合注意力模块增强后融合，融合后的特征再经过一次重建混合注意力模块进行融合后的特征筛选与整合，从而得到多尺度融合特征/>和/>
其中，是第三阶段子网络增强后的通道数为64的多尺度融合特征，/>是第二阶段子网络增强后的通道数为64的多尺度融合特征，↑代表2×上采样操作；
步骤2.3.3，将多尺度融合特征和/>融合后，再通过重建混合注意力模块最终筛选与整合进一步融合后的特征，进而逐步关注不同的尺度和语义层次，从而得到第三阶段多尺度融合特征W：
其中，为第三阶段子网络经逐步筛选与融合后的多尺度融合特征，同时将特征/>经重建混合注意力模块增强后的特征和多尺度融合特征/>分别再卷积压缩到RGB信道中，得到分辨率为H/2×W/2和H/4×W/4的重建增强图像/>和/>
步骤2.3.4，多尺度融合特征W通过残差连接得到第三阶段子网络增强特征映射F3，第三阶段过程表示为：
F3＝W+F2 (13)。
步骤2.4中，重建增强图像的过程表示为：
步骤3的具体过程为：
步骤3.1，通过使用均方误差MSE度量重建图像与标签图像Ih之间的像素距离，从而得到像素损失LPixel：
其中，FMSE是用于测量增强图像与相应的地面真实值之间差异的MSE指标；
步骤3.2，将标签图像Ih、和不同分辨率的重建增强图像/> 输入到VGG19网络，将MSE距离变换为在不同尺度上预测图像与真实图像之间的感知距离，从而得到多尺度感知损失LMulti：
其中，LVGG是将VGG19网络提取的特征之间的MSE距离，γ2和γ4为权衡参数；
将重建增强图像和标签图像Ih通过颜色损失函数计算颜色损失LColor:
其中，()p表示一个像素，∠(,)是计算两种颜色之间夹角的算子；
步骤3.3，将像素损失LPixel、多尺度感知损失LMulti和颜色损失LColor加权相加，从而得到目标总损失L：
L＝λ1LPixel+λ2LMulti+λ3LColor (18)
其中，λ1、λ2和λ3分别表示损失权重；
步骤3.4，计算误差梯度方向，将目标总损失L通过Adam优化器进行参数更新，将更新参数后网络模型应用于下一组训练样本，如此反复，直到网络在训练集上总损失的数值趋于平稳，从而得到最佳模型参数。
本发明的有益效果如下：
(1)本发明的整体的网络结构是一种渐进式多尺度特征融合结构，将多尺度特征的融合过程，从在弱光退化图像上的直接提取和融合，转变为一个逐步增强和融合的过程。这一结构实现了特征从粗糙到精细的高效增强和融合，对减少弱光增强图像的失真效果显著。
(2)本发明通过设计重建混合注意力模块生成自适应精化混合选择核，用于自适应融合特征的空间信息和通道信息。这一方法充分考虑了空间和通道信息的相关性，避免了特征信息的冗余，增强了特征对局部信息的表达能力。从而使得重建图像在局部细节的恢复和不同光照区域的自适应增强方面表现出色。
(3)本发明由三个子网络构成的轻量化端对端网络，每个子网络具有较强的独立性。因此，可以根据具体的应用场景灵活选择子网络数量，具有良好的灵活性和迁移性。
附图说明
图1是本发明基于混合注意力的渐进式弱光图像增强方法中设计的一种渐进式多尺度特征融合网络结构图；
图2是本发明基于混合注意力的渐进式弱光图像增强方法中重建混合注意力模块结构图；
图3(a)～图3(j)是本发基于混合注意力的渐进式弱光图像增强方法中实施例2的结果对比图；
图4是本发明基于混合注意力的渐进式弱光图像增强方法中实施例2中各方法的模型参数大小与PSNR高低的关系对比图；
图5(a)～图5(f)是本发明基于混合注意力的渐进式弱光图像增强方法中实施例3的结果对比图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于混合注意力的渐进式弱光图像增强方法，首先，将弱光图像输入至网络模型，输出得到重建后的正常光恢复结果图像即重建增强图像。如图1所示，该方法包括一种渐进式多尺度特征融合结构和一种重建混合注意力模块。渐进式多尺度特征融合结构是由三个子网络构成的轻量化端对端网络，每个子网络具有较强的独立性。可以根据具体的应用场景灵活选择子网络数量，具有良好的灵活性和迁移性。该结构将多尺度特征的融合过程从在弱光退化图像上的直接提取和融合，转变为一个逐步增强和融合的过程，从而实现了特征从粗糙到精细的高效增强和融合。输入弱光图像经卷积(conv)得到高H宽W通道数为64的初始特征映射其中/>代表数据域，随后经过第一层子网络，由重建混合注意力模块(见图2)对特征进行初步的整合。随后第二和第三子网络逐步增加对高H/2宽W/2通道数为128和高H/4宽W 4通道数为256尺度特征的融合，以渐进融合的方式充分利用多尺度特征，提高特征的全局信息表达能力。其中重建混合注意力模块的作用是生成自适应精化混合选择核，用于自适应融合特征的空间信息和通道信息，充分考虑了空间和通道信息的相关性，避免了特征信息的冗余，增强了特征对局部信息的表达能力。最后引入像素损失、多尺度感知损失和颜色损失，进而重建出更高质量的弱光图像恢复结果。
本发明中所指的弱光图像指的是在弱光环境下采集的图片，每个图像传感器制造商都有自己的标准；例如，Hikvision通常将弱光环境分为以下几类:暗级(0.01Lux-0.1Lux)、月光级(0.001Lux-0.01Lux)和星光级(小于0.001Lux)，其中Lux是用来衡量光照强度的单位，它表示单位面积上接收到的可见光的光通量。
本发明基于混合注意力的渐进式弱光图像增强方法，具体包括如下步骤：
步骤1，获取数据集，具体为：
步骤1.1：从包含5000对通过手动调整收集的弱光和正常光照图像对的MIT-AdobeFiveK(MIT)数据集中按照97％为训练集和3％为测试集的划分方案，得到4850对训练集和150对测试集。数据集中的弱光图像作为本发明方法的输入弱光图像Il，正常光照图像作为标签图像Ih。
步骤1.2，为了最大限度地利用有限的数据集，在训练期间将步骤1.1中划分的训练集图像对进行随机裁剪，将其大小调整为256×256像素以增广训练数据集。同时将增广训练数据集中的正常光照图像分别进行1/2和1/4的等比例缩放，得到大小为128×128和64×64像素的标签图像和/>
步骤2，构建渐进式多尺度特征融合网络模型，对弱光图像Il进行重建，该渐进式多尺度特征融合网络模型包括第一阶段子网络、第二阶段子网络和第三阶段子网络；本发明方法中渐进式多尺度特征融合网络分三个子网络逐步进行，从弱光图像Il中提取图像初始特征映射送入第一阶段子网络进行初步特征预增强，从而输出第一阶段子网络增强特征映射F1。
步骤2具体按照以下步骤实施：
步骤2.1，首先，输入弱光图像经过卷积操作进行特征预提取后得到初始特征映射，图像被传递到第一层子网络：
其中，代表第一阶段子网络通道数为64的初始特征映射，/>代表数据域。
步骤2.2，将初始特征映射输入重建混合注意力模块(Refined-MixedAttention Network,RMAM)进行特征的筛选和整合，从而输出与输入同尺度的重建混合特征映射fRM64。重建混合注意力模块按照以下步骤实施：
首先重建混合注意力模块的输入特征映射依次通过全局平均池化、通道压缩卷积、PRELU非线性激活函数、通道扩张卷积和Sigmoid激活函数后，得到通道特征描述算子/>
H＝Sigmoid(Fcpc) (3)
其中，fcpc代表输入特征映射通过全局平均池化、通道压缩卷积、PRELU非线性激活函数和通道扩张卷积后的特征映射，Sigmoid(·)代表Sigmoid激活函数。同时输入特征映射/>并行通过全局平均池化和全局最大池化后经concat操作合并，然后依次通过卷积和Sigmoid激活函数后，得到空间注意力图/>
fgcc＝Conv(Concat(GAP(Xin),GMP(Xin))) (4)
S＝Sigmoid(fgcc) (5)
其中，fgcc代表输入特征映射并行通过全局平均池化和全局最大池化、concat操作合并和卷积后的特征映射。
接下来分别使用通道描述算子H与空间注意力图S来激励输入特征映射从而生成通道重整特征映射fh和空间重整特征映射fs：
然后通过逐元素相加的方式将通道重整特征映射fh和空间重整特征映射fs进行初步融合，并通过全局平均池化和卷积对融合后的特征映射进行初步压缩，从而生成生成压缩选择核
其中，表示压缩选择核，其中n为特征压缩因子。接下来，压缩选择核/>通过卷积、PRELU非线性激活和两个并行的通道扩张卷积层Convi后共同输入softmax激活函数后生成自适应精化混合选择核Mi：
其中，convi代表第i个通道扩张卷积层。最后，通道重整特征映射fh和空间重整特征映射fs通过自适应精化混合选择核Mi进行加权融合，并通过残差连接得到重整后的特征：
其中，fRM64代表与输入特征映射同尺度的重建混合特征映射。
步骤2.3，特征映射经过重建混合注意力模块得到重建混合特征映射fRM64后，通过残差连接完成特征的初步处理，从而得到第一阶段子网络增强特征映射F1。第一阶段的处理过程可表示为：
其中，是通过残差连接得到的第一阶段子网络增强特征映射。
步骤3，步骤2输出的增强特征映射F1作为第二阶段子网络的输入，第二阶段子网络在增强特征映射F1的基础上提取两种尺度特征并完成自适应的多尺度特征融合，从而得到第二阶段子网络增强特征映射F2。
步骤3具体按照以下步骤实施：
步骤3.1，对第一阶段增强特征映射F1进行1/2下采样操作，并通过卷积得到另一尺度的特征映射表示为：
其中，downsampling(·)表示1/2下采样操作，表示第二阶段子网络中通道数为128的尺度特征。
步骤3.2，两种尺度的特征映射F1和分别经过重建混合注意力模块(见步骤2.2)增强后融合，融合后的特征再经过一次重建混合注意力模块进行融合后的特征筛选与整合，从而得到第二阶段多尺度融合特征/>
其中，RMA(·)代表经过重建混合注意力模块后的特征映射。↑代表2×上采样操作。是第二阶段子网络增强后的通道数为64的多尺度融合特征。
步骤3.3，多尺度融合特征通过残差连接得到第二阶段子网络增强特征映射F2。第二阶段过程可表示为：
其中，是通过残差连接得到的第二阶段子网络增强特征映射。
步骤4，步骤3输出的增强特征映射F2作为第三阶段子网络的输入，第三阶段子网络在增强特征映射F2的基础上提取三种不同尺度特征并完成自适应的多尺度特征两两渐进的融合，从而得到第三阶段子网络增强特征映射F3。
步骤4具体按照以下步骤实施：
步骤4.1，对第二阶段增强特征映射F2进行连续1/2下采样操作，并通过卷积得到两种不同尺度的特征映射和/>表示为：
其中，downsampling(·)表示1/2下采样操作，表示第三阶段子网络中通道数为128的尺度特征，/>表示第二阶段子网络中通道数为256的尺度特征。
步骤4.2，第三阶段子网络在特征融合阶段采用渐进的阶段性两两融合的方法，三种不同尺度的特征F2,和/>中的相邻两种尺度特征分别经过重建混合注意力模块(见步骤2.2)增强后融合，融合后的特征再经过一次重建混合注意力模块进行融合后的特征筛选与整合，从而得到多尺度融合特征/>和/>
其中，是第三阶段子网络增强后的通道数为64的多尺度融合特征，/>是第二阶段子网络增强后的通道数为64的多尺度融合特征，↑代表2×上采样操作。
步骤4.3，多尺度融合特征和/>进一步融合后，再通过重建混合注意力模块最终筛选与整合进一步融合后的特征，进而逐步关注不同的尺度和语义层次，从而得到第三阶段多尺度融合特征W：
其中，为第三阶段子网络经逐步筛选与融合后的多尺度融合特征。同时将特征/>经重建混合注意力模块增强后的特征和多尺度融合特征/>分别再卷积压缩到RGB信道中，得到分辨率为H/2×W/2和H/4×W/4的重建增强图像/>和/>
步骤4.4，多尺度融合特征W通过残差连接得到第三阶段子网络增强特征映射F3。第三阶段过程可表示为：
F3＝W+F2(23)
其中，是通过残差连接得到的第三阶段子网络增强特征映射。
步骤5，将第三阶段子网络增强特征映射F3压缩到RGB信道中，从而得到重建增强图像步骤5具体按照以下步骤实施：
步骤5.1，第三阶段子网络增强特征映射F3经过卷积和残差连接压缩到RGB信道中，得到分辨率为H×W的重建增强图像因此重建过程可以表示为：
其中，是通过残差连接得到的重建增强图像。
步骤6，将以上所有步骤中得到的不同分辨率的重建增强图像 和标签图像Ih,/>输入到联合损失函数中进行误差梯度反向传播，通过Adam优化器进行参数更新。将更新参数后网络模型应用于下一组训练样本，如此反复从而得到最佳模型参数。
步骤6具体按照以下步骤实施：
步骤6.1，为了确保输出变得尽可能接近真实图像，本发明通过使用均方误差MSE度量重建图像与标签图像Ih之间的像素距离，从而得到像素损失LPixel：
其中，FMSE是用于测量增强图像与相应的地面真实值之间差异的MSE指标。
将标签图像Ih,和不同分辨率的重建增强图像/>输入到VGG19网络。同时为了考虑不同尺度的低水平和高水平特征，我们将MSE距离变换为在不同尺度上预测图像与真实图像之间的感知距离，从而得到多尺度感知损失LMulti：
其中，LVGG是将VGG19网络提取的特征之间的MSE距离，权衡参数γ2和γ4分别为0.8和0.6。
为了能够恢复出色彩丰富且真实的图像，更好的解决重建图像的颜色失真问题，本发明将重建增强图像和标签图像Ih通过颜色损失函数计算颜色损失LColor：
其中，()p表示一个像素，∠(,)是计算两种颜色之间夹角的算子。
步骤6.2：将像素损失LPixel、多尺度感知损失LMulti和颜色损失LColor加权相加，从而得到目标总损失L：
L＝λ1LPixel+λ2LMulti+λ3LColor (28)
其中，在实验中将这些损失的权重λ1,λ2和λ3分别经验性地设置为1.5、1和0.5。
步骤6.3，计算误差梯度方向，将目标总损失L通过Adam优化器进行参数更新。将更新参数后网络模型应用于下一组训练样本，如此反复，直到网络在训练集上总损失的数值变得平稳，从而得到最佳模型参数。在本方法实验中，在将所有训练样本训练1000轮后，训练集的总损失的数值基本不再变化，此时训练可以结束。
步骤7，测试阶段将训练阶段训练好的最佳模型参数加载至本方法模型，输入测试集中的弱光图像后，即可输出得到重建后的正常光恢复图像，其特征的传播过程类似训练阶段的重建过程。
实施例1
表1为现有技术如Enl-GAN(EnlightenGAN)、MBLLEN、DeepUPE、RetinexDIP、DeepLPF、LL-Fomer、MIRNet、UHDF、LLFlow、MBPNet和本发明方法，使用LOL数据集、SYS数据集和MIT-AdobeFiveK(MIT)分别构成三种不同训练数据和测试数据时，所获得的三种主流图像质量评价指标PSNR、SSIM和LPIPS的值，其中PSNR和SSIM指标值越高则表示增强图像质量越接近标签图像，而LPIPS指标值越低则表示增强图像质量越接近标签图像。具体实验指标如下表所示：
表1：本发明方法和现有弱光图像增强方法的指标对比
/>
经对比，本发明方法在客观评价指标上总体优于其他几种主流的对比方法。
实施例2
为进一步验证本发明方法在视觉上的恢复效果，我们使用本发明方法以及其他七种最新的标杆方法(见图3(a)～图3(j))：图3(a)输入弱光图像，图3(b)为使用Enl-GAN(EnlightenGAN)方法对图3(a)处理后的图像，
图3(c)为使用MBLLEN方法对图3(a)处理后的图像，图3(d)为使用LL-Fomer方法对图3(a)处理后的图像，图3(e)为使用MIRNet方法对图3(a)处理后的图像，图3(f)为使用UHDF方法对图3(a)处理后的图像，图3(g)为使用LLFlow方法对图3(a)处理后的图像，图3(h)为使用MBPNet方法对图3(a)处理后的图像，图3(i)为使用本发明方法对图3(a)处理后的图像，图3(j)为标签图像。
通过对图3(a)～图3(j)进行对比可知，其它七种标杆方法对图中LED灯牌的增强均有不同程度的过曝，使得增强后LED灯牌文字可识别性低。然而本发明方法对弱光图像的各级特征进行高效地自适应融合，在不同光照区域拥有自适应的增强权重，从而使得图3(i)中本发明方法增强后的LED灯牌文字可识别性高，并拥有与图3(j)标签图像最接近的视觉效果。
同时为了证明本方法在轻量化和性能之前的有效平衡，统计八种先进方法：Enl-GAN(EnlightenGAN)、MBLLEN、DeepUPE、RetinexDIP、DeepLPF、MIRNet、LLFlow、MBPNet和本发明方法只采用第一阶段子网络增强时的模型Ours-1、采用第一与第二阶段子网络增强时的模型Ours-1+2和采用全部三个阶段子网络增强时的模型Ours-1+2+3时的模型参数量(ModelSize)和PSNR性能指标的关系，如图4所示，其中横轴表示网络参数(MB)采用对数坐标表示，纵轴表示在三个数据库上的平均PSNR值。
从图4的仿真结果可以看出：本发明在保持中等规模计算成本的同时，在增强性能方面领先其它方法。
实施例3
在真实世界场景中增强盲输入弱光图像是一个重大挑战。为了评估本发明方法在这种具有挑战性的场景中的稳健性，使用本发明方法以及其他四种高指标的标杆方法：图5(a)输入弱光图像，图5(b)为使用MIRNet方法对图5(a)处理后的图像，图5(c)为使用UHDF方法对图5(a)处理后的图像，图5(d)为使用LL-Fomer方法对图5(a)处理后的图像，图5(e)为使用LLFlow方法对图5(a)处理后的图像，图5(f)为使用本发明方法对图5(a)处理后的图像。
图5(a)～图5(f)为使用关闭夜间模式的智能手机从各种真实世界场景中捕捉到的弱光图像的恢复结果对比展示，经对比可知，本发明方法在恢复盲输入弱光图像的亮度、色彩和低信噪比暗部细节方面表现出非凡的鲁棒性。
表2同时采用了三种非参考质量评估指标，即NIQE、BRISQUE和RankIQA来比较和评估不同的方法，其中三种指标值越低表示图像恢复质量越高。
表2：真实场景图像的指标对比
通过实施例1～3的实验结果表明，本发明与已有的弱光图像增强方法相比，具有更强的针对弱光图像信噪比较低区域的增强恢复能力，能够得到更多的图像细节，而且恢复的图像在视觉上有较好的感知效果，不存在明显的失真和伪像，更接近于真实图像。
Claims (9)
1.基于混合注意力的渐进式弱光图像增强方法，其特征在于：具体包括如下过程：输入弱光图像经卷积得到初始特征映射，随后经过第一阶段子网络，由重建混合注意力模块对特征进行初步的整合；随后第二阶段子网络和第三阶段子网络以渐进融合的方式充分利用多尺度特征，实现特征的全局信息表达；最后引入像素损失、多尺度感知损失和颜色损失，进而重建出更高质量的弱光图像恢复结果。
2.根据权利要求1所述的基于混合注意力的渐进式弱光图像增强方法，其特征在于：具体包括如下步骤：
步骤1，获取包含弱光图像Il和正常光照图像Ih的图像对数据集，将该数据集划分为训练集和测试集，其中正常光照图像Ih为标签图像；
步骤2，构建渐进式多尺度特征融合网络模型，对弱光图像Il进行重建，该渐进式多尺度特征融合网络模型包括第一阶段子网络、第二阶段子网络和第三阶段子网络；
步骤3，采用步骤1划分的训练集对步骤2构建的渐进式多尺度特征融合网络模型进行训练，输出训练好的渐进式多尺度特征融合网络模型；
步骤4，将步骤1划分的测试集输入步骤3训练好的渐进式多尺度特征融合网络模型中，输出得到重建后的正常光恢复图像。
3.根据权利要求2所述的基于混合注意力的渐进式弱光图像增强方法，其特征在于：所述步骤1中，将训练集图像对进行随机裁剪，将图像大小调整为256×256像素以增广训练数据集，同时将增广训练数据集中的正常光照图像Ih分别进行1/2和1/4的等比例缩放，得到大小为128×128和64×64像素的标签图像和/>
4.根据权利要求3所述的基于混合注意力的渐进式弱光图像增强方法，其特征在于：所述步骤2的具体过程为：
步骤2.1，从弱光图像Il中提取图像初始特征映射送入第一阶段子网络中进行初步特征预增强，从而输出第一阶段子网络增强特征映射F1；
步骤2.2，步骤2.1输出的增强特征映射F1作为第二阶段子网络的输入，第二阶段子网络在第一阶段子网络增强特征映射F1的基础上提取两种尺度特征并完成自适应的多尺度特征融合，从而得到第二阶段子网络增强特征映射F2；
步骤2.3，步骤2.2输出的增强特征映射F2作为第三阶段子网络的输入，第三阶段子网络在第二阶段子网络增强特征映射F2的基础上提取三种不同尺度特征并完成自适应的多尺度特征两两渐进的融合，从而得到第三阶段子网络增强特征映射F3；
步骤2.4，将第三阶段子网络增强特征映射F3压缩到RGB信道中，从而得到重建增强图像
5.根据权利要求4所述的基于混合注意力的渐进式弱光图像增强方法，其特征在于：所述步骤2.1的具体过程为：
步骤2.1.1，输入弱光图像经过卷积操作进行特征预提取后得到初始特征映射，图像被传递到第一阶段子网络中，得到第一阶段子网络通道数为64的初始特征映射
其中，代表数据域；
步骤2.1.2，将初始特征映射输入重建混合注意力模块进行特征的筛选和整合，从而输出与输入同尺度的重建混合特征映射fRM64；
步骤2.1.3，特征映射经过重建混合注意力模块得到重建混合特征映射fRM64后，通过残差连接完成特征的初步处理，从而得到第一阶段子网络增强特征映射F1，处理过程表示为：
6.根据权利要求5所述的基于混合注意力的渐进式弱光图像增强方法，其特征在于：所述步骤2.2的具体过程为：
步骤2.2.1，对第一阶段增强特征映射F1进行1/2下采样操作，并通过卷积得到另一尺度的特征映射表示为：
其中，downsampling(·)表示1/2下采样操作，表示第二阶段子网络中通道数为128的尺度特征；
步骤2.2.2，将特征映射F1和分别经过重建混合注意力模块增强后融合，融合后的特征再经过一次重建混合注意力模块进行融合后的特征筛选与整合，从而得到第二阶段多尺度融合特征/>
其中，RMA(·)代表经过重建混合注意力模块后的特征映射，↑代表2×上采样操作，是第二阶段子网络增强后的通道数为64的多尺度融合特征；
步骤2.2.3，将多尺度融合特征通过残差连接得到第二阶段子网络增强特征映射F2，第二阶段过程表示为：
7.根据权利要求6所述的基于混合注意力的渐进式弱光图像增强方法，其特征在于：所述步骤2.3的具体过程为：
步骤2.3.1，对第二阶段增强特征映射F2进行连续1/2下采样操作，并通过卷积得到两种不同尺度的特征映射和/>表示为：
其中，downsampling(·)表示1/2下采样操作，表示第三阶段子网络中通道数为128的尺度特征，/>表示第二阶段子网络中通道数为256的尺度特征；
步骤2.3.2，将三种不同尺度的特征F2、和/>中的相邻两种尺度特征分别经过重建混合注意力模块增强后融合，融合后的特征再经过一次重建混合注意力模块进行融合后的特征筛选与整合，从而得到多尺度融合特征/>和/>
其中，是第三阶段子网络增强后的通道数为64的多尺度融合特征，/>是第二阶段子网络增强后的通道数为64的多尺度融合特征，↑代表2×上采样操作；
步骤2.3.3，将多尺度融合特征和/>融合后，再通过重建混合注意力模块最终筛选与整合进一步融合后的特征，进而逐步关注不同的尺度和语义层次，从而得到第三阶段多尺度融合特征W：
其中，为第三阶段子网络经逐步筛选与融合后的多尺度融合特征，同时将特征/>经重建混合注意力模块增强后的特征和多尺度融合特征/>分别再卷积压缩到RGB信道中，得到分辨率为H/2×W/2和H/4×W/4的重建增强图像/>和/>
步骤2.3.4，多尺度融合特征W通过残差连接得到第三阶段子网络增强特征映射F3，第三阶段过程表示为：
F3＝W+F2 (13)。
8.根据权利要求7所述的基于混合注意力的渐进式弱光图像增强方法，其特征在于：所述步骤2.4中，重建增强图像的过程可表示为：
9.根据权利要求8所述的基于混合注意力的渐进式弱光图像增强方法，其特征在于：所述步骤3的具体过程为：
步骤3.1，通过使用均方误差MSE度量重建图像与标签图像Ih之间的像素距离，从而得到像素损失LPixel：
其中，FMSE是用于测量增强图像与相应的地面真实值之间差异的MSE指标；
步骤3.2，将标签图像Ih、和不同分辨率的重建增强图像/> 输入到VGG19网络，将MSE距离变换为在不同尺度上预测图像与真实图像之间的感知距离，从而得到多尺度感知损失LMulti：
其中，LVGG是将VGG19网络提取的特征之间的MSE距离，γ2和γ4为权衡参数；
将重建增强图像和标签图像Ih通过颜色损失函数计算颜色损失LColor：
其中，()p表示一个像素，∠(,)是计算两种颜色之间夹角的算子；
步骤3.3，将像素损失LPixel、多尺度感知损失LMulti和颜色损失LColor加权相加，从而得到目标总损失L：
L＝λ1LPixel+λ2LMulti+λ3LColor (18)
其中，λ1、λ2和λ3分别表示损失权重；
步骤3.4，计算误差梯度方向，将目标总损失L通过Adam优化器进行参数更新，将更新参数后网络模型应用于下一组训练样本，如此反复，直到网络在训练集上总损失的数值趋于平稳，从而得到最佳模型参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410220490.XA CN118096621A (zh) | 2024-02-28 | 2024-02-28 | 基于混合注意力的渐进式弱光图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410220490.XA CN118096621A (zh) | 2024-02-28 | 2024-02-28 | 基于混合注意力的渐进式弱光图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118096621A true CN118096621A (zh) | 2024-05-28 |
Family
ID=91148565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410220490.XA Pending CN118096621A (zh) | 2024-02-28 | 2024-02-28 | 基于混合注意力的渐进式弱光图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118096621A (zh) |
-
2024
- 2024-02-28 CN CN202410220490.XA patent/CN118096621A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN113284054B (zh) | 图像增强方法以及图像增强装置 | |
| CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| CN114119378A (zh) | 图像融合方法、图像融合模型的训练方法和装置 | |
| WO2005072431A2 (en) | A method and apparatus for combining a plurality of images | |
| CN111402146A (zh) | 图像处理方法以及图像处理装置 | |
| CN107292830B (zh) | 低照度图像增强及评价方法 | |
| CN109993804A (zh) | 一种基于条件生成对抗网络的道路场景去雾方法 | |
| CN102341825A (zh) | 图像的多模式色调映射 | |
| CN113850367B (zh) | 网络模型的训练方法、图像处理方法及其相关设备 | |
| CN112001843B (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
| CN113129391B (zh) | 基于多曝光图像特征分布权重的多曝光融合方法 | |
| CN113034413B (zh) | 一种基于多尺度融合残差编解码器的低照度图像增强方法 | |
| CN116152120A (zh) | 一种融合高低频特征信息的低光图像增强方法及装置 | |
| CN113034417A (zh) | 基于生成对抗网络的图像增强系统和图像增强方法 | |
| CN115546505A (zh) | 一种基于深度学习的无监督单目图像深度估计方法 | |
| CN113724134A (zh) | 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法 | |
| CN116703752A (zh) | 融合近红外的Transformer结构的图像去雾方法及装置 | |
| CN114862707A (zh) | 一种多尺度特征恢复图像增强方法、装置及存储介质 | |
| CN117115612A (zh) | 基于多传感器图像增强优化的多通道图像融合方法及系统 | |
| CN111311498B (zh) | 图像鬼影剔除方法及装置、存储介质、终端 | |
| Vien et al. | Single-shot high dynamic range imaging via multiscale convolutional neural network | |
| CN114119428B (zh) | 一种图像去模糊方法和装置 | |
| CN118096621A (zh) | 基于混合注意力的渐进式弱光图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |