CN116309168A - 一种并行混合注意力渐进融合的低照度图像增强方法及系统 - Google Patents

一种并行混合注意力渐进融合的低照度图像增强方法及系统 Download PDF

Info

Publication number
CN116309168A
CN116309168A CN202310288652.9A CN202310288652A CN116309168A CN 116309168 A CN116309168 A CN 116309168A CN 202310288652 A CN202310288652 A CN 202310288652A CN 116309168 A CN116309168 A CN 116309168A
Authority
CN
China
Prior art keywords
attention
module
progressive
branch
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310288652.9A
Other languages
English (en)
Inventor
刘光辉
杨琦
孟月波
赵敏华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Architecture and Technology
Original Assignee
Xian University of Architecture and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Architecture and Technology filed Critical Xian University of Architecture and Technology
Priority to CN202310288652.9A priority Critical patent/CN116309168A/zh
Publication of CN116309168A publication Critical patent/CN116309168A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种并行混合注意力渐进融合的低照度图像增强方法及系统，具体步骤如下：构建并行混合注意力的渐进融合图像增强网络，所述网络包括多尺度加权聚合模块MWA、衔接在多尺度加权聚合模块MWA后的渐进特征融合模块PFM和嵌入在渐进特征融合模块PFM中的多个并行混合注意力模块PHA；对并行混合注意力的渐进融合图像增强网络进行训练，得到并行混合注意力的渐进融合图像增强网络模型；将待检测数据集输入并行混合注意力的渐进融合图像增强网络模型，得到图像增强后的低照度图像。本发明方法能有效增强图像整体亮度，调整图像颜色失衡并去除噪声避免细节信息丢失，方便后续需要的任务和工作的开展。

Description

一种并行混合注意力渐进融合的低照度图像增强方法及系统
技术领域
本发明属于低照度图像增强技术领域，具体属于一种并行混合注意力渐进融合的低照度图像增强方法及系统。
背景技术
在实际生活中的多个场景里，采集高质量图像是目标检测、图像分割、自动驾驶、医疗手术等工作可以达到较高准确率的关键因素之一，然而电子设备采集到的图像和视频极易受到光照不佳等各种环境因素影响，从而出现图像亮度低，颜色失真，噪声较多，有效细节纹理信息丢失等问题，给后续需要开展的任务和工作带来了诸多困难。
低照度图像的增强一般通过常用的基于背景融合、基于自适应映射函数等方法增加亮度、去除噪声、图像色彩恢复来还原图像清晰度，为实际工作的多个场景提供高质量图像。近年来，由于深度神经网络所拥有的强大非线性拟合能力，其在低照度增强等领域取得了较好的效果，但在一些场合也会出现提高图像亮度和对比度时会出现颜色失衡现象，并且容易忽略一些噪声带来的影响，给后续需要开展的任务和工作带来了诸多困难。
对于图像增强后出现的细节信息丢失问题，通过提取图像多尺度特征信息并进行融合的相关方法，可以有效增加低照度图像亮度提升后的细节表现力。但其过程使得要融合的每个特征都同等重要，容易忽略多尺度特征的复杂特性，不同程度上导致融合后的图像出现颜色不饱和，伪影和颜色失等缺点的出现。注意力机制可以在原有的低光照图像数据中找到图像语义之间的关联性，不仅突出关注对象的某些重要特征，还能够忽略图像的无关信息。但随着网络深入大部分模型仅在网络部分位置执行聚合，不仅导致融合后的多层次特征语义信息无法有效利用造成了多层次特征的冗余，而且彼此信息间存在较大语义差使得网络增加了不必要的计算资源消耗。但多分支各融合模块间只是简单的信息流向关系，且非相邻模块间不存在有效的特征相关，因此在图像增强初期出现良好的亮度改善效果，但随着网络深入和时间推移图像在不同程度上出现亮度不均匀和细节信息丢失等问题。
发明内容
为了解决现有技术中存在的问题，本发明提供一种并行混合注意力渐进融合的低照度图像增强方法及系统，能有效增强图像整体亮度，调整图像颜色失衡并去除噪声避免细节信息丢失，方便后续需要的任务和工作的开展。
为实现上述目的，本发明提供如下技术方案：一种并行混合注意力渐进融合的低照度图像增强方法，具体步骤如下：
S1构建并行混合注意力的渐进融合图像增强网络，所述网络包括多尺度加权聚合模块MWA、衔接在多尺度加权聚合模块MWA后的渐进特征融合模块PFM和嵌入在渐进特征融合模块PFM中的多个并行混合注意力模块PHA；
S2对并行混合注意力的渐进融合图像增强网络进行训练，得到并行混合注意力的渐进融合图像增强网络模型；
S3将待检测数据集输入并行混合注意力的渐进融合图像增强网络模型，得到图像增强后的低照度图像。
进一步的，所述多尺度加权聚合模块MWA包括三个branch并行分支、concat函数、3×3卷积和sigmoid函数，其中，三个branch并行分支用于提取原始低照度图像中浅层颜色局部多尺度特征信息，concat函数用于将不同branch分支提取到的浅层颜色局部多尺度特征信息进行堆叠汇聚；
3×3卷积和sigmoid函数用于对不同branch分支提取到的浅层颜色局部多尺度特征信息赋予不同权重，使得浅层颜色局部多尺度特征信息在不同权重引导下的实现浅层颜色局部多尺度特征信息的有效融合，得到包含浅层颜色局部多尺度特征的全域化表征信息。
进一步的，所述每个branch并行分支由不同数量的3×3卷积组成，从branch1到branch3，各分支3×3卷积数量分别为1、3、5。
进一步的，所述渐进特征融合模块PMF包括三个stage阶段，第stage1阶段的输入为多尺度加权聚合模块MWA输出的包含浅层颜色局部多尺度特征的全域化表征信息和branch1分支输出的包含浅层颜色局部多尺度特征；
第stage2阶段的输入为第stage1阶段的输出和branch2分支输出的包含浅层颜色局部多尺度特征；第stage3阶段的输入为第stage2阶段的输出和branch3分支输出的包含浅层颜色局部多尺度特征。
进一步的，每一stage阶段均包含一全局平均池化模块GAP与一并行混合注意力模块PHA，全局平均池化模块GAP用于对输入通道特征图的所有像素计算平均值得到汇集的空间信息；并行混合注意力模块PHA用于对输入通道特征图进行细化，得到注意力细化特征；
在每一stage阶段中，将对应阶段的空间信息和注意力细化特征相乘后与对应branch分支的包含浅层颜色局部多尺度特征融合，得到全域化注意力特征。
进一步的，并行混合注意力模块PHA包括两个并行的混合注意力分支，每一分支中均包括一通道注意力模块CAM和一像素注意力模块PAM，两个分支中通道注意力模块CAM和像素注意力模块PAM的排列顺序不同，且两个分支中的注意力模块前后并联交替连接。
进一步的，两个分支中的注意力模块前后并联交替连接后，使第一混合注意力分支与第二混合注意力分支的输入处理汇聚后输入第一分支通道注意力模块CAM，使第一分支通道注意力模块CAM输出的细化后特征流向第二分支像素注意力模块PAM，使第二分支像素注意力模块PAM输出的细化后特征流向第一分支像素注意力模块PAM。
本发明还提供一种并行混合注意力渐进融合增强低照度图像的系统，包括：
网络构建模块，用于构建并行混合注意力的渐进融合图像增强网络，所述网络包括多尺度加权聚合模块MWA、衔接在多尺度加权聚合模块MWA后的渐进特征融合模块PFM和嵌入在渐进特征融合模块PFM中的多个并行混合注意力模块PHA；
网络模型训练模块，用于对并行混合注意力的渐进融合图像增强网络进行训练，得到并行混合注意力的渐进融合图像增强网络模型；
图像增强模块，用于将待检测数据集输入并行混合注意力的渐进融合图像增强网络模型，得到图像增强后的低照度图像。
本发明还提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其所述计算机程序被处理器执行时实现上述方法的步骤。
与现有技术相比，本发明至少具有以下有益效果：
本发明提出一种并行混合注意力渐进融合的低照度图像增强方法，构建并行混合注意力的渐进融合图像增强网络，借助多尺度加权聚合模块MWA加权不同多尺度分支提取到的局部特征之间的有限关联，实现多个感受野下局部图像细节特征的相互补充，并利用并行混合注意力模块PHA同时关注颜色信息和光照特征，有效提高网络的细节表现力并弱化噪声，最后通过渐进特征融合模块PFM在多个阶段融合浅层特征信息，来缓解因网络深度增加带来的色彩信息表达减弱和单阶段特征堆叠造成的模型混乱。本发明的方法可以有效增强图像整体亮度，调整图像颜色失衡并去除噪声，利用本方法可以在实际生活中的多个场景里，为汽车驾驶、监控摄像和互联网的社交场景增加夜间时段监测的可见度。
进一步的，本发明在多尺度加权聚合模块MWA各分支中采用不同数量的3×3卷积来提取多尺度上下文信息，与直接应用5×5或7×7卷积核相比，该方法能够减少参数，同时保留更大的感受野。
进一步的，本发明利用并行混合注意力模块PHA，可以防止单一的亮度增强和图像去噪并不能有效改善图像质量，并且亮度增强和图像去噪的先后顺序颠倒都会导致增强图像中的细节模糊或者引入噪声。
进一步的，本发明使用渐进特征融合操作不仅丰富了下一阶段的功能，使得网络优化过程更加稳定，而且充分利用不相交的特征有效地补偿缺失的上下文信息，以多级细化策略由粗及细的方式获得清晰的边缘信息和准确的抽象信息。
附图说明
图1为本发明网络整体结构图；
图2为本发明的多尺度加权聚合模块MWA网络图。
图3为本发明的并行混合注意力模块PHA网络图。
图4为本发明的渐进特征融合模块PFM网络图。
图5为本发明的执行结果图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步的说明。
参见图1，本发明公开了一种并行混合注意力渐进融合的低照度图像增强方法，包括以下步骤：
S1构建并行混合注意力的渐进融合图像增强网络，包括多尺度加权聚合模块MWA、并行混合注意力模块PHA和渐进特征融合模块PFM，多尺度加权聚合模块MWA用于通过聚合不同感受野下学习到的多尺度特征得到多尺度局部特性，促进局部特征的全域化表征，加强待增强的原始低照度图像细节信息的保留，得到包含多尺度局部特性的全域化表征信息；渐进特征融合模块PFM用于在三个stage阶段由粗及细对全域化表征信息和多尺度局部特性进行再处理，补充因网络深度增加造成的浅层特征流失，避免因单阶段特征堆叠导致的信息冗余，实现对图像的重要区域由粗及细的再关注，形成更鲁棒的特征表示，渐进特征融合模块PFM每个stage阶段均包含一并行混合注意力模块PHA，并行混合注意力模块PHA用于利用并联组合排列的像素注意力模块PAM和通道注意力模块CAM对输入通道特征图进行细化，缓解不同分支注意力分布滞后造成的颜色差异，并且通过相邻注意力间的信息相互补充，有效提高全域化表征信息的色彩表现力并弱化噪声，得到注意力细化特征；
具体的：
1.多尺度加权聚合模块MWA
固定感受野方式容易忽略图像中低照度的分布，进而增强结果往往会恶化照度，甚至导致增强效果不稳定性、模型出现泛化性能差等问题。将每个分支提供的不同特征信息进行加权聚合的原因在于，低照度图像上多个感受野下提取到的所有尺度特征通过简单的元素相加或连接直接聚合，会导致这些简单求和后的结果既无法显示出更重要的特征又不能抑制无关的特征，可能会使得有用的信息分支被无用的信息分支削弱甚至淹没。针对上述问题，本发明设计了如图2所示的多尺度加权聚合模块MWA，该模块包括三个branch并行分支，进行特征堆叠的concat函数以及生成不同权重的3×3卷积和sigmoid函数组成。MWA模块的执行过程为，参见图2：
首先，利用三个branch并行分支提取原始低照度图像中浅层颜色局部多尺度特征信息，每个branch并行分支由不同数量的3×3卷积组成，从branch1～3各分支3×3卷积数量分别为1、2、3，与直接应用5×5或7×7卷积核相比在保留更大的感受野的同时有效减少参数量。
其次，利用concat函数将不同分支提取到的浅层颜色局部多尺度特征信息进行堆叠，使得不同分支提取到的浅层颜色局部多尺度特征信息在concat函数作用下进行汇聚，可以更好地学习相邻像素之间的长期关系。
最后，通过sigmoid函数对各branch分支所提取到的浅层颜色局部多尺度特征信息赋予不同权重，使得浅层颜色局部多尺度特征信息在不同权重引导下的实现浅层颜色局部多尺度特征信息的有效融合，得到包含浅层颜色局部多尺度特征的全域化表征信息，该过程不仅可以保留本身多尺度所具有的复杂特性，而且随着网络的不断深化，较浅的特征映射也可以获得良好的学习性能，从全局和局部两个方面充分考虑特征间的互补性和差异性，起到有效恢复图像光照细节的作用。
2.渐进特征融合模块PMF
融合不同层次的特征是提高图像效果的必要环节，卷积过程中浅层特征不仅分辨率更高，通常也包含更多位置、光照细节信息等，但其经过少量的卷积，包含的语义信息随之降低，噪声也变得更多。通过分层堆叠的模块的方式来融合不同级别的特征，忽略了深层与浅层特征之间的融合效率，不仅容易导致得到的模型出现混乱、特征冗余和局部特征欠融合等问题，而且通常在图像中具体表现为同一目标的特征发生偏移。
针对上述所提问题，本发明设计了渐进特征融合模块PMF，如图4所示，PFM模块包括从下至上依次为stage1阶段、stage2阶段、stage3阶段，每个阶段均包含全局平均池化模块GAP与并行混合注意力模块PHA，其中，全局平均池化模块GAP用于对输入通道特征图的所有像素计算平均值得到汇集的空间信息；并行混合注意力模块PHA用于对输入通道特征图进行细化，得到注意力细化特征；从下至上依次为stage1阶段到stage3阶段：
在每一stage阶段，将空间信息与注意力细化特征相乘，得到凸显图像中需要关注的重要区域的注意特征图，并将注意特征图与多尺度加权聚合模块MWA中不同感受野下提取到的浅层颜色局部多尺度特征信息融合，形成特征融合结果全域化注意力特征，并将全域化注意力特征作为下一stage阶段全局平均池化模块GAP与并行混合注意力模块PHA的输入；
第stage1阶段中，全局平均池化模块GAP和并行混合注意力模块PHA的输入为多尺度加权聚合模块MWA中全域化表征信息，将全局平均池化模块GAP得到的空间信息与并行混合注意力模块PHA得到的注意力细化特征相乘，对图像的重要区域实现关注，得到注意特征图，将注意特征图与多尺度加权聚合模块MWA中branch1分支提取到的浅层颜色局部多尺度特征信息进行融合，得到第stage1阶段全域化注意力特征；
再将第stage1阶段的全域化注意力特征分别传递到第二stage2阶段的全局平均池化GAP模块和并行混合注意力PHA中，在stage1的基础上对图像的重要区域实现再关注，得到注意特征图，将注意特征图与多尺度加权聚合模块MWA中branch2分支提取到的浅层颜色局部多尺度特征信息进行融合使得特征进一步细化，得到第二stage2阶段全域化注意力特征；
最后，将第二stage2阶段全域化注意力特征分别传递到第三stage3阶段的全局平均池化GAP模块和并行混合注意力PHA中，在stage2的基础上对图像的重要区域实现进一步关注，得到注意特征图，将注意特征图与多尺度加权聚合模块MWA中branch3分支提取到的浅层颜色局部多尺度特征信息进行融合，得到深层全域化注意力特征图，实现低照度图像关键区域的精准关注。
本发明渐进特征融合模块PMF中采用渐进融合的方式研究图像深层特征，可以将现有单阶段融合模型扩展到多阶段来逐步细化显著特征，确保有用信息在该过程中的增加且减少不同阶段特征融合导致的信息差异。
并且本发明以多级细化策略重新分配网络的计算能力，不仅可以降低原始任务的难度，而且充分利用多尺度加权聚合模块MWA中所提取的浅层颜色局部多尺度特征信息获得清晰的边缘信息和准确的抽象信息。此操作不仅丰富了下一阶段的功能，使得网络优化过程更加稳定而且使网络更加易于训练。
3.并行混合注意力模块PHA
参见图3，该模块包括两个并行的混合注意力分支，每一分支中均包括一通道注意力模块CAM和一像素注意力模块PAM，但两个分支中通道注意力模块CAM和像素注意力模块PAM的排列顺序不同，且两个分支中的注意力模块前后并联交替结构连接，如图3所示，使第一分支通道注意力模块CAM所输出的细化后特征流向第二分支像素注意力模块PAM，使第二分支像素注意力模块PAM输出的细化后特征流向第一分支像素注意力模块PAM，可以实现不同注意力模块间输出特征的相互补充，缓解混合注意力分支中通道注意力模块CAM和像素注意力模块PAM先后排列形成的特征差异，从而同时提取经过提亮和去噪的混合注意力深层特征。与现有低照度增强方法相比，该结构能有效避免图像增强过程中，因亮度增强和图像去噪的先后顺序颠倒所导致的图像细节模糊和噪声放大。
通道注意力模块CAM
不同通道维度上的输出特征图对低光照图像增强效果的影响不尽相同，部分通道的特征则更重要一些。具体表现在与相邻通道之间的相关性更强，则需网络更加关注相邻通道并赋予较大权重。
通道注意力模块CAM首先通过全局平均池化GAP将全局信息压缩到一个通道描述符中，通过收缩特征空间维度获得一个1×1×C向量，其中每个分量代表每个通道所有特征像素的平均值且具有全局感受野。
将该分支上获得的加权全局注意力表示与输入特征分支在通道上做相乘操作，通过重新缩放每个通道的权重信息来自适应地确定每个特征通道的重要性，学习通道间的非线性关系从而提高网络模型对任务相关信息的敏感性，得到通道注意力特征图。
像素注意力模块PAM
低照度图像中不同位置的像素对其相邻像素具有极高的局部依赖性，该模块通过加权其相邻像素来提高像素信息的局部表征强度，使图像借助像素注意力模块PAM生成有助于弱化随机噪声的逐像素注意力模块图。
像素注意力模块PAM的输入特征F经过卷积和激活函数处理，首先可以生成一个与输入特征大小相同的注意力图PA如公式(1)表示，该注意力图可以重新缩放特征图的每个位置以及应用于特征图每个像素。
PA＝σ(Conv(δ(Conv(F)))) (1)
Figure BDA0004140594290000101
通过学习所有像素特征映射位置之间的关系，如公式(2)使用逐元素乘法融合与输入特征F融合得到像素注意力模块PAM的输出像素注意力特征FP。其中δ和σ分别代表ReLu和sigmoid激活函数。
在图像不同位置的曝光强度重新缩放所有像素级特征，根据输入特征映射关系生成特征图中每个像素点可以被分配相应的权重，弱化对远距离像素的依赖性，使模型更加关注光线分布的不均匀信息区域，减少随机噪声产生的影响。
再将多尺度加权聚合模块MWA中不同分支所提取到的浅层颜色信息和并行混合注意力模块PHA输出的深层图像特征进行融合，从而减少图像在亮度提升和色彩挖掘后的引起的图像整体颜色失真，最终实现光照亮度和色彩信息在图像增强过程中的同步关注，并避免因亮度提升和图像去噪的先后颠倒导致增强图像中的细节模糊或者引入噪声；
S2损失函数
本发明的总损失函数如公式(3)所示，
Figure BDA0004140594290000102
对于低照度图像而言更需要考虑那些光照不足的区域引入区域损失函数LRegion：
Figure BDA0004140594290000103
其中：EL和GL分别代表增强后的图像和原图的弱光区域，EH和GH是图像的其余部分，一般情况下wL＝4,wH＝1。
结构性损失LSSIM(x,y)可以在低照度条件下更好的衡量图像增强前后的差异，描述两幅图像之间的相似度，其计算过程可描述为：
Figure BDA0004140594290000111
其中，μX,μY分别表示图像X和Y的均值，σX，σY分别表示图像X和Y的方差，C1,C2为常数σXY表示图像X和Y的协方差，该损失的取值范围为[0,1]，值越大表示图像失真越小。
注意力损失函数LAttention可以更好地引导网络对光照不均匀区域的关注，可表示为:
Figure BDA0004140594290000112
其中I表示低照度图像，GA(I)表示预测的光照分布图，N表示样本训练数目，
Figure BDA0004140594290000113
表示正常光照图像，/>
Figure BDA0004140594290000114
则表示图像RGB三通道上的像素最大值。
本发明采用PyTorch深度学习框架完成，GPU工作站的配置为：Intel Core i7型CPU，32G内存以及12G显存的1080Ti显卡。训练阶段采用300个epoch进行训练，最小的batch-size设置为8，初始衰减率设置为0.0005，采用余弦学习率衰减。
实验部分所应用的数据集为LOL数据集，该数据集是从真实场景中获取的用于弱光增强的图像对数据集,包含500对弱光/正常光图像对，大多数通过改变曝光时间和ISO从各类场景中捕获房屋，校园，俱乐部，街道等相关场景来收集的微光图像。因此从中选取485对进行训练，15对进行测试，得到并行混合注意力的渐进融合图像增强网络模型；
S3将待检测数据集输入并行混合注意力的渐进融合图像增强网络模型中进行检测，并将所得实验结果在LOL数据集上的增强结果与不同先进方法进行对比，其结果如图5所示，其中ours所在一行表示本发明方法的执行结果，(a)-(e)则表示不同方法在各种场景下的实验结果。其中RetinexNet方法得到的图像在一定程度上提高了照度，但增强结果会发生颜色偏移重建的图像存在不同程度的颜色失真，从(a)图和(d)图可明显看出，增强图像在提亮后产生极大色差，图像环境在视觉上整体缺乏真实性。KinD方法增强后得出的图像较暗且过于平滑，这就容易遗漏微小的细节信息，导致整体图像边缘轮廓变得模糊不清，(c)图中的饰品表面缺乏纹理且颜色泛白。MBLLEN方法增强后的图像亮度较暗，部分区域增强不明显且出现对比度较差等问题，从(b)图中可以看出，堆叠的物品在昏暗的光照环境下甚至无法分辨是一层还是多层。而本文方法在处理低光照图像方面能有效增强亮度，改善色彩且保持较好的图像自然性。
将本发明方法LIME、DICM、MEF数据集上与先进的图像增强方法进行定量比较，结果如表1所示：
表1为LIME、DICM、MEF数据集上NIQE性能比较
Figure BDA0004140594290000121
从表1中可以看出，与其他先进算法相比，本发明方的无参考图像质量评估NIQE在LIME、DICM、MEF数据集上分别达到3.4281、2.8054、3.5193，数值越小则代表性能越好，相比较次优方法分别领先0.2293、0.1112、0.018。低照度增强性能处于领先地位，进一步验证本发明方法的有效性。
本发明的方法对低照度图像增强过程中出现的色彩失真、噪声放大和细节信息丢失等问题能够有效减少和缓解，并且，通过低照度图像增强在实际生活中的多个场景里，为汽车驾驶、监控摄像和互联网的社交场景提升夜间时段监测的可见度。
本发明实施例公开了一种并行混合注意力的渐进融合图像增强系统，包括网络构建模块，用于构建并行混合注意力的渐进融合图像增强网络，所述网络包括多尺度加权聚合模块MWA、衔接在多尺度加权聚合模块MWA后的并行混合注意力模块PHA和嵌入在并行混合注意力模块PHA中的多个渐进特征融合模块PFM；
多尺度加权聚合模块MWA，用于将低照度图像将低照度图像通过不同感受野下的三个分支进行特征提取，通过不同数量卷积所在分支提取到的多尺度特征信息进行堆叠，使得不同分支提取到的特征信息得到聚合，使三个分支提取的特征信息被赋予不同权重，以便引导特征实现有效融合。
并行混合注意力模块PHA，在两个分支上各存在一个通道注意力模块CAM和像素注意力PAM，形成前后并联交替结构实现区域关注，使得各注意力间的输出特征与所流向的两个相邻注意力相补充，再将注意力所在不同分支输出的特征进行融合，实现光照亮度和色彩信息在图像增强过程中的同步关注。
渐进特征融合模块PFM，特征融合由三个stage阶段组成，各阶段的分支分别在不同感受野下提取到的多尺度特征进行融合形成更鲁棒的特征表示，并用作下一stage阶段中的输入，以多级细化策略由粗及细的方式获得清晰的边缘信息和准确的抽象信息。
网络模型训练模块，用于对并行混合注意力的渐进融合图像增强网络进行训练，得到并行混合注意力的渐进融合图像增强网络模型；
图像增强模块，用于将待检测数据集输入并行混合注意力的渐进融合图像增强网络模型，得到图像增强后的低照度图像。
本发明提供一种终端设备，包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。
所述处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。
所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种并行混合注意力渐进融合的低照度图像增强方法，其特征在于，具体步骤如下：
S1构建并行混合注意力的渐进融合图像增强网络，所述网络包括多尺度加权聚合模块MWA、衔接在多尺度加权聚合模块MWA后的渐进特征融合模块PFM和嵌入在渐进特征融合模块PFM中的多个并行混合注意力模块PHA；
S2对并行混合注意力的渐进融合图像增强网络进行训练，得到并行混合注意力的渐进融合图像增强网络模型；
S3将待检测数据集输入并行混合注意力的渐进融合图像增强网络模型，得到图像增强后的低照度图像。
2.根据权利要求1所述的一种并行混合注意力渐进融合的低照度图像增强方法，其特征在于，所述多尺度加权聚合模块MWA包括三个branch并行分支、concat函数、3×3卷积和sigmoid函数，其中，三个branch并行分支用于提取原始低照度图像中浅层颜色局部多尺度特征信息，concat函数用于将不同branch分支提取到的浅层颜色局部多尺度特征信息进行堆叠汇聚；
3×3卷积和sigmoid函数用于对不同branch分支提取到的浅层颜色局部多尺度特征信息赋予不同权重，使得浅层颜色局部多尺度特征信息在不同权重引导下的实现浅层颜色局部多尺度特征信息的有效融合，得到包含浅层颜色局部多尺度特征的全域化表征信息。
3.根据权利要求2所述的一种并行混合注意力渐进融合的低照度图像增强方法，其特征在于，所述每个branch并行分支由不同数量的3×3卷积组成，从branch1到branch3，各分支3×3卷积数量分别为1、3、5。
4.根据权利要求1所述的一种并行混合注意力渐进融合的低照度图像增强方法，其特征在于，所述渐进特征融合模块PMF包括三个stage阶段，第stage1阶段的输入为多尺度加权聚合模块MWA输出的包含浅层颜色局部多尺度特征的全域化表征信息和branch1分支输出的包含浅层颜色局部多尺度特征；
第stage2阶段的输入为第stage1阶段的输出和branch2分支输出的包含浅层颜色局部多尺度特征；第stage3阶段的输入为第stage2阶段的输出和branch3分支输出的包含浅层颜色局部多尺度特征。
5.根据权利要求4所述的一种并行混合注意力渐进融合的低照度图像增强方法，其特征在于，每一stage阶段均包含一全局平均池化模块GAP与一并行混合注意力模块PHA，全局平均池化模块GAP用于对输入通道特征图的所有像素计算平均值得到汇集的空间信息；并行混合注意力模块PHA用于对输入通道特征图进行细化，得到注意力细化特征；
在每一stage阶段中，将对应阶段的空间信息和注意力细化特征相乘后与对应branch分支的包含浅层颜色局部多尺度特征融合，得到全域化注意力特征。
6.根据权利要求1所述的一种并行混合注意力渐进融合的低照度图像增强方法，其特征在于，并行混合注意力模块PHA包括两个并行的混合注意力分支，每一分支中均包括一通道注意力模块CAM和一像素注意力模块PAM，两个分支中通道注意力模块CAM和像素注意力模块PAM的排列顺序不同，且两个分支中的注意力模块前后并联交替连接。
7.根据权利要求6所述的一种并行混合注意力渐进融合的低照度图像增强方法，其特征在于，两个分支中的注意力模块前后并联交替连接后，使第一混合注意力分支与第二混合注意力分支的输入处理汇聚后输入第一分支通道注意力模块CAM，使第一分支通道注意力模块CAM输出的细化后特征流向第二分支像素注意力模块PAM，使第二分支像素注意力模块PAM输出的细化后特征流向第一分支像素注意力模块PAM。
8.一种并行混合注意力渐进融合增强低照度图像的系统，其特征在于，包括：
网络构建模块，用于构建并行混合注意力的渐进融合图像增强网络，所述网络包括多尺度加权聚合模块MWA、衔接在多尺度加权聚合模块MWA后的渐进特征融合模块PFM和嵌入在渐进特征融合模块PFM中的多个并行混合注意力模块PHA；
网络模型训练模块，用于对并行混合注意力的渐进融合图像增强网络进行训练，得到并行混合注意力的渐进融合图像增强网络模型；
图像增强模块，用于将待检测数据集输入并行混合注意力的渐进融合图像增强网络模型，得到图像增强后的低照度图像。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述方法的步骤。
CN202310288652.9A 2023-03-22 2023-03-22 一种并行混合注意力渐进融合的低照度图像增强方法及系统 Pending CN116309168A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310288652.9A CN116309168A (zh) 2023-03-22 2023-03-22 一种并行混合注意力渐进融合的低照度图像增强方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310288652.9A CN116309168A (zh) 2023-03-22 2023-03-22 一种并行混合注意力渐进融合的低照度图像增强方法及系统

Publications (1)

Publication Number Publication Date
CN116309168A true CN116309168A (zh) 2023-06-23

Family

ID=86819910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310288652.9A Pending CN116309168A (zh) 2023-03-22 2023-03-22 一种并行混合注意力渐进融合的低照度图像增强方法及系统

Country Status (1)

Country Link
CN (1) CN116309168A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437490A (zh) * 2023-12-04 2024-01-23 深圳咔咔可洛信息技术有限公司 一种服装信息的处理方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437490A (zh) * 2023-12-04 2024-01-23 深圳咔咔可洛信息技术有限公司 一种服装信息的处理方法、装置、电子设备和存储介质
CN117437490B (zh) * 2023-12-04 2024-03-22 深圳咔咔可洛信息技术有限公司 一种服装信息的处理方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
Yin et al. A novel image-dehazing network with a parallel attention block
Fu et al. Removing rain from single images via a deep detail network
Huang et al. Image contrast enhancement for preserving mean brightness without losing image features
Huang et al. An advanced single-image visibility restoration algorithm for real-world hazy scenes
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
Yan et al. Dual-attention-guided network for ghost-free high dynamic range imaging
Fu et al. Edge-aware deep image deblurring
Xu et al. FPGA-based low-visibility enhancement accelerator for video sequence by adaptive histogram equalization with dynamic clip-threshold
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
Swami et al. Candy: Conditional adversarial networks based fully end-to-end system for single image haze removal
CN116309168A (zh) 一种并行混合注意力渐进融合的低照度图像增强方法及系统
Gupta et al. Fast single image haze removal method for inhomogeneous environment using variable scattering coefficient
He et al. A night low‐illumination image enhancement model based on small probability area filtering and lossless mapping enhancement
Pandey et al. A fast and effective vision enhancement method for single foggy image
CN111027564A (zh) 基于深度学习一体化的低照度成像车牌识别方法及装置
Fazlali et al. Single image rain/snow removal using distortion type information
Salih et al. Adaptive local exposure based region determination for non-uniform illumination and low contrast images
Zhou et al. An improved algorithm using weighted guided coefficient and union self‐adaptive image enhancement for single image haze removal
Lu et al. AoSRNet: All-in-One Scene Recovery Networks via multi-knowledge integration
Hmue et al. Image enhancement and quality assessment methods in turbid water: A review article
Liu et al. Learning multiscale pipeline gated fusion for underwater image enhancement
Kocdemir et al. TMO-Det: Deep tone-mapping optimized with and for object detection
Lim et al. LAU-Net: A low light image enhancer with attention and resizing mechanisms
Nair et al. Benchmarking single image dehazing methods
CN107274412A (zh) 基于红外图像的小目标检测的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination