CN115393225A - 一种基于多层次特征提取融合的低光照图像增强方法 - Google Patents

一种基于多层次特征提取融合的低光照图像增强方法 Download PDF

Info

Publication number
CN115393225A
CN115393225A CN202211088239.XA CN202211088239A CN115393225A CN 115393225 A CN115393225 A CN 115393225A CN 202211088239 A CN202211088239 A CN 202211088239A CN 115393225 A CN115393225 A CN 115393225A
Authority
CN
China
Prior art keywords
image
low
feature
layer
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211088239.XA
Other languages
English (en)
Inventor
王力谦
王成
葛琦
邵文泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202211088239.XA priority Critical patent/CN115393225A/zh
Publication of CN115393225A publication Critical patent/CN115393225A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多层次特征提取融合的低光照图像增强方法，包括：对待增强的低光照图像进行预处理；将经过预处理的低光照图像输入到训练好的低光照增强网络模型中，得到低光照增强图；低光照增强网络模型的基础为卷积神经网络；本发明通过在低光照增强网络模型中多次利用特征提取模块实现对不同层次的特征进行提取，通过特征提取模块中的空洞卷积分支来提取不同尺度的特征，再通过通道注意力模块和空间注意力模块对提取的特征进行权重调整，然后通过特征增强网络模块对得到的不同层次和不同尺度的特征进行增强，最后进行特征融合，使得增强后图像的细节、结构、对比度、颜色等特征更明显。

Description

一种基于多层次特征提取融合的低光照图像增强方法
技术领域
本发明属于图像处理技术领域，具体属于一种端到端RGB彩色图像恢复技术，涉及一种基于多层次特征提取融合的低光照图像增强方法。
背景技术
图像和视频承载着丰富的真实场景内容和信息。人们在智能系统中，通过拍摄和处理图像和视频数据，可以进行目标检测、分类、分割、识别、场景理解和三维重建等各种任务，进而将其应用于自动驾驶、视频监控和虚拟/增强现实等许多实际应用中。但是智能系统却严重依赖于输入图像/视频的质量，当输入数据质量较高时它们表现良好，但输入数据质量较低时表现一般。在现实生活中并不是所有捕获的图像和视频都是能显示真实场景的信息和内容的高质量图像/视频。例如，在周围环境光线较差的情况下，由于光照强度不足，会导致进入拍摄设备的光线不足，从而影响拍摄图像的视觉效果，图像会出现亮度偏低、对比度较低、色彩失真、细节信息大量不可见等严重失真的情况。因此，在不需要额外和昂贵硬件的情况下，提高低光照图像的质量在实际应用中有着迫切地需要。低光照图像增强技术不仅可以提高图像质量、恢复图像的重要信息，还可以降低噪声。经过低光照增强处理后的图像和视频更符合人类的视觉感受。
近年来，深度学习在低级图像处理领域取得了巨大成功。如端到端网络和对抗生成网络已被各种应用所采用，包括图像超分辨率，图像去噪。还提出了用于低光照图像增强的方法。MBLLEN算法(F.Lv,et al.MBLLEN:Low-light Image/Video Enhancement UsingCNNs[C],BMVC,2018)是一个多分支低光图像增强网络。该算法的核心思想是在不同层次中提取出丰富的图像特征，因此可以通过多个子网络进行图像增强，最后通过多分支融合产生输出图像。图像的质量从PSNR、SSIM等客观评价和人类视觉主观评价两个维度都有了极大的改善。该算法不仅仅能用来图像增强，而且还可以用来进行低光照视频增强。但是在处理低光照视频增强时没有考虑到视频帧之间的信息。EnlightenGAN算法(Y.Jiang,etal.EnlightenGAN:Deep Light Enhancement without Paired Supervision[J].IEEETransactions on Image Processing,30:2340-2349,2021)是一个高效的无监督生成对抗网络，它不需要使用低光照/正常光图像对训练，该算法使用输入图像本身提取的信息来正则化未配对训练，与现有的有监督训练方法相比，具有更灵活，对真实的低光照图像具有更泛化的优点，这也开启了生成对抗网络应用在低光照图像增强领域的先河，但是输出的图像存在局部区域增强过度。
发明内容
本发明的目的是提供一种基于多层次特征提取融合的低光照图像增强方法，解决了现有技术中存在的低光照图像低可见度、低对比度、色彩失真、细节信息大量不可见的问题。
技术方案：为解决上述技术问题，本发明采用的技术方案为：
第一方面，提供一种基于多层次特征提取融合的低光照图像增强方法，包括：
对待增强的低光照图像进行预处理；将经过预处理的低光照图像输入到训练好的低光照增强网络模型中，根据所述低光照增强网络模型的输出得到低光照增强图；
其中所述低光照增强网络模型的训练过程包括：
S1：获取低光照图像及对应的正常光照图像作为数据集，对数据集中图像进行像素归一化，得到训练数据集；
S2：将训练数据集中的低光照图像输入低光照增强网络模型中，依次经过至少3个特征提取模块，进行特征提取；
S3：每个特征提取模块输出的特征图同时作为对应特征增强模块和下一个特征提取模块的输入；
S4：将多个特征增强模块输出的特征增强图输入到特征融合模块进行特征融合，得到最终的低光照增强图；
S5：利用损失函数约束低光照增强图与对应的正常光照图像之间的差异，不断调整模型的参数，直到模型收敛，完成模型的训练。
在一些实施例中，对数据集中图像进行像素归一化，包括：将数据集中图像的像素值归一化到[0,1]范围间，得到训练数据集。
在一些实施例中，特征提取模块处理过程包括：
将输入图像输入到第一卷积Conv层，第一卷积Conv层的输出分别输入到两个Conv分支中，再将两个Conv分支输出的特征图通过第一Concatenate层进行通道连接，将第一Concatenate层的输出与第一卷积Conv层的输出通过第二Concatenate层进行通道连接，然后将第二Concatenate层的输出图像依次经过Conv层、通道注意力模块、空间注意力模块，最后输出得到提取的特征图；
其中，第一卷积Conv层对输入图像进行浅层特征提取，卷积核大小为3×3，步长为1，激活函数采用ReLU激活函数，特征映射总数为8；两个Conv分支均包含两个Conv层，第一个Conv分支的两个Conv层都采用普通卷积，卷积核大小为3×3，步长为1，激活函数为ReLU，特征映射总数为8；第二个Conv分支中的第一个Conv层采用空洞卷积，卷积核大小为3×3，空洞率分别为1，2，3，步长为1，激活函数为ReLU，特征映射总数为8，第二个Conv分支中的第二个Conv层采用普通卷积，卷积核大小为3×3，步长为1，激活函数为ReLU，特征映射总数为8；第二个Conv分支与第一个Conv分支相比具有相同的参数量，但由于采用空洞卷积，感受野更大，两个分支并列提取特征，用于联合考虑特征图上下文信息。
在一些实施例中，所述通道注意力模块处理过程包括：
将输入的特征图分别输入到两个分支中；
在第一个分支中，输入的特征图先经过全局平局池化GlobalAvgPooling层逐通道计算每个通道的全局平均值，输出结果大小为1×8，再依次经过一个输出大小为1×1×8的Reshape层和2个输出大小为1×1×1的Dense全连接层，Reshape层将全局池化层输出的图像按照通道赋予新的形状；
在第二个分支中，输入的特征图先经过全局最大池化GlobalMaxPooling层逐通道计算每个通道的全局最大值，输出结果大小为1×8，再依次经过1个输出大小为1×1×8的Reshape层和2个输出大小为1×1×1的Dense全连接层；
两个分支的输出通过一个Add层进行像素加操作，并采用sigmoid激活函数激活；Add层输出的通道权重特征图与模块开始输入的特征图经过一个Multiply层进行像素乘处理，使用通道注意力机制获取通道上的关联性，输出得到大小为H×W×8的通道注意力调整图，其中H和W分别表示输出图像的长和宽。
在一些实施例中，所述空间注意力模块处理过程包括：
将输入的特征图分别输入到最大池化MaxPool层和平均池化AvgPool层，输出特征图大小均为H×W×1；
将最大池化层和平均池化层的输出经过一个Concatenate层，按照通道进行通道连接，输出特征图大小为H×W×2，连接后的特征图经过一个Conv层进一步提取特征得到像素权重图，卷积核大小为3×3，步长为1，映射数为1，激活函数为sigmoid，输出特征图大小为H×W×1；
将空间注意力模块开始输入的特征图与Conv层输出的像素权重图一起经过一个Multiply层进行像素乘操作，使用空间注意力机制获取空间上的关联性，输出得到大小为H×W×8的空间注意力调整图，作为通道注意力的补充。
在一些实施例中，特征增强模块处理过程包括：
将输入的特征图依次送入到4个Conv层和3个Conv2DTranspose层中提取特征信息，其中，4个Conv层的卷积核大小均为3×3步长均为1，激活函数均采用ReLU，输出通道数分别为8，8，16，32；3个Conv2DTranspose层的卷积核大小均为3×3，步长均为1，采用的激活函数均为ReLU，输出通道数分别为16，8，3；然后将提取到的特征信息依次输入通道注意力模块和空间注意力模块，最后输出大小为H×W×3的特征图。
在一些实施例中，特征融合模块处理过程包括：先将所有特征增强模块输出的特征增强图通过Concatenate层连接，得到的输出再经过一个Conv层，Conv层的卷积核大小为1×1，步长为1，激活函数为ReLU，得到大小为H×W×3的输出图像即为最终的低光照增强图。
在一些实施例中，低光照增强网络模型的损失函数Losstotal表达式为：
Losstotal＝LMAE+LSSIM+Lperc+Lregion+Lcolor
其中，
Figure BDA0003836064740000051
为像素级别的平均绝对误差损失，N为图像的数量，P为一幅图像的像素总数，下标p表示图像中某一像素，y代表原始正常光照图像，
Figure BDA0003836064740000052
代表输出的低光照增强图；
Figure BDA0003836064740000053
为结构相似性损失，μy、
Figure BDA0003836064740000054
分别表示图像y、
Figure BDA0003836064740000061
的像素平均值，
Figure BDA0003836064740000062
分别代表图像y、
Figure BDA0003836064740000063
的方差，
Figure BDA0003836064740000064
代表图像y与
Figure BDA0003836064740000065
之间的协方差，C1、C2是两个常量，避免公式中分母为0；
Figure BDA0003836064740000066
为区域损失函数，下标l和h分别表示图像中的低光照区域和其他区域，wl和wh表示两个区域之间的比例系数，i和j分别为像素点在图像上的横纵坐标，m和n分别表示该区域横纵像素点的个数值，|·|为绝对值运算，yl(i,j)表示正常光照图像低光照区域中的第i行第j列的像素强度、
Figure BDA0003836064740000067
表示低光照增强图低光照区域中的第i行第j列的像素强度、yh(i,j)表示正常光照图像中其他区域中的第i行第j列的像素强度、
Figure BDA0003836064740000068
表示低光照增强图其他区域中的第i行第j列的像素强度；
Figure BDA0003836064740000069
是感知损失，采用VGG-19网络作为特征图提取器，hi,j、wi,j、ci,j分别代表特征图的长、宽、通道三个维度，φi,j表示采用VGG-19网络的第i块第j个卷积层来提取特征图；
Figure BDA00038360647400000610
是颜色损失，其中G(·)表示高斯滤波。
在一些实施例中，计算区域损失函数时，确定图像中的低光照区域和其他区域的方法为：
先将彩色图像的R、G、B三个通道按照比例组合成单通道图像Img＝r·R+g·G+b·B，其中r、g、b为各通道的比例系数；然后将单通道图像Img中所有像素强度值按照从小到大排序，前a％个强度值最小的像素区域定为低光照区域，其余像素区域为其他区域。
第二方面，本发明提供了一种基于多层次特征提取融合的低光照图像增强装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤。
第三方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述方法的步骤。
本发明的优点：
1.本发明联合使用了通道注意力机制和空间注意力机制，使网络模型更关注一些重要的通道特征和像素特征，进而充分提取和利用图像中的局部和全局特征；
2.本发明中的网络在每次特征提取的时候使用了不同的空洞卷积，通过不同大小的感受野得到不同尺度的特征图，使网络关注图像中更多的上下文信息，使得特征信息的提取更为全面；
3.本发明使用了多层次特征提取机制，提取尽可能丰富的特征，同时利用特征融合机制，保证提取到的特征能够有机结合并被充分利用。
附图说明
图1是本发明方法的流程框图；
图2是本发明方法的特征提取模块流程框图；
图3是本发明方法的通道注意力模块流程框图；
图4是本发明方法的空间注意力模块流程框图；
图5是本发明方法的特征增强模块流程框图；
图6是在MIT数据集上实施例增强结果与其他方法增强结果对比图，(a)为输入的低光照图像、(b)为MBLLEN算法增强结果图、(c)为ZeroDCE算法增强结果图、(d)为EnlightenGAN算法增强结果图，(e)为正常光照图像，(f)为实施例增强结果图；
图7是在LOL数据集上实施例增强结果与其他方法增强结果对比图，(a)为输入的低光照图像、(b)为MBLLEN算法增强结果图、(c)为ZeroDCE算法增强结果图、(d)为EnlightenGAN算法增强结果图、(e)为正常光照图像、(f)为实施例增强结果图。
具体实施方式
下面将结合附图，对发明实例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明一部分实例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其他实施例，都属于本发明保护的范围。
在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
实施例1
如题1所示，一种基于多层次特征提取融合的低光照图像增强方法，包括：对待增强的低光照图像进行预处理；将经过预处理的低光照图像输入到训练好的低光照增强网络模型中，根据所述低光照增强网络模型的输出得到低光照增强图；
其中所述低光照增强网络模型的训练过程包括：
S1：获取低光照图像及对应的正常光照图像作为数据集，对数据集中图像进行像素归一化，得到训练数据集；
S2：将训练数据集中的低光照图像输入低光照增强网络模型中，依次经过至少3个特征提取模块，进行特征提取；
S3：每个特征提取模块输出的特征图同时作为对应特征增强模块和下一个特征提取模块的输入；
S4：将多个特征增强模块输出的特征增强图输入到特征融合模块进行特征融合，得到最终的低光照增强图；
S5：利用损失函数约束低光照增强图与对应的正常光照图像之间的差异，不断调整模型的参数，直到模型收敛，完成模型的训练。
本发明主要通过多次利用特征提取模块实现对不同层次的特征进行提取，通过特征提取模块中的空洞卷积分支来提取不同尺度的特征，再通过通道注意力模块和空间注意力模块对提取的特征进行权重调整，然后通过特征增强网络模块对得到的不同层次和不同尺度的特征进行增强，最后进行特征融合，使得增强后图像的细节、结构、对比度、颜色等特征更明显。
在本实施例中，使用LOL数据集和MIT数据集；因为LOL数据集采集的是非合成的真实场景下的图像，MIT数据集中包含的是原始未处理图像和由专业人员修饰处理过的对应的高质量图像，可以较好的验证本发明方法的有效性；LOL数据集中包含500组低光照图像正常光照图像及其对应的低光照图像，本实施例使用其中485组图像，并将图像像素值归一化到[0,1]范围间作为训练数据集，其余15组图像作为测试集；本实施例中还使用MIT数据集中的3200组原始图像和Expert C处理过的高质量图像，并将图像像素值归一化到[0,1]范围间作为训练数据集，另取22组图像作为测试集。
如图2所示，特征提取模块处理图像数据的过程为：
将输入图像输入到第一卷积(Conv)层，其输出分别输入到两个Conv分支中，再将两个Conv分支输出的特征图通过一个Concatenate层进行通道连接，将Concatenate层的输出与第一卷积Conv层的输出再通过一个Concatenate层进行通道连接，然后将输出图像依次经过Conv层、通道注意力模块、空间注意力模块，最后输出得到提取的特征图；
其中，第一卷积Conv层对输入图像进行浅层特征提取，卷积核大小为3×3，步长为1，激活函数采用ReLU激活函数，特征映射总数为8；两个Conv分支均包含两个Conv层，第一个Conv分支的两个Conv层都采用普通卷积，卷积核大小为3×3，步长为1，激活函数为ReLU，特征映射总数为8；第二个Conv分支中的第一个Conv层采用空洞卷积，卷积核大小为3×3，空洞率分别为1，2，3，步长为1，激活函数为ReLU，特征映射总数为8，第二个Conv层采用普通卷积，卷积核大小为3×3，步长为1，激活函数为ReLU，特征映射总数为8；第二个Conv分支与第一个Conv分支相比具有相同的参数量，但由于其采用空洞卷积，感受野更大，两个分支并列提取特征，有利于联合考虑特征图上下文信息。
特征提取模块的主要作用对输入的图像进行特征提取，利用空洞卷积在不改变卷积核参数的情况下，扩大感受野来提取不同上下文信息，达到了对不同层级不同尺度的特征图进行提取、增强的目的，通道注意力层以权重的形式对输入图像进行通道调整，空间注意力层是对通道注意力层的补充，也以权重的形式对输入图像进行像素调整，使得提取的特征更丰富、细节更多。
如图3所示，通道注意力模块处理图像数据的过程为：首先将输入的特征图分别输入到两个分支中；在第一个分支中，输入的特征图先经过全局平局池化(GlobalAvgPooling)层逐通道计算每个通道的全局平均值，输出结果大小为1×8，再依次经过一个输出大小为1×1×8的Reshape层和2个输出大小为1×1×1的Dense全连接层，Reshape层将全局池化层输出的图像按照通道赋予新的形状；在第二个分支中，输入的特征图先经过全局最大池化(GlobalMaxPooling)层逐通道计算每个通道的全局最大值，输出结果大小为1×8，再依次经过1个输出大小为1×1×8的Reshape层和2个输出大小为1×1×1的Dense全连接层；两个分支的输出通过一个Add层进行像素加操作，并采用sigmoid激活函数激活；最后将Add层输出的通道权重特征图与模块开始输入的特征图经过一个Multiply层进行像素乘处理，使用通道注意力机制获取通道上的关联性，输出得到大小为H×W×8的通道注意力调整图，其中H和W分别表示输出图像的长和宽。
如图4所示，空间注意力模块处理图像数据的过程为：首先将输入的特征图分别输入到最大池化(MaxPool)层和平均池化(AvgPool)层，输出特征图大小均为H×W×1；再将两个池化层的输出经过一个Concatenate层，按照通道进行通道连接，输出特征图大小为H×W×2，连接后的特征图经过一个Conv层进一步提取特征得到像素权重图，卷积核大小为3×3，步长为1，映射数为1，激活函数为sigmoid，输出特征图大小为H×W×1；最后将模块开始输入的特征图与像素权重图一起经过一个Multiply层进行像素乘操作，使用空间注意力机制获取空间上的关联性，输出得到大小为H×W×8的空间注意力调整图，作为通道注意力的补充。
如图5所示，特征增强模块处理图像数据的过程为：首先将输入的特征图依次送入到4个Conv层和3个Conv2DTranspose层中提取特征信息，其中，4个Conv层的卷积核大小均为3×3步长均为1，激活函数均采用ReLU，输出通道数分别为8，8，16，32；3个Conv2DTranspose层的卷积核大小均为3×3，步长均为1，采用的激活函数均为ReLU，输出通道数分别为16，8，3；然后将提取到的特征信息依次输入通道注意力模块和空间注意力模块，最后输出大小为H×W×3的特征图。
在训练低光照增强网络模型时，考虑到MAE损失函数在目标轮廓的对比度、均匀区域的平滑效果方面比MSE表现较好；同时SSIM损失函数引入结构约束能够很好地恢复图像的结构和细节；区域损失函数能够平衡图像中弱光区域和其他区域之间的增强程度；感知损失函数能够约束真实图像与预测图像之间的内容差异，保持图像感知和细节的保真；颜色损失函数旨在测量两幅图像之间的色差，促使网络增强的图像与参考图像有相似的颜色。本发明中，低光照增强网络模型的损失函数表达式为：
Losstotal＝LMAE+LSSIM+Lperc+Lregion+Lcolor
其中，
Figure BDA0003836064740000121
为像素级别的平均绝对误差损失，N为图像的数量，P为一幅图像的像素总数，下标p表示图像中某一像素，y代表原始正常光照图像，
Figure BDA0003836064740000122
代表输出的低光照增强图；
Figure BDA0003836064740000123
为结构相似性损失，μy、
Figure BDA0003836064740000124
分别表示图像y、
Figure BDA0003836064740000125
的像素平均值，
Figure BDA0003836064740000126
分别代表图像y、
Figure BDA0003836064740000127
的方差，
Figure BDA0003836064740000128
代表图像y与
Figure BDA0003836064740000129
之间的协方差，C1、C2是两个常量，避免公式中分母为0；
Figure BDA00038360647400001210
为区域损失函数，下标l和h分别表示图像中的低光照区域和其他区域，wl和wh表示两个区域之间的比例系数，i和j分别为像素点在图像上的横纵坐标，m和n分别表示该区域横纵像素点的个数值，|·|为绝对值运算，yl(i,j)表示正常光照图像低光照区域中的第i行第j列的像素强度、
Figure BDA0003836064740000131
表示低光照增强图低光照区域中的第i行第j列的像素强度、yh(i,j)表示正常光照图像中其他区域中的第i行第j列的像素强度、
Figure BDA0003836064740000132
表示低光照增强图其他区域中的第i行第j列的像素强度；
Figure BDA0003836064740000133
是感知损失，采用VGG-19网络作为特征图提取器，hi,j、wi,j、ci,j分别代表特征图的长、宽、通道三个维度，φi,j表示采用VGG-19网络的第i块第j个卷积层来提取特征图；
Figure BDA0003836064740000134
是颜色损失，其中G(·)表示高斯滤波。
在计算区域损失函数时，先将彩色图像的R、G、B三个通道按照比例组合成单通道图像Img＝r·R+g·G+b·B，其中各通道的比例系数设置为r＝0.39、g＝0.5、b＝0.11；然后将单通道图像Img中所有像素强度值按照从小到大排序，取前40％个强度值最小的像素的区域定为低光照区域，其余像素区域为其他区域。
在本实施例中，设置网络模型训练的迭代次数为200，每迭代一次更新一次学习率，在迭代过程中将在验证集上取得好的效果的模型和参数保存下来。
在本实施例中，使用MBLLEN、ZeroDCE和EnlightenGAN算法进行比较；采用PSNR、SSIM、LOE、NIQE、LPIPS作为结果评价指标，其中PSNR为峰值信噪比，SSIM为结构相似性，LOE为图像的亮度顺序差，NIQE为自然图像质量评价，LPIPS为感知图像块相似度。最终计算测试结果图像的平均PSNR、SSIM、LOE、NIQE、LPIPS。
下面结合图6、图7和表1、表2，通过实施例的效果评价来进一步说明本发明。
表1在MIT数据集上的量化测试比较
Figure BDA0003836064740000141
表2在LOL数据集上的量化测试比较
Figure BDA0003836064740000142
表1为在MIT数据集上，实施例增强结果与其他方法增强结果用不同指标进行评价的结果，可以看出本发明方法在PSNR、SSIM、LOE、LPIPS上的结果都明显优于其他方法，在NIQE上的结果也与MBLLEN算法相差不大。
表2为在LOL数据集上，实施例增强结果与其他方法增强结果用不同指标进行评价的结果，可以看出本发明方法在PSNR、SSIM、LOE上的结果都明显优于其他方法，在NIQE、LPIPS上的结果也与MBLLEN算法相差不大。
图6和图7分别为在MIT数据集上和在LOL数据集上，实施例增强结果与其他方法增强结果的视觉效果对比，可以看出本发明方法的结果在细节、结构、颜色等方面都更优于其他方法的结果，视觉效果更自然。
实施例2
第二方面，本实施例提供了一种基于多层次特征提取融合的低光照图像增强装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据实施例1所述方法的步骤。
实施例3
第三方面，本实施例提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (10)

1.一种基于多层次特征提取融合的低光照图像增强方法，其特征在于，包括：对待增强的低光照图像进行预处理；将经过预处理的低光照图像输入到训练好的低光照增强网络模型中，根据所述低光照增强网络模型的输出得到低光照增强图；
其中所述低光照增强网络模型的训练过程包括：
S1：获取低光照图像及对应的正常光照图像作为数据集，对数据集中图像进行像素归一化，得到训练数据集；
S2：将训练数据集中的低光照图像输入低光照增强网络模型中，依次经过至少3个特征提取模块，进行特征提取；
S3：每个特征提取模块输出的特征图同时作为对应特征增强模块和下一个特征提取模块的输入；
S4：将多个特征增强模块输出的特征增强图输入到特征融合模块进行特征融合，得到最终的低光照增强图；
S5：利用损失函数约束低光照增强图与对应的正常光照图像之间的差异，不断调整模型的参数，直到模型收敛，完成模型的训练。
2.根据权利要求1所述的基于多层次特征提取融合的低光照图像增强方法，其特征在于，对数据集中图像进行像素归一化，包括：
将数据集中图像的像素值归一化到[0,1]范围间，得到训练数据集。
3.根据权利要求1所述的基于多层次特征提取融合的低光照图像增强方法，其特征在于，特征提取模块处理过程包括：
将输入图像输入到第一卷积Conv层，第一卷积Conv层的输出分别输入到两个Conv分支中，再将两个Conv分支输出的特征图通过第一Concatenate层进行通道连接，将第一Concatenate层的输出与第一卷积Conv层的输出通过第二Concatenate层进行通道连接，然后将第二Concatenate层的输出图像依次经过Conv层、通道注意力模块、空间注意力模块，最后输出得到提取的特征图；
其中，第一卷积Conv层对输入图像进行浅层特征提取，卷积核大小为3×3，步长为1，激活函数采用ReLU激活函数，特征映射总数为8；两个Conv分支均包含两个Conv层，第一个Conv分支的两个Conv层都采用普通卷积，卷积核大小为3×3，步长为1，激活函数为ReLU，特征映射总数为8；第二个Conv分支中的第一个Conv层采用空洞卷积，卷积核大小为3×3，空洞率分别为1，2，3，步长为1，激活函数为ReLU，特征映射总数为8，第二个Conv分支中的第二个Conv层采用普通卷积，卷积核大小为3×3，步长为1，激活函数为ReLU，特征映射总数为8；第二个Conv分支与第一个Conv分支相比具有相同的参数量，但由于采用空洞卷积，感受野更大，两个分支并列提取特征，用于联合考虑特征图上下文信息。
4.根据权利要求3所述的基于多层次特征提取融合的低光照图像增强方法，其特征在于，所述通道注意力模块处理过程包括：
将输入的特征图分别输入到两个分支中；
在第一个分支中，输入的特征图先经过全局平局池化GlobalAvgPooling层逐通道计算每个通道的全局平均值，输出结果大小为1×8，再依次经过一个输出大小为1×1×8的Reshape层和2个输出大小为1×1×1的Dense全连接层，Reshape层将全局池化层输出的图像按照通道赋予新的形状；
在第二个分支中，输入的特征图先经过全局最大池化GlobalMaxPooling层逐通道计算每个通道的全局最大值，输出结果大小为1×8，再依次经过1个输出大小为1×1×8的Reshape层和2个输出大小为1×1×1的Dense全连接层；
两个分支的输出通过一个Add层进行像素加操作，并采用sigmoid激活函数激活；Add层输出的通道权重特征图与模块开始输入的特征图经过一个Multiply层进行像素乘处理，使用通道注意力机制获取通道上的关联性，输出得到大小为H×W×8的通道注意力调整图，其中H和W分别表示输出图像的长和宽。
5.根据权利要求3所述的基于多层次特征提取融合的低光照图像增强方法，其特征在于，所述空间注意力模块处理过程包括：
将输入的特征图分别输入到最大池化MaxPool层和平均池化AvgPool层，输出特征图大小均为H×W×1；
将最大池化层和平均池化层的输出经过一个Concatenate层，按照通道进行通道连接，输出特征图大小为H×W×2，连接后的特征图经过一个Conv层进一步提取特征得到像素权重图，卷积核大小为3×3，步长为1，映射数为1，激活函数为sigmoid，输出特征图大小为H×W×1；
将空间注意力模块开始输入的特征图与Conv层输出的像素权重图一起经过一个Multiply层进行像素乘操作，使用空间注意力机制获取空间上的关联性，输出得到大小为H×W×8的空间注意力调整图，作为通道注意力的补充。
6.根据权利要求1所述的基于多层次特征提取融合的低光照图像增强方法，其特征在于，特征增强模块处理过程包括：
将输入的特征图依次送入到4个Conv层和3个Conv2DTranspose层中提取特征信息，其中，4个Conv层的卷积核大小均为3×3步长均为1，激活函数均采用ReLU，输出通道数分别为8，8，16，32；3个Conv2DTranspose层的卷积核大小均为3×3，步长均为1，采用的激活函数均为ReLU，输出通道数分别为16，8，3；然后将提取到的特征信息依次输入通道注意力模块和空间注意力模块，最后输出大小为H×W×3的特征图。
7.根据权利要求1所述的基于多层次特征提取融合的低光照图像增强方法，其特征在于，特征融合模块处理过程包括：先将所有特征增强模块输出的特征增强图通过Concatenate层连接，得到的输出再经过一个Conv层，Conv层的卷积核大小为1×1，步长为1，激活函数为ReLU，得到大小为H×W×3的输出图像即为最终的低光照增强图。
8.根据权利要求1所述的基于多层次特征提取融合的低光照图像增强方法，其特征在于，低光照增强网络模型的损失函数Losstotal表达式为：
Losstotal＝LMAE+LSSIM+Lperc+Lregion+Lcolor
其中，
Figure FDA0003836064730000041
为像素级别的平均绝对误差损失，N为图像的数量，P为一幅图像的像素总数，下标p表示图像中某一像素，y代表原始正常光照图像，
Figure FDA0003836064730000042
代表输出的低光照增强图；
Figure FDA0003836064730000043
为结构相似性损失，μy、
Figure FDA00038360647300000412
分别表示图像y、
Figure FDA0003836064730000044
的像素平均值，
Figure FDA0003836064730000045
分别代表图像y、
Figure FDA0003836064730000046
的方差，
Figure FDA0003836064730000047
代表图像y与
Figure FDA0003836064730000048
之间的协方差，C1、C2是两个常量，避免公式中分母为0；
Figure FDA0003836064730000049
为区域损失函数，下标l和h分别表示图像中的低光照区域和其他区域，wl和wh表示两个区域之间的比例系数，i和j分别为像素点在图像上的横纵坐标，m和n分别表示该区域横纵像素点的个数值，|·|为绝对值运算，yl(i,j)表示正常光照图像低光照区域中的第i行第j列的像素强度、
Figure FDA00038360647300000410
表示低光照增强图低光照区域中的第i行第j列的像素强度、yh(i,j)表示正常光照图像中其他区域中的第i行第j列的像素强度、
Figure FDA00038360647300000411
表示低光照增强图其他区域中的第i行第j列的像素强度；
Figure FDA0003836064730000051
是感知损失，采用VGG-19网络作为特征图提取器，hi,j、wi,j、ci,j分别代表特征图的长、宽、通道三个维度，φi,j表示采用VGG-19网络的第i块第j个卷积层来提取特征图；
Figure FDA0003836064730000052
是颜色损失，其中G(·)表示高斯滤波。
9.根据权利要求8所述的基于多层次特征提取融合的低光照图像增强方法，其特征在于，计算区域损失函数时，确定图像中的低光照区域和其他区域的方法为：
先将彩色图像的R、G、B三个通道按照比例组合成单通道图像Img＝r·R+g·G+b·B，其中r、g、b为各通道的比例系数；然后将单通道图像Img中所有像素强度值按照从小到大排序，前a％个强度值最小的像素区域定为低光照区域，其余像素区域为其他区域。
10.一种基于多层次特征提取融合的低光照图像增强装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1至9任一项所述方法的步骤。
CN202211088239.XA 2022-09-07 2022-09-07 一种基于多层次特征提取融合的低光照图像增强方法 Pending CN115393225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211088239.XA CN115393225A (zh) 2022-09-07 2022-09-07 一种基于多层次特征提取融合的低光照图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211088239.XA CN115393225A (zh) 2022-09-07 2022-09-07 一种基于多层次特征提取融合的低光照图像增强方法

Publications (1)

Publication Number Publication Date
CN115393225A true CN115393225A (zh) 2022-11-25

Family

ID=84126187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211088239.XA Pending CN115393225A (zh) 2022-09-07 2022-09-07 一种基于多层次特征提取融合的低光照图像增强方法

Country Status (1)

Country Link
CN (1) CN115393225A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690522A (zh) * 2022-12-29 2023-02-03 湖北工业大学 一种基于多池化融合通道注意力的目标检测方法及其应用
CN116051428A (zh) * 2023-03-31 2023-05-02 南京大学 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN117670753A (zh) * 2024-01-30 2024-03-08 浙江大学金华研究院 基于深度多亮度映射无监督融合网络的红外图像增强方法
CN117893413A (zh) * 2024-03-15 2024-04-16 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690522A (zh) * 2022-12-29 2023-02-03 湖北工业大学 一种基于多池化融合通道注意力的目标检测方法及其应用
CN116051428A (zh) * 2023-03-31 2023-05-02 南京大学 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN117670753A (zh) * 2024-01-30 2024-03-08 浙江大学金华研究院 基于深度多亮度映射无监督融合网络的红外图像增强方法
CN117893413A (zh) * 2024-03-15 2024-04-16 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法
CN117893413B (zh) * 2024-03-15 2024-06-11 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法

Similar Documents

Publication Publication Date Title
CN107977932B (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN115393225A (zh) 一种基于多层次特征提取融合的低光照图像增强方法
CN113313657B (zh) 一种用于低光照图像增强的非监督学习方法和系统
CN106897673B (zh) 一种基于retinex算法和卷积神经网络的行人再识别方法
CN111275643B (zh) 基于通道和空间注意力的真实噪声盲去噪网络系统及方法
CN112288658A (zh) 一种基于多残差联合学习的水下图像增强方法
CN110889813A (zh) 基于红外信息的低光图像增强方法
CN111709902A (zh) 基于自注意力机制的红外和可见光图像融合方法
CN111275637A (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN111968054A (zh) 基于潜在低秩表示和图像融合的水下图像颜色增强方法
CN110032925A (zh) 一种基于改进胶囊网络与算法的手势图像分割与识别方法
CN112288668B (zh) 基于深度无监督密集卷积网络的红外和可见光图像融合方法
CN115223004A (zh) 基于改进的多尺度融合生成对抗网络图像增强方法
CN110807742B (zh) 一种基于一体式网络的微光图像增强方法
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN111047543A (zh) 图像增强方法、装置和存储介质
CN114782298B (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN116797488A (zh) 一种基于特征融合与注意力嵌入的低照度图像增强方法
CN116091372B (zh) 基于层分离和重参数的红外和可见光图像融合方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN115205160A (zh) 基于局部场景感知的无参考低照度图像增强方法
CN114596608B (zh) 一种基于多线索的双流视频人脸伪造检测方法及系统
CN117391981A (zh) 一种基于低光照明和自适应约束的红外与可见光图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination