CN113793275A - 一种Swin Unet低照度图像增强方法 - Google Patents
一种Swin Unet低照度图像增强方法 Download PDFInfo
- Publication number
- CN113793275A CN113793275A CN202110993406.4A CN202110993406A CN113793275A CN 113793275 A CN113793275 A CN 113793275A CN 202110993406 A CN202110993406 A CN 202110993406A CN 113793275 A CN113793275 A CN 113793275A
- Authority
- CN
- China
- Prior art keywords
- swin
- output
- image
- layer
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000011084 recovery Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000005192 partition Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种SwinUnet低照度图像增强方法，步骤包括：1)构建预处理模块，该预处理模块的输入为原始低照度图像，输出是特征图I1；2)构建SwinUnet模块，该SwinUnet模块的输入数据是步骤1输出的特征图I1，输出是提取后的特征图I2；3)构建恢复模块，该恢复模块的输入数据是步骤2输出的特征图I2，输出是增强后高质量无噪声的输出图像。本发明的方法，能够有效的将低照度图像恢复到正常光照条件下获取的图像，并保持图像的纹理细节以及颜色信息等。
Description
技术领域
本发明属于图像处理技术领域，具体属于RGB真彩色图像恢复技术，涉及一种SwinUnet低照度图像增强方法。
背景技术
随着人们对照片质量的追求以及视频监控领域对于低照度图像质量需求的提高，低照度图像增强技术一直是研究者们关注的焦点。在低照度条件下拍摄的图像通常对比度低、噪声大，严重影响了人们对图像信息的获取以及后续的图像研究任务。目前，虽然通过调整摄像机的曝光时间或采用红外摄像头监控器能够解决低照度问题，但摄像机购置成本价高，并对操作者有一定的技术基础，因此当前对于低照度图像提升往往依赖于算法来实现低照度图像的去模糊与清晰化。
低照度图像提升算法主要分为基于传统理论算法和基于深度学习算法两大类，基于传统理论算法主要包含基于直方图均衡化(HE)理论和Retinex理论。HE图像增强是以累计分布函数为基础的直方图修改方法，将图像直方图调整为均衡分布以拉伸图像动态范围，从而提高图像对比度。该类方法操作简单、效率高，但生成的图像易受伪影影响、真实感不强。而基于Retinex理论方法试图通过将输入图像分解为反射分量和照明分量来照亮图像，反射分量是场景的固有属性，而照明分量受环境照度的影响；基于Retinex理论方法通常增强微光图像的照明分量，以近似对应的正常光图像。模型中的参数需人工设定，无法自适应处理图像的多样性，并且针对较高噪声的图像处理效果较差，存在局部细节曝光不足或曝光过度等情况；基于深度学习算法主要采用数据驱动方式，对于给定的低照度图像数据集，学习样本数据的内在规律和表示层次。尽管，基于深度学习的方法一定程度上弥补了传统方法的不足，对某一类图像集取得较好的增强效果，但是大多数深度学习微光增强方法严重依赖于数据集质量，且多假定暗光区域没有噪声，或者不考虑噪声在不同照明区域的分布。实际上，以上先验知识与真实图像存在偏差，且完备的现实图像数据集获取难度大，这些都导致现有深度学习模型不能有效地抑制真实图像噪声，难以产生令人满意的视觉质量。
发明内容
本发明的目的是提供一种Swin Unet低照度图像增强方法，解决了现有技术中存在的低照度图像低可见度、低对比度、噪声污染和颜色扭曲的问题。
本发明所采用的技术方案是，一种Swin Unet低照度图像增强方法，按照以下步骤具体实施：
步骤1、构建预处理模块，该预处理模块的输入为原始低照度图像，大小为H*W*3；该预处理模块的输出是特征图I1，大小为H/4*W/4*96；
步骤2、构建Swin Unet模块，该Swin Unet模块的输入数据是步骤1输出的特征图I1，大小为H/4*W/4*96；该Swin Unet模块的输出是提取后的特征图I2，大小为H/4*W/4*96；
步骤3、构建恢复模块，该恢复模块的输入数据是步骤2输出的特征图I2，大小为H/4*W/4*96；该恢复模块的输出是增强后高质量无噪声的输出图像，大小为H*W*3。
本发明的有益效果是，能够有效的将低照度图像恢复到正常光照条件下获取的图像，并保持图像的纹理细节以及颜色信息等。
附图说明
图1是本发明方法的流程框图；
图2是本发明方法中构建的预处理模块的结构流程图；
图3是本发明方法中构建的编码器的结构流程图；
图4是本发明方法中构建的SwinBlock模块的结构流程图；
图5是本发明方法中构建的解码器的结构流程图；
图6是本发明方法中构建的恢复模块的结构流程图。
具体实施例方式
下面结合附图和具体实施例方式对本发明进行详细说明。
本发明主要基于Swin模型与U型框架结合而提出一种低照度图像增强方法。在过去的十年里，随着深度学习的快速发展，以U型框架为基础的深度神经网络往往取得更加先进的性能，充分证明了U型框架在深度神经网络中的优势。同时Transformer模型能够学习到明确的全局和远程语义信息交互的独特优势，以Swin Transformer为视觉骨干，在图像分类、目标检测和语义分割等方面都取得了最先进的性能。本发明通过将SwinTransformer模型与U型框架结合，结合两者的优点用于低照度图像提升。
参照图1，本发明的方法利用Swin Unet的低照度图像增强网络(以下简称网络)实施，该网络由预处理模块、Swin Unet模块以及恢复模块组成。预处理模块由PatchPartition和Linear Embedding组成，Patch Partition主要作用是对输入图像进行尺寸压缩，将输入图像的尺寸压缩为原始尺寸的1/4，Linear Embedding主要作用是将图像特征映射到不同的维度，本发明实施例中的Linear Embedding映射层数设置为96。Swin Unet模块由编码器和解码器组成，编码器的主要作用是提取图像语义信息，解码器的主要作用是从提取的语义信息中恢复高分辨率图像特征。恢复模块由Patch Expanding和Linear组成，Patch Expanding的主要作用是恢复图像特征尺寸，保证与原始输入图像具有相同的尺寸，Linear主要作用是将图像特征映射到不同的维度，本发明实施例中的Linear Embedding映射层数设置为3。
本发明的整体思路为：利用上述的预处理模块、Swin Unet模块和恢复模块，首先，预处理模块对输入图像进行Patch Partition以及Linear Embedding操作，减少输入图像的低照度图像尺寸并增维；然后，利用Swin Unet模块提取图像特征并从高级语义信息中恢复高分辨率图像特征；最后，恢复模块对高分辨率图像特征调整特征尺寸并降维，并输出增强结果。
本发明的方法，利用上述的网络框架，按照以下步骤具体实施：
步骤1、构建预处理模块，该预处理模块的输入为原始低照度图像，大小为H*W*3；该预处理模块的输出是特征图I1，大小为H/4*W/4*96。
参照图2，预处理模块主要作用就是对原始低照度图像进行数据预处理，预处理模块的结构依次为：原始低照度图像(Input_image)作为输入图像→Patch Partition层(Conv 4*4*48)→Linear Embedding层(Linear H/4*W/4*96)→输出特征图I1(Output_feature)；
其中，Patch Partition层为卷积运算，卷积核大小为4*4，卷积步长为4，特征映射总数为48个；Linear Embedding层为线性运算进行特征映射，卷积核大小为H/4*W/4，特征映射总数为96个。
步骤2、构建Swin Unet模块，该Swin Unet模块的输入数据是步骤1输出的特征图I1，大小为H/4*W/4*96；该SwinUnet模块的输出是提取后的特征图I2，大小为H/4*W/4*96。
Swin Unet模块主要由编码器和解码器组成，其中编码器中包含了Swin Block和Down Sample；解码器中包含了SwinBlock和Up Sample。
参照图3，编码器的输入数据是步骤1输出的特征图I1，大小为H/4*W/4*96；编码器的输出的是提取的特征图I1-1，大小为H/16*W/16*256。
编码器的结构依次为：步骤1输出的特征图I1(Input_feature)作为输入数据→第一个Swin Block层→第一个Down Sample层→第二个Swin Block层→第二个Down Sample层→第三个Swin Block层→输出特征图I1-1(Output_feature)；
其中，三个Swin Block层均为单个Swin Transformer模块；两个Down Sample层均为卷积运算，卷积核大小均为3*3，卷积步长均为2，特征映射总数分别为128、256个；
单个Swin Transformer模块采用现有技术，其内部具体结构参照论文(https:// arxiv.org/pdf/2103.14030.pdf Liu,et al，Swin Transformer:Hierarchical VisionTransformer using Shifted Windows)。
参照图4，以第一个SwinBlock层为例，单个Swin Transformer模块的结构依次为：步骤1输出的特征图I1(Input_feature)作为输入数据→LN正则化层→W-MSA子模块(即窗口多头自注意力层)或者SW-MSA子模块(即移位窗口多头自注意力层)→残差连接层→LN正则化层→前馈网络→残差连接层→输出的特征图I1-1-1；该SwinBlock模型共循环2次，奇数层与偶数层依次间隔连接，其中奇数层采用的是W-MSA子模块(窗口多头自注意力层)，偶数层采用的是SW-MSA子模块(移位窗口多头自注意力层)；
其中，LN正则化层主要作用是进行LN正则化处理，对输入数据进行归一化处理，将其归到0到1之间，从而保证输入层数据分布是一样的；残差连接层主要是进行残差连接，解决梯度消失和权重矩阵退化问题；前馈网络由两层前馈神经网络组成，第一层前馈网络先把输入向量从dmodel维度映射到4*dmodel维度，激活函数为ReLU函数，第二层前馈网络再从4*dmodel维度映射回dmodel维度，不使用激活函数，前馈网络的表达式如下式(1)：
FFN(x)＝max(0,xW1+b1)W2+b2 (1)
W-MSA子模块首先对输入特征进行窗口划分，本发明实施例中设置的划分窗口大小为7*7，在每个划分的小窗口上进行多头自注意力计算。W-MSA子模块将输入特征映射到不同的子空间中，再分别在所有子空间上做点乘运算计算注意力向量，最后把所有子空间计算得到的注意力向量拼接起来，并映射到原输入空间中得到最终的注意力向量作为输出，W-MSA子模块的表达式如下式(2)：
MultiHead(Q,K,V)＝Concat(head1,...,headh)W0
headi＝Attention(QWi Q,KWi K,VWi V) (2)
其中，Q,K,V分别为W-MSA子模块的输入，即查询向量、键向量、值向量，Wi Q为不同子空间中Q的映射矩阵，Wi K为不同子空间中K的映射矩阵，Wi V为不同子空间中V的映射矩阵，本步骤实施例中设置的子空间的个数h为8，在一个单独子空间上的注意力向量的计算方式依次为：先将查询向量Q和键向量K点乘，再除以键向量K的维度的平方根
得到查询向量Q的分数矩阵，最后通过softmax函数将分数矩阵归一化得到权重矩阵，再乘以值向量V即得到一个子空间的注意力向量，表达式如下式(3)：
W-MSA子模块通过将输入特征映射到不同的子空间再计算注意力向量来捕获特征在不同子空间上的依赖关系，最终得到的注意力向量能更立体更全面的捕获特征之间的依赖关系。
SW-MSA子模块是在图像特征输入之前，将图像特征进行尺寸为半个窗口大小的像素位移操作，然后再进行W-MSA子模块操作。即形成和W-MSA子模块所划分同一位置的窗口里面包含的图像特征信息不同，即解决了不同窗口之间信息间交互的问题，具体操作流程如下：
将步骤1输出的特征图I1各循环上移和循环左移半个窗口的大小，在移位的基础上再按照W-MSA子模块切分窗口，就会得到和W-MSA不同的窗口内容；然后运行W-MSA子模块，在运行结束后将得到的特征图I1-1-2再各循环下移和循环右移半个窗口的大小，复原回原来的位置。
参照图5，解码器的输入数据是编码器的输出特征图I1-1，大小为H/16*W/16*256；解码器的输出的是提取的特征图I2，大小为H/4*W/4*96。
解码器的结构依次为：编码器输出的特征图I1-1(Input_feature)作为输入数据→第一个Up Sample层→第一个Swin Block层→第二个Up Sample层→第二个SwinBlock层→输出特征图I2(Output_feature)。
其中，两个Up Sample层均为反卷积运算，反卷积核大小均为3*3，卷积步长均为2，特征映射总数分别为128、96个；两个Swin Block层均为单个Swin Transformer模块。
步骤3、构建恢复模块，该恢复模块的输入数据是步骤2输出的特征图I2，大小为H/4*W/4*96；该恢复模块的输出是增强后高质量无噪声的输出图像，大小为H*W*3。
参照图6，恢复模块主要作用就是将Swin Unet模块提取得到的图像特征恢复至原始输入的微光图像尺寸，输出的是增强后高质量无噪声的彩色图像，恢复模块的结构依次为：步骤2输出的特征图I2作为输入(Input_feature)→Patch Expanding层(进行Rearrange operation运算)→Linear层(Linear，H*W*3)→输出图像(Output_image)，即成。
其中，Patch Expanding层为rearrange operation运算，将输入特征的分辨率扩大到输入分辨率的4倍，将特征维数降低到输入维数的1/16；Linear层为线性运算进行特征映射，卷积核大小为H*W，特征映射总数为3个。
在训练基于SwinUnet的低照度图像增强网络时，考虑到L1损失函数在目标轮廓的对比度、均匀区域的平滑效果方面表现较好，同时SSIM损失函数引入结构约束能够很好地恢复图像的结构和局部细节，感知损失函数能够约束真实图像和预测图像之间的差异，保持图像感知和细节的保真度。感知颜色损失旨在测量欧几里得空间中两幅图像之间的色差，促使网络生成与参考图像相似的颜色。本步骤中，将L1+SSIM损失函数+感知损失函数+感知颜色损失函数组合在一起作为基于SwinUnet的低照度图像增强网络的总损失函数，表示为下式(4)：
Ltotal＝(1-λs-λp)L1+λsLssim+λpLperc+λcLcolour (4)
式中，L1表示像素级别的L1范数损失，Lssim表示结构相似性损失，Lperc表示感知损失，Lcolour表示感知颜色损失函数；λs、λp、λc是相对应的系数，取值区间为[0,1]，优选λs＝0.2、λp＝0.1、λc＝0.1；
其中，L1范数损失公式为
Igt代表真实图像，Ih代表预测图像，l代表非零常数，取10-6；
SSIM结构相似性损失公式为
μx、μy分别代表图像x、y的像素平均值；σxy代表图像x、y乘积的标准差；
分别代表图像x、y的方差；N代表图像样本总数，C1、C2为常量；
感知损失函数公式为
Igt代表真实图像，Ih代表预测图像，Cj代表通道，Hj和Wj分别代表第j特征图的高度和宽度，
代表在预先训练的VGG16模型中第j卷积层获得的特征图。
感知颜色损失函数公式为Lcolour＝ΔE(Igt,Ih)，Igt代表真实图像，Ih代表预测图像，ΔE代表CIEDE2000颜色色差计算。
Claims (5)
1.一种Swin Unet低照度图像增强方法，其特征在于，按照以下步骤具体实施：
步骤1、构建预处理模块，该预处理模块的输入为原始低照度图像，大小为H*W*3；该预处理模块的输出是特征图I1，大小为H/4*W/4*96；
步骤2、构建Swin Unet模块，该Swin Unet模块的输入数据是步骤1输出的特征图I1，大小为H/4*W/4*96；该Swin Unet模块的输出是提取后的特征图I2，大小为H/4*W/4*96；
步骤3、构建恢复模块，该恢复模块的输入数据是步骤2输出的特征图I2，大小为H/4*W/4*96；该恢复模块的输出是增强后高质量无噪声的输出图像，大小为H*W*3。
2.根据权利要求1所述的Swin Unet低照度图像增强方法，其特征在于：所述的预处理模块的结构依次为：原始低照度图像作为输入图像→Patch Partition层→LinearEmbedding层→输出特征图I1；
其中，Patch Partition层为卷积运算，卷积核大小为4*4，卷积步长为4，特征映射总数为48个；Linear Embedding层为线性运算进行特征映射，卷积核大小为H/4*W/4，特征映射总数为96个。
3.根据权利要求1所述的Swin Unet低照度图像增强方法，其特征在于：所述的SwinUnet模块由编码器和解码器组成，其中编码器中包含了Swin Block和Down Sample；解码器中包含了Swin Block和Up Sample；
编码器的输入数据是步骤1输出的特征图I1，大小为H/4*W/4*96；编码器的输出的是提取的特征图I1-1，大小为H/16*W/16*256；
编码器的结构依次为：步骤1输出的特征图I1作为输入数据→第一个Swin Block层→第一个Down Sample层→第二个Swin Block层→第二个Down Sample层→第三个SwinBlock层→输出特征图I1-1；其中，三个Swin Block层均为单个Swin Transformer模块；两个Down Sample层均为卷积运算，卷积核大小均为3*3，卷积步长均为2，特征映射总数分别为128、256个；
以第一个Swin Block层为例，单个Swin Transformer模块的结构依次为：步骤1输出的特征图I1作为输入数据→LN正则化层→W-MSA子模块或者SW-MSA子模块→残差连接层→LN正则化层→前馈网络→残差连接层→输出的特征图I1-1-1；该Swin Block模型共循环2次，奇数层与偶数层依次间隔连接，其中奇数层采用的是W-MSA子模块，偶数层采用的是SW-MSA子模块；
其中，LN正则化层进行LN正则化处理，对输入数据进行归一化处理，将其归到0到1之间；残差连接层进行残差连接；前馈网络由两层前馈神经网络组成，第一层前馈网络先把输入向量从dmodel维度映射到4*dmodel维度，激活函数为ReLU函数，第二层前馈网络再从4*dmodel维度映射回dmodel维度，不使用激活函数，前馈网络的表达式如下式(1)：
FFN(x)＝max(0,xW1+b1)W2+b2 (1)
W-MSA子模块首先对输入特征进行窗口划分，设置的划分窗口大小为7*7，在每个划分的小窗口上进行多头自注意力计算；W-MSA子模块将输入特征映射到不同的子空间中，再分别在所有子空间上做点乘运算计算注意力向量，最后把所有子空间计算得到的注意力向量拼接起来，并映射到原输入空间中得到最终的注意力向量作为输出，W-MSA子模块的表达式如下式(2)：
MultiHead(Q,K,V)＝Concat(head1,...,headh)W0
headi＝Attention(QWi Q,KWi K,VWi V) (2)
其中，Q,K,V分别为W-MSA子模块的输入，即查询向量、键向量、值向量，Wi Q为不同子空间中Q的映射矩阵，Wi K为不同子空间中K的映射矩阵，Wi V为不同子空间中V的映射矩阵，设置的子空间的个数h为8，在一个单独子空间上的注意力向量的计算方式依次为：先将查询向量Q和键向量K点乘，再除以键向量K的维度的平方根
得到查询向量Q的分数矩阵，最后通过softmax函数将分数矩阵归一化得到权重矩阵，再乘以值向量V即得到一个子空间的注意力向量，表达式如下式(3)：
SW-MSA子模块是在图像特征输入之前，将图像特征进行尺寸为半个窗口大小的像素位移操作，然后再进行W-MSA子模块操作，即形成和W-MSA子模块所划分同一位置的窗口里面包含的图像特征信息不同，具体操作流程如下：
将步骤1输出的特征图I1各循环上移和循环左移半个窗口的大小，在移位的基础上再按照W-MSA子模块切分窗口，得到和W-MSA不同的窗口内容；然后运行W-MSA子模块，在运行结束后将得到的特征图I1-1-2再各循环下移和循环右移半个窗口的大小，复原回原来的位置。
4.根据权利要求3所述的Swin Unet低照度图像增强方法，其特征在于：所述的解码器的输入数据是编码器的输出特征图I1-1，大小为H/16*W/16*256；解码器的输出的是提取的特征图I2，大小为H/4*W/4*96；
解码器的结构依次为：编码器输出的特征图I1-1作为输入数据→第一个Up Sample层→第一个Swin Block层→第二个Up Sample层→第二个Swin Block层→输出特征图I2；
其中，两个Up Sample层均为反卷积运算，反卷积核大小均为3*3，卷积步长均为2，特征映射总数分别为128、96个；两个Swin Block层均为单个Swin Transformer模块。
5.根据权利要求1所述的SwinUnet低照度图像增强方法，其特征在于，所述的恢复模块的结构依次为：步骤2输出的特征图I2作为输入→Patch Expanding层→Linear层→输出图像；其中，Patch Expanding层为rearrange operation运算，将输入特征的分辨率扩大到输入分辨率的4倍，将特征维数降低到输入维数的1/16；Linear层为线性运算进行特征映射，卷积核大小为H*W，特征映射总数为3个；
将L1+SSIM损失函数+感知损失函数+感知颜色损失函数组合在一起作为基于SwinUnet的低照度图像增强网络的总损失函数，表示为下式(4)：
Ltotal＝(1-λs-λp)L1+λsLssim+λpLperc+λcLcolour (4)
式中，L1表示像素级别的L1范数损失，Lssim表示结构相似性损失，Lperc表示感知损失，Lcolour表示感知颜色损失函数；λs、λp、λc是相对应的系数，取值区间为[0,1]，优选λs＝0.2、λp＝0.1、λc＝0.1；
其中，L1范数损失公式为
Igt代表真实图像，Ih代表预测图像，l代表非零常数，取10-6；
SSIM结构相似性损失公式为
μx、μy分别代表图像x、y的像素平均值；σxy代表图像x、y乘积的标准差；
分别代表图像x、y的方差；N代表图像样本总数，C1、C2为常量；
感知损失函数公式为
Igt代表真实图像，Ih代表预测图像，Cj代表通道，Hj和Wj分别代表第j特征图的高度和宽度，
代表在预先训练的VGG16模型中第j卷积层获得的特征图；
感知颜色损失函数公式为Lcolour＝ΔE(Igt,Ih)，Igt代表真实图像，Ih代表预测图像，ΔE代表CIEDE2000颜色色差计算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110993406.4A CN113793275A (zh) | 2021-08-27 | 2021-08-27 | 一种Swin Unet低照度图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110993406.4A CN113793275A (zh) | 2021-08-27 | 2021-08-27 | 一种Swin Unet低照度图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113793275A true CN113793275A (zh) | 2021-12-14 |
Family
ID=78876562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110993406.4A Withdrawn CN113793275A (zh) | 2021-08-27 | 2021-08-27 | 一种Swin Unet低照度图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113793275A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299082A (zh) * | 2021-12-15 | 2022-04-08 | 苏州大学 | 一种新冠肺炎ct图像分割方法、装置及存储介质 |
| CN115018750A (zh) * | 2022-08-08 | 2022-09-06 | 湖南大学 | 中波红外高光谱及多光谱图像融合方法、系统及介质 |
| CN115578406A (zh) * | 2022-12-13 | 2023-01-06 | 四川大学 | 基于上下文融合机制的cbct颌骨区域分割方法及系统 |
| CN115588100A (zh) * | 2022-12-09 | 2023-01-10 | 温州谱希基因科技有限公司 | 基于深度学习的豹纹斑自动分级方法、系统及设备 |
| CN116128768A (zh) * | 2023-04-17 | 2023-05-16 | 中国石油大学(华东) | 一种带有去噪模块的无监督图像低照度增强方法 |
| CN116433508A (zh) * | 2023-03-16 | 2023-07-14 | 湖北大学 | 一种基于Swin-Unet的灰度图像着色校正方法 |
| CN116630950A (zh) * | 2023-07-25 | 2023-08-22 | 济南大学 | 一种高精度识别轮辋焊缝的方法 |
| CN117635478A (zh) * | 2024-01-23 | 2024-03-01 | 中国科学技术大学 | 一种基于空间通道注意力的低光照图像增强方法 |
-
2021
- 2021-08-27 CN CN202110993406.4A patent/CN113793275A/zh not_active Withdrawn
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299082A (zh) * | 2021-12-15 | 2022-04-08 | 苏州大学 | 一种新冠肺炎ct图像分割方法、装置及存储介质 |
| CN115018750A (zh) * | 2022-08-08 | 2022-09-06 | 湖南大学 | 中波红外高光谱及多光谱图像融合方法、系统及介质 |
| CN115018750B (zh) * | 2022-08-08 | 2022-11-08 | 湖南大学 | 中波红外高光谱及多光谱图像融合方法、系统及介质 |
| CN115588100A (zh) * | 2022-12-09 | 2023-01-10 | 温州谱希基因科技有限公司 | 基于深度学习的豹纹斑自动分级方法、系统及设备 |
| CN115588100B (zh) * | 2022-12-09 | 2023-03-14 | 温州谱希基因科技有限公司 | 基于深度学习的豹纹斑自动分级方法、系统及设备 |
| CN115578406A (zh) * | 2022-12-13 | 2023-01-06 | 四川大学 | 基于上下文融合机制的cbct颌骨区域分割方法及系统 |
| CN116433508A (zh) * | 2023-03-16 | 2023-07-14 | 湖北大学 | 一种基于Swin-Unet的灰度图像着色校正方法 |
| CN116433508B (zh) * | 2023-03-16 | 2023-10-27 | 湖北大学 | 一种基于Swin-Unet的灰度图像着色校正方法 |
| CN116128768A (zh) * | 2023-04-17 | 2023-05-16 | 中国石油大学(华东) | 一种带有去噪模块的无监督图像低照度增强方法 |
| CN116128768B (zh) * | 2023-04-17 | 2023-07-11 | 中国石油大学(华东) | 一种带有去噪模块的无监督图像低照度增强方法 |
| CN116630950A (zh) * | 2023-07-25 | 2023-08-22 | 济南大学 | 一种高精度识别轮辋焊缝的方法 |
| CN117635478A (zh) * | 2024-01-23 | 2024-03-01 | 中国科学技术大学 | 一种基于空间通道注意力的低光照图像增强方法 |
| CN117635478B (zh) * | 2024-01-23 | 2024-05-17 | 中国科学技术大学 | 一种基于空间通道注意力的低光照图像增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113793275A (zh) | 一种Swin Unet低照度图像增强方法 | |
| CN113658057A (zh) | 一种Swin Transformer微光图像增强方法 | |
| CN113284064B (zh) | 一种基于注意力机制跨尺度上下文低照度图像增强方法 | |
| CN110717868A (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
| CN113052814B (zh) | 基于Retinex和注意力机制的暗光图像增强方法 | |
| CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
| CN107292830A (zh) | 低照度图像增强及评价方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN109886906B (zh) | 一种细节敏感的实时弱光视频增强方法和系统 | |
| CN105809643A (zh) | 一种基于自适应块通道拉伸的图像增强方法 | |
| Wei et al. | An image fusion dehazing algorithm based on dark channel prior and retinex | |
| CN112927160B (zh) | 一种基于深度Retinex的单张低光图像增强方法 | |
| CN116681627B (zh) | 一种跨尺度融合的自适应水下图像生成对抗增强方法 | |
| Wen et al. | A survey of image dehazing algorithm based on retinex theory | |
| Feng et al. | Low-light color image enhancement based on Retinex | |
| CN117391987A (zh) | 基于多阶段联合增强机制的暗光图像处理方法 | |
| CN113643202A (zh) | 一种基于噪声注意力图指导的微光图像增强方法 | |
| CN115147311A (zh) | 基于HSV与AM-RetinexNet图像增强方法 | |
| WO2023110880A1 (en) | Image processing methods and systems for low-light image enhancement using machine learning models | |
| CN112991236B (zh) | 一种基于模板的图像增强方法及装置 | |
| CN114549343A (zh) | 基于双支残差特征融合去雾方法 | |
| Parihar et al. | UndarkGAN: Low-light Image Enhancement with Cycle-consistent Adversarial Networks | |
| CN114170095A (zh) | Transformers与CNN结合的低照度图像增强方法 | |
| Chen et al. | GADO-Net: an improved AOD-Net single image dehazing algorithm | |
| CN116152117B (zh) | 一种基于Transformer的井下低光照图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211214 |
|
| WW01 | Invention patent application withdrawn after publication |