CN116091341A - 一种低光图像的曝光差增强方法及装置 - Google Patents
一种低光图像的曝光差增强方法及装置 Download PDFInfo
- Publication number
- CN116091341A CN116091341A CN202211617192.1A CN202211617192A CN116091341A CN 116091341 A CN116091341 A CN 116091341A CN 202211617192 A CN202211617192 A CN 202211617192A CN 116091341 A CN116091341 A CN 116091341A
- Authority
- CN
- China
- Prior art keywords
- low
- light image
- exposure
- exposure difference
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000002708 enhancing effect Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000013434 data augmentation Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 241000208340 Araliaceae Species 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 3
- 241000282326 Felis catus Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 2
- 235000011941 Tilia x europaea Nutrition 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004571 lime Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种低光图像的曝光差增强方法及装置，本发明首先获取若干低光图像及对应的参考标准图像，并对低光图像进行数据预处理，之后构建曝光差增强网络，包括相连接的曝光差模块和全局一致性引导的颜色调整模块，所述曝光差模块用于提取低光图像和根据低光图像生成的曝光图像之间的曝光差特征，所述颜色调整模块用于基于曝光差特征进行全局信息和颜色边缘纹理的捕捉，输出增强后的图像；再将预处理后的低光图像和对应的正常光图像作为样本，对所述曝光差增强网络进行训练；最后将待增强的低光图像输入训练好的曝光差增强网络，得到增强后的图像。本发明可以对低光图像甚至极低光图像进行图像增强，增强后的图像效果相比现有技术更好。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种低光图像的曝光差增强方法、装置。
背景技术
低光图像增强在计算机视觉领域中有着至关重要的作用，如人群计数、目标检测和行为识别等视觉任务都会受到低光图像可见度低的影响，低光图像视觉任务相比去噪，超分具有更广的适用范围。低光图像增强不仅需要提高视觉的可见度，还原正常光下的细节纹理，复原整张图像的真实颜色，同时兼具去噪和画面清晰的任务。因此，在极其黑暗的条件下捕捉的图像进行很好的恢复是一个具有挑战性的任务。而一个好的低光图像增强方法会辅助解决其他计算机视觉任务，达到更优化的性能。
低光图像增强工作近年来不断在完善，随着深度学习技术的发展，从原始的传统方法，例如直方图均衡化和Retinex理论，到利用神经网络训练推理出低光图像增强后的图片。但是在低光图像增强过程中，低光图像可能对应不同亮度的正常光线图像，因此，无法确定一个低光图像对应的正常光图像的光照。其次，大多数低光图像网络中的残差结构无法感知图像内容的退化。第三，观察到极低光图像存在颜色失真、细节不清晰、对比度低和噪音大的问题，会直接影响到全局上下文的恢复，同时一般的卷积结构感受野是不够大的，无法捕捉到全局丰富的信息。
发明内容
发明目的：本发明针对现有技术存在的问题，提供一种复原效果更好的低光图像的曝光差增强方法及装置。
技术方案：本发明所述的低光图像的曝光差增强方法包括：
S1：获取若干低光图像及对应的参考标准图像；
S2：对低光图像进行数据预处理；
S3：构建曝光差增强网络，包括相连接的曝光差模块和全局一致性引导的颜色调整模块，所述曝光差模块用于提取输入的低光图像和根据该低光图像生成的不同曝光系数的曝光图像之间的曝光差特征，所述颜色调整模块用于基于曝光差特征进行全局信息和颜色边缘纹理的捕捉，输出增强后的图像；
S4：将预处理后的低光图像和对应的正常光图像作为样本，对所述曝光差增强网络进行训练；
S5：将待增强的低光图像输入训练好的曝光差增强网络，得到增强后的图像。
进一步的，所述S2具体包括：
S2-1：将低光图像分辨率调整至预设值；
S2-2：将调整后的低光图像进行数据增广。
进一步的，所述S2-2具体包括：
S2-2-1：将低光图像以预设概率进行随机水平翻转；
S2-2-2：将低光图像以预设概率进行随机垂直翻转；
S2-2-3：将低光图像进行随机裁剪。
进一步的，所述S3中的曝光差模块具体包括：
曝光图像生成单元，用于基于低光图像生成多张不同曝光系数的曝光图像；
卷积层，用于分别基于低光图像和多张曝光图像生成对应的基特征；
特征差分单元，用于将低光图像和多张曝光图像的基本特征进行差分，得到差分特征；
第一卷积特征提取器，由若干卷积层堆叠形成，用于基于所述差分特征提取差分卷积特征；
第二卷积特征提取器，与第一卷积层特征提取器结构相同，用于基于低光图像的基本特征提取基本卷积特征；
线性控制器，用于将所述差分卷积特征和所述基本卷积特征进行对齐整合，得到曝光差特征。
进一步的，所述S3中的颜色调整模块具体包括：
平均池化层，用于基于曝光差特征获得低频特征；
相连的卷积层和多头注意力机制单元，用于基于低频特征得到全局一致性特征；
线性层，用于将全局一致性特征进行线性变换；
矩阵变换器，用于将线性变换后的全局一致性特征转换为特征矩阵；
乘法器，用于将维度变换后的曝光差特征与矩阵变换器输出的特征矩阵进行乘法运算，得到增强后的图像。
进一步的，所述特征差分单元的差分通过以下公式实现：
式中，Fe表示差分特征，
表示卷积操作，cat(·)是沿通道维进行特征聚合操作，FI、
分别表示低光图像、第j张曝光图像的基本特征，l表示曝光图像的数目，
表示中间特征。
进一步的，所述线性控制器的对齐整合通过以下公式实现：
Is＝aFd+b+Id
式中，a和b分别表示参数系数,Is表示曝光差特征,Fd、Id分别表示差分卷积特征和所述基本卷积特征。
进一步的，所述S4具体包括：
S4-1：将预处理后的低光图像和对应的参考标准图像划分为训练集和验证集；
S4-2：初始化学习速率；
S4-3：将训练集输入曝光差增强网络，基于网络的输出和对应的参考标准图像计算网络损失，并基于网络损失使用Adam优化器对网络参数进行优化；
S4-4：基于使得验证集损失最小的网络参数，作为最优网络参数；
S4-5：使用所述最优网络参数初始化曝光差增强网络，完成网络训练。
进一步的，所述S4-3中的网络损失的计算方法具体包括：
S4-2-1：按照下式计算平滑损失：
式中，Lsmooth是平滑损失，Iout是网络的输出图像，Igt是对应的参考标准图像；
S4-2-2：按照下式计算感知质量损失：
式中，
是感知质量损失，ψi(x)是从输入为x的VGG16网络中提取的第i层特征图，ci、hi和wi分别表示第i层特征图的通道数，高度和宽度；
S4-2-3：按照下式计算风格化损失：
式中，
是风格化损失，φj(·)是从VGG16网络中提取的第j层的特征图，N是总层数；
表示VGG16第j层的归一化因子，Cj、Hj和Wj分别表示第j层特征图的通道数，高度和宽度；Iout和Igt分别表示网络的输出图像和对应的参考标准图像；
S4-2-4：全局鉴别器具体包括：
四个鉴别器卷积特征提取块，每个特征提取块由若干卷积层堆叠的相同结构构成，用于区分真实标签和网络预测结果。按照下式计算全局鉴别器对抗损失：
计算全局鉴别器的对抗损失：
其中Dv(·)为全局鉴别器，
为变量x的期望；
计算全局鉴别器损失：
其中，
是对抗全局鉴别器损失；
S4-2-5：按照下式计算网络损失：
其中，
为网络损失，λ1,λ2,λ3为超参。
本发明所述的低光图像的曝光差增强装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
有益效果：本发明与现有技术相比，其显著优点是：
(1)本发明提出的曝光差增强网络在保持网络较轻量化的同时，可以在低光、甚至极低(几乎不可见内容)的低光图像获得颜色真实、纹理逼真、细节复原的正常光图像，恢复结果较好，同时在PSNR(峰值信噪比)和SSIM(结构相似性)两个指标上达到非常好的效果；
(2)本发明的曝光差模块利用合成曝光间的差异以感受到不同光照对图像内容的变化；
(3)本发明的颜色调整模块通过低频信息结合多头注意力机制来捕捉丰富的全局一致性信息，能够有效地对全局信息和颜色边缘纹理进行恢复。
附图说明
图1是本发明提供的低光图像的曝光差增强方法的流程示意图；
图2是本发明的曝光差增强网络的结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细描述。
本实施例具体提供一种低光图像的曝光差增强方法，如图1和图2所示，包括如下步骤：
S1：获取若干低光图像及对应的参考标准图像。
本实施例选用LOL，LOL-v2,RELLISUR数据集。
S2：对低光图像进行数据预处理。
其中，预处理的方法具体包括：
S2-1：将低光图像分辨率调整至预设值，本实施例选用600*400；
S2-2：将调整后的低光图像进行数据增广，数据增广的方法为：S2-2-1：将低光图像以预设概率进行随机水平翻转；S2-2-2：将低光图像以预设概率进行随机垂直翻转；S2-2-3：将低光图像进行随机裁剪。本实施例中预设概率具体为0.5。
S3：构建曝光差增强网络，包括相连接的曝光差模块和全局一致性引导的颜色调整模块。
其中，曝光差模块用于提取输入的低光图像和根据该低光图像生成的不同曝光系数的曝光图像之间的曝光差特征，具体包括：
曝光图像生成单元，用于基于低光图像按照下式生成多张不同曝光系数的曝光图像
其中αi,βi为曝光系数，l为曝光图像数量，本实施例设置为3；
卷积层，用于分别基于低光图像和多张曝光图像生成对应的基特征FI和
特征差分单元，用于将低光图像和多张曝光图像的基本特征按照下式进行差分，得到差分特征Fe：
式中，Fe表示差分特征，
表示卷积操作，cat(·)是沿通道维进行特征聚合操作，FI、
分别表示低光图像、第j张曝光图像的基本特征，l表示曝光图像的数目，
表示中间特征；
第一卷积特征提取器，由若干卷积层堆叠形成，用于基于所述差分特征提取差分卷积特征Fd；
第二卷积特征提取器，与第一卷积层特征提取器结构相同，用于基于低光图像的基本特征提取基本卷积特征Id；
线性控制器，用于将所述差分卷积特征和所述基本卷积特征按照下式进行对齐整合，得到曝光差特征，
Is＝aFd+b+Id
式中，a和b分别表示参数系数,Is表示曝光差特征,Fd、Id分别表示差分卷积特征和所述基本卷积特征。
其中，颜色调整模块用于基于曝光差特征进行全局信息和颜色边缘纹理的捕捉，输出增强后的图像，具体包括：
平均池化层，用于基于曝光差特征获得低频特征dnew；
相连的卷积层和多头注意力机制单元，用于基于低频特征得到全局一致性特征；
线性层，用于将全局一致性特征进行线性变换，维度变成1×9；
矩阵变换器，用于将线性变换后的全局一致性特征转换为3×3的特征矩阵；
乘法器，用于将维度变换后的曝光差特征
与矩阵变换器输出的特征矩阵进行乘法运算，得到增强后的图像Iout。
S4：将预处理后的低光图像和对应的正常光图像作为样本，对所述曝光差增强网络进行训练。
所述S4具体包括：
S4-1：将预处理后的低光图像和对应的参考标准图像划分为训练集和验证集。
此外，本实施例为了测试效果，除训练集和验证集外，还划分了测试集。LOL训练数据对485对，测试数据对15对，LOL-v2训练数据对689对，测试数据对100对。RELLISUR数据集分辨率为625*625，其中训练数据对722对，验证数据对85对，测试数据对为43对。
S4-2：初始化weight_decay为1e-4，初始化学习速率2e-4；
S4-3：将训练集输入曝光差增强网络，基于网络的输出和对应的参考标准图像计算网络损失，并基于网络损失使用Adam优化器对网络参数进行优化。其中，损失计算时，采用VGG16网络的层级特征作为特征标签，采用全局鉴别器进行正则化。
其中，网络损失的计算方法具体包括：
S4-2-1：按照下式计算平滑损失：
式中，Lsmooth是平滑损失，Iout是网络的输出图像，Igt是对应的参考标准图像；
S4-2-2：按照下式计算感知质量损失：
式中，
是感知质量损失，ψi(x)是从输入为x的VGG16网络中提取的第i层特征图，ci、hi和wi分别表示第i层特征图的通道数，高度和宽度；
S4-2-3：按照下式计算风格化损失：
式中，
是风格化损失，φj(·)是从VGG16网络中提取的第j层的特征图，N是总层数；
表示VGG16第j层的归一化因子，Cj、Hj和Wj分别表示第j层特征图的通道数，高度和宽度；Iout和Igt分别表示网络的输出图像和对应的参考标准图像；
S4-2-4：按照下式计算全局鉴别器对抗损失：
计算全局鉴别器的对抗损失：
其中
为全局鉴别器的对抗损失，Dv(·)为全局鉴别器，
为x的期望；
计算全局鉴别器损失：
其中，
是全局鉴别器损失，Dv(·)为全局鉴别器，
为x的期望。
其中，全局鉴别器具体包括：四个鉴别器卷积特征提取块，每个特征提取块由若干卷积层堆叠的相同结构构成。全局鉴别器不属于本发明的曝光差增强网络，是单独的一个模块，用于正则化，即用于区分真实标签和网络预测结果。
S4-2-5：按照下式计算网络损失：
其中，
为网络损失，λ1,λ2,λ3为超参。
其中，使用Adam优化算法寻找网络损失函数的误差对每个网络权重参数的反向传播梯度，并通过参数更新过程获得新的网络权重参数，增加迭代次数I＝I+1。
S4-4：基于使得验证集损失最小的网络参数，作为最优网络参数；
S4-5：使用所述最优网络参数初始化曝光差增强网络，完成网络训练。
训练完成后采用测试数据集进行测试，得到增强后的正常光图像，计算与其对应的参照图片PSNR(峰值信噪比)和SSIM(结构相似性)。
S5：将待增强的低光图像输入训练好的曝光差增强网络，得到增强后的图像。
本实施例还提供一种低光图像的曝光差增强装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
将本实施例在LOL-v2测试集上与其他方法进行定量结果比较，结果如表1所示。将本实施例在RELLISUR数据集与其他方法进行定量比较，结果如表2所示。本实施例选择了三种指标评价图像质量和网络框架包括PSNR(峰值信噪比)，SSIM(结构相似性)，params(网络参数量)，其中PSNR和SSIM越高越好，而params越低表示网络越轻量化。
表一本实施例与其他方法在LOL-v2的定量比较结果
| 方法 | PSNR | SSIM | params(m) |
| RetinexNet | 13.51 | 0.61 | 0.84 |
| Zero-DCE | 14.83 | 0.53 | 0.08 |
| RUAS | 15.37 | 0.49 | - |
| SCI | 16.82 | 0.54 | - |
| LIME | 17.18 | 0.48 | - |
| EnlightenenGAN | 17.95 | 0.72 | 8.6 |
| URetinex | 21.04 | 0.85 | 0.34 |
| IAT | 21.08 | 0.73 | 0.09 |
| 本实施例 | 23.65 | 0.84 | 0.09 |
表二本实施例与其他方法在RELLISUR的定量比较结果
| 方法 | PSNR | SSIM | params(m) |
| Zero-DCE | 9.38 | 0.2 | 0.08 |
| LECRAM | 10.04 | 0.25 | - |
| EnlightenenGAN | 11.61 | 0.39 | 8.6 |
| RUAS | 11.92 | 0.34 | - |
| LIME | 14.95 | 0.45 | - |
| RetinexNet | 15.43 | 0.34 | 0.84 |
| KIND | 15.84 | 0.49 | 8.16 |
| SCI | 17.13 | 0.63 | - |
| MBLLEN | 17.52 | 0.6 | 20.47 |
| URetinex | 18.07 | 0.71 | 0.34 |
| GLADNet | 21.09 | 0.69 | - |
| MIRNet | 21.62 | 0.77 | - |
| IAT | 22.97 | 0.79 | 0.09 |
| 本实施例 | 23.3023 | 0.8258 | 0.09 |
以上所揭露的仅为本发明一种较佳实施例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种低光图像的曝光差增强方法，其特征在于该方法包括：
S1：获取若干低光图像及对应的参考标准图像；
S2：对低光图像进行数据预处理；
S3：构建曝光差增强网络，包括相连接的曝光差模块和全局一致性引导的颜色调整模块，所述曝光差模块用于提取输入的低光图像和根据该低光图像生成的不同曝光系数的曝光图像之间的曝光差特征，所述颜色调整模块用于基于曝光差特征进行全局信息和颜色边缘纹理的捕捉，输出增强后的图像；
S4：将预处理后的低光图像和对应的正常光图像作为样本，对所述曝光差增强网络进行训练；
S5：将待增强的低光图像输入训练好的曝光差增强网络，得到增强后的图像。
2.根据权利要求1所述的低光图像的曝光差增强方法，其特征在于：所述S2具体包括：
S2-1：将低光图像分辨率调整至预设值；
S2-2：将调整后的低光图像进行数据增广。
3.根据权利要求2所述的低光图像的曝光差增强方法，其特征在于：所述S2-2具体包括：
S2-2-1：将低光图像以预设概率进行随机水平翻转；
S2-2-2：将低光图像以预设概率进行随机垂直翻转；
S2-2-3：将低光图像进行随机裁剪。
4.根据权利要求1所述的低光图像的曝光差增强方法，其特征在于：所述S3中的曝光差模块具体包括：
曝光图像生成单元，用于基于低光图像生成多张不同曝光系数的曝光图像；
卷积层，用于分别基于低光图像和多张曝光图像生成对应的基特征；
特征差分单元，用于将低光图像和多张曝光图像的基本特征进行差分，得到差分特征；
第一卷积特征提取器，由若干卷积层堆叠形成，用于基于所述差分特征提取差分卷积特征；
第二卷积特征提取器，与第一卷积层特征提取器结构相同，用于基于低光图像的基本特征提取基本卷积特征；
线性控制器，用于将所述差分卷积特征和所述基本卷积特征进行对齐整合，得到曝光差特征。
5.根据权利要求1所述的低光图像的曝光差增强方法，其特征在于：所述S3中的颜色调整模块具体包括：
平均池化层，用于基于曝光差特征获得低频特征；
相连的卷积层和多头注意力机制单元，用于基于低频特征得到全局一致性特征；
线性层，用于将全局一致性特征进行线性变换；
矩阵变换器，用于将线性变换后的全局一致性特征转换为特征矩阵；
乘法器，用于将维度变换后的曝光差特征与矩阵变换器输出的特征矩阵进行乘法运算，得到增强后的图像。
6.根据权利要求4所述的低光图像的曝光差增强方法，其特征在于：所述特征差分单元的差分通过以下公式实现：
式中，Fe表示差分特征，
表示卷积操作，cat(·)是沿通道维进行特征聚合操作，FI、
分别表示低光图像、第j张曝光图像的基本特征，l表示曝光图像的数目，
表示中间特征。
7.根据权利要求4所述的低光图像的曝光差增强方法，其特征在于：所述线性控制器的对齐整合通过以下公式实现：
Is＝aFd+b+Id
式中，a和b分别表示参数系数,Is表示曝光差特征,Fd、Id分别表示差分卷积特征和所述基本卷积特征。
8.根据权利要求1所述的低光图像的曝光差增强方法，其特征在于：所述S4具体包括：
S4-1：将预处理后的低光图像和对应的参考标准图像划分为训练集和验证集；
S4-2：初始化学习速率；
S4-3：将训练集输入曝光差增强网络，基于网络的输出和对应的参考标准图像计算网络损失，并基于网络损失使用Adam优化器对网络参数进行优化；
S4-4：基于使得验证集损失最小的网络参数，作为最优网络参数；
S4-5：使用所述最优网络参数初始化曝光差增强网络，完成网络训练。
9.根据权利要求8所述的低光图像的曝光差增强方法，其特征在于：所述S4-3中的网络损失的计算方法具体包括：
S4-2-1：按照下式计算平滑损失：
式中，Lsmooth是平滑损失，Iout是网络的输出图像，Igt是对应的参考标准图像；
S4-2-2：按照下式计算感知质量损失：
式中，
是感知质量损失，ψi(x)是从输入为x的VGG16网络中提取的第i层特征图，ci、hi和wi分别表示第i层特征图的通道数，高度和宽度；
S4-2-3：按照下式计算风格化损失：
式中，
是风格化损失，φj(·)是从VGG16网络中提取的第j层的特征图，N是总层数；
表示VGG16第j层的归一化因子，Cj、Hj和Wj分别表示第j层特征图的通道数，高度和宽度；Iout和Igt分别表示网络的输出图像和对应的参考标准图像；
S4-2-4：按照下式计算全局鉴别器对抗损失：
计算全局鉴别器的对抗损失：
式中，
为全局鉴别器的对抗损失，Dv(·)为全局鉴别器，
为变量x的期望；
计算全局鉴别器损失：
式中，
为全局鉴别器损失；
S4-2-5：按照下式计算网络损失：
式中，
为网络损失，λ1,λ2,λ3为超参。
10.一种低光图像的曝光差增强装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现权利要求1-9中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211617192.1A CN116091341B (zh) | 2022-12-15 | 2022-12-15 | 一种低光图像的曝光差增强方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211617192.1A CN116091341B (zh) | 2022-12-15 | 2022-12-15 | 一种低光图像的曝光差增强方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116091341A true CN116091341A (zh) | 2023-05-09 |
| CN116091341B CN116091341B (zh) | 2024-04-02 |
Family
ID=86186049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211617192.1A Active CN116091341B (zh) | 2022-12-15 | 2022-12-15 | 一种低光图像的曝光差增强方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116091341B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105338338A (zh) * | 2014-07-17 | 2016-02-17 | 诺基亚技术有限公司 | 用于成像条件检测的方法和装置 |
| CN110582715A (zh) * | 2017-03-03 | 2019-12-17 | 雅普顿生物系统公司 | 具有加速跟踪的高速扫描系统 |
| CN111161178A (zh) * | 2019-12-25 | 2020-05-15 | 湖南大学 | 基于生成式对抗网络的单幅低光图像增强方法 |
| CN111986084A (zh) * | 2020-08-03 | 2020-11-24 | 南京大学 | 一种基于多任务融合的多相机低光照图像质量增强方法 |
| US20210218871A1 (en) * | 2020-09-04 | 2021-07-15 | Altek Semiconductor Corp. | Dual sensor imaging system and privacy protection imaging method thereof |
| US20210243344A1 (en) * | 2020-09-04 | 2021-08-05 | Altek Semiconductor Corp. | Dual sensor imaging system and depth map calculation method thereof |
| CN113962884A (zh) * | 2021-10-10 | 2022-01-21 | 杭州知存智能科技有限公司 | Hdr视频获取方法、装置、电子设备以及存储介质 |
| CN113974526A (zh) * | 2021-11-18 | 2022-01-28 | 上海澳华内镜股份有限公司 | 一种自动调光频闪的光源装置及内窥镜 |
| CN114143419A (zh) * | 2020-09-04 | 2022-03-04 | 聚晶半导体股份有限公司 | 双传感器摄像系统及其深度图计算方法 |
| CN114549386A (zh) * | 2022-03-03 | 2022-05-27 | 重庆邮电大学 | 一种基于自适应光照一致性的多曝光图像融合方法 |
| CN114667723A (zh) * | 2019-09-05 | 2022-06-24 | 雅普顿生物系统公司 | 用于超分辨率成像的高速扫描系统 |
-
2022
- 2022-12-15 CN CN202211617192.1A patent/CN116091341B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105338338A (zh) * | 2014-07-17 | 2016-02-17 | 诺基亚技术有限公司 | 用于成像条件检测的方法和装置 |
| CN110582715A (zh) * | 2017-03-03 | 2019-12-17 | 雅普顿生物系统公司 | 具有加速跟踪的高速扫描系统 |
| CN114667723A (zh) * | 2019-09-05 | 2022-06-24 | 雅普顿生物系统公司 | 用于超分辨率成像的高速扫描系统 |
| CN111161178A (zh) * | 2019-12-25 | 2020-05-15 | 湖南大学 | 基于生成式对抗网络的单幅低光图像增强方法 |
| CN111986084A (zh) * | 2020-08-03 | 2020-11-24 | 南京大学 | 一种基于多任务融合的多相机低光照图像质量增强方法 |
| US20210218871A1 (en) * | 2020-09-04 | 2021-07-15 | Altek Semiconductor Corp. | Dual sensor imaging system and privacy protection imaging method thereof |
| US20210243344A1 (en) * | 2020-09-04 | 2021-08-05 | Altek Semiconductor Corp. | Dual sensor imaging system and depth map calculation method thereof |
| CN114143419A (zh) * | 2020-09-04 | 2022-03-04 | 聚晶半导体股份有限公司 | 双传感器摄像系统及其深度图计算方法 |
| CN114143420A (zh) * | 2020-09-04 | 2022-03-04 | 聚晶半导体股份有限公司 | 双传感器摄像系统及其隐私保护摄像方法 |
| CN113962884A (zh) * | 2021-10-10 | 2022-01-21 | 杭州知存智能科技有限公司 | Hdr视频获取方法、装置、电子设备以及存储介质 |
| CN113974526A (zh) * | 2021-11-18 | 2022-01-28 | 上海澳华内镜股份有限公司 | 一种自动调光频闪的光源装置及内窥镜 |
| CN114549386A (zh) * | 2022-03-03 | 2022-05-27 | 重庆邮电大学 | 一种基于自适应光照一致性的多曝光图像融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| 朱磊: "基于自适应邻域概念的视频图像处理技术研究", 《全国优秀博硕士学位论文全文库(博士) 信息科技辑》, 15 March 2007 (2007-03-15) * |
| 杨勇等: "极端低光情况下的图像增强方法", 《图学学报》, 7 August 2020 (2020-08-07) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116091341B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108876735B (zh) | 一种基于深度残差网络的真实图像盲去噪方法 | |
| Wang et al. | An experimental-based review of image enhancement and image restoration methods for underwater imaging | |
| US20240193723A1 (en) | Channel attention-based swin-transformer image denoising method and system | |
| Deng et al. | Wavelet domain style transfer for an effective perception-distortion tradeoff in single image super-resolution | |
| CN114066747B (zh) | 一种基于光照和反射互补性的低照度图像增强方法 | |
| CN111275655A (zh) | 一种多聚焦多源图像融合方法 | |
| CN114240810B (zh) | 一种基于渐进式生成网络的人脸素描-照片合成方法 | |
| CN113392711A (zh) | 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统 | |
| CN115546060A (zh) | 一种可逆的水下图像增强方法 | |
| CN115170410A (zh) | 融合小波变换和注意力机制的图像增强方法及装置 | |
| CN115019173A (zh) | 基于ResNet50的垃圾识别与分类方法 | |
| CN114219722A (zh) | 一种利用时频域层级处理的低光照图像增强方法 | |
| Wei et al. | Non-homogeneous haze removal via artificial scene prior and bidimensional graph reasoning | |
| CN116757986A (zh) | 一种红外与可见光图像融合方法及装置 | |
| CN114445299A (zh) | 一种基于注意力分配机制的双残差去噪方法 | |
| CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
| CN116091341B (zh) | 一种低光图像的曝光差增强方法及装置 | |
| CN117351340A (zh) | 基于双颜色空间的水下图像增强算法 | |
| CN117333359A (zh) | 基于可分离卷积网络的山水画图像超分辨率重建方法 | |
| Zhao et al. | Learning a deep convolutional network for subband image denoising | |
| Yu et al. | Single image super-resolution based on improved WGAN | |
| CN116091357A (zh) | 深度卷积注意力和多尺度特征融合的低光图像增强方法 | |
| CN115660979A (zh) | 一种基于注意力机制的双判别器图像修复方法 | |
| Ren et al. | SCGA‐Net: Skip Connections Global Attention Network for Image Restoration | |
| CN115861108A (zh) | 一种基于小波自注意力生成对抗网络的图像修复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |