CN116579948A - 一种基于光照强度分类的低照度图像增强方法 - Google Patents
一种基于光照强度分类的低照度图像增强方法 Download PDFInfo
- Publication number
- CN116579948A CN116579948A CN202310616197.0A CN202310616197A CN116579948A CN 116579948 A CN116579948 A CN 116579948A CN 202310616197 A CN202310616197 A CN 202310616197A CN 116579948 A CN116579948 A CN 116579948A
- Authority
- CN
- China
- Prior art keywords
- low
- illumination
- image
- enhancement
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 238000009792 diffusion process Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- LJROKJGQSPMTKB-UHFFFAOYSA-N 4-[(4-hydroxyphenyl)-pyridin-2-ylmethyl]phenol Chemical compound C1=CC(O)=CC=C1C(C=1N=CC=CC=1)C1=CC=C(O)C=C1 LJROKJGQSPMTKB-UHFFFAOYSA-N 0.000 description 1
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像增强应用技术领域，涉及低照度图像，尤其涉及一种基于光照强度分类的低照度图像增强方法。本发明采用多段不同程度低照度场景下的图像作为数据集，可以获取不同程度下的低照度图像，以扩散模型框架为基础构建低照度图像映射增强模型，依据图像的低照度级别采用不同的模型结构，进而使增强效果更佳，解决传统方法存在颜色失真、细节丢失等影响增强结果观感的现象，曝光不均匀的问题和模型过拟合问题。同时，该两阶段增强模型更具有普适性，更好的适应不同程度下的低照度图像修复增强。
Description
技术领域
本发明属于图像增强应用技术领域，涉及低照度图像，尤其涉及一种基于光照强度分类的低照度图像增强方法。
背景技术
在图像处理领域，低照度图像增强作为一个重要基础任务，为后续图像分类、目标检测、图像分割、目标跟踪等高级图像任务奠定基础，已被广泛应用于军事、安防、交通等领域。
目前，低照度图像增强方式从模型结构可大致划分为基于底层图像的方法和基于机器学习的方法。低照度图像的特点就是图像亮度和对比度低，细节的辨识程度差，从这个角度分析，提升图像亮度最简单直接的方法就是使用函数调整图像亮度和对比度，例如幂函数、对数函数等。其中直方图均衡化作为最常见方法，通过拉伸图像的直方图的空间分布，提升部分像素的亮度值，增大图像对比度，研究人员通过加入各类限制如亮度限制、对比度限制、图像金字塔对直方图均衡化进行改进，现已广泛地使用到众多图像处理领域。
基于机器学习的方法大多通过编解码器架构进行实现，如LightenNet将低光照图像作为输入和正常光照作为标签建立一一配对映射，随后用于获得基于Retinex模型来增强图像。再如EnlightenGAN通过GAN构建一个低光照图像和正常光照图像之间的未配对映射，解决现有低光照增强方法过度依赖于成对数据的问题。
上述的方法虽然能解决低照度图像的亮度问题，但依然存在一些问题亟待解决。例如，基于底层图像的方法存在颜色失真、细节丢失等影响增强结果观感的现象，同时曝光不均匀也依然存在问题。基于机器学习的方法，通过有监督的方式，构建低照度图像与正常图像间的映射关系，这种方式数据跨度较大，只给出低照度图像和正常图像，缺乏渐进过程，容易产生过拟合问题。
发明内容
本发明针对传统低照度图像增强所存在的技术问题，提出一种方法简单、操作方便且能够有效解决颜色失真、曝光不均匀、过拟合问题的一种基于光照强度分类的低照度图像增强方法。
为了达到上述目的，本发明采用的技术方案为：本发明提供一种基于光照强度分类的低照度图像增强方法，包括以下步骤：
a、首先获取同一场景在正常光照下的图像以及多副不同程度低照度下的图像；
b、然后将获取的图像分为归集，并根据低照度程度对所获取的图像进行分类；
c、将图像集按照比例分配为训练集和测试集；
d、以扩散模型框架为基础，对其前向过程和反向过程进行改进，并融合不同层级间的特征构建低照度图像映射增强模型；
e、将训练集输入进低照度图像映射增强模型进行训练，待训练完成后输入测试集进行验证，验证合格后即得到训练好的低照度图像映射增强模型；
最后，根据b步骤的分类结果，构建不同深度的图像增强模型。
作为优选，所述d步骤中，对扩散模型框架的前向过程的改进方案为：将低级别图像的标签标记为比该低级别图像高一级的标签。。
作为优选，所述d步骤中，对扩散模型框架的反向过程的改进方案为：层级间采用公开的DeepLabv3+模型作为层级框架，融入RepBlock和深度可分离反卷积构建低照度图像间像素级的映射关系。
与现有技术相比，本发明的优点和积极效果在于：
本发明采用多段不同程度低照度场景下的图像作为数据集，可以获取不同程度下的低照度图像，以扩散模型框架为基础构建低照度图像映射增强模型，依据图像的低照度级别采用不同的模型结构，进而使增强效果更佳，解决传统方法存在颜色失真、细节丢失等影响增强结果观感的现象，曝光不均匀的问题和模型过拟合问题。同时，该两阶段增强模型更具有普适性，更好的适应不同程度下的低照度图像修复增强。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为实施例提供的前向过程的改进图；
图2为实施例提供的反向过程的操作图；
图3为低照度图像增强模型训练过程图；
图4为n＝3时的低照度图像增强模型图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。
实施例，本实施例提供一种基于光照强度分类的低照度图像增强方法
首先获取同一场景在正常光照下的图像以及多副不同程度低照度下的图像，在本实施例中，图像获取方式有两种，第一种，固定相机位置，拍摄不同光照下的固定场景，拍摄5种级别的光照强度，其主要是通过灯光的光照强度来获取。第二种方式是固定摄像头，拍摄不同时间段的固定场景，划分为5种级别。本实施例中，划分级别为人为的级别，当然，也可以划分为6种，4种，在本实施例中，采用人为划分为5种级别，进行举例解释。
然后将获取的图像归集，在本实施例中，图像集为U，包含正常光照的图像N，低照度的图像L共1至5种级别，x条图像数据。
即：U＝(N，L1，L2，L3，L4，L5)x
然后，将图像集U以8:2的比例方式划分为训练集和测试集。
将图像分类后，就需要构建不同类别的图像增强模型，考虑到低照度的地进行，同时，考虑到传统的图像增强无论什么级别的低照度统一用一个模型进行训练，这也是其存在颜色失真、细节丢失等影响增强结果观感的现象，曝光不均匀的问题和模型过拟合问题所在，为此，在本实施例中，提供一种分级的图像映射增强模型。在本实施例中，分级的图像映射增强模型根据级别设置多层图像映射增强模型来实现。
图像映射增强模型采用公开的扩散模型(DDPM)框架为基础，对其前向过程和反向过程进行改进。
其中，前向过程中，如图1从右到左虚线部分，采用获得的所有图像训练集构建，方框中不同灰度填充表示不同级别的低照度图像，L5的标签为L4，L4的标签为L3，L3的标签为L2，L2的标签为L1，L1的标签为N。
反向过程种如图1从左到右实线部分，层级间采用公开的DeepLabv3+模型作为层级框架，融入RepBlock、深度可分离反卷积(Deeply Separable Deconvolution，DSD)、通道空间注意模块(Convolutional BlockAttention Module，CBAM)，命名为RDSD-DeepLabv3+构建低照度图像间像素级的映射关系，如图2所示。
对RDSD-DeepLabv3+模型进行详细介绍：
首先，采用RepBlock构建编码器(Encode)，每个RepBlock对输入特征图进行2倍下采样，通过编码器将输入低照度图像的尺寸减小16倍，后送入ASPP多分支模块聚集不用尺度的感受野，将多个分支通过拼接操作组合在一起，再通过一个1×1卷积将通道数调整为256，获得包含多尺度的高层语义特征图。
然后，构建编码器(Decode)，采用2个深度可分离反卷积层对获取的高层语义特征图进行4倍上采样，并与第二个RepBlock层获取的浅层特征图对齐，后通过Cancot进行特征连接，采用CBAM获取通道和空间注意力，将高层语义特征图和浅层特征图有效融合。
最后，将融合后包含高层语义和浅层特征的特征图通过2个深度可分离反卷积层进行4倍上采样，获得最终低照度增强后的图像。
低照度图像增强模型训练过程如图3，训练阶段采用同一个RDSD-DeepLabv3+模型，参数共享。将所有图像训练集送入低照度图像增强模型。学习率变化策略采用warmup，损失函数采用KL损失函数，如下公式，训练100个轮次，最终获得Ln与Ln-1之间的映射关系，得到训练好的低照度图像增强模型。
将所有图像测试集送入低照度图像增强模型，通过评估指标PSNR和SSIM，评判Ln-1 ·和Ln-1区别，验证低照度图像增强模型的有效性，若有效，就依据分类等级N构建不同深度的图像增强模型，图4以n＝3为例，若以本实施例最低类别n＝5，则有5层低照度图像增强模型，这样，通过对低照度图像进行分类，选择适合其类别的图像增强模型，这样，将整个图像的处理更加的细微化，有效避免了现有同一处理所导致的颜色失真、细节丢失等影响增强结果观感的现象，曝光不均匀的问题和模型过拟合问题。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (3)
1.一种基于光照强度分类的低照度图像增强方法，其特征在于，
a、首先获取同一场景在正常光照下的图像以及多副不同程度低照度下的图像；
b、然后将获取的图像分为归集，并根据低照度程度对所获取的图像进行分类；
c、将图像集按照比例分配为训练集和测试集；
d、以扩散模型框架为基础，对其前向过程和反向过程进行改进，并融合不同层级间的特征构建低照度图像映射增强模型；
e、将训练集输入进低照度图像映射增强模型进行训练，待训练完成后输入测试集进行验证，验证合格后即得到训练好的低照度图像映射增强模型；
f、最后，根据b步骤的分类结果，构建不同深度的图像增强模型。
2.根据权利要求1所述的基于光照强度分类的低照度图像增强方法，其特征在于，所述d步骤中，对扩散模型框架的前向过程的改进方案为：将低级别图像的标签标记为比该低级别图像高一级的标签。
3.根据权利要求2所述的基于光照强度分类的低照度图像增强方法，其特征在于，所述d步骤中，对扩散模型框架的反向过程的改进方案为：层级间采用公开的DeepLabv3+模型作为层级框架，融入RepBlock和深度可分离反卷积构建低照度图像间像素级的映射关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310616197.0A CN116579948A (zh) | 2023-05-29 | 2023-05-29 | 一种基于光照强度分类的低照度图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310616197.0A CN116579948A (zh) | 2023-05-29 | 2023-05-29 | 一种基于光照强度分类的低照度图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116579948A true CN116579948A (zh) | 2023-08-11 |
Family
ID=87543915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310616197.0A Pending CN116579948A (zh) | 2023-05-29 | 2023-05-29 | 一种基于光照强度分类的低照度图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116579948A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664463A (zh) * | 2023-05-29 | 2023-08-29 | 中兴协力(山东)数字科技集团有限公司 | 两阶段的低照度图像增强方法 |
-
2023
- 2023-05-29 CN CN202310616197.0A patent/CN116579948A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664463A (zh) * | 2023-05-29 | 2023-08-29 | 中兴协力(山东)数字科技集团有限公司 | 两阶段的低照度图像增强方法 |
| CN116664463B (zh) * | 2023-05-29 | 2024-01-30 | 中兴协力(山东)数字科技集团有限公司 | 两阶段的低照度图像增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Golts et al. | Unsupervised single image dehazing using dark channel prior loss | |
| CN111915526A (zh) | 一种基于亮度注意力机制低照度图像增强算法的摄影方法 | |
| Al Sobbahi et al. | Comparing deep learning models for low-light natural scene image enhancement and their impact on object detection and classification: Overview, empirical evaluation, and challenges | |
| CN110675328B (zh) | 基于条件生成对抗网络的低照度图像增强方法及装置 | |
| CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN110555465B (zh) | 一种基于cnn与多特征融合的天气图像识别方法 | |
| CN109410129A (zh) | 一种低光照图像场景理解的方法 | |
| CN109753878B (zh) | 一种恶劣天气下的成像识别方法及系统 | |
| CN106023224A (zh) | 一种中药材显微图像的pcnn自动分割方法 | |
| CN112348747A (zh) | 图像增强方法、装置及存储介质 | |
| CN111915525A (zh) | 基于改进深度可分离生成对抗网络的低照度图像增强方法 | |
| CN112819858B (zh) | 基于视频增强的目标跟踪方法、装置、设备及存储介质 | |
| CN116579948A (zh) | 一种基于光照强度分类的低照度图像增强方法 | |
| CN115019340A (zh) | 一种基于深度学习的夜间行人检测算法 | |
| Wang et al. | Multiscale supervision-guided context aggregation network for single image dehazing | |
| Zheng et al. | Low-light image and video enhancement: A comprehensive survey and beyond | |
| CN112861987A (zh) | 暗光环境下的目标检测方法 | |
| Tao et al. | Intelligent colorization for thermal infrared image based on CNN | |
| CN113506230B (zh) | 一种基于机器视觉的光伏电站航拍影像匀光处理方法 | |
| CN111539248B (zh) | 一种红外线人脸检测方法、装置及其电子设备 | |
| CN116664463B (zh) | 两阶段的低照度图像增强方法 | |
| CN114549343A (zh) | 基于双支残差特征融合去雾方法 | |
| Di et al. | FDNet: An end-to-end fusion decomposition network for infrared and visible images | |
| Fu et al. | Low-light image enhancement base on brightness attention mechanism generative adversarial networks | |
| CN116703793A (zh) | 一种低照度视频增强方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |