CN117391987A - 基于多阶段联合增强机制的暗光图像处理方法 - Google Patents
基于多阶段联合增强机制的暗光图像处理方法 Download PDFInfo
- Publication number
- CN117391987A CN117391987A CN202311385336.XA CN202311385336A CN117391987A CN 117391987 A CN117391987 A CN 117391987A CN 202311385336 A CN202311385336 A CN 202311385336A CN 117391987 A CN117391987 A CN 117391987A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- light image
- noise
- brightening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 21
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000005282 brightening Methods 0.000 claims abstract description 37
- 230000009467 reduction Effects 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000002708 enhancing effect Effects 0.000 claims abstract description 5
- 238000009792 diffusion process Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012804 iterative process Methods 0.000 claims description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims 1
- 230000003014 reinforcing effect Effects 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多阶段联合增强机制的暗光图像处理方法，包括如下步骤：建立无监督暗光图像提亮网络，并利用所述无监督暗光图像提亮网络对输入的原始暗光图像I进行提亮，得到提亮图像I_S1；建立图像降噪网络，并利用所述图像降噪网络对所述提亮图像I_S1进行降噪，得到降噪图像I_S2；建立图像细节增强网络，并利用所述图像细节增强网络增强所述降噪图像I_S2的细节信息，得到细节增强图像I_S3；对所述细节增强图像I_S3进行二次降噪，得到最终的暗光图像增强图像Y。该暗光图像处理方法可有效避免暗光图像增强后导致的噪声、颜色偏差、过曝光和细节模糊或丢失等问题。
Description
技术领域
本发明涉及一种暗光图像处理方法，具体涉及一种基于多阶段联合机制的暗光图像处理方法。
背景技术
在图像拍摄中，光照不足会大大降低图像的可行性，丢失的细节和低对比度会导致观察者的主观感受不好，还会给各种机器学习任务带来巨大挑战，不利于如人脸识别、行人检测、自动驾驶等人工智能任务的高质量实现。造成光照不足的原因有很多，如低光环境、摄影设备性能有限，以及设备的不适当配置。为了解决图像细节丢失的问题，改善当前计算机视觉系统所获取图像的主观体验和可用性，对暗光图像进行增强是亟待解决的问题。
暗光增强是图像处理的基本任务之一，它广泛应用在不同领域中，是指将暗光图像转变为正常光照图像，并去除噪声，从而提高图像信噪比的计算成像技术。在过去的几十年里，众多研究人员都致力于解决暗光图像的增强问题，许多技术已经被开发出来用于改善低光图像的质量。一般来说，分为两类：基于传统图像处理方法和基于深度学习的方法。
基于传统图像处理方法使用统计模型来调整光强分布以获得更好的图像效果，具有代表性的方法有3类，分别为基于直方图均衡化的方法、基于伽马矫正的方法和基于Retinex理论的方法。直方图均衡化方法通过将图像的直方图分布变成近似均匀分布，以提高图像的对比度，操纵相关的直方图拉伸图像的动态范围，使黑暗中的图像变清晰。伽马校正是一种对图像的非线性操作，在每个像素上单独进行并使用全局参数，导致过度增强或增强不足。虽然直方图均衡化和伽马校正可以提高亮度，尤其是暗色像素的亮度，但它并没有考虑某个像素与其相邻像素的关系，导致增强图像的视觉效果不好，与真实场景不一致。基于Retinex理论是从原始图像中估计光照分量，从而分解出反射分量，消除光照不均的影响从而改善图像的视觉效果。虽然以上传统算法对光照增强任务具有一定的效果，但是这些方法仍然存在一定的局限性：一是相关的先验信息都是手动设置的，找到先验信息困难性较大，不准确的先验信息会导致图像失真；二是优化过程复杂，运行时间长。
随着深度学习的兴起，利用卷积神经网络解决低光图像增强问题，逐渐成为主流，这种端对端的学习方法，效果远超基于人工先验模型的传统方法。根据其训练时是否使用带有标记的训练样本可分为有监督和无监督方法。目前大部分的研究集中于有监督方法上，需要通过成对的暗光/正常亮度图像来训练深度卷积神经网络，但是正常情况下收集成对的数据难度较大且成本高。尽管现有的监督方法在合成数据上可以获得比较好的结果，但是通常难以很好的泛化效果，会产生伪影或者颜色失真等问题。相较之下，数据要求更低的无监督方法目前尚未研究充分，仅有的一些研究未能充分挖掘暗光图像隐藏信息，因此导致增强网络直接处理暗光图像时会出现噪声严重、颜色偏差、过曝光等问题。
因此，为了获得稳定且高质量的暗光增强图像，迫切需要有一种鲁棒且泛化能力强的暗光图像增强方法，能够利用无需配对的暗光/正常光照图像数据，解决噪声、颜色偏差和过曝光现象的问题。
发明内容
鉴于此，本发明提出了一种基于多阶段联合增强机制的暗光图像处理方法，以解决现有技术在进行暗光图像增强后存在噪声、颜色偏差、过曝光和细节模糊或丢失等问题。
本发明提供了一种基于多阶段联合增强机制的暗光图像处理方法，包括如下步骤：
S1：建立无监督暗光图像提亮网络，并利用所述无监督暗光图像提亮网络对输入的原始暗光图像I进行提亮，得到提亮图像I_S1；
S2：建立图像降噪网络，并利用所述图像降噪网络对所述提亮图像I_S1进行降噪，得到降噪图像I_S2；
S3：建立图像细节增强网络，并利用所述图像细节增强网络增强所述降噪图像I_S2的细节信息，得到细节增强图像I_S3；
S4：对所述细节增强图像I_S3进行二次降噪，得到最终的暗光图像增强图像Y。
优选，S1中，所述无监督暗光图像提亮网络共有7个卷积层，且加入跳跃连接，前6层激活函数采用ReLU激活函数，最后一层采用Tanh激活函数来保障输出系数在[-1,1]，网络输出通道数量为24。
进一步优选，S1中，利用所述无监督暗光图像提亮网络对输入的原始暗光图像I进行提亮具体包括如下步骤：
对输入所述无监督暗光图像提亮网络的原始暗光彩色图像I进行卷积，提取3*3的像素点作为一个像素块；
对卷积后的图像进行提亮，其中，提亮函数如公式(1)所示：
L(I(x)；a)＝I(x)+aI(x)(1-I(x)) (1)
对公式(1)进行反复迭代，实现高阶映射，迭代过程如公式(2)所示：
Ln(x)＝Ln-1(x)+An(x)Ln-1(x)(1-Ln-1(x)) (2)
式中，a通过公式(1)和(2)迭代得到，An表示与输入图像相同尺寸的系数矩阵，由每个像素对应的a值构建，x表示像素块坐标。
进一步优选，对公式(1)进行反复迭代的过程用误差控制，采用的四个误差分别为：空间一致误差、曝光控制误差、颜色恒定误差和光照平滑误差。
进一步优选，S2中，所述图像降噪网络采用改进U-net网络架构，U-net网络由编码器、中间块和解码器构成，并且，U-net网络中残差块由组归一化层、SiLU激活层、卷积层和加法算子组合构成。
进一步优选，S2中利用所述图像降噪网络对所述提亮图像I_S1进行降噪具体包括如下步骤：
对噪声进行提取，其中，提取过程如下：将DM扩散模型训练为噪声检测器，通过所述DM扩散模型对输入图像进行噪声检测，并将噪声估计值形式化表达，如公式(8)所示：
nφ＝∈θ(I_S1,φ,c) (8)
式中，c为扩散条件，φ为DM扩散模型中的参数，φ值根据实验验证设置，nφ表示噪声，∈θ表示扩散模型；
将提亮图像I_S1与噪声相减，获得降噪图像I_S2，如公式(9)所示：
式中，S为DM扩散过程扩散次数，S值小于φ值，且随着S值的增大矫正量会减小，“:＝”为定义符号，代表随着S变化所加入图像中的噪声变化。
进一步优选，S3中，所述图像细节增强网络采用一种基于GAN Loss的模型对结构信息建模，通过对底层结构特征进行提取，对降噪后的图像进行指导，加强细节信息。
进一步优选，S3具体过程如下：
S31：通过U-net对外观建模；
S32：采用边缘信息进行结构建模，具体步骤如下：
S321：针对输入特征图，将其八个方向的一阶梯度特征图与原本的空间特征图分别通过LRE模块和SRE模块得到全局特征和局部特征；
S322：采用Grad-F模块对提取到的全局特征和局部特征进行融合，其中，损失函数使用Annotator-robust Loss以及GAN Loss，用对GT的canny检测器检测到的边缘图来监督；
S323：根据StyleGAN的理论，将提取到的特征通过一个全连接层映射到隐空间，设置输入图像为I，得到映射图像S，结构信息模型为Is，如公式(10)所示：
S33：利用所述结构信息模型对降噪图像I_S2进行基于结构信息指导的增强，得到增强图像I_S3。
进一步优选，所述LRE模块和SRE模块分别为Transformer和CNN块，其中，Transformer块采用具有基于窗口的注意力机制和局部增强前向模块。
进一步优选，S4中，通过直方图均衡化对所述细节增强图像I_S3进行二次降噪，得到最终的暗光图像增强图像Y。
本发明公开提供的基于多阶段联合增强机制的暗光图像处理方法，通过无监督暗光图像提亮网络，图像降噪网络，图像细节增强网络和图像降噪处理可实现暗光图像增强。本发明设计S1-S4多阶段暗光增强网络，对暗光图像进行多阶段处理，先通过提亮网络对暗光图像进行初步增强，再通过降噪网络将增强后图像中的噪声进行处理，由于增强过程和噪声处理过程中会导致暗光图像细节丢失，采用图像细节增强网络，对图像细节进行增强，最后再对图像中可能出现的噪声进行处理，可有效避免暗光图像增强后导致的噪声、颜色偏差、过曝光和细节模糊或丢失等问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的基于多阶段联合增强机制的暗光图像处理方法的整体流程图；
图2无监督暗光图像提亮网络结构示意图；
图3图像降噪网络中残差块结构示意图；
图4为噪声提取流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种基于多阶段联合增强机制的暗光图像处理方法，包括如下步骤：
S1：建立无监督暗光图像提亮网络，并利用所述无监督暗光图像提亮网络对输入的原始暗光图像I进行提亮，得到提亮图像I_S1；
S2：建立图像降噪网络，并利用所述图像降噪网络对所述提亮图像I_S1进行降噪，得到降噪图像I_S2；
S3：建立图像细节增强网络，并利用所述图像细节增强网络增强所述降噪图像I_S2的细节信息，得到细节增强图像I_S3，其中，图像细节增强可以防止图像亮度增强后造成的细节丢失问题；
S4：对所述细节增强图像I_S3进行二次降噪，得到最终的暗光图像增强图像Y。
其中，如图2所示，S1中建立的所述无监督暗光图像提亮网络共有7个卷积层，且加入跳跃连接，前6层激活函数采用ReLU激活函数，最后一层采用Tanh激活函数来保障输出系数在[-1,1]，网络输出通道数量为24。
其中，S1中，利用所述无监督暗光图像提亮网络对输入的原始暗光图像I进行提亮具体包括如下步骤：
对输入所述无监督暗光图像提亮网络的原始暗光彩色图像I进行卷积，提取3*3的像素点作为一个像素块；
对卷积后的图像进行提亮，其中，提亮函数如公式(1)所示：
L(I(x)；a)＝I(x)+aI(x)(1-I(x)) (1)
对公式(1)进行反复迭代，实现高阶映射，迭代过程如公式(2)所示：
Ln(x)＝Ln-1(x)+An(x)Ln-1(x)(1-Ln-1(x)) (2)
式中，a通过公式(1)和(2)迭代得到，An表示与输入图像相同尺寸的系数矩阵，由每个像素对应的a值构建，x表示像素块坐标。
其中，迭代的过程用误差控制，采用的四个误差函数如下：
1)空间一致误差
该误差的作用是保持输入图像中邻域间的差异与提亮图像中邻域间的差异尽可能接近，以确保提亮图像与输入图像在空间上是一致的。空间一致误差函数如公式(3)所示，其中I_S1，I分别为提亮图像和输入的原始暗光图像。
式中，K是邻域内像素的个数，Ω表示邻域，|(I_S1i-I_S1j)|，|(Ii-Ij)|分别为图像中每一个四邻域内像素的差值；
2)曝光控制误差
为了防止某个像素点出现较亮或较暗的极端情况，采取的措施是使每个区域的平均亮度B限制在E附近进行优化，其中，E为亮度中间值，取值范围为0.5～0.7，优选，E设置为0.6，M为区域内像素点的个数，则曝光控制误差函数如公式(4)所示：
3)颜色恒定误差
像素值同时在RGB三个通道进行变换，因此图像某一通道的颜色变化量不应显著超出其他通道，设置如公式(5)所示的误差函数：
式中，J表示像素值，p、q表示不同通道。
4)光照平滑误差
为了保持相邻像素的光照变化方向一致性，即让空间相邻像素之间的亮度改变不是那么显著，用公式(6)进行约束使相邻像素间保持亮度变化的约束关系：
式中，N为迭代次数，和/>分别表示水平和垂直的梯度算子，对图像来说，水平和垂直梯度分别为左方、上方相邻像素之间的数值差；
上述四个误差函数的加权和为总误差(Ltotal)，如公式(7)所示：
Ltotal＝W1Lk+W2Lb+W3Ls+W4Lg (7)
式中，W1，W2，W3，W4分别表示权重，优选，W1＝1，W2＝10，W3＝5，W4＝200。
其中，所述图像降噪网络采用改进U-net网络架构，U-net网络由编码器、中间块和解码器构成，并且，将U-net网络中残差块改为由组归一化层、SiLU激活层、卷积层和加法算子组合构成，如图3所示。
其中，S2中利用所述图像降噪网络对所述提亮图像I_S1进行降噪具体包括如下步骤：
对噪声进行提取，其中，如图4所示，提取过程如下：将DM扩散模型训练为噪声检测器，通过所述DM扩散模型对输入图像进行噪声检测，并将噪声估计值形式化表达，如公式(8)所示：
nφ＝∈θ(I_S1,φ,c) (8)
式中，c为扩散条件，φ为DM扩散模型中的参数，φ值根据实验验证设置，优选为300，nφ表示噪声，∈θ表示扩散模型；
将提亮图像I_S1与噪声相减，获得降噪图像I_S2，如公式(9)所示：
式中，S为DM扩散过程扩散次数，S值小于φ值，且随着S值的增大矫正量会减小，“:＝”为定义符号，代表随着S变化所加入图像中的噪声变化。
其中，S3中，所述图像细节增强网络采用一种基于GAN Loss的模型对结构信息建模，通过对底层结构特征进行提取，对降噪后的图像进行指导，加强细节信息。
S3具体过程如下：
S31：通过一个简单的U-net去对外观建模，可以理解成先简单地学习到一个正常光照的粗略版本；
S32：采用边缘信息进行结构建模，具体步骤如下：
S321：针对输入特征图，将其八个方向的一阶梯度特征图与原本的空间特征图分别通过(LRE)模块和(SRE)模块得到全局特征和局部特征；
其中，LRE和SRE分别为Transformer和CNN块，其中，为了构建高效的Transformer模块，Transformer块采用具有基于窗口的注意力机制和局部增强前向模块，假设LRE和SRE模块表示为和/>特征提取过程如公式(11)所示：
其中，fi为结构特征感知i∈[1，N],li为长程特征，si为短程特征；
S322：采用Grad-F模块对提取到的全局特征和局部特征进行融合，其中，损失函数使用Annotator-robust Loss以及GAN Loss，用对GT的canny检测器检测到的边缘图来监督；
S323：根据StyleGAN的理论，将提取到的特征通过一个全连接层映射到隐空间，设置输入图像为I，得到映射图像S，结构信息模型为Is，如公式(10)所示：
S33：利用所述结构信息模型对降噪图像I_S2进行基于结构信息指导的增强，得到增强图像I_S3。
S4中，通过直方图均衡化对所述细节增强图像I_S3进行二次降噪，得到最终的暗光图像增强图像Y。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于多阶段联合增强机制的暗光图像处理方法，其特征在于，包括以下步骤：
S1：建立无监督暗光图像提亮网络，并利用所述无监督暗光图像提亮网络对输入的原始暗光图像I进行提亮，得到提亮图像I_S1；
S2：建立图像降噪网络，并利用所述图像降噪网络对所述提亮图像I_S1进行降噪，得到降噪图像I_S2；
S3：建立图像细节增强网络，并利用所述图像细节增强网络增强所述降噪图像I_S2的细节信息，得到细节增强图像I_S3；
S4：对所述细节增强图像I_S3进行二次降噪，得到最终的暗光图像增强图像Y。
2.根据权利要求1所述的基于多阶段联合增强机制的暗光图像处理方法，其特征在于：S1中，所述无监督暗光图像提亮网络共有7个卷积层，且加入跳跃连接，前6层激活函数采用ReLU激活函数，最后一层采用Tanh激活函数来保障输出系数在[-1,1]，网络输出通道数量为24。
3.根据权利要求2所述的基于多阶段联合增强机制的暗光图像处理方法，其特征在于：S1中，利用所述无监督暗光图像提亮网络对输入的原始暗光图像I进行提亮具体包括如下步骤：
对输入所述无监督暗光图像提亮网络的原始暗光彩色图像I进行卷积，提取3*3的像素点作为一个像素块；
对卷积后的图像进行提亮，其中，提亮函数如公式(1)所示：
L(I(x)；a)＝I(x)+aI(x)(1-I(x)) (1)
对公式(1)进行反复迭代，实现高阶映射，迭代过程如公式(2)所示：
Ln(x)＝Ln-1(x)+An(x)Ln-1(x)(1-Ln-1(x)) (2)
式中，a通过公式(1)和(2)迭代得到，An表示与输入图像相同尺寸的系数矩阵，由每个像素对应的a值构建，x表示像素块坐标。
4.根据权利要求3所述的基于多阶段联合增强机制的暗光图像处理方法，其特征在于：对公式(1)进行反复迭代的过程用误差控制，采用的四个误差分别为：空间一致误差、曝光控制误差、颜色恒定误差和光照平滑误差。
5.根据权利要求1所述的基于多阶段联合增强机制的暗光图像处理方法，其特征在于：S2中，所述图像降噪网络采用改进U-net网络架构，U-net网络由编码器、中间块和解码器构成，并且，U-net网络中残差块由组归一化层、SiLU激活层、卷积层和加法算子组合构成。
6.根据权利要求5所述的基于多阶段联合增强机制的暗光图像处理方法，其特征在于：S2中利用所述图像降噪网络对所述提亮图像I_S1进行降噪具体包括如下步骤：
对噪声进行提取，其中，提取过程如下：将DM扩散模型训练为噪声检测器，通过所述DM扩散模型对输入图像进行噪声检测，并将噪声估计值形式化表达，如公式(8)所示：
nφ＝∈θ(I_S1,φ,c) (8)
式中，c为扩散条件，φ为DM扩散模型中的参数，φ值根据实验验证设置，nφ表示噪声，∈θ表示扩散模型；
将提亮图像I_S1与噪声相减，获得降噪图像I_S2，如公式(9)所示：
式中，S为DM扩散过程扩散次数，S值小于φ值，且随着S值的增大矫正量会减小，“:＝”为定义符号，代表随着S变化所加入图像中的噪声变化。
7.根据权利要求1所述的基于多阶段联合增强机制的暗光图像处理方法，其特征在于：S3中，所述图像细节增强网络采用一种基于GAN Loss的模型对结构信息建模，通过对底层结构特征进行提取，对降噪后的图像进行指导，加强细节信息。
8.根据权利要求1所述的基于多阶段联合增强机制的暗光图像处理方法，其特征在于：S3具体过程如下：
S31：通过U-net对外观建模；
S32：采用边缘信息进行结构建模，具体步骤如下：
S321：针对输入特征图，将其八个方向的一阶梯度特征图与原本的空间特征图分别通过LRE模块和SRE模块得到全局特征和局部特征；
S322：采用Grad-F模块对提取到的全局特征和局部特征进行融合，其中，损失函数使用Annotator-robust Loss以及GAN Loss，用对GT的canny检测器检测到的边缘图来监督；
S323：根据StyleGAN的理论，将提取到的特征通过一个全连接层映射到隐空间，设置输入图像为I，得到映射图像S，结构信息模型为Is，如公式(10)所示：
S33：利用所述结构信息模型对降噪图像I_S2进行基于结构信息指导的增强，得到增强图像I_S3。
9.根据权利要求8所述的基于多阶段联合增强机制的暗光图像处理方法，其特征在于：所述LRE模块和SRE模块分别为Transformer和CNN块，其中，Transformer块采用具有基于窗口的注意力机制和局部增强前向模块。
10.根据权利要求1所述的基于多阶段联合增强机制的暗光图像处理方法，其特征在于：S4中，通过直方图均衡化对所述细节增强图像I_S3进行二次降噪，得到最终的暗光图像增强图像Y。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311385336.XA CN117391987A (zh) | 2023-10-23 | 2023-10-23 | 基于多阶段联合增强机制的暗光图像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311385336.XA CN117391987A (zh) | 2023-10-23 | 2023-10-23 | 基于多阶段联合增强机制的暗光图像处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117391987A true CN117391987A (zh) | 2024-01-12 |
Family
ID=89464486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311385336.XA Pending CN117391987A (zh) | 2023-10-23 | 2023-10-23 | 基于多阶段联合增强机制的暗光图像处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117391987A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911303A (zh) * | 2024-03-15 | 2024-04-19 | 吉林大学 | 一种面向水下弱光场景的图像质量增强方法及装置 |
-
2023
- 2023-10-23 CN CN202311385336.XA patent/CN117391987A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911303A (zh) * | 2024-03-15 | 2024-04-19 | 吉林大学 | 一种面向水下弱光场景的图像质量增强方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | An experiment-based review of low-light image enhancement methods | |
| CN111402146B (zh) | 图像处理方法以及图像处理装置 | |
| Li et al. | DewaterNet: A fusion adversarial real underwater image enhancement network | |
| CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN115442515A (zh) | 图像处理方法和设备 | |
| Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
| CN113129236B (zh) | 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统 | |
| CN116823686B (zh) | 一种基于图像增强的夜间红外与可见光图像融合方法 | |
| CN117391987A (zh) | 基于多阶段联合增强机制的暗光图像处理方法 | |
| CN115689960A (zh) | 一种夜间场景下照度自适应的红外与可见光图像融合方法 | |
| CN113191995A (zh) | 一种基于深度学习的视频图像自动曝光校正方法 | |
| Lv et al. | Low-light image enhancement via deep Retinex decomposition and bilateral learning | |
| Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
| CN115393227A (zh) | 基于深度学习的微光全彩视频图像自适应增强方法及系统 | |
| Wang et al. | Low-light image enhancement based on virtual exposure | |
| Song et al. | Multi-scale joint network based on Retinex theory for low-light enhancement | |
| CN116188339A (zh) | 一种基于Retinex及图像融合的暗视觉图像增强方法 | |
| CN114565539A (zh) | 一种基于线上知识蒸馏的图像去雾方法 | |
| Saleem et al. | A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset | |
| Song et al. | Dual-model: Revised imaging network and visual perception correction for underwater image enhancement | |
| Hong et al. | Single image dehazing based on pixel-wise transmission estimation with estimated radiance patches | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
| CN114862707A (zh) | 一种多尺度特征恢复图像增强方法、装置及存储介质 | |
| CN113744169A (zh) | 图像增强方法、装置、电子设备和存储介质 | |
| CN112258434A (zh) | 一种静态场景下细节保持多曝光图像融合算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |