CN117670733A - 一种基于小波谱学习的低光照图像增强方法 - Google Patents

一种基于小波谱学习的低光照图像增强方法 Download PDF

Info

Publication number
CN117670733A
CN117670733A CN202311616072.4A CN202311616072A CN117670733A CN 117670733 A CN117670733 A CN 117670733A CN 202311616072 A CN202311616072 A CN 202311616072A CN 117670733 A CN117670733 A CN 117670733A
Authority
CN
China
Prior art keywords
low
image
priori knowledge
wavelet
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311616072.4A
Other languages
English (en)
Inventor
闫庆森
张艳宁
王海深
胡涛
孙瑾秋
朱宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202311616072.4A priority Critical patent/CN117670733A/zh
Publication of CN117670733A publication Critical patent/CN117670733A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于小波谱学习的低光照图像增强方法,首先输入低光照图像和标签图像,经过潜在编码器得到先验知识真值;然后使用先验知识训练扩散模型,在预测阶段,使用随机噪声得到先验知识;再使用先验知识P构建基于小波的Transformer模块;利用基于小波的Transformer模块,构建对称分层网络架构;最终使用输出图像与先验知识真值优化网络模型。本发明成功解决了在低光照条件下图像细节部分的恢复问题,为低光照图像增强提供了一种高效的解决方案。

Description

一种基于小波谱学习的低光照图像增强方法
技术领域
本发明属于图像处理技术领域,具体涉及一种低光照图像增强方法。
背景技术
低光照图像增强是算机视觉和图像处理领域的重要任务,其目标是改善在低光条件下拍摄的图像质量。该任务的挑战在于在低光条件下拍摄图像通常包含有限的可见信息,细节可能模糊或不可见。在增强图像时,需要解决信息损失的问题,以恢复图像的细节和内容。基于色彩一致性为理论基础的Retinex分解算法,被广泛用于低光照图像增强。然而,Retinex分解算法在进行增强图像时,经常会出现在估计照度分量的时候会产生图像失真的现象。此外Retinex分解算法对噪声不敏感,去噪效果不好。文献“空间转换与自适应灰度校正的低照度图像增强[J].计算机工程,2023,49(06):193-200+207.”公开了一种使用Retinex分解算法的低照度图像增强算法。Retinex分解算法的理论基础是三色理论和颜色恒常性,图像首先进行高斯滤波以平滑图像,接着进行对数与反对数映射。对数映射用于增强图像的细节,而反对数映射则用于抑制过曝和欠曝现象。最后,采用图像拉伸算法来扩展图像的亮度范围,以确保图像具有良好的对比度和可视性。文献所述方法是一种基于多尺度的Retinex分解的低光照图像增强算法,其很好的解决了颜色的失真问题。然而,仍需要进一步改进来解决细节信息的恢复和噪声抑制方面的挑战。
发明内容
为了克服现有技术的不足,本发明提供了一种基于小波谱学习的低光照图像增强方法,首先输入低光照图像和标签图像,经过潜在编码器得到先验知识真值;然后使用先验知识训练扩散模型,在预测阶段,使用随机噪声得到先验知识;再使用先验知识P构建基于小波的Transformer模块;利用基于小波的Transformer模块,构建对称分层网络架构;最终使用输出图像与先验知识真值优化网络模型。本发明成功解决了在低光照条件下图像细节部分的恢复问题,为低光照图像增强提供了一种高效的解决方案。
本发明解决其技术问题所采用的技术方案包括如下步骤:
步骤1:输入低光照图像Ilow和标签图像Igt,经过潜在编码器得到先验知识真值pgt
输入低光照图像Ilow和标签图像Igt,将它们在通道维度进行合并,然后将合并后的图像输入到潜在编码器LE,潜在编码器LE由多个残差模块连接而成的卷积层组成;
通过对潜在编码器LE提取的特征进行平均池化操作,得到一个知识向量;
通过多个全连接层,将该知识向量映射到先验知识真值过程如下:
pgt=LE(Cat(Ilow,Igt)) (1)
式中,LE表示潜在编码器,Cat表示通道维度的合并操作;
步骤2:使用先验知识pgt训练扩散模型,在预测阶段,使用随机噪声得到先验知识P;
所述扩散模型是一种生成模型,包括两个过程,分别为前向过程和反向过程;其中前向过程又称为扩散过程,前向过程是加噪的过程;
扩散模型对先验知识pgt进行加噪生成噪声变体pt,过程如下:
其中αt=1-βtβt∈(0,1)是一个控制添加噪声方差的场数超参数,对应于扩散步骤T;p0表示初始概率分布,αi表示扩散过程中的控制参数,用于混合先验知识和噪声;
反向过程是一个T步马尔可夫链,以相反的方式从pt回推到p0;具体来说,对于从pt回推到pt-1的反向步骤,采用了后验分布,如下所示:
其中∈代表pt中的噪声;μt(pt,p0)表示反向过程中计算后验分布中的均值;
步骤3:使用先验知识P构建基于小波的Transformer模块;
基于小波的Transformer模块WTB由两个元素组成:频率感知自注意力FASA和小波频谱调制前馈网络WMFN;
输入为低光照图像x0,WTB的编码过程如下:
X′l=Xl-1+FASA(LN(Xl-1)) (4)
Xl=X′l+WSMFN(LN(X′l),P) (5)
式中LN表示归一化操作,Xl和X′l分别代表FASA和WMFN的输出特征,P表示先验特征;
步骤4:利用基于小波的Transformer模块,构建对称分层网络架构;
在对称分层网络架构左侧输入图像Ilow,使用WTB模块和下采样模块交替执行得到四种尺度的特征;在模型右侧,使用上采样模块和WTB模块交替执行,其中左侧得到的特征与右侧生成的相同大小特征进行通道合并,经过1×1的卷积操作后再输入到WTB模块中;最终生成的特征与输入图像Ilow相加,得到增强后的图像Inormal;表示如下:
Inormal=F(Ilow)+Ilow (6)
式中F表示对称分层网络架构;
步骤5:使用输出图像与先验知识真值pgt优化网络模型;
通过优化器对损失函数进行最小化训练,损失函数由两部分构成,一是图像生成结果Inormal与真实图像Igt之间的差距,二是先验知识之间的差异;损失函数公式如下:
式中||•||1表示L1范数;
训练过程旨在通过最小化损失函数,使得网络能够准确地生成与真实图像相似的结果。
优选地,所述FASA使用Haar小波来将输入图像分为低频部分和高频部分,并分别应用通道自注意力机制,最后经过反向小波变化操作得到FASA的输出;所述WMFN网络同样先经过小波变化,并将先验知识P经过线性操作转化为成对的参数(η,γ),使用这些参数对特征进行操作,然后通过反向小波变化和门控卷积得到最终的输出特征。
本发明的有益效果如下:
为了弥补当前基于深度学习的低光照图像增强方法的不足,本发明提出了一种创新的基于先验知识引导的低光照图像增强方法。该方法旨在通过引入基于小波的Transformer模块,从而提取低光照分布的空间变化特征,以更全面地指导小波谱的学习,实现更有效的低光照图像增强。这种方法能够更好地保留图像的细节信息,并且在细节部分的恢复方面表现出色。整体而言,该方法通过对称分层网络结构,巧妙地融合了潜在编码、扩散模型、基于小波的Transformer模块,以及上下采样模块,使得不同尺度的特征得到了有效的融合和补充。并且使用先验知识对模型训练方向进行引导,通过将先验知识与图像特征结合,网络能够更好地捕捉图像中的细节信息。最终,通过优化损失函数,网络能够生成质量更高、信息更丰富的增强图像。该方法的独特之处在于其对细节信息的保留能力,尤其在低光照条件下,成功解决了图像细节部分的恢复问题,为低光照图像增强提供了一种高效的解决方案。
附图说明
图1为本发明方法的流程图。
图2为本发明实施例低光照图像Ilow
图3为本发明实施例正常光照图像真值Igt
图4为本发明实施例预测的正常光照图像Inormal
具体实施方式
下面结合附图和实施例对本发明进一步说明。
一种基于小波谱学习的低光照图像增强方法,包括如下步骤:
下面以输入低光照图像Ilow为例,如图2,正常光照真值图像Igt,如图3,模型预测的正常光照图像Inormal,如图4。该方法是基于小波谱学习的低光照图像增强方法,包括如下步骤:
步骤一:输入低光照图像Ilow和标签图像Igt,经过潜在编码器得到先验知识真值pgt
输入低光照图像Ilow和标签图像Igt,该方法首先将它们在通道维度进行合并,然后将合并后的图像输入到潜在编码器(LE),该网络由多个残差模块连接而成的卷积层组成。这一步旨在通过特征提取捕获图像中的重要信息。随后,通过对这些提取的特征进行平均池化操作,我们得到一个知识向量。最后,通过多个全连接层,将该知识向量映射到先验知识真值过程如下:
pgt=LE(Cat(Ilow,Igt)) (1)
式中,LE表示潜在编码网络,Cat表示通道维度的合并操作,生成的先验知识真值pgt用于在训练网络中优化扩散模型时提供有用的先验信息,并用于优化扩散模型得到的先验知识。
步骤二:使用先验知识pgt训练扩散模型,以保证在预测阶段,可使用随机噪声得到先验知识P。
扩散模型是一种生成模型,扩散模型包括两个过程,分别为前向过程和反向过程。其中前向过程又称为扩散过程,前向过程是加噪的过程。扩散过程对先验知识pgt进行加噪生成噪声变体pt,过程如下:
其中αt=1-βtβt∈(0,1)是一个控制添加噪声方差的场数超参数,对应于扩散步骤T。反向过程是一个T步马尔可夫链,以相反的方式从pt回推到p0。具体来说,对于从pt回推到pt-1的反向步骤,采用了后验分布,如下所示:
其中∈代表pt中的噪声。
步骤三:使用先验知识P构建基于小波的Transformer模块。
基于小波的Transformer模块(WTB)旨在提取空间变化的低光照分布的丰富特征。WTB由两个元素组成:频率感知自注意力(FASA)和小波频谱调制前馈网络(WMFN)。输入为低光照图像X0,WTB的编码过程如下:
X′l=Xl-1+FASA(LN(Xl-1)) (4)
Xl=X′l+WSMFN(LN(X′l),P) (5)
式中LN表示归一化的操作,Xl和X′l分别代表FASA和WMFN的输出特征,P表示先验特征。
其中FASA使用经典的Haar小波来将输入图像分为低频部分和高频部分,并分别应用通道自注意力机制。最后经过反向小波变化操作得到FASA的输出。WMFN网络同样先经过小波变化,并将先验知识P经过线性操作转化为成对的参数(η,γ)。使用这些参数对特征进行操作,然后通过反向小波变化和门控卷积得到最终的输出特征。
步骤四:利用基于小波的Transformer模块,构建对称分层网络架构。
整体的网络结构采取了类U-Net的网络结构,以获取不同尺度图像的特征。在模型左侧,在输入图像Ilow后,使用基于小波的Transformer模块(WTB)和下采样模块交替执行得到四种尺度的特征。在模型右侧,使用上采样模块和WTB模块交替执行,其中左侧得到的特征需要与右侧生成的相同大小特征进行通道合并,经过1×1的卷积操作后输入到WTB模块中,与之前生成的特征相互补充,共同增强输入图像的视觉表现力。最终生成的特征与输入图像Ilow相加,得到增强后的图像Inormal。图像增强的过程可表示如下:
Inormal=F(Ilow)+Ilow (6)
式中F表示整体增强网络。这一结果不仅在视觉质量上有所提升,而且更好地保留了原始图像的有用信息。整体而言,这种结构的设计充分利用了小波变换和Transformer模块,使网络能够有效地捕捉多尺度特征,从而产生更具表现力和信息丰富度的输出图像。
步骤五:使用输出图像与先验知识真值pgt优化网络模型。
整体网络是通过优化器对损失函数进行最小化训练,损失函数由两部分构成,一是图像生成结果Inormal与真实图像Igt之间的差距,二是先验知识之间的差异。损失函数公式如下:
式中||•||1表示L1范数。这整个训练过程旨在通过最小化损失函数,使得网络能够准确地生成与真实图像相似的结果。

Claims (2)

1.一种基于小波谱学习的低光照图像增强方法,其特征在于,包括如下步骤:
步骤1:输入低光照图像Ilow和标签图像Igt,经过潜在编码器得到先验知识真值pgt
输入低光照图像Ilow和标签图像Igt,将它们在通道维度进行合并,然后将合并后的图像输入到潜在编码器LE,潜在编码器LE由多个残差模块连接而成的卷积层组成;
通过对潜在编码器LE提取的特征进行平均池化操作,得到一个知识向量;
通过多个全连接层,将该知识向量映射到先验知识真值过程如下:
pgt=LE(Cat(Ilow,Igt)) (1)
式中,LE表示潜在编码器,Cat表示通道维度的合并操作;
步骤2:使用先验知识pgt训练扩散模型,在预测阶段,使用随机噪声得到先验知识P;
所述扩散模型是一种生成模型,包括两个过程,分别为前向过程和反向过程;其中前向过程又称为扩散过程,前向过程是加噪的过程;
扩散模型对先验知识pgt进行加噪生成噪声变体pt,过程如下:
其中αt=1-βtβt∈(0,1)是一个控制添加噪声方差的场数超参数,对应于扩散步骤T;p0表示初始概率分布,αi表示扩散过程中的控制参数,用于混合先验知识和噪声;
反向过程是一个T步马尔可夫链,以相反的方式从pt回推到p0;具体来说,对于从pt回推到pt-1的反向步骤,采用了后验分布,如下所示:
其中∈代表pt中的噪声;μt(pt,p0)表示反向过程中计算后验分布中的均值;
步骤3:使用先验知识P构建基于小波的Transformer模块;
基于小波的Transformer模块WTB由两个元素组成:频率感知自注意力FASA和小波频谱调制前馈网络WMFN;
输入为低光照图像X0,WTB的编码过程如下:
X′l=Xl-1+FASA(LN(Xl-1)) (4)
Xl=X′l+WSMFN(LN(X′l),P) (5)
式中LN表示归一化操作,Xl和X′l分别代表FASA和WMFN的输出特征,P表示先验特征;
步骤4:利用基于小波的Transformer模块,构建对称分层网络架构;
在对称分层网络架构左侧输入图像Ilow,使用WTB模块和下采样模块交替执行得到四种尺度的特征;在模型右侧,使用上采样模块和WTB模块交替执行,其中左侧得到的特征与右侧生成的相同大小特征进行通道合并,经过1×1的卷积操作后再输入到WTB模块中;最终生成的特征与输入图像Ilow相加,得到增强后的图像Inormal;表示如下:
Inormal=F(Ilow)+Ilow (6)
式中F表示对称分层网络架构;
步骤5:使用输出图像与先验知识真值pgt优化网络模型;
通过优化器对损失函数进行最小化训练,损失函数由两部分构成,一是图像生成结果Inormal与真实图像Igt之间的差距,二是先验知识之间的差异;损失函数公式如下:
式中||•||1表示L1范数;
训练过程旨在通过最小化损失函数,使得网络能够准确地生成与真实图像相似的结果。
2.根据权利要求1所述的一种基于小波谱学习的低光照图像增强方法,其特征在于,所述FASA使用Haar小波来将输入图像分为低频部分和高频部分,并分别应用通道自注意力机制,最后经过反向小波变化操作得到FASA的输出;所述WMFN网络同样先经过小波变化,并将先验知识P经过线性操作转化为成对的参数(η,γ),使用这些参数对特征进行操作,然后通过反向小波变化和门控卷积得到最终的输出特征。
CN202311616072.4A 2023-11-30 2023-11-30 一种基于小波谱学习的低光照图像增强方法 Pending CN117670733A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311616072.4A CN117670733A (zh) 2023-11-30 2023-11-30 一种基于小波谱学习的低光照图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311616072.4A CN117670733A (zh) 2023-11-30 2023-11-30 一种基于小波谱学习的低光照图像增强方法

Publications (1)

Publication Number Publication Date
CN117670733A true CN117670733A (zh) 2024-03-08

Family

ID=90085733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311616072.4A Pending CN117670733A (zh) 2023-11-30 2023-11-30 一种基于小波谱学习的低光照图像增强方法

Country Status (1)

Country Link
CN (1) CN117670733A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911303A (zh) * 2024-03-15 2024-04-19 吉林大学 一种面向水下弱光场景的图像质量增强方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911303A (zh) * 2024-03-15 2024-04-19 吉林大学 一种面向水下弱光场景的图像质量增强方法及装置

Similar Documents

Publication Publication Date Title
CN111028163B (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN110163815B (zh) 基于多阶段变分自编码器的低照度还原方法
CN104134196B (zh) 基于非凸高阶全变差模型的Split Bregman权值迭代图像盲复原方法
CN113052814B (zh) 基于Retinex和注意力机制的暗光图像增强方法
CN112507617B (zh) 一种SRFlow超分辨率模型的训练方法及人脸识别方法
CN113658057B (zh) 一种Swin Transformer微光图像增强方法
CN111028150A (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN110796622B (zh) 一种基于串联神经网络多层特征的图像比特增强方法
CN117670733A (zh) 一种基于小波谱学习的低光照图像增强方法
CN112598587B (zh) 一种联合人脸去口罩和超分辨率的图像处理系统和方法
CN108564544A (zh) 基于边缘感知的图像盲去模糊组合稀疏优化方法
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN111539885B (zh) 一种基于多尺度网络的图像增强去雾方法
CN112598602A (zh) 一种基于掩码的深度学习视频去摩尔纹方法
CN111489305B (zh) 基于强化学习的图像增强方法
Mostafavi et al. E2sri: Learning to super-resolve intensity images from events
CN116977208A (zh) 双分支融合的低照度图像增强方法
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
CN117911302A (zh) 一种基于条件扩散模型的水下低照度图像增强方法
CN117893409A (zh) 基于光照条件约束扩散模型的人脸超分辨率重建方法及系统
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
CN116485651A (zh) 一种图像超分辨率重建方法
CN113837963A (zh) 基于深度网络在lab颜色空间下的水下图像增强方法
CN113362241A (zh) 一种结合高低频分解和两级融合策略的深度图去噪方法
CN114202460B (zh) 面对不同损伤图像的超分辨率高清重建方法和系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination