CN117078559A - 一种模型驱动和数据驱动融合的图像质量改善方法 - Google Patents
一种模型驱动和数据驱动融合的图像质量改善方法 Download PDFInfo
- Publication number
- CN117078559A CN117078559A CN202311240340.7A CN202311240340A CN117078559A CN 117078559 A CN117078559 A CN 117078559A CN 202311240340 A CN202311240340 A CN 202311240340A CN 117078559 A CN117078559 A CN 117078559A
- Authority
- CN
- China
- Prior art keywords
- feature
- attention
- tensor
- characteristic
- driven
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000006872 improvement Effects 0.000 title claims abstract description 37
- 230000004927 fusion Effects 0.000 title claims abstract description 17
- 238000011176 pooling Methods 0.000 claims abstract description 30
- 238000004220 aggregation Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 22
- 230000002776 aggregation Effects 0.000 claims abstract description 21
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 6
- 238000010606 normalization Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 10
- 230000008707 rearrangement Effects 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000005096 rolling process Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000005286 illumination Methods 0.000 description 6
- 238000007792 addition Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种模型驱动和数据驱动融合的图像质量改善方法，融合多尺度Retinex分解和金字塔特征解析网络优化低对比度图像，能提升图像对比度和视觉效果。金字塔特征解析网络模型包括金字塔池化模块、残差特征提取模块和特征聚合双注意力模块，通过多尺度特征的提取、融合和拼接，能有效获取样本深层语义特征，实现图像对比度和细节信息的优化。此外，基于最小化像素级损失和反射分量损失为目标，构建损失函数，实现图像质量改善效果的有效提升。
Description
技术领域
本发明属于数字图像处理技术领域，适用于多种类型成像数据，具体涉及一种模型驱动和数据驱动融合的图像质量改善方法。
背景技术
获取具有良好对比度、细节和分辨率的高质量图像在遥感、计算机视觉、场景分析、医学成像等领域至关重要。然而，受采集时间有限、照明不足或成像设备的性能瓶颈等影响，成像质量急剧下降。这会导致图像对比度低、分辨率低或细节模糊，从而严重影响一些视觉评估或高级处理任务，例如对象识别或目标检测。因此，改善退化图像的质量十分重要，包括但不限于图像对比度或分辨率的提升、细节信息优化、噪声去除。
图像质量改善的目的是强调图像整体或局部特性、突出感兴趣区域、减弱或滤除无关部分，从而丰富图像信息、提升图像判读/识别性能(M.Cotogni and C.Cusano,TreEnhance:a tree search method for low-light image enhancement,PatternRecog.,vol.136,pp.109249,2023)。图像质量改善方法主要分为模型驱动策略(如直方图拉伸/均衡化、多尺度Retinex分解)，数据驱动策略或称为基于学习策略(如X.Ren,et al.,LR3M:robust low-light enhancement via low-rank regularized retinex model,IEEETrans.Image Process,vol.29,pp.5862-5876,2020)。模型驱动图像质量策略和数据驱动图像质量策略各有优缺点。
模型驱动图像质量策略一般具有明确的物理含义(如基于模糊理论、多尺度分析理论，人类视觉机理，及Retinex理论)，但易造成亮区域的过度曝光、细节损失、颜色失真或光晕现象等。近年来，基于学习的图像质量改善方法可以解决传统模型驱动技术中的部分瓶颈问题，但其前提假设是测试集与训练集的分布一致。当训练集样本和测试集样本的分布存在不一致时，重建结果往往会产生明显退化。以此同时，因难以收集大量低照度和正常照度对数据，数据驱动图像质量策略难以全面表征低照度图像的内在特征，可能会产生非自然的结果。因此，亟待开发新的图像质量改善方法，克服或补偿由于图像采集系统或采集环境的限制，导致的图像模糊、质量低下、感兴趣区域不显著等问题。基于此，本发明针对低对比度图像的特点，结合模型驱动和数据驱动策略的优点，开发一种模型驱动和数据驱动融合的图像质量改善方法。
发明内容
本发明是针对现有模型驱动图像质量和数据驱动图像质量方法存在的上述技术问题，提供了一种模型驱动和数据驱动融合的图像质量改善方法。该方法融合模型驱动增强策略(如多尺度Retinex分解)和数据驱动增强策略(如金字塔特征解析网络)优化低对比度图像，从而获得对比度、细节信息改善结果。
一种模型驱动和数据驱动融合的图像质量改善方法，包括以下步骤：
步骤1、低对比度图像I和对应的高对比度图像G作为训练样本，对低对比度图像I进行多尺度Retinex分解，获得特征R；
步骤2、搭建金字塔特征解析网络模型，金字塔特征解析网络模型包括依次设置的金字塔池化模块、残差特征提取模块、以及特征聚合双注意力模块；
步骤3、将低对比度图像I输入到金字塔池化模块，获得特征P1，特征P2和特征P3；
步骤4、将步骤3获得的特征P1输入到残差特征提取模块获得特征T31，特征T31上采样后与步骤3获得的特征P2拼接获得拼接特征PJ1，然后对拼接特征PJ1进行通道重排，获得特征Q1；
步骤5，将步骤3获得的特征P1和特征P2输入到特征聚合双注意力模块，获得空间和通道注意力融合的注意力特征E11，该注意力特征E11与经步骤4获得的特征Q1相乘，获得特征S1；
步骤6，将步骤5获得的特征S1输入到残差特征提取模块获得特征T32，特征T32上采样后与特征P3拼接获得拼接特征PJ2，然后对拼接特征PJ2进行通道重排，获得特征Q2；
步骤7，将步骤3获得的特征P1，特征P2和特征P3输入到特征聚合双注意力模块，获得空间和通道注意力融合的注意力特征E12，该注意力特征E12与经步骤6获得的特征Q2相乘，获得特征S2；
步骤8，将步骤7获得的特征S2输入到残差特征提取模块，然后与步骤1获得的特征R拼接，随后通过卷积运算，输出质量改善结果
步骤9，以最小化像素级损失和反射分量损失为目标，对金字塔特征解析网络模型进行训练，获得最优的金字塔特征解析网络模型权重参数，
步骤10、将待处理的低对比度图像I输入到金字塔特征解析网络模型中，获得对应的质量改善结果。
如上所述步骤3包括以下步骤：
步骤3.1、维度为(w,h)的低对比度图像I先后经过卷积和自适应平均池化，获得第一特征张量，第二特征张量，第三特征张量和第四特征张量，且维度分别为(w/8,h/8,c)，(w/4,h/4,c)，(w/2,h/2,c)和(w,h)，其中w代表图像的宽，h代表图像的高，c代表特征的通道数；
步骤3.2、第一特征张量，第二特征张量和第三特征张量经过上采样，得到第一新特征张量，第二新特征张量和第三新特征张量，且维度分别为(w/4,h/4,c)，(w/2,h/2,c)和(w,h,c)；
步骤3.3、第一新特征张量与第二特征张量进行特征拼接，输出特征P1，第二新特征张量与第三特征张量进行特征拼接，输出特征P2，第三新特征张量与第四特征张量进行特征拼接，输出特征P3。
如上所述步骤5包括以下步骤：
步骤5.1、特征聚合双注意力模块的第一支路首先分别将特征P1和P2自适应平均池化为(1,1,c)维度的特征P11和特征P21；将特征P11和特征P21相加后进行1×1的卷积和归一化，得到通道注意力特征B11，
特征聚合双注意力模块的第二支路将特征P1上采样，得到维度为(w/2,h/2,c)的特征C11；将特征P2和特征C11拼接，得到维度为(w/2,h/2,c)的特征M11；将特征M11分别进行最大池化和平均池化得到的两个特征进行拼接，得到特征D11；特征D11经过卷积和归一化，得到空间注意力特征B21；
步骤5.2、将通道注意力特征B11和空间注意力特征B21相加，得到注意力特征E11，其维度为(w/2,h/2,c)，
步骤5.3、将注意力特征E11与经步骤4获得的特征Q1相乘，获得特征S1。
如上所述步骤7包括以下步骤：
步骤7.1、特征聚合双注意力模块的第一支路首先分别将特征P1、特征P2和特征P3自适应平均池化为(1,1,c)维度的特征P11、特征P21和特征P31；将特征P11、特征P21和特征P31相加之后进行1×1的卷积和归一化，得到通道注意力特征B12(1,1,c)，
步骤7.2、特征聚合双注意力模块的第二支路分别将特征P1和特征P2上采样，得到维度为(w,h,c)的特征C12和特征C13；将特征P3和特征C12和特征C13拼接，经卷积后得到维度为(w,h,c)的特征M12；将特征M12分别进行最大池化和平均池化得到的两个特征进行拼接，得到特征D12；特征D12经过卷积和归一化，得到空间注意力特征B22；
步骤7.3、将通道注意力特征B12和空间注意力特征B22相加，得到注意力特征E12，其维度为(w,h,c)，
步骤7.4、将注意力特征E12与经步骤6获得的特征Q2相乘，获得特征S2。
如上所述最小化像素级损失和反射分量损失基于损失函数L：
L＝α×LP+β×LR
其中，LP为质量输出结果与高对比度图像G间的L1损失，LR为原始低对比度图像I的反射分量Ri、质量输出结果/>的反射分量Re和高对比度图像G的反射分量Rg间的反射分量损失，α和β为加权系数。
如上所述质量输出结果与高对比度图像G间的L1损失LP基于以下公式：
所述反射分量损失LR基于以下公式：
LR＝|(Ri-Rg)+(Re-Rg)|1，
其中，x，y为像素点坐标，Ω为图像的所有像素点集合，#Ω为像素点集合中像素点的数量。
本发明与现有技术相比，具有以下优点：
1.针对低对比度图像，提出了一种模型驱动和数据驱动融合的图像质量改善算法，能有效结合模型驱动图像增强策略和数据驱动图像增强策略的优点，提升图像对比度和视觉效果。
2.金字塔特征解析网络模型包括金字塔池化模块、残差特征提取模块和特征聚合双注意力模块，通过多尺度特征的提取、融合和拼接，能有效获取样本深层语义特征，实现图像对比度和细节信息的优化。
3.依据Retinex理论，设计一种具有物理含义的反射分量损失，并联合像素级损失，构建像素级损失和反射分量损失加权的损失函数，实现图像质量改善效果的有效提升。
附图说明
图1为本发明的流程图。
图2为金字塔特征解析网络模型结构示意图。
图3为金字塔池化模块(PPM)结构示意图。
图4为残差特征提取模块(RSAB)结构示意图。
图5为特征聚合双注意力模块(FADA)结构示意图。
图6为采用不同方法的低对比度图像质量改善结果图。其中(a)为原始低对比度图像；(b)为采用MSR(Multi-Scale Retinex，多尺度Retinex)方法获得的图像质量改善结果图；(c)为采用BIMEF(bio-inspired multi-exposure fusion，仿生多曝光融合)方法获得的图像质量改善结果；(d)为采用WVmSE(weighted variational model for simultaneousreflectance and illumination estimation，同步估计反射率和光照的加权变分模型)方法获得的图像质量改善结果；(e)为采用Zero-DCE(Zero-reference deep curveestimation，零参考深度曲线估计)方法获得的图像质量改善结果；(f)为采用LWFI(lightweight fast illumination，轻量级快速照度增强)方法获得的图像质量改善结果图；(g)为采用LiCNEt(low-light image enhancement using the light channel ofHSL，基于HSL光通道的低照度图像增强)方法获得的图像质量改善结果图；(h)为采用本发明获得的图像质量改善结果，其定量指标PSNR为25.1684，SSIM为0.9171，FSIM为0.9440，LPIPS为0.1225；(i)为原始低对比度图像对应的高对比度图像。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
一种模型驱动和数据驱动融合的图像质量改善方法，包括以下步骤：
步骤1、本实施例中，低对比度图像I和对应的高对比度图像G来自于公开数据集，低对比度图像I和对应的高对比度图像均为室外景象，低对比度图像I和对应的高对比度图像构成训练样本，本发明中，低对比度和高对比度仅仅是对比度相对关系，训练样本中的低对比度图像I相对于对应的高对比度图像对比度低，对低对比度图像I进行多尺度Retinex分解，获得特征R；
对低对比度图像I进行多尺度高斯滤波，并将多尺度滤波结果加权，得到特征R，其表达式可表示为
R＝w·h (1)
其中，w是加权系数，h是多尺度高斯滤波结果，·代表逐像素相乘。
步骤2、搭建金字塔特征解析网络模型，如图2所示；
金字塔特征解析网络模型主要包括依次设置的金字塔池化模块(PPM)、残差特征提取模块(RSAB)、以及特征聚合双注意力模块(FADA)。
步骤3、将低对比度图像I输入到金字塔池化模块，获得三个输出特征P1，P2和P3，如图3所示；
步骤3.1、维度为(w,h)的低对比度图像I先后经过卷积和自适应平均池化，如图3所示，获得4个特征张量，分别记为第一特征张量-1，第二特征张量-2，第三特征张量-3和第四特征张量-4，且维度分别为(w/8,h/8,c)，(w/4,h/4,c)，(w/2,h/2,c)和(w,h)，其中w代表图像的宽，h代表图像的高，c代表特征的通道数；
步骤3.2、第一特征张量-1，第二特征张量-2和第三特征张量-3经过上采样，得到新的特征张量，分别记为第一新特征张量-v1，第二新特征张量-v2，第三新特征张量-v3，且维度分别为(w/4,h/4,c)，(w/2,h/2,c)和(w,h,c)；
步骤3.3、第一新特征张量-v1与第二特征张量-2进行特征拼接，输出特征P1，第二新特征张量-v2与第三特征张量-3进行特征拼接，输出特征P2，第三新特征张量-v3与第四特征张量-4进行特征拼接，输出特征P3。
步骤4、将步骤3获得的特征P1输入到残差特征提取模块(包括残差特征块(RSA))获得特征T31，特征T31上采样后与步骤3获得的特征P2拼接，然后通过通道重排，获得特征Q1，如图4所示；
步骤4.1、残差特征提取模块将步骤3获得的特征P1输入残差特征块(RSA)，得到特征N11；
步骤4.2、将特征P1和特征N11相加，得到特征T11；
步骤4.3、将特征T11输入残差特征块(RSA)，得到特征N21；
步骤4.4、将特征T11和特征N21相加，得到特征T21；
步骤4.5、将特征T21输入残差特征块(RSA)，得到特征N31；
步骤4.6、将特征T21和特征N31相加，得到特征T31，即获得残差特征提取模块的输出特征，输出特征上采样后与步骤3获得的特征P2拼接，获得拼接特征PJ1，然后对拼接特征PJ1进行通道重排，获得特征Q1。通道重排是指，首先将维度为(w/2,h/2,2c)拼接特征PJ1的通道分为n组，其次将拼接特征PJ1的维度拓展为(w/2,h/2,2c/n,n)，然后将拼接特征PJ1的维度转置为(w/2,h/2,n,2c/n)，最后将转置后的拼接特征PJ1展平再卷积得到特征Q1。
残差特征块(RSA)流程是：特征A通过1×1的卷积模块，激活模块和归一化模块后得到的注意力特征与特征A相乘得到特征b；同时将特征A通过1×1的卷积模块、激活模块、卷积的残差分支模块得到特征a；将特征a和特征b相加，即获得残差特征块(RSA)的输出特征。
步骤5，将步骤3获得的特征P1和P2输入到特征聚合双注意力模块，获得空间和通道注意力融合的注意力特征E11。该注意力特征E11与经步骤4获得的特征Q1相乘，获得特征S1，如图5所示；
步骤5.1、特征聚合双注意力模块的第一支路首先分别将特征P1和P2自适应平均池化为(1,1,c)维度的特征P11和特征P21；将特征P11和特征P21相加后进行1×1的卷积和归一化，得到通道注意力特征B11。
特征聚合双注意力模块的第二支路将特征P1上采样，得到维度为(w/2,h/2,c)的特征C11；将特征P2和特征C11拼接，得到维度为(w/2,h/2,c)的特征M11；将特征M11分别进行最大池化和平均池化得到的两个特征进行拼接，得到特征D11；特征D11经过卷积和归一化，得到空间注意力特征B21；
步骤5.2、将通道注意力特征B11和空间注意力特征B21相加，得到注意力特征E11，其维度为(w/2,h/2,c)。
步骤5.3、将注意力特征E11与经步骤4获得的特征Q1相乘，获得特征S1。
步骤6，将步骤5获得的特征S1输入到残差特征提取模块(包括残差特征块(RSA))获得特征T32，特征T32上采样后与特征P3拼接获得拼接特征PJ2，然后对拼接特征PJ2进行通道重排，获得特征Q2，通道重排是指，首先将维度为(w,h,2c)拼接特征PJ2的通道分为n组，其次将拼接特征PJ2的维度拓展为(w,h,2c/n,n)，然后将拼接特征PJ2的维度转置为(w,h,n,2c/n)，最后将转置后的拼接特征PJ2进行展平再卷积得到特征Q2。如图2所示；
步骤6.1、将步骤5获得的特征S1输入残差特征块(RSA)，得到特征N12；其次，将特征S1和特征N12相加，得到特征T12；
步骤6.2、将特征T12输入残差特征块(RSA)，得到特征N22；
步骤6.3、将特征T12和特征N22相加，得到特征T22；
步骤6.4、将特征T22输入残差特征块(RSA)，得到特征N32；
步骤6.5、将特征T22和特征N32相加，得到特征T32；
步骤6.6、特征T32经过上采样后与特征P3拼接，然后通过通道重排，获得特征Q2。
步骤7，将步骤3获得的特征P1，P2和P3输入到特征聚合双注意力模块，获得空间和通道注意力融合的注意力特征E12。该注意力特征E12与经步骤6获得的特征Q2相乘，获得特征S2，如图2所示；
步骤7.1、特征聚合双注意力模块的第一支路首先分别将特征P1、特征P2和特征P3自适应平均池化为(1,1,c)维度的特征P11、特征P21和特征P31；其次将特征P11、特征P21和特征P31相加之后进行1×1的卷积和归一化，得到通道注意力特征B12(1,1,c)。
步骤7.2、特征聚合双注意力模块的第二支路首先分别将特征P1和特征P2上采样，得到维度为(w,h,c)的特征C12和特征C13；其次将特征P3和特征C12和特征C13拼接，经卷积后得到维度为(w,h,c)的特征M12；然后将特征M12分别进行最大池化和平均池化得到的两个特征进行拼接，得到特征D12；之后特征D12经过卷积和归一化，得到空间注意力特征B22；
步骤7.3、将通道注意力特征B12和空间注意力特征B22相加，得到注意力特征E12，其维度为(w,h,c)。
步骤7.4、将注意力特征E12与经步骤6获得的特征Q2相乘，获得特征S2。
步骤8，将步骤7获得的特征S2输入到残差特征提取模块，然后与步骤1获得的特征R拼接，随后通过卷积运算，输出质量改善结果如图2所示；
步骤.8.1、将步骤7获得的特征S2输入残差特征块(RSA)，得到特征N13；
步骤8.2、将特征S2和特征N13相加，得到特征T13；
步骤8.3、将特征T13输入残差特征块(RSA)，得到特征N23；
步骤8.4、将特征T13和特征N23相加，得到特征T23；
步骤8.5、将特征T23输入残差特征块(RSA)，得到特征N33；
步骤8.6、将特征T23和特征N33相加，得到特征Q3。
步骤8.7、将特征Q3与步骤1获得的特征R拼接，之后经过1×1卷积，输出质量改善结果
步骤9，以最小化像素级损失和反射分量损失为目标，对金字塔特征解析网络模型进行训练，获得最优的金字塔特征解析网络模型权重参数。
本发明模型训练采用的loss损失函数L可表示为
L＝α×LP+β×LR,其中
其中，LP为质量输出结果与高对比度图像G间的L1损失，LR为原始低对比度图像I的反射分量Ri、质量输出结果/>的反射分量Re和高对比度图像G的反射分量Rg间的反射分量损失，α和β为加权系数。x，y为像素点坐标，Ω为图像的所有像素点集合，#Ω为像素点集合中像素点的数量。
步骤10、将待处理的低对比度图像I输入到金字塔特征解析网络模型中，获得对应的质量改善结果。
通过步骤1-步骤10，融合模型驱动和数据驱动的图像质量改善算法，如附图1所示，能有效结合模型驱动图像增强策略和数据驱动图像增强策略的优点，提升图像对比度和视觉效，如附图6所示，有助于图像特征提取、图像解译和判读。
图6为采用不同方法的低对比度图像质量改善结果图，其中(a)为原始低对比度图像，其定量指标peak signal-to-noise ratio(PSNR)为6.2899，structural similarityindex(SSIM)为0.0673，feature similarity index(FSIM)为0.3574，learned perceptualimage patch similarity(LPIPS)为0.8070；(b)为采用MSR方法获得的图像质量改善结果图，其定量指标PSNR为10.0596，SSIM为0.4371，FSIM为0.6363，LPIPS为0.4678；(c)为采用BIMEF方法获得的图像质量改善结果图，其定量指标PSNR为15.1485，SSIM为0.7181，FSIM为0.4542，LPIPS为0.7406；(d)为采用WVmSE方法获得的图像质量改善结果图，其定量指标PSNR为13.7540，SSIM为0.0.7066，FSIM为0.4801，LPIPS为0.7135；(e)为采用Zero-DCE方法获得的图像质量改善结果图，其定量指标PSNR为13.9282，SSIM为0.5609，FSIM为0.7265，LPIPS为0.3822；(f)为采用LWFI方法获得的图像质量改善结果图，其定量指标PSNR为13.4384，SSIM为0.4951，FSIM为0.6760，LPIPS为0.5096；(g)为采用LiCNEt方法获得的图像质量改善结果图，其定量指标PSNR为15.0197，SSIM为0.6345，FSIM为0.7416，LPIPS为0.3470；(h)为采用本发明获得的图像质量改善结果图，其定量指标PSNR为25.1684，SSIM为0.9171，FSIM为0.9440，LPIPS为0.1225；(i)为原始低对比度图像对应的高对比度图像。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (6)
1.一种模型驱动和数据驱动融合的图像质量改善方法，其特征在于，包括以下步骤：
步骤1、低对比度图像I和对应的高对比度图像G作为训练样本，对低对比度图像I进行多尺度Retinex分解，获得特征R；
步骤2、搭建金字塔特征解析网络模型，金字塔特征解析网络模型包括依次设置的金字塔池化模块、残差特征提取模块、以及特征聚合双注意力模块；
步骤3、将低对比度图像I输入到金字塔池化模块，获得特征P1，特征P2和特征P3；
步骤4、将步骤3获得的特征P1输入到残差特征提取模块获得特征T31，特征T31上采样后与步骤3获得的特征P2拼接获得拼接特征PJ1，然后对拼接特征PJ1进行通道重排，获得特征Q1；
步骤5，将步骤3获得的特征P1和特征P2输入到特征聚合双注意力模块，获得空间和通道注意力融合的注意力特征E11，该注意力特征E11与经步骤4获得的特征Q1相乘，获得特征S1；
步骤6，将步骤5获得的特征S1输入到残差特征提取模块获得特征T32，特征T32上采样后与特征P3拼接获得拼接特征PJ2，然后对拼接特征PJ2进行通道重排，获得特征Q2；
步骤7，将步骤3获得的特征P1，特征P2和特征P3输入到特征聚合双注意力模块，获得空间和通道注意力融合的注意力特征E12，该注意力特征E12与经步骤6获得的特征Q2相乘，获得特征S2；
步骤8，将步骤7获得的特征S2输入到残差特征提取模块，然后与步骤1获得的特征R拼接，随后通过卷积运算，输出质量改善结果
步骤9，以最小化像素级损失和反射分量损失为目标，对金字塔特征解析网络模型进行训练，获得最优的金字塔特征解析网络模型权重参数，
步骤10、将待处理的低对比度图像I输入到金字塔特征解析网络模型中，获得对应的质量改善结果。
2.根据权利要求1所述一种模型驱动和数据驱动融合的图像质量改善方法，其特征在于，所述步骤3包括以下步骤：
步骤3.1、维度为(w,h)的低对比度图像I先后经过卷积和自适应平均池化，获得第一特征张量，第二特征张量，第三特征张量和第四特征张量，且维度分别为(w/8,h/8,c)，(w/4,h/4,c)，(w/2,h/2,c)和(w,h)，其中w代表图像的宽，h代表图像的高，c代表特征的通道数；
步骤3.2、第一特征张量，第二特征张量和第三特征张量经过上采样，得到第一新特征张量，第二新特征张量和第三新特征张量，且维度分别为(w/4,h/4,c)，(w/2,h/2,c)和(w,h,c)；
步骤3.3、第一新特征张量与第二特征张量进行特征拼接，输出特征P1，第二新特征张量与第三特征张量进行特征拼接，输出特征P2，第三新特征张量与第四特征张量进行特征拼接，输出特征P3。
3.根据权利要求2所述一种模型驱动和数据驱动融合的图像质量改善方法，其特征在于，所述步骤5包括以下步骤：
步骤5.1、特征聚合双注意力模块的第一支路首先分别将特征P1和P2自适应平均池化为(1,1,c)维度的特征P11和特征P21；将特征P11和特征P21相加后进行1×1的卷积和归一化，得到通道注意力特征B11，
特征聚合双注意力模块的第二支路将特征P1上采样，得到维度为(w/2,h/2,c)的特征C11；将特征P2和特征C11拼接，得到维度为(w/2,h/2,c)的特征M11；将特征M11分别进行最大池化和平均池化得到的两个特征进行拼接，得到特征D11；特征D11经过卷积和归一化，得到空间注意力特征B21；
步骤5.2、将通道注意力特征B11和空间注意力特征B21相加，得到注意力特征E11，其维度为(w/2,h/2,c)，
步骤5.3、将注意力特征E11与经步骤4获得的特征Q1相乘，获得特征S1。
4.根据权利要求3所述一种模型驱动和数据驱动融合的图像质量改善方法，其特征在于，所述步骤7包括以下步骤：
步骤7.1、特征聚合双注意力模块的第一支路首先分别将特征P1、特征P2和特征P3自适应平均池化为(1,1,c)维度的特征P11、特征P21和特征P31；将特征P11、特征P21和特征P31相加之后进行1×1的卷积和归一化，得到通道注意力特征B12(1,1,c)，
步骤7.2、特征聚合双注意力模块的第二支路分别将特征P1和特征P2上采样，得到维度为(w,h,c)的特征C12和特征C13；将特征P3和特征C12和特征C13拼接，经卷积后得到维度为(w,h,c)的特征M12；将特征M12分别进行最大池化和平均池化得到的两个特征进行拼接，得到特征D12；特征D12经过卷积和归一化，得到空间注意力特征B22；
步骤7.3、将通道注意力特征B12和空间注意力特征B22相加，得到注意力特征E12，其维度为(w,h,c)，
步骤7.4、将注意力特征E12与经步骤6获得的特征Q2相乘，获得特征S2。
5.根据权利要求4所述一种模型驱动和数据驱动融合的图像质量改善方法，其特征在于，所述最小化像素级损失和反射分量损失基于损失函数L：
L＝α×LP+β×LR
其中，LP为质量输出结果与高对比度图像G间的L1损失，LR为原始低对比度图像I的反射分量Ri、质量输出结果/>的反射分量Re和高对比度图像G的反射分量Rg间的反射分量损失，α和β为加权系数。
6.根据权利要求5所述一种模型驱动和数据驱动融合的图像质量改善方法，其特征在于，所述质量输出结果与高对比度图像G间的L1损失LP基于以下公式：
所述反射分量损失LR基于以下公式：
LR＝|(Ri-Rg)+(Re-Rg)|1，
其中，x，y为像素点坐标，Ω为图像的所有像素点集合，#Ω为像素点集合中像素点的数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311240340.7A CN117078559A (zh) | 2023-09-25 | 2023-09-25 | 一种模型驱动和数据驱动融合的图像质量改善方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311240340.7A CN117078559A (zh) | 2023-09-25 | 2023-09-25 | 一种模型驱动和数据驱动融合的图像质量改善方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117078559A true CN117078559A (zh) | 2023-11-17 |
Family
ID=88704325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311240340.7A Pending CN117078559A (zh) | 2023-09-25 | 2023-09-25 | 一种模型驱动和数据驱动融合的图像质量改善方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117078559A (zh) |
-
2023
- 2023-09-25 CN CN202311240340.7A patent/CN117078559A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113313657B (zh) | 一种用于低光照图像增强的非监督学习方法和系统 | |
| WO2021164234A1 (zh) | 图像处理方法以及图像处理装置 | |
| CN111915526A (zh) | 一种基于亮度注意力机制低照度图像增强算法的摄影方法 | |
| CN111915530A (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN111489303A (zh) | 一种低照度环境下海事图像增强方法 | |
| CN107292830B (zh) | 低照度图像增强及评价方法 | |
| Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
| CN116823686B (zh) | 一种基于图像增强的夜间红外与可见光图像融合方法 | |
| CN112330613B (zh) | 一种细胞病理数字图像质量的评价方法及系统 | |
| CN110163807B (zh) | 一种基于期望亮通道的低照度图像增强方法 | |
| CN114219722A (zh) | 一种利用时频域层级处理的低光照图像增强方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN114821449B (zh) | 一种基于注意力机制的车牌图像处理方法 | |
| CN115115549A (zh) | 多支路融合注意力机制的图像增强模型、方法、设备及存储介质 | |
| CN117994167B (zh) | 融合并行多卷积注意力的扩散模型去雾方法 | |
| Li et al. | Motion-blur kernel size estimation via learning a convolutional neural network | |
| CN116664446A (zh) | 基于残差密集块的轻量级暗光图像增强方法 | |
| CN116363011A (zh) | 一种基于频域分频的多分支低照度图像增强方法 | |
| CN116596792A (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN113379861B (zh) | 基于色彩恢复块的彩色微光图像重建方法 | |
| CN117611467A (zh) | 一种能同时平衡不同区域细节和亮度的低光图像增强方法 | |
| CN117391987A (zh) | 基于多阶段联合增强机制的暗光图像处理方法 | |
| CN116128768B (zh) | 一种带有去噪模块的无监督图像低照度增强方法 | |
| CN117115612A (zh) | 基于多传感器图像增强优化的多通道图像融合方法及系统 | |
| CN116596799A (zh) | 一种基于通道空间复合注意力的低照度图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |