CN115619675A - 基于图像融合与超分辨率的单图像阴影去除网络及其方法 - Google Patents

基于图像融合与超分辨率的单图像阴影去除网络及其方法 Download PDF

Info

Publication number
CN115619675A
CN115619675A CN202211304407.4A CN202211304407A CN115619675A CN 115619675 A CN115619675 A CN 115619675A CN 202211304407 A CN202211304407 A CN 202211304407A CN 115619675 A CN115619675 A CN 115619675A
Authority
CN
China
Prior art keywords
image
resolution
super
shadow
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211304407.4A
Other languages
English (en)
Inventor
端木春江
张新怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Normal University CJNU
Original Assignee
Zhejiang Normal University CJNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Normal University CJNU filed Critical Zhejiang Normal University CJNU
Priority to CN202211304407.4A priority Critical patent/CN115619675A/zh
Publication of CN115619675A publication Critical patent/CN115619675A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于图像融合与超分辨率的单图像阴影去除网络及其方法，模型包括：输入模块、N+1个子网和输出模块；方法包括：获取阴影图像及其对应的阴影掩膜，进行N重曝光处理的过曝光图片，并将阴影图像及N张过曝光图片进行下采样；N+1张下采样图片
Figure DDA0003905205230000011
分别输入至N+1个子网；提取
Figure DDA0003905205230000013
的低分辨率特征
Figure DDA0003905205230000014
根据低分辨率特征
Figure DDA0003905205230000012
提取对应图像的超分辨率特征
Figure DDA0003905205230000015
得到融合高分辨率特征
Figure DDA0003905205230000016
并输出至下一个MCFB中；直至第T个MCFB得到融合高分辨率特征
Figure DDA0003905205230000017
获取对应的融合超分辨率残差图像，并与对应图像
Figure DDA0003905205230000018
的上采样图像进行元素加，生成对应具有融合特征的超分辨率图像
Figure DDA0003905205230000019
融合所有重建模块R所输出的
Figure DDA00039052052300000110
得到超分辨率重建图像。本发明能够在有效去除阴影的同时，避免图像质量的退化。

Description

基于图像融合与超分辨率的单图像阴影去除网络及其方法
技术领域
本发明涉及图像处理技术领域，更具体的说是涉及一种基于图像融合与超分辨率的单图像阴影去除网络及其方法。
背景技术
在大多数自然图像中，当光源被遮挡时，阴影就会出现。阴影去除的研究重难点在于所设计的算法不仅关注阴影的去除，还要重建阴影覆盖下的背景亮度、色彩、以及纹理，同时保留非阴影覆盖区域不受影响。然而阴影可以覆盖场景中的任何区域，并且可能包含多种多样的纹理，这给相关方法的研究带来了困难。
现存的阴影去除技术存在缺陷，首先，针对阴影去除任务本身的完成度来说，图像退化严重即阴影颜色较深时，算法模型阴影去除效果不佳；阴影图像中，阴影边缘与阴影中心区域的阴影模式不同，目前模型的因阴影边界去除效果尚有待提高，难以生成无迹的去阴影图像。其次，针对阴影去除任务的生成结果质量来说，以当前阴影去除模型的一大研究方向——基于GAN的阴影去除方法为例，这类方法针对复杂背景下的阴影去除效果不佳，这导致阴影去除结果成像背景混乱，产生模糊与伪影，往往不能得到清晰且高质量的无阴影图像；同时，以文献为例，作为成对输入训练样本的网络，此类模型多采用基于像素融合，易忽略局部平滑性，产生噪声；更重要的是，目前许多方法都以牺牲无阴影区域图像质量以提高阴影去除效率，使整张图像退化严重。
因此，如何提供一种高效的基于图像融合与超分辨率的单图像阴影去除网络及其方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于图像融合与超分辨率的单图像阴影去除网络及其方法。
为了实现上述目的，本发明采用如下技术方案：
基于图像融合与超分辨率的单图像阴影去除网络，包括：输入模块、N+1个子网和输出模块；
输入模块，用于获取阴影图像及其对应的阴影掩膜，进行N重曝光处理的过曝光图片，并将阴影图像及N张过曝光图片经过下采样后输入至对应子网中；
N+1个子网分别对应N+1张下采样图片
Figure BDA0003905205210000021
其中i＝0...N，i为0时，表示阴影图像的下采样图片
Figure BDA0003905205210000022
i大于0时，表示过曝光图片的下采样图片；每个子网中均包括初级特征提取模块FEB、超分辨率模块SRB、融合反馈网络模型和重建模块R并依次连接；
初级特征提取模块FEB，用于提取
Figure BDA0003905205210000023
的低分辨率特征
Figure BDA0003905205210000024
超分辨率模块SRB，用于根据低分辨率特征
Figure BDA0003905205210000025
提取对应图像的超分辨率特征
Figure BDA0003905205210000026
并根据用户选择将超分辨率特征
Figure BDA0003905205210000027
分别输入至重建模块R或融合反馈网络模型；
每个融合反馈网络模型均包括T个多重耦合反馈模块MCFB依次连接，其中第i个子网的第t个MCFB，用于获取
Figure BDA0003905205210000028
和
Figure BDA0003905205210000029
得到融合高分辨率特征
Figure BDA00039052052100000210
并输出至下一个MCFB中；直至第T个MCFB得到融合高分辨率特征
Figure BDA00039052052100000211
并输入至同一个子网中的重建模块R中，其中，
Figure BDA00039052052100000212
为第i个子网的第t-1个MCFB输出的融合高分辨率特征，
Figure BDA00039052052100000213
为第i-1个子网的第t-1个MCFB输出的融合高分辨率特征，
Figure BDA0003905205210000031
为第i+1个子网的第t-1个MCFB输出的融合高分辨率特征；
重建模块R，用于接收超分辨率模块SRB所输入的超分辨率特征或融合反馈网络模型所输入的融合高分辨率特征，其中根据超分辨率模块SRB直接输入的超分辨率特征得到对应的超分辨率残差图像，根据对应融合反馈网络模型所输入的融合高分辨率特征，获取对应的融合超分辨率残差图像，并将所获取到的超分辨率残差图像或融合超分辨率残差图像分别与对应图像
Figure BDA0003905205210000032
,的上采样图像进行元素加，分别生成原低分辨率阴影图像的超分辨率重建图像ISR或对应的具有融合特征的超分辨率图像
Figure BDA0003905205210000033
输出模块，用于融合所有重建模块R所输出的
Figure BDA0003905205210000034
得到超分辨率重建图像Iout：
Figure BDA0003905205210000035
ωi为
Figure BDA0003905205210000036
各自对应的权重，Iout为最终输出的阴影去除后的超分辨率重建图像。
优选的，输入模块获取N张过曝光图片的内容包括：
过曝光图片通过对阴影图像的多通道加权生成：
Figure BDA0003905205210000037
其中，Is为阴影图像；
Figure BDA0003905205210000038
为Is的第i个过曝光图像；αi为第i个过曝光图像的曝光等级；βi为曝光平移参数；
将αi、βi分别看作神经网络训练过程中的权重以及偏置单元，则通过最小化能量函数估计过曝光图片：
Figure BDA0003905205210000039
通过ResNet作为骨干网对αi和βi进行参数估计，确定曝光等级与水平偏置后生成过曝光图片。
优选的，每个多重耦合反馈模块MCFB包括G个聚合单元、重组单元和增强反馈单元；
每个聚合单元中包括m个1×1的卷积层与m个k×k的反卷积层分别用于卷积和反卷积滤波操作，且各个聚合单元中的卷积层以及反卷积层之间跳跃连接；
其中，第i个子网的第t个MCFB中，首个聚合单元中的卷积层将
Figure BDA0003905205210000041
Figure BDA0003905205210000042
和
Figure BDA0003905205210000043
作为输入，进行卷积后得到聚合的细化融合特征
Figure BDA0003905205210000044
发送给同个聚合单元中的反卷积层，反卷积层接收
Figure BDA0003905205210000045
进行反卷积滤波操作后生成对应的高分辨率特征映射
Figure BDA0003905205210000046
并将高分辨率特征映射
Figure BDA0003905205210000047
发送至下一个聚合单元，直至第g个聚合单元输出
Figure BDA0003905205210000048
重组单元包括m个1×1的卷积层以及m个k×k的卷积滤波器，其中，重组单元中的卷积层用于对通过跳跃连接汇聚的
Figure BDA0003905205210000049
进行线性重组后输出至卷积滤波器，卷积滤波器接收后进行下采样操作输出
Figure BDA00039052052100000410
增强反馈单元，用于接收
Figure BDA00039052052100000411
Figure BDA00039052052100000412
与
Figure BDA00039052052100000413
并进行融合后得到
Figure BDA00039052052100000414
并将
Figure BDA00039052052100000415
重新输入至聚合单元中替换细化融合特征
Figure BDA00039052052100000416
进行下一次的融合，直至迭代停止。
优选的，损失函数包括：
①在多重曝光过程中，生成的过曝光图片Ii，i∈{1,...,k}与地面真实图像Ifree之间的损失，通过均方损失函数MSEloss＝MSE(Ii,Ifree)来实现多重曝光图像的生成；
②地面真实图像Ifree与原低分辨率阴影图像的超分辨率重建图像ISR之间的损失，通过平均结构差异指数度量作为损失函数；
③地面真实图像Ifree与曝光融合过后的超分辨率重建去阴影图像Iout之间的损失，通过最小化L1损失作为损失函数实现网络训练：
Figure BDA0003905205210000051
其中λi为权重系数，其中λi为权重系数，Loss指网络训练的总损失，L2为均方损失函数，LMS为平均结构差异指数，L1为L1损失函数。
基于图像融合与超分辨率的单图像阴影去除方法，包括以下步骤：
S1.获取阴影图像及其对应的阴影掩膜，进行N重曝光处理的过曝光图片，并将阴影图像及N张过曝光图片进行下采样；
S2.N+1张下采样图片
Figure BDA0003905205210000052
分别输入至N+1个子网，其中i＝0...N，i为0时，表示阴影图像的下采样图片
Figure BDA0003905205210000053
i大于0时，表示过曝光图片的下采样图片；
S3.提取
Figure BDA0003905205210000054
的低分辨率特征
Figure BDA0003905205210000055
S4.根据低分辨率特征
Figure BDA0003905205210000056
提取对应图像的超分辨率特征
Figure BDA0003905205210000057
S5.第i个子网的第t个MCFB获取
Figure BDA0003905205210000058
Figure BDA0003905205210000059
和
Figure BDA00039052052100000510
得到融合高分辨率特征
Figure BDA00039052052100000511
并输出至下一个MCFB中；直至第T个MCFB得到融合高分辨率特征
Figure BDA00039052052100000512
其中，
Figure BDA00039052052100000513
为第i个子网的第t-1个MCFB输出的融合高分辨率特征，
Figure BDA00039052052100000514
为第i-1个子网的第t-1个MCFB输出的融合高分辨率特征，
Figure BDA00039052052100000515
为第i+1个子网的第t-1个MCFB输出的融合高分辨率特征；
S6.根据不同的子网所输出的融合高分辨率特征，获取对应的融合超分辨率残差图像，并与对应图像
Figure BDA00039052052100000516
,的上采样图像进行元素加，生成对应具有融合特征的超分辨率图像
Figure BDA00039052052100000517
S7.融合所有重建模块R所输出的
Figure BDA00039052052100000518
得到超分辨率重建图像。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于图像融合与超分辨率的单图像阴影去除网络及其方法，用于图像阴影去除，通过LR多重过曝光图像作为网络输入，以耦合反馈的方法将多重图像进行融合生成阴影去除图像，同时能有效减少图像失真，最终输出无阴影的超分辨重建图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的基于图像融合与超分辨率的单图像阴影去除网络结构示意图；
图2为本发明提供的融合反馈网络模型的结构示意图；
图3为本发明实施例提供的数据集ISTD+中尺寸因子×2的视觉对比示意图；
图4为本发明实施例提供的数据集ISTD+中尺寸因子×3的视觉对比示意图；
图5为本发明实施例提供的数据集ISTD+中尺寸因子×4的视觉对比示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了基于图像融合与超分辨率的单图像阴影去除网络，如图1所示，包括：输入模块、N+1个子网和输出模块；
输入模块，用于获取阴影图像及其对应的阴影掩膜，进行N重曝光处理的过曝光图片，并将阴影图像及N张过曝光图片经过下采样后输入至对应子网中；
N+1个子网分别对应N+1张下采样图片
Figure BDA0003905205210000071
其中i＝0...N，i为0时，表示阴影图像的下采样图片
Figure BDA0003905205210000072
i大于0时，表示过曝光图片的下采样图片；每个子网中均包括初级特征提取模块FEB、超分辨率模块SRB、融合反馈网络模型和重建模块R并依次连接；
初级特征提取模块FEB，用于提取
Figure BDA0003905205210000073
的低分辨率特征
Figure BDA0003905205210000074
其中：
Figure BDA0003905205210000075
超分辨率模块SRB，用于根据低分辨率特征
Figure BDA0003905205210000076
提取对应图像的超分辨率特征
Figure BDA0003905205210000077
Figure BDA0003905205210000078
并根据用户选择将超分辨率特征
Figure BDA0003905205210000079
分别输入至重建模块R或融合反馈网络模型；
如图2所示，每个融合反馈网络模型均包括T个多重耦合反馈模块MCFB依次连接，其中第i个子网的第t个MCFB，用于获取
Figure BDA00039052052100000710
和
Figure BDA00039052052100000711
得到融合高分辨率特征
Figure BDA00039052052100000712
并输出至下一个MCFB中；直至第T个MCFB得到融合高分辨率特征
Figure BDA00039052052100000713
并输入至同一个子网中的重建模块R中，其中，
Figure BDA00039052052100000714
为第i个子网的第t-1个MCFB输出的融合高分辨率特征，
Figure BDA00039052052100000715
为第i-1个子网的第t-1个MCFB输出的融合高分辨率特征，
Figure BDA00039052052100000716
为第i+1个子网的第t-1个MCFB输出的融合高分辨率特征；
重建模块R，用于接收超分辨率模块SRB所输入的超分辨率特征或融合反馈网络模型所输入的融合高分辨率特征，其中根据超分辨率模块SRB直接输入的超分辨率特征得到对应的超分辨率残差图像，根据对应融合反馈网络模型所输入的融合高分辨率特征，获取对应的融合超分辨率残差图像，并将所获取到的超分辨率残差图像或融合超分辨率残差图像分别与对应图像
Figure BDA0003905205210000081
,的上采样图像进行元素加，分别生成原低分辨率阴影图像的超分辨率重建图像ISR或对应的具有融合特征的超分辨率图像
Figure BDA0003905205210000082
输出模块，用于融合所有重建模块R所输出的
Figure BDA0003905205210000083
得到超分辨率重建图像进行加权融合后得到最终的阴影去除图像Iout：
Figure BDA0003905205210000084
ωi为
Figure BDA0003905205210000085
各自对应的权重，Iout为最终输出的阴影去除后的超分辨率重建图像。
需要说明的是：图像阴影的存在与图像分辨率是两种影响图像质量的重要因素，图像去阴影与图像超分辨率任务作为计算机视觉的两大任务一直各自在其领域发展。这两类任务可以有效结合，即较好的基于图像融合的去阴影结果可以提高超分辨率性能，同时较好的超分辨率结果可以提高基于图像融合的去阴影性能。在阴影颜色较深时，图像超分辨率SR方法能够挖掘阴影下的图像细节纹理等高级特征，恢复出高质量的无阴影图像。然而，实验证明将两个模块简单级联并不能产生理想的输出结果，关键在于如何根据他们自身的内在关系建立一种同时提高基于图像融合的去阴影效果与超分辨率结果的方法。为此，本发明提出上述基于图像融合与超分辨率的单图像阴影去除网络，旨在充分利用图像融合与超分辨率之间的交互与协作，以一对阴影与其对应的掩膜图像生成一幅高分辨率的去阴影图像。
在该网络中，用户可按自身需求选择有无阴影的超分辨率图像，其中直接输入至重建模块，输出为未经过特征融合的阴影图像的超分辨率图像；经过MCFB之后再经过重建模块得到的输出为去阴影之后的无阴影超分辨率图像。
为了进一步实施上述技术方案，输入模块获取N张过曝光图片的内容包括：
过曝光图片通过对阴影图像的多通道加权生成：
Figure BDA0003905205210000091
其中，Is为阴影图像；
Figure BDA0003905205210000092
为Is的第i个过曝光图像；αi为第i个过曝光图像的曝光等级；βi为曝光平移参数；
此时，为求多重过曝光图像生出成问题转化成参数估计问题。将αi、βi分别看作神经网络训练过程中的权重以及偏置单元，此参数估计过程就可以当作深度回归问题处理，即通过最小化能量函数估计过曝光图片：
Figure BDA0003905205210000093
通过ResNet作为骨干网对αi和βi进行参数估计，确定曝光等级与水平偏置后生成过曝光图片。
本发明利用图像融合的方式对多重曝光图像进行融合，同时耦合超分辨率方法，降低融合过程中图像的退化程度。
为了进一步实施上述技术方案，每个多重耦合反馈模块MCFB包括G个聚合单元、重组单元和增强反馈单元；
每个聚合单元中包括m个1×1的卷积层与m个k×k的反卷积层分别用于卷积和反卷积滤波操作，且各个聚合单元中的卷积层以及反卷积层之间跳跃连接；
其中，第i个子网的第t个MCFB中，首个聚合单元中的卷积层将
Figure BDA0003905205210000094
Figure BDA0003905205210000095
和
Figure BDA0003905205210000096
作为输入，进行卷积后得到聚合的细化融合特征
Figure BDA0003905205210000097
发送给同个聚合单元中的反卷积层，反卷积层接收
Figure BDA0003905205210000098
进行反卷积滤波操作后生成对应的高分辨率特征映射
Figure BDA0003905205210000099
并将高分辨率特征映射
Figure BDA00039052052100000910
发送至下一个聚合单元，直至第g个聚合单元输出
Figure BDA00039052052100000911
重组单元包括m个1×1的卷积层以及m个k×k的卷积滤波器，其中，重组单元中的卷积层用于对通过跳跃连接汇聚的
Figure BDA0003905205210000101
进行线性重组后输出至卷积滤波器，卷积滤波器接收后进行下采样操作输出
Figure BDA0003905205210000102
增强反馈单元，用于接收
Figure BDA0003905205210000103
与
Figure BDA0003905205210000104
并进行融合后得到
Figure BDA0003905205210000105
并将
Figure BDA0003905205210000106
重新输入至聚合单元中替换细化融合特征
Figure BDA0003905205210000107
进行下一次的融合，直至迭代停止。
为了进一步实施上述技术方案，损失函数包括：
①在多重曝光过程中，生成的过曝光图片Ii，i∈{1,...,k}与地面真实图像Ifree之间的损失，通过均方损失函数MSEloss＝MSE(Ii,Ifree)来实现多重曝光图像的生成；
②地面真实图像Ifree与原低分辨率阴影图像的超分辨率重建图像ISR之间的损失，通过平均结构差异指数度量作为损失函数；本发明中的网络虽然针对的是阴影去除任务，但对单图像超分辨率重建任务同样适用。观察Ifree与ISR之间的损失的目的在于监督网络中SR部分的性能，以保证SR在网络中的可靠性。
③地面真实图像Ifree与曝光融合过后的超分辨率重建去阴影图像Iout之间的损失，通过最小化L1损失作为损失函数实现网络训练：
Figure BDA0003905205210000108
其中λi为权重系数，Loss指网络训练的总损失，L2为均方损失函数，LMS为平均结构差异指数，L1为L1损失函数。
需要进一步说明的是：
λ1λ2λ3分别指三部分损失中各自所占的权重，经过实验证明，当λ1λ2λ3分别为0.35，0.25，0.40时，去阴影效果最好。
由于本发明网络是端到端训练的，三种损失配以各自的权重相加为本阴影去除网络的总损失函数。通过最小化损失函数实现对网络的训练。对于各个损失函数的选择与对应权值的计算，将在下文的消融实验中进行实验分析。
基于图像融合与超分辨率的单图像阴影去除方法，包括以下步骤：
S1.获取阴影图像及其对应的阴影掩膜，进行N重曝光处理的过曝光图片，并将阴影图像及N张过曝光图片进行下采样；
S2.N+1张下采样图片
Figure BDA0003905205210000111
分别输入至N+1个子网，其中i＝0...N，i为0时，表示阴影图像的下采样图片
Figure BDA0003905205210000112
i大于0时，表示过曝光图片的下采样图片；
S3.提取
Figure BDA0003905205210000113
的低分辨率特征
Figure BDA0003905205210000114
S4.根据低分辨率特征
Figure BDA0003905205210000115
提取对应图像的超分辨率特征
Figure BDA0003905205210000116
S5.第i个子网的第t个MCFB获取
Figure BDA0003905205210000117
和
Figure BDA0003905205210000118
得到融合高分辨率特征
Figure BDA0003905205210000119
并输出至下一个MCFB中；直至第T个MCFB得到融合高分辨率特征
Figure BDA00039052052100001110
其中，
Figure BDA00039052052100001111
为第i个子网的第t-1个MCFB输出的融合高分辨率特征，
Figure BDA00039052052100001112
为第i-1个子网的第t-1个MCFB输出的融合高分辨率特征，
Figure BDA00039052052100001113
为第i+1个子网的第t-1个MCFB输出的融合高分辨率特征；
S6.根据不同的子网所输出的融合高分辨率特征，获取对应的融合超分辨率残差图像，并与对应图像
Figure BDA00039052052100001114
,的上采样图像进行元素加，生成对应具有融合特征的超分辨率图像
Figure BDA00039052052100001115
S7.融合所有重建模块R所输出的
Figure BDA00039052052100001116
得到超分辨率重建图像。
下面将通过具体实验来对本发明进行进一步说明：
1.数据集
ISTD数据集的训练集有1,330个阴影、无阴影和阴影掩膜的成对图像；测试集图像有540组。对于ISTD数据集，阴影图像与非阴影图像对之间在非阴影区域并不能保持一致，由于数据集采集过程中不可避免的误差。ISTD原论文中说明，在阴影与非阴影图像对采集存在时间间隔而导致模式差异。本发明使用中提供的方法，对ISTD数据集矫正，矫正后的数据集，本发明称其为ISTD+。为与此前方法对比，本论文将同样采用均方根误差(RMSE)作为模型的评价指标，分别讨论阴影区域、非阴影区域以及图像整体的RMSE。此前的方法往往对非阴影区域有所忽略，以牺牲无阴影区域的部分质量提高阴影去除效果，而这对图像的整体质量影响较大，不利于图像作为下一阶段任务的输入。所以，在考虑阴影区域RMSE的同时，考虑非阴影区域以及图像整体的RMSE是十分必要的。
2.训练细节
多重曝光网络中，过曝光图像的数量N为5。SR-MEF-net中MCFB的数量设置T为5。对于过曝光图像数量和MCFB数量等对网络性能的影响本发明将在消融实验中介绍。本发明的去阴影网络运用了图像超分辨率与图像融合方法，对SR-MEF-net网络的输入为高分辨率的多重曝光图像的降采样版本，本发明采用双三次插值的方法对HR图像进行降采样处理，采用的降采样因子分别为×2，×3，×4。每个数据集中的图像剪裁成40×40的图像块送入SR-MEF-net网络。采用ADAM优化器实现对整个网络的优化。初始学习率设置为0.0001，每个网络训练400个epoch。
3.结果分析
A.定量分析
与其他去阴影研究保持一致，本发明采用RMSE作为评价阴影去除网络性能的指标，包括阴影区域，非阴影区域以及整体图像的RMSE。此前的方法往往对非阴影区域有所忽略，以牺牲无阴影区域的部分质量以提高阴影去除效果，而这对图像的整体质量影响较大，或不利于图像作为下一阶段任务的输入。因此在考虑阴影区域RMSE的同时，考虑非阴影区域以及图像整体的RMSE是十分必要的。对于图像超分辨率重建任务，本发明采用峰值信噪比PSNR和结构相似度SSIM作为评价SR性能的指标。由于本发明的去阴影网络首次将超分辨率重建算法运用到图像去阴影任务中，对于网络输入图像有双三次插值的降采样图像尺寸变换操作，所以不能直接与其他去阴影模型进行数值比较。为公平比较，本发明对几种公开去阴影模型进行输入图像的降采样处理，对于图像重建，本发明采取的包括双三次差值和几种超分辨率算法在内的几种公开优秀算法。对于公开去阴影模型，本发明选取ST-CGAN、Deshadow-Net、DSC、Fu et.al、SP+M+D-net几种去阴影模型；对于超分辨率重建模型，本发明选取EDSR、RCAN、SRFBN三种算法以及bicubic共四种重建算法进行对照。对上述模型调试到最佳状态后，分别把每种超分辨率模型嵌入到去阴影模型中，在ISTD+数据集上逐一训练。PSNR以及SSIM越大越好，RMSE越小越好。如表1表2所示为ISTD+数据集上放大因子为×2时，描述超分辨率性能和去阴影性能的数据指标。
表1表示ISTD+数据集上放大因子为×2时，描述超分辨率性能的指标，分别为PSNR/SSIM，最优的结果加粗表示，次优的结果下划线。表2中描述去阴影性能的指标RMSE，分别为每种shadow remove+SR方法对应的RMSE-Shadow\RSME-Non\RMSE-All,最优的结果加粗表示，次优的结果下划线。
表1
Figure BDA0003905205210000131
表2
Figure BDA0003905205210000141
需要说明的是，本发明以图像阴影去除以及图像超分辨率重建为共同目标，不能与其他state-of-the-art methods方法直接进行数据比较。根据表1表2数据，可以发现本发明模型较其他方法有显著性能提升，在SR表现上，本发明的方法比次优方法PSNR提高了2.333dB，SSIM提高了0.0318。在阴影去除表现上，本发明的方法比次优方法RMSE-Shadow降低了8.0730，RSME-Non降低了4.041，RMSE-All降低了5.3393。
表3表示ISTD+数据集上放大因子为×3,×4时，描述超分辨率性能的指标，分别为shadow remove+SR方法对应的PSNR和SSIM,最优的结果加粗表示，次优的结果下划线。
表4表示ISTD+数据集上放大因子为×3时，描述超分辨率性能的指标，分别为RMSE-Shadow\RSME-Non\RMSE-All,最优的结果加粗表示，次优的结果下划线；
表5表示ISTD+数据集上放大因子为×4时，描述超分辨率性能的指标，分别为RMSE-Shadow\RSME-Non\RMSE-All,最优的结果加粗表示，次优的结果下划线，RMSE-All降低了5.3393。
表3
Figure BDA0003905205210000151
表4
Figure BDA0003905205210000152
Figure BDA0003905205210000161
表5
Figure BDA0003905205210000162
表3、4、5为ISTD+数据集上放大因子为×3，×4时，描述超分辨率性能和去阴影性能的数据指标。可以发现本发明的模型较其他方法有显著性能提升，在SR表现上，放大倍数×3时，本发明的方法比次优方法PSNR提高了2.247dB，SSIM提高了0.0315，在阴影去除表现上，RMSE-Shadow降低了7.6895，RSME-Non降低了3.8724，RMSE-All降低了5.4183。放大倍数×4时，本发明的方法比次优方法PSNR提高了2.195dB，SSIM提高了0.0316,在阴影去除表现上，本发明的方法比次优方法RMSE-Shadow降低了7.1522，RSME-Non降低了3.3222，RMSE-All降低了5.7586。
B.定量分析
图3-5分别为ISTD+数据集上放大因子为×2，×3，×4时不同方法的阴影去除超分辨率重建图像。从图3中可以观察到，放大因子为×2时，本发明的方法能够在有效去除阴影的同时最大程度地保持图像质量。其他方法或不能完全去除阴影，或在阴影去除过程中产生了不理想的模糊和噪声。
从图4中可以观察到，随着图像放大尺寸的增加到×3，本发明的方法展现出更有优势的性能，能够在有效去除阴影的同时，还原HR图像的纹理细节以及边缘细节。如图4所示，本发明的方法能够有效还原井盖的花纹纹理，同时不产生噪声和模糊。从图5中可以观察到，随着图像放大尺寸的增加到×4，同时当阴影颜色较深时，本发明的方法同样能够较有效地完成阴影去除任务，同时重建图像的细节，如图所示，本发明的方法恢复砖块更锋利的边缘。而其他方法的阴影去除效果不够理想，且输出的图像有很大程度的混叠与失真。这证明了基于MEF与SR方法共同协作对于阴影去除任务的有效性，在MEF方法完成阴影去除的同时，SR方法能够挖掘阴影底层的细节纹理，输出更高质量的shadow-free图像。
4.消融实验
(1)MCFB数量
为证明MCFB的有效性，本发明在网络中调整MCFB的数量，分别设置为1-5个MCFB，对每个网络重新训练观察结果如表6所示。
表6 MCFB数量对网络性能的影响
Figure BDA0003905205210000171
Figure BDA0003905205210000181
观察表格能够得出结论，各项数据指标随着MCFB数量的增加而展现更优的结果，这证明了MCFB所使用的反馈融合机制对阴影去除任务的有效性。值得指出的是，根据实验数据可以发现随着MCFB数量的增加，各项数据的效果提升减缓，这是因为MCFB已经采集到足够多的融合特征。同时，MCFB的数量必然影响的网络的承载量，考虑性能与计算量之间的权衡，建议根据数据集自身的特性选择MCFB的数量。在定性实验分析与定量实验分析中，本发明选择表现最好的MCFB数量为5的去阴影网络与其他方法对比。为了减少训练成本，本发明选择MCFB数量为3进行其它消融实验的研究。
(2)过曝光阴影图像的数量
为观察多重曝光网络中，过曝光阴影图像的数量对后续网络输入的影响，本发明对比了1-5张过曝光图像作为SR-MEF-net输入的结果，如表7所示。
表7过曝光阴影图像数量对网络性能的影响
过曝光图像 N＝1 N＝2 N＝3 N＝4 N＝5
PSNR 22.257 22.490 22.302 22.889 22.961
SSIM 0.8196 0.8257 0.8305 0.8328 0.8346
RMSE-Shadow 30.224 29.861 29.273 28.626 28.134
RMSE-No<sub>n</sub>-Sh<sub>a</sub>do<sub>w</sub> 15.361 14.824 14.546 14.244 14.166
RMSE-All 19.700 19.179 18.694 18.317 18.166
观察表格能够得出结论，各项数据指标随着过曝光图像数量的增加而展现更优的结果，这表明更多的输入有利于网络采集到更多有利信息。也说明单次曝光或阴影图像单词分解不能完全达到理想的效果。同样，随着过曝光图像输入数量的增加，各项数据的效果提升减缓，这是因为网络已经采集到足够多的融合特征。同时，过曝光图像输入数量必然影响的网络的承载量，考虑性能与计算量之间的权衡，建议根据数据集自身的特性选择过曝光图像输入数量。在定性实验分析与定量实验分析中，本发明选择表现最好的过曝光图像输入数量为5的去阴影网络与其他方法对比。为了减少训练成本，本发明选择过曝光图像数量为3进行其它消融实验的研究。
(3)图像融合的权重
由于最终的超分辨率阴影去除图像是由若干个子网各自输出的子图像加权融合成的，故有必要讨论融合权重对融合效果的影响。为此，本发明在过曝光图像N＝3时，对4个子网的输出图像
Figure BDA0003905205210000191
分别设置不同权重进行消融实验，记原LR阴影图像对应子网的输出
Figure BDA0003905205210000192
为ω0，过曝光LR图像对应子网的输出
Figure BDA0003905205210000193
分别为ω1、ω2、ω3。如表8所示，为不同权重下对网络性能的影响。
表8过曝光阴影图像数量对网络性能的影响
Figure BDA0003905205210000194
分析表8可知，当分别设置ω0/ω1/ω2/ω3为0.25/0.25/0.25/0.25以及0.4/0.2/0.2/0.2时，与其他图像相比，ω0对最终输入的影响更大，进而设计了ω0权重极端大小时的网络，发现ω0过大或过小都不会产生最理想的效果，最终本发明确定ω0为0.4。随后分析ω1/ω2/ω3对网络性能的影响，设计了ω1/ω2/ω3了递增以及递减的实验，发现ω1/ω2/ω3取统一值的效果要略优于其他取值。除此之外取递减权重的结果要优于递增权重，本发明认为这是由于越靠近first子网的子网，其输出更多地耦合
Figure BDA0003905205210000195
的信息。
综上，本发明提出基于图像融合与超分辨率的单图像阴影去除网络及其方法用于图像阴影去除。通过低分辨率的多重过曝光图像作为网络输入，以耦合反馈的方法将多重图像进行融合生成去除阴影后的shadow-free图像，同时能有效减少图像失真，最终输出无阴影的超分辨重建图像。在公共数据集上得到验证，并证明优于部分方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.基于图像融合与超分辨率的单图像阴影去除网络，其特征在于，包括：输入模块、N+1个子网和输出模块；
输入模块，用于获取阴影图像及其对应的阴影掩膜，进行N重曝光处理的过曝光图片，并将阴影图像及N张过曝光图片经过下采样后输入至对应子网中；
N+1个子网分别对应N+1张下采样图片
Figure FDA0003905205200000011
其中i＝0...N，i为0时，表示阴影图像的下采样图片
Figure FDA0003905205200000012
i大于0时，表示过曝光图片的下采样图片；每个子网中均包括初级特征提取模块FEB、超分辨率模块SRB、融合反馈网络模型和重建模块R并依次连接；
初级特征提取模块FEB，用于提取
Figure FDA0003905205200000013
的低分辨率特征
Figure FDA0003905205200000014
超分辨率模块SRB，用于根据低分辨率特征
Figure FDA0003905205200000015
提取对应图像的超分辨率特征
Figure FDA0003905205200000016
并根据用户选择将超分辨率特征
Figure FDA0003905205200000017
分别输入至重建模块R或融合反馈网络模型；
每个融合反馈网络模型均包括T个多重耦合反馈模块MCFB依次连接，其中第i个子网的第t个MCFB，用于获取
Figure FDA0003905205200000018
和
Figure FDA0003905205200000019
得到融合高分辨率特征
Figure FDA00039052052000000110
并输出至下一个MCFB中；直至第T个MCFB得到融合高分辨率特征
Figure FDA00039052052000000111
并输入至同一个子网中的重建模块R中，其中，
Figure FDA00039052052000000112
为第i个子网的第t-1个MCFB输出的融合高分辨率特征，
Figure FDA00039052052000000113
为第i-1个子网的第t-1个MCFB输出的融合高分辨率特征，
Figure FDA00039052052000000114
为第i+1个子网的第t-1个MCFB输出的融合高分辨率特征；
重建模块R，用于接收超分辨率模块SRB所输入的超分辨率特征或融合反馈网络模型所输入的融合高分辨率特征，其中根据超分辨率模块SRB直接输入的超分辨率特征得到对应的超分辨率残差图像，根据对应融合反馈网络模型所输入的融合高分辨率特征，获取对应的融合超分辨率残差图像，并将所获取到的超分辨率残差图像或融合超分辨率残差图像分别与对应图像
Figure FDA0003905205200000021
,的上采样图像进行元素加，分别生成原低分辨率阴影图像的超分辨率重建图像ISR或对应的具有融合特征的超分辨率图像
Figure FDA0003905205200000022
输出模块，用于融合所有重建模块R所输出的
Figure FDA0003905205200000023
得到超分辨率重建图像Iout：
Figure FDA0003905205200000024
ωi为
Figure FDA0003905205200000025
各自对应的权重，Iout为最终输出的阴影去除后的超分辨率重建图像。
2.根据权利要求1所述的基于图像融合与超分辨率的单图像阴影去除网络，其特征在于，输入模块获取N张过曝光图片的内容包括：
过曝光图片通过对阴影图像的多通道加权生成：
Figure FDA0003905205200000026
其中，Is为阴影图像；
Figure FDA0003905205200000027
为Is的第i个过曝光图像；αi为第i个过曝光图像的曝光等级；βi为曝光平移参数；
将αi、βi分别看作神经网络训练过程中的权重以及偏置单元，则通过最小化能量函数估计过曝光图片：
Figure FDA0003905205200000028
通过ResNet作为骨干网对αi和βi进行参数估计，确定曝光等级与水平偏置后生成过曝光图片。
3.根据权利要求1所述的基于图像融合与超分辨率的单图像阴影去除网络，其特征在于，每个多重耦合反馈模块MCFB包括G个聚合单元、重组单元和增强反馈单元；
每个聚合单元中包括m个1×1的卷积层与m个k×k的反卷积层分别用于卷积和反卷积滤波操作，且各个聚合单元中的卷积层以及反卷积层之间跳跃连接；
其中，第i个子网的第t个MCFB中，首个聚合单元中的卷积层将
Figure FDA0003905205200000031
Figure FDA0003905205200000032
和
Figure FDA0003905205200000033
作为输入，进行卷积后得到聚合的细化融合特征
Figure FDA0003905205200000034
发送给同个聚合单元中的反卷积层，反卷积层接收
Figure FDA0003905205200000035
进行反卷积滤波操作后生成对应的高分辨率特征映射
Figure FDA0003905205200000036
并将高分辨率特征映射
Figure FDA0003905205200000037
发送至下一个聚合单元，直至第g个聚合单元输出
Figure FDA0003905205200000038
重组单元包括m个1×1的卷积层以及m个k×k的卷积滤波器，其中，重组单元中的卷积层用于对通过跳跃连接汇聚的
Figure FDA0003905205200000039
进行线性重组后输出至卷积滤波器，卷积滤波器接收后进行下采样操作输出
Figure FDA00039052052000000310
增强反馈单元，用于接收
Figure FDA00039052052000000311
与
Figure FDA00039052052000000312
并进行融合后得到
Figure FDA00039052052000000313
并将
Figure FDA00039052052000000314
重新输入至聚合单元中替换细化融合特征
Figure FDA00039052052000000315
进行下一次的融合，直至迭代停止。
4.根据权利要求1所述的基于图像融合与超分辨率的单图像阴影去除网络，其特征在于，损失函数包括：
①在多重曝光过程中，生成的过曝光图片Ii，i∈{1,...,k}与地面真实图像Ifree之间的损失，通过均方损失函数MSEloss＝MSE(Ii,Ifree)来实现多重曝光图像的生成；
②地面真实图像Ifree与原低分辨率阴影图像的超分辨率重建图像ISR之间的损失，通过平均结构差异指数度量作为损失函数；
③地面真实图像Ifree与曝光融合过后的超分辨率重建去阴影图像Iout之间的损失，通过最小化L1损失作为损失函数实现网络训练：
Figure FDA00039052052000000316
其中λi为权重系数，Loss指网络训练的总损失，L2为均方损失函数，LMS为平均结构差异指数，L1为L1损失函数。
5.基于图像融合与超分辨率的单图像阴影去除方法，其特征在于，包括以下步骤：
S1.获取阴影图像及其对应的阴影掩膜，进行N重曝光处理的过曝光图片，并将阴影图像及N张过曝光图片进行下采样；
S2.N+1张下采样图片
Figure FDA0003905205200000041
分别输入至N+1个子网，其中i＝0...N，i为0时，表示阴影图像的下采样图片
Figure FDA0003905205200000042
i大于0时，表示过曝光图片的下采样图片；
S3.提取
Figure FDA0003905205200000043
的低分辨率特征
Figure FDA0003905205200000044
S4.根据低分辨率特征
Figure FDA0003905205200000045
提取对应图像的超分辨率特征
Figure FDA0003905205200000046
S5.第i个子网的第t个MCFB获取
Figure FDA0003905205200000047
和
Figure FDA0003905205200000048
得到融合高分辨率特征
Figure FDA0003905205200000049
并输出至下一个MCFB中；直至第T个MCFB得到融合高分辨率特征
Figure FDA00039052052000000410
其中，
Figure FDA00039052052000000411
为第i个子网的第t-1个MCFB输出的融合高分辨率特征，
Figure FDA00039052052000000412
为第i-1个子网的第t-1个MCFB输出的融合高分辨率特征，
Figure FDA00039052052000000413
为第i+1个子网的第t-1个MCFB输出的融合高分辨率特征；
S6.根据不同的子网所输出的融合高分辨率特征，获取对应的融合超分辨率残差图像，并与对应图像
Figure FDA00039052052000000414
的上采样图像进行元素加，生成对应具有融合特征的超分辨率图像
Figure FDA00039052052000000415
S7.融合所有重建模块R所输出的
Figure FDA00039052052000000416
得到超分辨率重建图像。
CN202211304407.4A 2022-10-24 2022-10-24 基于图像融合与超分辨率的单图像阴影去除网络及其方法 Withdrawn CN115619675A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211304407.4A CN115619675A (zh) 2022-10-24 2022-10-24 基于图像融合与超分辨率的单图像阴影去除网络及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211304407.4A CN115619675A (zh) 2022-10-24 2022-10-24 基于图像融合与超分辨率的单图像阴影去除网络及其方法

Publications (1)

Publication Number Publication Date
CN115619675A true CN115619675A (zh) 2023-01-17

Family

ID=84864433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211304407.4A Withdrawn CN115619675A (zh) 2022-10-24 2022-10-24 基于图像融合与超分辨率的单图像阴影去除网络及其方法

Country Status (1)

Country Link
CN (1) CN115619675A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523803A (zh) * 2023-07-04 2023-08-01 宁德时代新能源科技股份有限公司 图像处理方法、阴影去除方法、装置、设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523803A (zh) * 2023-07-04 2023-08-01 宁德时代新能源科技股份有限公司 图像处理方法、阴影去除方法、装置、设备和存储介质
CN116523803B (zh) * 2023-07-04 2023-11-14 宁德时代新能源科技股份有限公司 图像处理方法、阴影去除方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
Guo et al. Deep wavelet prediction for image super-resolution
CN107507134B (zh) 基于卷积神经网络的超分辨率方法
CN108765511B (zh) 基于深度学习的超声图像超分辨率重建方法
CN112419184B (zh) 一种综合局部信息和全局信息的空间注意力图像去噪方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN111681166B (zh) 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
CN111932461B (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN113436076B (zh) 逐步融合特征的图像超分辨率重建方法及电子设备
JPWO2011111819A1 (ja) 画像処理装置、画像処理プログラム、および、画像を生成する方法
CN109767389B (zh) 基于局部和非局部联合先验的自适应加权双范数遥感图像盲超分辨重建方法
CN113781308A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN115619675A (zh) 基于图像融合与超分辨率的单图像阴影去除网络及其方法
CN115953294A (zh) 一种基于浅层通道分离与聚合的单图像超分辨率重建方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN116563100A (zh) 一种基于内核引导网络的盲超分辨率重建方法
CN111553861A (zh) 一种图像超分辨率重构方法、装置、设备及可读存储介质
US20150324953A1 (en) Method and apparatus for performing single-image super-resolution
CN109272450A (zh) 一种基于卷积神经网络的图像超分方法
George Robust single image super resolution using neighbor embedding and fusion in wavelet domain
CN117315735A (zh) 基于先验信息与注意力机制的人脸超分辨率重建方法
CN114519670A (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN106846286A (zh) 基于多种互补先验的视频超分辨率重建算法
CN113628114A (zh) 一种双通道稀疏编码的图像超分辨率重建方法
Baek et al. Single image super-resolution using frequency-dependent convolutional neural networks
Liu et al. Multiple Residual Learning Network for Single Image Super-Resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20230117