CN115619675A - 基于图像融合与超分辨率的单图像阴影去除网络及其方法 - Google Patents
基于图像融合与超分辨率的单图像阴影去除网络及其方法 Download PDFInfo
- Publication number
- CN115619675A CN115619675A CN202211304407.4A CN202211304407A CN115619675A CN 115619675 A CN115619675 A CN 115619675A CN 202211304407 A CN202211304407 A CN 202211304407A CN 115619675 A CN115619675 A CN 115619675A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- shadow
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000002776 aggregation Effects 0.000 claims description 18
- 238000004220 aggregation Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 10
- 238000005215 recombination Methods 0.000 claims description 8
- 230000006798 recombination Effects 0.000 claims description 8
- 238000010168 coupling process Methods 0.000 claims description 7
- 238000005859 coupling reaction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000006116 polymerization reaction Methods 0.000 claims description 6
- 230000008878 coupling Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 abstract description 3
- 238000006731 degradation reaction Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- LQERIDTXQFOHKA-UHFFFAOYSA-N nonadecane Chemical compound CCCCCCCCCCCCCCCCCCC LQERIDTXQFOHKA-UHFFFAOYSA-N 0.000 description 16
- 238000002474 experimental method Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000002679 ablation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于图像融合与超分辨率的单图像阴影去除网络及其方法,模型包括:输入模块、N+1个子网和输出模块;方法包括:获取阴影图像及其对应的阴影掩膜,进行N重曝光处理的过曝光图片,并将阴影图像及N张过曝光图片进行下采样;N+1张下采样图片分别输入至N+1个子网;提取的低分辨率特征根据低分辨率特征提取对应图像的超分辨率特征得到融合高分辨率特征并输出至下一个MCFB中;直至第T个MCFB得到融合高分辨率特征获取对应的融合超分辨率残差图像,并与对应图像的上采样图像进行元素加,生成对应具有融合特征的超分辨率图像融合所有重建模块R所输出的得到超分辨率重建图像。本发明能够在有效去除阴影的同时,避免图像质量的退化。
Description
技术领域
本发明涉及图像处理技术领域,更具体的说是涉及一种基于图像融合与超分辨率的单图像阴影去除网络及其方法。
背景技术
在大多数自然图像中,当光源被遮挡时,阴影就会出现。阴影去除的研究重难点在于所设计的算法不仅关注阴影的去除,还要重建阴影覆盖下的背景亮度、色彩、以及纹理,同时保留非阴影覆盖区域不受影响。然而阴影可以覆盖场景中的任何区域,并且可能包含多种多样的纹理,这给相关方法的研究带来了困难。
现存的阴影去除技术存在缺陷,首先,针对阴影去除任务本身的完成度来说,图像退化严重即阴影颜色较深时,算法模型阴影去除效果不佳;阴影图像中,阴影边缘与阴影中心区域的阴影模式不同,目前模型的因阴影边界去除效果尚有待提高,难以生成无迹的去阴影图像。其次,针对阴影去除任务的生成结果质量来说,以当前阴影去除模型的一大研究方向——基于GAN的阴影去除方法为例,这类方法针对复杂背景下的阴影去除效果不佳,这导致阴影去除结果成像背景混乱,产生模糊与伪影,往往不能得到清晰且高质量的无阴影图像;同时,以文献为例,作为成对输入训练样本的网络,此类模型多采用基于像素融合,易忽略局部平滑性,产生噪声;更重要的是,目前许多方法都以牺牲无阴影区域图像质量以提高阴影去除效率,使整张图像退化严重。
因此,如何提供一种高效的基于图像融合与超分辨率的单图像阴影去除网络及其方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种基于图像融合与超分辨率的单图像阴影去除网络及其方法。
为了实现上述目的,本发明采用如下技术方案:
基于图像融合与超分辨率的单图像阴影去除网络,包括:输入模块、N+1个子网和输出模块;
输入模块,用于获取阴影图像及其对应的阴影掩膜,进行N重曝光处理的过曝光图片,并将阴影图像及N张过曝光图片经过下采样后输入至对应子网中;
N+1个子网分别对应N+1张下采样图片其中i=0...N,i为0时,表示阴影图像的下采样图片i大于0时,表示过曝光图片的下采样图片;每个子网中均包括初级特征提取模块FEB、超分辨率模块SRB、融合反馈网络模型和重建模块R并依次连接;
每个融合反馈网络模型均包括T个多重耦合反馈模块MCFB依次连接,其中第i个子网的第t个MCFB,用于获取和得到融合高分辨率特征并输出至下一个MCFB中;直至第T个MCFB得到融合高分辨率特征并输入至同一个子网中的重建模块R中,其中,为第i个子网的第t-1个MCFB输出的融合高分辨率特征,为第i-1个子网的第t-1个MCFB输出的融合高分辨率特征,为第i+1个子网的第t-1个MCFB输出的融合高分辨率特征;
重建模块R,用于接收超分辨率模块SRB所输入的超分辨率特征或融合反馈网络模型所输入的融合高分辨率特征,其中根据超分辨率模块SRB直接输入的超分辨率特征得到对应的超分辨率残差图像,根据对应融合反馈网络模型所输入的融合高分辨率特征,获取对应的融合超分辨率残差图像,并将所获取到的超分辨率残差图像或融合超分辨率残差图像分别与对应图像,的上采样图像进行元素加,分别生成原低分辨率阴影图像的超分辨率重建图像ISR或对应的具有融合特征的超分辨率图像
优选的,输入模块获取N张过曝光图片的内容包括:
过曝光图片通过对阴影图像的多通道加权生成:
将αi、βi分别看作神经网络训练过程中的权重以及偏置单元,则通过最小化能量函数估计过曝光图片:
通过ResNet作为骨干网对αi和βi进行参数估计,确定曝光等级与水平偏置后生成过曝光图片。
优选的,每个多重耦合反馈模块MCFB包括G个聚合单元、重组单元和增强反馈单元;
每个聚合单元中包括m个1×1的卷积层与m个k×k的反卷积层分别用于卷积和反卷积滤波操作,且各个聚合单元中的卷积层以及反卷积层之间跳跃连接;
其中,第i个子网的第t个MCFB中,首个聚合单元中的卷积层将 和作为输入,进行卷积后得到聚合的细化融合特征发送给同个聚合单元中的反卷积层,反卷积层接收进行反卷积滤波操作后生成对应的高分辨率特征映射并将高分辨率特征映射发送至下一个聚合单元,直至第g个聚合单元输出
优选的,损失函数包括:
①在多重曝光过程中,生成的过曝光图片Ii,i∈{1,...,k}与地面真实图像Ifree之间的损失,通过均方损失函数MSEloss=MSE(Ii,Ifree)来实现多重曝光图像的生成;
②地面真实图像Ifree与原低分辨率阴影图像的超分辨率重建图像ISR之间的损失,通过平均结构差异指数度量作为损失函数;
③地面真实图像Ifree与曝光融合过后的超分辨率重建去阴影图像Iout之间的损失,通过最小化L1损失作为损失函数实现网络训练:
其中λi为权重系数,其中λi为权重系数,Loss指网络训练的总损失,L2为均方损失函数,LMS为平均结构差异指数,L1为L1损失函数。
基于图像融合与超分辨率的单图像阴影去除方法,包括以下步骤:
S1.获取阴影图像及其对应的阴影掩膜,进行N重曝光处理的过曝光图片,并将阴影图像及N张过曝光图片进行下采样;
S5.第i个子网的第t个MCFB获取 和得到融合高分辨率特征并输出至下一个MCFB中;直至第T个MCFB得到融合高分辨率特征其中,为第i个子网的第t-1个MCFB输出的融合高分辨率特征,为第i-1个子网的第t-1个MCFB输出的融合高分辨率特征,为第i+1个子网的第t-1个MCFB输出的融合高分辨率特征;
经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种基于图像融合与超分辨率的单图像阴影去除网络及其方法,用于图像阴影去除,通过LR多重过曝光图像作为网络输入,以耦合反馈的方法将多重图像进行融合生成阴影去除图像,同时能有效减少图像失真,最终输出无阴影的超分辨重建图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明提供的基于图像融合与超分辨率的单图像阴影去除网络结构示意图;
图2为本发明提供的融合反馈网络模型的结构示意图;
图3为本发明实施例提供的数据集ISTD+中尺寸因子×2的视觉对比示意图;
图4为本发明实施例提供的数据集ISTD+中尺寸因子×3的视觉对比示意图;
图5为本发明实施例提供的数据集ISTD+中尺寸因子×4的视觉对比示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了基于图像融合与超分辨率的单图像阴影去除网络,如图1所示,包括:输入模块、N+1个子网和输出模块;
输入模块,用于获取阴影图像及其对应的阴影掩膜,进行N重曝光处理的过曝光图片,并将阴影图像及N张过曝光图片经过下采样后输入至对应子网中;
N+1个子网分别对应N+1张下采样图片其中i=0...N,i为0时,表示阴影图像的下采样图片i大于0时,表示过曝光图片的下采样图片;每个子网中均包括初级特征提取模块FEB、超分辨率模块SRB、融合反馈网络模型和重建模块R并依次连接;
如图2所示,每个融合反馈网络模型均包括T个多重耦合反馈模块MCFB依次连接,其中第i个子网的第t个MCFB,用于获取和得到融合高分辨率特征并输出至下一个MCFB中;直至第T个MCFB得到融合高分辨率特征并输入至同一个子网中的重建模块R中,其中,为第i个子网的第t-1个MCFB输出的融合高分辨率特征,为第i-1个子网的第t-1个MCFB输出的融合高分辨率特征,为第i+1个子网的第t-1个MCFB输出的融合高分辨率特征;
重建模块R,用于接收超分辨率模块SRB所输入的超分辨率特征或融合反馈网络模型所输入的融合高分辨率特征,其中根据超分辨率模块SRB直接输入的超分辨率特征得到对应的超分辨率残差图像,根据对应融合反馈网络模型所输入的融合高分辨率特征,获取对应的融合超分辨率残差图像,并将所获取到的超分辨率残差图像或融合超分辨率残差图像分别与对应图像,的上采样图像进行元素加,分别生成原低分辨率阴影图像的超分辨率重建图像ISR或对应的具有融合特征的超分辨率图像
需要说明的是:图像阴影的存在与图像分辨率是两种影响图像质量的重要因素,图像去阴影与图像超分辨率任务作为计算机视觉的两大任务一直各自在其领域发展。这两类任务可以有效结合,即较好的基于图像融合的去阴影结果可以提高超分辨率性能,同时较好的超分辨率结果可以提高基于图像融合的去阴影性能。在阴影颜色较深时,图像超分辨率SR方法能够挖掘阴影下的图像细节纹理等高级特征,恢复出高质量的无阴影图像。然而,实验证明将两个模块简单级联并不能产生理想的输出结果,关键在于如何根据他们自身的内在关系建立一种同时提高基于图像融合的去阴影效果与超分辨率结果的方法。为此,本发明提出上述基于图像融合与超分辨率的单图像阴影去除网络,旨在充分利用图像融合与超分辨率之间的交互与协作,以一对阴影与其对应的掩膜图像生成一幅高分辨率的去阴影图像。
在该网络中,用户可按自身需求选择有无阴影的超分辨率图像,其中直接输入至重建模块,输出为未经过特征融合的阴影图像的超分辨率图像;经过MCFB之后再经过重建模块得到的输出为去阴影之后的无阴影超分辨率图像。
为了进一步实施上述技术方案,输入模块获取N张过曝光图片的内容包括:
过曝光图片通过对阴影图像的多通道加权生成:
此时,为求多重过曝光图像生出成问题转化成参数估计问题。将αi、βi分别看作神经网络训练过程中的权重以及偏置单元,此参数估计过程就可以当作深度回归问题处理,即通过最小化能量函数估计过曝光图片:
通过ResNet作为骨干网对αi和βi进行参数估计,确定曝光等级与水平偏置后生成过曝光图片。
本发明利用图像融合的方式对多重曝光图像进行融合,同时耦合超分辨率方法,降低融合过程中图像的退化程度。
为了进一步实施上述技术方案,每个多重耦合反馈模块MCFB包括G个聚合单元、重组单元和增强反馈单元;
每个聚合单元中包括m个1×1的卷积层与m个k×k的反卷积层分别用于卷积和反卷积滤波操作,且各个聚合单元中的卷积层以及反卷积层之间跳跃连接;
其中,第i个子网的第t个MCFB中,首个聚合单元中的卷积层将 和作为输入,进行卷积后得到聚合的细化融合特征发送给同个聚合单元中的反卷积层,反卷积层接收进行反卷积滤波操作后生成对应的高分辨率特征映射并将高分辨率特征映射发送至下一个聚合单元,直至第g个聚合单元输出
为了进一步实施上述技术方案,损失函数包括:
①在多重曝光过程中,生成的过曝光图片Ii,i∈{1,...,k}与地面真实图像Ifree之间的损失,通过均方损失函数MSEloss=MSE(Ii,Ifree)来实现多重曝光图像的生成;
②地面真实图像Ifree与原低分辨率阴影图像的超分辨率重建图像ISR之间的损失,通过平均结构差异指数度量作为损失函数;本发明中的网络虽然针对的是阴影去除任务,但对单图像超分辨率重建任务同样适用。观察Ifree与ISR之间的损失的目的在于监督网络中SR部分的性能,以保证SR在网络中的可靠性。
③地面真实图像Ifree与曝光融合过后的超分辨率重建去阴影图像Iout之间的损失,通过最小化L1损失作为损失函数实现网络训练:
其中λi为权重系数,Loss指网络训练的总损失,L2为均方损失函数,LMS为平均结构差异指数,L1为L1损失函数。
需要进一步说明的是:
λ1λ2λ3分别指三部分损失中各自所占的权重,经过实验证明,当λ1λ2λ3分别为0.35,0.25,0.40时,去阴影效果最好。
由于本发明网络是端到端训练的,三种损失配以各自的权重相加为本阴影去除网络的总损失函数。通过最小化损失函数实现对网络的训练。对于各个损失函数的选择与对应权值的计算,将在下文的消融实验中进行实验分析。
基于图像融合与超分辨率的单图像阴影去除方法,包括以下步骤:
S1.获取阴影图像及其对应的阴影掩膜,进行N重曝光处理的过曝光图片,并将阴影图像及N张过曝光图片进行下采样;
S5.第i个子网的第t个MCFB获取和得到融合高分辨率特征并输出至下一个MCFB中;直至第T个MCFB得到融合高分辨率特征其中,为第i个子网的第t-1个MCFB输出的融合高分辨率特征,为第i-1个子网的第t-1个MCFB输出的融合高分辨率特征,为第i+1个子网的第t-1个MCFB输出的融合高分辨率特征;
下面将通过具体实验来对本发明进行进一步说明:
1.数据集
ISTD数据集的训练集有1,330个阴影、无阴影和阴影掩膜的成对图像;测试集图像有540组。对于ISTD数据集,阴影图像与非阴影图像对之间在非阴影区域并不能保持一致,由于数据集采集过程中不可避免的误差。ISTD原论文中说明,在阴影与非阴影图像对采集存在时间间隔而导致模式差异。本发明使用中提供的方法,对ISTD数据集矫正,矫正后的数据集,本发明称其为ISTD+。为与此前方法对比,本论文将同样采用均方根误差(RMSE)作为模型的评价指标,分别讨论阴影区域、非阴影区域以及图像整体的RMSE。此前的方法往往对非阴影区域有所忽略,以牺牲无阴影区域的部分质量提高阴影去除效果,而这对图像的整体质量影响较大,不利于图像作为下一阶段任务的输入。所以,在考虑阴影区域RMSE的同时,考虑非阴影区域以及图像整体的RMSE是十分必要的。
2.训练细节
多重曝光网络中,过曝光图像的数量N为5。SR-MEF-net中MCFB的数量设置T为5。对于过曝光图像数量和MCFB数量等对网络性能的影响本发明将在消融实验中介绍。本发明的去阴影网络运用了图像超分辨率与图像融合方法,对SR-MEF-net网络的输入为高分辨率的多重曝光图像的降采样版本,本发明采用双三次插值的方法对HR图像进行降采样处理,采用的降采样因子分别为×2,×3,×4。每个数据集中的图像剪裁成40×40的图像块送入SR-MEF-net网络。采用ADAM优化器实现对整个网络的优化。初始学习率设置为0.0001,每个网络训练400个epoch。
3.结果分析
A.定量分析
与其他去阴影研究保持一致,本发明采用RMSE作为评价阴影去除网络性能的指标,包括阴影区域,非阴影区域以及整体图像的RMSE。此前的方法往往对非阴影区域有所忽略,以牺牲无阴影区域的部分质量以提高阴影去除效果,而这对图像的整体质量影响较大,或不利于图像作为下一阶段任务的输入。因此在考虑阴影区域RMSE的同时,考虑非阴影区域以及图像整体的RMSE是十分必要的。对于图像超分辨率重建任务,本发明采用峰值信噪比PSNR和结构相似度SSIM作为评价SR性能的指标。由于本发明的去阴影网络首次将超分辨率重建算法运用到图像去阴影任务中,对于网络输入图像有双三次插值的降采样图像尺寸变换操作,所以不能直接与其他去阴影模型进行数值比较。为公平比较,本发明对几种公开去阴影模型进行输入图像的降采样处理,对于图像重建,本发明采取的包括双三次差值和几种超分辨率算法在内的几种公开优秀算法。对于公开去阴影模型,本发明选取ST-CGAN、Deshadow-Net、DSC、Fu et.al、SP+M+D-net几种去阴影模型;对于超分辨率重建模型,本发明选取EDSR、RCAN、SRFBN三种算法以及bicubic共四种重建算法进行对照。对上述模型调试到最佳状态后,分别把每种超分辨率模型嵌入到去阴影模型中,在ISTD+数据集上逐一训练。PSNR以及SSIM越大越好,RMSE越小越好。如表1表2所示为ISTD+数据集上放大因子为×2时,描述超分辨率性能和去阴影性能的数据指标。
表1表示ISTD+数据集上放大因子为×2时,描述超分辨率性能的指标,分别为PSNR/SSIM,最优的结果加粗表示,次优的结果下划线。表2中描述去阴影性能的指标RMSE,分别为每种shadow remove+SR方法对应的RMSE-Shadow\RSME-Non\RMSE-All,最优的结果加粗表示,次优的结果下划线。
表1
表2
需要说明的是,本发明以图像阴影去除以及图像超分辨率重建为共同目标,不能与其他state-of-the-art methods方法直接进行数据比较。根据表1表2数据,可以发现本发明模型较其他方法有显著性能提升,在SR表现上,本发明的方法比次优方法PSNR提高了2.333dB,SSIM提高了0.0318。在阴影去除表现上,本发明的方法比次优方法RMSE-Shadow降低了8.0730,RSME-Non降低了4.041,RMSE-All降低了5.3393。
表3表示ISTD+数据集上放大因子为×3,×4时,描述超分辨率性能的指标,分别为shadow remove+SR方法对应的PSNR和SSIM,最优的结果加粗表示,次优的结果下划线。
表4表示ISTD+数据集上放大因子为×3时,描述超分辨率性能的指标,分别为RMSE-Shadow\RSME-Non\RMSE-All,最优的结果加粗表示,次优的结果下划线;
表5表示ISTD+数据集上放大因子为×4时,描述超分辨率性能的指标,分别为RMSE-Shadow\RSME-Non\RMSE-All,最优的结果加粗表示,次优的结果下划线,RMSE-All降低了5.3393。
表3
表4
表5
表3、4、5为ISTD+数据集上放大因子为×3,×4时,描述超分辨率性能和去阴影性能的数据指标。可以发现本发明的模型较其他方法有显著性能提升,在SR表现上,放大倍数×3时,本发明的方法比次优方法PSNR提高了2.247dB,SSIM提高了0.0315,在阴影去除表现上,RMSE-Shadow降低了7.6895,RSME-Non降低了3.8724,RMSE-All降低了5.4183。放大倍数×4时,本发明的方法比次优方法PSNR提高了2.195dB,SSIM提高了0.0316,在阴影去除表现上,本发明的方法比次优方法RMSE-Shadow降低了7.1522,RSME-Non降低了3.3222,RMSE-All降低了5.7586。
B.定量分析
图3-5分别为ISTD+数据集上放大因子为×2,×3,×4时不同方法的阴影去除超分辨率重建图像。从图3中可以观察到,放大因子为×2时,本发明的方法能够在有效去除阴影的同时最大程度地保持图像质量。其他方法或不能完全去除阴影,或在阴影去除过程中产生了不理想的模糊和噪声。
从图4中可以观察到,随着图像放大尺寸的增加到×3,本发明的方法展现出更有优势的性能,能够在有效去除阴影的同时,还原HR图像的纹理细节以及边缘细节。如图4所示,本发明的方法能够有效还原井盖的花纹纹理,同时不产生噪声和模糊。从图5中可以观察到,随着图像放大尺寸的增加到×4,同时当阴影颜色较深时,本发明的方法同样能够较有效地完成阴影去除任务,同时重建图像的细节,如图所示,本发明的方法恢复砖块更锋利的边缘。而其他方法的阴影去除效果不够理想,且输出的图像有很大程度的混叠与失真。这证明了基于MEF与SR方法共同协作对于阴影去除任务的有效性,在MEF方法完成阴影去除的同时,SR方法能够挖掘阴影底层的细节纹理,输出更高质量的shadow-free图像。
4.消融实验
(1)MCFB数量
为证明MCFB的有效性,本发明在网络中调整MCFB的数量,分别设置为1-5个MCFB,对每个网络重新训练观察结果如表6所示。
表6 MCFB数量对网络性能的影响
观察表格能够得出结论,各项数据指标随着MCFB数量的增加而展现更优的结果,这证明了MCFB所使用的反馈融合机制对阴影去除任务的有效性。值得指出的是,根据实验数据可以发现随着MCFB数量的增加,各项数据的效果提升减缓,这是因为MCFB已经采集到足够多的融合特征。同时,MCFB的数量必然影响的网络的承载量,考虑性能与计算量之间的权衡,建议根据数据集自身的特性选择MCFB的数量。在定性实验分析与定量实验分析中,本发明选择表现最好的MCFB数量为5的去阴影网络与其他方法对比。为了减少训练成本,本发明选择MCFB数量为3进行其它消融实验的研究。
(2)过曝光阴影图像的数量
为观察多重曝光网络中,过曝光阴影图像的数量对后续网络输入的影响,本发明对比了1-5张过曝光图像作为SR-MEF-net输入的结果,如表7所示。
表7过曝光阴影图像数量对网络性能的影响
过曝光图像 | N=1 | N=2 | N=3 | N=4 | N=5 |
PSNR | 22.257 | 22.490 | 22.302 | 22.889 | 22.961 |
SSIM | 0.8196 | 0.8257 | 0.8305 | 0.8328 | 0.8346 |
RMSE-Shadow | 30.224 | 29.861 | 29.273 | 28.626 | 28.134 |
RMSE-No<sub>n</sub>-Sh<sub>a</sub>do<sub>w</sub> | 15.361 | 14.824 | 14.546 | 14.244 | 14.166 |
RMSE-All | 19.700 | 19.179 | 18.694 | 18.317 | 18.166 |
观察表格能够得出结论,各项数据指标随着过曝光图像数量的增加而展现更优的结果,这表明更多的输入有利于网络采集到更多有利信息。也说明单次曝光或阴影图像单词分解不能完全达到理想的效果。同样,随着过曝光图像输入数量的增加,各项数据的效果提升减缓,这是因为网络已经采集到足够多的融合特征。同时,过曝光图像输入数量必然影响的网络的承载量,考虑性能与计算量之间的权衡,建议根据数据集自身的特性选择过曝光图像输入数量。在定性实验分析与定量实验分析中,本发明选择表现最好的过曝光图像输入数量为5的去阴影网络与其他方法对比。为了减少训练成本,本发明选择过曝光图像数量为3进行其它消融实验的研究。
(3)图像融合的权重
由于最终的超分辨率阴影去除图像是由若干个子网各自输出的子图像加权融合成的,故有必要讨论融合权重对融合效果的影响。为此,本发明在过曝光图像N=3时,对4个子网的输出图像分别设置不同权重进行消融实验,记原LR阴影图像对应子网的输出为ω0,过曝光LR图像对应子网的输出分别为ω1、ω2、ω3。如表8所示,为不同权重下对网络性能的影响。
表8过曝光阴影图像数量对网络性能的影响
分析表8可知,当分别设置ω0/ω1/ω2/ω3为0.25/0.25/0.25/0.25以及0.4/0.2/0.2/0.2时,与其他图像相比,ω0对最终输入的影响更大,进而设计了ω0权重极端大小时的网络,发现ω0过大或过小都不会产生最理想的效果,最终本发明确定ω0为0.4。随后分析ω1/ω2/ω3对网络性能的影响,设计了ω1/ω2/ω3了递增以及递减的实验,发现ω1/ω2/ω3取统一值的效果要略优于其他取值。除此之外取递减权重的结果要优于递增权重,本发明认为这是由于越靠近first子网的子网,其输出更多地耦合的信息。
综上,本发明提出基于图像融合与超分辨率的单图像阴影去除网络及其方法用于图像阴影去除。通过低分辨率的多重过曝光图像作为网络输入,以耦合反馈的方法将多重图像进行融合生成去除阴影后的shadow-free图像,同时能有效减少图像失真,最终输出无阴影的超分辨重建图像。在公共数据集上得到验证,并证明优于部分方法。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (5)
1.基于图像融合与超分辨率的单图像阴影去除网络,其特征在于,包括:输入模块、N+1个子网和输出模块;
输入模块,用于获取阴影图像及其对应的阴影掩膜,进行N重曝光处理的过曝光图片,并将阴影图像及N张过曝光图片经过下采样后输入至对应子网中;
N+1个子网分别对应N+1张下采样图片其中i=0...N,i为0时,表示阴影图像的下采样图片i大于0时,表示过曝光图片的下采样图片;每个子网中均包括初级特征提取模块FEB、超分辨率模块SRB、融合反馈网络模型和重建模块R并依次连接;
每个融合反馈网络模型均包括T个多重耦合反馈模块MCFB依次连接,其中第i个子网的第t个MCFB,用于获取和得到融合高分辨率特征并输出至下一个MCFB中;直至第T个MCFB得到融合高分辨率特征并输入至同一个子网中的重建模块R中,其中,为第i个子网的第t-1个MCFB输出的融合高分辨率特征,为第i-1个子网的第t-1个MCFB输出的融合高分辨率特征,为第i+1个子网的第t-1个MCFB输出的融合高分辨率特征;
重建模块R,用于接收超分辨率模块SRB所输入的超分辨率特征或融合反馈网络模型所输入的融合高分辨率特征,其中根据超分辨率模块SRB直接输入的超分辨率特征得到对应的超分辨率残差图像,根据对应融合反馈网络模型所输入的融合高分辨率特征,获取对应的融合超分辨率残差图像,并将所获取到的超分辨率残差图像或融合超分辨率残差图像分别与对应图像,的上采样图像进行元素加,分别生成原低分辨率阴影图像的超分辨率重建图像ISR或对应的具有融合特征的超分辨率图像
3.根据权利要求1所述的基于图像融合与超分辨率的单图像阴影去除网络,其特征在于,每个多重耦合反馈模块MCFB包括G个聚合单元、重组单元和增强反馈单元;
每个聚合单元中包括m个1×1的卷积层与m个k×k的反卷积层分别用于卷积和反卷积滤波操作,且各个聚合单元中的卷积层以及反卷积层之间跳跃连接;
其中,第i个子网的第t个MCFB中,首个聚合单元中的卷积层将 和作为输入,进行卷积后得到聚合的细化融合特征发送给同个聚合单元中的反卷积层,反卷积层接收进行反卷积滤波操作后生成对应的高分辨率特征映射并将高分辨率特征映射发送至下一个聚合单元,直至第g个聚合单元输出
4.根据权利要求1所述的基于图像融合与超分辨率的单图像阴影去除网络,其特征在于,损失函数包括:
①在多重曝光过程中,生成的过曝光图片Ii,i∈{1,...,k}与地面真实图像Ifree之间的损失,通过均方损失函数MSEloss=MSE(Ii,Ifree)来实现多重曝光图像的生成;
②地面真实图像Ifree与原低分辨率阴影图像的超分辨率重建图像ISR之间的损失,通过平均结构差异指数度量作为损失函数;
③地面真实图像Ifree与曝光融合过后的超分辨率重建去阴影图像Iout之间的损失,通过最小化L1损失作为损失函数实现网络训练:
其中λi为权重系数,Loss指网络训练的总损失,L2为均方损失函数,LMS为平均结构差异指数,L1为L1损失函数。
5.基于图像融合与超分辨率的单图像阴影去除方法,其特征在于,包括以下步骤:
S1.获取阴影图像及其对应的阴影掩膜,进行N重曝光处理的过曝光图片,并将阴影图像及N张过曝光图片进行下采样;
S5.第i个子网的第t个MCFB获取和得到融合高分辨率特征并输出至下一个MCFB中;直至第T个MCFB得到融合高分辨率特征其中,为第i个子网的第t-1个MCFB输出的融合高分辨率特征,为第i-1个子网的第t-1个MCFB输出的融合高分辨率特征,为第i+1个子网的第t-1个MCFB输出的融合高分辨率特征;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211304407.4A CN115619675A (zh) | 2022-10-24 | 2022-10-24 | 基于图像融合与超分辨率的单图像阴影去除网络及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211304407.4A CN115619675A (zh) | 2022-10-24 | 2022-10-24 | 基于图像融合与超分辨率的单图像阴影去除网络及其方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115619675A true CN115619675A (zh) | 2023-01-17 |
Family
ID=84864433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211304407.4A Withdrawn CN115619675A (zh) | 2022-10-24 | 2022-10-24 | 基于图像融合与超分辨率的单图像阴影去除网络及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115619675A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116523803A (zh) * | 2023-07-04 | 2023-08-01 | 宁德时代新能源科技股份有限公司 | 图像处理方法、阴影去除方法、装置、设备和存储介质 |
-
2022
- 2022-10-24 CN CN202211304407.4A patent/CN115619675A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116523803A (zh) * | 2023-07-04 | 2023-08-01 | 宁德时代新能源科技股份有限公司 | 图像处理方法、阴影去除方法、装置、设备和存储介质 |
CN116523803B (zh) * | 2023-07-04 | 2023-11-14 | 宁德时代新能源科技股份有限公司 | 图像处理方法、阴影去除方法、装置、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Guo et al. | Deep wavelet prediction for image super-resolution | |
CN107507134B (zh) | 基于卷积神经网络的超分辨率方法 | |
CN112419184B (zh) | 一种综合局部信息和全局信息的空间注意力图像去噪方法 | |
CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
CN111681166B (zh) | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 | |
CN111932461B (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统 | |
CN113436076B (zh) | 逐步融合特征的图像超分辨率重建方法及电子设备 | |
JPWO2011111819A1 (ja) | 画像処理装置、画像処理プログラム、および、画像を生成する方法 | |
CN110363704B (zh) | 融合形态及色彩的图像超分辨率重建模型构建及重建方法 | |
CN109767389B (zh) | 基于局部和非局部联合先验的自适应加权双范数遥感图像盲超分辨重建方法 | |
CN113781308A (zh) | 图像超分辨率重建方法、装置、存储介质及电子设备 | |
CN115619675A (zh) | 基于图像融合与超分辨率的单图像阴影去除网络及其方法 | |
CN115953294A (zh) | 一种基于浅层通道分离与聚合的单图像超分辨率重建方法 | |
CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
CN111553861A (zh) | 一种图像超分辨率重构方法、装置、设备及可读存储介质 | |
US20150324953A1 (en) | Method and apparatus for performing single-image super-resolution | |
CN109272450A (zh) | 一种基于卷积神经网络的图像超分方法 | |
George | Robust single image super resolution using neighbor embedding and fusion in wavelet domain | |
CN117315735A (zh) | 基于先验信息与注意力机制的人脸超分辨率重建方法 | |
CN114519670A (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
CN106846286A (zh) | 基于多种互补先验的视频超分辨率重建算法 | |
Baek et al. | Single image super-resolution using frequency-dependent convolutional neural networks | |
Liu et al. | Multiple Residual Learning Network for Single Image Super-Resolution | |
Wang et al. | Image super-resolution via deep aggregation network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230117 |