CN113298733B - 一种基于隐式边缘先验的尺度渐进的图像补全方法 - Google Patents

一种基于隐式边缘先验的尺度渐进的图像补全方法 Download PDF

Info

Publication number
CN113298733B
CN113298733B CN202110642824.9A CN202110642824A CN113298733B CN 113298733 B CN113298733 B CN 113298733B CN 202110642824 A CN202110642824 A CN 202110642824A CN 113298733 B CN113298733 B CN 113298733B
Authority
CN
China
Prior art keywords
edge
image
scale
features
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110642824.9A
Other languages
English (en)
Other versions
CN113298733A (zh
Inventor
苏雅诗
马丽红
韦岗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110642824.9A priority Critical patent/CN113298733B/zh
Publication of CN113298733A publication Critical patent/CN113298733A/zh
Application granted granted Critical
Publication of CN113298733B publication Critical patent/CN113298733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于隐式边缘先验的尺度渐进的图像补全方法，包括以下步骤：S1、获取多尺度的边缘先验信息；S2、将边缘先验信息与破损图像输入到先验输入模块，得到整合后的复合信息；S3、将整合后的复合信息输入到图像补全网络，该网络包括级联的编码器、多尺度特征融合模块和解码器，输出中间输出集；S4、使用包括渐进结构损失函数的复合损失函数集训练图像补全网络；S5、将破损图像与边缘先验信息输入经过训练的图像补全网络，得到中间输出集，以中间输出集中最低尺度输出作为补全图像。本发明引入边缘先验信息，并通过渐进结构损失函数约束补全过程，同时采用多尺度特征融合模块强化约束作用；通过本发明的方法，可以得到更合理的补全图像。

Description

一种基于隐式边缘先验的尺度渐进的图像补全方法
技术领域
本发明涉及基于深度学习的图像补全技术领域，具体涉及一种基于隐式边缘先验的尺度渐进的图像补全方法。
背景技术
图像补全是指如何利用周围的信息恢复出图像被遮盖部分的内容，涉及对存留信息的有效提取及对丢失信息的合理估计。图像补全除了能恢复部分缺失的图像外，还能实现真实图像的快速编辑。用户可以涂抹掉不需要的物体，由算法实现自动地补全。
近年来，深度学习的发展推动了对图像补全领域的研究。与传统方法相比，学习方法注重获取更高层次的语义信息，这些信息能帮助缺失部分恢复出更相关的结构，得到更真实的结果。但是，先验信息的缺乏带来结构和纹理恢复的平衡性的挑战。这意味着网络难以同时恢复出合理的结构和清晰的细节，通常表现为产生的结果图像存在模糊、伪影现象。
为应对结构和纹理难以同时有效恢复的问题，级联子网络结构被广泛应用，如将模型分解为结构补全网络和纹理补全网络。结构补全网络恢复对象是结构图像,即边缘保持的平滑图像，注重恢复出合理真实的结构。细节补全网络在恢复出的结构图像基础上补充纹理等低频细节。
为了更充分地提取图像存留部分的信息，一些近期的工作使用了canny算子提取的边缘图像作为网络的先验信息。边缘信息能指导图像更好地恢复出图像的结构，提高恢复出的结构的合理性。级联子网络结构能有效地将复杂的任务分解成多个较为简单的子任务。但它的显著缺陷是不合理的中间输出会严重影响后续网络的恢复。此外，由于边缘图像信息比较稀疏，仅作为图像补全网络的输入可能会因为网络过深而影响有限。级联子网络结构还会导致参数倍增的问题。
发明内容
本发明的目的是为了解决现有技术中大多数利用边缘先验作为指导信息的图像补全算法需要使用先验补全子网络显式地补全出完整的预估先验，从而导致对后续的图像补全可能因不合理的预估出现负面影响的问题，同时降低通过尺度渐进分散，同时恢复出良好的图像结构与细节的并行任务难度，提出一种基于隐式边缘先验的尺度渐进的图像补全方法，该方法引入的边缘先验信息为补全过程提供结构信息，并通过渐进结构损失函数约束补全过程；同时多尺度特征融合模块强化了边缘先验信息的指导作用，本发明可以补全出结构更真实、细节更合理的图像。
本发明的目的可以通过采取如下技术方案达到：
一种基于隐式边缘先验的尺度渐进的图像补全方法，所述图像补全方法包括以下步骤：
S1、获取多尺度的边缘先验信息，首先，将破损图像输入到第一边缘生成器，第一边缘生成器输出一系列不同尺度的边缘先验信息，然后，将真实图像输入到第二边缘生成器，第二边缘生成器输出一系列不同尺度的完整边缘图像集；其中，所述第一边缘生成器和第二边缘生成器是基于预训练的整体嵌套边缘检测模型，整体嵌套边缘检测模型简称HED(Holistically-Nested Edge Detection)模型，所述完整边缘图像集用于计算渐进结构损失函数；
S2、将边缘先验信息与破损图像输入先验输入模块，得到整合后的复合信息，所述先验输入模块包括输入融合块和压缩激发块，压缩激发块简称SE-Block(Sequeze andExcitation-Block)，首先，通过输入融合块并联地在各个尺度上融合对应尺度的边缘先验信息与破损图像中采集到的特征，然后，通过SE-Block自适应地调整各尺度特征维度权重；
S3、将整合后的复合信息输入到图像补全网络，所述图像补全网络包括级联的编码器、多尺度特征融合模块和解码器，输出中间输出集，首先，通过编码器提取复合信息的语义特征，然后，通过多尺度特征融合模块在语义特征上进一步扩展采样尺度得到融合特征，最后，通过解码器解码融合特征，得到一组中间输出集；
其中，所述多尺度特征融合模块包括级联的门控、空间注意力层、金字塔结构融合块，首先，通过门控筛除语义特征在缺失区域的无意义噪声，然后，通过空间注意力层促进语义特征空间权重自适应地内部融合，最后，通过金字塔结构融合模块实现相近尺度的特征融合，得到融合特征；
S4、使用包括渐进结构损失函数的复合损失函数集训练图像补全网络，使图像补全网络沿着尺度渐进的方向补全，通过所述渐进结构损失函数约束中间输出集与真实图像对应的完整边缘图像集之间的差异性最小得到经过训练的图像补全网络；
S5、将破损图像与边缘先验信息输入经过训练的图像补全网络，得到中间输出集，以中间输出集中最低尺度输出作为补全图像。
进一步地，所述第一边缘生成器通过输入破损图像到用破损图像训练集预训练的HED模型，得到破损图像的一组多尺度的边缘输出，计算公式如下:
Figure GDA0003989644870000032
其中Iin为破损图像，HED1(·)表示第一边缘生成器，
Figure GDA0003989644870000031
分别表示第一边缘生成器对于破损图像的前三个尺度的边缘输出，前三个尺度的边缘输出用作边缘先验信息Ein。
进一步地，所述第二边缘生成器通过输入真实图像到用真实图像训练集预训练的HED模型，得到真实图像的一组多尺度的边缘输出，计算公式如下:
Figure GDA0003989644870000041
其中Igt为真实图像，HED2(·)表示第二边缘生成器，
Figure GDA0003989644870000042
分别表示第二边缘生成器对于真实图像的前三个尺度的边缘输出，前三个尺度的边缘输出用作真实图像的完整边缘图像集Egt。
进一步地，所述第二边缘生成器通过输入中间训练集到用真实图像训练集预训练的HED模型，得到中间训练集的一组多尺度的边缘输出，计算公式如下:
Figure GDA0003989644870000043
其中l＝1,2,3，
Figure GDA0003989644870000044
为尺度l上图像补全网络的中间输出集，对
Figure GDA0003989644870000045
HED2(·)仅输出对应的尺度
Figure GDA0003989644870000046
分别表示第二边缘生成器对于中间输出集的对应尺度的三个边缘输出，三个边缘输出用作中间输出集的完整边缘图像集Eout。
进一步地，所述先验输入模块首先通过并联的卷积核尺寸为1x1、卷积核尺寸为3x3、两个卷积核尺寸为3x3的卷积提取破损图像不同尺度的特征，通过卷积核尺寸为1x1的卷积提取各个尺度的边缘先验信息的特征，然后，对应尺度的破损图像特征与边缘信息特征在维度上拼接，最后，通过卷积核尺寸为3x3的卷积将拼接后的特征降维，得到复合特征，计算公式表示为：
Figure GDA0003989644870000047
其中
Figure GDA0003989644870000048
为尺度l上的边缘先验信息，
Figure GDA0003989644870000049
为对应的复合特征，⊕表示维度上的拼接，l＝1,2,3时convl分别为conv1×1、conv3×3、conv3×3，分别对应卷积核尺寸为1x1、卷积核尺寸为3x3、两个卷积核尺寸为3x3的卷积。
进一步地，所述门控首先通过sigmoid激活函数过滤来自于编码器的语义特征的噪声，然后，通过卷积核尺寸为3x3的卷积平滑语义特征，最后，将语义特征与来自于多尺度特征融合模块的融合特征在空间域上像素相加，得到降噪特征，表示为：
fdn＝ffu+conv(σ(fen)) (5)
其中fen为语义特征，ffu为融合特征，fdn为降噪特征，σ(·)为sigmoid激活函数，+为像素相加。
进一步地，所述金字塔结构融合块，通过4个并行的卷积核尺寸为3x3的扩张卷积重采样降噪特征，得到融合特征；其中，扩张因子分别设为1、2、3、4，表示为：
Figure GDA0003989644870000051
其中conv3×3,dr＝1、conv3×3,dr＝2、conv3×3,dr＝3、conv3×3,dr＝4分别为扩张因子为1，2、3、4的卷积核尺寸为3x3的扩张卷积。
进一步地，所述渐进结构损失函数通过L1损失函数计算真实图像和中间输出集对应的完整边缘图像集之间的差异性，计算公式表示为：
Figure GDA0003989644870000052
其中l＝1,2,3，LGSL为渐进损失函数，||·||1为1阶范数的计算。
本发明相对于现有技术具有如下的优点及效果：
本发明不需要额外的边缘补全网络，而是引入多尺度的边缘先验信息作为指导信息，通过渐进结构损失函数指导图像补全网络渐进地补全，并通过多尺度特征融合模块在平滑渐进的梯度的同时强化边缘先验信息，有效分散补全的难度，同时顾及结构与细节的恢复，缓解模糊、伪影现象。
附图说明
图1是本发明公开的一种基于隐式边缘先验的尺度渐进的图像补全方法的流程图；
图2是本发明中先验输入模块的结构示意图；
图3是本发明中多尺度特征融合模块的结构示意图；
图4是本发明中多尺度特征融合模块中的金字塔结构融合块结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1所示，本实施例提供了一种基于隐式边缘先验的尺度渐进的图像补全方法，将预先获取的边缘先验信息和破损图像输入先验输入模块进行特征融合，得到融合特征，将融合特征输入包括级联的编码器、多尺度特征融合模块、解码器的图像补全网络，得到中间输出集，中间输出集的最低尺度输出为补全图像，具体包括以下步骤：
S1、获取多尺度的边缘先验信息，首先，将破损图像输入到第一边缘生成器，第一边缘生成器输出一系列不同尺度的边缘先验信息，然后，将真实图像输入到第二边缘生成器，第二边缘生成器输出一系列不同尺度的完整边缘图像集；其中，第一边缘生成器和第二边缘生成器基于预训练的HED模型，完整边缘图像集用于计算渐进结构损失函数，具体为：
第一边缘生成器通过输入破损图像到用破损图像训练集预训练的HED模型，得到破损图像的一组多尺度的边缘输出，计算公式如下:
Figure GDA0003989644870000071
其中Iin为破损图像，HED1(·)表示第一边缘生成器，
Figure GDA0003989644870000072
分别表示第一边缘生成器对于破损图像的前三个尺度的边缘输出，前三个尺度的边缘输出用作边缘先验信息Ein；
第二边缘生成器通过输入真实图像到用真实图像训练集预训练的HED模型，得到真实图像的一组多尺度的边缘输出，计算公式如下:
Figure GDA0003989644870000073
其中Igt为真实图像，HED2(·)表示第二边缘生成器，
Figure GDA0003989644870000074
分别表示第二边缘生成器对于真实图像的前三个尺度的边缘输出，前三个尺度的边缘输出用作真实图像的完整边缘图像集Egt；
第二边缘生成器通过输入中间训练集到用真实图像训练集预训练的HED模型，得到中间训练集的一组多尺度的边缘输出，计算公式如下:
Figure GDA0003989644870000075
其中l＝1,2,3，
Figure GDA0003989644870000076
为尺度l上图像补全网络的中间输出集，对
Figure GDA0003989644870000077
HED2(·)仅输出对应的尺度
Figure GDA0003989644870000078
分别表示第二边缘生成器对于中间输出集的对应尺度的三个边缘输出，三个边缘输出用作中间输出集的完整边缘图像集Eout；
与目前已有的使用先验信息的图像补全方法常选择的Canny边缘和Sobel梯度等先验信息相比，该边缘先验信息不仅在低尺度分量中保留了Sobel梯度中重要的纹理信息，同时，基于HED模型生成的边缘对伪影、棋盘效应等常见的图像质量问题有接近于Canny边缘的强鲁棒性，此外边缘先验信息以边缘的粗细和灰度值的高低区分高尺度结构和低尺度细节的重要程度，更符合人类视觉系统的特点。
为验证本发明中各个设计对最后的补全结果的质量有正面影响，设置一个基准模型，该模型基本参数设置与该实施例完全一致的基于编码器-解码器搭建的图像补全网络，使用Canny边缘作为先验信息，先验信息与破损图像的融合方式为通道维度直接合并，不使用跳跃连接，采用已有图像补全方法中最常用的损失函数集进行训练，将一组测试用的破损图像输入训练后的基准模型，对得到的补全结果测定，峰值信号比简称PSNR(PeakSignal-to-Noise Ratio)为28.29，结构相似性简称SSIM(Structural Similarity IndexMeasure)为0.930，Fréchet感知距离简称FID(Fréchet Inception Distance)为1.41，图像感知相似度简称LPIPS(Learned Perceptual Image Patch Similarity)为0.093，PSNR和SSIM反映了补全图像的像素准确度，越大的数值说明了越好的重构准确性。FID和LPIPS反映了补全图像的视觉质量和语义相似度，越小的数值说明了越好的重构合理性；
将基准模型中的Canny边缘改为本发明提出的边缘先验信息，模型的其余设置不变，得到先验测试模型，使用同样的一组破损图像测试，测定的结果为PSNR提升至29.11，SSIM提升至0.931，FID降低至1.29，LPIPS降低至0.092。
S2、将边缘先验信息与破损图像输入先验输入模块，得到整合后的复合信息，其中，先验输入模块如图2所示，包括输入融合块和SE-Block，首先，通过输入融合块并联地在各个尺度上融合对应尺度的边缘先验信息与破损图像中采集到的特征，然后，通过SE-Block自适应地调整各尺度特征维度权重，具体为：
首先，先验输入模块通过并联的卷积核尺寸为1x1、卷积核尺寸为3x3、两个卷积核尺寸为3x3的卷积提取破损图像不同尺度的特征，通过卷积核尺寸为1x1的卷积提取各个尺度的边缘先验信息的特征，然后，对应尺度的破损图像特征与边缘信息特征在维度上拼接，最后，通过卷积核尺寸为3x3的卷积将拼接后的特征降维，得到复合特征，计算公式表示为：
Figure GDA0003989644870000091
其中
Figure GDA0003989644870000092
为尺度l上的边缘先验信息，
Figure GDA0003989644870000093
为对应的复合特征，⊕表示维度上的拼接，l＝1,2,3时convl分别为conv1×1、conv3×3、conv3×3(conv3×3)，分别对应卷积核尺寸为1x1、卷积核尺寸为3x3、两个卷积核尺寸为3x3的卷积。
与目前已有的使用先验信息的图像补全方法常使用的先验信息与破损图像直接在通道维度合并作为图像补全网络输入的方式相比，该先验输入模块能充分地利用边缘先验信息多尺度的特点，将融合的过程按尺度拆分为通道数总和不变的多个分支进行卷积，并通过SE-Block通道维度的权重根据破损图像自适应地区分各个分支结果的重要性，引导后续图像补全网络关注相对重要的尺度信息；
将先验测试模型中的边缘先验信息与破损图像的融合方式改为采用先验输入模块融合，模型的其余设置不变，得到输入测试模型，使用同样的一组破损图像测试，测定的结果为PSNR提升至30.09，SSIM提升至0.937，FID降低至1.19，LPIPS降低至0.091。
S3、将整合后的复合信息输入到图像补全网络，图像补全网络包括级联的编码器、多尺度特征融合模块和解码器，输出中间输出集，首先，通过编码器提取复合信息的语义特征，然后，通过多尺度特征融合模块在语义特征上进一步扩展采样尺度得到融合特征，最后，通过解码器解码融合特征，得到一组中间输出集；
其中，多尺度特征融合模块如图3所示，包括级联的门控、空间注意力层、金字塔结构融合块，首先，通过门控筛除语义特征在缺失区域的无意义噪声，然后，通过空间注意力层促进语义特征空间权重自适应地内部融合，最后，通过金字塔结构融合模块实现相近尺度的特征融合，得到融合特征，具体为：
首先，门控通过sigmoid激活函数过滤来自于编码器的语义特征的噪声，然后，通过卷积核尺寸为3x3的卷积平滑语义特征，最后，将语义特征与来自于多尺度特征融合模块的融合特征在空间域上像素相加，得到降噪特征，表示为：
fdn＝ffu+conv(σ(fen)) (5)
其中fen为语义特征，ffu为融合特征，fdn为降噪特征，σ(·)为sigmoid激活函数，+为像素相加；
金字塔结构融合块如图4所示，通过4个并行的卷积核尺寸为3x3的扩张卷积重采样降噪特征，得到融合特征；其中，扩张因子分别设为1，2，3，4，表示为：
Figure GDA0003989644870000101
其中conv3×3,dr＝1、conv3×3,dr＝2、conv3×3,dr＝3、conv3×3,dr＝4分别为扩张因子为1，2，3，4的卷积核尺寸为3x3的扩张卷积。
目前已有的图像补全方法由于解码器提取出的破损图像特征在缺失区域存在严重无意义噪声，一般不使用跳跃连接，而跳跃连接能够帮助深度学习的训练过程更好地收敛，本发明使用该多尺度特征融合模块作为图像补全网络的跳跃连接，该多尺度特征融合模块由门控筛除无意义噪声，增设空间注意力层自适应提高各尺度上与缺失区域特征相似的保留区域特征的权重，增设金字塔结构融合块拓宽各层覆盖的尺度范围，可应用在使用编码器-解码器或者U型网络为网络结构的其他图像补全方法当中；
在输入测试模型的基础上增设多尺度特征融合模块作为跳跃连接，模型的其余设置不变，得到连接测试模型，使用同样的一组破损图像测试，测定的结果为PSNR提升至30.27，SSIM提升至0.939，FID降低至0.96，LPIPS降低至0.090。
S4、使用包括渐进结构损失函数的复合损失函数集训练图像补全网络，使图像补全网络沿着尺度渐进的方向补全，通过渐进结构损失函数约束中间输出集与真实图像对应的完整边缘图像集之间的差异性最小得到经过训练的图像补全网络，具体为：
渐进结构损失函数通过L1损失函数计算真实图像和中间输出集对应的完整边缘图像集之间的差异性，计算公式表示为：
Figure GDA0003989644870000111
其中l＝1,2,3，LGSL为渐进损失函数，||·||1为1阶范数的计算。
目前已有的图像补全方法的损失函数集仅关注最后的补全图像，整个图像补全网络的训练过程的方向没有显式的方法调控，而渐进损失函数通过对各个尺度的中间输出集进行约束，使图像补全网络沿尺度渐进的方向补全，有效地分散补全难度，在破损图像缺失面积较大时仍能恢复出较为合理的物体轮廓；
在连接测试模型的损失函数集中增设渐进结构损失函数，模型的其余设置不变，得到损失测试模型，使用同样的一组破损图像测试，测定的结果为PSNR提升至31.05，SSIM提升至0.949，FID降低至0.85，LPIPS降低至0.087。
S5、将破损图像与边缘先验信息输入经过训练的图像补全网络，得到中间输出集，以中间输出集中最低尺度输出作为补全图像。
设置一组破损区域占比分布在0％-60％的测试用破损图像，对实施例的补全结果与已有的经典图像补全方法deepfiil v1、deep fill v2,及同样基于先验信息的图像补全方法EdgeConnect、StructureFlow以及StructureInpainting所得的补全结果进行测定，结果表明该实施例能够补全出重构准确性与重构合理性均更高的补全结果，在缺失区域较大时优势更为显著。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于隐式边缘先验的尺度渐进的图像补全方法，其特征在于，所述图像补全方法包括以下步骤：
S1、获取多尺度的边缘先验信息，首先，将破损图像输入到第一边缘生成器，第一边缘生成器输出一系列不同尺度的边缘先验信息，然后，将真实图像输入到第二边缘生成器，第二边缘生成器输出一系列不同尺度的完整边缘图像集；其中，所述第一边缘生成器和第二边缘生成器是基于预训练的整体嵌套边缘检测模型，整体嵌套边缘检测模型简称HED模型，所述完整边缘图像集用于计算渐进结构损失函数；
S2、将边缘先验信息与破损图像输入先验输入模块，得到整合后的复合信息，所述先验输入模块包括输入融合块和压缩激发块，压缩激发块简称SE-Block，首先，通过输入融合块并联地在各个尺度上融合对应尺度的边缘先验信息与破损图像中采集到的特征，然后，通过SE-Block自适应地调整各尺度特征维度权重；
S3、将整合后的复合信息输入到图像补全网络，所述图像补全网络包括级联的编码器、多尺度特征融合模块和解码器，输出中间输出集，首先，通过编码器提取复合信息的语义特征，然后，通过多尺度特征融合模块在语义特征上进一步扩展采样尺度得到融合特征，最后，通过解码器解码融合特征，得到一组中间输出集；
其中，所述多尺度特征融合模块包括级联的门控、空间注意力层、金字塔结构融合块，首先，通过门控筛除语义特征在缺失区域的无意义噪声，然后，通过空间注意力层促进语义特征空间权重自适应地内部融合，最后，通过金字塔结构融合模块实现相近尺度的特征融合，得到融合特征；
S4、使用包括渐进结构损失函数的复合损失函数集训练图像补全网络，使图像补全网络沿着尺度渐进的方向补全，通过所述渐进结构损失函数约束中间输出集与真实图像对应的完整边缘图像集之间的差异性最小得到经过训练的图像补全网络；
S5、将破损图像与边缘先验信息输入经过训练的图像补全网络，得到中间输出集，以中间输出集中最低尺度输出作为补全图像；
其中，所述第一边缘生成器通过输入破损图像到用破损图像训练集预训练的HED模型，得到破损图像的一组多尺度的边缘输出，计算公式如下:
Figure FDA0003989644860000021
其中Iin为破损图像，HED1(·)表示第一边缘生成器，
Figure FDA0003989644860000022
分别表示第一边缘生成器对于破损图像的前三个尺度的边缘输出，前三个尺度的边缘输出用作边缘先验信息Ein；
其中，所述第二边缘生成器通过输入真实图像到用真实图像训练集预训练的HED模型，得到真实图像的一组多尺度的边缘输出，计算公式如下:
Figure FDA0003989644860000023
其中Igt为真实图像，HED2(·)表示第二边缘生成器，
Figure FDA0003989644860000024
分别表示第二边缘生成器对于真实图像的前三个尺度的边缘输出，前三个尺度的边缘输出用作真实图像的完整边缘图像集Egt；
其中，所述第二边缘生成器通过输入中间训练集到用真实图像训练集预训练的HED模型，得到中间训练集的一组多尺度的边缘输出，计算公式如下:
Figure FDA0003989644860000031
其中l＝1,2,3，
Figure FDA0003989644860000032
为尺度l上图像补全网络的中间输出集，对
Figure FDA0003989644860000033
HED2(·)仅输出对应的尺度
Figure FDA0003989644860000034
分别表示第二边缘生成器对于中间输出集的对应尺度的三个边缘输出，三个边缘输出用作中间输出集的完整边缘图像集Eout；
其中，所述渐进结构损失函数通过L1损失函数计算真实图像和中间输出集对应的完整边缘图像集之间的差异性，计算公式表示为：
Figure FDA0003989644860000035
其中l＝1,2,3，LGSL为渐进损失函数，||·||1为1阶范数的计算。
2.根据权利要求1所述的一种基于隐式边缘先验的尺度渐进的图像补全方法，其特征在于，所述先验输入模块首先通过并联的卷积核尺寸为1x1、卷积核尺寸为3x3、两个卷积核尺寸为3x3的卷积提取破损图像不同尺度的特征，通过卷积核尺寸为1x1的卷积提取各个尺度的边缘先验信息的特征，然后，对应尺度的破损图像特征与边缘信息特征在维度上拼接，最后，通过卷积核尺寸为3x3的卷积将拼接后的特征降维，得到复合特征，计算公式表示为：
Figure FDA0003989644860000036
其中
Figure FDA0003989644860000037
为尺度l上的边缘先验信息，
Figure FDA0003989644860000038
为对应的复合特征，
Figure FDA0003989644860000039
表示维度上的拼接，l＝1,2,3时convl分别为conv1×1、conv3×3、conv3×3，分别对应卷积核尺寸为1x1、卷积核尺寸为3x3、两个卷积核尺寸为3x3的卷积。
3.根据权利要求1所述的一种基于隐式边缘先验的尺度渐进的图像补全方法，其特征在于，所述门控首先通过sigmoid激活函数过滤来自于编码器的语义特征的噪声，然后，通过卷积核尺寸为3x3的卷积平滑语义特征，最后，将语义特征与来自于多尺度特征融合模块的融合特征在空间域上像素相加，得到降噪特征，表示为：
fdn＝ffu+conv(σ(fen)) (5)
其中fen为语义特征，ffu为融合特征，fdn为降噪特征，σ(·)为sigmoid激活函数，+为像素相加。
4.根据权利要求1所述的一种基于隐式边缘先验的尺度渐进的图像补全方法，其特征在于，所述金字塔结构融合块，通过4个并行的卷积核尺寸为3x3的扩张卷积重采样降噪特征，得到融合特征；其中，扩张因子分别设为1、2、3、4，表示为：
Figure FDA0003989644860000041
其中，fdn为降噪特征，conv3×3,dr＝1、conv3×3,dr＝2、conv3×3,dr＝3、conv3×3,dr＝4分别为扩张因子为1，2、3、4的卷积核尺寸为3x3的扩张卷积。
CN202110642824.9A 2021-06-09 2021-06-09 一种基于隐式边缘先验的尺度渐进的图像补全方法 Active CN113298733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110642824.9A CN113298733B (zh) 2021-06-09 2021-06-09 一种基于隐式边缘先验的尺度渐进的图像补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110642824.9A CN113298733B (zh) 2021-06-09 2021-06-09 一种基于隐式边缘先验的尺度渐进的图像补全方法

Publications (2)

Publication Number Publication Date
CN113298733A CN113298733A (zh) 2021-08-24
CN113298733B true CN113298733B (zh) 2023-02-14

Family

ID=77327720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110642824.9A Active CN113298733B (zh) 2021-06-09 2021-06-09 一种基于隐式边缘先验的尺度渐进的图像补全方法

Country Status (1)

Country Link
CN (1) CN113298733B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463209B (zh) * 2022-01-25 2022-12-16 广州大学 一种基于深度多特征协同学习的图像修复方法
CN117974439B (zh) * 2024-04-01 2024-07-02 北京市农林科学院智能装备技术研究中心 植株图像处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689495A (zh) * 2019-09-25 2020-01-14 安徽信息工程学院 一种深度学习的图像修复方法
CN111340122A (zh) * 2020-02-29 2020-06-26 复旦大学 一种多模态特征融合的文本引导图像修复方法
CN112084890A (zh) * 2020-08-21 2020-12-15 杭州电子科技大学 基于gmm和cqfl的多尺度识别交通信号标志的方法
CN112581397A (zh) * 2020-12-21 2021-03-30 华南农业大学 一种基于图像先验信息的退化图像修复方法及其应用
CN112686816A (zh) * 2020-12-25 2021-04-20 天津中科智能识别产业技术研究院有限公司 一种基于内容注意力机制和掩码先验的图像补全方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978947B (zh) * 2019-03-21 2021-08-17 广州极飞科技股份有限公司 一种监控无人机的方法、装置、设备和存储介质
CN112148028B (zh) * 2020-08-28 2022-06-14 合肥工业大学 基于无人机拍摄图像的环境监测方法和系统
CN112364725B (zh) * 2020-10-27 2022-04-01 广东技术师范大学 基于小型无人机群的棉花虫害立体监测方法与系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689495A (zh) * 2019-09-25 2020-01-14 安徽信息工程学院 一种深度学习的图像修复方法
CN111340122A (zh) * 2020-02-29 2020-06-26 复旦大学 一种多模态特征融合的文本引导图像修复方法
CN112084890A (zh) * 2020-08-21 2020-12-15 杭州电子科技大学 基于gmm和cqfl的多尺度识别交通信号标志的方法
CN112581397A (zh) * 2020-12-21 2021-03-30 华南农业大学 一种基于图像先验信息的退化图像修复方法及其应用
CN112686816A (zh) * 2020-12-25 2021-04-20 天津中科智能识别产业技术研究院有限公司 一种基于内容注意力机制和掩码先验的图像补全方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Context Encoders: Feature Learning by Inpainting;Deepak Pathak;《2016 CVPR》;20161231;第2536-2544页 *
Low Dose CT Image Denoising Using Multi-level;Dongdong Ren et al;《2019 IEEE International Conference on Bioinformatics and Biomedicine (BIBM)》;20191231;第727-731页 *
Structure Preserving Image Inpainting Using Edge Priors with Contextual Attention;Ashish Kumar Singh et al;《Springer Link》;20201231;第100-110页 *
基于深度学习的图像补全算法综述;唐浩丰 等;《计算机科学》;20201130;第47卷(第11期);第151-164页 *
结合边缘特征先验引导的深度卷积显著性检测;时斐斐 等;《计算机工程与应用》;20201231;第56卷(第14期);第199-206页 *

Also Published As

Publication number Publication date
CN113298733A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
Li et al. Underwater scene prior inspired deep underwater image and video enhancement
Wei et al. Deep retinex decomposition for low-light enhancement
Ram Prabhakar et al. Deepfuse: A deep unsupervised approach for exposure fusion with extreme exposure image pairs
CN110992275B (zh) 一种基于生成对抗网络的细化单幅图像去雨方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN101765022B (zh) 一种基于光流与图像分割的深度表示方法
CN111062872A (zh) 一种基于边缘检测的图像超分辨率重建方法及系统
CN113298733B (zh) 一种基于隐式边缘先验的尺度渐进的图像补全方法
Wang et al. Variational-based mixed noise removal with CNN deep learning regularization
CN111968058B (zh) 一种低剂量ct图像降噪方法
CN113658040B (zh) 一种基于先验信息和注意力融合机制的人脸超分辨方法
CN116051428B (zh) 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN117197627B (zh) 一种基于高阶退化模型的多模态图像融合方法
CN110415169B (zh) 一种深度图超分辨率重建方法、系统及电子设备
Jiang et al. A new nonlocal means based framework for mixed noise removal
Tauber et al. A robust speckle reducing anisotropic diffusion
CN117114984A (zh) 基于生成对抗网络的遥感图像超分辨率重建方法
CN115861094A (zh) 一种融合注意力机制的轻量级gan水下图像增强模型
CN117350925A (zh) 一种巡检图像红外可见光图像融合方法、装置及设备
CN113516604B (zh) 图像修复方法
An et al. Image super-resolution reconstruction algorithm based on significant network connection-collaborative migration structure
CN112785540B (zh) 一种扩散加权图像的生成系统及方法
Krishnan et al. A novel underwater image enhancement technique using ResNet
Kumar et al. Underwater image enhancement using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant