CN113379637A - 基于递进学习策略的图像修复方法、系统、介质及设备 - Google Patents

基于递进学习策略的图像修复方法、系统、介质及设备 Download PDF

Info

Publication number
CN113379637A
CN113379637A CN202110690178.3A CN202110690178A CN113379637A CN 113379637 A CN113379637 A CN 113379637A CN 202110690178 A CN202110690178 A CN 202110690178A CN 113379637 A CN113379637 A CN 113379637A
Authority
CN
China
Prior art keywords
image
foreground
rough
feature map
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110690178.3A
Other languages
English (en)
Inventor
高成英
韦舒心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Publication of CN113379637A publication Critical patent/CN113379637A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于递进学习策略的图像修复方法、系统、存储介质及终端设备，包括：将待修复图像输入粗生成模型，以得到粗生成结果；提取所述粗生成结果的特征图，以得到前景特征图；将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。本发明能够在对图像中大面积破损区域进行生成时，保持图像语义完整并生成较为清晰的细节，对结构性强的图片有较好的修复效果，从而提升了用户图像修复体验。

Description

基于递进学习策略的图像修复方法、系统、介质及设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于递进学习策略的图像修复方法、系统、计算机可读存储介质及终端设备。
背景技术
图像修复是图像复原的一个重要组成部分，是指对图像上信息缺损区域进行信息填充，并在最大程度上进行真实的还原，使得被修复后的图像在视觉上与语义上具有真实性。其目的是利用图像现有的信息来修复丢失的信息。然而，现有的图像修复方法多数从数学和物理的角度对图像进行生成，而没有考虑到图像的语义信息，因此只能够对破损面积较小的图像进行修复；对大面积破损的图像进行修复时，存在修复效果较差、修复过程中可能造成语义信息的丢失，且难以对不规则区域及高频图像的细节进行修复的问题。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于递进学习策略的图像修复方法、系统、计算机可读存储介质及终端设备，能够在对图像中大面积破损区域进行生成时，保持图像语义完整并生成较为清晰的细节，对结构性强的图片有较好的修复效果。
为了解决上述技术问题，本发明实施例提供了一种基于递进学习策略的图像修复方法，所述方法包括：
将待修复图像输入粗生成模型，以得到粗生成结果；
提取所述粗生成结果的特征图，以得到前景特征图；
将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。
进一步地，在将待修复图像输入粗生成模型以得到粗生成结果之前，所述方法还包括：
获取训练样本图像；
向所述训练样本图像中心区域附加一破损区域大小的掩模，以作为粗生成网络的输入。
进一步地，所述粗生成网络的生成训练方法，具体为：
将粗生成从内到外划分为四个阶段，将每个阶段通过编解码架构生成外层区域内容，并使用生成对抗网络对生成结果进行鉴别；
通过单层LSTM网络建立各个阶段之间的任务连接，以形成粗生成网络；
将训练样本图像输入粗生成网络中进行训练，以得到粗生成模型。
进一步地，所述粗生成模型包括重建损失函数、全变分损失函数以及光谱标准化的PatchGAN：
所述重建损失函数为，
Figure BDA0003124167000000021
其中，x1为初始输入图像，Mi为掩模；
所述全变分损失函数为，
Figure BDA0003124167000000022
其中，m、n为像素的坐标；
所述光谱标准化的PatchGAN为，
Figure BDA0003124167000000023
Figure BDA0003124167000000024
其中，Dsn为光谱标准化的鉴别器，G为图像修复的粗生成网络，z为待修复的图像，x为真实图像。
进一步地，提取所述粗生成结果的特征图，以得到前景特征图，具体为：
将所述粗生成结果输入第一编码器以通过扩张卷积层扩大对纹理特征的感受野；
将所述粗生成结果输入第二编码器通过普通卷积层得到前景特征图。
进一步地，将所述前景特征图与背景特征图进行匹配，具体为：
分别获取所述前景特征图及背景特征图的前景样本块及背景样本块；
计算所述前景样本块与背景样本块的相似度，通过softmax层来对样本块之间的相关性进行评估。
进一步地，所述前景特征图与背景特征图之间的相似度为：
Figure BDA0003124167000000031
Figure BDA0003124167000000032
Figure BDA0003124167000000033
其中，fx,y为前景样本块，bx',y'为背景样本块，(x,y)为前景中心，(x',y')为背景中心，λ为常数。
为了解决上述技术问题，本发明实施例还提供了一种基于递进学习策略的图像修复系统，所述系统包括：
结构生成模块，用于将待修复图像输入粗生成模型，以得到粗生成结果；
特征提取模块，用于提取所述粗生成结果的特征图，以得到前景特征图；
图像重构模块，用于将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行以下步骤：
将待修复图像输入粗生成模型，以得到粗生成结果；
提取所述粗生成结果的特征图，以得到前景特征图；
将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。
本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：
将待修复图像输入粗生成模型，以得到粗生成结果；
提取所述粗生成结果的特征图，以得到前景特征图；
将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。
与现有技术相比，本发明实施例提供了一种基于递进学习策略的图像修复方法、系统、计算机可读存储介质及终端设备，首先将待修复图像输入粗生成模型，以得到粗生成结果；提取所述粗生成结果的特征图，以得到前景特征图；将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。相比现有技术，本发明能够在对图像中大面积破损区域进行生成时，保持图像语义完整并生成较为清晰的细节，对结构性强的图片有较好的修复效果，从而提升了用户图像修复体验。
附图说明
图1为本发明提供的一种基于递进学习策略的图像修复方法的应用环境图；
图2为本发明提供的一种基于递进学习策略的图像修复方法中粗生成阶段网络架构图；
图3为本发明提供的一种基于递进学习策略的图像修复方法中细化阶段网络架构图；
图4为本发明提供的一种基于递进学习策略的图像修复方法中的修复效果图；
图5是本发明实施例提供的一种基于递进学习策略的图像修复系统的结构框图；
图6是本发明提供的一种终端设备的的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的服务器执行，且下文均以服务器作为执行主体为例进行说明。
如图1至图4所示，本发明实施例提供的一种基于递进学习策略的图像修复方法，所述方法包括步骤S11至步骤S13：
步骤S11，将待修复图像输入粗生成模型，以得到粗生成结果。
其中，在将待修复图像输入粗生成模型以得到粗生成结果之前，所述方法还包括：获取训练样本图像；向所述训练样本图像中心区域附加一破损区域大小的掩模，以作为粗生成网络的输入。
具体的，读取已有的训练样本图像，对所述训练样本图像进行随机变换，如反转、旋转后；将所有的训练样本图像统一放缩至256*256，并为每幅图像中心区域附加破损区域大小为128*128的掩模(mask)，作为粗生成网络的输入。
进一步地，所述粗生成网络的生成训练包括将粗生成从内到外划分为四个阶段，将每个阶段通过编解码架构生成外层区域内容，并使用生成对抗网络对生成结果进行鉴别；通过单层LSTM网络建立各个阶段之间的任务连接，以形成粗生成网络；将训练样本图像输入粗生成网络中进行训练，以得到粗生成模型。
具体的，将粗生成的过程划分为从外到内的四个阶段，每个阶段均使用编码器-解码器架构，生成当前最外层区域的内容，并使用生成对抗网络对生成结果进行鉴别；
通过单层LSTM网络建立各个阶段之间的任务连接以实现各个阶段之间信息的传递：其中，使用ct代表LSTM单元在t时刻的状态，ht代表t时刻LSTM单元隐藏层的状态，it，ft，gt，ot分别代表输入门、遗忘门、单元门和输出门。对每一阶段，输入数据为由U型网络生成的1024维的向量；输出数据为LSTM隐藏层生成的2048维的向量；
将训练样本图像送入到粗生成网络中；
根据LSTM单元结构以及需求对LSTM参数进行初始化，如LSTM将所有c0，h0中的参数初始化为0，对每个按时间t划分的步骤，LSTM的参数运算包括：
it＝sigmoid(Wiiinputt+bii+Whiht-1+bhi)
ft＝sigmoid(Wifinputt+bif+Whfht-1+bhf)
ot＝sigmoid(Wioinputt+bio+Whoht-1+bho)
gt＝sigmoid(Wiginputt+big+Whght-1+bhg)
ct＝ft*ct-1+it*gt
ht＝ot*tanh(ct)
outputt＝ht
featuret＝Concatenate(outputt,inputt)
其中，W和b分别代表当前网络的权重和偏置；据此完成对粗生成网络进行训练。
可以理解的，通过生成对抗机制对粗生成网络参数进行有监督的调整，得到训练好的粗生成模型。
所述粗生成模型包括重建损失函数、全变分损失函数以及光谱标准化的PatchGAN：
所述重建损失函数为，
Figure BDA0003124167000000071
其中，xi为每个阶段的输入，x1为初始输入图像，Mi为第i阶段的掩模；
所述全变分损失函数为，
Figure BDA0003124167000000072
其中，m、n为像素的坐标；
所述光谱标准化的PatchGAN为，
Figure BDA0003124167000000073
Figure BDA0003124167000000074
其中，Dsn为光谱标准化的鉴别器，G为图像修复的粗生成网络，z为待修复的图像，x为真实图像。
步骤S12，提取所述粗生成结果的特征图，以得到前景特征图。
具体的，将所述粗生成结果输入第一编码器以通过扩张卷积层扩大对纹理特征的感受野；将所述粗生成结果输入第二编码器通过普通卷积层得到前景特征图。可以理解的，通过将粗生成结果分别送入两个编码器中对特征进行提取；第一编码器使用扩张卷积层扩大对纹理特征的感受野作为前景特征图重构的一部分；第二编码器使用普通卷积层如空洞卷积，并将其输入送入下一阶段用于完成前景背景的特征匹配。
步骤S13，将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。
具体的，将待修复的破损区域看做是前景部分，而周围的上下文区域看做是背景部分，以将前景中的前景样本块fx,y与背景中的背景样本块bx',y'相匹配。
并按照如下公式计算前景中中心在(x,y)的前景样本块与背景中中心在(x',y')的背景样本块的相似程度sx,y,x',y'：
Figure BDA0003124167000000075
通过softmax层来对前景样本块与背景样本块之间的相关性进行评估，对每一个像素点可得
Figure BDA0003124167000000081
其中λ为常数。
通过得到的与前景样本块匹配程度最高的背景样本块bx',y'对所述前景特征图进行重构，以实现最佳匹配细化纹理。为提高生成结果之间的相干性，保证粗生成网络得到的结构性信息不会丢失，引入了大小为k的核依次作自左向右、自上向下的传播。最终得到前景特征图与背景特征图之间的相似程度评估如下：
Figure BDA0003124167000000082
可以理解的，通过将生成结果中掩模覆盖区域与已知区域联结，就以得到最终的生成结果，能够在对图像中大面积破损区域进行生成时，保持图像语义完整并生成较为清晰的细节，对结构性强的图片有较好的修复效果。
在此需要说明的是，通过使用递进学习策略完成对破损区域内容的粗生成，然后引用核传播进入纹理细化阶段，对破损区域(前景)与上下文(背景)中的样本块按照相似程度进行匹配，用得到的背景中最为匹配的样本块对前景进行卷积，达到重构、细化生成结果的目的。
本发明实施例所提供的一种基于递进学习策略的图像修复方法，首先将待修复图像输入粗生成模型，以得到粗生成结果；提取所述粗生成结果的特征图，以得到前景特征图；将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。相比现有技术，本发明能够在对图像中大面积破损区域进行生成时，保持图像语义完整并生成较为清晰的细节，对结构性强的图片有较好的修复效果，从而提升了用户图像修复体验。
如图5所示，是本发明提供的一种基于递进学习策略的图像修复系统的结构框图，所述系统包括：
结构生成模块21，用于将待修复图像输入粗生成模型，以得到粗生成结果。
进一步地，获取训练样本图像；向所述训练样本图像中心区域附加一破损区域大小的掩模，以作为粗生成网络的输入。
进一步地，所述粗生成网络的生成训练，具体为：
将粗生成从内到外划分为四个阶段，将每个阶段通过编解码架构生成外层区域内容，并使用生成对抗网络对生成结果进行鉴别；
通过单层LSTM网络建立各个阶段之间的任务连接，以形成粗生成网络；
将训练样本图像输入粗生成网络中进行训练，以得到粗生成模型。
具体的，所述粗生成模型包括重建损失函数、全变分损失函数以及光谱标准化的PatchGAN：
所述重建损失函数为，
Figure BDA0003124167000000091
其中，x1为初始输入图像，Mi为掩模；
所述全变分损失函数为，
Figure BDA0003124167000000092
其中，m、n为像素的坐标；
所述光谱标准化的PatchGAN为，
Figure BDA0003124167000000093
Figure BDA0003124167000000094
其中，Dsn为光谱标准化的鉴别器，G为图像修复的粗生成网络，z为待修复的图像，x为真实图像。
特征提取模块22，用于提取所述粗生成结果的特征图，以得到前景特征图。
具体的，将所述粗生成结果输入第一编码器以通过扩张卷积层扩大对纹理特征的感受野；将所述粗生成结果输入第二编码器通过普通卷积层得到前景特征图。
图像重构模块23，用于将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。
具体的，分别获取所述前景特征图及背景特征图的前景样本块及背景样本块；计算所述前景样本块与背景样本块的相似度，通过softmax层来对样本块之间的相关性进行评估。
所述前景特征图与背景特征图之间的相似度为：
Figure BDA0003124167000000101
Figure BDA0003124167000000102
Figure BDA0003124167000000103
其中，fx,y为前景样本块，bx',y'为背景样本块，(x,y)为前景中心，(x',y')为背景中心，λ为常数。
本发明实施例所提供的一种基于递进学习策略的图像修复系统，首先将待修复图像输入粗生成模型，以得到粗生成结果；提取所述粗生成结果的特征图，以得到前景特征图；将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。相比现有技术，本发明能够在对图像中大面积破损区域进行生成时，保持图像语义完整并生成较为清晰的细节，对结构性强的图片有较好的修复效果，从而提升了用户图像修复体验。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行以下步骤：
将待修复图像输入粗生成模型，以得到粗生成结果；
提取所述粗生成结果的特征图，以得到前景特征图；
将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。
本发明实施例还提供了一种终端设备，参见图6所示，是本发明提供的一种终端设备的一个优选实施例的结构框图，所述终端设备包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10在执行所述计算机程序时实现以下步骤：
将待修复图像输入粗生成模型，以得到粗生成结果；
提取所述粗生成结果的特征图，以得到前景特征图；
将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。
优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、······)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器10也可以是任何常规的处理器，所述处理器10是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。
所述存储器20主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器20可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡和闪存卡(Flash Card)等，或所述存储器20也可以是其他易失性固态存储器件。
需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图6结构框图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
综上，本发明实施例所提供的一种基于递进学习策略的图像修复方法、系统、计算机可读存储介质及终端设备，首先将待修复图像输入粗生成模型，以得到粗生成结果；提取所述粗生成结果的特征图，以得到前景特征图；将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。相比现有技术，本发明能够在对图像中大面积破损区域进行生成时，保持图像语义完整并生成较为清晰的细节，对结构性强的图片有较好的修复效果，从而提升了用户图像修复体验。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于递进学习策略的图像修复方法，其特征在于，所述方法包括：
将待修复图像输入粗生成模型，以得到粗生成结果；
提取所述粗生成结果的特征图，以得到前景特征图；
将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。
2.如权利要求1所述的基于递进学习策略的图像修复方法，其特征在于，在将待修复图像输入粗生成模型以得到粗生成结果之前，所述方法还包括：
获取训练样本图像；
向所述训练样本图像中心区域附加一破损区域大小的掩模，以作为粗生成网络的输入。
3.如权利要求2所述的基于递进学习策略的图像修复方法，其特征在于，所述粗生成网络的生成训练方法，具体为：
将粗生成从内到外划分为四个阶段，将每个阶段通过编解码架构生成外层区域内容，并使用生成对抗网络对生成结果进行鉴别；
通过单层LSTM网络建立各个阶段之间的任务连接，以形成粗生成网络；
将训练样本图像输入粗生成网络中进行训练，以得到粗生成模型。
4.如权利要求1所述的基于递进学习策略的图像修复方法，其特征在于，所述粗生成模型包括重建损失函数、全变分损失函数以及光谱标准化的PatchGAN：
所述重建损失函数为，
Figure FDA0003124166990000011
xi+1＝G(xi)
其中，x1为初始输入图像，Mi为掩模；
所述全变分损失函数为，
Figure FDA0003124166990000021
其中，m、n为像素的坐标；
所述光谱标准化的PatchGAN为，
Figure FDA0003124166990000022
Figure FDA0003124166990000023
其中，Dsn为光谱标准化的鉴别器，G为图像修复的粗生成网络，z为待修复的图像，x为真实图像。
5.如权利要求1所述的基于递进学习策略的图像修复方法，其特征在于，提取所述粗生成结果的特征图，以得到前景特征图，具体为：
将所述粗生成结果输入第一编码器以通过扩张卷积层扩大对纹理特征的感受野；
将所述粗生成结果输入第二编码器通过普通卷积层得到前景特征图。
6.如权利要求5所述的基于递进学习策略的图像修复方法，其特征在于，将所述前景特征图与背景特征图进行匹配，具体为：
分别获取所述前景特征图及背景特征图的前景样本块及背景样本块；
计算所述前景样本块与背景样本块的相似度，通过softmax层来对样本块之间的相关性进行评估。
7.如权利要求6所述的基于递进学习策略的图像修复方法，其特征在于，所述前景特征图与背景特征图之间的相似度为：
Figure FDA0003124166990000024
Figure FDA0003124166990000025
Figure FDA0003124166990000031
其中，fx,y为前景样本块，bx',y'为背景样本块，(x,y)为前景中心，(x',y')为背景中心，λ为常数。
8.一种基于递进学习策略的图像修复系统，其特征在于，所述系统包括：
结构生成模块，用于将待修复图像输入粗生成模型，以得到粗生成结果；
特征提取模块，用于提取所述粗生成结果的特征图，以得到前景特征图；
图像重构模块，用于将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1至7中任一项所述的基于递进学习策略的图像修复方法。
10.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1至7中任一项所述的基于递进学习策略的图像修复方法。
CN202110690178.3A 2020-12-21 2021-06-21 基于递进学习策略的图像修复方法、系统、介质及设备 Pending CN113379637A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011531716.6A CN112634157A (zh) 2020-12-21 2020-12-21 基于递进学习策略的图像修复方法、系统、介质及设备
CN2020115317166 2020-12-21

Publications (1)

Publication Number Publication Date
CN113379637A true CN113379637A (zh) 2021-09-10

Family

ID=75321124

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011531716.6A Withdrawn CN112634157A (zh) 2020-12-21 2020-12-21 基于递进学习策略的图像修复方法、系统、介质及设备
CN202110690178.3A Pending CN113379637A (zh) 2020-12-21 2021-06-21 基于递进学习策略的图像修复方法、系统、介质及设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011531716.6A Withdrawn CN112634157A (zh) 2020-12-21 2020-12-21 基于递进学习策略的图像修复方法、系统、介质及设备

Country Status (1)

Country Link
CN (2) CN112634157A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222849A (zh) * 2021-05-20 2021-08-06 广东工业大学 一种基于内容感知层的敦煌壁画图像修复方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190355102A1 (en) * 2018-05-15 2019-11-21 Adobe Inc. Digital Image Completion by Learning Generation and Patch Matching Jointly
CN111292265A (zh) * 2020-01-22 2020-06-16 东华大学 一种基于生成式对抗神经网络的图像修复方法
CN111340122A (zh) * 2020-02-29 2020-06-26 复旦大学 一种多模态特征融合的文本引导图像修复方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190355102A1 (en) * 2018-05-15 2019-11-21 Adobe Inc. Digital Image Completion by Learning Generation and Patch Matching Jointly
CN111292265A (zh) * 2020-01-22 2020-06-16 东华大学 一种基于生成式对抗神经网络的图像修复方法
CN111340122A (zh) * 2020-02-29 2020-06-26 复旦大学 一种多模态特征融合的文本引导图像修复方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAHUI YU ET AL.: "Free-Form Image Inpainting with Gated Convolution", 《ARXIV:1806.03589V2》, 22 October 2019 (2019-10-22), pages 1 - 17 *
JIAHUI YU ET AL.: "Generative Image Inpainting with Contextual Attention", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 17 December 2018 (2018-12-17), pages 5505 - 5514 *

Also Published As

Publication number Publication date
CN112634157A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
Lei et al. Coupled adversarial training for remote sensing image super-resolution
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN110222573B (zh) 人脸识别方法、装置、计算机设备及存储介质
CN112001914A (zh) 深度图像补全的方法和装置
CN111507909A (zh) 一种有雾图像清晰化的方法、装置及存储介质
CN109920021B (zh) 一种基于正则化宽度学习网络的人脸素描合成方法
CN110675339A (zh) 基于边缘修复和内容修复的图像修复方法及系统
CN111914654B (zh) 一种文本版面分析方法、装置、设备和介质
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
JP2023526899A (ja) 画像修復モデルを生成するための方法、デバイス、媒体及びプログラム製品
CN113379637A (zh) 基于递进学习策略的图像修复方法、系统、介质及设备
CN114626118A (zh) 建筑物室内模型生成方法及装置
CN116051407A (zh) 一种图像修复方法
CN113077379B (zh) 特征潜码的提取方法及装置、设备及存储介质
CN111738248B (zh) 字符识别方法、字符译码模型的训练方法及电子设备
CN115115537B (zh) 一种基于掩码训练的图像修复方法
CN113592724A (zh) 目标人脸图像的修复方法和装置
CN116309274B (zh) 图像中小目标检测方法、装置、计算机设备及存储介质
Thomas et al. Analysis of image inpainting and object removal methodologies
CN112669212B (zh) 人脸图像超分辨率重建方法、装置、计算机设备及介质
CN112580658B (zh) 图像语义描述方法、装置、计算设备及计算机存储介质
CN115938546B (zh) 一种早期胃癌图像合成方法、系统、设备及存储介质
US20230360169A1 (en) Image processing apparatus and operation method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210910