CN109584178A - 图像修复方法、装置和存储介质 - Google Patents

图像修复方法、装置和存储介质 Download PDF

Info

Publication number
CN109584178A
CN109584178A CN201811442428.6A CN201811442428A CN109584178A CN 109584178 A CN109584178 A CN 109584178A CN 201811442428 A CN201811442428 A CN 201811442428A CN 109584178 A CN109584178 A CN 109584178A
Authority
CN
China
Prior art keywords
image
repaired
area
region
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811442428.6A
Other languages
English (en)
Inventor
陶鑫
王毅
賈佳亞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811442428.6A priority Critical patent/CN109584178A/zh
Publication of CN109584178A publication Critical patent/CN109584178A/zh
Priority to PCT/CN2019/119588 priority patent/WO2020108358A1/zh
Priority to US17/188,449 priority patent/US11798132B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像修复方法、装置和存储介质；本发明实施例在获取到待修复图像后，可以从该待修复图像中确定待修复区域和非修复区域，基于不同的感受域和空间分辨率对该非修复区域进行特征提取，然后，根据提取得到的多个尺度的特征信息生成该待修复区域的纹理，并将生成的纹理填充至该待修复图像中的待修复区域，得到修复后图像；该方案可以较好地对结构性强或大区域的目标进行修复，大大增强修复区域的真实性，提高修复效果。

Description

图像修复方法、装置和存储介质
技术领域
本发明涉及通信技术领域，具体涉及一种图像修复方法、装置和存储介质。
背景技术
图像修复旨在合理填充图像中标记区域(即待修复的标记区域)，是图像编辑中的重要操作。它可以对受到损坏的图像进行修复重建，也可以用作去除图像中的瑕疵、物体和水印等，在美化图像的一种方式。尤其是在街头和景区拍摄的图像背景中，往往会包含路人或杂物等其他多余物体，而通过图像修复，便可以将这些多余物体在图像中去除，使得图像的展示效果更加优化。
在现有技术中，图像修复的技术有多种，基于神经网络的图像修复方法便是其中的一种。现有基于神经网络的图像修复方法大多采用单尺度特征识别来确定标记区域，然后，再将已知区域的纹理迁移到该标记区域，进而达到修复的目的。在对现有技术的研究和实践过程中，本发明的发明人发现，现有方案生成的纹理较为单一，因此，对于结构性强或大区域的目标，容易出现伪影，真实度较差，其修复效果并不佳。
发明内容
本发明实施例提供一种图像修复方法、装置和存储介质，可以较好地对结构性强或大区域的目标进行修复，增强修复区域的真实性，提高修复效果。
本发明实施例提供一种图像修复方法，包括：
获取待修复图像，并从所述待修复图像中确定待修复区域和非修复区域；
基于不同的感受域和空间分辨率对所述非修复区域进行特征提取，得到多个尺度的特征信息；
根据所述多个尺度的特征信息生成所述待修复区域的纹理；
将生成的纹理填充至所述待修复图像中的待修复区域，得到修复后图像。
相应的，本发明实施例还提供一种图像修复装置，包括：
获取单元，用于获取待修复图像，并从所述待修复图像中确定待修复区域和非修复区域；
提取单元，用于基于不同的感受域和空间分辨率对所述非修复区域进行特征提取，得到多个尺度的特征信息；
生成单元，用于据所述多个尺度的特征信息生成所述待修复区域的纹理；
填充单元，用于将生成的纹理填充至所述待修复图像中的待修复区域，得到修复后图像。
可选的，在一些实施例中，所述获取单元，具体用于根据用户的标注从所述待修复图像中确定待修复区域，根据所述待修复区域生成掩码，根据所述掩码在所述待修复图像中确定非修复区域。
可选的，在一些实施例中，所述提取单元，具体用于获取训练后多列卷经网络，所述训练后多列卷经网络包括多个并联的子网络，不同的子网络设置有不同的感受域和空间分辨率；采用所述多个并联的子网络分别对所述非修复区域进行特征提取，得到每个子网络对应的特征信息。
则此时，所述生成单元，具体用于根据所有子网络对应的特征信息生成所述待修复区域的纹理。
可选的，在一些实施例中，所述生成单元，具体用于对每个子网络对应的特征信息进行组合，得到组合后特征图，将组合后特征图映射至图像空间，得到映射后图像，从映射后图像中获取所述待修复区域的纹理。
可选的，在一些实施例中，所述生成单元，具体用于确定所述待修复区域在所述待修复图像中的位置，将所述映射后图像中，与所述位置相同的区域作为目标区域，获取目标区域的纹理，得到所述待修复区域的纹理。
可选的，在一些实施例中，所述图像修复装置还可以包括采集单元和训练单元，如下：
采集单元，用于采集多张图像样本；
训练单元，用于根据所述图像样本对预设多列卷积神经网络进行训练，得到训练后多列卷积神经网络。
可选的，在一些实施例中，所述训练单元包括选取子单元、掩盖子单元、预测子单元和收敛子单元，如下：
选取子单元，用于从所述图像样本中随机选取区域作为标记区域；
掩盖子单元，用于对所述图像样本中的标记区域进行掩盖，得到训练样本；
预测子单元，用于采用预设多列卷积神经网络对所述训练样本中标记区域的纹理进行预测，得到预测图像；
收敛子单元，用于利用所述图像样本对所述预测图像进行验证，以收敛所述多列卷积神经网络，得到训练后多列卷积神经网络。
可选的，在一些实施例中，所述掩盖子单元，具体用于根据所述标记区域生成掩码，将生成的掩码与所述图像样本进行组合，得到训练样本。
可选的，在一些实施例中，所述预测子单元，具体用于根据标记区域确定所述训练样本中的待修复样本区域和非修复样本区域，采用预设多列卷积神经网络对所述训练样本进行多尺度特征提取，得到所述非修复样本区域对应的多个尺度的特征信息，根据得到的多个尺度的特征信息生成所述待修复样本区域的纹理，将生成的纹理填充至所述训练样本中的待修复样本区域，得到预测图像。
可选的，在一些实施例中，所述收敛子单元，具体用于根据所述预测图像和图像样本分别构建重构损失函数、正则化损失函数和对抗性损失函数，根据所述重构损失函数、正则化损失函数和对抗性损失函数生成优化损失函数，采用所述优化损失函数对所述多列卷积神经网络进行收敛，得到训练后多列卷积神经网络。
可选的，在一些实施例中，所述收敛子单元，具体用于获取所述标记区域对应的掩码，并采用高斯滤波器对所述掩码进行卷积处理，得到损失权重掩码，根据所述损失权重掩码、图像样本和预测图像构建重构损失函数。
可选的，在一些实施例中，所述收敛子单元，具体用于采用图像分类模型分别对所述预测图像和图像样本中的像素类型进行分类，在分类的过程中，分别获取所述预测图像和图像样本在所述图像分类模型的各个卷积层的输出值，计算在每一层卷积层中，预测图像的输出值和图像样本的输出值之间的隐式多样性马尔科夫随机场损失，根据计算得到的每一层的隐式多样性马尔科夫随机场损失构建正则化损失函数。
可选的，在一些实施例中，所述收敛子单元，具体用于计算所述预测图像和图像样本之间的插值，采用预设判别器对所述插值进行处理，得到所述插值对应的概率，采用预设判别器对所述预测图像进行处理，得到所述预测图像对应的概率，获取所述标记区域对应的掩码，并采用高斯滤波器对所述掩码进行卷积处理，得到损失权重掩码，根据所述插值对应的概率、预测图像对应的概率和损失权重掩码构建对抗性损失函数。
相应的，本发明实施例还提供另一种图像修复方法，包括：
获取待修复图像，并接收用户在所述待修复图像上对需要进行修复的区域的选择信息；
根据用户的选择信息从所述待修复图像中确定待修复区域和非修复区域；
基于不同的感受域和空间分辨率对所述非修复区域进行特征提取，得到多个尺度的特征信息；
根据所述多个尺度的特征信息生成所述待修复区域的纹理；
将生成的纹理填充至所述待修复图像中的待修复区域，得到修复后图像；
显示所述修复后图像。
此外，本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例提供的任一项所述的图像修复方法中的步骤。
本发明实施例在获取到待修复图像后，可以从该待修复图像中确定待修复区域和非修复区域，基于不同的感受域和空间分辨率对该非修复区域进行特征提取，然后，根据提取得到的多个尺度的特征信息生成该待修复区域的纹理，并将生成的纹理填充至该待修复图像中的待修复区域，得到修复后图像；由于该方案可以从多个尺度进行特征的提取，并据此生成纹理，因此，所生成的纹理更具有多样性，进而可以较好地对结构性强或大区域的目标进行修复，大大增强修复区域的真实性，提高修复效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的图像修复方法的场景示意图；
图1b是本发明实施例提供的图像修复方法的流程示意图；
图1c是本发明实施例提供的图像修复方法中感受域的示意图；
图1d是本发明实施例提供的训练后多列卷积神经网络的结构示意图；
图1e是本发明实施例提供的图像修复方法中筛选训练样本的示例图；
图2a是本发明实施例提供的多列卷积神经网络的训练示例图；
图2b是本发明实施例提供的图像修复方法另一流程示意图；
图2c是本发明实施例提供中待修复修复和非修复区域划分示例图；
图2d是本发明实施例提供的图像修复方法的场景示例图；
图2e是本发明实施例提供的图像修复方法的效果示例图；
图3a是本发明实施例提供的图像修复方法的又一流程示意图；
图3b是本发明实施例提供的图像修复方法的另一场景示意图；
图4a是本发明实施例提供的图像修复装置的结构示意图；
图4b是本发明实施例提供的图像修复装置的另一结构示意图；
图5是本发明实施例提供的网络设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种图像修复方法、装置和存储介质。
其中，该图像修复装置具体可以集成在网络设备，比如服务器或终端等设备中。例如，参见图1a，网络设备可以获取待修复图像，并从该待修复图像中确定待修复区域和非修复区域，然后，基于不同的感受域和空间分辨率对该非修复区域进行特征提取，比如采用训练后多列卷积神经网络对该非修复区域进行多尺度特征提取，得到多个尺度的特征信息，根据该多个尺度的特征信息生成该待修复区域的纹理，并将生成的纹理填充至该待修复图像中的待修复区域，得到修复后图像。
其中，该训练后多列卷积神经网络可以包括多个并联的子网络，不同的子网络设置有不同的感受域和空间分辨率，用于提取不同尺度的特征信息，该多列卷积神经网络可以通过对多个图像样本训练而成。
以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。
本实施例将从图像修复装置的角度进行描述，该图像修复装置具体可以集成在网络设备，比如服务器或终端等设备中，该终端可以包括手机、平板电脑、笔记本电脑和/或个人计算机(PC，Personal Computer)等。
一种图像修复方法，包括：获取待修复图像，并从该待修复图像中确定待修复区域和非修复区域，基于不同的感受域和空间分辨率对该非修复区域进行特征提取，得到多个尺度的特征信息，根据该多个尺度的特征信息生成该待修复区域的纹理，将生成的纹理填充至该待修复图像中的待修复区域，得到修复后图像。
如图1b所示，该图像修复方法的具体流程可以如下：
101、获取待修复图像，其中，该待修复图像指的是需要进行修复的图像。
例如，具体可以从本地(即图像修复装置)读取待修复图像，或者，也可以从其他的设备获取待修复图像。
102、从该待修复图像中确定待修复区域和非修复区域；例如，具体可以如下：
(1)根据用户的标注从该待修复图像中确定待修复区域。
其中，若该待修复图像中已经包括有用户的标注(该标注标出需要进行修复的区域)，则此时，可以直接根据该用户的标注从该待修复图像中确定待修复区域；而若该待修复图像中未包括有用户的标注，则此时可以接收用户的标注，然后，根据用户的标注从该待修复图像中确定待修复区域。
(2)根据该待修复区域生成掩码(即位掩码，BitMask)，并根据该掩码在该待修复图像中确定非修复区域。
其中，掩码在计算机学科及数字逻辑中指的是一串二进制数字；通过将掩码与目标数字的按位操作，可以达到屏蔽指定位而实现需求。在掩码中，每个二进制位都有两种取值情况：0(假，False)或者1(真，True)，通过掩码，可以将该待修复图像中的非修复区域进行屏蔽，比如，可以将待修复图像中的待修复区域的数值设置为1，而其他区域的数值设置为0，那么，此时便可以将数值为0的区域确定为非修复区域；用公式表示即为：
其中，X为非修复区域，Y为待修复区域，M为掩码，是对应元素相乘的操作。
103、基于不同的感受域和空间分辨率对该非修复区域进行特征提取，得到多个尺度的特征信息。
例如，具体可以获取训练后多列卷经网络，采用训练后多列卷积神经网络，对该非修复区域进行多尺度特征提取，得到多个尺度的特征信息。
其中，该训练后多列卷积神经网络可以包括多个并联的子网络，不同的子网络设置有不同的感受域和空间分辨率，用于提取不同尺度的特征信息。所谓感受域，也称为感受野(receptive field)，在卷积神经网络中，感受域决定了某一层输出结果中一个元素所对应的输入层的区域大小。也就是说，感受域是卷积神经网络中的某一层输出结果(即特征图，feature map)上的元素点在输入图像上映射的大小，比如，参见图1c。一般的，第一层卷积层(比如C1)的输出特征图像素的感受域的大小等于卷积核的大小(滤波器，Filtersize)，而深层卷积层(比如C4等)的感受域大小则和它之前所有层的卷积核大小和步长有关系，因此，基于不同的感受域，加上采用不同的空间分辨率，便可以捕获到不同级别的信息，进而达到提取不同尺度特征信息的目的。即步骤“采用训练后多列卷积神经网络对该非修复区域进行多尺度特征提取，得到多个尺度的特征信息”可以包括：
采用该多个并联的子网络分别对该非修复区域进行特征提取，得到每个子网络对应的特征信息。
其中，该子网络的数量和网络参数均可以根据实际应用的需求而定，例如，以包括3个并联的子网络为例，则该训练后多列卷积神经网络的结构可以如图1d所示。
参见图1d，该训练后多列卷积神经网络可以包括子网络B1、B2和B3，每个子网络均可以包括编码器部分和编码器部分，各个子网络所采用的解码器部分和编码器部分的结构及参数均可以根据实际应用的需求而定，比如：
B1的编码器部分可以依次包括6层卷积层(convolution)，解码器部分可以依次包括4层扩张卷积层(dilated convolution)，而卷积核(Filter size)大小则可以设置为“7×7”。
B2的编码器部分可以依次包括6层卷积层，解码器部分可以依次包括4层扩张卷积层、一层反卷积层(deconvolution)和一层卷积层，卷积核大小可以设置为“5×5”。
B3的编码器部分可以依次包括6层卷积层，解码器部分可以依次包括4层扩张卷积层、一层反卷积层、一层卷积层、以及一层反卷积层，卷积核大小可以设置为“3×3”，等等。
也就是说，此时，可以分别采用子网络B1、B2和B3分别对该待修复图像中的非修复区域进行特征提取，进而得到子网络B1对应的特征信息、子网络B2对应的特征信息和子网络B3对应的特征信息。
104、根据该多个尺度的特征信息生成该待修复区域的纹理。
例如，还是以该训练后多列卷积神经网络可以包括多个并联的子网络为例，若在步骤103中，得到了每个子网络对应的特征信息，则此时，具体可以根据所有子网络对应的特征信息生成该待修复区域的纹理，比如，具体可以如下：
对所有子网络对应的特征信息进行组合，得到组合后特征图，将组合后特征图映射至图像空间，得到映射后图像，从映射后图像中获取该待修复区域的纹理。
比如，具体可以通过共享解码模块将组合后特征图映射至图像空间，得到映射后图像，其中，该共享解码模块可以通过多层卷积层来实现，其中，该卷积层的数量可以根据实际应用的需求而定，比如，参加图1d，具体可以通过两层卷积层来实现。
其中，从映射后图像中获取该待修复区域的纹理的方式可以有多种，比如，可以先确定该待修复区域在该待修复图像中的位置，然后，将该映射后图像中，与该位置相同的区域作为目标区域，获取目标区域的纹理，便可得到该待修复区域的纹理，等等。
可选的，若某些子网络所输出的特征信息(即特征图)的空间分辨率与原始输入的待修复图像不同，则为了可以更好地对这些子网络的输出进行组合(concatenation)，还可以通过对这些子网络所输出的特征信息进行上采样(upsampling)操作，来将其空间分辨率调整至原始空间分辨率(即原始输入的待修复图像的空间分辨率)。
比如，参见图1d，从图中可以看出，子网络B1和B2的输出的空间分辨率均与输入的待修复图像不同，因此，此时可以将其空间分辨率上采样至原始空间分辨率后，再对B1、B2和B3输出的特征信息进行组合，以得到组合后特征图，然后，再将组合后特征图映射至图像空间，比如可以通过多层卷积层对该组合后特征图进行卷积操作，以得到映射后图像，再然后，便可以从映射后图像中获取该待修复区域的纹理。
105、将生成的纹理填充至该待修复图像中的待修复区域，得到修复后图像。
例如，具体可以将生成的纹理通过迁移学习算法，填充至待修复区域，得到修复后区域，然后，将修复后区域与非修复区域进行组合，便可以得到修复后图像。用公式表示即为：
其中，为修复后图像，Y为待修复区域，X为非修复区域，M为掩码，为非修复区域，G([X,M])为修复后区域，是对应元素相乘的操作，其中，所有的输入输出均可以线性调整至-1至1之间。
可选的，该训练后多列卷积神经网络除了可以由运维人员预先进行设置之外，也可以由该图像修复装置自行训练来得到。即在步骤“获取训练后多列卷经网络”之前，该图像修复方法还可以包括：
采集多张图像样本，根据该图像样本对预设多列卷积神经网络进行训练，得到训练后多列卷积神经网络。
其中，该多列卷积神经网络的训练方式可以多种，比如，可以如下：
S1、从该图像样本中随机选取区域作为标记区域。
例如，参见图1e，具体可以从采集到的多张图像样本中随机筛选一张图像样本，作为当前图像样本，然后，从该当前图像样本中随机选取区域作为标记区域(参见图1e中虚线框内的区域)。
S2、对该图像样本中的标记区域进行掩盖，得到训练样本；
例如，具体可以根据该标记区域生成掩码，将生成的掩码与该图像样本进行组合，得到训练样本。
比如，可以在掩码中，将该标记区域中的数值设置为0，将该标记区域外的掩码数值设置为1，然后，再将生成的掩码与该图像样本进行组合，这样，便可以将该标记区域在图像样本中掩盖起来，进而得到训练样本，参见图1e。
S3、采用预设多列卷积神经网络对该训练样本中标记区域的纹理进行预测，得到预测图像；例如，具体可以如下：
根据标记区域确定该训练样本中的待修复样本区域和非修复样本区域(即根据标记区域确定该训练样本中的待修复区域，得到待修复样本区域；以及根据标记区域确定该训练样本中的非修复区域，得到非修复样本区域)，采用预设多列卷积神经网络对该非修复区域进行多尺度特征提取，得到该非修复样本区域对应的多个尺度的特征信息，根据得到的多个尺度的特征信息生成该待修复样本区域的纹理，将生成的纹理填充至该训练样本中的待修复样本区域，得到预测图像。
其中，确定待修复样本区域和非修复样本区域的方式、多尺度特征提取的方式、生成纹理的方法、以及填充纹理的方法与处理待修复图像时所采用的方法类型，具体可参见前面的实施例，在此不作赘述。
S4、利用该图像样本对该预测图像进行验证，以收敛该多列卷积神经网络，得到训练后多列卷积神经网络。
例如，具体可以根据该预测图像和图像样本分别构建重构损失函数(reconstruction loss)、正则化损失函数和对抗性损失函数(Adversarial loss)，然后，根据该重构损失函数、正则化损失函数和对抗性损失函数生成优化损失函数，采用该优化损失函数对该多列卷积神经网络进行收敛，得到训练后多列卷积神经网络。
其中，各个损失函数的构建方式可以有多种，例如，具体可以如下：
(1)重构损失函数；
例如，可以获取该标记区域对应的掩码，采用高斯滤波器对该掩码进行卷积处理，得到损失权重掩码，然后，根据该损失权重掩码、图像样本和预测图像构建重构损失函数。
由于像素重建损失对于图像修复非常重要，而像素的重建损失与其空间位置息息相关，比如，靠近填充边界的未知像素需要比远离填充边界的那些更强烈地受约束，因此，为了可以基于空间位置对重建的像素进行约束，该重构损失函数具体可以设置为置信度驱动(Confidence-driven)的损失函数，并通过已知像素的置信度和未知像素的置信度，来反映空间位置及其相对顺序，使其产生“逐渐将学习焦点从填充边界转移到中心，并平滑学习曲线”的效果。
例如，可以将已知像素的置信度设置为1，将未知像素的置信度设置为与边界的距离，与此同时，为了将已知像素的置信度传播到未知像素，可以使用高斯滤波器g来卷积标记掩码M以创建损失权重掩码用公式表示即为:
其中，并且将重复多次(即i次)即产生了Mw，其中，i为正整数。
在得到最终的损失权重掩码Ｍw后，便可以根据该最终的损失权重掩码Ｍw、图像样本Y和预测图像G([X,M]；θ)构建该置信度驱动的损失函数Lc：
其中，G([X,M]；θ)为预测图像，θ代表该多列卷积神经网络的各个网络参数。
(2)正则化损失函数；
正则化可以自动削弱不重要的特征变量，并自动从许多的特征变量中提取“重要的特征变量，从而解决过拟合问题。因此，为了避免过拟合，使得生成的纹理结构可以更加多样化，可以采用正则化损失函数对网络进行优化。其中，根据该预测图像和图像样本构建正则化损失函数的方式可以有多种，例如，具体可以如下：
采用图像分类模型(VGG,Visual Geometry Group)分别对该预测图像和图像样本中的像素类型进行分类，在分类的过程中，分别获取该预测图像和图像样本在该图像分类模型的各个卷积层的输出值，计算在每一层卷积层中，预测图像的输出值和图像样本的输出值之间的隐式多样性马尔科夫随机场损失(ID-MRF loss，Implicit Diversity MarkovRandom Filed loss)，根据计算得到的每一层的隐式多样性马尔科夫随机场损失构建正则化损失函数。
其中，隐式多样性马尔科夫随机场是一种类似马尔科夫随机场(MRF，MarkovRandom Filed)的正则化方式，马尔科夫随机场也称为马尔科夫网络(Markov network)或者无向图模型(undirected graphical model)，利用马尔科夫随机场，可以对图像中的纹理(包括结构)进行重建。而隐式多样性马尔科夫随机场相对于马尔科夫随机场而言，在重建的纹理上可以显得更加多样性，它可以最小化网络所生成的内容，并利用该最小化后的内容与来自无损图像中的最近邻之间的差异来对网络进行优化(即它可以充分利用填充区域内外的参考和上下文信息)。由于本发明实施例仅在训练中使用隐式多样性马尔科夫随机场，而完整的真实图像是已知的，因此，可以提供高质量的最近邻，所以，其优化效果可以得到极大地保障。
为了计算隐式多样性马尔科夫随机场损失，可以简单地使用直接相似性度量(比如余弦相似度)来找到生成的内容中的最近邻。但是这个过程往往会产生平滑的结构，因为平坦的区域很容易连接到类似的模式，并迅速减少结构变化。所以，为了恢复细微的细节，让结构更多样性，避免过平滑，可以采用相对距离度量来模拟局部特征和目标特征集之间的关系。例如，若预测图像中的生成内容(即生成的用于填充待修复样本区域的纹理)为在VGG网络的第L层卷积层的输出值为图像样本Y在VGG网络的第L层卷积层的输出值为YL，从提取图像块v，以及从YL提取的图像块s，则v和s的相对相似度RS(v,s)为：
其中，μ(v,s)为v和s之间的余弦相似度。r∈ρs(YL)表示除s以外属于YL的图像块。h和∈是两个正常数，可以根据实际应用的需求进行设置。
此后，可以通过归一化计算得到最终，根据该便可计算出在每一层卷积层中，和YL的隐式多样性马尔科夫随机场损失LM(L)，如下：
其中，和YL的隐式多样性马尔科夫随机场损失LM(L)也可以看作是“在L层卷积层中，预测图像的输出值和图像样本的输出值之间的隐式多样性马尔科夫随机场损失”。
在得到每一层卷积层中，预测图像的输出值和图像样本的输出值之间的隐式多样性马尔科夫随机场损失之后，便可以基于计算得到的每一层的隐式多样性马尔科夫随机场损失构建正则化损失函数。可选的，为了避免不够平滑，或者过平滑(过平滑容易产生伪影)，可以只选择其他部分卷积层的隐式多样性马尔科夫随机场损失来构建该正则化损失函数，比如只选择中低层次的卷积层的隐式多样性马尔科夫随机场损失来构建该正则化损失函数。即步骤“根据计算得到的每一层的隐式多样性马尔科夫随机场损失构建正则化损失函数”可以包括：
从计算得到的每一层的隐式多样性马尔科夫随机场损失中选取符合预设条件的卷积层所对应的隐式多样性马尔科夫随机场损失，根据选取的卷积层所对应的隐式多样性马尔科夫随机场损失构建正则化损失函数。
其中，具体选择的层次可以根据使用的VGG网络类型而定，比如，若采用的是VGG19，则此时，可以选取第三层“conv3_2”和第四层“conv4_2”的隐式多样性马尔科夫随机场损失来构建该正则化损失函数Lmrf，如下：
Lmrf＝2LM(conv4_2)+LM(conv3_2)。
其中，LM(conv4_2)为第四层“conv4_2”的隐式多样性马尔科夫随机场损失，LM(conv3_2)为第三层“conv3_2”的隐式多样性马尔科夫随机场损失。
(3)对抗性损失函数；
对抗性损失是填补缺失区域的催化剂，因此，通过对抗性损失函数，可以对纹理的填充进行优化，使得预测结果与真实模型在不同视角保持几何一致(比如将位于几何图形外的预测点，调整至几何图形内)。其中，根据该预测图像和图像样本构建对抗性损失函数的方式可以有多种，例如，具体可以如下：
计算该预测图像和图像样本之间的插值，采用预设判别器对该插值进行处理，得到该插值对应的概率，采用预设判别器对该预测图像进行处理，得到该预测图像对应的概率，获取该标记区域对应的掩码，并采用高斯滤波器对该掩码进行卷积处理，得到损失权重掩码，根据该插值对应的概率、预测图像对应的概率和损失权重掩码构建对抗性损失函数，用公式表示即为：
其中，Ladv为对抗性损失函数，为预测图像和图像样本之间的插值，t∈[0,1]；为插值对应的概率，为对基于求导操作；[D(G(X；θ))]为该预测图像G(X；θ)对应的概率，Mw为损失权重掩码，和分别为X和的分布，指的是从里抽取多个x后求个平均，指的是从里抽取多个后求平均，λgp为正则项系数，具体可以根据实际应用的需求进行设置。
其中，该判别器(也称为鉴别器)可以根据实际应用的需求而定，比如，该判别器可以包括全局判别器和局部判别器，即：
可以采用预设全局判别器对该插值进行处理，得到该插值对应的全局概率，以及采用局部判别器对该插值进行处理，得到该插值对应的局部概率，计算该插值对应的全局概率和该插值对应的局部概率直接的均值，即可得到该插值对应的概率。
同理，采用预设全局判别器对该预测图像进行处理，得到该预测图像对应的全局概率，以及采用局部判别器对该预测图像进行处理，得到该预测图像对应的局部概率，计算该预测图像对应的全局概率和该预测图像对应的局部概率直接的均值，即可得到该预测图像对应的概率。
在得到重构损失函数、正则化损失函数和对抗性损失函数之后，便可以根据该重构损失函数、正则化损失函数和对抗性损失函数生成优化损失函数L，如下：
L＝Lc+λmrfLmrf+λadvLadv。
其中，λmrf和λadv为正则项系数，具体可以根据实际应用的需求进行设置。
此后，便可以采用该优化损失函数对该多列卷积神经网络进行收敛，得到训练后多列卷积神经网络。
由上可知，本实施例在获取到待修复图像后，可以从该待修复图像中确定待修复区域和非修复区域，基于不同的感受域和空间分辨率对该非修复区域进行特征提取，然后，根据提取得到的多个尺度的特征信息生成该待修复区域的纹理，并将生成的纹理填充至该待修复图像中的待修复区域，得到修复后图像；由于该方案可以从多个尺度进行特征的提取，并据此生成纹理，因此，所生成的纹理更具有多样性，进而可以较好地对结构性强或大区域的目标进行修复，大大增强修复区域的真实性，提高修复效果。
根据前面实施例所描述的方法，以下将举例作进一步详细。
在本实施例中，将以该图像修复装置具体集成在网络设备中，且训练后多列卷积神经网络具体由该网络设备进行建立为例进行说明。
(一)多列卷积神经网络的训练；
首先，网络设备可以采集多张图像样本，比如，可以从其他图像采集设备如摄像头、相机或监控器中获取大量图像样本，或者，也可以从图库中读取大量的图像样本，又或者，还可以通过网络获取图像样本，等等。
其次，网络设备可以从采集到的多张图像样本中随机筛选一张图像样本，作为当前图像样本，然后，从该当前图像样本中随机选取区域作为标记区域，并对该图像样本中的标记区域进行掩盖，得到训练样本(即该图像样本无需预先进行人工标注，也就是说，该卷积神经网络的学习为“无监督学习”)。
再者，网络设备可以采用预设多列卷积神经网络对该训练样本中标记区域的纹理进行预测，得到预测图像，然后，利用该图像样本对该预测图像进行验证，以收敛该多列卷积神经网络，得到训练后多列卷积神经网络。
比如，网络设备可以根据标记区域确定该训练样本中的待修复样本区域和非修复样本区域(其中标记区域的位置即为待修复区域)，采用预设多列卷积神经网络对该非修复样本区域进行多尺度特征提取，得到该非修复样本区域对应的多个尺度的特征信息，根据得到的多个尺度的特征信息生成该待修复样本区域的纹理，将生成的纹理填充至该训练样本中的待修复样本区域，便可得到预测图像；此后，网络设备再根据该预测图像和图像样本分别构建重构损失函数、正则化损失函数和对抗性损失函数，然后，根据该重构损失函数、正则化损失函数和对抗性损失函数生成优化损失函数，采用该优化损失函数对该多列卷积神经网络进行收敛，得到训练后多列卷积神经网络。
其中，该预设多列卷积神经网络可以包括并列的多个子网络，不同的子网络设置有不同的感受域和空间分辨率，用于提取不同尺度的特征信息。
其中，每个子网络均可以包括编码器部分和编码器部分，子网络的数量、以及各个子网络所采用的解码器部分和编码器部分的结构及参数均可以根据实际应用的需求而定，比如，如图2a所示，以该多列卷积神经网络包括三个并列的子网络B1、B2和B3为例，则每个子网络的结构可以如下：
B1的编码器部分可以依次包括6层卷积层，解码器部分可以依次包括4层扩张卷积层，而卷积核大小则可以设置为“7×7”。
B2的编码器部分可以依次包括6层卷积层，解码器部分可以依次包括4层扩张卷积层、一层反卷积层和一层卷积层，卷积核大小可以设置为“5×5”。
B3的编码器部分可以依次包括6层卷积层，解码器部分可以依次包括4层扩张卷积层、一层反卷积层、一层卷积层、以及一层反卷积层，卷积核大小可以设置为“3×3”，等等。
也就是说，此时，可以分别采用子网络B1、B2和B3分别对该训练样本中的非修复样本区域进行特征提取，进而得到子网络B1对应的特征信息、子网络B2对应的特征信息和子网络B3对应的特征信息；由于子网络B1和B2的输出的空间分辨率均与输入的训练样本不同，因此，此时可以将B1和B2的输出的空间分辨率上采样至原始空间分辨率(即训练样本的空间分辨率)后，再对B1、B2和B3输出的特征信息进行组合，以得到组合后特征图，然后，再通过共享解码部分(即共享解码器。可以通过多层卷积层来实现)将组合后特征图映射至图像空间，得到映射后图像，再然后，便可以从映射后图像中获取该待修复样本区域的纹理，并将获取到的纹理填充至该训练样本中的待修复样本区域，得到预测图像。
其中，各个损失函数的构建方式可以有多种，例如，具体可以如下：
(1)重构损失函数；
网络设备可以获取该标记区域对应的掩码，采用高斯滤波器对该掩码进行卷积处理，得到损失权重掩码，然后，根据该损失权重掩码、图像样本和预测图像构建重构损失函数，例如，以重构损失函数具体为置信度驱动的损失函数，且该掩码为M为例，则损失权重掩码Mw具体可以如下：
其中，并且将重复多次(即i次)即产生了Mw，其中，i为正整数。
在得到最终的损失权重掩码Mw后，便可以根据该最终的损失权重掩码Mw、图像样本和预测图像构建该置信度驱动的损失函数Lc：
其中，Y为图像样本，G([X,M]；θ)为预测图像，θ代表该多列卷积神经网络的各个网络参数。
(2)正则化损失函数；
如图2a所示，网络设备可以采用VGG分别对该预测图像和图像样本中的像素类型进行分类，在分类的过程中，分别获取该预测图像和图像样本在该图像分类模型的各个卷积层的输出值，计算在每一层卷积层中，预测图像的输出值和图像样本的输出值之间的隐式多样性马尔科夫随机场损失(ID-MRF loss)，根据计算得到的每一层的隐式多样性马尔科夫随机场损失构建正则化损失函数。
例如，若预测图像中的生成内容(即生成的用于填充待修复样本区域的纹理)为在VGG网络的第L层卷积层的输出值为图像样本Y在VGG网络的第L层卷积层的输出值为YL，则和YL的隐式多样性马尔科夫随机场损失LM(L)可以如下：
其中，为通过归一化计算得到，其中，v为从提取的图像块，s为从YL提取的图像块，RS(v,s)为v和s的相对相似度，RS(v,s)的计算方式可以如下：
其中，μ(v,s)为v和s之间的余弦相似度。r∈ρs(YL)表示除s以外属于YL的图像块。h和∈是两个正常数，可以根据实际应用的需求进行设置。
在基于上述公式得到每一层卷积层中，预测图像的输出值和图像样本的输出值之间的隐式多样性马尔科夫随机场损失之后，便可以基于计算得到的每一层的隐式多样性马尔科夫随机场损失构建正则化损失函数。比如，以VGG网络为VGG19为例，此时可以选取第三层“conv3_2”和第四层“conv4_2”的隐式多样性马尔科夫随机场损失来构建该正则化损失函数Lmrf，如下：
Lmrf＝2LM(conv4_2)+LM(conv3_2)。
其中，LM(conv4_2)为第四层“conv4_2”的隐式多样性马尔科夫随机场损失，LM(conv3_2)为第三层“conv3_2”的隐式多样性马尔科夫随机场损失。
如图2a所示，通过该正则化损失函数，可以最小化网络所生成的内容(即生成的用于填充待修复区域的纹理)，并利用该最小化后的内容与图像样本中的最近邻之间的差异来对网络进行优化。
(3)对抗性损失函数；
参见图2a，网络设备可以计算该预测图像和图像样本之间的插值，然后，采用预设全局判别器对该插值进行处理，得到该插值对应的全局概率(图2a中T表示“真(True)”，F表示“假(False)”)，以及采用局部判别器对该插值进行处理，得到该插值对应的局部概率(图2a中T表示“真”，F表示“假”)，再然后，计算该插值对应的全局概率和该插值对应的局部概率直接的均值，得到该插值对应的概率。
同理，参见图2a，网络设备也可以采用预设全局判别器对该预测图像进行处理，得到该预测图像对应的全局概率(图2a中T表示“真”，F表示“假”)，以及采用局部判别器对该预测图像进行处理，得到该预测图像对应的局部概率(图2a中T表示“真”，F表示“假”)，然后，计算该预测图像对应的全局概率和该预测图像对应的局部概率直接的均值，可得到该预测图像对应的概率。
在得到该插值对应的概率和预测图像对应的概率之后，便可以根据该插值对应的概率、预测图像对应的概率和损失权重掩码构建对抗性损失函数，用公式表示即为：
其中，Ladv为对抗性损失函数，为预测图像和图像样本之间的插值， 为插值对应的概率，为对基于求导操作；[D(G(X；θ))]为该预测图像G(X；θ)对应的概率，Mw为损失权重掩码，和分别为X和的分布，指的是从里抽取多个x后求个平均，指的是从里抽取多个后求平均，λgp为正则项系数，具体可以根据实际应用的需求进行设置。
需说明的是，若之前已经获取到了损失权重掩码Mw，则此时只需直接读取即可，若读取不到，则可以通过获取该标记区域对应的掩码，并采用高斯滤波器对该掩码进行卷积处理，来计算得到该损失权重掩码Mw，具体的计算方法可参见前面的实施例，在此不作赘述。
在得到重构损失函数、正则化损失函数和对抗性损失函数之后，便可以根据该重构损失函数、正则化损失函数和对抗性损失函数生成优化损失函数L，如下：
L＝Lc+λmrfLmrf+λadvLadv。
其中，λmrf和λadv为正则项系数，具体可以根据实际应用的需求进行设置。
此后，便可以采用该优化损失函数对该多列卷积神经网络进行收敛，从而完成一次训练。
此后，网络设备可以返回执行“从采集到的多张图像样本中随机筛选一张图像样本，作为当前图像样本”的步骤，以获取另一张当前图像样本，并采用上述训练方法对该多列卷积神经网络进行训练，以此类推，直至所有图像样本均训练完毕，便可得到该训练后多列卷积神经网络。
(二)训练后多列卷积神经网络的使用；
在得到训练后多列卷积神经网络之后，便可以基于该训练后多列卷积神经网络对待修复图像进行修复。
例如，如图2b所示，一种图像修复方法，具体流程可以如下：
201、网络设备获取待修复图像。
例如，网络设备可以从本地(即网络设备)读取待修复图像，或者，也可以从其他的设备获取待修复图像。
202、网络设备根据用户的标注(该标注标出需要进行修复的区域)从该待修复图像中确定待修复区域。
其中，若该待修复图像中已经包括有用户的标注，则此时，可以直接根据该用户的标注从该待修复图像中确定待修复区域；而若该待修复图像中未包括有用户的标注，则此时可以接收用户的标注，然后，根据用户的标注从该待修复图像中确定待修复区域，比如，具体可参见图2c，图2c中的白色框内的区域即为待修复区域，该待修复区域可以因为一处，也可以为多处。
203、网络设备根据该待修复区域生成掩码，并根据该掩码在该待修复图像中确定非修复区域。
例如，可以将待修复图像中的待修复区域的掩码的数值设置为1，而其他区域的掩码的数值设置为0，那么，此时便可以将数值为0的区域确定为非修复区域；用公式表示即为：
其中，X为非修复区域，Y为待修复区域，M为掩码，是对应元素相乘的操作。
也就是说，在待修复图像中，除了待修复区域之外，其他的区域便是非修复区域，比如，参见图2c，除图2c中白色框内的区域之外，其他的区域即为非修复区域。
204、网络设备采用训练后多列卷积神经网络对该非修复区域进行多尺度特征提取，得到多个尺度的特征信息。
例如，如图2d所示，在将待修复图像划分了待修复区域和非修复区域(即确定了待修复区域和非修复区域)之后，可以将该划分了待修复区域和非修复区域的待修复图像输入该训练后多列卷积神经网络，然后，分别采用该训练后多列卷积神经网络的子网络B1、B2和B3对该待修复图像中的非修复区域进行特征提取，得到子网络B1对应的特征信息、子网络B2对应的特征信息和子网络B3对应的特征信息。
205、网络设备对所有子网络对应的特征信息进行组合(concatenation)，得到组合后特征图。
例如，如在步骤204中，得到了子网络B1对应的特征信息、子网络B2对应的特征信息和子网络B3对应的特征信息，则此时，网络设备可以将B1对应的特征信息、子网络B2对应的特征信息和子网络B3对应的特征信息进行组合，得到组合后特征图。
可选的，若某些子网络所输出的特征信息(即特征图)的空间分辨率与原始输入的待修复图像不同，则为了可以更好地对这些子网络的输出进行组合，还可以通过对这些子网络所输出的特征信息进行上采样操作，来将其空间分辨率调整至原始空间分辨率(即原始输入的待修复图像的空间分辨率)。比如，参见图2d，从图中可以看出，子网络B1和B2的输出的空间分辨率均与输入的待修复图像不同，因此，此时可以将其空间分辨率上采样至原始空间分辨率后，再对子网络B1、B2和B3输出的特征信息进行组合，以得到组合后特征图。
206、网络设备将组合后特征图映射至图像空间，得到映射后图像。
例如，网络设备可以通过共享解码模块将组合后特征图映射至图像空间，得到映射后图像，其中，该共享解码模块可以通过多层卷积层来实现，其中，该卷积层的数量可以根据实际应用的需求而定，比如，参加图2d，具体可以通过两层卷积层来实现。
207、网络设备从映射后图像中获取该待修复区域的纹理。
其中，获取该待修复区域的纹理的方式可以有多种，比如，可以先确定该待修复区域在该待修复图像中的位置，然后，将该映射后图像中，与该位置相同的区域作为目标区域，获取目标区域的纹理，便可得到该待修复区域的纹理，等等。
208、网络设备将生成的纹理填充至该待修复图像中的待修复区域，得到修复后图像。
例如，如图2d所示，具体可以将生成的纹理通过迁移学习算法，填充至待修复区域，得到修复后区域，然后，将修复后区域与非修复区域进行组合，便可以得到修复后图像。用公式表示即为：
其中，为修复后图像，Y为待修复区域，X为非修复区域，M为掩码，为非修复区域，G([X,M])为修复后区域，是对应元素相乘的操作。
其中，该待修复图像通过该训练后多列卷积神经网络的修复之后，所得到的修复后图像的效果可参见图2e。需说明的是，除了本实施例所示的“风景图”之外，该图像修复方法同样适用于其他类型的图像，比如人像或建筑图像等，在此不作赘述。
由上可知，本实施例可以预先训练一多列卷积神经网络，并在训练的过程中，采用重构损失函数、正则化损失函数和对抗性损失函数对该网络进行优化，以得到训练后的多列卷积神经网络，此后，便可以利用该训练后的多列卷积神经网络，对待修复图像中的非修复区域进行多尺度特征提取，并据此生成待修复图像中待修复区域的纹理，以对该待修复区域进行填充，进而得到修复后图像；由于该方案所使用的多列卷积神经网络采用的是并列的多个子网络，且各个子网络设置有不同的感受域和空间分辨率，所以，该多列卷积神经网络相对于普通的神经网络，如单流编码-解码网络结构(特征的提取由粗到精，也就是说，后面是简单地继承前面的信息)的网络而言，可以克服由粗到精结构的局限性(比如，若网络前期的粗粒度处理存在错误，则会大大影响了后续细化处理)，即便某部分出错，也可以尽可能降低对后续处理的影响；而且，尽管每个子网络似乎彼此独立，但由于共享解码部分的原因，这些子网络在训练期间也会相互影响，也就是说，各个子网络之间可以相互补充，而不是简单地继承信息，所以，可以保障该训练后多列卷积神经网络输出的准确性，也就是说，通过该训练后多列卷积神经网络对待修复图像进行修复，可以大大提高修复的准确性；此外，由于该训练后多列卷积神经网络可以从不同尺度对非修复区域进行特征提取，并据此生成纹理，使得所生成的纹理更具有多样性，所以，该方案可以较好地对结构性强或大区域的目标进行修复，大大增强修复区域的真实性，提高修复效果。
相应的，本发明实施例还提供另一种图像修复方法，包括：获取待修复图像，并接收用户在该待修复图像上对需要进行修复的区域的选择信息，根据用户的选择信息从该待修复图像中确定待修复区域和非修复区域，基于不同的感受域和空间分辨率对该非修复区域进行特征提取，得到多个尺度的特征信息，根据该多个尺度的特征信息生成该待修复区域的纹理，将生成的纹理填充至该待修复图像中的待修复区域，得到修复后图像，显示该修复后图像。
其中，该图像修复方法可以由图像修复装置，该图像修复装置可以以客户端的形式安装在终端等设备中。例如，以该图像修复装置以客户端形式安装在终端中为例，则如图3a所示，该图像修复方法具体可以如下：
301、终端获取待修复图像。
例如，当该客户端被启动时，终端可以根据用户的选择，从本地如相册中获取待修复图像，或者，也可以通过启动摄像部件(如终端的摄像头)来获取待修复图像，又或者，还可以接收其他设备(比如相机、其他终端或服务器等)发送的待修复图像，等等。
302、终端接收用户基于该待修复图像触发的选择信息，其中，该选择信息指示该待修复图像中需要进行修复的区域。
例如，如图3b中的左图所示，终端在获取到待修复图像后，可以在终端界面中显示该待修复图像，以供用户进行浏览，用户可以在该待修复图像中选择需要进行修复的区域，比如，在该待修复图像中框出需要进行修复的区域(如图3b中白色框内的区域)，在用户选择之后，终端可以根据用户选择的区域生成选择信息。
其中，可以设置一操作界面，并在该操作界面中设置多个接口，不同的接口对应不同的选择工具，比如选择框或魔术棒等，当用户点击某个选择工具时，相应的接口便会被触发，并生成相应的操作指令，这样，终端便可以基于这些操作指令在该待修复图像中显示相应的选择工具的图示，如选择框或魔术棒等，这样，用户便可以可视化地通过显示的图示在该待修复图像中进行操作，以选择需要进行修复的区域，比如，如图3b中的中图所示。
303、终端根据用户的选择信息从该待修复图像中确定待修复区域和非修复区域。
例如，参见图3b，终端可以根据用户的选择信息确定该白色框内的区域为待修复区域，而除了该待修复区域之外的其他区域为非修复区域。
304、终端基于不同的感受域和空间分辨率对该非修复区域进行特征提取，得到多个尺度的特征信息。
例如，终端可以获取训练后多列卷经网络，采用训练后多列卷积神经网络，对该非修复区域进行多尺度特征提取，得到多个尺度的特征信息，具体可参见前面的实施例，在此不作赘述。
305、终端根据该多个尺度的特征信息生成该待修复区域的纹理，并将生成的纹理填充至该待修复图像中的待修复区域，得到修复后图像，具体可参见前面的实施例，在此不作赘述。
306、终端对该修复后图像进行显示。
例如，终端可以在终端屏幕上显示该修复后图像，比如，如图3b中的右图所示，可以在终端的屏幕界面的中间以大图的形式显示该修复后图像。
可选的，为了方便用户对修复效果进行感受，如图3b所示，还可以在该屏幕界面的预设位置如下方，设置一“对比”触发键，当用户触发该“对比”触发键时，终端可以以小图的形式显示待修复图像，以便用户将该待修复图像与修复后图像进行比对。或者，当用户触发该“对比”触发键，如长按该“对比”触发键时，终端也可以在该待修复图像上，以覆盖该待修复图像的形式显示该待修复图像，而当用户松开该“对比”触发键时，则可以恢复该修复后图像的显示(即不显示待修复图像)，具体的实现方式可以根据实际应用的需求而定，在此不作赘述。
由上可知，本实施例的终端在获取到待修复图像后，可以接收用户的选择信息，并根据用户的选择信息从该待修复图像中确定待修复区域和非修复区域，然后，基于不同的感受域和空间分辨率对该非修复区域进行特征提取，根据提取得到的多个尺度的特征信息生成该待修复区域的纹理，并将生成的纹理填充至该待修复图像中的待修复区域，得到修复后图像，以进行显示；由于该方案可以从多个尺度进行特征的提取，并据此生成纹理，因此，所生成的纹理更具有多样性，进而可以较好地对结构性强或大区域的目标进行修复，大大增强修复区域的真实性，提高修复效果。
为了更好地实施以上方法，本发明实施例还提供一种图像修复装置，该图像修复装置具体可以集成在网络设备，比如服务器或终端等设备中，该终端可以包括手机、平板电脑、笔记本电脑和/或个人计算机等。
例如，如图4a所示，该图像修复装置可以包括获取单元401、提取单元402、生成单元403和填充单元404，如下：
(1)获取单元401；
获取单元401，用于获取待修复图像，并从该待修复图像中确定待修复区域和非修复区域。
例如，该获取单元401，具体可以用于根据用户的标注从该待修复图像中确定待修复区域，根据该待修复区域生成掩码，根据该掩码在该待修复图像中确定非修复区域。
(2)提取单元402；
提取单元402，用于基于不同的感受域和空间分辨率对该非修复区域进行特征提取，得到多个尺度的特征信息。
例如，提取单元402，具体可以用于获取训练后多列卷经网络，采用该训练后多列卷经网络对该非修复区域进行多尺度特征提取，得到多个尺度的特征信息。
其中，该训练后多列卷积神经网络可以包括多个并联的子网络，不同的子网络设置有不同的感受域和空间分辨率，用于提取不同尺度的特征信息。即：
该提取单元402，具体可以用于采用该多个并联的子网络分别对该非修复区域进行特征提取，得到每个子网络对应的特征信息。
其中，该子网络的数量和网络参数均可以根据实际应用的需求而定，比如，可以包括3个并联的子网络，具体可参见前面的方法实施例，在此不作赘述。
(3)生成单元403；
生成单元403，用于据该多个尺度的特征信息生成该待修复区域的纹理。
例如，还是以该训练后多列卷积神经网络可以包括多个并联的子网络为例，则此时，生成单元403，具体可以用于根据所有子网络对应的特征信息生成该待修复区域的纹理。
比如，该生成单元403，具体可以用于对每个子网络对应的特征信息进行组合，得到组合后特征图，将组合后特征图映射至图像空间，得到映射后图像，从映射后图像中获取该待修复区域的纹理。
比如，生成单元403具体可以通过共享解码模块将组合后特征图映射至图像空间，得到映射后图像，其中，该共享解码模块可以通过多层卷积层来实现，该卷积层的数量可以根据实际应用的需求而定。
其中，从映射后图像中获取该待修复区域的纹理的方式可以有多种，比如，可以如下：
生成单元403，具体用于确定该待修复区域在该待修复图像中的位置，将该映射后图像中，与该位置相同的区域作为目标区域，获取目标区域的纹理，得到该待修复区域的纹理。
可选的，若某些子网络所输出的特征信息的空间分辨率与原始输入的待修复图像不同，则为了可以更好地对这些子网络的输出进行组合，生成单元403还可以通过对这些子网络所输出的特征信息进行上采样操作，来将其空间分辨率调整至原始空间分辨率，然后再进行组合。
(4)填充单元404；
填充单元404，用于将生成的纹理填充至该待修复图像中的待修复区域，得到修复后图像。
例如，填充单元404，具体可以用于将生成的纹理通过迁移学习算法，填充至待修复区域，得到修复后区域，然后，将修复后区域与非修复区域进行组合，便可以得到修复后图像。
可选的，该训练后多列卷积神经网络除了可以由运维人员预先进行设置之外，也可以由该图像修复装置自行训练来得到。即如图4b所示，该图像修复装置还可以包括采集单元405和训练单元406，如下：
采集单元405，用于采集多张图像样本。
比如，采集单元405可以从其他图像采集设备如摄像头、相机或监控器中获取大量图像样本，或者，也可以从图库中读取大量的图像样本，又或者，还可以通过网络获取图像样本，等等。
训练单元406，用于根据该图像样本对预设多列卷积神经网络进行训练，得到训练后多列卷积神经网络。
例如，该训练单元406可以包括选取子单元、掩盖子单元、预测子单元和收敛子单元，如下：
选取子单元，用于从该图像样本中随机选取区域作为标记区域。
例如，该选取子单元，具体可以用于从采集到的多张图像样本中随机筛选一张图像样本，作为当前图像样本，然后，从该当前图像样本中随机选取区域作为标记区域。
掩盖子单元，用于对该图像样本中的标记区域进行掩盖，得到训练样本。
例如，该掩盖子单元，具体可以用于根据该标记区域生成掩码，将生成的掩码与该图像样本进行组合，得到训练样本。
预测子单元，用于采用预设多列卷积神经网络对该训练样本中标记区域的纹理进行预测，得到预测图像。
例如，该预测子单元，具体可以用于根据标记区域确定该训练样本中的待修复样本区域和非修复样本区域，采用预设多列卷积神经网络对该训练样本进行多尺度特征提取，得到该非修复样本区域对应的多个尺度的特征信息，根据得到的多个尺度的特征信息生成该待修复样本区域的纹理，将生成的纹理填充至该训练样本中的待修复样本区域，得到预测图像。
收敛子单元，用于利用该图像样本对该预测图像进行验证，以收敛该多列卷积神经网络，得到训练后多列卷积神经网络。
例如，该收敛子单元，具体用于根据该预测图像和图像样本分别构建重构损失函数、正则化损失函数和对抗性损失函数，根据该重构损失函数、正则化损失函数和对抗性损失函数生成优化损失函数，采用该优化损失函数对该多列卷积神经网络进行收敛，得到训练后多列卷积神经网络。
其中，各个损失函数的构建方式可以有多种，例如，具体可以如下：
(1)重构损失函数；
该收敛子单元，具体可以用于获取该标记区域对应的掩码，并采用高斯滤波器对该掩码进行卷积处理，得到损失权重掩码，根据该损失权重掩码、图像样本和预测图像构建重构损失函数。
(2)正则化损失函数；
该收敛子单元，具体可以用于采用图像分类模型分别对该预测图像和图像样本中的像素类型进行分类，在分类的过程中，分别获取该预测图像和图像样本在该图像分类模型的各个卷积层的输出值，计算在每一层卷积层中，预测图像的输出值和图像样本的输出值之间的隐式多样性马尔科夫随机场损失，根据计算得到的每一层的隐式多样性马尔科夫随机场损失构建正则化损失函数。
(3)对抗性损失函数；
该收敛子单元，具体可以用于计算该预测图像和图像样本之间的插值，采用预设判别器对该插值进行处理，得到该插值对应的概率，采用预设判别器对该预测图像进行处理，得到该预测图像对应的概率，获取该标记区域对应的掩码，并采用高斯滤波器对该掩码进行卷积处理，得到损失权重掩码，根据该插值对应的概率、预测图像对应的概率和损失权重掩码构建对抗性损失函数。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例的图像修复装置在获取到待修复图像后，可以通过获取单元401从该待修复图像中确定待修复区域和非修复区域，并通过提取单元402采用训练后多列卷积神经网络对该非修复区域进行多尺度特征提取，然后，由生成单元403根据提取得到的多个尺度的特征信息生成该待修复区域的纹理，并由填充单元404将生成的纹理填充至该待修复图像中的待修复区域，得到修复后图像；由于该方案可以从多个尺度进行特征的提取，并据此生成纹理，因此，所生成的纹理更具有多样性，进而可以较好地对结构性强或大区域的目标进行修复，大大增强修复区域的真实性，提高修复效果。
本发明实施例还提供一种网络设备，如图5所示，其示出了本发明实施例所涉及的网络设备的结构示意图，具体来讲：
该网络设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解，图5中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器501是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。
网络设备还包括给各个部件供电的电源503，优选的，电源503可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该网络设备还可包括输入单元504，该输入单元504可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，网络设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，网络设备中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：
获取待修复图像，并从该待修复图像中确定待修复区域和非修复区域，基于不同的感受域和空间分辨率对该非修复区域进行特征提取，得到多个尺度的特征信息，根据该多个尺度的特征信息生成该待修复区域的纹理，将生成的纹理填充至该待修复图像中的待修复区域，得到修复后图像。
例如，具体可以采用训练后多列卷积神经网络对该非修复区域进行多尺度特征提取，得到多个尺度的特征信息。其中，该训练后多列卷积神经网络可以包括多个并联的子网络，不同的子网络设置有不同的感受域和空间分辨率，用于提取不同尺度的特征信息。该训练后多列卷积神经网络除了可以由运维人员预先进行设置之外，也可以由该网络设备自行训练来得到，具体的训练方式可参见前面的实施例，在此不作赘述。
由上可知，本实施例的网络设备在获取到待修复图像后，可以从该待修复图像中确定待修复区域和非修复区域，基于不同的感受域和空间分辨率对该非修复区域进行特征提取，然后，根据提取得到的多个尺度的特征信息生成该待修复区域的纹理，并将生成的纹理填充至该待修复图像中的待修复区域，得到修复后图像；由于该方案可以从多个尺度进行特征的提取，并据此生成纹理，因此，所生成的纹理更具有多样性，进而可以较好地对结构性强或大区域的目标进行修复，大大增强修复区域的真实性，提高修复效果。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像修复方法中的步骤。例如，该指令可以执行如下步骤：
获取待修复图像，并从该待修复图像中确定待修复区域和非修复区域，基于不同的感受域和空间分辨率对该非修复区域进行特征提取，得到多个尺度的特征信息，根据该多个尺度的特征信息生成该待修复区域的纹理，将生成的纹理填充至该待修复图像中的待修复区域，得到修复后图像。
例如，具体可以采用训练后多列卷积神经网络对该非修复区域进行多尺度特征提取，得到多个尺度的特征信息。其中，该训练后多列卷积神经网络可以包括多个并联的子网络，不同的子网络设置有不同的感受域和空间分辨率，用于提取不同尺度的特征信息。
其中，该训练后多列卷积神经网络的训练方式，以及以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像修复方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像修复方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种图像修复方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种图像修复方法，其特征在于，包括：
获取待修复图像，并从所述待修复图像中确定待修复区域和非修复区域；
基于不同的感受域和空间分辨率对所述非修复区域进行特征提取，得到多个尺度的特征信息；
根据所述多个尺度的特征信息生成所述待修复区域的纹理；
将生成的纹理填充至所述待修复图像中的待修复区域，得到修复后图像。
2.根据权利要求1所述的方法，其特征在于，所述从所述待修复图像中确定待修复区域和非修复区域，包括：
根据用户的标注从所述待修复图像中确定待修复区域；
根据所述待修复区域生成掩码；
根据所述掩码在所述待修复图像中确定非修复区域。
3.根据权利1所述的方法，其特征在于，所述基于不同的感受域和空间分辨率对所述非修复区域进行特征提取，得到多个尺度的特征信息，包括：
获取训练后多列卷经网络，所述训练后多列卷经网络包括多个并联的子网络，不同的子网络设置有不同的感受域和空间分辨率；
采用所述多个并联的子网络分别对所述非修复区域进行特征提取，得到每个子网络对应的特征信息；
所述根据所述多个尺度的特征信息生成所述待修复区域的纹理，包括：根据所有子网络对应的特征信息生成所述待修复区域的纹理。
4.根据权利要求3所述的方法，其特征在于，所述根据所有子网络对应的特征信息生成所述待修复区域的纹理，包括：
对所有子网络对应的特征信息进行组合，得到组合后特征图；
将组合后特征图映射至图像空间，得到映射后图像；
从映射后图像中获取所述待修复区域的纹理。
5.根据权利要求4所述的方法，其特征在于，所述从映射后图像中获取所述待修复区域的纹理，包括：
确定所述待修复区域在所述待修复图像中的位置；
将所述映射后图像中，与所述位置相同的区域作为目标区域；
获取目标区域的纹理，得到所述待修复区域的纹理。
6.根据权利要求2至5任一项所述的方法，其特征在于，所述获取训练后多列卷经网络之前，还包括：
采集多张图像样本；
从所述图像样本中随机选取区域作为标记区域；
对所述图像样本中的标记区域进行掩盖，得到训练样本；
采用预设多列卷积神经网络对所述训练样本中标记区域的纹理进行预测，得到预测图像；
利用所述图像样本对所述预测图像进行验证，以收敛所述多列卷积神经网络，得到训练后多列卷积神经网络。
7.根据权利要求6所述的方法，其特征在于，所述对所述图像样本中的标记区域进行掩盖，得到训练样本，包括：
根据所述标记区域生成掩码；
将生成的掩码与所述图像样本进行组合，得到训练样本。
8.根据权利要求6所述的方法，其特征在于，所述采用预设多列卷积神经网络对所述训练样本中标记区域的纹理进行预测，得到预测图像
根据标记区域确定所述训练样本中的待修复样本区域和非修复样本区域；
采用预设多列卷积神经网络对所述训练样本进行多尺度特征提取，得到所述非修复样本区域对应的多个尺度的特征信息；
根据得到的多个尺度的特征信息生成所述待修复样本区域的纹理；
将生成的纹理填充至所述训练样本中的待修复样本区域，得到预测图像。
9.根据权利要求6所述的方法，其特征在于，所述利用所述图像样本对所述预测图像进行验证，以收敛所述多列卷积神经网络，得到训练后多列卷积神经网络，包括：
根据所述预测图像和图像样本分别构建重构损失函数、正则化损失函数和对抗性损失函数；
根据所述重构损失函数、正则化损失函数和对抗性损失函数生成优化损失函数；
采用所述优化损失函数对所述多列卷积神经网络进行收敛，得到训练后多列卷积神经网络。
10.根据权利要求9所述的方法，其特征在于，根据所述预测图像和图像样本构建重构损失函数，包括：
获取所述标记区域对应的掩码，并采用高斯滤波器对所述掩码进行卷积处理，得到损失权重掩码；
根据所述损失权重掩码、图像样本和预测图像构建重构损失函数。
11.根据权利要求9所述的方法，其特征在于，根据所述预测图像和图像样本构建正则化损失函数，包括：
采用图像分类模型分别对所述预测图像和图像样本中的像素类型进行分类；
在分类的过程中，分别获取所述预测图像和图像样本在所述图像分类模型的各个卷积层的输出值；
计算在每一层卷积层中，预测图像的输出值和图像样本的输出值之间的隐式多样性马尔科夫随机场损失；
根据计算得到的每一层的隐式多样性马尔科夫随机场损失构建正则化损失函数。
12.根据权利要求9所述的方法，其特征在于，所述根据所述预测图像和图像样本构建对抗性损失函数，包括：
计算所述预测图像和图像样本之间的插值；
采用预设判别器对所述插值进行处理，得到所述插值对应的概率；
采用预设判别器对所述预测图像进行处理，得到所述预测图像对应的概率；
获取所述标记区域对应的掩码，并采用高斯滤波器对所述掩码进行卷积处理，得到损失权重掩码；
根据所述插值对应的概率、预测图像对应的概率和损失权重掩码构建对抗性损失函数。
13.一种图像修复方法，其特征在于，包括：
获取待修复图像，并接收用户在所述待修复图像上对需要进行修复的区域的选择信息；
根据用户的选择信息从所述待修复图像中确定待修复区域和非修复区域；
基于不同的感受域和空间分辨率对所述非修复区域进行特征提取，得到多个尺度的特征信息；
根据所述多个尺度的特征信息生成所述待修复区域的纹理；
将生成的纹理填充至所述待修复图像中的待修复区域，得到修复后图像；
显示所述修复后图像。
14.一种图像修复装置，其特征在于，包括：
获取单元，用于获取待修复图像，并从所述待修复图像中确定待修复区域和非修复区域；
提取单元，用于基于不同的感受域和空间分辨率对所述非修复区域进行特征提取，得到多个尺度的特征信息；
生成单元，用于据所述多个尺度的特征信息生成所述待修复区域的纹理；
填充单元，用于将生成的纹理填充至所述待修复图像中的待修复区域，得到修复后图像。
15.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至13任一项所述的图像修复方法中的步骤。
CN201811442428.6A 2018-11-29 2018-11-29 图像修复方法、装置和存储介质 Pending CN109584178A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811442428.6A CN109584178A (zh) 2018-11-29 2018-11-29 图像修复方法、装置和存储介质
PCT/CN2019/119588 WO2020108358A1 (zh) 2018-11-29 2019-11-20 图像修复方法、装置、计算机设备和存储介质
US17/188,449 US11798132B2 (en) 2018-11-29 2021-03-01 Image inpainting method and apparatus, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811442428.6A CN109584178A (zh) 2018-11-29 2018-11-29 图像修复方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN109584178A true CN109584178A (zh) 2019-04-05

Family

ID=65925588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811442428.6A Pending CN109584178A (zh) 2018-11-29 2018-11-29 图像修复方法、装置和存储介质

Country Status (3)

Country Link
US (1) US11798132B2 (zh)
CN (1) CN109584178A (zh)
WO (1) WO2020108358A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222628A (zh) * 2019-06-03 2019-09-10 电子科技大学 一种基于生成式对抗网络的人脸修复方法
CN110288036A (zh) * 2019-06-28 2019-09-27 北京字节跳动网络技术有限公司 图像修复方法、装置及电子设备
CN110443764A (zh) * 2019-08-01 2019-11-12 北京百度网讯科技有限公司 视频修复方法、装置及服务器
CN110706179A (zh) * 2019-09-30 2020-01-17 维沃移动通信有限公司 一种图像处理方法及电子设备
CN110852980A (zh) * 2019-11-13 2020-02-28 北京京东方专用显示科技有限公司 交互式图像填充方法及系统、服务器、设备及介质
WO2020108358A1 (zh) * 2018-11-29 2020-06-04 腾讯科技（深圳）有限公司 图像修复方法、装置、计算机设备和存储介质
CN111242874A (zh) * 2020-02-11 2020-06-05 北京百度网讯科技有限公司 图像修复的方法、装置、电子设备和存储介质
CN111325704A (zh) * 2020-02-07 2020-06-23 北京字节跳动网络技术有限公司 图像修复方法、装置、电子设备及计算机可读存储介质
CN111353956A (zh) * 2020-02-28 2020-06-30 Oppo广东移动通信有限公司 图像修复方法、装置、计算机设备及存储介质
CN111445415A (zh) * 2020-03-30 2020-07-24 北京市商汤科技开发有限公司 图像修复方法及装置、电子设备和存储介质
CN111476759A (zh) * 2020-03-13 2020-07-31 深圳市鑫信腾机器人科技有限公司 一种屏幕表面检测方法、装置、终端及存储介质
CN111612798A (zh) * 2020-05-15 2020-09-01 中南大学 面向人脸数据对完整的人脸网纹修复方法、系统及介质
CN111681183A (zh) * 2020-06-05 2020-09-18 兰州理工大学 一种壁画图像色彩还原方法及装置
CN112116543A (zh) * 2020-09-25 2020-12-22 中国科学院自动化研究所 基于检测式生成框架的图像修复方法、系统及装置
CN112967218A (zh) * 2021-03-15 2021-06-15 复旦大学 一种基于线框和边缘结构的多尺度图像修复系统
CN113538273A (zh) * 2021-07-13 2021-10-22 荣耀终端有限公司 图像处理方法及图像处理装置
CN114943863A (zh) * 2022-06-10 2022-08-26 燕山大学 一种基于图像修复的船只水尺数字的识别方法
CN115527161A (zh) * 2022-09-13 2022-12-27 中国南方电网有限责任公司超高压输电公司广州局 异常放电监测方法、装置、计算机设备和存储介质
CN116542880A (zh) * 2023-07-05 2023-08-04 上海蜜度信息技术有限公司 图像自动修复方法、系统、存储介质及电子设备

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348237B2 (en) 2019-05-16 2022-05-31 Retrace Labs Artificial intelligence architecture for identification of periodontal features
US11398013B2 (en) 2019-10-18 2022-07-26 Retrace Labs Generative adversarial network for dental image super-resolution, image sharpening, and denoising
US11311247B2 (en) 2019-06-27 2022-04-26 Retrace Labs System and methods for restorative dentistry treatment planning using adversarial learning
US11366985B2 (en) 2020-05-15 2022-06-21 Retrace Labs Dental image quality prediction platform using domain specific artificial intelligence
US11367188B2 (en) 2019-10-18 2022-06-21 Retrace Labs Dental image synthesis using generative adversarial networks with semantic activation blocks
US11276151B2 (en) * 2019-06-27 2022-03-15 Retrace Labs Inpainting dental images with missing anatomy
CN111401138B (zh) * 2020-02-24 2023-11-07 上海理工大学 生成对抗神经网络训练过程的对抗优化方法
US12019747B2 (en) * 2020-10-13 2024-06-25 International Business Machines Corporation Adversarial interpolation backdoor detection
EP4200795A1 (en) * 2020-10-14 2023-06-28 Google LLC Systems and methods for inpainting images at increased resolution
CN112800895B (zh) * 2021-01-18 2024-02-27 内蒙古电力（集团）有限责任公司乌兰察布电业局 基于深度学习算法识别建筑物的方法
CN112884673A (zh) * 2021-03-11 2021-06-01 西安建筑科技大学 改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法
CN113409216A (zh) * 2021-06-24 2021-09-17 北京工业大学 一种基于频带自适应修复模型的图像修复方法
CN113592736B (zh) * 2021-07-27 2024-01-12 温州大学 一种基于融合注意力机制的半监督图像去模糊方法
CN113674176B (zh) * 2021-08-23 2024-04-16 北京市商汤科技开发有限公司 图像修复方法及装置、电子设备和存储介质
CN116128792A (zh) * 2021-11-12 2023-05-16 北京三星通信技术研究有限公司 图像处理方法及相关设备
CN114596187B (zh) * 2022-01-27 2023-04-07 贵州大学 一种面向弥散加权图像的双域鲁棒水印提取方法
US11880961B2 (en) * 2022-05-13 2024-01-23 PicsArt, Inc. Spectral hint-based inpainting of images
CN114758136B (zh) * 2022-06-13 2022-10-18 深圳比特微电子科技有限公司 目标去除模型建立方法、装置及可读存储介质
CN118691513A (zh) * 2023-02-24 2024-09-24 北京字跳网络技术有限公司 一种图像处理方法及装置
TWI822623B (zh) * 2023-04-06 2023-11-11 友達光電股份有限公司 影像復原方法與影像處理裝置
CN116523799B (zh) * 2023-07-03 2023-09-19 贵州大学 基于多粒度图文语义学习的文本引导图像修复模型及方法
US11983806B1 (en) * 2023-08-30 2024-05-14 OpenAI Opco, LLC Systems and methods for image generation with machine learning models
CN118229588B (zh) * 2024-05-10 2024-08-06 一物一码数据(广州)实业有限公司 一种出入库信息采集方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945118A (zh) * 2017-10-30 2018-04-20 南京邮电大学 一种基于生成式对抗网络的人脸图像修复方法
CN107993210A (zh) * 2017-11-30 2018-05-04 北京小米移动软件有限公司 图像修复方法、装置及计算机可读存储介质
CN108615228A (zh) * 2018-05-09 2018-10-02 上海理工大学 基于混合神经网络的人脸图像补全方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1758283A (zh) * 2005-11-03 2006-04-12 复旦大学 模拟多尺度交叠感受野的神经网络及其建立方法和应用
CN101661613B (zh) * 2009-08-27 2011-11-09 北京交通大学 一种基于图像分割的图像修复方法及系统
CN103971338B (zh) * 2014-05-06 2017-01-11 清华大学深圳研究生院 一种基于显著图的可变块图像修复方法
US9760978B1 (en) * 2016-05-09 2017-09-12 Adobe Systems Incorporated Missing region prediction
CN106097268B (zh) * 2016-06-12 2018-11-23 湖北民族学院 土家织锦传统残存图案数字化修复方法
CN106485656B (zh) * 2016-09-19 2019-10-18 华南理工大学 一种图像超分辨率重构的方法
CN106530247B (zh) * 2016-11-04 2019-07-09 天津大学 一种基于结构信息的多尺度图像修复方法
CN107492082A (zh) * 2017-09-29 2017-12-19 西南石油大学 一种利用边缘统计特征的mrf样本块图像修复方法
CN108460746B (zh) * 2018-04-10 2021-09-03 武汉大学 一种基于结构和纹理分层预测的图像修复方法
CN109584178A (zh) * 2018-11-29 2019-04-05 腾讯科技（深圳）有限公司 图像修复方法、装置和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945118A (zh) * 2017-10-30 2018-04-20 南京邮电大学 一种基于生成式对抗网络的人脸图像修复方法
CN107993210A (zh) * 2017-11-30 2018-05-04 北京小米移动软件有限公司 图像修复方法、装置及计算机可读存储介质
CN108615228A (zh) * 2018-05-09 2018-10-02 上海理工大学 基于混合神经网络的人脸图像补全方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YI WANG 等: "Image Inpainting via Generative Multi-column Convolutional Neural Networks", 《ARXIV》 *
一线文化编著: "《2天学会Photoshop CC图像处理》", 31 July 2016, 中国铁道出版社 *
吴英主编: "《林业遥感与地理信息系统实验教程》", 31 January 2017, 华中科技大学出版社 *
郎玉坤: "《中文版Photoshop CS2白金手册》", 31 May 2006, 中国电力出版社 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020108358A1 (zh) * 2018-11-29 2020-06-04 腾讯科技（深圳）有限公司 图像修复方法、装置、计算机设备和存储介质
US11798132B2 (en) 2018-11-29 2023-10-24 Tencent Technology (Shenzhen) Company Limited Image inpainting method and apparatus, computer device, and storage medium
CN110222628A (zh) * 2019-06-03 2019-09-10 电子科技大学 一种基于生成式对抗网络的人脸修复方法
CN110288036A (zh) * 2019-06-28 2019-09-27 北京字节跳动网络技术有限公司 图像修复方法、装置及电子设备
CN110288036B (zh) * 2019-06-28 2021-11-09 北京字节跳动网络技术有限公司 图像修复方法、装置及电子设备
CN110443764A (zh) * 2019-08-01 2019-11-12 北京百度网讯科技有限公司 视频修复方法、装置及服务器
CN110706179B (zh) * 2019-09-30 2023-11-10 维沃移动通信有限公司 一种图像处理方法及电子设备
CN110706179A (zh) * 2019-09-30 2020-01-17 维沃移动通信有限公司 一种图像处理方法及电子设备
CN110852980A (zh) * 2019-11-13 2020-02-28 北京京东方专用显示科技有限公司 交互式图像填充方法及系统、服务器、设备及介质
CN111325704A (zh) * 2020-02-07 2020-06-23 北京字节跳动网络技术有限公司 图像修复方法、装置、电子设备及计算机可读存储介质
CN111242874B (zh) * 2020-02-11 2023-08-29 北京百度网讯科技有限公司 图像修复的方法、装置、电子设备和存储介质
CN111242874A (zh) * 2020-02-11 2020-06-05 北京百度网讯科技有限公司 图像修复的方法、装置、电子设备和存储介质
CN111353956A (zh) * 2020-02-28 2020-06-30 Oppo广东移动通信有限公司 图像修复方法、装置、计算机设备及存储介质
WO2021169740A1 (zh) * 2020-02-28 2021-09-02 Oppo广东移动通信有限公司 图像修复方法、装置、计算机设备及存储介质
CN111353956B (zh) * 2020-02-28 2022-11-15 Oppo广东移动通信有限公司 图像修复方法、装置、计算机设备及存储介质
CN111476759A (zh) * 2020-03-13 2020-07-31 深圳市鑫信腾机器人科技有限公司 一种屏幕表面检测方法、装置、终端及存储介质
CN111476759B (zh) * 2020-03-13 2022-03-25 深圳市鑫信腾机器人科技有限公司 一种屏幕表面检测方法、装置、终端及存储介质
CN111445415A (zh) * 2020-03-30 2020-07-24 北京市商汤科技开发有限公司 图像修复方法及装置、电子设备和存储介质
CN111445415B (zh) * 2020-03-30 2024-03-08 北京市商汤科技开发有限公司 图像修复方法及装置、电子设备和存储介质
CN111612798B (zh) * 2020-05-15 2023-04-18 中南大学 面向人脸数据对完整的人脸网纹修复方法、系统及介质
CN111612798A (zh) * 2020-05-15 2020-09-01 中南大学 面向人脸数据对完整的人脸网纹修复方法、系统及介质
CN111681183A (zh) * 2020-06-05 2020-09-18 兰州理工大学 一种壁画图像色彩还原方法及装置
CN112116543A (zh) * 2020-09-25 2020-12-22 中国科学院自动化研究所 基于检测式生成框架的图像修复方法、系统及装置
CN112116543B (zh) * 2020-09-25 2022-09-20 中国科学院自动化研究所 基于检测式生成框架的图像修复方法、系统及装置
CN112967218A (zh) * 2021-03-15 2021-06-15 复旦大学 一种基于线框和边缘结构的多尺度图像修复系统
CN112967218B (zh) * 2021-03-15 2022-03-18 复旦大学 一种基于线框和边缘结构的多尺度图像修复系统
CN113538273B (zh) * 2021-07-13 2023-09-19 荣耀终端有限公司 图像处理方法及图像处理装置
CN113538273A (zh) * 2021-07-13 2021-10-22 荣耀终端有限公司 图像处理方法及图像处理装置
CN114943863A (zh) * 2022-06-10 2022-08-26 燕山大学 一种基于图像修复的船只水尺数字的识别方法
CN114943863B (zh) * 2022-06-10 2024-08-02 燕山大学 一种基于图像修复的船只水尺数字的识别方法
CN115527161A (zh) * 2022-09-13 2022-12-27 中国南方电网有限责任公司超高压输电公司广州局 异常放电监测方法、装置、计算机设备和存储介质
CN115527161B (zh) * 2022-09-13 2024-04-02 中国南方电网有限责任公司超高压输电公司广州局 异常放电监测方法、装置、计算机设备和存储介质
CN116542880A (zh) * 2023-07-05 2023-08-04 上海蜜度信息技术有限公司 图像自动修复方法、系统、存储介质及电子设备
CN116542880B (zh) * 2023-07-05 2023-10-20 上海蜜度信息技术有限公司 图像自动修复方法、系统、存储介质及电子设备

Also Published As

Publication number Publication date
US20210183022A1 (en) 2021-06-17
US11798132B2 (en) 2023-10-24
WO2020108358A1 (zh) 2020-06-04

Similar Documents

Publication Publication Date Title
CN109584178A (zh) 图像修复方法、装置和存储介质
CN111047516B (zh) 图像处理方法、装置、计算机设备和存储介质
US11257298B2 (en) Reconstructing three-dimensional scenes in a target coordinate system from multiple views
Wang et al. Laplacian pyramid adversarial network for face completion
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
Cheng et al. Zero-shot image super-resolution with depth guided internal degradation learning
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN110705340B (zh) 一种基于注意力神经网络场的人群计数方法
CN112750201B (zh) 三维重建方法及相关装置、设备
KR101977067B1 (ko) 심층 신경망 기반 특징 추출을 통하여 진단 맵을 재구축하는 방법 및 이를 이용한 장치
CN110807362A (zh) 一种图像检测方法、装置和计算机可读存储介质
CN113362338B (zh) 铁轨分割方法、装置、计算机设备和铁轨分割处理系统
CN114332415A (zh) 基于多视角技术的输电线路廊道的三维重建方法及装置
Hovhannisyan et al. AED-Net: A single image dehazing
US20230135978A1 (en) Generating alpha mattes for digital images utilizing a transformer-based encoder-decoder
Pesavento et al. Super-resolution 3D human shape from a single low-resolution image
Hsu et al. Dual reconstruction with densely connected residual network for single image super-resolution
Zhou et al. Deep fractal residual network for fast and accurate single image super resolution
Gupta et al. A robust and efficient image de-fencing approach using conditional generative adversarial networks
CN115953330B (zh) 虚拟场景图像的纹理优化方法、装置、设备和存储介质
Susan et al. Deep learning inpainting model on digital and medical images-a review.
CN110675320A (zh) 一种空间参数变化及复杂场景下目标图像清晰化方法
Wang et al. Heatmap-aware pyramid face hallucination
CN113962332B (zh) 基于自优化融合反馈的显著目标识别方法
CN112115864A (zh) 红外图像及深度图像双模态目标分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190405

RJ01 Rejection of invention patent application after publication