CN112700388A - 图像修复方法和装置 - Google Patents

Abstract

本申请提出一种图像修复方法和装置，涉及计算机视觉技术领域，其中，方法包括：获取包括擦除部分区域的原始图片，并使用预设智能体对擦除部分区域进行分类处理，获取擦除区域类型概率图；获取擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中，获取局部图像修复结果；根据局部图像修复结果和擦除区域类型概率图进行加权求和，获取局部修复结果，根据局部修复结果更新所述原始图片；重复上述过程，直到擦除部分区域完全修复，获取修复图像。由此，通过一个感知被遮区域类型的智能体和自适应的局部修复网络的串联进行逐步的图像修复，从而提高模型对大量不规则区域被擦除时进行修复的准确性和效率。

Description

图像修复方法和装置

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种图像修复方法和装置。

背景技术

通常，图像修复的任务是对于给定的一张图片，擦除其中部分区域，通过算法自动恢复出被擦除的部分，或是用合理的内容将被擦除的区域填充。图像修复在照片编辑、物体移除、老照片恢复等许多图像处理任务中都有着广泛的应用。虽然这一问题已经被研究了许多年，但是给出一个完美的恢复结果仍然具有相当的挑战，尤其是有大量不规则区域被擦除的时候。

相关技术的图像修复方法可以分为两类：传统的基于区块的方法和基于深度学习的方法，传统的方法试图从未擦除的区域中寻找合适的区块来对被擦除的区域修补。这些方法通常只在简单的情况下有效，例如能从背景区域中找到与被擦除区域周围部分接近的区块时。这些方法不会对图片中的物体有语义上的理解，所以在复杂场景中表现欠佳。深度学习的方法由于它能够学习结构特征的强大能力已经在图像修复中被广泛使用，例如基于生成对抗网络的方法和基于局部卷积网络的方法。这些方法的被擦除区域类型可以大致分成两类:(1)被擦除的区域是规则的形状，比如矩形或椭圆等。(2)被擦除的区域是不规则的形状。

另外，早期的方法大多针对的是规则区域的图像擦除，近几年逐步有针对不规则区域的方法，例如循环推理网络，门网络，局部卷积网络等。但这些方法并未针对被遮区域的类型(形状，被擦除的比例等)进行网络的训练，所以在有各种不规则形状的擦除区域出现时性能欠佳。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种图像修复方法，解决现有图像擦除方法在大量不规则区域被擦除时性能不够鲁棒的问题，通过一个感知被遮区域类型的智能体和自适应的局部修复网络的串联进行逐步的图像修复，从而提高模型对大量不规则区域被擦除时性能的鲁棒性。

本申请的第二个目的在于提出一种图像修复装置。

为达上述目的，本申请第一方面实施例提出了一种图像修复方法，包括：

S1，获取包括擦除部分区域的原始图片，并使用预设智能体对所述擦除部分区域进行分类处理，获取擦除区域类型概率图；

S2，获取所述擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中，获取局部图像修复结果；

S3，根据所述局部图像修复结果和所述擦除区域类型概率图进行加权求和，获取局部修复结果，根据所述局部修复结果更新所述原始图片；

S4，重复执行步骤S1-S3，直到所述擦除部分区域完全修复，获取修复图像。

本申请实施例的图像修复方法，通过获取包括擦除部分区域的原始图片，并使用预设智能体对擦除部分区域进行分类处理，获取擦除区域类型概率图；获取擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中，获取局部图像修复结果；根据局部图像修复结果和擦除区域类型概率图进行加权求和，获取局部修复结果，根据局部修复结果更新所述原始图片；重复上述过程，直到擦除部分区域完全修复，获取修复图像。由此，通过一个感知被遮区域类型的智能体和自适应的局部修复网络的串联进行逐步的图像修复，从而提高模型对大量不规则区域被擦除时进行修复的准确性和效率。

在本申请的一个实施例中，所述获取目标时间段内与n个字段值相同的原始数据总数，包括：

所述使用预设智能体对所述擦除部分区域进行分类处理，获取擦除区域类型概率图，包括：

通过卷积网络对所述擦除部分区域的遮盖类型进行分类，获取所述擦除部分区域中各个点属于任一类型的概率值，获取擦除区域类型概率图。

在本申请的一个实施例中，所述获取所述擦除部分区域中的待修复目标区域，包括：

根据所述擦除区域类型概率图获取各个点的概率值；

根据所述各个点的概率值确定中心点，根据所述中心点确定所述待修复目标区域。

在本申请的一个实施例中，所述获取所述擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中，获取局部图像修复结果，包括：

根据所述待修复目标区域的类型确定目标解码网络；

通过所述目标解码网络对所述待修复目标区域进行处理，获取局部图像修复结果。

在本申请的一个实施例中，所述原始图像和所述修复图像的相似度损失函数为：

L_SIM＝λ_perceptualL_perceptual+λ_ssimL_SSIM+L_weightedl1 (1)

其中，L_perceptual,L_SSIM和L_weightedl1分别为理解损失函数，结构相似度损失函数和加权L₁损失函数，λ_*为对应项的学习率权重系数。

所述使用预设智能体对所述擦除部分区域进行分类处理，获取擦除区域类型概率图中的结构相似度损失函数为：

L_mask＝λ_cL_c+λ_eL_e (3)

其中，L_c和L_e分别为局部一致性损失函数和交叉熵损失函数，λ_*为对应项的学习率权重系数。

所述预设智能体使用卷积长短期记忆网络对所述原始图像进行特征的提取，并对历史操作信息进行存储，使用语义理解损失函数为：

R＝-γ^T·L_SIM(I_gt,I_T) (3)

其中，γ为衰减系数，I_gt和I_T分别为当前区域的真实结果和预测结

果。

为达上述目的，本申请第二方面实施例提出了一种图像修复装置，包括：

第一获取模块，用于获取包括擦除部分区域的原始图片，并使用预设智能体对所述擦除部分区域进行分类处理，获取擦除区域类型概率图；

第二获取模块，用于获取所述擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中，获取局部图像修复结果；

修复模块，用于根据所述局部图像修复结果和所述擦除区域类型概率图进行加权求和，获取局部修复结果，根据所述局部修复结果更新所述原始图片；

处理模块，用于重复执行所述第一获取模块、所述第二获取模块和所述处理模块，直到所述擦除部分区域完全修复，获取修复图像。

本申请实施例的图像修复装置，通过获取包括擦除部分区域的原始图片，并使用预设智能体对擦除部分区域进行分类处理，获取擦除区域类型概率图；获取擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中，获取局部图像修复结果；根据局部图像修复结果和擦除区域类型概率图进行加权求和，获取局部修复结果，根据局部修复结果更新所述原始图片；重复上述过程，直到擦除部分区域完全修复，获取修复图像。由此，通过一个感知被遮区域类型的智能体和自适应的局部修复网络的串联进行逐步的图像修复，从而提高模型对大量不规则区域被擦除时进行修复的准确性和效率。

在本申请的一个实施例中，所述第一获取模块，具体用于：

通过卷积网络对所述擦除部分区域的遮盖类型进行分类，获取所述擦除部分区域中各个点属于任一类型的概率值，获取擦除区域类型概率图。

在本申请的一个实施例中，所述第二获取模块，具体用于：

根据所述擦除区域类型概率图获取各个点的概率值；

根据所述各个点的概率值确定中心点，根据所述中心点确定所述待修复目标区域。

在本申请的一个实施例中，所述修复模块，具体用于：

根据所述待修复目标区域的类型确定目标解码网络；

通过所述目标解码网络对所述待修复目标区域进行处理，获取局部图像修复结果。

在本申请的一个实施例中，所述原始图像和所述修复图像的相似度损失函数为：

L_SIM＝λ_perceptualL_perceptual+λ_ssimL_SSIM+L_weightedl1 (1)

其中，L_perceptual,L_SSIM和L_weightedl1分别为理解损失函数，结构相似度损失函数和加权L₁损失函数，λ_*为对应项的学习率权重系数。

所述使用预设智能体对所述擦除部分区域进行分类处理，获取擦除区域类型概率图中的结构相似度损失函数为：

L_mask＝λ_cL_c+λ_eL_e (3)

其中，L_c和L_e分别为局部一致性损失函数和交叉熵损失函数，λ_*为对应项的学习率权重系数。

所述预设智能体使用卷积长短期记忆网络对所述原始图像进行特征的提取，并对历史操作信息进行存储，使用语义理解损失函数为：

R＝-γ^T·L_SIM(I_gt,I_T) (3)。

其中，γ为衰减系数，I_gt和I_T分别为当前区域的真实结果和预测结果。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例一所提供的一种图像修复方法的流程示意图；

图2为本申请实施例的图像修复的示例图；

图3为本申请实施例的智能体以及自适应的局部图像修复网络的示例图；

图4为本申请实施例所提供的一种图像修复装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的图像修复方法和装置。

图1为本申请实施例一所提供的一种图像修复方法的流程示意图。

如图1所示，该图像修复方法包括以下步骤：

S1，获取包括擦除部分区域的原始图片，并使用预设智能体对擦除部分区域进行分类处理，获取擦除区域类型概率图。

S2，获取擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中，获取局部图像修复结果。

S3，根据局部图像修复结果和擦除区域类型概率图进行加权求和，获取局部修复结果，根据局部修复结果更新原始图片。

S4，重复执行步骤S1-S3，直到擦除部分区域完全修复，获取修复图像。

具体地，如图2所示，对于任意给定的一张被擦除部分区域的图片，首先使用感知被擦除区域的智能体分析被擦除的区域类型，然后选择出目前被擦除的图片中最适合进行修复的一块区域，然后将这一区域送入自适应的局部图像修复网络中，该网络采用一系列并行的解码卷积网络对这一局部区域进行恢复，每一分支特定的针对某一种类型的遮盖方式(例如线条型、矩形等)。各个分支预测出的局部图像修复结果与智能体预测出的遮盖类型概率图进行加权求和，从而得到最终的局部修复结果。依次类推，每次更新图像的一块区域直至整个图像被修复。

其中，图2中的Local Generator为局部生成器，用于恢复一个区块的结果。

在本申请实施例中，通过卷积网络对所述擦除部分区域的遮盖类型进行分类，获取擦除部分区域中各个点属于任一类型的概率值，获取擦除区域类型概率图。

在本申请实施例中，根据擦除区域类型概率图获取各个点的概率值；根据所述各个点的概率值确定中心点，根据中心点确定待修复目标区域。

具体地，感知被擦除区域的智能体能够对被擦除的区域进行类别的分类并选择出适合优先进行恢复的区域，如图3所示，智能体共进行两个任务，分别由2个卷积网络的分支实现，第一个任务为对被遮盖的区域的遮盖类型进行分类，这一任务目标由N个与原图同尺寸的概率分布图表示，每一个概率分布图对应各个点属于某一具体类型的概率。第二个任务为选择图像中最适合进行修复的区域，这一任务目标由一个与原图同尺寸的概率分布图表示，图中的概率值表示被选择区域的中心落在该点的概率。在生成这一概率分布图后，训练过程依照该分布图随机选择一个点作为区域中心，并以固定尺寸(如64×64)从原图中裁剪出一区域送入自适应局部图像修复网络。测试过程则直接以概率最高的点作为中心。这2个分支前端使用一个共享的卷积长短期记忆网络(LSTM)对整体图像进行特征的提取，并对历史操作信息进行存储等，从而避免多次重复恢复某一区域。

其中，图3中的crop为裁剪操作，patch generator为区块生成器，generativenetworks bank为生成网络库。

在本申请实施例中，根据待修复目标区域的类型确定目标解码网络，通过目标解码网络对待修复目标区域进行处理，获取局部图像修复结果。

具体地，如图3所示，该自适应局部图像修复网络由一系列的卷积层和反卷积层组成，其特殊之处在于它的末端为一系列并行的解码结构，每一个分支会专门的学习某一种遮盖类型区域的恢复。每一个分支的恢复结果与遮盖类型概率图加权求和得到局部区域的图像修复结果，利用局部的图像修复结果对原图进行更新再次送入上述的智能体中，重复此过程逐区块地对整个图像进行修复，从而实现对遮盖类型鲁棒的图像修复。

在本申请实施例中，原始图像和修复图像的相似度损失函数为：

L_SIM＝λ_perceptualL_perceptual+λ_ssimL_SSIM+L_weightedl1 (1)

其中，L_perceptual,L_SSIM和L_weightedl1分别为理解损失函数，结构相似度损失函数和加权L₁损失函数，λ_*为对应项的学习率权重系数。

使用预设智能体对擦除部分区域进行分类处理，获取擦除区域类型概率图中的结构损失函数为：

L_mask＝λ_cL_c+λ_eL_e (3)

其中，L_c和L_e分别为局部一致性损失函数和交叉熵损失函数，λ_*为对应项的学习率权重系数。

预设智能体使用卷积长短期记忆网络对原始图像进行特征的提取，并对历史操作信息进行存储，使用语义理解损失函数为：

R＝-γ^T·L_SIM(I_gt,I_T) (3)。

其中γ为衰减系数，I_gt和I_T分别为当前区域的真实结果和预测结果。

具体地，第一项为图像的相似度损失函数，这一损失函数主要衡量了恢复的结果与原图的相似度，包括加权l₁损失，结构相似度损失函数和语义理解损失函数三项。第一项损失函数会指导局部图像修复网络和智能体的遮盖类型分类分支；第二项损失函数专门为指导智能体的遮盖区域分支分类而设计，它包含局部连续性约束和类型特异性两项约束；第三项监督信号为强化学习中的奖励函数，它指导智能体的区域选择分支的训练，这一训练过程使用强化学习的算法。

由此，感知被擦除区域的智能体能够对被擦除的区域进行类别的分类并选择出适合优先进行恢复的区域，自适应的局部图像修复网络采用一系列并行的解码结构，对不同的遮盖类型使用不同的参数进行预测，从而能够更好的挖掘图像中被擦除部分的信息，提高对不同遮盖类型的鲁棒性；基于深度强化学习的逐区域图像恢复的网络框架。该框架首先使用感知被擦除区域的智能体对被擦除的区域进行分类，随后选择其中一块区域使用局部的自适应卷积网络进行图像的修复，重复此过程，每次恢复图片的一小块区域，从而实现鲁棒的图片修复效果

因此，通过一个感知被遮区域类型的智能体和自适应的局部修复网络的串联，将逐步的图像修复过程进行马尔可夫建模并使用强化学习的方式进行训练，前者以公式(2)和(3)所示的目标函数为监督信号，后者则以公式(1)所示的目标函数为监督信号。训练以迭代的方式进行，每次迭代恢复图片的一块区域，计算各损失函数并更新权重，公式(3)所示的强化学习奖励则在恢复出全图后反馈给网络，从而提高模型对大量不规则区域被擦除时性能的鲁棒性。

本申请实施例的图像修复方法，获取包括擦除部分区域的原始图片，并使用预设智能体对擦除部分区域进行分类处理，获取擦除区域类型概率图；获取擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中，获取局部图像修复结果；根据局部图像修复结果和擦除区域类型概率图进行加权求和，获取局部修复结果，根据局部修复结果更新所述原始图片；重复上述过程，直到擦除部分区域完全修复，获取修复图像。由此，通过一个感知被遮区域类型的智能体和自适应的局部修复网络的串联进行逐步的图像修复，从而提高模型对大量不规则区域被擦除时进行修复的准确性和效率。

为了实现上述实施例，本申请还提出一种图像修复装置。

图4为本申请实施例提供的一种图像修复装置的结构示意图。

如图4所示，该图像修复装置包括：第一获取模块410、第二获取模块420、修复模块430和处理模块440。

第一获取模块410，用于获取包括擦除部分区域的原始图片，并使用预设智能体对所述擦除部分区域进行分类处理，获取擦除区域类型概率图。

第二获取模块420，用于获取所述擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中，获取局部图像修复结果。

修复模块430，用于根据所述局部图像修复结果和所述擦除区域类型概率图进行加权求和，获取局部修复结果，根据所述局部修复结果更新所述原始图片。

处理模块440，用于重复执行所述第一获取模块、所述第二获取模块和所述处理模块，直到所述擦除部分区域完全修复，获取修复图像。

在本申请的一个实施例中，第一获取模块410，具体用于：通过卷积网络对所述擦除部分区域的遮盖类型进行分类，获取所述擦除部分区域中各个点属于任一类型的概率值，获取擦除区域类型概率图。

在本申请的一个实施例中，所述第二获取模块420，具体用于：根据所述擦除区域类型概率图获取各个点的概率值；根据所述各个点的概率值确定中心点，根据所述中心点确定所述待修复目标区域。

在本申请的一个实施例中，所述修复模块430，具体用于：根据所述待修复目标区域的类型确定目标解码网络；通过所述目标解码网络对所述待修复目标区域进行处理，获取局部图像修复结果。

在本申请的一个实施例中，所述原始图像和所述修复图像的相似度损失函数为：

L_SIM＝λ_perceptualL_perceptual+λ_ssimL_SSIM+L_weightedl1 (1)

所述使用预设智能体对所述擦除部分区域进行分类处理，获取擦除区域类型概率图中的结构相似度损失函数为：

L_mask＝λ_cL_c+λ_eL_e (2)

其中，L_c和L_e分别为局部一致性损失函数和交叉熵损失函数，λ_*为对应项的学习率权重系数。

所述预设智能体使用卷积长短期记忆网络对所述原始图像进行特征的提取，并对历史操作信息进行存储，使用语义理解损失函数为：

R＝-γ^T·L_SIM(I_gt,I_T) (3)

其中，γ为衰减系数，I_gt和I_T分别为当前区域的真实结果和预测结果。

本申请实施例的图像修复装置，通过获取包括擦除部分区域的原始图片，并使用预设智能体对擦除部分区域进行分类处理，获取擦除区域类型概率图；获取擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中，获取局部图像修复结果；根据局部图像修复结果和擦除区域类型概率图进行加权求和，获取局部修复结果，根据局部修复结果更新所述原始图片；重复上述过程，直到擦除部分区域完全修复，获取修复图像。由此，通过一个感知被遮区域类型的智能体和自适应的局部修复网络的串联进行逐步的图像修复，从而提高模型对大量不规则区域被擦除时进行修复的准确性和效率。

需要说明的是，前述对图像修复方法实施例的解释说明也适用于该实施例的图像修复装置，此处不再赘述。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种图像修复方法，其特征在于，包括以下步骤：

S1，获取包括擦除部分区域的原始图片，并使用预设智能体对所述擦除部分区域进行分类处理，获取擦除区域类型概率图；

S2，获取所述擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中，获取局部图像修复结果；

S3，根据所述局部图像修复结果和所述擦除区域类型概率图进行加权求和，获取局部修复结果，根据所述局部修复结果更新所述原始图片；

S4，重复执行步骤S1-S3，直到所述擦除部分区域完全修复，获取修复图像。

2.如权利要求1所述的方法，其特征在于，所述使用预设智能体对所述擦除部分区域进行分类处理，获取擦除区域类型概率图，包括：

通过卷积网络对所述擦除部分区域的遮盖类型进行分类，获取所述擦除部分区域中各个点属于任一类型的概率值，获取擦除区域类型概率图。

3.如权利要求2所述的方法，其特征在于，所述获取所述擦除部分区域中的待修复目标区域，包括：

根据所述擦除区域类型概率图获取各个点的概率值；

根据所述各个点的概率值确定中心点，根据所述中心点确定所述待修复目标区域。

4.如权利要求1所述的方法，其特征在于，所述获取所述擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中，获取局部图像修复结果，包括：

根据所述待修复目标区域的类型确定目标解码网络；

通过所述目标解码网络对所述待修复目标区域进行处理，获取局部图像修复结果。

5.如权利要求1-4任一项所述的方法，其特征在于，

所述原始图像和所述修复图像的相似度损失函数为：

L_SIM＝λ_perceptualL_perceptual+λ_ssimL_SSIM+L_weightedl1 (1)

其中，L_perceptual,L_SSIM和L_weightedl1分别为理解损失函数，结构相似度损失函数和加权L₁损失函数，λ_*为对应项的学习率权重系数。

所述使用预设智能体对所述擦除部分区域进行分类处理，获取擦除区域类型概率图中的结构相似度损失函数为：

L_mask＝λ_cL_c+λ_eL_e (3)

其中，L_c和L_e分别为局部一致性损失函数和交叉熵损失函数，λ_*为对应项的学习率权重系数。

所述预设智能体使用卷积长短期记忆网络对所述原始图像进行特征的提取，并对历史操作信息进行存储，使用语义理解损失函数为：

R＝-γ^T·L_SIM(I_gt,I_T) (3)

其中，γ为衰减系数，I_gt和I_T分别为当前区域的真实结果和预测结果。

6.一种图像修复装置，其特征在于，包括：

第一获取模块，用于获取包括擦除部分区域的原始图片，并使用预设智能体对所述擦除部分区域进行分类处理，获取擦除区域类型概率图；

第二获取模块，用于获取所述擦除部分区域中的待修复目标区域输入自适应局部图像修复网络中，获取局部图像修复结果；

修复模块，用于根据所述局部图像修复结果和所述擦除区域类型概率图进行加权求和，获取局部修复结果，根据所述局部修复结果更新所述原始图片；

处理模块，用于重复执行所述第一获取模块、所述第二获取模块和所述处理模块，直到所述擦除部分区域完全修复，获取修复图像。

7.如权利要求6所述的装置，其特征在于，所述第一获取模块，具体用于：

通过卷积网络对所述擦除部分区域的遮盖类型进行分类，获取所述擦除部分区域中各个点属于任一类型的概率值，获取擦除区域类型概率图。

8.如权利要求7所述的装置，其特征在于，所述第二获取模块，具体用于：

根据所述擦除区域类型概率图获取各个点的概率值；

根据所述各个点的概率值确定中心点，根据所述中心点确定所述待修复目标区域。

9.如权利要求6所述的装置，其特征在于，所述修复模块，具体用于：

根据所述待修复目标区域的类型确定目标解码网络；

通过所述目标解码网络对所述待修复目标区域进行处理，获取局部图像修复结果。

10.如权利要求6-9任一项所述的装置，其特征在于，

所述原始图像和所述修复图像的相似度损失函数为：

L_SIM＝λ_perceptualL_perceptual+λ_ssimL_SSIM+L_weightedl1 (1)

其中，L_perceptual,L_SSIM和L_weightedl1分别为理解损失函数，结构相似度损失函数和加权L₁损失函数，λ_*为对应项的学习率权重系数。

所述使用预设智能体对所述擦除部分区域进行分类处理，获取擦除区域类型概率图中的结构相似度损失函数为：

L_mask＝λ_cL_c+λ_eL_e (3)

其中，L_c和L_e分别为局部一致性损失函数和交叉熵损失函数，λ_*为对应项的学习率权重系数。

所述预设智能体使用卷积长短期记忆网络对所述原始图像进行特征的提取，并对历史操作信息进行存储，使用语义理解损失函数为：

R＝-γ^T·L_SIM(I_gt,I_T) (3)

其中，γ为衰减系数，I_gt和I_T分别为当前区域的真实结果和预测结果。

Images