CN115641269A - 一种图像修补方法、装置及可读存储介质 - Google Patents

Abstract

本公开涉及一种图像修补方法、装置及可读存储介质，应用于图像处理领域，此方法包括：获取待修补图像；其中，所述待修补图像包括被第一像素值填充的待修补区域；确定所述待修补图像的低频残缺图和高频残缺图；将所述待修补图像的低频残缺图和高频残缺图输入训练完成的图像修补模型，获得所述图像修补模型输出的低频完整图和高频完整图；根据所述低频完整图和所述高频完整图合成修补后图像。本公开中，进行图像高频信息和图像低频信息分离、处理以及再融合，通过图像修补模型的自学习的能力在修补过程中可以智能的恢复出原图的细节，提高修补后的图像中细节部分的清晰度。

Description

一种图像修补方法、装置及可读存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像修补方法、装置及可读存储介质。

背景技术

图像修补技术常用于将原图中不需要图像内容删除后用合理的图像内容填补移除后的空缺。例如，用户使用手机在户外拍照后，照片背景中往往会出现一些杂物(比如，陌生的路人，不必要的建筑物)。使用编辑软件将照片中的杂物去除，原杂物处则会留下一片空洞区域，如何利用背景区域把空洞区域填充得自然完整则是一项困难的工作。用户使用专业的修图软件也需要进行长时间的繁杂的修图处理。

图像修补主要基于传统图像块匹配(Patch Match)算法实现。使用传统修补算法修补图像时会出现局部细节模糊的问题以及缺失图像结构信息的问题。

如何解决传统修补算法对应的局部细节模糊的问题以及缺失图像结构信息的问题，是需要解决的技术问题。

发明内容

有鉴于此，本公开提供了一种图像修补方法、装置及可读存储介质。

根据本公开实施例的第一方面，提供一种图像修补方法，包括：

获取待修补图像；其中，所述待修补图像包括被第一像素值填充的待修补区域；

确定所述待修补图像的低频残缺图和高频残缺图；

将所述待修补图像的低频残缺图和高频残缺图输入训练完成的图像修补模型，获得所述图像修补模型输出的低频完整图和高频完整图；

根据所述低频完整图和所述高频完整图合成修补后图像。

在一实施方式中，所述方法包括：

构建训练样本集合，其中，所述训练样本集合包括多个训练样本组，每个训练样本组包括一样本目标原图、一样本低频残缺图、一样本低频目标图、一样本高频残缺图和一样本高频目标图；其中，所述样本低频目标图是所述样本目标原图的缩小图，所述样本低频残缺图是样本目标残缺图的缩小图，所述样本高频目标图是所述样本低频目标图的放大图与所述样本目标原图的差，所述样本目标残缺图是所述样本目标原图中屏蔽区被第二像素值填充后的处理图，所述样本高频残缺图是所述样本低频残缺图的放大图与所述样本目标残缺图的差，其中，所述放大图的尺寸与样本目标原图的尺寸相同；

使用所述训练样本集合训练所述图像修补模型，得到所述训练完成的图像修补模型。

在一实施方式中，所述训练样本集合中各训练样本组对应的屏蔽区设置信息相同，或者，所述训练样本集合中包括屏蔽区设置信息不相同的训练样本组；其中，所述屏蔽区设置信息包括：屏幕区的形状，以及屏幕区在相应图像中的位置。

在一实施方式中，所述屏蔽区的形状为设定尺寸的规则形状，或者设定样式的不规则形状。

在一实施方式中，所述图像修补模型包括第一神经网络和第二神经网络；

所述使用所述训练样本集合训练图像修补模型，包括：

将训练样本组中的样本低频残缺图输入第一神经网络输出低频完整训练图；

将训练样本组中的样本高频残缺图输入第二神经网络输出高频完整训练图；

根据所述低频完整训练图和所述高频完整训练图合成预测图；

根据所述低频完整训练图与相应的样本低频目标图的差异确定第一损失，根据所述高频完整训练图与相应的样本高频目标图的差异确定第二损失，以及，根据所述预测图与相应的样本目标原图的差异确定第三损失；

根据第一损失、第二损失和第三损失调整所述图像修补模型。

在一实施方式中，所述根据第一损失、第二损失和第三损失调整所述图像修补模型，包括：

根据所述第一损失和所述第三损失调整所述第一神经网络；

根据所述第二损失和所述第三损失调整所述第二神经网络。

在一实施方式中，

所述方法还包括：

使用所述训练样本集合训练生成式对抗网络模型，得到所述训练完成的图像修补模型，所述生成式对抗网络模型包括所述图像修补模型和判别模型；

所述使用所述训练样本集合训练生成式对抗网络模型，得到所述训练完成的图像修补模型，包括：

确定所述生成式对抗网络模型的对抗损失；

所述根据第一损失、第二损失和第三损失调整所述图像修补模型，包括：

交替执行调整所述图像修补模型和调整所述判别模型；

所述调整所述图像修补模型包括：

根据所述第一损失、所述第三损失和对抗损失调整所述第一神经网络；

根据所述第二损失、所述第三损失和对抗损失调整所述第二神经网络；

所述调整所述判别模型包括：

根据所述对抗损失调整所述判别模型。

本公开实施例提供了一种图像修补装置，包括：

获取模块，用于获取待修补图像；其中，所述待修补图像包括被第一像素值填充的待修补区域；

确定模块，用于确定所述待修补图像的低频残缺图和高频残缺图；

处理模块，用于将所述待修补图像的低频残缺图和高频残缺图输入训练完成的图像修补模型，获得所述图像修补模型输出的低频完整图和高频完整图；

合成模块，用于根据所述低频完整图和所述高频完整图合成修补后图像。

在一实施方式中，构建模块，用于构建训练样本集合，其中，所述训练样本集合包括多个训练样本组，每个训练样本组包括一样本目标原图、一样本低频残缺图、一样本低频目标图、一样本高频残缺图和一样本高频目标图；其中，所述样本低频目标图是所述样本目标原图的缩小图，所述样本低频残缺图是样本目标残缺图的缩小图，所述样本高频目标图是所述样本低频目标图的放大图与所述样本目标原图的差，所述样本目标残缺图是所述样本目标原图中屏蔽区被第二像素值填充后的处理图，所述样本高频残缺图是所述样本低频残缺图的放大图与所述样本目标残缺图的差，其中，所述放大图的尺寸与样本目标原图的尺寸相同；

第一训练模块，用于使用所述训练样本集合训练所述图像修补模型，得到所述训练完成的图像修补模型。

在一实施方式中，所述训练样本集合中各训练样本组对应的屏蔽区设置信息相同，或者，所述训练样本集合中包括屏蔽区设置信息不相同的训练样本组；其中，所述屏蔽区设置信息包括：屏幕区的形状，以及屏幕区在相应图像中的位置。

在一实施方式中，所述屏蔽区的形状为设定尺寸的规则形状，或者设定样式的不规则形状。

在一实施方式中，所述得到所述训练完成的图像修补模型包括第一神经网络和第二神经网络；

所述第一训练模块包括：

第一执行单元，用于将训练样本组中的样本低频残缺图输入第一神经网络输出低频完整训练图；将训练样本组中的样本高频残缺图输入第二神经网络输出高频完整训练图；

合成单元，用于根据所述低频完整训练图和所述高频完整训练图确定预测图；

第一确定单元，用于根据所述低频完整训练图与相应的样本低频目标图的差异确定第一损失，根据所述高频完整训练图与相应的样本高频目标图的差异确定第二损失，以及，根据所述预测图与相应的样本目标原图的差异确定第三损失；

第一调整单元，用于根据第一损失、第二损失和第三损失调整所述图像修补模型。

在一实施方式中，所述第一调整单元，还用于使用以下方法根据第一损失、第二损失和第三损失调整所述图像修补模型：

根据所述第一损失和所述第三损失调整所述第一神经网络；

根据所述第二损失和所述第三损失调整所述第二神经网络。

在一实施方式中，

所述装置还包括：

第二训练模块，用于使用所述训练样本集合训练生成式对抗网络模型，得到所述训练完成的图像修补模型，所述生成式对抗网络模型包括所述图像修补模型和判别模型；

所述第二训练模块包括：

所述第二确定单元，还用于确定所述生成式对抗网络模型的对抗损失；

所述训练模块包括：

第二执行单元，用于交替控制第二调整单元和第三调整单元；

第二调整单元，用于调整所述图像修补模型；

所述调整所述图像修补模型包括：根据所述第一损失、所述第三损失和所述对抗损失调整所述第一神经网络；根据所述第二损失、所述第三损失和所述对抗损失调整所述第二神经网络；

第三调整单元，用于调整所述判别模型；

所述调整所述判别模型包括：根据所述对抗损失调整所述判别模型。

根据本公开实施例的第三方面，提供一种图像修补装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述存储器中的可执行指令以实现所述方法的步骤。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，其上存储有可执行指令，该可执行指令被处理器执行时实现所述方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：构建一种新颖的处理方式，通过此处理方式进行图像高频信息和图像低频信息分离、处理以及再融合，消除图像修补过程中高频信息和低频信息相互干扰的情况；并且，从原图的残缺图中提取出高频信息部分和低频信息部分后，通过神经网络自学习到训练样本集合中各样本图中的高频信息，从而在修补过程中可以智能的恢复出原图的细节，提高修补后图像中细节部分的清晰度，可以有效克服现有技术中使用传统图像块匹配(Patch Match)算法时会出现的局部细节模糊的问题以及缺失图像结构信息的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种图像修补的方法的流程图；

图2是根据一示例性实施例示出的一种样本图的生成过程的示意图；

图3是根据一示例性实施例示出的另一种样本图的生成过程的示意图；

图4是根据一示例性实施例示出的一种训练两个神经网络组成的模型的示意图；

图5是根据一示例性实施例示出的一种训练生成式对抗网络的示意图；

图6是根据一示例性实施例示出的一种图像修补的装置的结构图；

图7是根据一示例性实施例示出的另一种图像修补的装置的结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开中实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开中实施例的一些方面相一致的装置和方法的例子。

在本公开实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开实施例。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

本申请利用神经网络强大的特征提取能力，将神经网络应用于图像修补，可以有效补充图像结构信息，强化局部细节，从而使修补后的图像的局部细节更清晰并且更接近修补前的原图。

本公开实施例中提供一种图像修补方法。此方法用于能够进行图像处理的设备，例如个人电脑，平板电脑，移动终端等。

步骤S11，获取待修补图像；其中，所述待修补图像包括被第一像素值填充的待修补区域；

步骤S12，确定所述待修补图像的低频残缺图和高频残缺图；

步骤S13,将所述待修补图像的低频残缺图和高频残缺图输入训练完成的图像修补模型，获得所述图像修补模型输出的低频完整图和高频完整图；

步骤S14,根据所述低频完整图和所述高频完整图合成修补后图像。

在一实施方式中，待修补图像的低频残缺图是待修补图像的缩小图。待修补图像的高频残缺图是所述低频残缺图的放大图与所述待修补图像的差。

其中，缩小图是指缩小设定比例的图，放大图是指放大至缩小前的尺寸的图。例如：设定比例为4时，待修补图像的尺寸为1680*600，缩小图的尺寸为420*150。放大图的尺寸为1680*600。

在一实施方式中，图像修补模型是需要训练的模型，此图像修补模型通过训练过程学习到从残缺图变换成完整图的方式。

本公开实施例中，构建一种新颖的处理方式，通过此处理方式进行图像高频信息和图像低频信息分离、处理以及再融合，消除图像修补过程中高频信息和低频信息相互干扰的情况；并且，从原图的残缺图中提取出高频信息部分和低频信息部分后，通过图像修补模型的自学习的能力，在修补过程中可以智能的恢复出原图的细节，提高修补后图像中细节部分的清晰度，可以有效克服现有技术中使用传统图像块匹配(Patch Match)算法时会出现的局部细节模糊的问题以及缺失图像结构信息的问题。

本公开实施例中提供一种图像修补方法。此方法用于能够进行图像处理的设备，例如个人电脑，平板电脑，移动终端等。

参照图1，图1是根据一示例性实施例示出的一种图像修补方法的流程图。如图1所示，此方法包括：

步骤S10-1,构建训练样本集合，所述训练样本集合包括多个训练样本组，每个训练样本组包括一样本目标原图、一样本低频残缺图、一样本低频目标图、一样本高频残缺图和一样本高频目标图；其中，所述样本低频目标图是所述样本目标原图的缩小图，所述样本低频残缺图是样本目标残缺图的缩小图，所述样本高频目标图是所述样本低频目标图的放大图与所述样本目标原图的差，所述样本目标残缺图是所述样本目标原图中屏蔽区被第二像素值填充后的处理图，所述样本高频残缺图是所述样本低频残缺图的放大图与所述样本目标残缺图的差，其中，所述放大图的尺寸与样本目标原图的尺寸相同；

步骤S10-2，使用所述训练样本集合训练所述图像修补模型，得到所述训练完成的图像修补模型。

在一实施方式中，步骤S11中的第一像素值和步骤S10-1中的第二像素值相同，例如第一像素值对应于RGB分量均为128，此第一像素值对应于灰色的像素点。在另一实施方式中，步骤S11中的第一像素值和步骤S10-1中的第二像素值不相同，并且第一像素值和第二像素值的差值小于设定门限值。

在一实施方式中，所述屏蔽区的形状为设定尺寸的规则形状，或者符合设定图样的不规则形状。

在一示例中，屏蔽区的形状为正方形。

在一示例中，屏蔽区的形状为圆形。

在一示例中，屏蔽区的形状为半圆形。

在一示例中，屏蔽区的形状为椭圆形。

在一示例中，屏蔽区的形状为长方形。

在一示例中，屏蔽区的形状为等宽度的波浪形。

屏蔽区的形状设定可以根据使用需求进行设定，例如：对于运行手机中的图像修补应用，为用户提供的选择待修补区域的选择框的形状为正方形，则设置屏蔽区的形状为正方形。例如：对于运行于平板电脑中的图像修补应用，为用户提供的选择待修补区域的选择框的形状为椭圆形，则设置屏蔽区的形状为椭圆形。

在一实施方式中，所述训练样本集合中各训练样本组对应的屏蔽区设置信息相同，或者，所述训练样本集合中包括屏蔽区设置信息不相同的训练样本组；其中，所述屏蔽区设置信息包括：屏幕区的形状，以及屏幕区在相应图像中的位置。

在另一实施方式中，所述训练样本集合中包括屏蔽区设置信息不相同的训练样本组。

在一可能的实施方式中，构建训练样本集合中的每个训练样本组时，根据相应的样本目标原图生成此训练样本组。每个训练样本组包括一样本目标原图(A)、一样本低频残缺图(B)、一样本低频目标图(C)、一样本高频残缺图(D)和一样本高频目标图(E)。

具体包括：

步骤1，如图2所示，将样本目标原图(A)中一设定位置的屏蔽区进行像素值的填充后，获得样本残缺图(1)，将样本残缺图(1)缩小至设定比例，得到样本低频残缺图(B)。

步骤2，如图3所示，将样本目标原图(A)缩小至设定比例，得到样本低频目标图(C)。

其中，设定比例可以为1/4，1/8等。

步骤3，如图2所示，将样本低频残缺图(B)放大至与样本目标原图(A)的尺寸相同后获得低频放大图(2)，将样本残缺图(1)与放大图(2)的差作为样本高频残缺图(D)。

步骤4，如图3所示，将样本目标原图(A)与缩小至设定比例后，放大至与样本目标原图(A)的尺寸相同后获得原图模糊图(3)，将样本目标原图(A)与原图模糊图(3)的差作为样本高频目标图(E)。

在一实施方式中，步骤S13中的第二像素值与步骤S11中的第一像素值均为灰度值。第二像素值的灰度值与第一像素值的灰度值的差小于设定门限。

本公开实施例中，构建一种新颖的处理方式，通过此处理方式进行图像高频信息和图像低频信息分离、处理以及再融合，消除图像修补过程中高频信息和低频信息相互干扰的情况；并且，从原图的残缺图中提取出高频信息部分和低频信息部分后，通过图像修补模型自学习到训练样本集合中各样本图中的高频信息，从而在修补过程中可以智能的恢复出原图的细节，提高修补后图像中细节部分的清晰度，可以有效克服现有技术中使用传统图像块匹配(Patch Match)算法时会出现的局部细节模糊的问题以及缺失图像结构信息的问题。

本公开实施例中，样本低频残缺图(B)的尺寸较小，可以减少计算量，提高整个模型的处理速率。

本公开实施例中提供一种图像修补方法，此方法用于能够进行图像处理的设备，此方法包括图1所示的方法，并且：

如图4所示，所述图像修补模型包括第一神经网络和第二神经网络；

步骤S10-2中所述使用所述训练样本集合训练图像修补模型，包括：

将训练样本组中的样本低频残缺图输入第一神经网络输出低频完整训练图；

将训练样本组中的样本高频残缺图输入第二神经网络输出高频完整训练图；

根据所述低频完整训练图和所述高频完整训练图合成预测图；

根据所述低频完整训练图与相应的样本低频目标图的差异确定第一损失(L1损失)，根据所述高频完整训练图与相应的样本高频目标图的差异确定第二损失(L2损失)，以及，根据所述预测图与相应的样本目标原图的差异确定第三损失(L3损失)；

根据第一损失、第二损失和第三损失调整所述图像修补模型。

在一实施方式中，根据第一损失、第二损失和第三损失调整所述图像修补模型，包括：

根据所述第一损失和所述第三损失调整所述第一神经网络；

根据所述第二损失和所述第三损失调整所述第二神经网络。

在一实施方式，第一神经网络和第二神经网络可以是卷积神经网络(Convolutional Neural Networks,CNN)，或者循环神经网络(Recurrent NeuralNetworks,RNN)等。

本公开实施例中，使用两个不同的神经网络分别用于学习原图的残缺图中的低频信息和高频信息，从而使修补过程中可以智能的恢复出原图的细节。

在一实施方式中，所述方法还包括：

使用所述训练样本集合训练生成式对抗网络模型，得到所述训练完成的图像修补模型，所述生成式对抗网络模型包括所述图像修补模型和判别模型；

所述使用所述训练样本集合训练生成式对抗网络模型，得到所述训练完成的图像修补模型，包括：

确定所述生成式对抗网络模型的对抗损失；

所述根据第一损失、第二损失和第三损失调整所述图像修补模型，包括：

交替执行调整所述图像修补模型和调整所述判别模型；

所述调整所述图像修补模型包括：

根据所述第一损失、所述第三损失和对抗损失调整所述第一神经网络；

根据所述第二损失、所述第三损失和对抗损失调整所述第二神经网络；

所述调整所述判别模型包括：

根据所述对抗损失调整所述判别模型。

在一可能的实施方式中，对抗网络模型是生成式对抗网络(GAN,GenerativeAdversarial Networks)。GAN是一种深度学习模型，包括生成模型(Generative Model，即本方案中的图像修补模型)和判别模型(Discriminative Model)。在一种实现方式中，生成模型和判别模型只需要是能拟合相应生成和判别的函数即可，不必须都是神经网络。在另一种实现方式中，生成模型和判别模型均是神经网络。

本公开实施例中，图像修补模型的目标是通过生成接近目标图像的图像来欺骗判别模型，而判别模型的目标是尽量辨别出图像修补模型生成的假图像和真图像的区别。图像修补模型希望假图像更逼真判别概率高而判别模型希望假图像再逼真也可以判别概率低，通过这样的动态博弈过程，最终达到纳什均衡点。生成式对抗网络中通过图像修补模型和判别模型的互相博弈学习产生较好的输出。判别模型的输入是一张图像，输出是该图像为真图像的概率，介于0-1之间，概率值越小认为生成图像不是真图像的可能性越大。

其中，生成式对抗网络模型的对抗损失是根据真假图像的概率交叉熵算出的，图像修补模型的目标是最大化对抗损失，判别模型的目标是最小化对抗损失，形成一种对抗状态。

本公开实施例中，使用生成式对抗网络模型，利用生成式对抗网络模型在其中的判别模型训练情况良好时其中的图像修补模型可以完美的学习到训练样本中的图像特征的特性，有效学习到原图的残缺图中的高频信息，从而在修补过程中可以智能的恢复出原图的细节。

下面结合图4说明使用生成式对抗网络模型的训练过程。

循环执行以下过程直至对生成式对抗网络模型训练成功：

从训练样本集合中提取一个训练样本组，使用此训练样本组输入生成式对抗网络模型，获得第一损失(L1损失)、第二损失(L2损失)、第三损失(L3损失)和对抗损失，根据第一损失、第二损失、第三损失和对抗损失对生成式对抗网络模型进行参数调整。

其中，使用一个训练样本组的训练过程如下：

如图5所示，根据此训练样本组获得五个图像，包括：一样本目标原图(A)、一样本低频残缺图(B)、一样本低频目标图(C)、一样本高频残缺图(D)和一样本高频目标图(E)。

将样本低频残缺图(B)输入第一神经网络，输出低频完整训练图，计算此低频完整训练图与样本低频目标图(C)之间的第一差异，根据此第一差异计算第一损失称为L1损失。

将样本高频残缺图(D)输入第二神经网络，输出高频完整训练图，计算此高频完整训练图与样本高频目标图(E)之间的第二差异，根据此第二差异计算第二损失称为L2损失。

将低频完整训练图放大至与样本目标原图(A)的尺寸相同，获得低频生成放大图，确定此低频生成放大图与高频完整训练图的叠加图为完整预测图，计算完整预测图与样本目标原图(A)之间的第三差异，根据此第三差异计算第三损失称为L3损失。

确定生成式对抗网络模型的对抗损失。

根据第一损失、第三损失和对抗损失调整第一神经网络；

根据第二损失、第三损失和对抗损失调整第二神经网络；

根据对抗损失调整判别模型。

本公开实施例中提供一种图像修补装置，此装置用于能够进行图像处理的设备，例如个人电脑，平板电脑，移动终端等。

参照图6，图6是根据一示例性实施例示出的一种图像修补装置的结构图。如图6所示，此装置包括：

获取模块61，用于获取待修补图像；其中，所述待修补图像包括被第一像素值填充的待修补区域；

确定模块62，用于确定所述待修补图像的低频残缺图和高频残缺图；

处理模块63，用于将所述待修补图像的低频残缺图和高频残缺图输入训练完成的图像修补模型，获得所述图像修补模型输出的低频完整图和高频完整图；

合成模块64，用于根据所述低频完整图和所述高频完整图合成修补后图像。

本公开实施例中提供一种图像修补装置，此装置包括图6所示的模块，并且还包括：

构建模块，用于构建训练样本集合，其中，所述训练样本集合包括多个训练样本组，每个训练样本组包括一样本目标原图、一样本低频残缺图、一样本低频目标图、一样本高频残缺图和一样本高频目标图；其中，所述样本低频目标图是所述样本目标原图的缩小图，所述样本低频残缺图是样本目标残缺图的缩小图，所述样本高频目标图是所述样本低频目标图的放大图与所述样本目标原图的差，所述样本目标残缺图是所述样本目标原图中屏蔽区被第二像素值填充后的处理图，所述样本高频残缺图是所述样本低频残缺图的放大图与所述样本目标残缺图的差，其中，所述放大图的尺寸与样本目标原图的尺寸相同；

第一训练模块，用于使用所述训练样本集合训练所述图像修补模型，得到所述训练完成的图像修补模型。

在一实施方式中，所述训练样本集合中各训练样本组对应的屏蔽区设置信息相同，或者，所述训练样本集合中包括屏蔽区设置信息不相同的训练样本组；其中，所述屏蔽区设置信息包括：屏幕区的形状，以及屏幕区在相应图像中的位置。

在一实施方式中，所述屏蔽区的形状为设定尺寸的规则形状，或者设定样式的不规则形状。

在一实施方式中，所述图像修补模型包括第一神经网络和第二神经网络；

所述第一训练模块包括：

第一执行单元，用于将训练样本组中的样本低频残缺图输入第一神经网络输出低频完整训练图；将训练样本组中的样本高频残缺图输入第二神经网络输出高频完整训练图；

合成单元，用于根据所述低频完整训练图和所述高频完整训练图合成预测图；

第一确定单元，用于根据所述低频完整训练图与相应的样本低频目标图的差异确定第一损失，根据所述高频完整训练图与相应的样本高频目标图的差异确定第二损失，以及，根据所述预测图与相应的样本目标原图的差异确定第三损失；

第一调整单元，用于根据第一损失、第二损失和第三损失调整所述图像修补模型。

在一实施方式中，所述第一调整单元，还用于使用以下方法根据第一损失、第二损失和第三损失调整所述图像修补模型：

根据所述第一损失和所述第三损失调整所述第一神经网络；

根据所述第二损失和所述第三损失调整所述第二神经网络。

在一实施方式中，

所述装置还包括：

第二训练模块，用于使用所述训练样本集合训练生成式对抗网络模型，得到所述训练完成的图像修补模型，所述生成式对抗网络模型包括所述图像修补模型和判别模型；

所述第二训练模块包括：

所述第二确定单元，还用于确定所述生成式对抗网络模型的对抗损失；

第二执行单元，用于交替控制第二调整单元和第三调整单元；

第二调整单元，用于调整所述图像修补模型；

所述调整所述图像修补模型包括：根据所述第一损失、所述第三损失和所述对抗损失调整所述第一神经网络；根据所述第二损失、所述第三损失和所述对抗损失调整所述第二神经网络；

第三调整单元，用于调整所述判别模型；

所述调整所述判别模型包括：根据所述对抗损失调整所述判别模型。

本公开实施例还提供了一种图像修补装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述存储器中的可执行指令以实现所述方法的步骤。

本公开实施例还提供了一种非临时性计算机可读存储介质，其上存储有可执行指令，该可执行指令被处理器执行时实现所述方法的步骤。

图7是根据一示例性实施例示出的一种用于图像修补的装置700的框图。例如，装置700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图7，装置700可以包括以下一个或多个组件：处理组件702，存储器704，电力组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。

处理组件702通常控制装置700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在设备700的操作。这些数据的示例包括用于在装置700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件706为装置700的各种组件提供电力。电力组件706可以包括电源管理系统，一个或多个电源，及其他与为装置700生成、管理和分配电力相关联的组件。

多媒体组件708包括在所述装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当装置700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。

I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器，用于为装置700提供各个方面的状态评估。例如，传感器组件714可以检测到设备700的打开/关闭状态，组件的相对定位，例如所述组件为装置700的显示器和小键盘，传感器组件714还可以检测装置700或装置700一个组件的位置改变，用户与装置700接触的存在或不存在，装置700方位或加速/减速和装置700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件716被配置为便于装置700和其他设备之间有线或无线方式的通信。装置700可以接入基于通信标准的无线网络，如WiFi，4G或5G，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由装置700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开中实施例的其它实施方案。本申请旨在涵盖本公开中实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开中实施例的一般性原理并包括实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开实施例的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开中实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围对本申请中所公开的方法步骤或设备组件进行各种组合、替换、修改和改变，这些组合、替换、修改和改变均被视为被包括在本公开所记载的范围内。本公开所要求保护的范围由所附的权利要求来限制。

需要说明的是，在本公开中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

Claims (16)

1.一种图像修补方法，其特征在于，包括：

获取待修补图像；其中，所述待修补图像包括被第一像素值填充的待修补区域；

确定所述待修补图像的低频残缺图和高频残缺图；

将所述待修补图像的低频残缺图和高频残缺图输入训练完成的图像修补模型，获得所述图像修补模型输出的低频完整图和高频完整图；

根据所述低频完整图和所述高频完整图合成修补后图像。

2.如权利要求1所述的图像修补方法，其特征在于，

所述方法包括：

构建训练样本集合，其中，所述训练样本集合包括多个训练样本组，每个训练样本组包括一样本目标原图、一样本低频残缺图、一样本低频目标图、一样本高频残缺图和一样本高频目标图；其中，所述样本低频目标图是所述样本目标原图的缩小图，所述样本低频残缺图是样本目标残缺图的缩小图，所述样本高频目标图是所述样本低频目标图的放大图与所述样本目标原图的差，所述样本目标残缺图是所述样本目标原图中屏蔽区被第二像素值填充后的处理图，所述样本高频残缺图是所述样本低频残缺图的放大图与所述样本目标残缺图的差，其中，所述放大图的尺寸与样本目标原图的尺寸相同；

使用所述训练样本集合训练所述图像修补模型，得到所述训练完成的图像修补模型。

3.如权利要求2所述的图像修补方法，其特征在于，

所述训练样本集合中各训练样本组对应的屏蔽区设置信息相同，或者，所述训练样本集合中包括屏蔽区设置信息不相同的训练样本组；其中，所述屏蔽区设置信息包括：屏幕区的形状，以及屏幕区在相应图像中的位置。

4.如权利要求2所述的图像修补方法，其特征在于，

所述屏蔽区的形状为设定尺寸的规则形状，或者设定样式的不规则形状。

5.如权利要求2所述的方法，其特征在于，

所述图像修补模型包括第一神经网络和第二神经网络；

所述使用所述训练样本集合训练所述图像修补模型，包括：

将训练样本组中的样本低频残缺图输入第一神经网络输出低频完整训练图；

将训练样本组中的样本高频残缺图输入第二神经网络输出高频完整训练图；

根据所述低频完整训练图和所述高频完整训练图合成预测图；

根据所述低频完整训练图与相应的样本低频目标图的差异确定第一损失，根据所述高频完整训练图与相应的样本高频目标图的差异确定第二损失，以及，根据所述预测图与相应的样本目标原图的差异确定第三损失；

根据第一损失、第二损失和第三损失调整所述图像修补模型。

6.如权利要求5所述的方法，其特征在于，

所述根据第一损失、第二损失和第三损失调整所述图像修补模型，包括：

根据所述第一损失和所述第三损失调整所述第一神经网络；

根据所述第二损失和所述第三损失调整所述第二神经网络。

7.如权利要求5所述的方法，其特征在于，

所述方法还包括：

使用所述训练样本集合训练生成式对抗网络模型，得到所述训练完成的图像修补模型，所述生成式对抗网络模型包括所述图像修补模型和判别模型；

所述使用所述训练样本集合训练生成式对抗网络模型，得到所述训练完成的图像修补模型，包括：

确定所述生成式对抗网络模型的对抗损失；

所述根据第一损失、第二损失和第三损失调整所述图像修补模型，包括：

交替执行调整所述图像修补模型和调整所述判别模型；

所述调整所述图像修补模型包括：

根据所述第一损失、所述第三损失和对抗损失调整所述第一神经网络；

根据所述第二损失、所述第三损失和对抗损失调整所述第二神经网络；

所述调整所述判别模型包括：

根据所述对抗损失调整所述判别模型。

8.一种图像修补装置，其特征在于，包括：

获取模块，用于获取待修补图像；其中，所述待修补图像包括被第一像素值填充的待修补区域；

确定模块，用于确定所述待修补图像的低频残缺图和高频残缺图；

处理模块，用于将所述待修补图像的低频残缺图和高频残缺图输入训练完成的图像修补模型，获得所述图像修补模型输出的低频完整图和高频完整图；

合成模块，用于根据所述低频完整图和所述高频完整图合成修补后图像。

9.如权利要求8所述的装置，其特征在于，包括：

构建模块，用于构建训练样本集合，其中，所述训练样本集合包括多个训练样本组，每个训练样本组包括一样本目标原图、一样本低频残缺图、一样本低频目标图、一样本高频残缺图和一样本高频目标图；其中，所述样本低频目标图是所述样本目标原图的缩小图，所述样本低频残缺图是样本目标残缺图的缩小图，所述样本高频目标图是所述样本低频目标图的放大图与所述样本目标原图的差，所述样本目标残缺图是所述样本目标原图中屏蔽区被第二像素值填充后的处理图，所述样本高频残缺图是所述样本低频残缺图的放大图与所述样本目标残缺图的差，其中，所述放大图的尺寸与样本目标原图的尺寸相同；

第一训练模块，用于使用所述训练样本集合训练所述图像修补模型，得到所述训练完成的图像修补模型。

10.如权利要求9所述的装置，其特征在于，包括：

所述训练样本集合中各训练样本组对应的屏蔽区设置信息相同，或者，所述训练样本集合中包括屏蔽区设置信息不相同的训练样本组；其中，所述屏蔽区设置信息包括：屏幕区的形状，以及屏幕区在相应图像中的位置。

11.如权利要求9所述的装置，其特征在于，

所述屏蔽区的形状为设定尺寸的规则形状，或者设定样式的不规则形状。

12.如权利要求9所述的装置，其特征在于，

所述图像修补模型包括第一神经网络和第二神经网络；

所述第一训练模块包括：

第一执行单元，用于将训练样本组中的样本低频残缺图输入第一神经网络输出低频完整训练图；将训练样本组中的样本高频残缺图输入第二神经网络输出高频完整训练图；

合成单元，用于根据所述低频完整训练图和所述高频完整训练图合成预测图；

第一确定单元，用于根据所述低频完整训练图与相应的样本低频目标图的差异确定第一损失，根据所述高频完整训练图与相应的样本高频目标图的差异确定第二损失，以及，根据所述预测图与相应的样本目标原图的差异确定第三损失；

第一调整单元，用于根据第一损失、第二损失和第三损失调整所述图像修补模型。

13.如权利要求12所述的装置，其特征在于，

所述第一调整单元，还用于使用以下方法根据第一损失、第二损失和第三损失调整所述图像修补模型：

根据所述第一损失和所述第三损失调整所述第一神经网络；

根据所述第二损失和所述第三损失调整所述第二神经网络。

14.如权利要求12所述的装置，其特征在于，

所述装置还包括：

第二训练模块，用于使用所述训练样本集合训练生成式对抗网络模型，得到所述训练完成的图像修补模型，所述生成式对抗网络模型包括所述图像修补模型和判别模型；

所述第二训练模块包括：

所述第二确定单元，还用于确定所述生成式对抗网络模型的对抗损失；

第二执行单元，用于交替控制第二调整单元和第三调整单元；

第二调整单元，用于调整所述图像修补模型；

所述调整所述图像修补模型包括：根据所述第一损失、所述第三损失和所述对抗损失调整所述第一神经网络；根据所述第二损失、所述第三损失和所述对抗损失调整所述第二神经网络；

第三调整单元，用于调整所述判别模型；

所述调整所述判别模型包括：根据所述对抗损失调整所述判别模型。

15.一种图像修补装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述存储器中的可执行指令以实现权利要求1至7中任一项所述图像修补方法的步骤。

16.一种非临时性计算机可读存储介质，其上存储有可执行指令，其特征在于，该可执行指令被处理器执行时实现权利要求1至7中任一项所述图像修补方法的步骤。

Images