CN115953324A - 图像修复模型的训练方法及相关设备 - Google Patents

Abstract

本公开实施例提供一种图像修复模型的训练方法及相关设备。该方法包括：获取第一对象的第一面部图像和第二对象的第二面部图像，第一面部图像中不具有目标元素，第二面部图像中具有目标元素；对第一面部图像和第二面部图像进行图像融合处理，获得具有目标元素的第一对象的第一融合图像；将第一融合图像输入至初始图像修复模型，获得去除目标元素的预测图像；根据预测图像和第一面部图像，训练初始图像修复模型，将训练好的初始图像修复模型确定为图像修复模型。该方法可以提高第一融合图像中第一对象的面部与目标元素融合的效果，生成更真实的融合图像；可以在保证其他部分不变的情况下，自动去除输入图像中的目标元素，提高图像修复模型的真实性。

Description

图像修复模型的训练方法及相关设备

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种图像修复模型的训练方法、图像修复方法、图像修复模型的训练装置、图像修复装置、电子设备以及计算机可读存储介质。

背景技术

随着计算机视觉技术的快速发展，图像修复任务已经成为计算机视觉领域的研究重点之一。在特效中经常会有需要将人物面部局部进行消除、编辑的场景，如去除人物的头发、胡子等；在编辑后需要进行合理的补全，例如补充光头的头皮、无须的下巴等。

相关技术中，通常是直接去除图像中目标元素所在的区域，然后使用贴图遮挡目标元素所在区域，或者使用区域附近的背景图像填补目标元素所在区域，这种方法得到的图像整体效果偏假、真实性较差。

发明内容

本公开实施例提供一种图像修复模型的训练方法、图像修复方法、图像修复模型的训练装置、图像修复装置、电子设备以及计算机可读存储介质，该方法一方面，可以提高第一融合图像中第一对象的面部与目标元素融合的效果，使得生成的第一融合图像更真实；另一方面，可以在保证其他部分不变的情况下，自动去除输入图像中的目标元素，从而提高图像修复模型的准确性和真实性。

本公开实施例提供一种图像修复模型的训练方法，该方法包括：获取第一对象的第一面部图像和第二对象的第二面部图像，其中所述第一面部图像中不具有目标元素，所述第二面部图像中具有所述目标元素；对所述第一面部图像和所述第二面部图像进行图像融合处理，获得具有所述目标元素的所述第一对象的第一融合图像；将所述第一融合图像输入至初始图像修复模型，获得去除所述目标元素的预测图像；根据所述预测图像和所述第一面部图像，训练所述初始图像修复模型，以将训练完成的初始图像修复模型确定为所述图像修复模型。

在本公开的一些示例性实施例中，对所述第一面部图像和所述第二面部图像进行图像融合处理，获得具有所述目标元素的所述第一对象的第一融合图像，包括：根据所述第一面部图像和所述第二面部图像，确定从所述第二面部图像形变至所述第一面部图像的形变参数；对所述第二面部图像进行分割处理，获得所述目标元素所在区域的目标图像；基于所述形变参数对所述目标图像进行形变处理，获得目标形变图像；对所述第一面部图像和所述目标形变图像进行融合处理，获得具有所述目标元素的所述第一对象的第一融合图像。

在本公开的一些示例性实施例中，根据所述第一面部图像和所述第二面部图像，确定从所述第二面部图像形变至所述第一面部图像的形变参数，包括：对所述第一面部图像和所述第二面部图像进行关键点匹配，获得所述第一面部图像中的多个第一关键点和所述第二面部图像中的多个第二关键点，其中所述多个第一关键点和所述多个第二关键点一一对应；根据所述多个第一关键点的坐标和所述多个第二关键点的坐标，确定从所述第二面部图像形变至所述第一面部图像的形变参数。

在本公开的一些示例性实施例中，将所述第一融合图像输入至初始图像修复模型，获得去除所述目标元素的预测图像，包括：将所述第一融合图像输入至所述初始图像修复模型中，所述初始图像修复模型对所述第一融合图像中的所述目标元素所在区域进行补全处理，输出去除所述目标元素的预测图像；根据所述预测图像和所述第一面部图像，训练所述初始图像修复模型，以将训练完成的初始图像修复模型确定为所述图像修复模型，包括：根据所述预测图像和所述第一面部图像的差别，调整所述初始图像修复模型的模型参数，直到所述初始图像修复模型生成的预测图像与所述第一面部图像之间的差别满足预设条件，完成对所述初始图像修复模型的训练，将训练好的初始图像修复模型作为所述图像修复模型。

在本公开的一些示例性实施例中，上述方法还包括：获取第三对象的第三面部图像，其中所述第三面部图像具有所述目标元素，所述第三面部图像中的目标元素的表现形式和所述第二面部图像中的目标元素的表现形式不同；对所述第一面部图像和所述第三面部图像进行图像融合处理，获得具有所述目标元素的所述第一对象的第二融合图像，并将所述第一面部图像和所述第二融合图像作为配对数据，对所述图像修复模型进行训练。

本公开实施例提供一种图像修复方法，包括：获取具有目标元素的待处理面部图像；对所述待处理面部图像进行分割处理，获得所述目标元素所在的目标区域；使用预设颜色填充所述待处理面部图像中的所述目标区域；将填充后的待处理面部图像输入至上述任一种方法训练获得的图像修复模型中，获得去除所述目标元素的面部图像。

本公开实施例提供一种图像修复模型的训练装置，包括：获取模块，被配置为执行获取第一对象的第一面部图像和第二对象的第二面部图像，其中所述第一面部图像中不具有目标元素，所述第二面部图像中具有所述目标元素；获得模块，被配置为执行对所述第一面部图像和所述第二面部图像进行图像融合处理，获得具有所述目标元素的所述第一对象的第一融合图像；训练模块，被配置为执行将所述第一融合图像输入至初始图像修复模型，获得去除所述目标元素的预测图像；所述训练模块还被配置为执行根据所述预测图像和所述第一面部图像，训练所述初始图像修复模型，以将训练完成的初始图像修复模型确定为所述图像修复模型。

在本公开的一些示例性实施例中，获得模块被配置为执行：根据所述第一面部图像和所述第二面部图像，确定从所述第二面部图像形变至所述第一面部图像的形变参数；对所述第二面部图像进行分割处理，获得所述目标元素所在区域的目标图像；基于所述形变参数对所述目标图像进行形变处理，获得目标形变图像；对所述第一面部图像和所述目标形变图像进行融合处理，获得具有所述目标元素的所述第一对象的第一融合图像。

在本公开的一些示例性实施例中，获得模块被配置为执行：对所述第一面部图像和所述第二面部图像进行关键点匹配，获得所述第一面部图像中的多个第一关键点和所述第二面部图像中的多个第二关键点，其中所述多个第一关键点和所述多个第二关键点一一对应；根据所述多个第一关键点的坐标和所述多个第二关键点的坐标，确定从所述第二面部图像形变至所述第一面部图像的形变参数。

在本公开的一些示例性实施例中，训练模块被配置为执行：将所述第一融合图像输入至所述初始图像修复模型中，所述初始图像修复模型对所述第一融合图像中的所述目标元素所在区域进行补全处理，输出去除所述目标元素的预测图像；根据所述预测图像和所述第一面部图像的差别，调整所述初始图像修复模型的模型参数，直到所述初始图像修复模型生成的预测图像与所述第一面部图像之间的差别满足预设条件，完成对所述初始图像修复模型的训练，将训练好的初始图像修复模型作为所述图像修复模型。

在本公开的一些示例性实施例中，获取模块还被配置为执行：获取第三对象的第三面部图像，其中所述第三面部图像具有所述目标元素，所述第三面部图像中的目标元素的表现形式和所述第二面部图像中的目标元素的表现形式不同；获得模块还被配置为执行：对所述第一面部图像和所述第三面部图像进行图像融合处理，获得具有所述目标元素的所述第一对象的第二融合图像，并将所述第一面部图像和所述第二融合图像作为配对数据，对所述图像修复模型进行训练。

本公开实施例提供一种图像修复装置，包括：获取模块，被配置为执行获取具有目标元素的待处理面部图像；获得模块，被配置为执行对所述待处理面部图像进行分割处理，获得所述目标元素所在的目标区域；填充模块，被配置为执行使用预设颜色填充所述待处理面部图像中的所述目标区域；所述获得模块还被配置为执行将填充后的待处理面部图像输入至上述任一种方法训练获得的图像修复模型中，获得去除所述目标元素的面部图像。

本公开实施例提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行可执行指令，以实现如上述任一项的图像修复模型的训练方法或者如上述图像修复方法。

本公开实施例提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述任一项的图像修复模型的训练方法或者如上述图像修复方法。

本公开实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一项的图像修复模型的训练方法或者如上述图像修复方法。

本公开实施例提供的图像修复模型的训练方法，一方面，根据第一对象的不具有目标元素的第一面部图像和第二对象的具有目标元素的第二面部图像，获得第一对象的具有目标元素的第一融合图像，可以提高第一融合图像中第一对象的面部与目标元素融合的效果，使得生成的第一融合图像更真实；另一方面，将第一对象的具有目标元素的第一融合图像输入至初始图像修复模型，获得去除目标元素的预测图像；将第一对象的不具有目标元素的第一面部图像作为训练标签，根据预测图像和第一面部图像训练初始图像修复模型，使得训练好的图像修复模型可以在保证其他部分不变的情况下，自动去除输入图像中的目标元素，从而提高图像修复模型的准确性和真实性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本公开实施例的图像修复模型的训练方法或者图像修复方法的示例性系统架构的示意图。

图2是根据一示例性实施例示出的一种图像修复模型的训练方法的流程图。

图3是根据一示例性实施例示出的另一种图像修复模型的训练方法的流程图。

图4是根据一示例示出的确定图像修复模型的训练数据的示意图。

图5是根据一示例性实施例示出的再一种图像修复模型的训练方法的流程图。

图6是根据一示例性实施例示出的一种图像修复方法的流程图。

图7是根据一示例示出的图像修复模型是输入图像和输出图像的示意图。

图8是根据一示例性实施例示出的一种图像修复模型的训练装置的框图。

图9是根据一示例性实施例示出的一种图像修复装置的框图。

图10是根据一示例性实施例示出了适于用来实现本公开示例性实施例的电子设备的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在至少一个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和步骤，也不是必须按所描述的顺序执行。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本说明书中，用语“一个”、“一”、“该”、“所述”和“至少一个”用以表示存在至少一个要素/组成部分/等；用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”、“第二”和“第三”等仅作为标记使用，不是对其对象的数量限制。

图1示出了可以应用本公开实施例的图像修复模型的训练方法或者图像修复方法的示例性系统架构的示意图。

如图1所示，该系统架构可以包括服务器101、网络102、终端设备103、终端设备104和终端设备105。网络102用以在终端设备103、终端设备104或终端设备105和服务器101之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

服务器101可以是提供各种服务的服务器，例如对用户利用终端设备103、终端设备104或终端设备105所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备103、终端设备104或终端设备105。

终端设备103、终端设备104和终端设备105可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、可穿戴智能设备、虚拟现实设备、增强现实设备等，但并不局限于此。

本公开实施例中，服务器101可以：获取第一对象的第一面部图像和第二对象的第二面部图像，其中第一面部图像中不具有目标元素，第二面部图像中具有目标元素；对第一面部图像和第二面部图像进行图像融合处理，获得具有目标元素的第一对象的第一融合图像；将第一融合图像输入至初始图像修复模型，获得去除目标元素的预测图像；根据预测图像和第一面部图像，训练初始图像修复模型，以将训练完成的初始图像修复模型确定为图像修复模型。

本公开实施例中，服务器101可以从终端设备获取具有目标元素的待处理面部图像；对待处理面部图像进行分割处理，获得目标元素所在的目标区域；使用预设颜色填充待处理面部图像中的目标区域；将填充后的待处理面部图像输入图像修复模型中，获得去除目标元素的面部图像；服务器101可以将获得的面部图像返回至终端设备。

应该理解，图1中的终端设备103、终端设备104、终端设备105、网络102和服务器101的数目仅仅是示意性的，服务器101可以是一个实体的服务器，还可以为多个服务器组成的服务器集群，还可以是云端服务器，根据实际需要，可以具有任意数目的终端设备、网络和服务器。

下面，将结合附图及实施例对本公开示例实施例中的图像修复模型的训练方法的各个步骤进行更详细的说明。本公开实施例提供的方法可以由任意的电子设备来执行，例如上述图1中的服务器和/或终端设备，但本公开对此不作限定。

图2是根据一示例性实施例示出的一种图像修复模型的训练方法的流程图。如图2所示，本公开实施例提供的图像修复模型的训练方法可以包括以下步骤。

在步骤S210中，获取第一对象的第一面部图像和第二对象的第二面部图像，其中第一面部图像中不具有目标元素，第二面部图像中具有目标元素。

本公开实施例中，第一对象和第二对象均可以为人物、动物、玩具等，第一面部图像指的是包括第一对象的面部的图像，第二面部图像指的是包括第二对象的面部的图像，例如第一对象的第一面部图像为甲的人脸图像，第二对象的第二面部图像为乙的人脸图像。

本公开实施例中，目标元素指的是面部具有的、或面部佩戴的一种元素，目标元素例如可以是头发元素、眉毛元素、眼镜元素、胡子元素和饰品元素(例如围巾元素、耳钉元素、帽子元素)中的一种或多种，在下面的举例说明中，以目标元素是头发元素为例进行说明，但本公开并不限定于此。

本公开实施例中，参考图4，第一面部图像中不具有目标元素，例如第一面部图像为甲的光头图像401；第二面部图像中具有目标元素，例如第二面部图像为乙的有头发图像402。

在步骤S220中，对第一面部图像和第二面部图像进行图像融合处理，获得具有目标元素的第一对象的第一融合图像。

本公开实施例中，可以根据具有目标元素的第二面部图像对不具有目标元素的第一面部图像进行处理，以获得具有目标元素的第一对象的第一融合图像；其中第一融合图像指的是第一对象的面部与目标元素融合之后的图像。

例如，可以根据乙的有头发图像402对甲的光头图像401进行处理，获得甲的有头发图像407。

具体地，可以根据第一面部图像和第二面部图像，确定从第二面部图像形变至第一面部图像的形变参数；对第二面部图像进行分割处理，获得第二面部图像中的目标元素所在区域的目标图像；基于形变参数对目标图像进行形变处理，获得目标形变图像；对第一面部图像和目标形变图像进行融合处理，获得具有目标元素的第一对象的第一融合图像。

例如，根据甲的光头图像401和乙的有头发图像402，确定从乙的有头发图像402形变至甲的光头图像401的形变参数；对乙的有头发图像402进行分割处理，获得头发所在的区域图像405；基于形变参数对头发所在区域的图像405进行形变处理，获得变形的头发区域图像406；对甲的光头图像401和变形的头发区域图像406进行融合处理，获得甲的有头发图像407。

在步骤S230中，将第一融合图像输入至初始图像修复模型，获得去除目标元素的预测图像。

本公开实施例中，将第一对象的不具有目标元素的第一面部图像、和第一对象的具有目标元素的第一融合图像作为一组配对数据，将不具有目标元素的第一面部图像作为训练标签，对图像修复模型进行训练，使得在图像修复模型输入具有目标元素的第一融合图像时，输出的预测图像与第一面部图像基本一致，即训练好的图像修复模型可以自动去除输入图像中的目标元素。

例如，将甲的光头图像401和甲的有头发图像407作为一组配对数据，将甲的光头图像401作为训练标签，对图像修复模型进行训练，使得在图像修复模型输入甲的有头发图像407时，输出的预测图像与甲的光头图像401基本一致，即训练好的图像修复模型可以自动去除输入图像中的头发元素。

本公开实施例中，初始图像修复模型可以是任一种可用于图像修复的深度学习模型，例如可以是Inpainting(修复)模型，也可以是其他类型的深度学习模型，本公开对此不作限定。使用inpainting技术进行局部图像的修复，可以使输入图像的目标区域外的部分保持不变。

在示例性实施例中，可以将第一融合图像输入至初始图像修复模型中，初始图像修复模型对第一融合图像中的目标元素所在区域进行补全处理，输出去除目标元素的预测图像

具体地，将第一对象的具有目标元素的第一融合图像输入至初始图像修复模型中，初始图像修复模型对第一融合图像进行处理，将其中目标元素所在区域进行补全，输出补全后的预测图像。

例如，将甲的有头发图像407输入至图像修复模型408中，图像修复模型408对甲的有头发图像407中的头发区域进行补全，输出补全后的预测图像。

在步骤S240中，根据预测图像和第一面部图像，训练初始图像修复模型，以将训练完成的初始图像修复模型确定为图像修复模型。

本公开实施例中，可以比较预测图像和第一对象的不具有目标元素的第一面部图像的差别，通过梯度下降算法迭代优化模型参数，直到初始图像修复模型能够正确生成第一面部图像，完成对初始图像修复模型的训练，将训练好的初始图像修复模型作为图像修复模型。

例如，将上述补全后的预测图像与甲的光头图像401进行比较，通过梯度下降算法迭代优化模型参数，直到初始图像修复模型能够正确生成甲的光头图像401。

在示例性实施例中，根据预测图像和第一面部图像的差别，调整初始图像修复模型的模型参数，直到初始图像修复模型生成的预测图像与第一面部图像之间的差别满足预设条件，完成对初始图像修复模型的训练，将训练好的初始图像修复模型作为图像修复模型。

具体地，根据预测图像和第一面部图像的差别构建损失函数，在预测图像和第一面部图像的差别不满于预设条件(例如差别较大)时，调整初始图像修复模型的模型参数；使用调整后的初始图像修复模型对第一融合图像重新进行补全处理，得到调整后的预测图像，再次比较预测图像和第一面部图像的差别和预设条件，直至生成的预测图像与第一面部图像之间的差别满足预设条件，完成对初始图像修复模型的训练。

本公开实施例中，根据预测图像和第一面部图像的差别，调整初始图像修复模型的模型参数，直到初始图像修复模型生成的预测图像与第一面部图像之间的差别满足预设条件，由此提高了训练得到的图像修复模型的准确性和真实性。

本公开实施例中，将第一融合图像输入至初始图像修复模型，初始图像修复模型可以预测第一融合图像中第一对象的语义分割，以根据第一对象的语义分割获得去除目标元素的预测图像。其中，预测第一融合图像中第一对象的语义分割可以包括预测第一融合图像中的相似点是否属于第一对象的目标部位(例如肩膀等)，从而识别出第一融合图像中的第一对象的目标部位，使得生成的预测图像中的第一对象的目标部位更加自然真实。

本公开实施例提供的图像修复模型的训练方法，一方面，根据第一对象的不具有目标元素的第一面部图像和第二对象的具有目标元素的第二面部图像，获得第一对象的具有目标元素的第一融合图像，可以提高第一融合图像中第一对象的面部与目标元素融合的效果，使得生成的第一融合图像更真实；另一方面，将第一对象的具有目标元素的第一融合图像输入至初始图像修复模型，获得去除目标元素的预测图像；将第一对象的不具有目标元素的第一面部图像作为训练标签，根据预测图像和第一面部图像训练初始图像修复模型，使得训练好的图像修复模型可以在保证其他部分不变的情况下，，自动去除输入图像中的目标元素，从而提高图像修复模型的准确性和真实性。

图3是根据一示例性实施例示出的另一种图像修复模型的训练方法的流程图。图3示出了对第一面部图像和第二面部图像进行图像融合处理，获得具有目标元素的第一对象的第一融合图像的具体步骤。

在图3实施例中，上述图2实施例中的步骤S220可以进一步包括以下步骤。

在步骤S221中，根据第一面部图像和第二面部图像，确定从第二面部图像形变至第一面部图像的形变参数。

本公开实施例中，形变参数指的是从第二面部图像形变至第一面部图像的形变参数；根据第一面部图像和第二面部图像中的关键点的坐标，可以通过最小二乘法确定出形变参数。

在示例性实施例中，根据第一面部图像和第二面部图像，确定从第二面部图像形变至第一面部图像的形变参数，包括：对第一面部图像和第二面部图像进行关键点匹配，获得第一面部图像中的多个第一关键点和第二面部图像中的多个第二关键点，其中多个第一关键点和多个第二关键点一一对应；根据多个第一关键点的坐标和多个第二关键点的坐标，确定从第二面部图像形变至第一面部图像的形变参数。

具体地，对第一面部图像和第二面部图像进行关键点匹配，获得第一面部图像中的多个第一关键点和第二面部图像中的与多个第一关键点一一匹配的多个第二关键点，其中第一关键点和第二关键点例如可以是左眼关键点、右眼关键点、鼻子关键点、嘴巴关键点、眉毛关键点等；然后确定各个第一关键点和各个第二关键点的横纵坐标，根据各个第一关键点和各个第二关键点的横纵坐标，确定从第二面部图像形变至第一面部图像的形变参数，其中，形变参数可以是仿射变换公式中表示平移、缩放、旋转变化的六个参数；具体地，可以将各个第一关键点和各个第二关键点的横纵坐标代入仿射变换公式，通过最小二乘法计算得到形变参数。

例如，参考图4，在获取到甲的光头图像401和乙的有头发图像402之后，对甲的光头图像401和乙的有头发图像402进行关键点匹配，得到包括多个甲的关键点的光头图像403和包括多个乙的关键点的有头发图像404；根据光头图像403和有头发图像404中各个关键点的坐标，确定形变参数。

本公开实施例中，对第一面部图像和第二面部图像进行关键点匹配，根据多个第一关键点的坐标和多个第二关键点的坐标，确定从第二面部图像形变至第一面部图像的形变参数；由于形变参数是由第二面部图像形变至第一面部图像的形变参数，可以使得基于形变参数对第二对象对应的目标图像进行形变处理后，获得的目标形变图像与第一面部图像中的第一对象更加贴合。

在步骤S222中，对第二面部图像进行分割处理，获得目标元素所在区域的目标图像。

其中，目标元素所在区域的目标图像指的是包括目标元素所在区域的轮廓的图像。

例如，继续参考图4，对乙的有头发图像402进行分割处理，获得头发所在区域的图像405。

在步骤S223中，基于形变参数对目标图像进行形变处理，获得目标形变图像。

本公开实施例中，可以获取目标图像中多个像素点的坐标，将多个像素点的坐标和形变参数代入仿射变换公式进行计算，得到每个像素点形变后的坐标；根据每个像素点形变后的坐标得到目标形变图像。

本公开实施例中，由于形变参数是由第二面部图像形变至第一面部图像的形变参数，在基于形变参数对第二对象对应的目标图像进行形变处理后，获得的目标形变图像与第一面部图像中的第一对象更加贴合。

例如，继续参考图4，基于形变参数对头发所在区域的图像405进行形变处理，获得变形的头发区域图像406，该变形的头发区域图像406中的头发与甲的头型更加贴合。

在步骤S224中，对第一面部图像和目标形变图像进行融合处理，获得具有目标元素的第一对象的第一融合图像。

本公开实施例中，对第一面部图像和目标形变图像进行融合(也可称为组合)处理，将目标形变图像叠加至第一面部图像上，获得具有目标元素的第一对象的第一融合图像。

例如，继续参考图4，将变形的头发区域图像406和甲的光头图像401进行组合，得到甲的有头发图像407。

本公开实施例中，根据第一面部图像和第二面部图像，确定形变参数；对第二面部图像进行分割处理，获得目标元素所在区域的目标图像；基于形变参数对目标图像进行形变处理，获得目标形变图像；对第一面部图像和目标形变图像进行融合处理，获得具有目标元素的第一对象的第一融合图像；由于形变参数是根据第二面部图像和第一面部图像确定的，在基于形变参数对第二对象对应的目标图像进行形变处理后，获得的目标形变图像与第一面部图像中的第一对象更加贴合，使得对第一面部图像和目标形变图像进行融合获得的第一融合图像中的目标元素和第一对象更加贴合，从而提高后续图像修复模型训练的准确性，使得图像修复模型输出的图像更加真实。

图5是根据一示例性实施例示出的再一种图像修复模型的训练方法的流程图。

参考图5，上述图2实施例的基础上，本公开实施例提供的图像修复模型的训练方法还可以包括以下步骤。

本公开实施例中，一个第一对象的第一面部图像可以分别和多个具有目标元素的其他对象的面部图像进行配对，由此可以生成大量配对数据用于图像修复模型的训练。

其中，其他对象的面部图像可以包括上述实施例中的第二对象的第二面部图像、以及下述第三对象的第三面部图像，还可以包括多个其他对象的面部图像；在下面的举例说明中，以其他对象包括第二对象和第三对象为例，在实际应用中，可以有大量的其他对象、以及其他对象的面部图像，本公开对此不做限定。

在步骤S510中，获取第三对象的第三面部图像，其中第三面部图像具有目标元素，第三面部图像中的目标元素的表现形式和第二面部图像中的目标元素的表现形式不同。

本公开实施例中，在目标元素是头发元素时，第三面部图像中的目标元素的表现形式和第二面部图像中的目标元素的表现形式不同，指的是第三面部图像中的头发的发型和第二面部图像中的头发的发型不同。

例如，第三对象的第三面部图像为丙的面部图像，其中第二对象乙具有长卷发，第三对象丙具有短直发。

在步骤S520中，对第一面部图像和第三面部图像进行图像融合处理，获得具有目标元素的第一对象的第二融合图像，并将第一面部图像和第二融合图像作为配对数据，对图像修复模型进行训练。

本公开实施例中，“根据第一面部图像和第三面部图像，获得具有目标元素的第一对象的第二融合图像”的过程和上述步骤S220中的“根据第一面部图像和第二面部图像，获得具有目标元素的第一对象的第一融合图像”的过程类似，“将第一面部图像和第二融合图像作为配对数据，对图像修复模型进行训练”的过程和上述步骤S230中的“将第一面部图像和第一融合图像作为配对数据，对图像修复模型进行训练”的过程类似，具体可以参见上述实施例的文字描述。

具体地，可以根据第一面部图像和第三面部图像确定从第三面部图像变形至第一面部图像的形变参数(可称为第二形变参数)；对第三面部图像进行分割处理，获得第三面部图像的目标元素所在区域的目标图像(可称为第二目标图像)；基于第二形变参数对第二目标图像进行形变处理，获得第二目标形变图像；对第一面部图像和第二目标形变图像进行融合处理，获得具有目标元素的第一对象的第二融合图像；将第一面部图像和第二融合图像作为配对数据(可称为第二配对数据)，对图像修复模型进行训练。

例如，可以使用少量的光头图像和大量的有头发图像进行配对组合，生成大量合理的训练数据，避免了光头图像较少带来的训练数据较少的问题。

本公开实施例中，不具有目标元素的第一对象的第一面部图像可以分别和多个具有目标元素的其他对象的面部图像(包括第二对象的第二面部图像和第三对象的第三面部图像)进行配对，可以生成大量的配对数据(包括根据第一面部图像和第二面部图像生成的第一配对数据、和根据第一面部图像和第三面部图像生成的第二配对数据)，用于图像修复模型的训练，避免了由于不具有目标元素的图像数据较少而导致的训练数据较少的问题，提高了图像修复模型训练的准确性。

图6是根据一示例性实施例示出的一种图像修复方法的流程图。图6示出了在使用上述实施例提供的方法训练获得图像分割模型后，该图像分割模型的应用过程。

如图6所示，本公开实施例提供的图像修复方法可以包括以下步骤。

在步骤S610中，获取具有目标元素的待处理面部图像。

参考图7，例如，获取具有头发元素的待处理面部图像701；又例如，获取具有胡子元素的待处理面部图像703；再例如，获取具有头巾元素的待处理面部图像705。

在步骤S620中，对待处理面部图像进行分割处理，获得目标元素所在的目标区域。

例如，对具有头发元素的待处理面部图像701进行分割处理，获得头发所在区域；又例如，对具有胡子元素的待处理面部图像703进行分割处理，获得胡子所在区域；再例如，获取具有头巾元素的待处理面部图像705进行分割处理，获得头巾所在区域。

在步骤S630中，使用预设颜色填充待处理面部图像中的目标区域。

其中，预设颜色可以根据实际需要设置，例如预设颜色是灰色。

例如，利用灰色填充待处理面部图像701中的头发所在区域；又例如，利用灰色填充待处理面部图像703中的胡子所在区域；再例如，利用灰色填充待处理面部图像705中的头巾所在区域。

在步骤S640中，将填充后的待处理面部图像输入至根据上述任一实施例提供的方法训练获得的图像修复模型中，获得去除目标元素的面部图像。

本公开实施例中，将填充后的待处理面部图像输入至图像修复模型中，图像修复模型可以自动修复待处理面部图像中的目标区域，生成不具有目标元素的面部图像。

例如，将填充后的待处理面部图像701输入至图像修复模型中，获得去除头发元素的面部图像702；将填充后的待处理面部图像703输入至图像修复模型中，获得去除胡子元素的面部图像704；将填充后的待处理面部图像705输入至图像修复模型中，获得去除头巾元素的面部图像706。

本公开实施例提供的图像修复方法，在获取具有目标元素的待处理面部图像之后，可以自动对待处理面部图像进行分割处理，获得目标元素所在的目标区域，使用预设颜色填充待处理面部图像中的目标区域后，图像修复模型可以自动对待处理面部图像修复的目标区域进行修复，生成不具有目标元素的面部图像；该方法一方面可以在保证其他部分不变的情况下，自动去除输入图像中的目标元素，另一方面自动对待处理面部图像中的目标区域进行修复，生成更真实的面部图像。

还应理解，上述只是为了帮助本领域技术人员更好地理解本公开实施例，而非要限制本公开实施例的范围。本领域技术人员根据所给出的上述示例，显然可以进行各种等价的修改或变化，例如，上述方法中某些步骤可以是不必须的，或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本公开实施例的范围内。

还应理解，上文对本公开实施例的描述着重于强调各个实施例之间的不同之处，未提到的相同或相似之处可以互相参考，为了简洁，这里不再赘述。

还应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。

还应理解，在本公开的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

上文详细介绍了本公开提供的图像修复模型的训练方法示例。可以理解的是，计算机设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本公开能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图8是根据一示例性实施例示出的一种图像修复模型的训练装置的框图。参照图8，该装置800可以包括获取模块810、获得模块820和训练模块830。

其中，获取模块810被配置为执行获取第一对象的第一面部图像和第二对象的第二面部图像，其中所述第一面部图像中不具有目标元素，所述第二面部图像中具有所述目标元素；获得模块820被配置为执行对所述第一面部图像和所述第二面部图像进行图像融合处理，获得具有所述目标元素的所述第一对象的第一融合图像；训练模块830被配置为执行将所述第一融合图像输入至初始图像修复模型，获得去除所述目标元素的预测图像；所述训练模块还被配置为执行根据所述预测图像和所述第一面部图像，训练所述初始图像修复模型，以将训练完成的初始图像修复模型确定为所述图像修复模型。

在本公开的一些示例性实施例中，获得模块820被配置为执行：根据所述第一面部图像和所述第二面部图像，确定从所述第二面部图像形变至所述第一面部图像的形变参数；对所述第二面部图像进行分割处理，获得所述目标元素所在区域的目标图像；基于所述形变参数对所述目标图像进行形变处理，获得目标形变图像；对所述第一面部图像和所述目标形变图像进行融合处理，获得具有所述目标元素的所述第一对象的第一融合图像。

在本公开的一些示例性实施例中，获得模块820被配置为执行：对所述第一面部图像和所述第二面部图像进行关键点匹配，获得所述第一面部图像中的多个第一关键点和所述第二面部图像中的多个第二关键点，其中所述多个第一关键点和所述多个第二关键点一一对应；根据所述多个第一关键点的坐标和所述多个第二关键点的坐标，确定从所述第二面部图像形变至所述第一面部图像的形变参数。

在本公开的一些示例性实施例中，训练模块830被配置为执行：将所述第一融合图像输入至所述初始图像修复模型中，所述初始图像修复模型对所述第一融合图像中的所述目标元素所在区域进行补全处理，输出去除所述目标元素的预测图像；根据所述预测图像和所述第一面部图像的差别，调整所述初始图像修复模型的模型参数，直到所述初始图像修复模型生成的预测图像与所述第一面部图像之间的差别满足预设条件，完成对所述初始图像修复模型的训练，将训练好的初始图像修复模型作为所述图像修复模型。

在本公开的一些示例性实施例中，获取模块810被配置为执行获取第三对象的第三面部图像，其中所述第三面部图像具有所述目标元素，所述第三面部图像中的目标元素的表现形式和所述第二面部图像中的目标元素的表现形式不同；获得模块820被配置为执行：对所述第一面部图像和所述第三面部图像进行图像融合处理，获得具有所述目标元素的所述第一对象的第二融合图像，并将所述第一面部图像和所述第二融合图像作为配对数据，对所述图像修复模型进行训练。

图9是根据一示例性实施例示出的一种图像修复装置的框图。参照图9，该装置900可以包括获取模块910、获得模块920和填充模块930。

其中，获取模块910被配置为执行获取具有目标元素的待处理面部图像；获得模块920被配置为执行对所述待处理面部图像进行分割处理，获得所述目标元素所在的目标区域；填充模块930被配置为执行使用预设颜色填充所述待处理面部图像中的所述目标区域；所述获得模块920还被配置为执行将填充后的待处理面部图像输入至上述任一种方法训练获得的图像修复模型中，获得去除所述目标元素的面部图像。

需要注意的是，上述附图中所示的框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器终端设备和/或微控制器终端设备中实现这些功能实体。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

下面参照图10来描述根据本公开的这种实施例的电子设备1000。图10显示的电子设备1000仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于：上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030、显示单元1040。

其中，存储单元存储有程序代码，程序代码可以被处理单元1010执行，使得处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。例如，处理单元1010可以执行如图2中所示的各个步骤。

又如，电子设备可以实现如图2所示的各个步骤。

存储单元1020可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)1021和/或高速缓存存储单元1022，还可以进一步包括只读存储单元(ROM)1023。

存储单元1020还可以包括具有一组(至少一个)程序模块1025的程序/实用工具1024，这样的程序模块1025包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1030可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1000也可以与一个或多个外部设备1070(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1000交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器，上述指令可由装置的处理器执行以完成上述方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现上述实施例中的图像修复模型的训练方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像修复模型的训练方法，其特征在于，包括：

获取第一对象的第一面部图像和第二对象的第二面部图像，其中所述第一面部图像中不具有目标元素，所述第二面部图像中具有所述目标元素；

对所述第一面部图像和所述第二面部图像进行图像融合处理，获得具有所述目标元素的所述第一对象的第一融合图像；

将所述第一融合图像输入至初始图像修复模型，获得去除所述目标元素的预测图像；

根据所述预测图像和所述第一面部图像，训练所述初始图像修复模型，以将训练完成的初始图像修复模型确定为所述图像修复模型。

2.根据权利要求1所述的图像修复模型的训练方法，其特征在于，对所述第一面部图像和所述第二面部图像进行图像融合处理，获得具有所述目标元素的所述第一对象的第一融合图像，包括：

根据所述第一面部图像和所述第二面部图像，确定从所述第二面部图像形变至所述第一面部图像的形变参数；

对所述第二面部图像进行分割处理，获得所述目标元素所在区域的目标图像；

基于所述形变参数对所述目标图像进行形变处理，获得目标形变图像；

对所述第一面部图像和所述目标形变图像进行融合处理，获得具有所述目标元素的所述第一对象的第一融合图像。

3.根据权利要求2所述的图像修复模型的训练方法，其特征在于，根据所述第一面部图像和所述第二面部图像，确定从所述第二面部图像形变至所述第一面部图像的形变参数，包括：

对所述第一面部图像和所述第二面部图像进行关键点匹配，获得所述第一面部图像中的多个第一关键点和所述第二面部图像中的多个第二关键点，其中所述多个第一关键点和所述多个第二关键点一一对应；

根据所述多个第一关键点的坐标和所述多个第二关键点的坐标，确定从所述第二面部图像形变至所述第一面部图像的形变参数。

4.根据权利要求1所述的图像修复模型的训练方法，其特征在于，将所述第一融合图像输入至初始图像修复模型，获得去除所述目标元素的预测图像，包括：

将所述第一融合图像输入至所述初始图像修复模型中，所述初始图像修复模型对所述第一融合图像中的所述目标元素所在区域进行补全处理，输出去除所述目标元素的预测图像；

根据所述预测图像和所述第一面部图像，训练所述初始图像修复模型，以将训练完成的初始图像修复模型确定为所述图像修复模型，包括：

根据所述预测图像和所述第一面部图像的差别，调整所述初始图像修复模型的模型参数，直到所述初始图像修复模型生成的预测图像与所述第一面部图像之间的差别满足预设条件，完成对所述初始图像修复模型的训练，将训练好的初始图像修复模型作为所述图像修复模型。

5.根据权利要求1所述的图像修复模型的训练方法，其特征在于，所述方法还包括：

获取第三对象的第三面部图像，其中所述第三面部图像具有所述目标元素，所述第三面部图像中的目标元素的表现形式和所述第二面部图像中的目标元素的表现形式不同；

对所述第一面部图像和所述第三面部图像进行图像融合处理，获得具有所述目标元素的所述第一对象的第二融合图像，并将所述第一面部图像和所述第二融合图像作为配对数据，对所述图像修复模型进行训练。

6.一种图像修复方法，其特征在于，包括：

获取具有目标元素的待处理面部图像；

对所述待处理面部图像进行分割处理，获得所述目标元素所在的目标区域；

使用预设颜色填充所述待处理面部图像中的所述目标区域；

将填充后的待处理面部图像输入至根据权利要求1-5中任一项所述方法训练获得的图像修复模型中，获得去除所述目标元素的面部图像。

7.一种图像修复模型的训练装置，其特征在于，包括：

获取模块，被配置为执行获取第一对象的第一面部图像和第二对象的第二面部图像，其中所述第一面部图像中不具有目标元素，所述第二面部图像中具有所述目标元素；

获得模块，被配置为执行对所述第一面部图像和所述第二面部图像进行图像融合处理，获得具有所述目标元素的所述第一对象的第一融合图像；

训练模块，被配置为执行将所述第一融合图像输入至初始图像修复模型，获得去除所述目标元素的预测图像；

所述训练模块还被配置为执行根据所述预测图像和所述第一面部图像，训练所述初始图像修复模型，以将训练完成的初始图像修复模型确定为所述图像修复模型。

8.一种图像修复装置，其特征在于，包括：

获取模块，被配置为执行获取具有目标元素的待处理面部图像；

获得模块，被配置为执行对所述待处理面部图像进行分割处理，获得所述目标元素所在的目标区域；

填充模块，被配置为执行使用预设颜色填充所述待处理面部图像中的所述目标区域；

所述获得模块还被配置为执行将填充后的待处理面部图像输入至根据权利要求1-5中任一项所述方法训练获得的图像修复模型中，获得去除所述目标元素的面部图像。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令，以实现如权利要求1至5中任一项所述的图像修复模型的训练方法或如权利要求6所述的图像修复方法。

10.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至5中任一项所述的图像修复模型的训练方法或如权利要求6所述的图像修复方法。

Images