CN111861863A - 图像处理方法、装置、设备及计算机存储介质 - Google Patents

Abstract

本发明公开了一种图像处理方法、装置、设备及计算机存储介质。该方法包括：获取第一人脸图像；识别出第一人脸图像的目标部位，并将目标部位抠除，得到第二人脸图像；将第二人脸图像输入生成式对抗网络GAN模型，得到第二人脸图像与GAN网络模型中预存的目标部位融合后的目的人脸图像。根据本发明实施例，能够使人脸图像更加自然。

Description

图像处理方法、装置、设备及计算机存储介质

技术领域

本发明属于图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及计算机存储介质。

背景技术

随着网络和计算机技术的不断发展，大众娱乐性质的社交软件不断增多，具有美颜、萌脸、直播等功能的社交软件受到广大用户的青睐。另外，人脸交换逐渐成为人们社交娱乐的新热点，目前视频换脸技术的应用非常广泛，顾名思义，也就是在图像或视频中把一张脸替换成另一张脸。

但是，通常将人脸图像进行处理(例如，换脸)之后会存在局部部位不自然的情况，例如，牙齿、鼻子、眼睛等不自然的情况。

发明内容

本发明实施例提供一种图像处理方法、装置、设备及计算机存储介质，能够使人脸图像更加自然。

第一方面，本发明实施例提供一种图像处理方法，方法包括：

获取第一人脸图像；

识别出第一人脸图像的目标部位，并将目标部位抠除，得到第二人脸图像；

将第二人脸图像输入生成式对抗网络(Generative Adversarial Networks，GAN)模型，得到第二人脸图像与GAN模型中预存的目标部位融合后的目的人脸图像。

根据本发明实施例提供的图像处理方法，对GAN网络进行训练以得到GAN模型，所述训练包括：

将第三人脸图像输的目标部位抠除得到第四人脸图像；

将第四人脸图像输入GAN网络，得到第四人脸图像与GAN网络中预存的目标部位融合后的第五人脸图像；

将第五人脸图像与第三人脸图像进行比较，得到第五人脸图像的目标部位与第三人脸图像的目标部位之间的误差；

根据误差调整GAN网络的参数；

利用不同的第三人脸图像重复上述步骤，对GAN网络进行训练，直至误差满足预设要求；

误差满足预设要求后，得到GAN模型。

根据本发明实施例提供的图像处理方法，GAN网络包括生成器G和判别器D，根据误差调整GAN网络的参数，包括：

根据误差调整生成器G的第一参数和判别器D的第二参数。

根据本发明实施例提供的图像处理方法，在将目标部位抠除之后，方法还包括：

用预设颜色填充第一人脸图像的目标部位所在的区域。

根据本发明实施例提供的图像处理方法，预设颜色包括黑色、白色、红色、蓝色中的任一种。

根据本发明实施例提供的图像处理方法，目标部位包括下列中的一项或多项：牙齿、眉毛、眼睛、嘴巴、鼻子。

根据本发明实施例提供的图像处理方法，第一人脸图像包括换脸后的人脸图像。

第二方面，本发明实施例提供了一种图像处理装置，装置包括：

图像获取模块，用于获取第一人脸图像；

第一图像处理模块，用于识别出第一人脸图像的目标部位，并将目标部位抠除，得到第二人脸图像；

第二图像处理模块，用于将第二人脸图像输入生成式对抗网络GAN模型，得到第二人脸图像与GAN网络模型中预存的目标部位融合后的目的人脸图像。

第三方面，本发明实施例提供了一种图像处理设备，设备包括：处理器以及存储有计算机程序指令的存储器；

处理器执行计算机程序指令时实现如第一方面的图像处理方法。

第四方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面所述的图像处理方法。

本发明实施例的图像处理方法、装置、设备及计算机存储介质，通过将待处理的人脸图像的目标部位抠除，并将抠除了目标部位的人脸图像输入GAN网络模型，与GAN网络模型中预先存储的目标部位融合，得到目的人脸图像。根据本发明实施例，能够使人脸图像更加自然。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的图像处理方法的流程示意图；

图2是本发明实施例提供的目标部位被抠除前后的人脸图像；

图3是本发明实施例提供的图像处理装置的结构示意图；

图4是本发明实施例提供的图像处理设备的结构示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了解决现有技术问题，本发明实施例提供了一种图像处理方法、装置、设备及计算机存储介质。下面首先对本发明实施例所提供的图像处理方法进行介绍。

图1示出了本发明一个实施例提供的图像处理方法的流程示意图。如图1所示，本发明实施例的图像处理方法包括以下步骤：

S110，获取第一人脸图像。

S120，识别出第一人脸图像的目标部位，并将目标部位抠除，得到第二人脸图像。

S130，将第二人脸图像输入生成式对抗网络GAN模型，得到第二人脸图像与GAN模型中预存的目标部位融合后的目的人脸图像。

根据本发明实施例提供的方法，通过将待处理的人脸图像的目标部位抠除，并将抠除了目标部位的人脸图像输入GAN网络模型，与GAN网络模型中预先存储的目标部位融合，得到目的人脸图像。本发明能够使人脸图像更加自然。

单纯的GAN网络，其输入为随机噪声Z，其输出一般也是随机的，即单纯的GAN网络输入输出均是不可控的。而本申请采用特定条件图并结合GAN网络形成了遮挡条件生成式对抗网络(Hidden Conditional Generative Adversarial Networks，HCGAN)，使输入输出均为可控的。

在S110中，如果是基于人脸交换的场景，获取的第一人脸图像为换脸后的人脸图像；如果是基于人脸整容的场景，获取的第一人脸图像为原始人脸图像；如果是基于其他娱乐性质的场景，获取的第一人脸图像为经过处理(例如，瘦脸、大眼等)的人脸图像。无论在哪种场景下获取的人脸图像，根据本发明都能够使人脸图像更加自然。

在人脸交换的场景下，本申请为第三代换脸图像处理方法。第一代换脸图像处理方法为简单的将人的头部换掉，得到的图像极不协调、自然。第二代换脸图像处理方法为特征点与特征点进行对齐的替换，局限性大，处理速度慢，且也达不到希望的自然程度。本申请不同于第一代换脸图像处理方法及第二代换脸图像处理方法，适用于多对多的应用，即适用于任意人脸换脸图像的处理，且得到的人脸图像高逼真自然，适用范围更广泛，且也大幅提高了处理速度。另外，多对多的应用也适用于人脸整容，或者其他娱乐性质的场景(例如，瘦脸、大眼等)。

另外，获取的第一人脸图像可以是从证件照或其他静态照片中识别出来的人脸图像，也可以是从视频中的目的帧图像中识别出来的人脸图像。

从证件照、其他静态照片或者视频中的目的帧图像中识别出来人脸图像，可以采用下列任意一种方法，包括基于几何特征的方法、局部特征分析方法、特征脸方法、神经网络方法等。

在S120中，在进行从第一人脸图像上抠除目标部位时，可以是先识别出第一人脸图像的关键点，根据关键点找到目标部位。目标部位可以是牙齿、眉毛、眼睛、嘴巴、鼻子等中的任意一个部位。目标部位为牙齿时，一般情况下，第一人脸图像的表情应该是张嘴的状态，此时牙齿被漏出来。可以是根据嘴唇的关键点，即上嘴唇的下边缘的特征点和下嘴唇的下边缘的特征点确定牙齿的位置，抠除的为上嘴唇的下边缘的特征点和下嘴唇的上边缘的特征点围成的区域，上下两个嘴唇依然保留，防止为了使牙齿自然而误把嘴唇抠除。

例如，在人脸交换的场景下，目标部位一般是牙齿，图2是本发明实施例提供的目标部位被抠除前后的人脸图像。因为每个人的颧骨不一样。例如，将人物A的脸换到人物B的牙齿漏出的人脸图像上，因为人物A和人物B的颧骨不一样，很容易造成换脸之后得到的人脸图像的牙齿不自然，因此，很需要对换脸之后的人脸图像进行进一步的修复，以得到高逼真自然的人脸图像。

优选的，将目标部位从第一人脸图像中抠除后，用预设颜色填充第一人脸图像中目标部位所在的区域，得到第二人脸图像。例如，预设颜色为黑色、白色、红色、蓝色等任一种。优选的，用黑色填充如此第一人脸图像中目标部位所在的区域。

利用预设颜色填充第一人脸图像中目标部位所在的区域，即使目标部位被抠除，也能够快速识别出来。

在本发明中，将第一人脸图像的目标部位抠除得到的第二人脸图像为GAN模型的特定条件，GAN模型即为训练后的GAN网络，本发明引入了特定条件，使GAN模型的输入输出均可控，且提高了处理速度，使得到的人脸图像更加高逼真自然。

在S130中，第二人脸图像与GAN模型中预存的目标部位融合，GAN模型中预存的目标部位的信息可以是生成目标部位的能力信息，用于生成与第二人脸图像能够自然地匹配的目标部位。能力信息可以是由大量的人脸图像训练而来。例如，GAN模型中预存大量牙齿的抽象和共性信息，并根据这些抽象和共性信息生成牙齿以匹配第二人脸图像。牙齿的抽象和共性信息可以是牙齿的形状、颜色、左右牙齿之间的间隙、上下牙齿之间的间隙、牙齿的起始位置、牙齿的尺寸等。或者，GAN模型中预先存有目标部位的信息是目标部位的图像，包括不同光照条件下的多种牙型的图像。

在本发明中，GAN模型中预存有目标部位的信息，以使图像融合时，GAN模型中有生成的目标部位或者预存的目标部位的图像，以匹配第二人脸图像，如此提高了融合后的人脸图像的自然程度。

在将第二人脸图像输入GAN模型之前，需要对GAN进行训练以得到GAN模型。对GAN网络进行训练可以包括：将第三人脸图像输的目标部位抠除得到第四人脸图像，将第四人脸图像输入GAN网络，得到第四人脸图像与GAN网络中预存的目标部位融合后的第五人脸图像；将第五人脸图像与第三人脸图像进行比较，得到第五人脸图像的目标部位与第三人脸图像的目标部位之间的误差；根据误差调整GAN网络的参数；利用不同的第三人脸图像重复上述步骤，对GAN网络进行训练，直至误差满足预设要求；误差满足预设要求后，得到GAN模型。

训练时，GAN网络中预存的目标部位的信息可以是生成目标部位的能力信息，即生成器G的能力信息，该能力信息随着不断的迭代训练而不断增强，直至该能力达到最优，以使任意一张目标部位被抠除的人脸图像输入训练好的GAN模型后，生成器G都可以生产与该人脸图像高逼真自然匹配的目标部位。

GAN网络包括生成器(Generator，G)和判别器(Discriminator，D)，GAN网络可以看成是两个网络模型对抗。生成式网络模型G是一个用来生成图片的网络，该模型的输入为一个随机的噪声z，通过这个噪声来生成相应的图片，该图片记做G(z)。判别网络模型D是一个判断网络，它用来判断网络是不是真是的样本。在训练过程中，生成网络G的目的就是尽量生成真实的图片去欺骗判别网络D，判别网络D的目的就是区分出生成网络G和真实样本的图片。

上述的训练过程是无监督的，输入的是随机数据，会造成输入输出均不可控。本发明利用HCGAN，在GAN网络的训练过程中加入了遮挡监督信息，即目标部位被扣除的人脸图像，将可控性增强，提升了表现效果。

在本发明中，特定条件可以理解成目标部位被扣除的人脸图像，在生成器G和判别器D的训练中均引入该特定条件。

例如，使用人物C的人脸图像对GAN网络进行训练，将人物C人脸图像的目标部位扣除，并用黑色填充扣除区域，形成了人物C的特定条件人脸图像。将人物C的特定条件人脸图像作为输入，GAN网络中有人物C的原始人脸图像，以及大量的目标部位的信息。生成器G根据人物C的特定条件人脸图像及预存的目标部位的信息，生成人物C的融合人脸图像。判别器D将C的融合人脸图像与人物C的原始人脸图像进行比较，得出人物C的融合人脸图像与人物C的原始人脸图像的目标部位之间的误差，根据该误差进一步指导生成器G。

这里，人物C的融合人脸图像中的目标部位不一定是人物C的，可能是其他人的目标部位。本发明的目的不在于将人物C的真实目标部位融合到人物C的特定条件人脸图像上，而是使人物C的融合人脸图像达到高逼真自然的程度即可。

进一步地，利用大量的同一人的不同表情姿态的人脸图像，或者大量的不同人的人脸图像不断的对GAN网络进行训练，直至融合人脸图像与原始人脸图像的目标部位之间的误差满足一定的要求，例如误差无限接近于0，此时，生成器G的第一参数和判别器D的第二参数均达到了最优值，即GAN网络的整体参数达到了最优值，至此，可将具备最优参数的GAN网络作为GAN网络模型。

根据本发明实施例，利用特定条件与GAN网络结合的技术手段，弥补了人脸图像处理后部分部位不自然的缺陷，且本发明无需进行特征点与特征点的对齐，处理速度快且适用更广泛。

图3是本发明实施例提供的图像处理装置的结构示意图。如图3所示，发明实施例提供的图像处理装置包括以下模块：

图像获取模块31，用于获取第一人脸图像；

第一图像处理模块32，用于识别出第一人脸图像的目标部位，并将目标部位抠除，得到第二人脸图像；

第二图像处理模块33，用于将第二人脸图像输入生成式对抗网络GAN模型，得到第二人脸图像与GAN模型中预存的目标部位融合后的目的人脸图像。

在一个实施方式中，第二图像处理模块33具体用于：

将第三人脸图像的目标部位抠除得到第四人脸图像，将第四人脸图像输入GAN网络，得到第四人脸图像与GAN网络中预存的目标部位融合后的第五人脸图像；

将第五人脸图像与第三人脸图像进行比较，得到第五人脸图像的目标部位与第三人脸图像的目标部位之间的误差；

根据误差调整GAN网络的参数；

利用不同的第三人脸图像重复上述步骤，对GAN网络进行训练，直至误差满足预设要求；

误差满足预设要求后，得到GAN模型。

在一个实施方式中，第二图像处理模块33具体用于：

GAN网络包括生成器G和判别器D，根据误差调整GAN网络的参数，包括：

根据误差调整生成器G的第一参数和判别器D的第二参数。

在一个实施方式中，第一图像处理模块32具体用于：

用预设颜色填充第一人脸图像的目标部位所在的区域。

在一个实施方式中，第二图像处理模块33具体用于：

预设颜色包括黑色、白色、红色、蓝色中的任一种。

在一个实施方式中，第二图像处理模块33具体用于：

目标部位包括下列中的一项或多项：牙齿、眉毛、眼睛、嘴巴、鼻子。

在一个实施方式中，图像获取模块31具体用于：

第一人脸图像包括换脸后的人脸图像。

根据本发明实施例提供的装置，通过将待处理的人脸图像的目标部位抠除，并将抠除了目标部位的人脸图像输入GAN模型，与GAN模型中预先存储的目标部位融合，得到目的人脸图像。本发明能够使人脸图像更加自然。

图4示出了本发明实施例提供的图像处理设备的硬件结构示意图。

在本发明实施例中，图像处理设备可以包括智能手机、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(Mobile Internet Devices，MID)或穿戴式设备等。上述设备仅是举例，而非穷举，包含但不限于上述设备。

图像处理设备可以包括处理器301以及存储有计算机程序指令的存储器302。

具体地，上述处理器301可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器302可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器302可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器302可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器302可在综合网关容灾设备的内部或外部。在特定实施例中，存储器302是非易失性固态存储器。在特定实施例中，存储器302包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器301通过读取并执行存储器302中存储的计算机程序指令，以实现上述实施例中的任意一种图像处理方法。

在一个示例中，图像处理设备还可包括通信接口303和总线310。其中，如图3所示，处理器301、存储器302、通信接口303通过总线310连接并完成相互间的通信。

通信接口303，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线310包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线310可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

该图像处理设备可以执行本发明实施例中的图像处理方法，从而实现结合图1和图3描述的图像处理方法和装置。

另外，结合上述实施例中的图像处理方法，本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种图像处理方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取第一人脸图像；

识别出所述第一人脸图像的目标部位，并将所述目标部位抠除，得到第二人脸图像；

将所述第二人脸图像输入生成式对抗网络GAN模型，得到所述第二人脸图像与所述GAN模型中预存的目标部位融合后的目的人脸图像。

2.根据权利要求1所述的图像处理方法，其特征在于，对GAN网络进行训练以得到所述GAN模型，所述训练包括：

将第三人脸图像的目标部位抠除得到第四人脸图像；

将所述第四人脸图像输入GAN网络，得到所述第四人脸图像与所述GAN网络中预存的目标部位融合后的第五人脸图像；

将所述第五人脸图像与所述第三人脸图像进行比较，得到所述第五人脸图像的目标部位与所述第三人脸图像的目标部位之间的误差；

根据所述误差调整所述GAN网络的参数；

利用不同的第三人脸图像重复上述步骤，对所述GAN网络进行训练，直至所述误差满足预设要求；

所述误差满足预设要求后，得到所述GAN模型。

3.根据权利要求2所述的图像处理方法，其特征在于，所述GAN网络包括生成器G和判别器D，所述根据所述误差调整所述GAN网络的参数，包括：

根据所述误差调整所述生成器G的第一参数和所述判别器D的第二参数。

4.根据权利要求1所述的图像处理方法，其特征在于，在将所述目标部位抠除之后，所述方法还包括：

用预设颜色填充所述第一人脸图像的目标部位所在的区域。

5.根据权利要求4所述的图像处理方法，其特征在于，所述预设颜色包括黑色、白色、红色、蓝色中的任一种。

6.根据权利要求1-5任一项所述的图像处理方法，其特征在于，所述目标部位包括下列中的一项或多项：牙齿、眉毛、眼睛、嘴巴、鼻子。

7.根据权利要求1-5任一项所述的图像处理方法，其特征在于，所述第一人脸图像包括换脸后的人脸图像。

8.一种图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取第一人脸图像；

第一图像处理模块，用于识别出所述第一人脸图像的目标部位，并将所述目标部位抠除，得到第二人脸图像；

第二图像处理模块，用于将所述第二人脸图像输入生成式对抗网络GAN模型，得到所述第二人脸图像与所述GAN网络模型中预存的目标部位融合后的目的人脸图像。

9.一种图像处理设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的图像处理方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的图像处理方法。

Images