CN111861948A - 图像处理方法、装置、设备及计算机存储介质 - Google Patents

Abstract

本发明公开了一种图像处理方法、装置、设备及计算机存储介质。该方法包括：提取第二人脸图像光照信息，形成第一光照条件图，并将待处理的第一人脸图像与第一光照条件图输入GAN模型，得到融合后的目的人脸图像。根据本发明实施例，能够使人脸图像更加自然。

Description

图像处理方法、装置、设备及计算机存储介质

技术领域

本发明属于图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及计算机存储介质。

背景技术

随着网络和计算机技术的不断发展，大众娱乐性质的社交软件不断增多，具有美颜、萌脸、直播等功能的社交软件受到广大用户的青睐。另外，人脸交换逐渐成为人们社交娱乐的新热点，目前视频换脸技术的应用非常广泛，顾名思义，也就是在图像或视频中把一张脸替换成另一张脸。

但是，通常将人脸图像进行处理(例如，换脸)之后会存在人脸光照不自然的情况。

发明内容

本发明实施例提供一种图像处理方法、装置、设备及计算机存储介质，能够人脸图像更加自然。

第一方面，本发明实施例提供一种图像处理方法，方法包括：

获取第一人脸图像和第二人脸图像；

提取第二人脸图像的光照信息，形成第一光照条件图；

将第一人脸图像和第一光照条件图输入生成式对抗网络(GenerativeAdversarial Networks，GAN)模型，得到第一人脸图像和第一光照条件图融合后的目的人脸图像。

根据本发明实施例提供的图像处理方法，提取第二人脸图像的光照信息，形成光照条件图，包括：

将第二人脸图像的五官抠除，并用预设颜色填充五官所在区域，得到第三人脸图像；

利用第三人脸图像脸颊处的光照填充第三人脸图像中五官所在的区域，得到第四人脸图像；

对第四人脸图像进行模糊处理，形成第一光照条件图。

根据本发明实施例提供的图像处理方法，提取第二人脸图像的光照信息，形成光照条件图，包括：

对第二人脸图像进行模糊处理，形成第一光照条件图。

根据本发明实施例提供的图像处理方法，对生成式对抗网络GAN进行训练以得到GAN模型，所述训练包括：

将第五人脸图像及第六人脸图像的第二光照条件图输入GAN网络，得到第五人脸图像与第二光照条件图融合后的第七人脸图像；

将第七人脸图像与第六人脸图像进行比较，得到第七人脸图像与第六人脸图像之间的光照误差；

根据光照误差调整GAN网络的参数；

利用不同的人脸图像重复上述步骤，直至光照误差满足预设要求；

光照误差满足预设要求后，得到GAN网络模型。

根据本发明实施例提供的图像处理方法，第五人脸图像和第六人脸图像为在不同光照条件下的人脸图像。

根据本发明实施例提供的图像处理方法，模糊处理，包括：

高斯模糊处理，或者，基于拉普拉斯算子的模糊处理。

根据本发明实施例提供的图像处理方法，第一人脸图像包括换脸后的人脸图像。

第二方面，本发明实施例提供了一种图像处理装置，装置包括：

图像获取模块，用于获取第一人脸图像和第二人脸图像；

第一图像处理模块，用于提取第二人脸图像的光照信息，形成第一光照条件图；

第二图像处理模块，用于将第一人脸图像和第一光照条件图输入生成式对抗网络GAN模型，得到第一人脸图像和第一光照条件图融合后的目的人脸图像。

第三方面，本发明实施例提供了一种图像处理设备，设备包括：处理器以及存储有计算机程序指令的存储器；

处理器执行计算机程序指令时实现如第一方面的图像处理方法。

第四方面，本发明实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面的图像处理方法。

本发明实施例的图像处理方法、装置、设备及计算机存储介质，通过提取第二人脸图像光照信息，形成第一光照条件图，并将待处理的第一人脸图像与第一光照条件图输入GAN模型，得到融合后的目的人脸图像。根据本发明实施例，能够使人脸图像更加自然。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的图像处理方法的流程示意图；

图2是本发明实施例提供的光照条件图；

图3是本发明实施例提供的图像处理装置的结构示意图；

图4是本发明实施例提供的图像处理设备的结构示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了解决现有技术问题，本发明实施例提供了一种图像处理方法、装置、设备及计算机存储介质。下面首先对本发明实施例所提供的图像处理方法进行介绍。

图1示出了本发明一个实施例提供的图像处理方法的流程示意图。如图1所示，本发明实施例的图像处理方法包括以下步骤：

S110，获取第一人脸图像和第二人脸图像。

S120，提取第二人脸图像的光照信息，形成第一光照条件图。

S130，将第一人脸图像和第一光照条件图输入预先训练完成的生成式对抗网络GAN模型，得到第一人脸图像和第一光照条件图融合后的目的人脸图像。

根据本发明实施例提供的方法，通过提取第二人脸图像光照信息，形成第一光照条件图，并将待处理的第一人脸图像与第一光照条件图输入GAN模型，得到融合后的目的人脸图像。根据本发明实施例，能够使人脸图像更加自然。

单纯的GAN网络，其输入为随机噪声Z，其输出一般也是随机的，即单纯的GAN网络输入输出均是不可控的。而本申请采用特定条件图并结合GAN网络形成了光照条件生成式对抗网络(Light Conditional Generative Adversarial Networks，LCGAN)，使输入输出均为可控的。

在S110中，第一人脸图像为光照待修复的人脸图像，第二人脸图像为光照自然的人脸图像。如果是基于人脸交换的场景，获取的第一人脸图像为换脸后的人脸图像，获取的第二人脸图像为视频中的目标帧对应的人脸图像。这里。换脸后的人脸图像可以是姿态和表情交换后的人脸图像。例如，第一人脸图像为用人物A的人脸图像替换视频中的目标帧对应的人物B的人脸图像后得到的人脸图像，第二人脸图像为目标帧对应的人物B的人脸图像，第一人脸图像和第二人脸图像除了人脸区域其他区域均相同，即第一人脸图像为A的人脸与B的表情和姿态的融合。如果是基于人脸光照修复的场景，获取的第一人脸图像为原始人脸图像，获取的第二人脸图像可以是与第一人脸图像为同一人的在不同光照条件下的人脸图像，或者获取的第二人脸图像是与第一人脸图像为不同人的在不同光照条件下的人脸图像。无论在哪种场景下获取的人脸图像，根据本发明都能够使人脸图像的光照更自然。

尤其是在人脸交换的场景下，本申请为第三代换脸图像处理方法。第一代换脸图像处理方法为简单的将人的头部换掉，得到的图像极不协调、自然。第二代换脸图像处理方法为特征点与特征点进行对齐的替换，局限性大，处理速度慢，且也达不到希望的自然程度。本申请不同于第一代换脸图像处理方法及第二代换脸图像处理方法，适用于多对多的应用，即适用于任意人脸换脸图像的处理，且得到的人脸图像高逼真自然，适用范围更广泛，且也大幅提高了处理速度。

另外，获取的第一人脸图像和/或第二人脸图像可以是从证件照或其他静态照片中识别出来的人脸图像，也可以是从视频中的目的帧图像中识别出来的人脸图像。

从证件照、其他静态照片或者视频中的目的帧图像中识别出来人脸图像，可以采用下列任意一种方法，包括基于几何特征的方法、局部特征分析方法、特征脸方法、神经网络方法等。

在S120中，提取第二人脸图像的光照信息，形成第一光照条件图。提取第二人脸图像的光照信息，形成如图2所示的第一光照条件图，包括两种方式。

方式一：

将第二人脸图像的五官扣除，并用预设颜色填充五官所在区域，得到第三人脸图像。例如，用白色填充五官所在区域。进一步地，利用第三人脸图像脸颊处的光照填充第三人脸图像中五官所在的区域，得到第四人脸图像；接着对所述第四人脸图像进行模糊处理，形成第一光照条件图。

这里，五官可以不包含耳朵，只包含眉毛、眼睛、鼻子和嘴巴。采用人脸图像脸颊处的光照填充白色覆盖的五官区域，因为脸颊距离五官中的任一个的距离均相似，更接近五官的光照条件，这样使得最后得到的目的人脸图像的光照也更加自然。

方式二：

直接对第二人脸图像进行模糊处理，形成第一光照条件图。

上述两个方式中对人脸图像进行模糊处理，可以采用高斯模糊处理的方法，或者采用基于拉普拉斯算子的模糊处理的方法。

本申请中对人脸图像进行模糊处理，能够去掉人脸自有的属性信息，只保留人脸图像上的光照信息，进而得到的是光照条件图。

在本发明中，将提取第二人脸图像的光照信息得到的第一光照条件图为GAN模型的特定条件，GAN模型即为训练后的GAN网络，本发明引入了特定条件，使GAN模型的输入输出均可控，且提高了处理速度，使得到的人脸图像更加高逼真自然。

在S130中，第一人脸图像和第一光照条件图输入的是GAN模型，即预先训练完成的GAN网络，在将第一人脸图像和第一光照条件图输入GAN网络之前，需要对GAN网络进行训练。

对GAN网络进行训练可以包括：将第五人脸图像及第六人脸图像的第二光照条件图输入GAN网络，得到第五人脸图像与第二光照条件图融合后的第七人脸图像；将第七人脸图像与第六人脸图像进行比较，得到第七人脸图像与第六人脸图像之间的光照误差；根据光照误差调整GAN网络的参数；利用不同的人脸图像重复上述步骤，直至光照误差满足预设要求；光照误差满足预设要求后，得到GAN模型。

GAN网络包括生成器(Generator，G)和判别器(Discriminator，D)，GAN网络可以看成是两个网络模型对抗。生成式网络模型G是一个用来生成图片的网络，该模型的输入为一个随机的噪声z，通过这个噪声来生成相应的图片，该图片记做G(z)。判别网络模型D是一个判断网络，它用来判断网络是不是真是的样本。在训练过程中，生成器G的目的就是尽量生成真实的图片去欺骗判别器D，判别器D的目的就是区分出生成器G和真实样本的图片。

上述的训练过程是无监督的，输入的是随机数据，会造成输入输出均不可控。本发明利用LCGAN，在GAN网络的训练过程中加入了光照监督信息，将可控性增强，提升了表现效果。

在本发明中，特定条件可以理解成从人脸图像处剥离出来的光照条件图。在生成器G和判别器D的训练中均引入该特定条件。

对GAN网络的训练可以包括以下两种方式：

方式一：

第五人脸图像为人物C的光照不自然的待修复人脸图像，第六人脸图像为人物C的光照自然的人脸图像，即第五人脸图像和第六人脸图像为同一人在不同光照条件下的人脸图像，并从第六人脸图像上提取光照信息得到第六人脸图像的第二光照条件图，第二光照条件图也可以为如图2所示，可以理解为，第二光照条件图为本发明的特定条件。生成器G利用人物C的第二光照条件图与人物C的光照不自然的待修复人脸图像，生成人物C的融合人脸图像。判别器D将C的融合人脸图像与人物C的光照自然的人脸图像进行比较，得出人物C的融合人脸图像与人物C的光照自然的人脸图像之间的光照误差，根据该光照误差进一步指导生成器G。

进一步地，利用大量的同一人的在不同光照条件下的人脸图像，直至融合后的人脸图像与原始人脸图像的之间的光照误差满足一定的要求，例如光照误差无限接近于0，此时，生成器G的第一参数和判别器D的第二参数均达到了最优值，即GAN网络的整体参数达到了最优值，至此，可将具备最优参数的GAN网络作为训练完成的GAN网络，训练完成的GAN网络即为GAN模型。

方式二：

第五人脸图像为人物C的光照不自然的待修复人脸图像，第六人脸图像为人物E的光照自然的人脸图像，即第五人脸图像和第六人脸图像为不同人在不同光照条件下的人脸图像，并从第六人脸图像上提取光照信息得到第六人脸图像的第二光照条件图，第二光照条件图也可以为如图2所示，可以理解为，第二光照条件图为本发明的特定条件。生成器G利用人物E的第二光照条件图与人物C的光照不自然的待修复人脸图像，生成人物C的融合人脸图像。判别器D将C的融合人脸图像与人物E的光照自然的人脸图像进行比较，得出人物C的融合人脸图像与人物E的光照自然的人脸图像之间的光照误差，根据该光照误差进一步指导生成器G。

进一步地，利用大量的不同人的在不同光照条件下的人脸图像不断的对GAN网络进行训练，直至融合人脸图像与原始人脸图像的之间的光照误差满足一定的要求，例如光照误差无限接近于0，此时，生成器G的第一参数和判别器D的第二参数均达到了最优值，即GAN网络的整体参数达到了最优值，至此，可将具备最优参数的GAN网络作为训练完成的GAN网络，训练完成的GAN网络即为GAN模型。

根据本发明实施例，利用特定条件与GAN网络结合的技术手段，弥补了人脸图像处理后光照不自然的缺陷，且本发明无需进行特征点与特征点的对齐，处理速度快且适用更广泛。

图3是本发明实施例提供的图像处理装置的结构示意图。如图3所示，发明实施例提供的图像处理装置包括以下模块：

图像获取模块31，用于获取第一人脸图像和第二人脸图像；

第一图像处理模块32，用于提取第二人脸图像的光照信息，形成第一光照条件图；

第二图像处理模块33，用于将第一人脸图像和第一光照条件图输入生成式对抗网络GAN模型，得到第一人脸图像和第一光照条件图融合后的目的人脸图像。

在一个实施方式中，第一图像处理模块32具体用于：

将第二人脸图像的五官抠除，并用预设颜色填充五官所在区域，得到第三人脸图像；

利用第三人脸图像脸颊处的光照填充第三人脸图像中五官所在的区域，得到第四人脸图像；

对第四人脸图像进行模糊处理，形成第一光照条件图。

在一个实施方式中，第一图像处理模块32具体用于：

对第二人脸图像进行模糊处理，形成第一光照条件图。

在一个实施方式中，第二图像处理模块33具体用于：

将第五人脸图像及第六人脸图像的第二光照条件图输入GAN网络，得到第五人脸图像与第二光照条件图融合后的第七人脸图像；

将第七人脸图像与第六人脸图像进行比较，得到第七人脸图像与第六人脸图像之间的光照误差；

根据光照误差调整GAN网络的参数；

利用不同的人脸图像重复上述步骤，直至光照误差满足预设要求；

光照误差满足预设要求后，得到GAN网络模型。

在一个实施方式中，第二图像处理模块33具体用于：

第五人脸图像和第六人脸图像为在不同光照条件下的人脸图像。

在一个实施方式中，第一图像处理模块32具体用于：

模糊处理，包括：

高斯模糊处理，或者，基于拉普拉斯算子的模糊处理。

在一个实施方式中，图像获取模块31具体用于：

第一人脸图像包括换脸后的人脸图像。

根据本发明实施例，利用特定条件与GAN网络结合的技术手段，弥补了人脸图像处理后光照不自然的缺陷，且本发明无需进行特征点与特征点的对齐，处理速度快且适用更广泛。

图4示出了本发明实施例提供的图像处理设备的硬件结构示意图。

在本发明实施例中，图像处理设备可以包括智能手机、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(Mobile Internet Devices，MID)或穿戴式设备等。上述设备仅是举例，而非穷举，包含但不限于上述设备。

在图像处理设备可以包括处理器301以及存储有计算机程序指令的存储器302。

具体地，上述处理器301可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器302可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器302可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器302可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器302可在综合网关容灾设备的内部或外部。在特定实施例中，存储器302是非易失性固态存储器。在特定实施例中，存储器302包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器301通过读取并执行存储器302中存储的计算机程序指令，以实现上述实施例中的任意一种图像处理方法。

在一个示例中，图像处理设备还可包括通信接口303和总线310。其中，如图4所示，处理器301、存储器302、通信接口303通过总线310连接并完成相互间的通信。

通信接口303，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线310包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线310可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

该图像处理设备可以执行本发明实施例中的图像处理方法，从而实现结合图1和图3描述的图像处理方法和装置。

另外，结合上述实施例中的图像处理方法，本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种图像处理方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取第一人脸图像和第二人脸图像；

提取所述第二人脸图像的光照信息，形成第一光照条件图；

将所述第一人脸图像和第一光照条件图输入生成式对抗网络GAN模型，得到所述第一人脸图像和第一光照条件图融合后的目的人脸图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述提取所述第二人脸图像的光照信息，形成光照条件图，包括：

将所述第二人脸图像的五官抠除，并用预设颜色填充五官所在区域，得到第三人脸图像；

利用所述第三人脸图像脸颊处的光照填充所述第三人脸图像中五官所在的区域，得到第四人脸图像；

对所述第四人脸图像进行模糊处理，形成第一光照条件图。

3.根据权利要求1所述的图像处理方法，其特征在于，所述提取所述第二人脸图像的光照信息，形成光照条件图，包括：

对所述第二人脸图像进行模糊处理，形成第一光照条件图。

4.根据权利要求1所述的图像处理方法，其特征在于，对生成式对抗网络GAN进行训练以得到所述GAN模型，所述训练包括：

将第五人脸图像及第六人脸图像的第二光照条件图输入GAN网络，得到所述第五人脸图像与所述第二光照条件图融合后的第七人脸图像；

将所述第七人脸图像与所述第六人脸图像进行比较，得到所述第七人脸图像与所述第六人脸图像之间的光照误差；

根据所述光照误差调整所述GAN网络的参数；

利用不同的人脸图像重复上述步骤，直至所述光照误差满足预设要求；

所述光照误差满足预设要求后，得到GAN模型。

5.根据权利要求4所述的图像处理方法，其特征在于，所述第五人脸图像和第六人脸图像为在不同光照条件下的人脸图像。

6.根据权利要求2或3所述的图像处理方法，其特征在于，所述模糊处理，包括：

高斯模糊处理，或者，基于拉普拉斯算子的模糊处理。

7.根据权利要求1-5任一项所述的图像处理方法，其特征在于，所述第一人脸图像包括换脸后的人脸图像。

8.一种图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取第一人脸图像和第二人脸图像；

第一图像处理模块，用于提取所述第二人脸图像的光照信息，形成第一光照条件图；

第二图像处理模块，用于将所述第一人脸图像和第一光照条件图输入生成式对抗网络GAN模型，得到所述第一人脸图像和第一光照条件图融合后的目的人脸图像。

9.一种图像处理设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的图像处理方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的图像处理方法。

Images