CN107564080B - 一种人脸图像的替换系统 - Google Patents

Abstract

本发明提供了一种人脸图像的替换系统，包括通信连接的用于获取第一人脸区域和第二人脸区域的特征点及其位置信息的特征点信息获取模块、用于对第一人脸区域和第二人脸区域进行前景分割处理的前景分割处理模块、用于对替换图像进行全局形变处理的全局形变处理模块、用于对第一人脸区域及其邻接区域进行局部形变处理的局部形变处理模块和用于将第一人脸区域替换为形变后的第二人脸区域的替换后基准图像的获取模块。本发明的替换过程能够在保证被替换图像的人脸特征不发生变化的前提下，最小程度地改变用于替换的基准人脸图像，提高了替换后的人脸图像的自然化程度，且使得肉眼看上去无合成的痕迹。

Description

一种人脸图像的替换系统

技术领域

本发明涉及图像处理技术领域，具体涉及一种人脸图像的替换系统。

背景技术

随着当今社会中的智能化设备的发展，图像处理已经成为人们生活及中不可或缺的一部分，无论是工作中的专业图像处理还是生活中的娱乐型图像处理，其中最重要的图像处理方式之一就是对图像中的人脸区域进行替换，以得到工作或娱乐所需的替换人脸后的图像，使得替换图像的处理方式能够用于对虚拟体验的加速选择、并节省人脸图像合成的成本以及增强图像趣味合成的娱乐性。

目前，对图像中的人脸区域进行替换的方式主要有两种，第一种方式为通过提取第一人脸区域图像的特征点集合和对应“抠图区域图像”；计算出第二人脸区域图像中的特征点集合和对应的“贴图区域图像”；根据所述第一人脸区域图像的特征点集合的参数调整第二人脸区域图像的“贴图区域图像”，得到“替换贴图区域图像”；将“替换贴图区域图像”替换掉所述“抠图区域图像”；第二种方式为识别区域的关键部位，包括第一人脸区域的关键部位和第二人脸区域的关键部位；对第一人脸区域的关键部位和第二人脸区域的关键部位进行定位；计算第二人脸区域的关键部位到第一人脸区域的关键部位的运动向量场；根据所述运动向量场将第二人脸区域变形到第一人脸区域的位置得到变形后的区域；对所述变形后的区域进行自然化处理。

然而，上述这两种方式在最后使用的区域图像上都发生了几何结构上的改变；使得第一人脸区域和第二人脸区域的图像形状稍微有些差异将无法辨认出最终合成的图像所使用的内容是由哪个区域提供的，而在某些应用中保持信息不发生变化是一项基本要求；由于存在这样的技术缺陷，致使该类方法仅能用于娱乐性质的应用。

发明内容

针对现有技术中的问题，本发明提供一种人脸图像的替换系统，人脸替换过程快速且可靠性高，能够在保证被替换图像的人脸特征不发生变化的前提下，最小程度地改变用于替换的基准图像，提高了人脸区域替换的准确性。

为解决上述技术问题，本发明提供以下技术方案：

第一方面，本发明提供一种人脸图像的替换系统，所述替换系统包括：通信连接的特征点信息获取模块、前景分割处理模块、全局形变处理模块、局部形变处理模块和替换后基准图像的获取模块；

所述特征点信息获取模块，用于分别获取基准图像中的第一人脸区域和替换图像中的第二人脸区域的特征点及特征点的位置信息；

所述前景分割处理模块，用于在所述基准图像和替换图像中分别对所述第一人脸区域和第二人脸区域进行前景分割处理；

所述全局形变处理模块，用于根据所述第一人脸区域和第二人脸区域的特征点的位置信息，对所述替换图像进行全局形变处理，使得形变后的替换图像中的第二人脸区域的尺寸和位置与所述第一人脸区域的尺寸和位置的差值处于预设范围内；

所述局部形变处理模块，用于根据第一人脸区域和形变后的第二人脸区域的特征点的位置信息，对所述基准图像中的第一人脸区域及其邻接区域进行局部形变处理，使得所述第一人脸区域与所述第二人脸区域的几何结构相同；其中，所述邻接区域为以所述第一人脸区域为中心的扩展区域中的、且与所述第一人脸区域相邻的区域；

所述替换后基准图像的获取模块，用于将第一人脸区域替换为形变后的第二人脸区域，得到包括所述第二人脸区域的基准图像。

进一步地，所述系统还包括：

替换图像接收模块，用于接收所述替换图像；

基准图像存储模块，用于存储多个所述基准图像；

基准图像选定模块，用于根据接收的基准图像指令，在所述基准图像存储模块中选定目标基准图像，其中，所述基准图像指令中包括所述目标基准图像。

进一步地，所述基准图像选定模块设置在第一终端中；

相对应的，所述替换图像接收模块、基准图像存储模块、特征点信息获取模块、前景分割处理模块、全局形变处理模块、局部形变处理模块及替换后基准图像的获取模块均设置在至少一个服务器中，其中，所述服务器与所述第一终端通信连接。

进一步地，所述替换图像接收模块、基准图像存储模块、基准图像选定模块、特征点信息获取模块、前景分割处理模块、全局形变处理模块、局部形变处理模块及替换后基准图像的获取模块均设置在第二终端中。

进一步地，所述替换图像接收模块、基准图像存储模块、基准图像选定模块、特征点信息获取模块、前景分割处理模块、全局形变处理模块、局部形变处理模块及替换后基准图像的获取模块中的至少一个模块设置在第二终端中；

相对应的，除设置在所述第二终端中的模块，所述替换系统中的其余模块均设置在至少一个服务器中，其中，所述服务器与所述第二终端通信连接。

进一步地，所述特征点信息获取模块，用于分别对所述基准图像和替换图像进行目标区域属性检测，并分别提取所述第一人脸区域和第二人脸区域的各特征点及各特征点的位置信息。

进一步地，所述前景分割处理模块，包括：

第一人脸区域掩模获取单元，用于根据所述第一人脸区域的各特征点之间的结构关系，在所述基准图像中将第一人脸区域与环境背景进行分割，得到所述第一人脸区域及该第一人脸区域的掩模；

第二人脸区域掩模获取单元，用于根据所述第二人脸区域的各特征点之间的结构关系，在所述替换图像中将第二人脸区域与环境背景进行分割，得到所述第二人脸区域及该第二人脸区域的掩模。

进一步地，所述全局形变处理模块，包括：

几何形变模型建立单元，用于根据所述第一人脸区域和第二人脸区域的特征点，应用全局形变矫正方法建立几何形变模型；

全局形变处理单元，用于基于所述几何形变模型对所述替换图像进行全局形变处理；

第二人脸区域掩模调整单元，用于根据所述替换图像的形变结果，对应调整所述第二人脸区域的特征点的位置信息和所述第二人脸区域的掩模。

进一步地，所述局部形变处理模块，包括：

保护框设置单元，用于在所述基准图像中的第一人脸区域及所述替换图像中的第二人脸区域的各特征点外分别设置保护框，其中，所述保护框的位置根据保护框的中心点构建，其中，保护框的中心点为由全部特征点的外围轮廓组成的封闭凸包区域的中心；

形变处理单元，用于根据第一人脸区域和形变后的第二人脸区域的特征点的位置信息，在所述基准图像中的第一人脸区域的各特征点外的保护框内，对各特征点所控制的第一人脸区域进行形变处理，使得所述第一人脸区域与所述第二人脸区域的几何结构相同。

进一步地，所述替换后基准图像的获取模块，包括：

第二人脸区域的基准图像获取单元，用于将第一人脸区域替换为形变后的第二人脸区域，且替换的区域为第一人脸区域的掩模及形变后的第二人脸区域的掩模的交集区域，得到包括所述第二人脸区域的基准图像；

自然化融合处理单元，用于对包括所述第二人脸区域的基准图像中的所述第二人脸区域进行自然化融合处理。

由上述技术方案可知，本发明提供的一种人脸图像的替换系统，所述替换系统包括：通信连接的特征点信息获取模块、前景分割处理模块、全局形变处理模块、局部形变处理模块和替换后基准图像的获取模块；所述特征点信息获取模块，用于分别获取基准图像中的第一人脸区域和替换图像中的第二人脸区域的特征点及特征点的位置信息；所述前景分割处理模块，用于在所述基准图像和替换图像中分别对所述第一人脸区域和第二人脸区域进行前景分割处理；所述全局形变处理模块，用于根据所述第一人脸区域和第二人脸区域的特征点的位置信息，对所述替换图像进行全局形变处理，使得形变后的替换图像中的第二人脸区域的尺寸和位置与所述第一人脸区域的尺寸和位置的差值处于预设范围内；所述局部形变处理模块，用于根据第一人脸区域和形变后的第二人脸区域的特征点的位置信息，对所述基准图像中的第一人脸区域及其邻接区域进行局部形变处理，使得所述第一人脸区域与所述第二人脸区域的几何结构相同；其中，所述邻接区域为以所述第一人脸区域为中心的扩展区域中的、且与所述第一人脸区域相邻的区域；所述替换后基准图像的获取模块，用于将第一人脸区域替换为形变后的第二人脸区域，得到包括所述第二人脸区域的基准图像。本发明的替换过程快速且可靠性高，能够在保证被替换图像的特征不发生变化的前提下，最小程度地改变用于替换的基准图像，提高了人脸区域的替换的准确性以及替换后图像的自然化程度，且使得肉眼看上去无合成的痕迹，能够保证替换后的人脸区域不发生改变，并解决了图像中人脸区域替换技术中人脸区域变形和人脸区域外围严重变形造成的合成图像不真实问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种人脸图像的替换系统的第一种结构示意图；

图2是本发明的一种人脸图像的替换系统的第二种结构示意图；

图3是本发明的人脸图像的替换系统的一种具体实施方式的结构示意图；

图4是本发明的人脸图像的替换系统的另一种具体实施方式的结构示意图；

图5是本发明的人脸图像的替换系统的一种应用实例的结构示意图；

图6是本发明的人脸图像的替换系统的第三种具体实施方式的结构示意图；

图7是本发明应用实例中的人脸图像的替换方法的流程示意图；

图8是本发明应用实例中的人脸图像的替换方法中人脸替换可行性的校验方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对于现有技术中的用户人脸发生形变的图像替换案例所存在的缺陷，本发明提供了一种人脸图像的替换系统，本发明的替换方法的优势主要在于保持用户脸型不发生改变，因而效果看上去更自然并且能够辨识出还是用户本人，且本申请的替换系统与从2D转换到3D的方式相比实现了在计算资源的节约，同时能够保证被替换图像的特征不发生变化。

本发明的实施例一提供了一种人脸图像的替换系统的一种具体实施方式，参见图1，所述人脸图像的替换系统具体包括如下内容：

通信连接的特征点信息获取模块10、前景分割处理模块20、全局形变处理模块30、局部形变处理模块40和替换后基准图像的获取模块50；

所述特征点信息获取模块10，用于分别获取基准图像中的第一人脸区域和替换图像中的第二人脸区域的特征点及特征点的位置信息。

在所述特征点信息获取模块10中，所述特征点信息获取模块10分别获取基准图像中的第一人脸区域和替换图像中的第二人脸区域的特征点及特征点的位置信息；可理解的是，设置有特征点获取单元的处理器最终替换后得到的图像为基准图像的背景区域及所述替换图像中的第二人脸区域。其中，所述第一人脸区域在所述基准图像中的区域属性与所述第二人脸区域在所述基准图像中的区域属性相同；所述区域属性能够表明第一人脸区域和第二人脸区域在图像中的区域类型，在实际应用中，具体要进行替换的第一人脸区域和第二人脸区域的区域属性，可以由用户选择设置或应用预先设置来决定；在特征点信息获取模块10中的位置信息可以是人脸中包含重心、关键部件、轮廓等相关位置信息。

为了能够将基准图像中的第一区域准确替换为第二区域，在所述特征点信息获取模块10确定了基准图像的第一区域和替换图像中的第二区域的特征点及特征点的位置信息后，需要将第一区域从基准图像的环境背景中区分出来，并将第一区域也从替换图像的环境背景中区分出来，这样才能对第一区域和第二区域进行准确的处理及替换。

所述前景分割处理模块20，用于在所述基准图像和替换图像中分别对所述第一人脸区域和第二人脸区域进行前景分割处理。

在所述前景分割处理模块20中，在所述基准图像和替换图像中对所述第一人脸区域和第二人脸区域进行前景分割处理。可以理解的是，可以根据各特征点之间的结构关系对所述第一人脸区域和第二人脸区域进行前景分割处理。举例来说，人脸的特征点则包括眉毛、眼睛、鼻子、嘴、脸部轮廓的位置等，因此，人脸的特征点之间的结构关系即可根据人脸结构的先验知识获取，人脸结构的先验知识即为面部肌肉相互作用的时空关系，即由人脸的解剖学结构所决定，不受成像环境的影响。

由于第一区域的轮廓与第二区域的轮廓通常是存在差异的，且基准图像的第一区域通常对应着需要营销的商品或者服务，因此在经所述前景分割处理模块20得到基准图像的第一区域和替换图像中的第二区域后，需要对替换图像中的第二区域进行轮廓上的全局调整，以减少替换图像中的第二区域与第一区域的轮廓之间的差异。

所述全局形变处理模块30，用于根据所述第一人脸区域和第二人脸区域的特征点的位置信息，对所述替换图像进行全局形变处理，使得形变后的替换图像中的第二人脸区域的尺寸和位置与所述第一人脸区域的尺寸和位置的差值处于预设范围内。

在所述全局形变处理模块30中，所述全局形变处理模块30根据所述第一人脸区域和第二人脸区域的特征点的位置信息，对所述替换图像进行全局形变处理，使得形变后的替换图像中的第二人脸区域的尺寸和位置与所述第一人脸区域的尺寸和位置的差值处于预设范围内。可以理解的是，所述预设范围在实际应用中根据实际情形确定，且所述预设范围设置的原则为尽量使得第二人脸区域的尺寸与所述第一人脸区域的尺寸一致。以人脸为例，为了保证尺寸和位置的一致，可借助刚体变换(Rigid Transformation)，根据基准图像和替换图像中人脸的关键坐标，利用最小二乘法及随机采样不变算法(RANSAC)，计算得到变换矩阵，进而将替换图像映射到基准图像坐标系中。

所述局部形变处理模块40，用于根据第一人脸区域和形变后的第二人脸区域的特征点的位置信息，对所述基准图像中的第一人脸区域及其邻接区域进行局部形变处理，使得所述第一人脸区域与所述第二人脸区域的几何结构相同；其中，所述邻接区域为以所述第一人脸区域为中心的扩展区域中的、且与所述第一人脸区域相邻的区域。

其中，所述扩展区域可以根据实际应用情况设置为任意形状，例如，所述扩展区域为矩形区域或圆形区域等。

在所述局部形变处理模块40中，在全局形变处理模块30对替换图像中的第二区域进行轮廓上的全局调整后，为提高第一区域与第二区域之间替换的准确性，还需要对基准图像中的第一区域进行局部调整，即所述局部形变处理模块40根据第一人脸区域和形变后的第二人脸区域的特征点的位置信息，对所述基准图像中的第一人脸区域及其邻接区域进行局部形变处理，使得所述第一人脸区域与所述第二人脸区域的几何结构相同。可以理解是，本模块为本申请的重要模块，能够同时实现替换过程快速且替换后的图像准确的效果。其中，几何结构指外形轮廓和特征点所在的位置；且几何结构相同包括：所述第一人脸区域与所述第二人脸区域的外形轮廓相同、所述第一人脸区域中的某一特征点与所述第二人脸区域中对应的特征点所在的位置均位于一个针对该特征点的预设的范围内；具体来说，所述第一人脸区域的人脸的某一特征点眼睛与所述第二人脸区域对应的特征点眼睛所在的位置位于一个针对该特征点眼睛的预设的范围内；该针对该特征点眼睛的预设的范围可以设为3mm，即所述第一人脸区域的某一特征点眼睛与所述第二人脸区域对应的特征点眼睛所在的位置坐标的差值小于或等于3mm。

所述替换后基准图像的获取模块50，用于将第一人脸区域替换为形变后的第二人脸区域，得到包括所述第二人脸区域的基准图像。

在所述替换后基准图像的获取模块50中，在所述全局形变处理模块30得到全局形变后的第二区域和所述局部形变处理模块40得到的局部形变后的第一区域后，所述替换后基准图像的获取模块50将第一人脸区域替换为形变后的第二人脸区域，得到包括所述第二人脸区域的基准图像。这里，假设基准图像为P，替换图像为Q，待替换区域为S，非替换区域为NS，最终合成的图像为P’需满足

P’(S)＝Q(S)

P’(NS)＝P(NS)

从上述描述可知，本发明的实施例中的人脸图像的替换系统的替换过程快速且可靠性高，并提高了人脸区域的替换的准确性，能够保证替换后的人脸区域不发生改变，解决了图像中人脸区域替换技术中人脸区域变形和人脸区域外围严重变形造成的合成图像不真实问题，同时降低了替换处理的耗时及成本。

本发明的实施例二提供了一种人脸图像的替换系统的另一种具体实施方式，参见图2，所述人脸图像的替换系统具体包括如下内容：

替换图像接收模块01，用于接收所述替换图像。

基准图像存储模块02，用于存储多个所述基准图像。

基准图像选定模块03，用于根据接收的基准图像指令，在所述基准图像存储模块中选定目标基准图像，其中，所述基准图像指令中包括所述目标基准图像。

从上述描述可知，本发明的实施例中的人脸图像的替换系统，提高了整个替换系统的完整度，通过接收替换图像及对基准图像进行存储及选定，得到一个功能完整且交互性强的替换系统，提高了用户应用所述替换系统的客户满意度。

在一种具体实施方式中，本发明还提供一种人脸图像的替换系统的具体实施例，参见图3，所述人脸图像的替换系统具体包括如下内容：

所述基准图像选定模块03设置在第一终端中；相对应的，所述替换图像接收模块01、基准图像存储模块02、特征点信息获取模块10、前景分割处理模块20、全局形变处理模块30、局部形变处理模块40及替换后基准图像的获取模块50均设置在至少一个服务器中，其中，所述服务器与所述第一终端通信连接。

可以理解的是，第一终端是浏览器或者类似于微信、支付宝等应用程序App的内置功能程序。其受限于浏览器和超级App，仅适合构建用户交互，因此，在第一终端仅为浏览器或超级App内的应用的条件下，客户端仅进行用户交互、服务请求和效果展示，其余的功能均由与其通信连接的服务器端进行。

在另一种具体实施方式中，本发明还提供一种人脸图像的替换系统的具体实施例，参见图4，所述人脸图像的替换系统具体包括如下内容：

所述替换图像接收模块01、基准图像存储模块02、基准图像选定模块03、特征点信息获取模块10、前景分割处理模块20、全局形变处理模块30、局部形变处理模块40及替换后基准图像的获取模块50均设置在第二终端中。

可以理解的是，第二终端是是手机、平板电脑，PC或者嵌入式系统的原生应用程序，其应用获得更多的计算和存储资源，可搭载计算负载量较大功能。

在选用原生应用程序的条件下，本具体实施方式中可以将所有用户交互都设计在客户端上；也可以如第三个具体实施方式所述：

所述替换图像接收模块01、基准图像存储模块02、基准图像选定模块03、特征点信息获取模块10、前景分割处理模块20、全局形变处理模块30、局部形变处理模块40及替换后基准图像的获取模块50中的至少一个模块设置在第二终端中；

相对应的，除设置在所述第二终端中的模块，所述替换系统中的其余模块均设置在至少一个服务器中，其中，所述服务器与所述第二终端通信连接。

可以理解的是，与图像处理处理相关算法可全部或者部分设计在客户端上，这需要依据向用户提供什么样的服务决定。例如当用户对其设备上的存储量要求要少于某个具体量时可将存储量较大的算法部分放在服务器端。而当用户对存储量没有具体要求时则可将算法所有内容都设计在客户端。设计在客户端的好处在于响应速度快，图像处理服务可离线进行，并且对服务器端的负载压力低，从而能够降低服务器的成本。对应的缺点则是会占用用户的存储空间和计算资源。

在一种具体应用案例中，参见图5，为了承担不同用户量的负载并且节约服务器成本，将服务器端分为了多个独立的模块，模块之间通过内部网络进行通信。首先是任务分配与负载均衡模块，该模块接收客户端的请求并转发到指定的功能模块的设备上，负载均衡模块返回给客户端，另外的四个不同的功能模块相互独立，可设计在同一台服务器上也可设置在多台服务器上。在负载量小的时候仅用很少的服务器资源就能提供有效的服务，而在负载较大时每个模块或部分模块可以单独部署在一台或多台服务器上，统一由任务分配与负载均衡模块调度，能够快速响应激增的请求数量。所述方案的灵活独立性和灵活性将有利于降低成本的同时提供可靠稳定流畅的服务。

本发明的实施例三提供了上述人脸图像的替换系统中特征点信息获取模块10的一种具体实施方式，所述特征点信息获取模块10具体用于分别对所述基准图像和替换图像进行人脸检测，并提取所述第一人脸区域和第二人脸区域的各特征点及各特征点的位置信息。

在特征点信息获取模块10中，所述特征点的位置信息为该特征点在所在区域内的位置坐标。可以理解的是，首先对输入基准图像和替换图像均进行所述第一人脸区域和第二人脸区域的特征点检测通常模特的特征提取，前景分割等操作都是在制作数据库时就完成了，这样处理的响应速度更快，也可以同时处理，只是需要较多计算资源，算法放在本地处理时则不需要提取处理。

例如，若第一人脸区域和第二人脸区域均为正面且无遮挡的人脸，则目前公开的大量人脸检测算法(AdaBoost,NPD,MTCNN等)均可实现对人脸精准的检测。完成人脸检测后，对检测到的人脸进行特征点提取，特征点提取的方法包括但不限于基于深度学习(如深度自编码网络，深度回归网络等)和基于主动轮廓模型(如ASM，AAM等)的方法。

从上述描述可知，本发明的实施例的人脸图像的替换系统中，提供了一种可靠且快速的获取基准图像中的第一人脸区域和替换图像中的第二人脸区域的特征点及特征点的位置信息的系统，且获取的特征点及特征点的位置信息的准确度高，为后续人脸区域的替换提供了准确的数据基础。

在一种具体实施方式中，所述人脸图像的替换系统中还包括检验模块A0，参见图6，所述检验模块A0具体包括如下内容：

检验模块A0：用于根据所述第一人脸区域和替换图像中的第二人脸区域的特征点及特征点的位置信息，判断所述第一人脸区域的用于检验的属性信息与对应的第二人脸区域中的用于检验的属性信息是否在预设的属性范围内，即判断所述替换图像是否通过检验。

可以理解的是，根据所述第一人脸区域和替换图像中的第二人脸区域的特征点及特征点的位置信息，判断所述第一人脸区域与第二人脸区域的待检验属性信息是否在可接受范围内，也就是说判断替换图像是否通过校验。

若是，则进入在所述基准图像和替换图像中对所述第一人脸区域和第二人脸区域进行前景分割处理。

否则，则判定当前替换图像中的第二人脸区域无法替换基准图像中的第一人脸区域，并输出无法替换的告知提示。可以理解的是，在判定当前替换图像中的第二人脸区域无法替换基准图像中的第一人脸区域后，输出无法替换的告知提示，使得用户获知相应反馈信息。

从上述描述可知，本发明的实施例的人脸图像的替换系统中，提供了一种可靠且快速的人脸区域的可替换性的校验模块，若校验成功，再进行图像中人脸区域的替换，进而保证了后续人脸区域的替换结果的准确性及可用性，提高了整个替换方法的实用性及可靠性。

在一种具体实施方式中，上述人脸图像的替换系统中前景分割处理模块20的一种具体实施方式。所述前景分割处理模块20的设置目标为根据所述第一人脸区域的各特征点之间的结构关系，在所述基准图像中将第一人脸区域与环境背景进行分割，得到所述第一人脸区域及该第一人脸区域的掩模，以及，根据所述第二人脸区域的各特征点之间的结构关系，在所述替换图像中将第二人脸区域与环境背景进行分割，得到所述第二人脸区域及该第二人脸区域的掩模，其具体包括如下内容：

总体来说，所述前景分割处理模块20包括：

(1)第一人脸区域掩模获取单元，用于根据第一人脸区域或第二人脸区域的轮廓点向内收缩和向外扩张产生前景和背景区域；得到第一疑似前景和背景掩膜。

(2)第二人脸区域掩模获取单元，用于将前面得到的掩膜和原始图像利用oneCut算法进行分割，进一步细化背景和前景区域，得到第二疑似前景和背景掩膜。

(3)最终前景和背景掩膜获取单元，用于利用形态学对前景区域进行处理(包括开运算和轮廓修补，填充内陷区域)，得到最终前景和背景掩膜。

具体来说，第一人脸区域掩模获取单元：疑似前景和背景区域初始化。这里的辅助信息为人脸的面部关键点位置信息，虽然在特征点信息获取模块10中得到了人脸的外轮廓位置，但这些位置信息准确度不够，无法直接生成分割结果，但可以通过将脸部轮廓向内收缩和向外扩张，得到疑似前景和背景区域作为初始分割区域。具体来说，根据所述第一人脸区域和第二人脸区域的各特征点之间的结构关系，在所述基准图像中将第一人脸区域与环境背景进行初始分割，并在所述替换图像中将第二人脸区域与环境背景进行初始分割。

第二人脸区域掩模获取单元：在初步分割的基础上可以利用很多高效准确的分割方法(如graphCut、grabCut、oneCut、ACM等)进行二次精确分割。一种优选的方案为one cutin grabcut算法，不同于传统的图割算法，该算法无需迭代，一次运算即可实现分割，进而得到前景区域；

最终前景和背景掩膜获取单元：后处理得到优化的前景区域，包括灰度值限制和形态学处理(开闭运算和填充孔洞)，一方面保证脸部区域灰度相似性，另一方面保证脸部轮廓的完整性。

在一种具体实施方式中，本申请的全局形变处理模块30至局部形变处理模块40所能够实现的内容具体可以概括为如下内容：

(1)对替换图像进行整体位置、方向和尺寸变换；

(2)对基准图像局部几何变换；

(3)为了得到自然的替换结果，对第一人脸区域及其邻接区域也进行相应调整。

具体是实施过程说明如下实施例四和实施例五内容所述：

本发明的实施例四提供了上述人脸图像的替换系统中全局形变处理模块30的一种具体实施方式，所述全局形变处理模块30具体包括如下内容：

几何形变模型建立单元，用于根据所述第一人脸区域和第二人脸区域的特征点，应用全局形变矫正方法中的仿射变换的方式建立几何形变模型。

可以理解的是，仿射变换的方式并不是本实施例所用的唯一变换方式，全局形变矫正方法中的任意方式均可以实现本实施例几何形变模型建立单元至第二人脸区域掩模调整单元的变换过程。

全局形变处理单元，用于基于所述几何形变模型，根据最小二乘法确定所述第二人脸区域的特征点变换到第一人脸区域的特征点的仿射变换参数；并根据所述仿射变换参数对所述替换图像进行形变，使得形变后的替换图像中的第二人脸区域的尺寸和位置与所述第一人脸区域的尺寸和位置的差值处于预设范围内。

第二人脸区域掩模调整单元，用于根据所述替换图像的形变结果，对应调整所述第二人脸区域的特征点的位置信息和所述第二人脸区域的掩模。

可以理解的是，利用提取到的特征点将替换图像对齐基准图像。例如利用第一人脸区域特征点和第二人脸区域特征点，并用仿射变换作为几何形变模型，通过最小二乘法估计从第二人脸区域特征点到第一人脸区域特征点变换的仿射变换参数。并利用该仿射变换参数对替换图像进行形变获得与基准图像大小相同，第一人脸区域及第二人脸区域的位置基本匹配的替换图像。在对替换图像进行形变的同时也需要用相同的参数对掩模和第二人脸区域的特征点坐标进行形变。

从上述描述可知，本发明的实施例的人脸图像的替换系统中，提供了一种可靠且快速的根据所述第一人脸区域和第二人脸区域的特征点，对所述替换图像进行形变处理方法，进而提高了整个替换方法的实用性及可靠性。

本发明的实施例五提供了上述人脸图像的替换系统中局部形变处理模块40的一种具体实施方式，所述局部形变处理模块40具体能够实现如下内容：

应用三角网构建方法：(1)特征点匹配，使得第一人脸区域和第二人脸区域的关键点一一对应；(2)三角网构建，利用Delaunay等算法，建立特征点网状关系图；(3)利用loopsubdivision算法，对前面得到关系网细化，构建稠密的三角网；(4)对构建的网状关系图中的各个子图分别进行仿射参数估计和局部插值，使得变换后第一人脸区域的特征点与第二人脸区域的特征点位置信息完全匹配，具体包括如下内容：

(1)对第一人脸区域和第二人脸区域的特征点进行匹配，使得相同标号的特征点所表达的属性相同；:

(2)除了第一人脸区域和第二人脸区域内部关键点和轮廓点外，还需要增加外部控制点，保证第一人脸区域向第二人脸区域转变时，目标区域及其邻域联动变化。

具体来说，扩展区域的具体设置方式为：首先计算得到能够刚好包含所有特征点的限定正矩形；然后按照限定正矩形的比例、将限定正矩形向外扩展，得到所述矩形扩展区域。

其中，扩展后的矩形的四个顶点和四条边上的多个分位点即为用于产生扩展区域而新增加的特征点。

也就是说，通过额外增加了一些保护性特征点才保证人脸区域和外围背景的几何结构不发生变化，而在人脸区域以外到保护区域范围内的区域仅发生了细微的几何形变，且这种几何形变通过细化的三角网格被弱化，使得肉眼看上去变化很小且几乎很难察觉。

(3)利用Delaunay算法构建三角网，在不同特征点之间构建空间位置关系。根据第一人脸区域的N个特征点的位置信息构建第一人脸区域的特征点的位置关系网络；以及，根据第二人脸区域的N个特征点的位置信息构建第二人脸区域的特征点的位置关系网络；

(4)为保证后续替换效果的自然性，利用Loop subdivison算法，在原有三角网的基础上，构建更加稠密的三角网。具体来说，可对所述第一人脸区域的位置关系网络进行细分，得到M个特征点，使得所述第一人脸区域的特征点总数为M+N个；以及，对所述第二人脸区域的位置关系网络进行细分，得到M个特征点，使得所述第二人脸区域的特征点总数为M+N个；其中，N和M均为正整数。

(5)在完成三角网构建后，可针对基准图像和替换图像中各子网对应的三个角点的位置构建仿射变换模型，经过投影使得基准图像和替换图像子网对应区域的位置完全一致。

也就是说，局部形变处理模块40可以具有划分为两个单元：

保护框设置单元，用于在所述基准图像中的第一人脸区域及所述替换图像中的第二人脸区域的特征点外设置保护框，其中，所述保护框的位置根据保护框的中心点构建，其中，保护框的中心点为由全部特征点的外围轮廓组成的封闭凸包区域的中心；

形变处理单元，用于根据第一人脸区域和形变后的第二人脸区域的特征点的位置信息，在所述基准图像中的第一人脸区域的各特征点外的保护框内，对各特征点所控制的第一人脸区域进行形变处理，使得所述第一人脸区域与所述第二人脸区域的几何结构相同。

可以理解的是，利用特征点的相对坐标，生成更多的特征点，将第二人脸区域几何变换后的特征点坐标作为基准，将模特图像的人脸形变来与第二人脸区域的人脸几何结构一致。所述保护框可以为圆形框或矩形框。

从上述描述可知，本发明的实施例的人脸图像的替换系统中，提供了一种可靠且快速的根据第一人脸区域和形变后的第二人脸区域的特征点的位置信息，对所述基准图像中的第一人脸区域进行形变处理的方法，提高了人脸区域的替换的准确性，在能够保证替换后的人脸区域不发生改变，解决图像中人脸区域替换技术中人脸区域变形和人脸区域外围严重变形造成的合成图像不真实问题。

本发明的实施例六提供了上述人脸图像的替换系统中替换后基准图像的获取模块50的一种具体实施方式，所述替换后基准图像的获取模块50具体包括如下内容：

第二人脸区域的基准图像获取单元，用于将第一人脸区域替换为形变后的第二人脸区域，且替换的区域为第一人脸区域的掩模及形变后的第二人脸区域的掩模的交集区域，得到包括所述第二人脸区域的基准图像。

自然化融合处理单元，用于对包括所述第二人脸区域的基准图像中的所述第二人脸区域进行自然化融合处理。

使用所述第二人脸区域替换形变后基准图像的第一人脸区域，替换后的包括所述第二人脸区域的基准图像中的第二人脸区域是两幅第一人脸区域和形变后的第二人脸区域掩模的交集；并对包括所述第二人脸区域的基准图像中的第二人脸区域进行自然化处理，使得包括所述第二人脸区域的基准图像的色彩一致。一种可行的方法为Poissonediting泊松编辑算法，该算法是一种性能优异的无缝拼接算法，通过构造Poisson方程求解像素最优值的方法，在保留了源图像梯度信息的同时，可以很好的融合源图像与目标图像的背景。同时为了加快融合速度，输入图像为包含第一人脸区域和第二人脸区域在内的最小外接矩形。

从上述描述可知，本发明的实施例的人脸图像的替换系统中，提供了一种可靠且快速的将第一人脸区域替换为形变后的第二人脸区域，得到包括所述第二人脸区域的基准图像的方法，进而提高了整个替换方法的实用性及可靠性。

可以理解的是，上述人脸图像的替换系统中的各功能模块的连接顺序根据实际应用情形可以做任意调整，并不限于上述各功能模块的连接顺序的执行顺序。

为进一步地说明本方案，本发明还提供了应该上述人脸图像的替换系统进行人脸图像的替换的方法的应用实例，参见图7和图8，在该应用实例中，基准图像具体应用人脸图像的替换为模特图像，替换图像具体应用为用户图像，所述第二人脸区域与所述第二人脸区域均为正面的人脸图像，该应用实例具体包括如下内容：

参见图7，首先对输入模特图像和用户图像均进行人脸特征点检测与人脸分割。特征点检测的基础是先进行人脸检测以定位人脸图像所在位置，由于本专利主要针对正面且无遮挡的人脸，目前公开的大量人脸检测算法均可实现精准的检测。完成人脸检测后，对检测到的人脸进行特征点提取，特征点通常指的是人脸的眉毛、眼睛、鼻子、嘴、脸部轮廓的位置，特征点提取的方法较多包括基于深度学习的、基于主动轮廓模型的，本申请不限于使用哪种方法，仅需要保证特征点的提取准确即可。

利用提取到的人脸特征点，利用人脸结构的先验知识，可以获得人脸前景和背景的一个初步分割。在这个初步分割的基础上可以利用很多高效准确的分割方法(如graphCut、grabCut、oneCut、ACM等)进行人脸的分割。通过以上步骤可获得人脸区域的掩模和特征点的坐标。

然后利用提取到的人脸特征点将用户图像对齐模特图像。例如：利用模特特征点和用户特征点，并用仿射变换作为几何形变模型，通过最小二乘法估计从用户特征点到模特特征点变换的仿射变换参数。并利用该仿射变换参数对用户图像进行形变获得与模特图像大小相同，人脸位置基本匹配的用户图像。在对用户图像进行形变的同时也需要用相同的参数对人脸掩模和用户的特征点坐标进行形变。

再然后，将用户几何变换后的特征点坐标作为基准，将模特图像的人脸形变来与用户的人脸几何结构一致。这时问题转换成了具有已知匹配特征点的图像精配准问题。如果此时直接使用精配准方法，例如使用局部三角网进行仿射变换、或者使用样条插值方法进行匹配则会造成图像不自然，例如三角网方法会存在三角网格之间像素的断裂，而样条插值会造成图像的过度扭曲。为了消除以上现象，本专利在特征点区域外设定了一个保护矩形框(通过将矩形框的轮廓点增加为特征点的方式)，形变主要在矩形框内进行，这样有效的控制形变的范围。随后利用特征点的相对坐标，生成更多的特征点。例如通过对特征点构建三角网，并对三角网进行Loop subdivision细分。扩展后的大量控制点可以使得精配准可以得到很平滑自然的图像。以上形变过程均要对模特的图像和模特人脸的掩模进行。

最后使用用户的人脸替换形变后模特的人脸，替换的区域是两幅形变后图像人脸掩模的交集。并对替换后的人脸进行自然化处理，使得图像的色彩一致。自然化处理可以使用泊松融合方法或者其他图像融合方法。

参见图8，以上方法都是在两幅图像可以自然替换的假设条件下进行的，然而并不是任何包含两幅人脸的图像均可以进行自然替换。为了提高用户的体验需要自动化的检测两幅图像是否可以相互替换。能替换的条件是两幅图像的人脸大体是一致的。而造成两幅图像替换不自然的主要因素是一下几个方面：a.是否佩戴眼镜；b.人脸的姿态是否一致；c.光照是否一致。通常当用户佩戴眼镜的情况很难处理得很自然(考虑眼镜腿的差异)，尤其是在耳朵处，因而，处理过程中如果用户佩戴眼镜，就是不让其通过校验。

因而校验方法中需要具有眼镜检测方法，由于可以获得人脸特征点的位置，可以很容易地获得眼睛区域图像，再通过二分类算法训练一个判决是否是眼镜的模型即可判断是否佩戴眼镜。

而姿态问题也是另一个影响替换效果的主要因素，例如当模特是左侧遮脸而用户是用正面人脸则替换后的整体图像就会很不自然。因而需要通过计算人脸的姿态的参数，并只让具有较小姿态差异的图像对通过校验,表征人头部姿态的参数有3个分别是偏航角、俯仰角和翻滚角，而这三个参数通过面部的特征点坐标即可计算获得。

光照因素是另一个主要影响换脸的因素，面部的光照分布情况，在分布不均匀且差异角较小时可以通过简单的光线强度估计和补偿进行缓和，而当不均匀程度较高时，少量的强度差异补偿后甚至会造成与人脸周围的不和谐，为了避免这种现象的出现，先估计面部的光照情况，并不允许光线分布很不均匀的图像通过校验，而对不同面部区域仅有少量光线强度差异的图像进行光照补偿，然后通过校验。

本发明提供的人脸图像的替换方法的实施例具体可以用于执行上述各替换系统实施例的各功能模块的处理流程，其功能在此不再赘述，可以参照上述替换系统的各功能模块的详细描述。

从上述描述可知，本发明的应用实例降低了能够实现图像中人脸区域的替换的系统的硬件成本，部署更加灵活快捷，易于维护扩容，提供更稳定的服务。更好的用户体验，且其替换过程的计算成本低，实时性高、图像处理真实度高。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸图像的替换系统，其特征在于，所述替换系统包括：通信连接的特征点信息获取模块、前景分割处理模块、全局形变处理模块、局部形变处理模块和替换后基准图像的获取模块；

所述特征点信息获取模块，用于分别获取基准图像中的第一人脸区域和替换图像中的第二人脸区域的特征点及特征点的位置信息；

所述前景分割处理模块，用于在所述基准图像和替换图像中分别对所述第一人脸区域和第二人脸区域进行前景分割处理；

所述全局形变处理模块，用于根据所述第一人脸区域和第二人脸区域的特征点的位置信息，对所述替换图像进行全局形变处理，使得形变后的替换图像中的第二人脸区域的尺寸和位置与所述第一人脸区域的尺寸和位置的差值处于预设范围内；

所述局部形变处理模块，用于根据第一人脸区域和形变后的第二人脸区域的特征点的位置信息，对所述基准图像中的第一人脸区域及其邻接区域进行局部形变处理，使得所述第一人脸区域与所述第二人脸区域的几何结构相同；其中，所述邻接区域为以所述第一人脸区域为中心的扩展区域中的、且与所述第一人脸区域相邻的区域；

所述替换后基准图像的获取模块，用于将第一人脸区域替换为形变后的第二人脸区域，得到包括所述第二人脸区域的基准图像；

其中，所述几何结构指外形轮廓和特征点所在的位置。

2.根据权利要求1所述的替换系统，其特征在于，所述系统还包括：

替换图像接收模块，用于接收所述替换图像；

基准图像存储模块，用于存储多个所述基准图像；

基准图像选定模块，用于根据接收的基准图像指令，在所述基准图像存储模块中选定目标基准图像，其中，所述基准图像指令中包括所述目标基准图像。

3.根据权利要求2所述的替换系统，其特征在于，所述基准图像选定模块设置在第一终端中；

相对应的，所述替换图像接收模块、基准图像存储模块、特征点信息获取模块、前景分割处理模块、全局形变处理模块、局部形变处理模块及替换后基准图像的获取模块均设置在至少一个服务器中，其中，所述服务器与所述第一终端通信连接。

4.根据权利要求2所述的替换系统，其特征在于，所述替换图像接收模块、基准图像存储模块、基准图像选定模块、特征点信息获取模块、前景分割处理模块、全局形变处理模块、局部形变处理模块及替换后基准图像的获取模块均设置在第二终端中。

5.根据权利要求2所述的替换系统，其特征在于，所述替换图像接收模块、基准图像存储模块、基准图像选定模块、特征点信息获取模块、前景分割处理模块、全局形变处理模块、局部形变处理模块及替换后基准图像的获取模块中的至少一个模块设置在第二终端中；

相对应的，除设置在所述第二终端中的模块，所述替换系统中的其余模块均设置在至少一个服务器中，其中，所述服务器与所述第二终端通信连接。

6.根据权利要求1所述的替换系统，其特征在于，所述特征点信息获取模块，用于分别对所述基准图像和替换图像进行目标区域属性检测，并分别提取所述第一人脸区域和第二人脸区域的各特征点及各特征点的位置信息。

7.根据权利要求1所述的替换系统，其特征在于，所述前景分割处理模块，包括：

第一人脸区域掩模获取单元，用于根据所述第一人脸区域的各特征点之间的结构关系，在所述基准图像中将第一人脸区域与环境背景进行分割，得到所述第一人脸区域及该第一人脸区域的掩模；

第二人脸区域掩模获取单元，用于根据所述第二人脸区域的各特征点之间的结构关系，在所述替换图像中将第二人脸区域与环境背景进行分割，得到所述第二人脸区域及该第二人脸区域的掩模。

8.根据权利要求1所述的替换系统，其特征在于，所述全局形变处理模块，包括：

几何形变模型建立单元，用于根据所述第一人脸区域和第二人脸区域的特征点，应用全局形变矫正方法建立几何形变模型；

全局形变处理单元，用于基于所述几何形变模型对所述替换图像进行全局形变处理；

第二人脸区域掩模调整单元，用于根据所述替换图像的形变结果，对应调整所述第二人脸区域的特征点的位置信息和所述第二人脸区域的掩模。

9.根据权利要求1所述的替换系统，其特征在于，所述局部形变处理模块，包括：

保护框设置单元，用于在所述基准图像中的第一人脸区域及所述替换图像中的第二人脸区域的各特征点外分别设置保护框，其中，所述保护框的位置根据保护框的中心点构建，其中，保护框的中心点为由全部特征点的外围轮廓组成的封闭凸包区域的中心；

形变处理单元，用于根据第一人脸区域和形变后的第二人脸区域的特征点的位置信息，在所述基准图像中的第一人脸区域的各特征点外的保护框内，对各特征点所控制的第一人脸区域进行形变处理，使得所述第一人脸区域与所述第二人脸区域的几何结构相同。

10.根据权利要求1所述的替换系统，其特征在于，所述替换后基准图像的获取模块，包括：

第二人脸区域的基准图像获取单元，用于将第一人脸区域替换为形变后的第二人脸区域，且替换的区域为第一人脸区域的掩模及形变后的第二人脸区域的掩模的交集区域，得到包括所述第二人脸区域的基准图像；

自然化融合处理单元，用于对包括所述第二人脸区域的基准图像中的所述第二人脸区域进行自然化融合处理。

Images