CN114005156A - 人脸替换方法、系统、终端设备及计算机存储介质 - Google Patents

Abstract

本发明公开了一种人脸替换方法、系统、终端设备以及计算机存储介质。该人脸替换方法通过：确定需要在视频画面的实时播放过程中进行替换的目标人脸；获取所述目标人脸所关联的人物动作的权重等级，并基于所述权重等级针对人脸特征提取模型进行优化；利用优化后的人脸特征提取模型提取所述目标人脸的第一脸部特征和特征组合关系；根据所述第一脸部特征和所述特征组合关系，在所述视频画面中针对需要替换掉的待替换人脸进行替换。相比于传统基于弱监督方式提取人脸特征进行实时换脸的方式，本发明能够使得实时视频画面中人脸替换达成更加灵活、协调的效果。

Description

人脸替换方法、系统、终端设备及计算机存储介质

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种人脸替换方法、系统、终端设备以及计算机存储介质。

背景技术

随着互联网技术的突飞猛进，视频技术发展也日新月异。为了满足用户需求，现有视频技术当中早已经引入了视频人物换脸的实际应用。

目前在视频中的换脸应用通过弱监督方式来提取人脸特征，从而可以将人脸的弱标签数据特征学习为更强的标签特征，以此来解决了部分视频中人脸替换精准度不高的问题。但是，在现有视频换脸的实际应用过程中，仍然存在人脸替换灵活度低、替换后人脸表情和动作不协调等现象。

发明内容

本发明的主要目的在于提供一种人脸替换方法、系统、终端设备以及计算机存储介质，旨在提高实时视频画面中进行人脸替换的灵活性和协调性。

为实现上述目的，本发明提供一种人脸替换方法，所述人脸替换方法包括：

确定用于进行人脸替换的目标人脸；

利用优化后的人脸特征提取模型提取所述目标人脸的第一脸部特征和特征组合关系；

根据所述第一脸部特征和所述特征组合关系，在视频画面中对待替换人脸进行替换。

优选地，所述方法还包括：

检测所述目标人脸的第一脸部特征在各人物动作下的特征影响等级；

根据所述特征影响等级适配所述第一脸部特征所关联的各所述人物动作对应的权重参数；

基于所述权重等级优化人脸特征提取模型。

优选地，所述基于所述权重等级针对人脸特征提取模型进行优化的步骤，包括：

基于所述权重等级和所述第一脸部特征相互之间的特征距离优化人脸特征提取模型，其中，所述特征距离包括：用于表示脸部特征相互之间位置差异的特征像素距离和用于表示脸部特征相互之间光线差异的特征光线距离。

优选地，所述根据所述第一脸部特征和所述特征组合关系，在视频画面中对待替换人脸进行替换的步骤，包括：

检测所述视频画面中需要替换掉的待替换人脸，并学习所述待替换人脸的第二脸部特征；

根据所述第一脸部特征和所述特征组合关系确定与所述第二脸部特征相适配的目标图像数据；

在所述视频画面中利用所述目标图像数据替换掉所述待替换人脸。

优选地，所述根据所述第一脸部特征和所述特征组合关系确定与所述第二脸部特征相适配的目标图像数据的步骤，包括：

检测所述第一脸部特征中是否存在与所述第二脸部特征相适配的目标特征；

若存在，则按照所述特征组合关系优化所述目标特征对应的图像数据，并将优化后的图像数据确定为所述目标图像数据。

优选地，在所述检测所述第一脸部特征中是否存在与所述第二脸部特征相适配的目标特征的步骤之后，还包括：

若不存在，则按照所述第一脸部特征和所述特征组合关系生成所述目标特征，并将所述目标特征对应的图像数据确定为所述目标图像数据。

优选地，所述确定用于进行人脸替换的目标人脸的步骤，包括：

扫描预设图像采集装置实时采集到的图像数据中的人脸特征，以确定用于在所述视频画面中进行人脸替换的目标人脸；或者，

扫描在预设存储空间中指定的图像数据中的人脸特征，以确定用于在所述视频画面中进行人脸替换的目标人脸。

此外，为实现上述目的，本发明还提供一种人脸替换系统，所述人脸替换系统包括：

确定模块，用于确定用于进行人脸替换的目标人脸；

提取模块，用于利用优化后的人脸特征提取模型提取所述目标人脸的第一脸部特征和特征组合关系；

替换模块，用于根据所述第一脸部特征和所述特征组合关系，在视频画面中对待替换人脸进行替换。

其中，本发明人脸替换系统的各功能模块在运行时实现如上所述的人脸替换方法的步骤。

此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸替换程序，所述人脸替换程序被所述处理器执行时实现如上所述的人脸替换方法的步骤。

此外，为实现上述目的，本发明还提供计算机存储介质，所述计算机存储介质上存储有人脸替换程序，所述人脸替换程序被处理器执行时实现如上所述的人脸替换方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机存储介质，所述计算机存储介质上存储有人脸替换程序，所述人脸替换程序被处理器执行时实现如上所述的人脸替换方法的步骤。

本发明提供一种人脸替换方法、系统、终端设备、计算机存储介质以及计算机存储介质，通过确定用于进行人脸替换的目标人脸；利用优化后的人脸特征提取模型提取所述目标人脸的第一脸部特征和特征组合关系；根据所述第一脸部特征和所述特征组合关系，在视频画面中对待替换人脸进行替换。

本发明在针对实时播放中的视频画面进行人脸替换的过程当中，通过在该视频画面的实时播放过程中，确定需要使用以针对该视频画面进行人脸替换操作来将该视频画面中的待替换人员替换成为的目标人脸，然后，利用经过优化之后的人脸特征提取模型来提取出该目标人脸的第一脸部特征和该第一脸部特征相互之间的特征组合关系，最后，即在该实时播放的视频画面当中，根据该第一脸部特征和该特征组合关系针对该视频画面中需要替换掉的待替换人脸进行替换操作，以得到替换人脸之后的视频画面。

本发明相比于传统基于弱监督方式提取人脸特征进行实时换脸的方式，本发明不仅能够实现在播放视频画面的同时，实时的扫描学习人脸信息并快速进行人脸替换操作已将学习到的人脸对象要替换掉的角色进行替换，还通过在扫描学习人脸信息的过程中，增加对脸部特征相互之间特征组合关系的提取，来有效的解决因脸部特征相互之间距离关系信息提取不全面而导致的换脸过程灵活性差、换脸后人脸与人物动作表情不协调的问题，提高了实时视频画面中人脸替换的灵活性和协调性。

附图说明

图1为本发明实施例方案涉及的终端设备硬件运行环境的设备结构示意图；

图2为本发明人脸替换方法一实施例的流程示意图；

图3为本发明人脸替换系统一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的终端设备硬件运行环境的设备结构示意图。

本发明实施例终端设备可以是装载有需要进行测试的功能服务的客户端设备，或者，本发明实施例终端设备还可以是专门用于针对该功能服务进行测试从而配置相关挡板规则的挡板服务端设备，该设备可以是智能手机、PC(Persona l Computer，个人计算机)、平板电脑、便携计算机等等。

如图1所示，该终端设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(D i sp l ay)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-vo l at i l e memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及人脸替换程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的人脸替换程序，并执行以下步骤：

确定用于进行人脸替换的目标人脸；

利用优化后的人脸特征提取模型提取所述目标人脸的第一脸部特征和特征组合关系；

根据所述第一脸部特征和所述特征组合关系，在视频画面中对待替换人脸进行替换。

优选地，处理器1001可以用于调用存储器1005中存储的人脸替换程序，还执行以下步骤：

检测所述目标人脸的第一脸部特征在各人物动作下的特征影响等级；

根据所述特征影响等级适配所述第一脸部特征所关联的各所述人物动作对应的权重参数；

基于所述权重等级优化人脸特征提取模型。

优选地，处理器1001可以用于调用存储器1005中存储的人脸替换程序，还执行以下步骤：

基于所述权重等级和所述第一脸部特征相互之间的特征距离优化人脸特征提取模型，其中，所述特征距离包括：用于表示脸部特征相互之间位置差异的特征像素距离和用于表示脸部特征相互之间光线差异的特征光线距离。

优选地，处理器1001可以用于调用存储器1005中存储的人脸替换程序，还执行以下步骤：

检测所述视频画面中需要替换掉的待替换人脸，并学习所述待替换人脸的第二脸部特征；

根据所述第一脸部特征和所述特征组合关系确定与所述第二脸部特征相适配的目标图像数据；

在所述视频画面中利用所述目标图像数据替换掉所述待替换人脸。

优选地，处理器1001可以用于调用存储器1005中存储的人脸替换程序，还执行以下步骤：

检测所述第一脸部特征中是否存在与所述第二脸部特征相适配的目标特征；

若存在，则按照所述特征组合关系优化所述目标特征对应的图像数据，并将优化后的图像数据确定为所述目标图像数据。

优选地，处理器1001可以用于调用存储器1005中存储的人脸替换程序，在执行检测所述第一脸部特征中是否存在与所述第二脸部特征相适配的目标特征的步骤之后，还执行以下步骤：

若不存在，则按照所述第一脸部特征和所述特征组合关系生成所述目标特征，并将所述目标特征对应的图像数据确定为所述目标图像数据。

优选地，处理器1001可以用于调用存储器1005中存储的人脸替换程序，还执行以下步骤：

扫描预设图像采集装置实时采集到的图像数据中的人脸特征，以确定用于在所述视频画面中进行人脸替换的目标人脸；或者，

扫描在预设存储空间中指定的图像数据中的人脸特征，以确定用于在所述视频画面中进行人脸替换的目标人脸。

基于上述硬件结构，提出本发明人脸替换方法的各实施例。

针对上述现象，本发明提供一种人脸替换方法。请参照图2，图2为本发明人脸替换方法第一实施例的流程示意图，在本实施例中，本发明人脸替换方法应用于上述终端设备，本发明人脸替换方法包括：

步骤S10，确定用于进行人脸替换的目标人脸；

终端设备在实时播放需要进行人脸替换操作的视频画面的过程当中，接收通过前端预设的指令控件所触发的人脸替换指令，从而，根据该人脸替换指令确定用于在该视频画面中进行人脸替换操作来替换掉待替换人脸的目标人脸。

具体地，例如，在本实施例中，终端设备可通过预先在视频应用程序进行视频画面实时播放的终端界面之上，生成一个虚拟的用于触发人脸替换指令的控件：“换脸”button。从而，终端设备的用户即可基于需要在当前视频画面的实时播放过程当中，通过点击该“换脸”button来触发针对该视频画面进行人脸替换操作的人脸替换指令，终端设备即接收该人脸替换指令并开始基于该人脸替换指令，确定用于进行人脸替换操作来替换掉该视频画面中待替换人脸的目标人脸。

进一步地，在一种可行的实施例中，上述步骤S10，可以包括：

步骤S101，扫描预设图像采集装置实时采集到的图像数据中的人脸特征，以确定用于在所述视频画面中进行人脸替换的目标人脸；

需要说明的是，在本实施例中，预设图像采集装置为终端设备内置或者外接，以用于实时采集目标人脸的图像数据的图像采集装置。

终端设备在接收到人脸替换指令之后，即基于该人脸替换指令所指定的方式，开始调用终端设备内置或者外接以用于实时采集目标人脸的图像数据的图像采集装置来实时采集图像数据，然后，终端设备进一步针对采集到的该图像数据进行扫描学习，从而确定当前用于进行人脸替换操作以替换掉该视频画面中待替换人脸的目标人脸。

具体地，例如，在本实施例中，假定预设图像采集装置为终端设备自身配置的设备摄像头。若终端设备在接收到用户通过点击“换脸”button触发的人脸替换指令之后，用户在预设时长之内未执行进一步操作，从而，终端设备即按照默认方式来自动开启该设备摄像头，并通过该设备摄像头实时采集包含有用户人脸的图像数据，以确定该用户人脸即为当前用于针对正在播放中的视频画面进行人脸替换操作以替换掉该视频画面中待替换人脸的目标人脸。

需要说明的是，在本实施例中，终端设备在调用设备摄像头实时采集包含用户人脸的图像数据时，具体可以根据网格线对准用户人脸进行拍摄得到包括各个方向、维度、光线、表情、动作等五官清晰的大头照或者视频的图像数据，然后基于用户点击进行上传该图像数据，之后，终端设备通过调用应用程序内部算法接口，实时扫描学习该图像数据中用户人脸的面部特征、轮廓、动作和嘴型等等信息。

进一步地，此处终端设备针对该图像数据用户人脸进行扫描学习具体是指：将实时采集到的包含用户人脸的图像数据进行检测与定位，利用从图像数据集中获取的静态或动态图像，通过从其中检测出的局部人脸图像，从复杂的外部背景中把局部人脸结构提取出来并返回人脸的大小、方位和角度等信息，以避免外部光照、面部倾斜角度以及各种各样遮挡物都会对提取的人脸图像结构产生的影响。

进一步地，在另一种可行的实施例中，上述步骤S10，还可以包括：

步骤S102，扫描在预设存储空间中指定的图像数据中的人脸特征，以确定用于在所述视频画面中进行人脸替换的目标人脸。

需要说明的是，在本实施例中，预设存储空间为终端设备内置或者外接，以用于存储包含用户人脸的图像数据的存储空间。

终端设备在接收到人脸替换指令之后，即基于该人脸替换指令所指定的方式，开始从终端设备内置或者外接以用于存储包含用户人脸的图像数据的存储空间当中，读取该包含用户人脸的图像数据，然后，终端设备进一步针对采集到的该图像数据进行扫描学习从而确定当前用于进行人脸替换操作以替换掉该视频画面中待替换人脸的目标人脸。

具体地，例如，在本实施例中，假定预设存储空间为终端设备自身配置的本地图库。若终端设备在接收到用户通过点击“换脸”button触发的人脸替换指令之后，用户在预设时长之内执行进一步操作以从本地图库当中选中了包含用户希望用于进行人脸替换操作的人脸的图片，从而，终端设备即直接确定该图片当中的人脸，即为当前用于针对正在播放中的视频画面进行人脸替换操作以替换掉该视频画面中待替换人脸的目标人脸。

需要说明的是，在本实施例中，同样的，用户自主在本地图库当中选择图像数据时，同样需要满足该图像数据为包括各个方向、维度、光线、表情、动作等五官清晰的大头照或者视频的图像数据，从而，终端设备即可基于调用应用程序内部算法接口，来实时扫描学习该图像数据中的人脸的面部特征、轮廓、动作和嘴型等等信息。

并且，进一步地，此处终端设备针对该图像数据用户人脸进行扫描学习同样指：将实时采集到的包含用户人脸的图像数据进行检测与定位，利用从图像数据集中获取的静态或动态图像，通过从其中检测出的局部人脸图像，从复杂的外部背景中把局部人脸结构提取出来并返回人脸的大小、方位和角度等信息，以避免外部光照、面部倾斜角度以及各种各样遮挡物都会对提取的人脸图像结构产生的影响。

步骤S20，利用优化后的人脸特征提取模型提取所述目标人脸的第一脸部特征和特征组合关系；

终端设备利用经过优化之后的人脸特征提取模型，来学习提取出该目标人脸中的各个第一脸部特征，以及提取得到该各个第一脸部特征相互之间的特征组合关系。

需要说明的是，在本实施例中，由于终端设备在上述针对人脸特征提取模型进行优化的过程中已经结合了脸部特征相互之间的特征距离关系，从而终端设备利用上述优化后的人脸特征提取模型即可直接提取得到目标人脸各个脸部特征以及各个脸部特征相互之间特征组合关系，至于终端设备使用该优化后的人脸特征提取模型提取脸部特征以及特征组合关系的具体方式，与现有基于弱监督方式进行实时人脸替换中使用人脸特征提取模型提取人脸特征的方式相同，本发明人脸替换方法并不针对终端设备应用人脸特征提取模型提取得到各脸部特征和特征组合关系进行具体的限定。

进一步地，在一种可行的实施例中，终端设备在利用经过优化之后的人脸特征提取模型，学习提取出目标人脸中的各个第一脸部特征，以及提取得到该各个第一脸部特征相互之间的特征组合关系之后，还进一步针对该各个第一脸部特征和该特征组合关系进行处理之后形成人脸特征库，以用于后续直接在该人脸特征库当中寻找适合的特征的图像数据来具体对视频画面进行人脸替换操作。

步骤S30，根据所述第一脸部特征和所述特征组合关系，在视频画面中对待替换人脸进行替换。

终端设备在利用经过优化之后的人脸特征提取模型提取出目标人脸中的各个第一脸部特征，以及该各个第一脸部特征相互之间的特征组合关系之后，即可在当前实时播放的视频画面当中，针对该视频画面中需要替换掉的待替换人脸，根据该第一脸部特征和该特征组合关系来进行人脸替换操作。

进一步地，在一种可行的实施例中，上述步骤S30，可以包括：

步骤S301，检测所述视频画面中需要替换掉的待替换人脸，并学习所述待替换人脸的第二脸部特征；

终端设备在根据第一脸部特征和特征组合关系针对视频画面中需要替换掉的待替换人脸进行人脸替换操作的过程中，先基于用户触发的选择操作检测确定该视频画面当中需要替换掉的待替换人脸，然后，利用成熟的机器学习方法学习该待替换人脸的各个第二脸部特征。

具体地，例如，终端设备的用户通过在播放视频画面当中选中自己想要替换人脸的相应人物角色，从而终端设备即基于用户输入的选择操作确定该人物角色对应的人脸即为当前用户需要在该视频画面中替换掉的待替换人脸，从而，终端设备进一步调用成熟的机器学习算法来学习和理解当前实时播放的视频画面中该任务角色对应人脸的面部特征、轮廓、动作和嘴型等各个第二脸部特征。

步骤S302，根据所述第一脸部特征和所述特征组合关系确定与所述第二脸部特征相适配的目标图像数据；

终端设备在学习到待替换人脸的各个第二人脸特征之后，即开始按照各第一脸部特征和各第一脸部特征相互之间特征组合关系，来适配得到与该第二脸部特征从各种角度、表情等维度下均相互适配的目标特征对应的目标图像数据。

进一步地，在一种可行的实施例中，上述步骤S302，可以包括：

步骤S3021，检测所述第一脸部特征中是否存在与所述第二脸部特征相适配的目标特征；

终端设备在按照各第一脸部特征和各第一脸部特征相互之间特征组合关系，来适配与第二脸部特征从各种角度、表情等维度下均相互适配的目标特征对应的目标图像数据时，先检测该全部第一脸部特征当中，是否已经存在直接与该第二脸部特征相互适配的目标特征。

具体地，例如，在本实施例中，终端设备在第一脸部特征当中适配待替换人脸的微笑时眼睛和嘴巴等第二脸部特征时，先检测该全部的第一脸部特征当中，是否直接存在有与该微笑时眼睛和嘴巴等第二脸部特征，从各种角度、表情等维度下均相互适配的目标人脸的微笑时眼睛和嘴巴等第一脸部特征。

步骤S3022，若存在，则按照所述特征组合关系优化所述目标特征对应的图像数据，并将优化后的图像数据确定为所述目标图像数据。

终端设备在检测到全部第一脸部特征当中，已经存在直接与该第二脸部特征相互适配的目标特征时，进一步按照该第一脸部特征相互之间的特征组合关系，来针对该目标特征对应的图像数据进行优化得到优化后的图像数据，并将该优化后的图像数据确定为用于针对待替换人脸执行人脸替换操作的目标图像数据。

具体地，例如，在本实施例中，终端设备在检测到全部的第一脸部特征当中，已经存在有与微笑时眼睛和嘴巴等第二脸部特征，从各种角度、表情等维度下均相互适配的目标人脸的微笑时眼睛和嘴巴等第一脸部特征之后，进一步通过该微笑时眼睛和嘴巴等第一脸部特征相互之间特征组合关系，优化该微笑时眼睛和嘴巴等第一脸部特征对应图像数据中，眼睛特征距离和嘴巴各像素点特征距离，从而得到优化的图像数据作为后续进行实时人脸替换操作的目标图像数据。

进一步地，在另一种可行的实施例中，在上述步骤S3021，检测所述第一脸部特征中是否存在与所述第二脸部特征相适配的目标特征之后，本发明人脸替换方法，还可以包括：

步骤S3023，若不存在，则按照所述第一脸部特征和所述特征组合关系生成所述目标特征，并将所述目标特征对应的图像数据确定为所述目标图像数据。

终端设备在检测到全部第一脸部特征当中，并不存在直接与该第二脸部特征相互适配的目标特征时，终端设备即先按照该第一脸部特征相互之间的特征组合关系，来生成从各种角度、表情等维度下均相互适配的目标人脸的微笑时眼睛和嘴巴等第一脸部特征，然后再按照该第一脸部特征相互之间的特征组合关系，来针对该目标特征对应的图像数据进行优化得到优化后的图像数据，并将该优化后的图像数据确定为用于针对待替换人脸执行人脸替换操作的目标图像数据。

具体地，例如，在本实施例中，终端设备在检测到全部的第一脸部特征当中，并不存在有与微笑时眼睛和嘴巴等第二脸部特征，从各种角度、表情等维度下均相互适配的目标人脸的微笑时眼睛和嘴巴等第一脸部特征，之后，终端设备即按照已有的目标人脸全部的第一脸部特征，和该全部第一脸部特征相互之间的特征组合关系，来生成与微笑时眼睛和嘴巴等第二脸部特征，从各种角度、表情等维度下均相互适配的目标人脸的微笑时眼睛和嘴巴等第一脸部特征，最后，再进一步通过该微笑时眼睛和嘴巴等第一脸部特征相互之间特征组合关系，优化该微笑时眼睛和嘴巴等第一脸部特征对应图像数据中，眼睛特征距离和嘴巴各像素点特征距离，从而得到优化的图像数据作为后续进行实时人脸替换操作的目标图像数据。

步骤S303，在所述视频画面中利用所述目标图像数据替换掉所述待替换人脸。

终端设备在按照各第一脸部特征和各第一脸部特征相互之间特征组合关系，适配得到与第二脸部特征从各种角度、表情等维度下均相互适配的目标特征对应的目标图像数据之后，即可直接使用该目标图像数据在当前播放的视频画面当中针对待替换人脸执行实时人脸替换操作，从而完成对该待替换人脸的实时换脸得到换脸后实时播放的视频画面。

需要说明的是，在本实施例中，终端设备利用目标图像数据执行对待替换人脸的实时换脸操作的具体方式，与现有基于弱监督方式实现实时换脸的操作方式相同，本发明人脸替换方法并不针对终端设备使用目标图像数据执行对待替换人脸的实时换脸操作的方式进行具体地限定。

在本实施例中，通过终端设备在实时播放需要进行人脸替换操作的视频画面的过程当中，接收通过前端预设的指令控件所触发的人脸替换指令，从而，根据该人脸替换指令开始确定用于对当前实时播放的视频画面进行人脸替换操作以替换掉该视频画面中待替换人脸的目标人脸；终端设备利用经过优化之后的人脸特征提取模型，来学习提取出该目标人脸中的各个第一脸部特征，以及提取得到该各个第一脸部特征相互之间的特征组合关系；终端设备在利用经过优化之后的人脸特征提取模型提取出目标人脸中的各个第一脸部特征，以及该各个第一脸部特征相互之间的特征组合关系之后，即可在当前实时播放的视频画面当中，针对该视频画面中需要替换掉的待替换人脸，根据该第一脸部特征和该特征组合关系来进行人脸替换操作。

本发明相比于传统基于弱监督方式提取人脸特征进行实时换脸的方式，本发明不仅能够实现在播放视频画面的同时，实时的扫描学习人脸信息并快速进行人脸替换操作已将学习到的人脸对象要替换掉的角色进行替换，还通过在扫描学习人脸信息的过程中，增加对脸部特征相互之间特征组合关系的提取，来有效的解决因脸部特征相互之间距离关系信息提取不全面而导致的换脸过程灵活性差、换脸后人脸与人物动作表情不协的问题，提高了实时视频画面中人脸替换的灵活性和协调性，使得实时视频画面中人脸替换达成了更加灵活、协调的效果。

进一步地，在一种可行的实施例中，本发明人脸替换方法，还可以包括：

步骤S40，获取所述目标人脸所关联的人物动作的权重等级，并基于所述权重等级针对人脸特征提取模型进行优化；

终端设备在确定出当前用于对实时播放中的视频画面进行人脸替换操作，从而将该视频画面中待替换人脸替换掉的目标人脸之后，进一步根据该目标人脸来获取与该目标人脸相关联的人物动作的权重等级，并在获取到该权重参数之后，进一步基于该权重参数来针对进行人脸替换操作所使用的人脸特征提取模型进行优化。

需要说明的是，在本实施例中，终端设备在确定出当前用于对实时播放中的视频画面进行人脸替换操作，从而将该视频画面中待替换人脸替换掉的目标人脸之后，还针对扫描学习该目标人脸得到的各个脸部特征进行前期特征处理。具体地，该前期特征处理包括但不限于归一化、去除冗余特征信息、增加特征之间的相关信息、去除光线干扰等，例如：终端设备采用任意成熟的处理方式，对从复杂背景中提取出来的局部人脸图像进行预处理操作(具体包括：修正几何形状、虚化图像模式、均衡化直方图和/或者归一化像素灰度值)。

进一步地，在本实施例中，上述步骤S40中，“获取所述目标人脸所关联的人物动作的权重等级”的方法，包括：

步骤S401，检测所述目标人脸的第一脸部特征在各人物动作下的特征影响等级；

终端设备在获取目标人脸相关联的人物动作的权重等级时，先检测该目标人脸的各个脸部特征，在不同人物动作的动作定位或者方向中，所受到不同影响的特征影响等级。

具体地，例如，终端设备通过结合右眼这一单独特征的像素点和光线距离考虑，根据光线强度等计算具体遮挡影响的概率(光线强度越强，遮挡影响的概率越大)，如此，对于右眼作为脸部特征在不同动作定位或者方向中有不同的影响，比如眨眼、睁眼、闭眼、眯眼(眼睛关闭的幅度)、斜视(不同的方向角度)等属于比较明显的眼睛参与的人物动作，因而可确定该人物动作下右眼受到的特征影响等级为一级特征影响，而比如微笑、哭泣、生气、或挑眉、皱眉等眉毛牵动眼睛运动的表情动作，由于眼睛参与动作程度中等，从而可确定该人物动作下右眼受到的特征影响等级为二级特征影响，再比如点头、摇头这种只有头部参与动作，或者张嘴、闭嘴只有嘴巴参与等动作，由于眼睛参与动作程度很低，几乎认为不参与，因此，可确定该人物动作下右眼受到的特征影响等级为三级特征影响。

步骤S402，根据所述特征影响等级适配所述第一脸部特征所关联的各所述人物动作对应的权重参数；

步骤S403，基于所述权重等级优化人脸特征提取模型。

终端设备在检测到目标人脸的各个脸部特征，在不同人物动作的动作定位或者方向中，所受到不同影响的特征影响等级之后，即，进一步按照该特征影响等级适配得到该脸部特征所对应的该不同人物动作对应的权重参数，并获取该权重参数用于后续优化进行人脸替换操作所使用的人脸特征提取模型。

需要说明的是，在本实施例中，权重参数为结合对于目标人脸中某一脸部特征在某一个人物动作下的特征影响等级，来进行加权处理的权重值，该权重参数具体可基于实际应用的不同设计需要具体进行设定，本发明人脸替换方法并不针对该权重参数的具体大小进行限定。

具体地，例如，在本实施例中，假定对于右眼作为脸部特征在不同动作定位或者方向中有不同的影响，比如眨眼、睁眼、闭眼、眯眼(眼睛关闭的幅度)、斜视(不同的方向角度)等属于比较明显的眼睛参与的人物动作，因而可确定该人物动作下右眼受到的特征影响等级为一级特征影响，从而，可以使用一级权重进行加权处理，即，该一级权重即为该右眼所对应该人物动作的权重参数，而比如微笑、哭泣、生气、或挑眉、皱眉等眉毛牵动眼睛运动的表情动作，由于眼睛参与动作程度中等，从而可确定该人物动作下右眼受到的特征影响等级为二级特征影响，则可以使用二级权重进行加权处理，即，该二级权重即为该右眼所对应该人物动作的权重参数，再比如点头、摇头这种只有头部参与动作，或者张嘴、闭嘴只有嘴巴参与等动作，由于眼睛参与动作程度很低，几乎认为不参与，因此，可确定该人物动作下右眼受到的特征影响等级为三级特征影响，则可以使用三级权重进行加权处理，即，该三级权重即为该右眼所对应该人物动作的权重参数。

进一步地，在一种可行的实施例中，上述步骤S40中，“基于所述权重等级针对人脸特征提取模型进行优化”的步骤，可以包括：

步骤S403，基于所述权重等级和所述第一脸部特征相互之间的特征距离针对人脸特征提取模型进行优化，其中，所述特征距离包括但不限于：特征像素距离和特征光线距离。

终端设备在基于目标人脸的脸部特征在不同人物动作下的特征影响等级，来确定出该人物动作对应的权重参数之后，即利用该权重参数并结合该脸部特征相互之间的特征像素距离和特征光线距离，针对进行人脸替换操作所使用的人脸特征提取模型进行优化得到优化后的人脸特征提取模型。

需要说明的是，在本实施例中，进行人脸替换操作所使用的人脸特征提取模型即为以弱监督方式进行实时人脸替换所使用的常规特征向量的平均帧级预测来计算动作概率的算法。

具体地，当视频学习特征过程中出现的帧级动作类标注向量y_t为训练视频的已知帧时，可以以最小化帧级的二元交叉熵损失来训练特征向量f和联合模型h，这里的联合模型函数表示为h(f(I_t))，以每一帧提取的特征向量f为输入，输出其训练模型。由于假设没有可用于训练的基础真值帧级标签，这里的真值帧级标签是指对应视频中每一帧的实际可获得用于训练的标签，表示是否存在作为每列训练视频的真值二进制向量，如果存在这个行为，则其值设置为1，否则设为0。因此，这里仅限于使用视频级标签向量y来训练在测试时预测帧级动作类标注向量y_t的动作定位模型，此处的y_t即为预测每一帧的帧标签向量，通过在测试时使用一个视频级标签向量y训练的模型来获得，而该模型即为动作定位模型。简单来说，就是通过对每一帧视频数据来训练获得特征向量，再通过一个分类网络来将特征向量处理输出为动作分类得分向量，而在测试时即可通过该模型来预测每一帧的帧标签向量，从帧序列获得视频级预测

的简单策略是在整个序列上平均帧级预测，如下所示为人脸特征提取模型的表达式：

这其中，T是序列中的帧数，并且可以随视频而变化，σ是每个帧的预测分数向量上的softmax规范化函数，θ是特征向量f的学习参数，θ_cls是联合模型h的可训练参数。

由于上述人脸特征提取模型，即脸部特征向量的平均帧级预测，是没有考虑特征之间在距离优化方面的关系信息，以脸部特征的特征像素距离和特征光线距离之间的关系为例，特征像素距离表示脸部特征相互之间位置存在的差异优劣，并且决定人脸各个特征在整体的方向布局，而特征光线距离表示脸部特征相互之间的光线差异，人脸各个特征之间的光线移动布局是由特征光线距离决定的，因此，通过不断更新脸部特征相互之间的特征像素距离和特征光线距离，可以实现该脸部特征相互之间的距离优化目标。

具体地，例如，在本实施例中，假设在手臂动作过程中对脸部有所遮挡，这样存在的光影过渡效果不好；但如果考虑脸部各特征像素点之间的差异距离和手臂动作本身带来的光线变化，这样可以在特征提取过程中，不断优化特征像素距离和光线距离，获得更平滑、灵活的换脸效果，在获得每帧动作分类得分向量的基础上，将其各个特征向量对应的像素和光线表示细化，精确定位。因此，终端设备通过在朴素弱监督方法——即上述常规人脸特征提取模型的基础上，提出增加人脸组合特征之间的关系提取，来提取并处理学习到的脸部特征。

假设特征像素距离表示为p＝p₀*(1+cd_ij ²)，其中，p₀表示某脸部特征在各个帧中的最小(原始)像素距离，也就是在d_ij＝0(帧与帧之间的向量化距离为0，即帧重合)时，该脸部特征的最小像素距离，c表示距离系数，c可在距离优化迭代过程中更新。与此同时，因为光线随着距离变化和像素变化的趋势不同，假设光线遵循指数更新规则，则光线距离表示为

其中，l₀表示某特征在各个帧中的最小(原始)光线距离，也就是在d_ij＝0(帧与帧之间的向量化距离为0，即帧重合)时，脸部特征的最小光线距离。

特征像素距离和特征光线距离的表示及其距离系数可以随着具体特征的属性来变化，比如在上述“遮挡右边眼睛”的人物动作适用二级权重的场景下，对于微笑和哭泣两个表情特征其距离属性按理会是相反的，同理，适用一级权重的场景下，对于睁眼和闭眼两个脸部动作特征其距离属性按理也会是相反的，所以上述人脸特征提取模型的表示也要根据具体特征来更新，因而，上述人脸特征提取模型具体可优化为如下所示的优化后的人脸特征提取模型：

需要说明的是，在本实施例中，除了考虑训练特征向量函数f时，其特征像素距离和特征光线距离的关系，还要考虑联合模型函数h计算每帧的动作分类值向量来标记每个帧向量时其像素距离和光线距离的关系。最主要的就是距离优化过程，即通过像素距离p和光线距离l优化特征向量函数f的学习参数θ，以及通过像素距离p_cls和光线距离l_cls优化联合模型函数h的可训练参数θ_cls。同样的，终端设备为了训练这样一个模型，可以将预测概率向量

上的二元交叉熵损失

和其基础真值最小化。在实际测试过程中，终端设备可使用函数h(f(I_t))来标记每个帧，通过联合模型函数h(f(I_t))可以获得每帧I_t的动作分类值向量。

以上，通过增加特征像素距离p和特征光线距离l两个学习训练参数来优化计算得到优化后的人脸特征提取模型，可获得帧级匹配度更高的动作分类值向量，进而获得人脸图像各个特征的优化表示。

进一步地，本发明还提供一种人脸替换系统。请参照图3，图3为本发明人脸替换系统一实施例的功能模块示意图。如图3所示，本发明人脸替换系统包括：

确定模块10，用于确定用于进行人脸替换的目标人脸；

提取模块20，用于利用优化后的人脸特征提取模型提取所述目标人脸的第一脸部特征和特征组合关系；

替换模块30，用于根据所述第一脸部特征和所述特征组合关系，在视频画面中对待替换人脸进行替换。

进一步地，本发明人脸替换系统，还包括：

检测模块，用于检测所述目标人脸的第一脸部特征在各人物动作下的特征影响等级；

适配模块，用于根据所述特征影响等级适配所述第一脸部特征所关联的各所述人物动作对应的权重参数；

模型优化模块，用于基于所述权重等级优化人脸特征提取模型。

进一步地，模型优化模块，包括：

优化单元，用于基于所述权重等级和所述第一脸部特征相互之间的特征距离优化人脸特征提取模型，其中，所述特征距离包括：用于表示脸部特征相互之间位置差异的特征像素距离和用于表示脸部特征相互之间光线差异的特征光线距离。

进一步地，替换模块30，包括：

第二检测单元，用于检测所述视频画面中需要替换掉的待替换人脸，并学习所述待替换人脸的第二脸部特征；

适配单元，用于根据所述第一脸部特征和所述特征组合关系确定与所述第二脸部特征相适配的目标图像数据；

替换单元，用于在所述视频画面中利用所述目标图像数据替换掉所述待替换人脸。

进一步地，适配单元，还包括：

检测子单元，用于检测所述第一脸部特征中是否存在与所述第二脸部特征相适配的目标特征；

第一适配子单元，用于若存在，则按照所述特征组合关系优化所述目标特征对应的图像数据，并将优化后的图像数据确定为所述目标图像数据。

进一步地，适配单元，还包括：

第二适配子单元，用于若不存在，则按照所述第一脸部特征和所述特征组合关系生成所述目标特征，并将所述目标特征对应的图像数据确定为所述目标图像数据。

进一步地，确定模块10，还用于扫描预设图像采集装置实时采集到的图像数据中的人脸特征，以确定用于在所述视频画面中进行人脸替换的目标人脸；或者，扫描在预设存储空间中指定的图像数据中的人脸特征，以确定用于在所述视频画面中进行人脸替换的目标人脸。

其中，上述人脸替换系统中各个模块的功能实现与上述人脸替换方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。

本发明还提供一种计算机存储介质，所述计算机存储介质包括计算机程序，所述计算机程序被处理器执行时实现如以上任一项实施例所述的人脸替换方法的步骤。

本发明计算机存储介质的具体实施例与上述人脸替换方法各实施例基本相同，在此不作赘述。

本发明还提供一种计算机存储介质，该计算机存储介质上存储有人脸替换程序，所述人脸替换程序被处理器执行时实现如以上任一项实施例所述的人脸替换方法的步骤。

本发明计算机存储介质的具体实施例与上述人脸替换方法各实施例基本相同，在此不作赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种人脸替换方法，其特征在于，所述人脸替换方法包括：

确定用于进行人脸替换的目标人脸；

利用优化后的人脸特征提取模型提取所述目标人脸的第一脸部特征和特征组合关系；

根据所述第一脸部特征和所述特征组合关系，在视频画面中对待替换人脸进行替换。

2.如权利要求1所述的人脸替换方法，其特征在于，所述方法还包括：

检测所述目标人脸的第一脸部特征在各人物动作下的特征影响等级；

根据所述特征影响等级适配所述第一脸部特征所关联的各所述人物动作对应的权重参数；

基于所述权重等级优化人脸特征提取模型。

3.如权利要求2所述的人脸替换方法，其特征在于，所述基于所述权重等级针对人脸特征提取模型进行优化的步骤，包括：

基于所述权重等级和所述第一脸部特征相互之间的特征距离优化人脸特征提取模型，其中，所述特征距离包括：用于表示脸部特征相互之间位置差异的特征像素距离和用于表示脸部特征相互之间光线差异的特征光线距离。

4.如权利要求1所述的人脸替换方法，其特征在于，所述根据所述第一脸部特征和所述特征组合关系，在视频画面中对待替换人脸进行替换的步骤，包括：

检测所述视频画面中需要替换掉的待替换人脸，并学习所述待替换人脸的第二脸部特征；

根据所述第一脸部特征和所述特征组合关系确定与所述第二脸部特征相适配的目标图像数据；

在所述视频画面中利用所述目标图像数据替换掉所述待替换人脸。

5.如权利要求4所述的人脸替换方法，其特征在于，所述根据所述第一脸部特征和所述特征组合关系确定与所述第二脸部特征相适配的目标图像数据的步骤，包括：

检测所述第一脸部特征中是否存在与所述第二脸部特征相适配的目标特征；

若存在，则按照所述特征组合关系优化所述目标特征对应的图像数据，并将优化后的图像数据确定为所述目标图像数据。

6.如权利要求5所述的人脸替换方法，其特征在于，在所述检测所述第一脸部特征中是否存在与所述第二脸部特征相适配的目标特征的步骤之后，还包括：

若不存在，则按照所述第一脸部特征和所述特征组合关系生成所述目标特征，并将所述目标特征对应的图像数据确定为所述目标图像数据。

7.如权利要求1至6任一项所述的人脸替换方法，其特征在于，所述确定用于进行人脸替换的目标人脸的步骤，包括：

扫描预设图像采集装置实时采集到的图像数据中的人脸特征，以确定用于在所述视频画面中进行人脸替换的目标人脸；或者，

扫描在预设存储空间中指定的图像数据中的人脸特征，以确定用于在所述视频画面中进行人脸替换的目标人脸。

8.一种人脸替换系统，其特征在于，所述人脸替换系统包括：

确定模块，用于确定用于进行人脸替换的目标人脸；

提取模块，用于利用优化后的人脸特征提取模型提取所述目标人脸的第一脸部特征和特征组合关系；

替换模块，用于根据所述第一脸部特征和所述特征组合关系，在视频画面中对待替换人脸进行替换。

9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸替换程序，所述被所述处理器执行时实现如权利要求1至7中任一项所述的人脸替换方法的步骤。

10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有人脸替换程序，所述人脸替换程序被处理器执行时实现如权利要求1至7中任一项所述的人脸替换方法的步骤。

Images