CN110889381B - 换脸方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种换脸方法、装置、电子设备及存储介质。所述方法包括：获取待替换数据，所述待替换数据包括待替换人物的人脸图像以及与所述人脸图像对应的五官掩膜；将所述待替换数据输入换脸模型得到目标图像，所述目标图像具有目标人物的脸型特征以及所述待替换人物的表情特征，所述换脸模型用于对任意输入的图像以及对应的五官掩膜进行编码后再解码，获得具有输入的图像中的表情特征以及目标人物的脸型特征的图像；输出所述目标图像。将人脸图像拆分为人脸图像，以及人脸图像对应的表情特征表示的五官掩膜两部分，在降低用户录制的训练数据的难度的同时提升换脸的效果，从而提升了用户的使用体验。

Description

换脸方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理领域，更具体地，涉及一种换脸方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的不断发展，大众娱乐社交性质的应用程序不断增多，通常人们可以通过相关应用程序进行人脸替换，其中，可以是将指定的人物的脸部替换的为自己的脸，从而实现换脸进行娱乐的目的。

通常，换脸的实现需要依赖于网络模型，通过对网络模型的训练实现换脸功能，在实际使用换脸时，可能会出现换脸失败的情况，从而影响到用户的使用体验。

发明内容

本申请提出了一种换脸方法、装置、电子设备及存储介质，以提升用户的使用体验。

第一方面，本申请实施例提供了一种换脸方法，该方法包括：获取待替换数据，所述待替换数据包括待替换人物的人脸图像以及与所述人脸图像对应的五官掩膜，所述人脸图像对应的五官掩膜表示所述待替换人物的表情特征；将所述待替换数据输入换脸模型得到目标图像，所述目标图像具有目标人物的脸型特征以及所述待替换人物的表情特征，所述换脸模型用于对任意输入的图像以及对应的五官掩膜进行编码后再解码，获得具有输入的图像中的表情特征以及目标人物的脸型特征的图像；输出所述目标图像。

第二方面，本申请实施例提供了一种换脸装置，该装置包括：获取模块，用于获取待替换数据，所述待替换数据包括待替换人物的人脸图像以及与所述人脸图像对应的五官掩膜，所述人脸图像对应的五官掩膜表示所述待替换人物的表情特征；换脸模块，用于将所述待替换数据输入换脸模型得到目标图像，所述目标图像具有目标人物的脸型特征以及所述待替换人物的表情特征，所述换脸模型用于对任意输入的图像以及对应的五官掩膜进行编码后再解码，获得具有输入的图像中的表情特征以及目标人物的脸型特征的图像；输出模块，用于输出所述目标图像。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括一个或多个处理器；存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如上述应用于电子设备的方法。

第四方面，本申请实施列提供一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

本申请实施例提供的换脸方法、装置、电子设备及存储介质，获取待替换数据，所述待替换数据包括待替换人物的人脸图像以及与所述人脸图像对应的五官掩膜，所述人脸图像对应的五官掩膜表示所述待替换人物的表情特征；将所述待替换数据输入换脸模型的到目标图像，所述目标图像具有目标人物的脸型特征以及所述待替换人物的表情特征。从而实现目标人物与待替换人物之间的换脸，通过人脸图像拆分为人脸图像，以及人脸图像对应的表情特征表示的五官掩膜两部分，在降低用户录制的训练数据的难度的同时提升换脸的效果，从而提升了用户的使用体验。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种适用于本申请实施例提供的换脸方法的应用环境示意图。

图2示出了本申请一个实施例提供的换脸方法的流程图。

图3示出了本申请另一个实施例提供的换脸方法的流程图。

图4示出了本申请一个实施例提供的换脸模型的架构图。

图5示出了在图3所提供的实施例的基础上提供换脸方法的部分步骤的流程图。

图6示出了本申请一个实施例提供的对换脸模型训练一个训练路径的输入输出示意图。

图7示出了本申请一个实施例提供的对换脸模型训练的另一个训练路径输入输出示意图。

图8示出了本申请一个实施例提供的对换脸模型训练的再一个训练路径输入输出示意图。

图9示出了本申请又一个实施例提供的换脸方法的流程图。

图10示出了本申请一个实施例提供的换脸装置的功能模块图。

图11示出了本申请实施例提出的用于执行根据本申请实施例的换脸方法的电子设备的结构框图。

图12示出了本申请实施例提供的用于保存或者携带实现根据本申请实施例的换脸方法的程序代码的存储介质。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

随着互联网的普及，越来越多的娱乐应用进入到人们的视野中，随着人工智能技术的兴起，换脸技术逐渐出现在人们的视野中。换脸，通常是在静态或正脸的标准人脸图像中，通过图像处理技术的抠图和移动等，可以实现换脸。然而，这种换脸技术通常停留在静态图像的替换，无法满足用户的换脸需求。

随着人工智能的发展，涌现出了许多依靠人工智能技术，实现换脸的功能，这种技术被广泛应用于娱乐中，由此出现了很多换脸的应用程序。用户在使用这些应用程序实现换脸功能时，通常需要提供目标人物的图像以及待替换人物的图像，从而实现换脸功能，其中，所述目标人物可以定义为想要进行换脸的人物，待替换人物可以定义为需要对脸部进行替换的人物。例如，目标人物为小明，待替换人物为小红，在换脸后得到的图像则为小明的脸型以及小红的表情所组成的图像。

在相关的换脸技术中，在进行换脸时，若不存在目标人物的某一个表情，则无法得到与该表情图像相对应的目标图像，目标图像则为成功换脸后得到的图像。例如，目标人物的训练视频中没有侧脸张嘴的表情，那么当使用任意一张侧脸张嘴的表情的图像进行换脸时，生成的目标图像要么是模糊的，要么就是侧脸张不开嘴的，最终导致在侧脸张嘴下的换脸失败。发明人通过研究发现，上述相关的换脸技术中，通过任意一张图像生成目标图像时，采用的是间接的循环一致性约束，这一约束本质上还是属于自己的表情驱动自己的一种重构损失，而且这也限定了只有目标人物已存在的表情才能够进行这一重构和驱动。因此对于不存在于目标人物的表情的一张图像，则无法得到与该图像相对应表情的目标图像。并且，如果想要换脸的效果好，那就需要目标人物的训练视频包含所有角度下的所有表情。这对于目标人物即使用者来说，训练数据的录制成本太高以至于失去广泛使用的意义。

发明人发现，若是将人脸图像看做两个部分，即人脸图像以及表示人脸图像中的表情特征的五官掩膜，将这两部分对输入换脸模型进行训练，并且在训练时，引入交叉路径，并且交叉路径中输入的五官掩膜和输出的五官掩膜进行L1损失作为约束，可以实现将目标人物在特定角度下的表情迁移到各个角度下，从而可以降低目标人物录制训练数据的难度，并且可以提升换脸的效果。

因此，发明人提出了本申请实施例中的换脸方法，获取待替换数据，所述待替换数据包括待替换人物的人脸图像以及与所述人脸图像对应的五官掩膜，所述人脸图像具有待替换人物的表情特征，所述人脸图像对应的五官掩膜表示所述待替换人物的表情特征；将所述待替换数据输入换脸模型得到目标图像，所述目标图像具有目标人物的脸型特征以及所述待替换人物的表情特征，所述换脸模型用于对任意输入的图像以及对应的五官掩膜进行编码后再解码，获得具有输入的图像中的表情特征以及目标人物的脸型特征的图像；输出所述目标图像。将人脸图像拆分为人脸图像，以及人脸图像对应的表情特征表示的五官掩膜两部分，在降低用户录制的训练数据的难度的同时提升换脸的效果，从而提升了用户的使用体验。

请参阅图1，示出了本申请实施例提供的换脸方法的应用环境10，该应用环境10包括：电子设备11，服务器12，以及网络13。其中，电子设备11可以是手机、平板电脑、笔记本电脑、智能电视等可以支持应用程序的电子设备。服务器12可以是本地服务器或云服务器。网络13可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。

电子设备11和服务器12通过网络13连接以实现换脸。在进行换脸之前，需要对换脸模型进行训练，在本申请实施例中，换脸模型的训练可以是在服务器12中进行，在训练好换脸模型后，服务器12可以接收电子设备11发送的待替换数据，在服务器12中实现换脸，生成对应的目标图像后，将目标图像发送给电子设备11，以实现换脸。

基于该应用环境，在进行换脸之前，对换脸模型进行训练并实现换脸还存在一些其他的实现方式。

在一些实施方式中，换脸模型的训练可以是在电子设备11中进行，在训练好换脸模型后，接收用户输入的待替换数据，实现换脸。电子设备11也可以将训练好的换脸模型的参数通过网络13发送给服务器12进行备份。

在一些实施方式中，可以是在服务器12中训练换脸模型，将训练后好的换脸模型通过网络13发送至电子设备11实现换脸。电子设备11可以运行与换脸相关的应用程序，电子设备11获取使用者也就是目标人物实时录制的训练数据，电子设备11将训练数据通过网络13发送给服务器12，服务器12基于接收到的训练数据以及公开的数据集，对换脸模型进行训练，训练好换脸模型后，将训练好的换脸模型的参数通过网络13发送至电子设备11，从而电子设备11可以实现换脸功能。例如，电子设备11中存储的换脸模型为目标人物录制的训练数据训练出的换脸模型，目标人物对应的图像为15，任意输入一张图像14输入换脸模型中，即可以获得换脸后的目标图像16，目标图像16保留了图像15的脸型特征以及图像14的表情特征。

在本申请实施例中，对换脸模型的训练主要是在服务器中进行，通过服务器对换脸模型的训练，基于训练好的换脸模型则可以实现本申请实施例提供的换脸方法。

请参阅图2，本申请实施例提供了一种换脸方法，基于上述应用环境实现该换脸方法。具体的该方法可以包括：

步骤S110，获取待替换数据，所述待替换数据包括待替换人物的人脸图像以及与所述人脸图像对应的五官掩膜。

获取待替换数据，其中，待替换数据为用户任意输入的图像以及对应的五官掩膜，所述人脸图像对应的五官掩膜表示待替换人物的表情特征。

在人脸图像中，通常由人物的脸型特征和表情特征构成整个人脸图像，也就是说人脸图像具有表情特征和脸型特征，且人脸图像是一个整体。获取到人脸图像后，可以通过人脸关键点检测，定位出人脸图像中人脸面部的五官区域位置，例如，眉毛、眼睛、嘴巴等，从而可以对检测所述人脸图像中的待替换人物的关键点中的五官部分进行连接后，进行平滑处理得得到与所述待替换人物的人脸图像对应的五官掩膜。

例如，对待替换人物的人脸图像进行关键点检测，可以是检测人脸的68个关键点，在检测到68个关键点后，可以将68个关键点中的五官部分，即眉毛，眼睛，嘴巴，鼻子的关键点，进行连接并平滑处理后可以得到，由于所述五官掩膜由人脸关键点得到，因此可以用五官掩膜来表示所述待替换人物的表情特征。其中，对人脸图像进行关键点检测的关键点的数量可以根据实际的需要进行选择，在此不做限定。

作为一种实施方式，在获取待替换数据时，可以直接获取到待替换人物的人脸图像以及与所述人脸图像对应的五官掩膜，即预先对人脸图像进行关键点识别得到与人脸图像对应的五官掩膜。

作为另一种实施方式，在获取待替换数据时，可以是先获取到待替换人物的人脸图像，在获取到待替换人物的人脸图像后，进行人脸关键点检测，得到与所述待替换人物的人脸图像对应的五官掩膜，将所述待替换人物的人脸图像以及与所述待替换人物的人脸图像对应的五官掩膜作为所述待替换数据。

由此，在获取的待替换数据中则包括待替换人物的人脸图像，以及与所述人脸图像对应的五官掩膜。其中，所述待替换数据中的待替换人物的人脸图像的来源可以是用户上传的图像或是视频，或是从预设图像库中随机选取的一张图像，具体的所述待替换人物的人脸图像的来源可根据实际的需要进行设置，在此不做具体限定。

步骤S120，将所述待替换数据输入换脸模型得到目标图像，所述目标图像具有目标人物的脸型特征以及所述待替换人物的表情特征。

在获取到所述待替换数据后，可以将所述待替换数据输入到换脸模型中进行换脸，得到目标图像，其中，所述目标图像具有目标人物的脸型特征以及所述待替换人物的表情特征，从而得到的目标图像中，已经实现了对应的换脸功能。换脸模型用于对任意输入的图像以及对应的五官掩膜进行编码后再解码，获得具有输入的图像中的表情特征以及目标人物的脸型特征的图像。

要实现换脸功能，至少需要两个对象，也就是目标人物和待替换人物。通常换脸模型需要进行训练后，才能实现换脸功能，此处的换脸模型可以理解为已经训练完毕，可以实现待替换人物与目标人物之间的换脸。

在获取到待替换数据后，获取到的待替换数据中包括待替换人物的人脸图像以及对应的五官掩膜，以所述待替换数据作为输入，输入已经训练好的换脸模型中，则可以得到具有输入的图像中的表情特征以及目标人物的脸型特征的目标图像。那么训练好的换脸模型则将所述待替换人物的脸型特征替换为所述目标人物的脸型特征，实现了换脸的功能。

步骤S130，输出所述目标图像。

在将待替换数据输入换脸模型后，得到目标图像，将所述目标图像输出，对所述目标图像进行处理，则可以实现对应的换脸功能。例如，用户X为目标人物，用户Y为待替换人物，提供的用户Y的相关的图像可能包括了四肢图像，背景图像以及人脸图像，在进行换脸时，可以是获取到用户Y的人脸图像以及对应的五官掩膜，输入所述训练好的换脸模型中，则可以输出一个具有用户Y的表情以及用户X的脸型的目标图像。将所述目标图像通过图像处理与提供的用户Y的相关的图像进行融合，即用所述目标图像替换掉提供的用户Y的相关的图像中的人脸图像，保留四肢图像以及背景图像，从而可以实现换脸的功能。

本申请提出的换脸方法，获取待替换数据，所述待替换数据包括待替换人物的人脸图像以及与所述人脸图像对应的五官掩膜；将所述待替换数据输入换脸模型得到目标图像，所述目标图像具有目标人物的脸型特征以及所述待替换人物的表情特征；输出所述目标图像。将人脸图像拆分为人脸图像，以及人脸图像对应的表情特征表示的五官掩膜两部分，在降低用户录制的训练数据的难度的同时提升换脸的效果，从而提升了用户的使用体验。

请参阅图3，本申请又一实施例提供了一种换脸方法，本实施例在前述实施例的基础上，重点描述了对所述换脸模型进行训练的过程。如图3所示，该方法可以包括：

步骤S210，获取目标人物录入的训练数据作为第一样本集，所述训练数据包括具有目标人物的多种表情特征，以及在各个角度下的脸型特征的多帧图像。

在对换脸模型进行训练时，需要获取目标人物录入的训练数据作为第一样本集，其中，目标人物定义正在使用换脸模型的用户，所述训练数据包括具有目标人物的多种表情特征，以及在各个角度下的脸型特征的多帧图像。那么在用户录制的训练数据中，需要用户录制正脸情况下的各种表情，例如，喜怒哀乐，说话，眨眼等常见的表情，以及上下左右转动脸部得到的不同角度的脸部的数据。用户录制的训练数据的形式可以是一个短视频，在该短视频中，包括具有目标人物的多种表情特征，以及在各个角度下的脸型特征的多帧图像。

步骤S220，获取第二样本集，所述第二样本集包括具有不同人物的表情特征以及脸型特征的多张人脸图像。

获取第二样本集，所述第二样本集可以选择公开数据集中的人脸图，如cacd2000等，其中，所述第二样本集中包括具有不同人物的表情特征以及脸型特征的多张人脸图像，也就是说，在第二样本集中，为多个不同的人物的人脸图像。

步骤S230，基于所述第一样本集和所述第二样本集对所述换脸模型进行训练。

在获取到第一样本集和第二样本集后，可以基于所述第一样本集和所述第二样本集对换脸模型进行训练。可参阅图4，示出了换脸模型300的网络架构图，在图4中，所述换脸模型300由一个编码器310，第一解码器320以及第二解码器330构成。其中，编码器310用于从输入的人脸图像以及对应的五官掩膜中提取特征；第一解码器320只对输入为第一样本集中的图像以及对应的五官掩膜被编码器310编码后的特征进行解码，生成与输入的第一样本集中的图像以及对应的五官掩膜相同的图像以及对应的五官掩膜；第二解码器330只对输入为第二样本集中的图像以及对应的五官掩膜被编码器310编码后的特征进行解码，生成与输入的第二样本集中的图像以及对应的五官掩膜相同的图像以及对应的五官掩膜。由此，通过第一样本集和第二样本集可以对换脸模型进行训练，从而确定编码器310，第一解码器320以及第二解码器330的参数，以实现在输入第二样本集中的任意一个图像以及对应的五官掩膜时，通过编码器以及第一解码器可以得到换脸图像，所述换脸图像具有所述目标人物的脸型特征以及输入的第二样本集中的图像中的表情特征。具体的，基于换脸模型300的网络架构，对换脸模型的训练的过程中主要包括三条训练路径，第一重构路径，第二重构路径以及交叉路径。具体的，可参照图5，示出了对换脸模型的训练的详细过程，包括以下步骤：

步骤S231，从所述第一样本集中选取图像作为替换图像，从所述第二样本集中选取图像作为原始图像。

第一样本集和第二样本集中分别包括多张图像，在将第一样本集中的图像以及第二样本集中的图像输入换脸模型进行训练之前，可以对第一样本集和第二样本集中的图像进行预设处理，例如模糊，裁剪，加噪声，形变等操作，并将第一样本集和第二样本集中的图像归一化为[0,1]的256分辨率大小，以便于输入换脸模型进行训练。还可以将所述第一样本集和第二样本集中的图像进行人脸识别，获取第一样本集和第二样本集中每个图像所对应的五官掩膜图。其中将第一样本集中选取的图像作为替换图像，将第二样本集中选取的图像作为原始图像，以输入换脸模型，对换脸模型进行训练。

步骤S232，基于所述替换图像以及所述替换图像对应的五官掩膜对编码器以及第一解码器进行训练，使所述第一解码器生成具有目标人物脸型特征的图像。

将第一样本集中任意一张图像作为替换图像，将所述替换图像以及与所述替换图像对应的五官掩膜输入编码器，并将编码器生成的编码输入第一解码器，得到重构替换图像以及对应的重构掩膜，即为第一重构路径。获取所述替换图像与所述重构替换图像之间的损失，以及替换图像对应的五官掩膜与所述重构替换图像对应的重构掩膜之间的损失，获得第一重构损失。从而可以根据第一重构损失对编码器以及第一解码器参数进行优化。

其中，在将替换图像以及对应的五官掩膜输入编码器得到对应的编码后，将编码输入所述的第一解码器得到的结果应该与输入一致，也就是说，第一解码器可以基于编码器的编码，重建替换图像以及对应五官掩膜。第一重构损失由两部分组成，一部分为输入的替换图像与所述输出的重构替换图像之间的结构相似性，另一部分为输入的替换图像对应的五官掩膜与输出的重构替换图像对应的重构掩膜求L1损失。若定义替换图像为A，与替换图像对应的五官掩膜为MA，重构替换图像则为A’，与重构替换图像对应的重构掩膜则为MA′的那么第一重构损失可以表示为Loss1＝DSSIM(A,A′)+SL1(MA,MA′)，从而可以通过第一重构损失对编码器以及第一解码器的参数进行优化。第一重构损失对编码器以及第一解码器的参数的优化，使替换图像与重构替换图像之间趋于一致，以及使替换图像对应的五官掩膜与重构替换图像对应的重构掩膜趋于一致，又由于第一样本集中的替换图像具有目标人物的脸型特征以及表情特征，从而，通过第一重构路径的训练，第一解码器输出的图像中具有目标人物的脸型特征以及表情特征。

具体的，可参阅图6，示出了第一重构路径的输入输出的示意图。其中，替换图像A与替换图像对应的五官掩膜MA作为输入，经过编码器310以及的第一解码器320得到重构替换图像A′以及与重构替换图像对应的重构掩膜MA′。其中，通过第一重构损失的约束，使替换图像A和重构替换图像A′趋于一致，替换图像对应的五官掩膜MA与重构替换图像对应的五官掩膜MA′趋于一致。

步骤S233，基于所述原始图像以及所述原始图像对应的五官掩膜对编码器以及第二解码器进行训练，使所述编码器生成的编码包括所述原始图像中的表情特征。

将第二样本集中任意一张图像作为原始图像，将所述原始图像以及与所述原始图像对应的五官掩膜输入编码器，并将编码器生成的编码输入第二解码器，得到重构原始图像以及对应的重构掩膜，即为第二重构路径。获取所述原始图像与所述重构原始图像之间的损失，以及原始图像对应的五官掩膜与所述重构原始图像对应的重构掩膜之间的损失，获得第二重构损失。从而可以根据第二重构损失对编码器以及第二解码器参数进行优化。

其中，在将原始图像以及对应的五官掩膜输入编码器得到对应的编码后，将编码输入所述的第二解码器得到的结果应该与输入一致，也就是说，第二解码器可以基于编码器的编码，重建原始图像以及对应五官掩膜。

第二重构损失由两部分组成，一部分为输入的原始图像与所述输出的重构原始图像之间的结构相似性，另一部分为输入的原始图像对应的五官掩膜与输出的重构原始图像对应的重构掩膜求L1损失。若定义原始图像为B，与原始图像对应的五官掩膜为MB，重构原始图像则为B′，与重构原始图像对应的重构掩膜则为MB′的那么第二重构损失可以表示为Loss2＝DSSIM(B,B′)+SL1(MB,MB′)，从而可以通过第二重构损失对编码器以及第二解码器的参数进行优化。第二重构损失对编码器以及第二解码器的参数的优化，使原始图像与重构原始图像之间趋于一致，以及使原始图像对应的五官掩膜与重构原始图像对应的重构掩膜趋于一致，又由于从第二样本集中选取的不同原始图像为不同的人物的人脸图像，从而，通过第二重构路径对编码器以及第二解码器的训练，向编码器输入不同人物的人脸图像，编码器生成的编码包括该输入的图像的特征，即包括输入的人脸图像的表情特征及脸型特征，第二解码器输出的图像具有输入的人脸图像的表情特征及脸型特征。

具体的，可参阅图7，示出了第二重构路径的输入输出的示意图。其中，原始图像B与原始图像对应的五官掩膜MB作为输入，经过编码器310以及的第二解码器330得到重构原始图像以及与重构原始图像对应的重构掩膜MB′。其中，通过第二重构损失的约束使原始图像B和重构原始图像B′趋于一致，原始图像对应的五官掩膜MB与重构原始图像对应的五官掩膜MB′趋于一致。

步骤S234，基于所述原始图像以及所述原始图像对应的五官掩膜对所述编码器以及所述第一解码器进行训练，使所述第一解码器输出具有目标人物脸型特征以及原始图像中的表情特征的图像。

将第二样本集中任意一张图像作为原始图像，将所述原始图像以及与所述原始图像对应的五官掩膜输入编码器，并将编码器生成的编码输入第一解码器，得到换脸图像以及与所述换脸图像对应的五官掩膜，其中所述换脸图像具有目标人物的脸型特征以及原始图像中的表情特征，即为交叉路径。获取所述原始图像对应的五官掩膜与所述换脸图像对应的五官掩膜之间的边界损失。从而可以根据边界损失对编码器以及第一解码器的参数进行优化。

第一解码器为针对单一人物的解码器，第二解码器为多个不同的人物的解码器，在将原始图像以及对应的五官掩膜输入编码器后，得到对应的编码，再将该编码输入第一解码器中，期望的输出结果为具有目标人物的脸型特征以及原始图像中的表情特征的换脸图像以及与换脸图像对应的五官掩膜。在将所述原始图像以及对应的五官掩膜输入编码器后，可以得到对应的编码，再将该编码输入第一解码器时，由于第一解码器可以对目标人物的图像进行重构，由此通过第一解码器可以得到目标人物的脸型特征，而第一解码器具有不同的表情特征的重构功能，从而可以对输入的五官掩膜以及输出的五官掩膜进行约束，从而使得输入的五官掩膜与输出的五官掩膜之间的差距最小，则可以输出具有目标人物的脸型特征以及原始图像中的表情特征的换脸图像以及与换脸图像对应的五官掩膜。

也就是说，需要对输入的原始图像对应的五官掩膜与输出的换脸图像对应的五官掩膜进行约束，则可以获取到期望的换脸图像。由此，可以获取所述原始图像对应的五官掩膜与所述换脸图像对应的五官掩膜之间的边界损失，根据所述边界损失编码器以及第一解码器的参数进行优化。

若定义替换图像为A，与替换图像对应的五官掩膜为MA，原始图像为B，与原始图像对应的五官掩膜为MB，换脸图像为AB，与换脸图像对应的五官掩膜为MAB那么边界损失可以表示为Loss3＝SL1(MB,MAB)。

具体的，可参阅图8，示出了交叉路径的输入输出的示意图。其中，原始图像B与原始图像对应的五官掩膜MB作为输入，经过编码器310以及的第一解码器320得到换脸图像AB以及与所述换脸图像对应的五官掩膜MAB。其中，换脸图像对应的五官掩膜MAB与原始图像对应的五官掩膜MB通过边界损失的约束趋于一致。

在基于第一样本集和第二样本集对换脸模型进行三条路径训练时，可以得到整个训练过程的训练损失为Loss＝Loss1+Loss2+α*Loss3，其中α为边界损失所占的权重，其取值可以是0.5。由于第一样本集和第二样本集中包括多个图像，从而可以循环执行从所述第一样本集中选取图像作为替换图像，从所述第二样本集中选取图像作为原始图像的步骤至基于所述原始图像以及所述原始图像对应的五官掩膜对所述编码器以及所述第一解码器进行训练，使所述第一解码器输出具有目标人物脸型特征以及原始图像中的表情特征的图像的步骤，直到所述换脸模型的训练损失即Loss的值小于预设值。在所述训练损失小于预设值时，可以获取到对应的编码器和第一解码器的参数，从而可以得到训练后的换脸模型。需要说明的是，在对换脸模型进行训练时，步骤S232、步骤S233以及步骤S234可以同时进行，不断从第一样本集和第二样本集中选取图像对换脸模型进行训练，以得到训练好的换脸模型。

在换脸模型训练好后，在实现换脸功能时，只需要将任意输入的图像输入编码器得到对应的编码，再将所述编码输入第一解码器中，则可以实现换脸的功能。换脸模型的输入为人脸图像以及对应的五官掩膜图，从而可以将表情特征从人脸图像中分离出来，在目标人物仅提供了正脸下的各个表情时，可以将各个表情迁移到不同角度的人脸下，从而可以避免目标人物在每个角度下，重复录入各种表情，降低了目标人物录制训练数据的难度，并且可以提升换脸的效果，从而提升用户的使用体验。

步骤S240，获取待替换数据，所述待替换数据包括待替换人物的人脸图像以及与所述人脸图像对应的五官掩膜。

步骤S250，将所述待替换数据输入换脸模型得到目标图像，所述目标图像具有目标人物的脸型特征以及所述待替换人物的表情特征。

步骤S260，输出所述目标图像。

步骤S240至步骤S260可参照前述实施例对应部分，在此不再赘述。

本申请提出的换脸方法，从所述第一样本集中选取图像作为替换图像，从所述第二样本集中选取图像作为原始图像；基于所述替换图像以及所述替换图像对应的五官掩膜对编码器以及第一解码器进行训练，使所述第一解码器生成具有目标人物脸型特征的图像，基于所述原始图像以及所述原始图像对应的五官掩膜对编码器以及第二解码器进行训练，使所述编码器生成的编码包括所述原始图像中的表情特征；基于所述原始图像以及所述原始图像对应的五官掩膜对所述编码器以及所述第一解码器进行训练，使所述第一解码器输出具有目标人物脸型特征以及原始图像中的表情特征的图像，以对换脸模型进行训练。

在训练时，引入边界损失对输入输出进行约束，将对换脸模型的训练过程拆解为重构路径的训练和交叉路径的训练，从而实现将目标人物在特定角度姿势下出现过的表情迁移至任意角度姿态下生成换脸结果，从而可以大幅度降低用户训练数据的收集难度，从人脸图像中提取对应的表情特征作为与人脸图像对应的五官掩膜，实现将固定角度的脸型下的表情迁移至任意角度下的脸型，提升了换脸的效果，从而可以提升用户的使用体验。

请参阅图9，本申请另一实施例提供了一种换脸方法，在上一实施例的基础上重点描述了在将所述待替换数据输入换脸模型得到目标图像之前的过程。

具体的，该方法可以包括：

步骤S410，获取待替换数据，所述待替换数据包括待替换人物的人脸图像以及与所述人脸图像对应的五官掩膜。

步骤S410可参照前述实施例对应部分，在此不再赘述。

步骤S420，判断目标人物是否对所述换脸模型进行训练，若否，执行步骤S430；若是，执行步骤S440。

在将待替换数据输入换脸模型得到目标图像时，只有在换脸模型进行训练后，才能实现对应的换脸功能，因此，获取到待替换数据之后，可以先判断目标人物是否对所述换脸模型进行训练，其中，目标人物可以是正在使用换脸模型的用户。若判定所述目标人物对所述换脸模型进行训练，则执行步骤S430；若判定所述目标人物没有对所述换脸模型进行训练，则执行步骤S440。

作为一种实施方式，可以判断所述目标人物是否上传对应的训练数据，其中，所述训练数据用于训练换脸模型以实现换脸功能，在检测到训练数据时，则表明已经对换脸模型进行训练，此时的换脸模型可以实现换脸功能。具体的，可以通过应用程序提供训练数据的上传接口，在上传训练数据后，可以产生对应的上传记录，从而可以查询是否存在所述上传记录。若存在所述上传记录，则可以判定目标人物对所述换脸模型进行训练，表示换脸模型已经训练好，可以实现换脸功能；若不存在所述上传记录，表示直接将待替换数据输入没有训练的换脸模型，不能实现换脸功能，则可以判定目标人物没有对所述换脸模型进行训练。

作为一种实施方式，在对换脸模型进行训练后，可以产生对应的训练日志，若没有对换脸模型进行训练，则不会产生所述训练日志，在获取到待替换数据后，还可以判断是否存在对应的训练日志，若存在，则可以判定目标人物对所述换脸模型进行训练，表示换脸模型已经训练好，可以实现换脸功能；若不存在所述训练日志，表示直接将待替换数据输入没有训练的换脸模型，不能实现换脸功能，则可以判定目标人物没有对所述换脸模型进行训练。

作为一种实施方式，没有训练的换脸模型的参数为初始参数，训练好的换脸模型的参数不同于所述初始参数。因此，在获取到待替换数据时，可以获取换脸的参数，判断所述换脸模型的参数是否与所述初始参数一致，若换脸模型的参数与初始参数一致，则可以判定所述目标人物没有对所述换脸模型进行训练；若换脸模型的参数与初始参数不一致，则可以判定所述目标人物对所述换脸模型进行了训练。

步骤S430，获取目标人物录入的训练数据对所述换脸模型进行训练。

若判定所述的目标人物没有对换脸模型进行训练，为了通过所述换脸模型来实现换脸功能，可以获取目标人物录入的训练数据对换脸模型进行训练，以实现换脸的功能。其中，在获取到目标人物录入的训练数据对换脸模型进行训练后，可以继续执行步骤S440。

步骤S440，将所述待替换数据输入换脸模型得到目标图像，所述目标图像具有目标人物的脸型特征以及所述待替换人物的表情特征。

在判定目标人物对换脸模型进行训练时，表明所述换脸模型可以实现换脸功能，则可以直接将待替换数据输入换脸模型中实现换脸功能。在判定目标人物没有对换脸模型进行训练后，可以获取目标人物录入的训练数据对换脸模型进行训练，从而可以将待替换数据输入训练后的换脸模型中实现换脸功能。

步骤S450，输出所述目标图像。

步骤S450可参照前述实施例对应部分，在此不再赘述。

需要说明是的，训练换脸模型可以是在获取待替换数据后，若判定目标人物没有对换脸模型进行训练，则可以提示录入训练数据，在获取训练数据后对所述换脸模型进行训练。训练换脸模型还可以是在获取待替换数据之前，也就是说，在目标人物使用具有该换脸模型的应用程序时，在任意时刻都可以录入训练数据对换脸模型进行训练，在训练好换脸模型后，在接收到待替换数据时，则可以实现换脸功能。在本申请实施例中，对训练换脸模型的时刻可以根据实际的使用选择，在此不做具体限定。

本申请提出的换脸方法，获取待替换数据，所述待替换数据包括待替换人物的人脸图像以及与所述人脸图像对应的五官掩膜；判断目标任务是否对所述换脸模型进行训练；若否，则获取目标人物录入的训练数据对所述换脸模型进行训练；若是，将所述待替换数据输入换脸模型得到目标图像，所述目标图像具有目标人物的脸型特征以及所述待替换人物的表情特征，输出所述目标图像。在将待替换数据输入换脸模型之前，确定换脸模型是否已经训练好，可以实现对应的换脸功能，若没有训练，则可以获取对应的训练数据对换脸模型进行训练，以实现换脸功能；若已经训练好，则可以直接将待替换数据输入换脸模型实现换脸功能，通过判断目标人物是否换脸模型进行训练，避免了在换脸模型没有训练的情况下出现换脸失败的情况，从而提升了用户的使用体验。

请参阅图10，其示出了本申请实施例提供的一种换脸装置500，所述换脸装置500包括获取模块510、换脸模块520以及输出模块530。

所述获取模块510，用于获取待替换数据，所述待替换数据包括待替换人物的人脸图像以及与所述人脸图像对应的五官掩膜，所述人脸图像对应的五官掩膜表示所述待替换人物的表情特征；所述换脸模块520，用于将所述待替换数据输入换脸模型得到目标图像，所述目标图像具有目标人物的脸型特征以及所述待替换人物的表情特征，所述换脸模型用于对任意输入的图像以及对应的五官掩膜进行编码后再解码，获得具有输入的图像中的表情特征以及目标人物的脸型特征的图像；所述输出模块530，用于输出所述目标图像。

进一步的，所述换脸模块520还用于获取目标人物录入的训练数据作为第一样本集，所述训练数据包括具有目标人物的多种表情特征，以及在各个角度下的脸型特征的多帧图像；获取第二样本集，所述第二样本集包括具有不同人物的表情特征以及脸型特征的多张人脸图像；基于所述第一样本集和所述第二样本集对所述换脸模型进行训练。

进一步的，所述换脸模型包括编码器和第一解码器，所述换脸模块520还用于从所述第一样本集中选取图像作为替换图像，从所述第二样本集中选取图像作为原始图像；基于所述替换图像以及所述替换图像对应的五官掩膜对编码器以及第一解码器进行训练，使所述第一解码器生成具有目标人物脸型特征的图像，基于所述原始图像以及所述原始图像对应的五官掩膜对编码器以及第二解码器进行训练，使所述编码器生成的编码包括所述原始图像中的表情特征；基于所述原始图像以及所述原始图像对应的五官掩膜对所述编码器以及所述第一解码器进行训练，使所述第一解码器输出具有目标人物脸型特征以及原始图像中的表情特征的图像。

进一步的，所述换脸模块520还用于将原始图像以及与所述原始图像对应的五官掩膜输入所述编码器，得到原始编码，将所述原始编码输入第一解码器中得到换脸图像以及与所述换脸图像对应的五官掩膜，所述换脸图像具有所述目标人物的脸型特征以及所述原始图像中的表情特征；获取所述原始图像对应的五官掩膜与所述换脸图像对应的五官掩膜之间的边界损失；根据所述边界损失对所述编码器以及所述第一解码器的参数进行优化。

进一步的，所述换脸模块520还用于将所述替换图像以及对应的五官掩膜输入编码器，并将编码器生成的编码输入第一解码器，得到重构替换图像以及对应的重构掩膜；获取所述替换图像与所述重构替换图像之间的损失，以及替换图像对应的五官掩膜与所述重构替换图像对应的重构掩膜之间的损失，获得第一重构损失；根据所述第一重构损失对所述编码器以及所述第一解码器的参数进行优化。

进一步的，所述换脸模块520还用于将所述原始图像以及对应的五官掩膜输入编码器，并将编码器的编码结果输入第二解码器，得到重构原始图像以及对应的重构掩膜，获取所述原始图像与所述重构原始图像之间的损失，以及原始图像对应的五官掩膜与所述重构原始图像对应的重构掩膜之间的损失，获得第二重构损失；根据所述第二重构损失对所述编码器以及所述第二解码器的参数进行优化。

进一步的，所述换脸模块520还用于循环执行从所述第一样本集中选取图像作为替换图像，从所述第二样本集中选取图像作为原始图像的步骤至基于所述原始图像以及所述原始图像对应的五官掩膜对所述编码器以及所述第一解码器进行训练，使所述第一解码器输出具有目标人物脸型特征以及原始图像中的表情特征的图像的步骤，直到所述换脸模型的训练损失小于预设值，其中所述训练损失包括第一重构损失、第二重构损失以及边界损失。

进一步的，在将所述待替换数据输入换脸模型得到目标图像之前，所述换脸模块520还用于判断目标人物是否对所述换脸模型进行训练；若是，则执行将所述待替换数据输入换脸模型得到目标图像的步骤；若否，则获取目标人物录入的训练数据对所述换脸模型进行训练。

需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

综上所述，本申请提供的换脸方法，获取待替换数据，所述待替换数据包括待替换人物的人脸图像以及与所述人脸图像对应的五官掩膜，所述人脸图像对应的五官掩膜表示所述待替换人物的表情特征；将所述待替换数据输入换脸模型得到目标图像，所述目标图像具有目标人物的脸型特征以及所述待替换人物的表情特征，所述换脸模型用于对任意输入的图像以及对应的五官掩膜进行编码后再解码，获得具有输入的图像中的表情特征以及目标人物的脸型特征的图像；输出所述目标图像。将人脸图像拆分为人脸图像，以及人脸图像对应的表情特征表示的五官掩膜两部分，在降低用户录制的训练数据的难度的同时提升换脸的效果，从而提升了用户的使用体验。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图11，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备600可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备600可以包括一个或多个如下部件：处理器610、存储器620、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器620中并被配置为由一个或多个处理器610执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器610可以包括一个或者多个处理核。处理器610利用各种接口和线路连接整个电子设备600内的各个部分，通过运行或执行存储在存储器620内的指令、程序、代码集或指令集，以及调用存储在存储器620内的数据，执行电子设备600的各种功能和处理数据。可选地，处理器610可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器610可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器610中，单独通过一块通信芯片进行实现。

存储器620可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器620可用于存储指令、程序、代码、代码集或指令集。存储器620可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备600在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图12，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质700中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质700包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种换脸方法，其特征在于，所述方法包括：

获取待替换数据，所述待替换数据包括待替换人物在固定角度下的人脸图像以及与所述人脸图像对应的五官掩膜，所述人脸图像具有待替换人物的脸型特征和表情特征，所述人脸图像对应的五官掩膜表示所述待替换人物的表情特征；

将所述待替换数据输入换脸模型，所述换脸模型将所述待替换数据中的所述待替换人物的表情特征迁移到不同角度下的目标人物的人脸上，以得到多个角度下的目标图像，所述目标图像具有目标人物的脸型特征以及所述待替换人物的表情特征，所述换脸模型用于对任意输入的图像以及对应的五官掩膜进行编码后再解码，获得具有输入的图像中的表情特征以及目标人物的脸型特征的多个角度下的所述目标图像；所述换脸模型包括编码器、第一解码器和第二解码器，所述第一解码器具有不同的表情特征的重构功能，从而对输入的五官掩膜以及输出的五官掩膜进行约束，以使得输入的五官掩膜与输出的五官掩膜之间的差距最小；

输出所述目标图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取目标人物录入的训练数据作为第一样本集，所述训练数据包括具有目标人物的多种表情特征，以及在各个角度下的脸型特征的多帧图像；

获取第二样本集，所述第二样本集包括具有不同人物的表情特征以及脸型特征的多张人脸图像；

基于所述第一样本集和所述第二样本集对所述换脸模型进行训练。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一样本集和所述第二样本集对所述换脸模型进行训练，包括：

从所述第一样本集中选取图像作为替换图像，从所述第二样本集中选取图像作为原始图像；

基于所述替换图像以及所述替换图像对应的五官掩膜对编码器以及第一解码器进行训练，使所述第一解码器生成具有目标人物脸型特征的图像，

基于所述原始图像以及所述原始图像对应的五官掩膜对编码器以及第二解码器进行训练，使所述编码器生成的编码包括所述原始图像中的表情特征，并将所述编码器生成的所述编码输入所述第二解码器，得到第二重构路径；

基于所述原始图像以及所述原始图像对应的五官掩膜对所述编码器以及所述第一解码器进行训练，使所述第一解码器输出具有目标人物脸型特征以及原始图像中的表情特征的图像。

4.根据权利要求3所述的方法，其特征在于，所述基于所述原始图像以及所述原始图像对应的五官掩膜对所述编码器以及所述第一解码器进行训练，使所述第一解码器输出具有目标人物脸型特征以及原始图像中的表情特征的图像，包括：

将原始图像以及与所述原始图像对应的五官掩膜输入所述编码器，得到原始编码，将所述原始编码输入第一解码器中得到换脸图像以及与所述换脸图像对应的五官掩膜，所述换脸图像具有所述目标人物的脸型特征以及所述原始图像中的表情特征；

获取所述原始图像对应的五官掩膜与所述换脸图像对应的五官掩膜之间的边界损失；

根据所述边界损失对所述编码器以及所述第一解码器的参数进行优化。

5.根据权利要求3所述的方法，其特征在于，所述基于所述替换图像以及所述替换图像对应的五官掩膜对编码器以及第一解码器进行训练，使所述第一解码器生成具有目标人物脸型特征的图像，包括：

将所述替换图像以及对应的五官掩膜输入编码器，并将编码器生成的编码输入第一解码器，得到重构替换图像以及对应的重构掩膜；

获取所述替换图像与所述重构替换图像之间的损失，以及替换图像对应的五官掩膜与所述重构替换图像对应的重构掩膜之间的损失，获得第一重构损失；

根据所述第一重构损失对所述编码器以及所述第一解码器的参数进行优化。

6.根据权利要求3所述的方法，其特征在于，所述基于所述原始图像以及所述原始图像对应的五官掩膜对编码器以及第二解码器进行训练，使所述编码器生成的编码包括所述原始图像中的表情特征，包括：

将所述原始图像以及对应的五官掩膜输入编码器，并将编码器的编码结果输入第二解码器，得到重构原始图像以及对应的重构掩膜，

获取所述原始图像与所述重构原始图像之间的损失，以及原始图像对应的五官掩膜与所述重构原始图像对应的重构掩膜之间的损失，获得第二重构损失；

根据所述第二重构损失对所述编码器以及所述第二解码器的参数进行优化。

7.根据权利要求3至6任一项所述的方法，其特征在于，所述方法还包括：

循环执行从所述第一样本集中选取图像作为替换图像，从所述第二样本集中选取图像作为原始图像的步骤至基于所述原始图像以及所述原始图像对应的五官掩膜对所述编码器以及所述第一解码器进行训练，使所述第一解码器输出具有目标人物脸型特征以及原始图像中的表情特征的图像的步骤，直到所述换脸模型的训练损失小于预设值，其中所述训练损失包括第一重构损失、第二重构损失以及边界损失。

8.根据权利要求1至6任一项所述的方法，其特征在于，所述将所述待替换数据输入换脸模型得到目标图像之前，还包括：

判断目标人物是否对所述换脸模型进行训练；

若是，则执行将所述待替换数据输入换脸模型得到目标图像的步骤；

若否，则获取目标人物录入的训练数据对所述换脸模型进行训练。

9.一种换脸装置，其特征在于，所述装置包括：

获取模块，用于获取待替换数据，所述待替换数据包括待替换人物在固定角度下的人脸图像以及与所述人脸图像对应的五官掩膜，所述人脸图像具有待替换人物的脸型特征和表情特征，所述人脸图像对应的五官掩膜表示所述待替换人物的表情特征；

换脸模块，用于将所述待替换数据输入换脸模型，所述换脸模型将所述待替换数据中的所述表情特征迁移到不同角度下的目标人物的人脸上，以得到多个角度下的目标图像，所述目标图像具有目标人物的脸型特征以及所述待替换人物的表情特征，所述换脸模型用于对任意输入的图像以及对应的五官掩膜进行编码后再解码，获得具有输入的图像中的表情特征以及目标人物的脸型特征的多个角度下的所述目标图像; 所述换脸模型包括编码器、第一解码器和第二解码器，所述第一解码器具有不同的表情特征的重构功能，从而对输入的五官掩膜以及输出的五官掩膜进行约束，以使得输入的五官掩膜与输出的五官掩膜之间的差距最小；

输出模块，用于输出所述目标图像。

10.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，与所述一个或多个处理器电连接；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1至8任一项所述的方法。

11.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至8任一项所述的方法。

Images