CN116152122A - 图像处理方法和电子设备 - Google Patents

Abstract

本申请涉及终端领域，提供了一种图像处理方法和电子设备，该方法包括：显示第一图像，第一图像中包括待修复面部区域；检测到对第一图像的第一操作；响应于第一操作，获取第一图像流；通过图像处理模型，将第一面部区域序列中的部分或者全部的面部姿态和/或面部表情迁移至待修复面部区域，生成第二面部区域序列；显示第二面部区域序列；检测到对第二面部区域序列的第二操作；响应于第二操作，获取第二面部区域序列中的目标面部区域；基于第一图像与目标面部区域，生成第二图像；显示第二图像。基于本方案，能够在用户表情管理失败的情况下，实时显示重驱动的第二面部区域序列，便于用户选择满意的面部表情与面部姿态的面部区域；提高用户体验。

Description

图像处理方法和电子设备

技术领域

本申请涉及终端领域，具体地，涉及一种图像处理方法和电子设备。

背景技术

随着电子设备中拍照功能的发展，相机应用程序在电子设备中的应用越来越广泛。用户通常采用电子设备进行日常拍照；例如，拍摄合照或者在旅途中拍摄照片等；目前，用户经常会面临拍摄的照片在后期发现图像中表情管理失败，导致用户不满意的情况；此时，用户又无法重新回到当时场景进行重新拍摄；导致无法解决上述用户对图像中的表情或者姿态不满意的问题。

因此，在用户表情管理失败的情况下，如何对图像进行处理，提高图像质量成为一个亟需解决的问题。

发明内容

本申请提供了一种图像处理方法和电子设备，能够在用户表情管理失败的情况下，能够对表情管理失败的面部区域进行修复；实时显示面部区域重驱动后的图像流，便于用户选择满意的面部表情与面部姿态，生成修复后的图像；提高用户体验。

第一方面，提供了一种图像处理方法，应用于电子设备，包括：

显示第一图像，第一图像中包括待修复面部区域，所述待修复面部区域为第一对象的面部区域；

检测到对所述第一图像的第一操作；

响应于所述第一操作，获取第一图像流，所述第一图像流中包括第一面部区域序列，所述第一面部区域序列为第二对象的面部区域序列；

通过图像处理模型，将所述第一面部区域序列中的部分或者全部的面部姿态和/或面部表情迁移至所述待修复面部区域，生成第二面部区域序列；所述第二面部区域序列为所述第一对象的面部区域序列；

显示所述第二面部区域序列；

检测到对所述第二面部区域序列的第二操作；

响应于所述第二操作，获取所述第二面部区域序列中的目标面部区域；

基于所述第一图像与所述目标面部区域，生成第二图像；

显示所述第二图像。

在本申请的方案中，在采集的图像中存在用户表情管理失败的情况下，即第一图像中存在待修复面部区域时，电子设备能够获取包括面部图像区域的第一图像流；通过图像处理模型，将第一图像流中的面部姿态与面部表情迁移至待修复面部区域，生成第二面部图像流；此外，在电子设备中可以显示第二面部图像流，基于检测到的对第二面部区域序列的第二操作，获取第二面部区域序列中的目标面部区域；基于目标面部区域与第一图像，生成面部表情与面部姿态修复后的第二图像；通过本申请的方案，可以实时显示面部区域重驱动后的图像流，便于用户选择满意的面部表情与面部姿态，生成修复后的图像；提高用户体验。

在一种实现方式中，第一图像为人物A的待修复图像；第一图像流为人物A的人像图像流；通过人物A自身的图像流可以对人物A的待修复图像中的待修复面部区域进行重驱动；一方面，人物A能够较容易的获取自身的人像图像流；另一方面，电子设备中可以实时显示重驱动后的面部区域序列，便于用户选择自身满意的面部区域；基于用户满意的面部区域对待修复图像中的待修复面部区域进行处理，生成修复后的图像。

在一种实现方式中，第一图像为人物A的待修复图像；第一图像流为人物B的人像图像流；通过人物B自身的图像流可以对人物A的待修复图像中的待修复面部区域进行重驱动，即可以将人物B的面部表情与面部姿态迁移至人物A的面部区域，电子设备中可以实时显示重驱动后的面部区域序列，便于用户选择自身满意的面部区域；基于用户满意的面部区域对待修复图像中的待修复面部区域进行处理，生成修复后的图像。

结合第一方面，在第一方面的某些实现方式中，所述显示所述第二面部区域序列，包括：

显示第一界面，所述第一界面包括预览窗与第一窗口，所述预览窗中显示所述第二面部区域序列，所述第一窗口中显示所述第一面部区域序列；

其中，所述第一窗口在所述预览窗中以画中画的形式显示，或者，所述第一窗口在所述预览窗口中以分屏的形式显示。

在本申请的方案中，可以通过画中画的形式，或者，分屏的形式显示在预览窗中显示第一窗口，在第一窗口中显示第一图像流中的第一面部区域序列，在预览窗中显示第二面部区域序列，即重驱动的面部区域序列，便于用户能够直观查看。

结合第一方面，在第一方面的某些实现方式中，所述预览窗中包括第一检测框，所述第一检测框用于标记拍摄对象的面部区域，所述第一检测框中显示所述第二面部区域序列。

结合第一方面，在第一方面的某些实现方式中，所述第一面部区域序列包括N帧面部区域，N为大于1的整数；所述通过图像处理模型，将所述第一面部区域序列中的部分或者全部的面部姿态和/或面部表情迁移至所述待修复面部区域，生成第二面部区域序列，包括：

对所述第一面部区域序列的面部朝向与所述待修复面部区域的面部朝向进行比较；

若第一面部朝向与第二面部朝向之间的差异小于预设阈值，通过所述图像处理模型，将所述第一面部区域序列中的第三面部区域序列的面部姿态和面部表情迁移至所述待修复面部区域，生成所述第二面部区域序列；

其中，所述第一面部朝向为所述第一面部区域的面部朝向，所述第二面部朝向为所述第一面部区域序列中第i帧面部区域的面部朝向，所述第三面部区域序列包括所述第一面部区域序列中所述第i帧面部区域至第N帧面部区域。

在本申请的实施例中，可以先对第一面部区域序列的面部朝向与待修复面部区域的面部朝向进行比较，即判断第一面部区域序列中的面部区域与待修复面部区域的面部朝向是否相同；在第一面部区域序列中的面部区域与待修复面部区域的面部朝向相同的情况下，通过图像处理模型进行处理，从而确保生成第二面部区域序列的形变较小；确保生成第二面部区域序列的稳定性；其中，面部朝向相同可以是指第一面部区域序列的面部朝向与待修复面部区域的面部朝向的差异小于预设阈值（例如，预设角度）。

结合第一方面，在第一方面的某些实现方式中，所述若第一面部朝向与第二面部朝向之间的差异小于预设阈值，通过所述图像处理模型，将所述第一面部区域序列中第三面部区域序列的面部姿态和面部表情迁移至所述待修复面部区域，生成所述第二面部区域序列，包括：

若所述第一面部朝向与所述第二面部朝向之间的差异小于所述预设阈值，对所述待修复面部区域与所述第三面部区域序列分别进行下采样处理，得到第一面部区域与第四面部区域序列；

将所述第一面部区域与所述第四面部区域序列输入至所述图像处理模型，生成所述第二面部区域序列。

在本申请的方案中，通过待修复面部区域与第三面部区域序列进行下采样处理，能够在低分辨率的情况下实现待修复面部区域的重驱动，确保能够在电子设备中快速实时的显示重驱动人脸区域序列（例如，第二面部区域序列）；便于用户对实时显示的重驱动人脸区域序列并对其进行交互操作，实现用户能够实时灵活选择重驱动面部区域序列中的目标面部区域。

结合第一方面，在第一方面的某些实现方式中，所述图像处理模型包括第一子模型与第二子模型；所述将所述第一面部区域与所述第四面部区域序列输入至所述图像处理模型，生成所述第二面部区域序列，包括：

将所述第一面部区域的关键点图像与所述第四面部区域序列的关键点图像输入所述第一子模型，得到第一特征向量集合；所述第一特征向量集合中的一个第一特征向量用于表征所述第四面部区域序列中的一帧面部区域与所述第一面部区域的面部差异，所述面部差异包括面部表情差异与面部姿态差异；

将所述第一面部区域与所述第一特征向量集合输入至所述第二子模型，生成所述第二面部区域序列，所述第二子模型用于进行图像特征重建。

结合第一方面，在第一方面的某些实现方式中，所述图像处理模型为通过以下训练方式得到的：

获取样本图像流中的第一样本面部区域与第二样本面部区域；

将所述第一样本面部区域的关键点图像与所述第二样本面部区域的关键点图像输入至待训练的第一子模型，得到预测特征向量；

将所述第一样本面部区域与所述预测特征向量输入至待训练的第二子模型，得到预测面部区域；

基于损失函数更新所述待训练的第一子模型与所述待训练的第二子模型的参数，得到所述第一子模型与所述第二子模型；

其中，所述损失函数包括第一损失函数与第二损失函数，所述第一损失函数用于表征所述第一样本面部区域的标识与所述预测面部区域的标识之间的差异，所述第二损失函数用于表征所述第二样本面部区域与所述预测面部区域的所述面部差异。

结合第一方面，在第一方面的某些实现方式中，所述基于所述第一图像与所述目标面部区域，生成第二图像，包括：

对所述第一图像中的所述待修复面部区域与所述目标面部区域进行融合处理，生成所述第二图像。

结合第一方面，在第一方面的某些实现方式中，所述对所述第一图像中的所述待修复面部区域与所述目标面部区域进行融合处理，生成所述第二图像，包括：

将所述第一图像中的所述待修复面部区域替换为所述目标面部区域，生成所述第二图像。

在本申请的方案中，可以通过目标面部区域对第一图像中的待修复面部区域进行替换，生成面部表情与面部姿态修复后的图像，即第二图像；采用替换方式能够提高第二图像中面部区域的图像质量。

结合第一方面，在第一方面的某些实现方式中，所述第一对象与所述第二对象为同一对象。

结合第一方面，在第一方面的某些实现方式中，所述第一对象与所述第二对象为人物。

第二方面，提供了一种电子设备，电子设备包括一个或多个处理器、存储器；存储器与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，一个或多个处理器调用计算机指令以使得电子设备执行：

显示第一图像，第一图像中包括待修复面部区域，所述待修复面部区域为第一对象的面部区域；

检测到对所述第一图像的第一操作；

响应于所述第一操作，获取第一图像流，所述第一图像流中包括第一面部区域序列，所述第一面部区域序列为第二对象的面部区域序列；

通过图像处理模型，将所述第一面部区域序列中的部分或者全部的面部姿态和/或面部表情迁移至所述待修复面部区域，生成第二面部区域序列，所述第二面部区域序列为所述第一对象的面部区域序列；

显示所述第二面部区域序列；

检测到对所述第二面部区域序列的第二操作；

响应于所述第二操作，获取所述第二面部区域序列中的目标面部区域；

基于所述第一图像与所述目标面部区域，生成第二图像；

显示所述第二图像。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

显示第一界面，所述第一界面包括预览窗与第一窗口，所述预览窗中显示所述第二面部区域序列，所述第一窗口中显示所述第一面部区域序列；

其中，所述第一窗口在所述预览窗中以画中画的形式显示，或者，所述第一窗口在所述预览窗口中以分屏的形式显示。

结合第二方面，在第二方面的某些实现方式中，所述预览窗中包括第一检测框，所述第一检测框用于标记拍摄对象的面部区域，所述第一检测框中显示所述第二面部区域序列。

结合第二方面，在第二方面的某些实现方式中，所述第一面部区域序列包括N帧面部区域，N为大于1的整数；所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

对所述第一面部区域序列的面部朝向与所述待修复面部区域的面部朝向进行比较；

若第一面部朝向与第二面部朝向之间的差异小于预设阈值，通过所述图像处理模型，将所述第一面部区域序列中的第三面部区域序列的面部姿态和面部表情迁移至所述待修复面部区域，生成所述第二面部区域序列；

其中，所述第一面部朝向为所述第一面部区域的面部朝向，所述第二面部朝向为所述第一面部区域序列中第i帧面部区域的面部朝向，所述第三面部区域序列包括所述第一面部区域序列中所述第i帧面部区域至第N帧面部区域。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

若所述第一面部朝向与所述第二面部朝向之间的差异小于所述预设阈值，对所述待修复面部区域与所述第三面部区域序列分别进行下采样处理，得到第一面部区域与第四面部区域序列；

将所述第一面部区域与所述第四面部区域序列输入至所述图像处理模型，生成所述第二面部区域序列。

结合第二方面，在第二方面的某些实现方式中，所述图像处理模型包括第一子模型与第二子模型；所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

将所述第一面部区域的关键点图像与所述第四面部区域序列的关键点图像输入所述第一子模型，得到第一特征向量集合；所述第一特征向量集合中的一个第一特征向量用于表征所述第四面部区域序列中的一帧面部区域与所述第一面部区域的面部差异，所述面部差异包括面部表情差异与面部姿态差异；

将所述第一面部区域与所述第一特征向量集合输入至所述第二子模型，生成所述第二面部区域序列，所述第二子模型用于进行图像特征重建。

结合第二方面，在第二方面的某些实现方式中，所述图像处理模型为通过以下训练方式得到的：

获取样本图像流中的第一样本面部区域与第二样本面部区域；

将所述第一样本面部区域的关键点图像与所述第二样本面部区域的关键点图像输入至待训练的第一子模型，得到预测特征向量；

将所述第一样本面部区域与所述预测特征向量输入至待训练的第二子模型，得到预测面部区域；

基于损失函数更新所述待训练的第一子模型与所述待训练的第二子模型的参数，得到所述第一子模型与所述第二子模型；

其中，所述损失函数包括第一损失函数与第二损失函数，所述第一损失函数用于表征所述第一样本面部区域的标识与所述预测面部区域的标识之间的差异，所述第二损失函数用于表征所述第二样本面部区域与所述预测面部区域的所述面部差异。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

对所述第一图像中的所述待修复面部区域与所述目标面部区域进行融合处理，生成所述第二图像。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

将所述第一图像中的所述待修复面部区域替换为所述目标面部区域，生成所述第二图像。

结合第二方面，在第二方面的某些实现方式中，所述第一对象与所述第二对象为同一对象。

结合第二方面，在第二方面的某些实现方式中，所述第一对象与所述第二对象为人物。

第三方面，提供了一种电子设备，包括用于执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法的模块/单元。

第四方面，提供一种电子设备，所述电子设备包括一个或多个处理器和存储器与；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法。

第五方面，提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第一方面中的任一种图像处理方法。

第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法。

第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法。

在本申请的方案中，在采集的图像中存在用户表情管理失败的情况下，即第一图像中存在待修复面部区域时，电子设备能够获取包括面部图像区域的第一图像流；通过图像处理模型，将第一图像流中的面部姿态与面部表情迁移至待修复面部区域，生成第二面部图像流；此外，在电子设备中可以显示第二面部图像流，基于检测到的对第二面部区域序列的第二操作，获取第二面部区域序列中的目标面部区域；基于目标面部区域与第一图像，生成面部表情与面部姿态修复后的第二图像；通过本申请的方案，可以实时显示面部区域重驱动后的图像流，便于用户选择满意的面部表情与面部姿态，生成修复后的图像；提高用户体验。

附图说明

图1是本申请实施例提供的一种用户界面示意图；

图2是本申请实施例提供的另一种用户界面示意图；

图3是本申请实施例提供的另一种用户界面示意图；

图4是本申请实施例提供的另一种用户界面示意图；

图5是本申请实施例提供的另一种用户界面示意图；

图6是本申请实施例提供的另一种用户界面示意图；

图7是本申请实施例提供的另一种用户界面示意图；

图8是本申请实施例提供的另一种用户界面示意图；

图9是本申请实施例提供的另一种用户界面示意图；

图10是本申请实施例提供的另一种用户界面示意图；

图11是本申请实施例提供的一种图像处理方法的示意性流程图；

图12是本申请实施例提供的另一种图像处理方法的示意性流程图；

图13是本申请实施例提供的待修复图像与面部区域序列的示意图；

图14是本申请实施例提供的一种面部重驱动模型的训练方法的示意图；

图15是本申请实施例提供的一种图像处理方法的示意性流程图；

图16是本申请实施例提供的一种电子设备的系统结构示意图；

图17是本申请实施例提供的一种电子设备的硬件结构示意图；

图18是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

在本申请的实施例中，以下术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

目前，用户经常会面临拍摄的照片在后期发现图像中表情管理失败，导致用户不满意的情况；此时，用户又无法重新回到当时场景进行重新拍摄；导致无法解决上述用户对图像中的表情或者姿态不满意的问题。

有鉴于此，本申请实施例提供了一种图像处理方法和电子设备，该图像处理方法可应用于手机、平板电脑等电子设备上。后续统一使用电子设备100指代上述电子设备。

示例性地，不限于手机、平板电脑，电子设备100还可以是桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本，以及蜂窝电话、个人数字助理（personal digital assistant，PDA）、增强现实（augmented reality，AR）设备、虚拟现实（virtual reality，VR）设备、人工智能(artificial intelligence, AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备，本申请实施例对该电子设备的具体类型不作特殊限制。

下面对电子设备实施本申请实施例提供的图像处理方法的用户界面示意图进行详细描述。

图1中的（a）示例性示出了电子设备的主界面，如用户界面11。如图1中的（a）所示，主界面可包括状态栏、页面指示符、常用应用程序托盘111和一般应用程序托盘112。

其中，状态栏可包括移动通信信号（又可称为蜂窝信号）的一个或多个信号强度指示符、无线高保真（wireless fidelity，Wi-Fi）信号强度指示符，电池状态指示符、时间指示符等。

常用应用程序托盘111和一般应用程序托盘112均用于承载应用程序图标。用户可用过点击应用程序图标启用该图标对应的应用程序。例如，常用应用程序托盘111中可包括相机应用图标、通讯录应用图标、电话应用图标、信息应用图标。一般应用程序托盘112可以包括设置应用图标、应用市场应用图标、图库应用图标、浏览器应用图标等。不限于上述图标，主界面还可包括其他应用程序图标，这里不再一一举例。任意一个应用程序的图标可放置在常用应用程序托盘111或一般应用程序托盘112。

多个应用程序图标可分布在多个页面。页面指示符可用于指示当前显示的页面与其他页面的位置关系。用户可以左滑/右滑的触控操作来浏览其他页面。常用应用程序托盘111中承载的应用程序图标不会随页面变化，即固定的；而一般应用程序托盘112中承载的应用程序图标会随着页面的变化而变化。

可以理解的，图1及其后续介绍的用户界面仅仅示例性示出了以手机为例的电子设备的一种可能的用户界面样式，不应构成对本申请实施例的限定。

示例性地，如图1中的（a）所示的用户界面11，电子设备检测到作用于图库图标的点击操作；响应于上述用户操作，电子设备可运行图库应用程序；同时，电子设备可在屏幕中图库应用的主界面，如图1中的（b）所示的用户界面12；用户界面12中包括待修复图像的图标122；点击设备检测到对待修复图像的图标122的点击操作，如图2中的（a）所示的用户界面13；响应于上述点击操作，电子设备在预览窗113中显示待修复图像，如图2中的（b）所示的用户界面14；在用户界面14中还包括分享控件、收藏控件、编辑控件、删除控件与更多控件。

应理解，待修复图像可以是指拍摄对象的面部表情或者面部姿态管理失败的图像；例如，拍摄对象可以为人物，待修复图像可以是指人像的面部表情和/或面部姿态管理失败的图像；可选地，拍摄对象可以为动物，待修复图像可以是指动物的面部表情和/或面部姿态管理失败的图像；需要说明的是，待修复图像中的拍摄对象需要能够通过标识进行区分。

下面以待修复图像为人像图像对本申请实施例提供的图像处理方法进行举例说明。

示例一

在一种实现方式中，电子设备可以在预览窗中显示进行面部重驱动后的重驱动人脸区域序列；不显示实施采集的人像图像流。

示例性地，电子设备检测到对待修复图像中人脸区域的点击操作，如图3中的（a）所示的用户界面15；响应于上述点击操作，电子设备显示表情重演界面，如图3中的（b）所示的用户界面16；在用户界面16中包括人脸检测框124与拍摄控件123；电子设备检测到对拍摄控件123的点击操作，如图4中的（a）所示的用户界面17；响应于上述点击操作电子设备实时采集当前用户的人像图像流，此外电子设备在预览窗中显示通过面部重驱动后生成的重驱动人像图像流。

例如，电子设备可以对实时采集的当前用户的人像图像流逐帧进行面部重驱动；比如，对人像图像流中的第1帧图像进行面部重驱动，显示第1帧重驱动人像图像，如图4中的（b）所示的用户界面18；对人像图像流中的第M帧图像进行面部重驱动，显示第M帧重驱动人像图像，如图5中的（a）所示的用户界面19；对人像图像流中的第N帧图像进行面部重驱动，显示第N帧重驱动人像图像，如图5中的（b）所示的用户界面21；在电子设备中可以在人脸检测框124中实时显示重驱动人像图像流，电子设备检测到对拍摄控件123的点击操作，如图6中的（a）所示的用户界面22；响应于上述点击操作，电子设备显示经过超分辨率处理后的面部重驱动图像，如图6中的（b）所示的用户界面23。电子设备检测到对返回控件的点击操作，如图7中的（a）所示的用户界面24；响应于上述点击操作，电子设备退出表情重演显示界面，显示图库的预览界面；图库的预览界面中显示超分辨率处理后的面部重驱动图像，如图7中的（b）所示的用户界面25。

可选地，在一种实现方式中，如图3中的（a）所示，检测到对面部区域的点击操作；响应于上述点击操作，电子设备显示用户界面18，如图4中的（b）所示。

可选地，电子设备在图库应用程序中保存超分辨率处理后的面部重驱动图像与待修复图像。

可选地，电子设备在图库应用程序中将待修复图像替换为超分辨率处理后的面部重驱动图像。

应理解，上述图1至图7中以用户操作为点击操作进行举例说明。

示例二

在一种实现方式中，电子设备可以在预览框中显示进行面部重驱动后的重驱动人脸区域序列；此外，预览框中包括小窗，在小窗中可以显示实施采集的人像图像流。

示例性地，电子设备检测到对拍摄控件123的点击操作，如图4中的（a）所示的用户界面17；响应于上述点击操作电子设备实时采集当前用户的人像图像流，电子设备在预览窗中显示通过面部重驱动后生成的重驱动人像图像流，且电子设备在小窗125中显示实时采集的人像图像流中的人脸区域；小窗125中还包括退出控件1251，如图8至图9中的（a）所示的用户界面。

例如，对人像图像流中的第1帧图像进行面部重驱动，在预览窗中显示第1帧重驱动人像图像，在小窗125中显示实时采集的第1帧图像中的人脸区域，如图8中的（a）所示的用户界面26；对人像图像流中的第M帧图像进行面部重驱动，在预览窗中显示第M帧重驱动人像图像，在小窗125中显示实时采集的第M帧图像中的人脸区域，如图8中的（b）所示的用户界面27；对人像图像流中的第N帧图像进行面部重驱动，在预览窗中显示第N帧重驱动人像图像，在小窗125中显示实时采集的第N帧图像中的人脸区域，如图9中的（a）所示的用户界面28；电子设备检测到对拍摄控件123的点击操作，如图9中的（b）所示的用户界面29；响应于上述点击操作，电子设备显示经过超分辨率处理后的面部重驱动图像，如图9中的（c）所示的用户界面31。在显示经过超分辨率处理后的面部重驱动图像之后，若电子设备检测到对返回控件的点击操作，如图7中的（a）所示的用户界面24；响应于上述点击操作，电子设备退出表情重演显示界面，显示图库的预览界面；图库的预览界面中显示超分辨率处理后的面部重驱动图像，如图7中的（b）所示的用户界面25。

示例三

在一种实现方式中，用户B可以将自己的待修复图像与实时采集的人像图像流发送至用户A的电子设备800；例如，用户B可以通过电子设备100中的即时通信软件将待修复图像和人像图像流发送至用户A，如图10中的（a）所示；用户A可以在电子设备800中根据实时采集的人像图像流对待修复图像进行图像处理，显示如图10中的（b）所示的界面；图像处理过程可以参见上述图3至图9所示的用户界面，此处不再赘述。

下面结合图11至图15对电子设备对待修复图像进行图像处理的算法流程进行详细描述。

图11是本申请实施例提供的一种图像处理方法的示意性流程图；该方法200包括S210至S260；下面分别对S210至S260进行详细地描述。

S210、获取待修复图像与图像流。

需要说明的是，待修复图像中包括待修复拍摄对象，待修复的拍摄对象可以是指面部表情和/或面部姿态管理失败的拍摄对象。

可选地，图像流可以为实时采集的图像流；图像流中包括面部图像区域序列。

可选地，待修复图像与图像流可以包括同一拍摄对象；可以理解为，待修复图像中包括待修复的拍摄对象，图像流为待修复的拍摄对象的图像流；例如，待修复图像为人物A的图像，图像流为人物A的图像流。通过本申请实施例的图像处理方法，可以将人物A的图像流中的人脸区域的面部表情和面部姿态迁移至待修复图像中人物A的人脸区域。

可选地，待修复图像与图像流可以包括不同拍摄对象；例如，待修复图像为人物A的图像，图像流为人物B的图像流。通过本申请实施例的图像处理方法，可以将人物B的图像流中的人脸区域的面部表情和面部姿态迁移至待修复图像中人物A的人脸区域。

可选地，待修复图像中的待修复的拍摄对象可以是动物；例如，待修复图像中包括猫；通过本申请实施例的图像处理方法，可以将猫A（或者猫B）的图像流中的猫脸图像区域的面部表情和面部姿态迁移至待修复图像中猫A的猫脸图像区域。

应理解，上述为对待修复图像与图像流的举例说明，本申请对此不作任何限定。

S220、对待修复图像与图像流进行面部检测，得到待修复面部区域和面部区域序列。

示例性地，可以对待修复图像与图像流进行面部检测，识别待修复图像中的待修复面部区域和图像流中的面部区域序列。

S230、基于待修复面部区域、面部区域序列和面部重驱动模型，得到重驱动面部区域序列。

可选地，可以将待修复面部区域与面部区域序列输入至面部重驱动模型，得到重驱动面部区域序列。

可选地，可以对待修复面部区域与面部区域序列先进行降分辨率处理，将低分辨率的待修复面部区域与低分辨率的面部区域序列输入至面部重驱动模型，得到低分辨率的重驱动面部区域序列。

在本申请的实施例中，通过待修复面部区域与通过面部姿态认证的面部区域序列进行低分辨率处理，在低分辨率的情况下实现待修复图像的重驱动，确保能够在电子设备中快速实时的显示重驱动面部区域序列；便于用户对实时显示的重驱动面部区域序列并对其进行交互操作，实现用户能够实时灵活选择重驱动区域序列中的目标面部区域。

可选地，面部重驱动模型的训练方法可以参见后续图14的相关描述。

可选地，电子设备可以实时显示重驱动面部区域序列。

S240、检测到对重驱动面部区域序列的操作，得到目标面部区域。

示例性地，电子设备中可以显示重驱动面部图像流，目标面部区域可以是指电子设备检查到点击操作时，电子设备的显示屏中显示的面部区域。

S250、基于目标面部区域和待修复图像进行融合处理，得到处理后的图像。

示例性地，可以对目标面部区域和待修复图像中的待修复面部区域进行融合处理，得到处理后的图像。

在一种实现方式中，若目标面部区域为低分辨率的重驱动面部区域，可以先对目标面部区域进行超分辨率处理，得到处理后的目标面部区域；对处理后的目标面部区域与待修复图像中的待修复面部区域进行融合处理，得到处理后的图像。

S260、显示处理后的图像。

下面结合图12，以待修复图像中包括人像为例，对本申请实施例提供的图像处理方法进行详细描述。

图12是本申请实施例提供的一种图像处理方法的示意性流程图；该方法300包括S301至S312；下面分别对S301至S312进行详细地描述。

S301、获取待修复图像。

例如，待修复图像中包括人像，人像的表情或者姿态较差需要进行修复。

示例性地，待修复图像可以为电子设备拍摄的人像图像；或者，待修复图像可以为接收其他设备发送的人像图像；或者，待修复图像可以为从家庭公共存储资源（例如，家用云盘）中下载的人像图像。

S302、对待修复图像进行人脸检测，得到待修复人脸区域。

例如，待修复人脸区域可以是指在拍摄时，人物的面部表情和/或面部姿态较差；例如，在拍摄人时，人为闭眼表情或者人未直视电子设备等。

可选地，人脸检测的相关算法可以参见现有的任意算法，本申请对此不作任何限定。

S303、获取人像图像流。

可选地，待修复图像中包括人物A的人脸区域；人像图像流可以是指人物A的图像流；例如，人像图像流可以是指实时采集的人物A的人像视频。

需要说明的是，人像图像流中人物A的外观与待修复图像中人物A的外观可以相同或者不同；例如，在待修复图像中人物A为发型A，且着装为衣物A；人像图像流中人物A可以为发型B，且着装可以为衣物B；其中，发型A与发型B可以不同，衣物A与衣物B可以不同。

可选地，待修复图像中包括人物A的人脸区域；人像图像流可以是指人物B的图像流；人物A与人物B为不同的人。

S304、对人像图像流进行人脸检测，得到人脸区域序列。

可选地，人脸检测的相关算法可以参见现有的任意算法，本申请对此不作任何限定。

例如，待修复图像如图13中的（a）所示；人脸区域序列如图13中的（b）所示。

S305、判断是否为相同人像；若是，则执行S306。

示例性地，假设人脸区域序列中包括N帧人脸区域，当前帧为人脸区域序列中第1帧人脸区域；若第1帧人脸区域与待修复人脸区域包括相同人像，则触发执行S305；若第1帧人脸区域与待修复人脸区域不存在相同人像，则判断人脸区域序列中第2帧人脸区域与待修复人脸区域是否包括相同人像；类似地，可以逐帧遍历直至人脸区域与待修复人脸区域包括相同人像。

可选地，若人脸区域序列中N帧人脸区域与待修复人脸区域均不存在相同人像，可以重新执行S303至S304；或者，结束流程。

在本申请的实施例中，在对待修复人脸区域进行图像处理时，为了确保用户的隐私安全性；可以对待修复人脸区域与人脸区域序列进行本人验证，可以理解为确认待修复人脸区域与人脸区域序列中是否包括相同人物；若待修复人脸区域与人脸区域序列中包括相同人像，则进行一步对待修复图像进行图像处理；若待修复人脸区域与人脸区域序列中不存在相同的人像，则电子设备可以认为本人认证失败，不对待修复人脸区域进行图像处理。

S306、判断是否为相同面部姿态；若是，则执行S307。

示例性地，可以判断待修复人脸区域与人脸区域序列中的人脸区域的面部姿态是否相同；若待修复人脸区域与人脸区域序列中的当前帧人脸区域为相同面部姿态，则触发执行S307。

应理解，相同面部姿态可以是指人物的面部朝向相同；或者，面部朝向的差异小于预设角度。

示例性地，假设人脸区域序列中包括N帧人脸区域，当前帧人脸区域为第1帧人脸区域；若第1帧人脸区域与待修复人脸区域的面部姿态不同，则判断第2帧人脸区域与待修复人脸区域的面部姿态是否相同；若为相同姿态，则对第2帧人脸区域至第N帧人脸区域执行S307；若为不同面部姿态，则判断第3帧人脸区域与待修复人脸区域的面部姿态是否相同。

可选地，若N帧人脸区域待修复人脸区域的面部姿态均不相同，可以重新执行S303至S306；或者，结束流程。

需要说明的是，若人脸区域序列中第M帧人脸区域帧与待修复人脸区域为相同面部姿态，则可以对人脸区域序列中的第M帧人脸区域至第N帧人脸区域与待修复图像执行S307。

在本申请的实施例中，在对人脸区域序列与待修复人脸区域进行图像重驱动之前，先对人脸区域序列进行面部姿态认证，即判断人脸区域序列中的人脸区域与待修复图像区域中的面部姿态是否相同；在人脸区域序列中的人脸区域与待修复图像区域中的面部姿态相同的情况下，通过面部重驱动模型进行处理，从而确保重驱动人脸区域序列的形变较小；确保重驱动人脸区域序列的稳定性；其中，面部姿态相同可以是指人脸区域序列中的人脸区域的面部朝向与待修复图像区域的面部朝向的差异小于预设阈值（例如，预设角度）。

S307、将待修复人脸区域与通过面部姿态认证的人脸区域序列输入至面部重驱动模型，得到重驱动人脸区域序列。

应理解，面部重驱动模型可以用于对人脸区域进行图像驱动；图像驱动指通过一帧图像（称为原图像）与一段视频（称为驱动视频）生成一段外观与源图像一致，而主体（例如，主体姿态和/或主体表情）与驱动视频一致的视频的技术；图像驱动又可以称为动作迁移 （Motion Transfer）或者图像动画（Image Animation)。

在一种实现方式中，待修复人脸区域与通过面部姿态认证的人脸区域序列中包括相同的人像，待修复人脸区域与人脸区域序列的拍摄场景可以不同；面部重驱动模型用于将通过面部姿态认证的人脸区域序列的面部表情与面部姿态迁移至待修复人脸区域，生成重驱动人脸区域。

可选地，可以对待修复人脸区域与通过面部姿态认证的人脸区域序列进行降低分辨率处理，得到低分辨率的待修复人脸区域与低分辨率的人脸区域序列；将低分辨率的待修复人脸区域与低分辨率的人脸区域序列输入至面部重驱动模型，得到重驱动人脸区域流。

可选地，在进行降低分辨率处理时，确保低分辨率的待修复人脸区域与低分辨率的人脸区域序列的分辨率相同。

在本申请的实施例中，通过待修复人脸区域与通过面部姿态认证的人脸区域序列进行低分辨率处理，在低分辨率的情况下实现待修复图像的重驱动，确保在电子设备中的实时显示重驱动人脸区域序列；便于用户对实时显示的重驱动人脸区域序列并对其进行交互操作，实现用户能够实时灵活选择重驱动人脸区域序列中的目标重驱动人脸区域。

可选地，面部重驱动模型的训练方法可以参见图14的相关描述。

S308、检测到对重驱动人脸区域序列的第一操作。

其中，第一操作用于指示重驱动人脸区域序列中的人脸区域。

示例性地，电子设备中可以根据实时采集的人像图像流与待修复图像在电子设备中显示重驱动人脸区域序列；检测到对重驱动人脸区域序列的点击操作，如图6中的（a）所示。

应理解，上述以第一操作为点击操作进行举例说明；第一操作还可以是指通过其他方式指示重驱动人脸区域序列中的人脸区域的操作，本申请对此不作任何限定。

S309、响应于第一操作，获取目标重驱动人脸区域。

示例性地，响应于第一操作，获取重驱动人脸区域序列中的目标重驱动人脸区域。

应理解，目标重驱动人脸区域可以是指第一操作指示的重驱动人脸区域序列中的人脸区域；可以理解为，目标重驱动人脸区域可以为面部姿态与面部表情经过图像驱动的人脸区域。

S310、对目标重驱动人脸区域进行超分辨率处理，得到目标人脸区域。

可选地，上述超分辨率处理可以采用现有的任意算法，本申请对此不作任何限定。

在本申请的实施例中，在低分辨率的情况下实现待修复图像的重驱动，确保在电子设备中的实时显示重驱动人脸区域序列；便于用户对实时显示的重驱动人脸区域序列并对其进行交互操作；基于检测到的第一操作，可以获取重驱动人脸区域序列中的目标重驱动人脸区域；通过对目标重驱动人脸区域进行超分辨率处理，从而确保目标人脸区域的细节信息。

S310、对待修复图像与目标人脸区域进行图像融合处理，得到处理后的图像。

示例性地，可以将待修复图像中待修复人脸区域替换为目标人脸区域，得到处理后的图像。

示例性地，可以对待修复图像中的待修复人脸区域与目标人脸区域进行加权取平均，得到处理后的图像。

应理解，在进行上述替换或者融合处理的过程中，待修复图像中除待修复人脸区域之外的图像区域保持不变；例如，背景区域的光线、背景区域的物体等不变；此外，待修复图像中人像的着装、发型等均保持不变。

S312、显示处理后的图像。

应理解，处理后的图像中包括待修复图像中第一图像区域与目标人脸区域，第一图像区域是指待修复图像中除待修复人脸区域之外的图像区域。

可选地，可以在电子设备的图库中保存处理后的图像与待修复图像；或者，可以在电子设备的图库中保存处理后的图像。

可选地，在一种实现方式中，在执行S304之后可以直接执行S306；即可以不判断待修复人脸区域与人脸区域序列是否为包括相同人像。

图14是本申请实施例提供的一种面部重驱动模型的训练方法的示意图；该方法400包括S401至S409；下面分别对S401至S409进行详细地描述。

S401、获取第一样本人脸区域。

示例性地，第一样本图像可以是指样本图像流中的任一帧图像；对该图像进行人脸检测，或者第一样本人脸区域。

S402、进行人脸稠密关键点检测，得到第一检测结果。

示例性地，对第一样本人脸区域进行人脸稠密关键点检测，得到第一检测结果。

需要说明的是，人脸稠密关键点检测算法可以是指人脸关键点检测算法中的一种算法；与通常的人脸关键点检测算法相比，人脸稠密关键点检测算法在对第一样本图像进行人脸检测时，能够获取更多数量的关键点的信息；例如，关键点包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等；第一检测结果中包括关键点的坐标信息。

S403、基于第一检测结果，得到第一关键点热力图。

应理解，关键点热力图又可以称为高斯热力图，是指在关键点的位置做高斯分布处理后得到的背景为0，关键点位置符合高斯分布的黑白图。

示例性地，可以根据第一检测结果得到第一样本人脸区域的关键点的位置；对关键点的位置做高斯分布处理后得到的背景为0，关键点位置符合高斯分布的黑白图，即为第一关键点热力图。

S404、获取第二样本人脸区域。

可选地，在一种实现方式中，第一样本人脸区域与第二样本人脸区域包括同一人像；可以理解为，第一样本人脸区域与第二样本人脸区域是通过对同一样本图像流中的任意两帧图像进行人脸检测得到的图像区域，该样本图像流中包括同一人像。

可选地，在一种实现方式中，第一样本人脸区域与第二样本人脸区域包括不同人像；第一样本人脸区域与第二样本人脸区域对应的人像标识不同。

S405、进行人脸稠密关键点检测，得到第二检测结果。

示例性地，对第二样本人脸区域进行人脸稠密关键点检测，得到第二检测结果。

可选地，实现方式可以参见S402的相关描述，此处不再赘述。

S406、基于第二检测结果，得到第二关键点热力图。

应理解，关键点热力图又可以称为高斯热力图，是指在关键点的位置做高斯分布处理后得到的背景为0，关键点位置符合高斯分布的黑白图。

示例性地，可以根据第二检测结果得到第二样本人脸区域的关键点的位置；对关键点的位置做高斯分布处理后得到的背景为0，关键点位置符合高斯分布的黑白图，即为第二关键点热力图。

S407、将第一关键点热力图与第二关键点热力图输入至形变预测模型，得到迁移特征。

需要说明的是，形变预测模型用于预测第一样本人脸区域与第二样本人脸区域在面部表情与面部姿态之间的差异；迁移特征可以用于表征第一样本人脸区域与第二样本人脸区域在面部表情与面部姿态之间的变化量。

示例性地，形变预测模型可以为神经网络；例如，卷积神经网络。

S408、将第一样本人脸区域与迁移特征输入至图像重建模型，得到预测人脸区域。

其中，图像重建模型用于根据迁移特征对第一样本人脸区域的面部表情与面部姿态进行图像重建，得到预测人脸区域。

示例性地，图像重建模型可以为神经网络；例如，卷积神经网络。

S409、通过损失函数更新形变预测模型与图像重建模型的参数，得到面部重驱动模型。

示例性地，通过损失函数与反向迭代算法可以对形变预测模型与图像重建模型的参数进行更新，得到训练后的面部重驱动模型。

其中，损失函数包括两部分，损失函数1用于表征第一样本人脸区域的标识1与预测人脸区域的标识2之间的差异；其中，标识1用于指示第一样本人脸区域中人物的标识；标识2用于指示第二样本人脸区域中人物的标识；损失函数2用于表征第二样本人脸区域与预测人脸区域在面部表情与面部姿态之间的差异。

在本申请的实施例中，通过获取的样本图像流采用自监督的训练方法训练面部重驱动模型；由于在本申请的方案中，是为了实现用户对自己的待修复图像的区域，因此在对面部驱动模型进行训练时，可以获取用户自身的人像图像流；因此，在本申请的方案中，通过自监督的训练方式较容易地获取大量训练数据，充足的训练数据可提升面部驱动模型的稳定性与准确性。

图15是本申请实施例提供的一种图像处理方法的示意性流程图；该方法500包括S510至S590；下面分别对S510至S590进行详细地描述。

S510、显示第一图像。

其中，第一图像中包括待修复面部区域，待修复面部区域为第一对象的面部区域。

示例性地，第一图像可以如图2中的（b）所示。

应理解，第一图像可以为存在表情管理失败问题的图像。

S520、检测到对第一图像的第一操作。

示例性地，第一操作可以为点击操作；例如，电子设备检测到对第一图像中待修复面部区域的点击操作，如图3中的（a）所示。

可选地，第一操作可以为电子设备检测到对第一图像中除待修复面部区域之外的区域的点击操作。

S530、响应于第一操作，获取第一图像流。

其中，第一图像流中包括第一面部区域序列，第一面部区域序列为第二对象的面部区域序列。

可选地，在一种实现方式中，第一对象与第二对象为同一对象；例如，第一对象与第二对象为同一人物。

在本申请的实施例中，在第一对象与第二对象为同一对象的情况下，比如，第一对象与第二对象为电子设备的机主用户，则该机主用户能够在采集的图像存在表情管理失败问题的情况下，重新采集本人的图像流；将图像流中的面部姿态与面部表情迁移至第一图像中，生成用户满意的图像。

可选地，在一种实现方式中，第一对象与第二对象为不同对象；例如，第一对象与第二对象为不同的人物。

在本申请的实施例中，假设第一对象为电子设备的机主用户，在机主用户的图像存在表情管理失败的情况下，该机主用户可以获取其他用户的图像流；将其他用户的面部表情与面部姿态迁移至该表情管理失败的图像，生成用户满意的图像。

S540、通过图像处理模型，将第一面部区域序列中的部分或者全部面部姿态和/或面部表情迁移至待修复面部区域，生成第二面部区域序列。

其中，第二面部区域序列为第一对象的面部区域序列。

在一个示例中，通过图像处理模型，将第一面部区域序列中全部面部姿态和/或面部表情迁移至待修复面部区域，生成第二面部区域序列。

在一个示例中，通过图像处理模型，将第一面部区域序列中经过面部姿态验证的部分面部姿态和/或面部表情迁移至待修复面部区域，生成第二面部区域序列；如图12中的S306与S307所示。

可选地，在一种实现方式中，第一面部区域序列包括N帧面部区域，N为大于1的整数；通过图像处理模型，将第一面部区域序列中的部分或者全部的面部姿态和/或面部表情迁移至待修复面部区域，生成第二面部区域序列，包括：

对第一面部区域序列的面部朝向与待修复面部区域的面部朝向进行比较；

若第一面部朝向与第二面部朝向之间的差异小于预设阈值，通过图像处理模型，将第一面部区域序列中的第三面部区域序列的面部姿态和面部表情迁移至待修复面部区域，生成第二面部区域序列；

其中，第一面部朝向为第一面部区域的面部朝向，第二面部朝向为第一面部区域序列中第i帧面部区域的面部朝向，第三面部区域序列包括第一面部区域序列中第i帧面部区域至第N帧面部区域。

示例性地，上述图像处理模型可以是在如图11与图12所示的面部重驱动模型；上述实现方式可以参见图12中S306与S307的相关描述。

在本申请的实施例中，可以先对第一面部区域序列的面部朝向与待修复面部区域的面部朝向进行比较，即判断第一面部区域序列中的面部区域与待修复面部区域的面部朝向是否相同；在第一面部区域序列中的面部区域与待修复面部区域的面部朝向相同的情况下，通过图像处理模型进行处理，从而确保生成第二面部区域序列的形变较小；确保生成第二面部区域序列的稳定性；其中，面部朝向相同可以是指第一面部区域序列的面部朝向与待修复面部区域的面部朝向的差异小于预设阈值（例如，预设角度）。

可选地，在一种实现方式中，若第一面部朝向与第二面部朝向之间的差异小于预设阈值，通过图像处理模型，将第一面部区域序列中第三面部区域序列的面部姿态和面部表情迁移至待修复面部区域，生成第二面部区域序列，包括：

若第一面部朝向与第二面部朝向之间的差异小于预设阈值，对待修复面部区域与第三面部区域序列分别进行下采样处理，得到第一面部区域与第四面部区域序列；

将第一面部区域与第四面部区域序列输入至图像处理模型，生成第二面部区域序列。

可选地，上述实现方式可以参见图11中S230或者图12中S307的相关描述，此处不再赘述。

在本申请的方案中，通过待修复面部区域与第三面部区域序列进行下采样处理，能够在低分辨率的情况下实现待修复面部区域的重驱动，确保能够在电子设备中快速实时的显示重驱动人脸区域序列（例如，第二面部区域序列）；便于用户对实时显示的重驱动人脸区域序列并对其进行交互操作，实现用户能够实时灵活选择重驱动面部区域序列中的目标面部区域。

可选地，在一种实现方式中，图像处理模型包括第一子模型与第二子模型；将第一面部区域与第四面部区域序列输入至图像处理模型，生成第二面部区域序列，包括：

将第一面部区域的关键点图像与第四面部区域序列的关键点图像输入第一子模型，得到第一特征向量集合；第一特征向量集合中的一个第一特征向量用于表征第四面部区域序列中的一帧面部区域与第一面部区域的面部差异，面部差异包括面部表情差异与面部姿态差异；

将第一面部区域与第一特征向量集合输入至第二子模型，生成第二面部区域序列，第二子模型用于进行图像特征重建。可选地，在一种实现方式中，图像处理模型为通过以下训练方式得到的：

获取样本图像流中的第一样本面部区域与第二样本面部区域；

将第一样本面部区域的关键点图像与第二样本面部区域的关键点图像输入至待训练的第一子模型，得到预测特征向量；

将第一样本面部区域与预测特征向量输入至待训练的第二子模型，得到预测面部区域；

基于损失函数更新待训练的第一子模型与待训练的第二子模型的参数，得到第一子模型与第二子模型；

其中，损失函数包括第一损失函数与第二损失函数，第一损失函数用于表征第一样本面部区域的标识与预测面部区域的标识之间的差异，第二损失函数用于表征第二样本面部区域与预测面部区域的面部差异。

示例性地，图像处理模型的训练方法可以参见图14的相关描述，此处不再赘述。

S550、显示第二面部区域序列。

可选地，在一种实现方式中，显示第二面部区域序列，包括：

显示第一界面，第一界面包括预览窗与第一窗口，预览窗中显示第二面部区域序列，第一窗口中显示第一面部区域序列；

其中，第一窗口在预览窗中以画中画的形式显示，或者，第一窗口在预览窗口中以分屏的形式显示。

示例性地，如图8中的（a）所示的用户界面26；第一窗口可以是指小窗125；第一窗口在预览窗中以画中画的形式显示。

可选地，在一种实现方式中，预览窗中包括第一检测框，第一检测框用于标记拍摄对象的面部区域，第一检测框中显示第二面部区域序列。

示例性地，如图4中的（b）所示的用户界面18，第一检测框为人脸检测框124。

S560、检测到对第二面部区域序列的第二操作。

示例性地，第二操作为点击操作；例如，检测到第二面部区域序列的点击操作。

在本申请的实施例中，可以在电子设备的显示界面中实时显示驱动后的面部区域，即实时显示第二面部区域序列；使得用户能够在第二面部区域序列中进行选择，在检测到对第二面部区域序列的操作后，可以获取第二面部区域序列中的目标面部区域；可以理解为，在本申请的方案中，可以实时显示驱动后的面部区域，且用户可以进行实时交互操作，提高用户体验。

S570、响应于第二操作，获取第二面部区域序列中的目标面部区域。

应理解，目标面部区域可以为该面部姿态与面部表情为用户满意的面部姿态与面部表情。

示例性地，目标面部区域可以如图9中的（b）所示的面部区域。

S580、基于第一图像与目标面部区域，生成第二图像。

可选地，在一种实现方式中，基于第一图像与目标面部区域，生成第二图像，包括：

对第一图像中的待修复面部区域与目标面部区域进行融合处理，生成第二图像。

可选地，在一种实现方式中，对第一图像中的待修复面部区域与目标面部区域进行融合处理，生成第二图像，包括：

将第一图像中的待修复面部区域替换为目标面部区域，生成第二图像。

S590、显示第二图像。

示例性地，第二图像如图7中的（b）所示。

在一种实现方式中，第一图像为人物A的待修复图像；第一图像流为人物A的人像图像流；通过人物A自身的图像流可以对人物A的待修复图像中的待修复面部区域进行重驱动；一方面，人物A能够较容易的获取自身的人像图像流；另一方面，电子设备中可以实时显示重驱动后的面部区域序列，便于用户选择自身满意的面部区域；基于用户满意的面部区域对待修复图像中的待修复面部区域进行处理，生成修复后的图像。

在一种实现方式中，第一图像为人物A的待修复图像；第一图像流为人物B的人像图像流；通过人物B自身的图像流可以对人物A的待修复图像中的待修复面部区域进行重驱动，即可以将人物B的面部表情与面部姿态迁移至人物A的面部区域，电子设备中可以实时显示重驱动后的面部区域序列，便于用户选择自身满意的面部区域；基于用户满意的面部区域对待修复图像中的待修复面部区域进行处理，生成修复后的图像。

在本申请的方案中，在采集的图像中存在用户表情管理失败的情况下，即第一图像中存在待修复面部区域时，电子设备能够获取包括面部图像区域的第一图像流；通过图像处理模型，将第一图像流中的面部姿态与面部表情迁移至待修复面部区域，生成第二面部图像流；此外，在电子设备中可以显示第二面部图像流，基于检测到的对第二面部区域序列的第二操作，获取第二面部区域序列中的目标面部区域；基于目标面部区域与第一图像，生成面部表情与面部姿态修复后的第二图像；通过本申请的方案，可以实时显示面部区域重驱动后的图像流，便于用户选择满意的面部表情与面部姿态，生成修复后的图像；提高用户体验。

图16是本申请实施例提供的电子设备的系统结构示意图。

示例性地，分层架构将系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将系统分为五层，从上至下分别为应用层，应用框架层、硬件抽象层、驱动层以及硬件层。

例如，应用层可以包括一系列应用程序包。在本申请实施例中，应用程序包可以包括图库应用程序。

例如，应用框架层为应用层的应用程序提供应用编程接口（applicationprogramming interface，API）和编程框架。应用框架层包括一些预先定义的函数。在本申请实施例中，应用框架层可以包括图库访问接口；图库访问接口用于为图库应用提供应用编程接口和编程框架。

例如，硬件抽象层为位于应用框架层以及驱动层之间的接口层，为操作系统提供虚拟硬件平台。本申请实施例中，硬件抽象层可以包括硬件抽象模块；硬件抽象模块中包括图像处理算法；图像处理算法用于电子设备执行本申请实施例提供的图像处理方法。

例如，驱动层为硬件和软件之间的层。驱动层包括各种硬件的驱动。驱动层可以包括显示屏驱动，显示屏驱动用于驱动显示屏显示处理后的图像。

例如，硬件层包括显示屏；显示屏用于显示处理后的图像。

图17示出了一种适用于本申请的电子设备的硬件系统。

示例性地，电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实（augmented reality，AR）设备、虚拟现实（virtual reality，VR）设备、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本、个人数字助理（personal digital assistant，PDA）、投影仪等等，本申请实施例对电子设备100的具体类型不作任何限制。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriber identification module，SIM）卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

需要说明的是，图1所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图1所示的部件更多或更少的部件，或者，电子设备100可以包括图1所示的部件中某些部件的组合，或者，电子设备100可以包括图1所示的部件中某些部件的子部件。图1示的部件可以以硬件、软件、或软件和硬件的组合实现。

示例性地，处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器（application processor，AP）、调制解调处理器、图形处理器（graphics processing unit，GPU）、图像信号处理器（image signal processor，ISP）、控制器、视频编解码器、数字信号处理器（digital signal processor，DSP）、基带处理器、神经网络处理器（neural-network processing unit，NPU）。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

示例性地，处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。例如，处理器110可以包括以下接口中的至少一个：内部集成电路（inter-integrated circuit，I2C）接口、内部集成电路音频（inter-integrated circuit sound，I2S）接口、脉冲编码调制（pulse codemodulation，PCM）接口、通用异步接收传输器（universal asynchronous receiver/transmitter，UART）接口、移动产业处理器接口（mobile industry processor interface，MIPI）、通用输入输出（general-purpose input/output，GPIO）接口、SIM接口、USB接口。

示例性地，在本申请的实施例中，处理器110可以用于执行本申请实施例提供的图像处理方法；例如，显示第一图像，第一图像中包括待修复面部区域，待修复面部区域为第一对象的面部区域；检测到对第一图像的第一操作；响应于第一操作，获取第一图像流，第一图像流中包括第一面部区域序列，第一面部区域序列为第二对象的面部区域序列；通过图像处理模型，将第一面部区域序列中的部分或者全部的面部姿态和/或面部表情迁移至待修复面部区域，生成第二面部区域序列，第二面部区域序列为第一对象的面部区域序列；显示第二面部区域序列；检测到对第二面部区域序列的第二操作；响应于第二操作，获取第二面部区域序列中的目标面部区域；基于第一图像与目标面部区域，生成第二图像；显示第二图像。

电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

示例性地，电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

示例性地，显示屏194可以用于显示图像或视频。

可选地，显示屏194可以用于显示图像或视频。显示屏194包括显示面板。显示面板可以采用液晶显示屏（liquid crystal display，LCD）、有机发光二极管（organic light-emitting diode，OLED）、有源矩阵有机发光二极体（active-matrix organic light-emitting diode，AMOLED）、柔性发光二极管（flex light-emitting diode，FLED）、迷你发光二极管（mini light-emitting diode，Mini LED）、微型发光二极管（micro light-emitting diode，Micro LED）、微型OLED （Micro OLED）或量子点发光二极管（quantum dotlight emitting diodes，QLED）。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

示例性地，电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。

示例性地，ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过摄像头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。

示例性地，摄像头193（也可以称为镜头）用于捕获静态图像或视频。可以通过应用程序指令触发开启，实现拍照功能，如拍摄获取任意场景的图像。摄像头可以包括成像镜头、滤光片、图像传感器等部件。物体发出或反射的光线进入成像镜头，通过滤光片，最终汇聚在图像传感器上。成像镜头主要是用于对拍照视角中的所有物体（也可以称为待拍摄场景、目标场景，也可以理解为用户期待拍摄的场景图像）发出或反射的光汇聚成像；滤光片主要是用于将光线中的多余光波（例如除可见光外的光波，如红外）滤去；图像传感器可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementarymetal-oxide-semiconductor，CMOS)光电晶体管。图像传感器主要是用于对接收到的光信号进行光电转换，转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。

示例性地，数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

示例性地，视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组（moving picture experts group，MPEG）1、MPEG2、MPEG3和MPEG4。

示例性地，陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴（即，x轴、y轴和z轴）的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如，当快门被按下时，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。

示例性地，加速度传感器180E可检测电子设备100在各个方向上（一般为x轴、y轴和z轴）加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态，作为横竖屏切换和计步器等应用程序的输入参数。

示例性地，距离传感器180F用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，电子设备100可以利用距离传感器180F测距以实现快速对焦。

示例性地，环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

示例性地，指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。

示例性地，触摸传感器180K，也称为触控器件。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，并且与显示屏194设置于不同的位置。

示例性地，图17所示的各硬件间的连接关系只是示意性说明，并不构成对电子设备100的各硬件间的连接关系的限定。可选地，电子设备100的各硬件也可以采用上述实施例中之外的其他连接方式。

示例性地，图18是本申请实施例一种电子设备的结构示意图。该电子设备包括显示模块151与处理模块152。

其中，显示模块151用于：显示第一图像，第一图像中包括待修复面部区域，所述待修复面部区域为第一对象的面部区域；所述处理模块152用于：检测到对所述第一图像的第一操作；响应于所述第一操作，获取第一图像流，所述第一图像流中包括第一面部区域序列，所述第一面部区域序列为第二对象的面部区域序列；通过图像处理模型，将所述第一面部区域序列中的部分或者全部的面部姿态和/或面部表情迁移至所述待修复面部区域，生成第二面部区域序列，所述第二面部区域序列为所述第一对象的面部区域序列；所述显示模块151还用于：显示所述第二面部区域序列；所述处理模块152还用于：检测到对所述第二面部区域序列的第二操作；响应于所述第二操作，获取所述第二面部区域序列中的目标面部区域；基于所述第一图像与所述目标面部区域，生成第二图像；所述显示模块151还用于：显示所述第二图像。

可选地，作为一个实施例，所述显示模块151具体用于：

显示第一界面，所述第一界面包括预览窗与第一窗口，所述预览窗中显示所述第二面部区域序列，所述第一窗口中显示所述第一面部区域序列；

其中，所述第一窗口在所述预览窗中以画中画的形式显示，或者，所述第一窗口在所述预览窗口中以分屏的形式显示。

可选地，作为一个实施例，所述预览窗中包括第一检测框，所述第一检测框用于标记拍摄对象的面部区域，所述第一检测框中显示所述第二面部区域序列。

可选地，作为一个实施例，所述第一面部区域序列包括N帧面部区域，N为大于1的整数；所述处理模块152具体用于：

对所述第一面部区域序列的面部朝向与所述待修复面部区域的面部朝向进行比较；

若第一面部朝向与第二面部朝向之间的差异小于预设阈值，通过所述图像处理模型，将所述第一面部区域序列中的第三面部区域序列的面部姿态和面部表情迁移至所述待修复面部区域，生成所述第二面部区域序列；

其中，所述第一面部朝向为所述第一面部区域的面部朝向，所述第二面部朝向为所述第一面部区域序列中第i帧面部区域的面部朝向，所述第三面部区域序列包括所述第一面部区域序列中所述第i帧面部区域至第N帧面部区域。

可选地，作为一个实施例，所述处理模块152具体用于：

若所述第一面部朝向与所述第二面部朝向之间的差异小于所述预设阈值，对所述待修复面部区域与所述第三面部区域序列分别进行下采样处理，得到第一面部区域与第四面部区域序列；

将所述第一面部区域与所述第四面部区域序列输入至所述图像处理模型，生成所述第二面部区域序列。

可选地，作为一个实施例，所述图像处理模型包括第一子模型与第二子模型；所述处理模块152具体用于：

将所述第一面部区域的关键点图像与所述第四面部区域序列的关键点图像输入所述第一子模型，得到第一特征向量集合；所述第一特征向量集合中的一个第一特征向量用于表征所述第四面部区域序列中的一帧面部区域与所述第一面部区域的面部差异，所述面部差异包括面部表情差异与面部姿态差异；

将所述第一面部区域与所述第一特征向量集合输入至所述第二子模型，生成所述第二面部区域序列，所述第二子模型用于进行图像特征重建。

可选地，作为一个实施例，所述图像处理模型为通过以下训练方式得到的：

获取样本图像流中的第一样本面部区域与第二样本面部区域；

将所述第一样本面部区域的关键点图像与所述第二样本面部区域的关键点图像输入至待训练的第一子模型，得到预测特征向量；

将所述第一样本面部区域与所述预测特征向量输入至待训练的第二子模型，得到预测面部区域；

基于损失函数更新所述待训练的第一子模型与所述待训练的第二子模型的参数，得到所述第一子模型与所述第二子模型；

其中，所述损失函数包括第一损失函数与第二损失函数，所述第一损失函数用于表征所述第一样本面部区域的标识与所述预测面部区域的标识之间的差异，所述第二损失函数用于表征所述第二样本面部区域与所述预测面部区域的所述面部差异。

可选地，作为一个实施例，所述处理模块152具体用于：

对所述第一图像中的所述待修复面部区域与所述目标面部区域进行融合处理，生成所述第二图像。

可选地，作为一个实施例，所述处理模块152具体用于：

将所述第一图像中的所述待修复面部区域替换为所述目标面部区域，生成所述第二图像。

可选地，作为一个实施例，所述第一对象与所述第二对象为同一对象。

可选地，作为一个实施例，所述第一对象与所述第二对象为人物。

需要说明的是，上述电子设备以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。硬件电路可能包括应用特有集成电路（application specific integrated circuit，ASIC）、电子电路、用于执行一个或多个软件或固件程序的处理器（例如共享处理器、专有处理器或组处理器等）和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

可选地，本申请还提供了一种计算机程序产品，该计算机程序产品被处理器执行时实现本申请中任一方法实施例中的图像处理方法。

例如，该计算机程序产品可以存储在存储器中，例如是程序，程序经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器执行的可执行目标文件。

可选地，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例的图像处理方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。

例如，该计算机可读存储介质例如是存储器。存储器可以是易失性存储器或非易失性存储器，或者，存储器可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器（read-only memory，ROM）、可编程只读存储器（programmableROM，PROM）、可擦除可编程只读存储器（erasable PROM，EPROM）、电可擦除可编程只读存储器（electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（randomaccess memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（static RAM，SRAM）、动态随机存取存储器（dynamicRAM，DRAM）、同步动态随机存取存储器（synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（double data rate SDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synchlink DRAM，SLDRAM）和直接内存总线随机存取存储器（direct rambus RAM，DR RAM）。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的电子设备的实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

另外，本文中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准总之，以上仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种图像处理方法，其特征在于，应用于电子设备，包括：

显示第一图像，第一图像中包括待修复面部区域，所述待修复面部区域为第一对象的面部区域；

检测到对所述第一图像的第一操作；

响应于所述第一操作，获取第一图像流，所述第一图像流中包括第一面部区域序列，所述第一面部区域序列为第二对象的面部区域序列；

通过图像处理模型，将所述第一面部区域序列中的部分或者全部的面部姿态和/或面部表情迁移至所述待修复面部区域，生成第二面部区域序列，所述第二面部区域序列为所述第一对象的面部区域序列；

显示所述第二面部区域序列；

检测到对所述第二面部区域序列的第二操作；

响应于所述第二操作，获取所述第二面部区域序列中的目标面部区域；

基于所述第一图像与所述目标面部区域，生成第二图像；

显示所述第二图像。

2.如权利要求1所述的图像处理方法，其特征在于，所述显示所述第二面部区域序列，包括：

显示第一界面，所述第一界面包括预览窗与第一窗口，所述预览窗中显示所述第二面部区域序列，所述第一窗口中显示所述第一面部区域序列；

其中，所述第一窗口在所述预览窗中以画中画的形式显示，或者，所述第一窗口在所述预览窗口中以分屏的形式显示。

3.如权利要求2所述的图像处理方法，其特征在于，所述预览窗中包括第一检测框，所述第一检测框用于标记拍摄对象的面部区域，所述第一检测框中显示所述第二面部区域序列。

4.如权利要求1至3中任一项所述的图像处理方法，其特征在于，所述第一面部区域序列包括N帧面部区域，N为大于1的整数；所述通过图像处理模型，将所述第一面部区域序列中的部分或者全部的面部姿态和/或面部表情迁移至所述待修复面部区域，生成第二面部区域序列，包括：

对所述第一面部区域序列的面部朝向与所述待修复面部区域的面部朝向进行比较；

若第一面部朝向与第二面部朝向之间的差异小于预设阈值，通过所述图像处理模型，将所述第一面部区域序列中的第三面部区域序列的面部姿态和面部表情迁移至所述待修复面部区域，生成所述第二面部区域序列；

其中，所述第一面部朝向为所述第一面部区域的面部朝向，所述第二面部朝向为所述第一面部区域序列中第i帧面部区域的面部朝向，所述第三面部区域序列包括所述第一面部区域序列中所述第i帧面部区域至第N帧面部区域。

5.如权利要求4所述的图像处理方法，其特征在于，所述若第一面部朝向与第二面部朝向之间的差异小于预设阈值，通过所述图像处理模型，将所述第一面部区域序列中第三面部区域序列的面部姿态和面部表情迁移至所述待修复面部区域，生成所述第二面部区域序列，包括：

若所述第一面部朝向与所述第二面部朝向之间的差异小于所述预设阈值，对所述待修复面部区域与所述第三面部区域序列分别进行下采样处理，得到第一面部区域与第四面部区域序列；

将所述第一面部区域与所述第四面部区域序列输入至所述图像处理模型，生成所述第二面部区域序列。

6.如权利要求5所述的图像处理方法，其特征在于，所述图像处理模型包括第一子模型与第二子模型；所述将所述第一面部区域与所述第四面部区域序列输入至所述图像处理模型，生成所述第二面部区域序列，包括：

将所述第一面部区域的关键点图像与所述第四面部区域序列的关键点图像输入所述第一子模型，得到第一特征向量集合；所述第一特征向量集合中的一个第一特征向量用于表征所述第四面部区域序列中的一帧面部区域与所述第一面部区域的面部差异，所述面部差异包括面部表情差异与面部姿态差异；

将所述第一面部区域与所述第一特征向量集合输入至所述第二子模型，生成所述第二面部区域序列，所述第二子模型用于进行图像特征重建。

7.如权利要求6所述的图像处理方法，其特征在于，所述图像处理模型为通过以下训练方式得到的：

获取样本图像流中的第一样本面部区域与第二样本面部区域；

将所述第一样本面部区域的关键点图像与所述第二样本面部区域的关键点图像输入至待训练的第一子模型，得到预测特征向量；

将所述第一样本面部区域与所述预测特征向量输入至待训练的第二子模型，得到预测面部区域；

基于损失函数更新所述待训练的第一子模型与所述待训练的第二子模型的参数，得到所述第一子模型与所述第二子模型；

其中，所述损失函数包括第一损失函数与第二损失函数，所述第一损失函数用于表征所述第一样本面部区域的标识与所述预测面部区域的标识之间的差异，所述第二损失函数用于表征所述第二样本面部区域与所述预测面部区域的所述面部差异。

8.如权利要求1至3、5至7中任一项所述的图像处理方法，其特征在于，所述基于所述第一图像与所述目标面部区域，生成第二图像，包括：

对所述第一图像中的所述待修复面部区域与所述目标面部区域进行融合处理，生成所述第二图像。

9.如权利要求1至3、5至7中任一项所述的图像处理方法，其特征在于，所述对所述第一图像中的所述待修复面部区域与所述目标面部区域进行融合处理，生成所述第二图像，包括：

将所述第一图像中的所述待修复面部区域替换为所述目标面部区域，生成所述第二图像。

10.如权利要求1至3、5至7中任一项所述的图像处理方法，其特征在于，所述第一对象与所述第二对象为同一对象。

11.如权利要求1至3、5至7中任一项所述的图像处理方法，其特征在于，所述第一对象与所述第二对象为人物。

12.一种电子设备，其特征在于，包括：

一个或多个处理器与存储器；

所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至11中任一项所述的图像处理方法。

13.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至11中任一项所述的图像处理方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储了计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至11中任一项所述的图像处理方法。

Images