CN115240260A - 图像处理方法及其装置 - Google Patents

Abstract

本申请公开了一种图像处理方法及其装置，图像处理方法包括：识别并裁剪目标图像帧，得到N张第一面部图像，N为正整数；将N张第一面部图像输入至目标网络模型，生成N个面部模型；确定N个面部模型中的第一面部模型和M个第二面部模型，M＜N，M为正整数；将第一面部模型的表情信息，复制到M个第二面部模型；对第一面部模型和M个第二面部模型进行渲染，以得到第二面部图像和M个第三面部图像；根据第二面部图像和M个第三面部图像，更新目标图像帧中的图像内容。

Description

图像处理方法及其装置

技术领域

本申请属于图像处理技术领域，具体涉及一种图像处理方法及其装置。

背景技术

随着技术的进步，用户对特效摄影的需求逐渐增大，其中，人脸“表情编辑”技术在摄影特效方面有着非常大的潜力。

相关技术中，摄影段常用的“表情编辑”大部分基于深度学习网络实现人脸表情生成式编辑，由于处理过程均在二维图像层面进行，具有较大的不可控性。

发明内容

本申请实施例的目的是提供一种图像处理方法、图像处理装置、电子设备和存储介质，提高了表情复制过程中的可控性，避免了出现异常表情的情况。

第一方面，本申请实施例提供了一种图像处理方法，包括：识别并裁剪目标图像帧，得到N张第一面部图像，N为正整数；将N张第一面部图像输入至目标网络模型，生成N个面部模型；确定N个面部模型中的第一面部模型和M个第二面部模型，M＜N，M为正整数；将第一面部模型的表情信息，复制到M个第二面部模型；对第一面部模型和M个第二面部模型进行渲染，以得到第二面部图像和M个第三面部图像；根据第二面部图像和M个第三面部图像，更新目标图像帧中的图像内容。

第二方面，本申请实施例提供了一种图像处理装置，包括：识别模块，用于识别并裁剪目标图像帧，得到N张第一面部图像，N为正整数；生成模块，用于将N张第一面部图像输入至目标网络模型，生成N个面部模型；确定模块，用于确定N个面部模型中的第一面部模型和M个第二面部模型，M＜N，M为正整数；复制模块，用于将第一面部模型的表情信息，复制到M个第二面部模型；渲染模块，用于对第一面部模型和M个第二面部模型进行渲染，得到第二面部图像和M个第三面部图像；更新模块，用于根据第二面部图像和M个第三面部图像，更新目标图像帧中的图像内容。

第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器，存储器可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现如第一方面的方法的步骤。

第五方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序或指令，实现如第一方面的方法的步骤。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面的方法。

本申请实施例通过对目标图像帧进行识别和裁剪能够得到多张第一面部图像，并对第一面部图像进行三维重建，基于重建后的面部模型进行表情复制，在表情复制之后，再将三维的面部模型渲染成二维的图像，以对第一视频帧显示的人脸特征进行更新，实现单帧输入图像下的多人脸“表情复制”视频特效。该图像处理方法实现简单，无需用户复杂操作，由于在重建的三维面部模型中进行表情复制，提高了表情复制过程中的可控性，避免了出现异常表情的情况，在任意背景下实时实现多人脸“表情复制”视频特效。

附图说明

图1示出了本申请实施例提供的图像处理方法的流程示意图；

图2示出了本申请实施例提供的图像处理装置的结构框图；

图3示出了本申请实施例提供的电子设备的结构框图；

图4示出了本申请实施例提供的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图1至图4，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法、图像处理装置、电子设备和存储介质进行详细地说明。

在本申请实施例提供了一种图像处理方法，图1示出了本申请实施例提供的图像处理方法的流程示意图，如图1所示，图像处理方法包括：

步骤102，识别并裁剪目标图像帧，得到N张第一面部图像，N为正整数；

其中，目标图像帧可以为视频录制过程中采集到的带有面部特征的视频帧图像。

本申请实施例通过图像识别技术能够识别到目标图像帧中的面部特征，并对面部特征进行裁剪，以得到多张第一面部图像。

步骤104，将N张第一面部图像输入至预设网络模型，生成N个面部模型；

其中，预设网络模型为3D(三维)人脸重建模型，通过将多张第一面部图像输入至预设网络模型，能够得到每张第一面部图像对应的面部模型。

需要说明的是，第一面部模型和第二面部模型可为具有表情的面部模型，还可以为无表情的面部模型和表情系数。

步骤106，确定N个面部模型中的第一面部模型和M个第二面部模型，M＜N，M为正整数；

步骤108，将第一面部模型的表情信息，复制到M个第二面部模型；

本申请实施例中，在得到多个面部模型之后，需要确定多个面部模型中的主模型和附属模型，即第一面部模型和第二面部模型。其中，第一面部模型对应的表情为需要复制到第二面部模型的表情，从而使N个面部模型的表情相同，达到复制表情的效果。

需要说明的是，N个面部模型中包括M个第二面部模型和N-M个第一面部模型，且M＜N，保证N个面部模型中既包括第二面部模型，也包括第一面部模型。第一面部模型为主人脸模型，第二面部模型为附属人脸模型，在表情复制过程中，需要将主人脸模型中的表形信息复制到附属人脸模型中。

在一些可能的实施方式中，N个面部模型中包括1个第一面部模型，和N-1个第二面部模型，在表情复制过程中，将1个第一面部模型的表情信息，复制给所有第二面部模型。

在另外一些可能的实施方式中，N个面部模型中包括P个第一面部模型，和M个第二面部模型，N＝P+M。

可选地，在表情复制过程中，将P个第一面部模型中的P个表情信息按照预设顺序，依次复制到M个第二面部模型中。预设顺序可由用户手动设置，还可以电子设备自动生成。在P＞M的情况下，则用户能够选择P个表情信息中的M个第一目标表情信息，复制到M个第二面部模型中，在P小于M的情况下，则将P个表情信息分别复制到P个第二面部模型中，用户能够选择P个表情信息中的任一表情信息，配置到其余的第二面部模型中。

可选地，在表情复制过程中，电子设备能够根据P个表情信息生成1个第二目标表情信息，该第二目标表情信息对应的表情与P个表情信息对应的表情为相似表情，并将该第二目标表情信息复制到M个第二面部模型中。

步骤110，对第一面部模型和M个第二面部模型进行渲染，得到第二面部图像和M个第三面部图像；

在将第一面部模型的表情信息复制到M个第二面部模型之后，则将三维的第一面部模型和M个第二面部模型渲染成二维的第二面部图像和M个第三面部图像。

其中，第二面部图像为第一面部模型渲染得到的二维图像，第三面部图像为第二面部模型渲染得到的二维图像。

步骤112，根据第二面部图像、M个第三面部图像，更新目标图像帧中的图像内容，以得到第二视频帧图像。

本申请实施例中，在视频录制的过程中，对实时采集到的包括多个面部特征的目标图像帧进行裁剪，以得到与多个面部特征一一对应第一面部图像，将多个二维的第一面部图像重建成对应的三维的面部模型，将多个面部模型中的第一面部模型(主人脸对应的面部模型)的表情复制到第二面部模型中，对第一面部模型和第二面部模型进行渲染，以得到相应的第二面部图像和第三面部图像，根据得到的第二面部图像和第三面部图像更新目标图像帧中的内容，使目标图像帧中的人脸表情统一化。随着视频的录制过程，每个拍摄得到的目标图像帧均进行上述处理，实现了将录制的视频中的主人脸的表情复制到附属人脸的拍摄特效。

具体来说，在电子设备录制视频的过程中，在识别到包括多个面部特征的目标图像帧的情况下，对目标图像帧进行裁剪，得到对应数量的第一面部图像。将第一面部图像重建为对应数量的面部模型，并确定面部模型中的第一面部模型(主人脸模型)和第二面部模型(附属人脸模型)，将第一面部模型的表情信息复制到第二面部模型中，即在三维模型之间进行表情复制。在表情复制完成后，再将表情复制后的第一面部模型和第二面部模型分别渲染为二维图像数据，即第二面部图像和第三面部图像，根据第二面部图像和第三面部图像对目标图像帧中的图像内容进行更新，使更新后的目标图像帧中的面部特征的表情信息相同，实现了表情复制的效果。

本申请实施例通过对目标图像帧进行识别和裁剪能够得到多张第一面部图像，并对第一面部图像进行三维重建，基于重建后的面部模型进行表情复制，在表情复制之后，再将三维的面部模型渲染成二维的图像，以对第一视频帧显示的人脸特征进行更新，实现单帧输入图像下的多人脸“表情复制”视频特效。该图像处理方法实现简单，无需用户复杂操作，由于在重建的三维面部模型中进行表情复制，提高了表情复制过程中的可控性，避免了出现异常表情的情况，在任意背景下实时实现多人脸“表情复制”视频特效。

在本申请的一些实施例中，将第一面部模型的表情信息，复制到M个第二面部模型，包括：获取第一面部模型对应的第一表情系数；根据第一表情系数，更新M个第二面部模型的表情信息。

需要说明的是，将N张第一面部图像输依次输入至人脸重建模型中，不仅能够得到面部模型，还能够得到每个面部模型对应的表情系数。

本申请实施例中，第一表情系数为第一面部模型对应的表情系数。根据第一表情系数对第二面部模型的表情信息进行更新，能够使更新后的第二面部模型的表情信息与第一面部模型的表情信息相同。

在一些可能的实施方式中，面部模型均为无表情模型，在确定面部模型中的第一面部模型和第二面部模型之后，查找第一面部模型对应的第一表情系数，将第一表情系数配置到无表情的第一面部模型和无表情的第二面部模型中，完成在三维模型中的表情复制。

在另外一些可能的实施方式中，面部模型为具有表情的模型，在确定面部模型中的第一面部模型和第二面部模型之后，提取第一面部模型中的第一表情系数，并剔除第二面部模型中的第二表情系数，将第一表情系数配置到第二面部模型中，完成在三维模型中的表情复制。

本申请实施例中，通过获取第一面部模型的第一表情系数，并将第一面部模型的第一表情系数复制到第二面部模型中，从而实现了在三维模型之间的表情复制。

在本申请的一些实施例中，根据第一表情系数，更新M个第二面部模型的表情信息之前，还包括：计算第一表情系数与预设表情系数的系数差值；在系数差值的绝对值大于预设差值的情况下，将第一表情系数更新为预设表情系数。

第一表情系数为通过预设网络模型识别第一面部图像得到的表情系数。预设表情系数为先验均值的表情系数。

本申请实施例中，第一设备通过将识别到的第一表情系数与预设表情系数进行差值计算，能够得到体现第一表情系数与预设表情系数差异度的系数差值。

在系数差值的绝对值大于预设差值时，则判定该第一表情系数对应的表情可能为异常表情，则将预设表情系数作为第一表情系数，配置到第二面部模型中。

在系数差值的绝对值小于等于预设差值时，则判定该第一表情系数为正常表情，直接将第一表情系数配置到得让面部模型中。

具体来说，第一设备通过预设网络模型识别第一面部图像的过程中，由于识别误差的存在，可能导致识别到的第一表情系数为异常表情系数。在判定第一表情系数为异常表情系数的情况下，通过将先验均值的表情系数作为预设表情系数，通过将预设表情系数配置到第二面部模型中，进行表情复制，避免第二视频帧图像出现表情异常的情况。

本申请实施中通过将第一表情系数与预设表情系数之间的系数差值的绝对值与预设差值进行比较，能够对识别到的第一表情系数是否为异常表情系数进行识别。在识别到第一表情系数为异常表情系数时，则将预设表情系数作为第一表情系数配置到第二面部模型中，有效避免了第二视频帧图像中出现表情异常的情况。在第一表情系数为正常表情系数的情况下，则将第一表情系数直接配置到第二面部模型中，使第二视频帧图像中的每个面部特征的表情均为第一表情系数对应的表情。

在上述任一实施例中，根据第一表情系数，更新M个第二面部模型的表情信息，包括：获取M个第二面部模型中每个第二面部模型的第一模型值，以及目标表情变化基向量，第一模型值为去除表情信息的第二面部模型的模型值；根据第一模型值、目标表情变化基向量和第一表情系数，确定每个第二面部模型的第二模型值，其中，第二模型值对应的第二面部模型为更新后的第二面部模型。

第一模型值代表无表情的第二面部模型的模型特征。目标表情变化基向量代表无表情的第二面部模型的表情特征。

本申请实施例中，通过计算目标表情变化基向量与第一表情系数的乘积能够得到配置后的第二面部模型的表情特征，将计算后的乘积与第一模型值相加得到第二模型值，第二模型值代表配置表情后的第二面部模型的模型特征，从而完成将无表情的第二模型配置表情的步骤。

具体来说，通过公式(1)配置表情，具体如下：

Face＝Face_shape+β×Face_EB (1)

其中，Face为第二模型值，Face_shape为第一模型值，Face_EB为目标表情变化基向量，β为第一表情系数。

需要说明的是，第二面部模型的数量为多个，对每个第二面部模型通过上述公式计算其第二模型值，从而以得到第二面部模型。由于每个第二面部模型均为无表情的面部模型，在计算得到β×Face_EB之后，将每个第一模型值Face_shape均加上β×Face_EB，能够得到对应的第二模型值，以完成对第二面部模型配置表情。

本申请实施例中，通过将第二面部模型的第一模型值、表情变化基向量和第一表情系数，能够准确得到配置表情后的第二面部模型的第二模型值，实现了快速对第二面部模型配置表情的过程，提高了对第二面部模型的更新效率。

在本申请的一些实施例中，确定N个面部模型中的第一面部模型和M个第二面部模型，包括：识别目标图像帧中的N个面部特征，N个面部特征与N个面部模型一一对应；根据N个面部特征的特征参数，确定第一面部特征和M个第二面部特征；将第一面部特征对应的面部模型确定为第一面部模型，以及将M个第二面部特征对应的面部模型确定为M个第二面部模型。

其中，特征参数包括以下任一项：深度信息、表情丰富度。

本申请实施例中，根据多个面部模型在目标图像帧中对应的多个面部特征的特征参数，确定多个第一面部模型中的第一面部模型和第二面部模型。

电子设备在对目标图像帧进行裁剪的过程中，会对目标图像帧中的面部特征进行识别，在识别到面部特征后，根据识别到的面部特征裁剪得到第一面部图像。在识别面部特征的过程中，电子设备能够确定每个面部特征的特征参数，并记录特征参数与第一面部图像的对应关系。在将第一面部图像重建为面部模型之后，根据面部模型对应的特征参数，确定其中的第一面部模型和第二面部模型。

电子设备在识别面部特征后，通过深度信息识别算法识别每个面部特征的深度信息，并对识别到的面部特征进行记录。

电子设备获取到目标图像帧的情况下，通过表情丰富度识别算法，识别目标图像帧中多个面部特征的表情丰富度。

根据特征参数筛选面部特征中的第一面部特征，将多个面部特征中除第一面部特征以外的全部面部特征均作为第二面部特征，第一面部特征对应的面部模型为第一面部模型，第二面部特征对应的面部模型为第二面部模型。其中，用户能够提前设置所需筛选得到的第一面部特征的数量，第一面部特征的数量小于面部特征的总数。

需要说明的是，面部特征、第一面部图像和面部模型为一一对应的关系，在识别到N个面部特征的情况下，裁剪得到N个第一面部图像，从而重建生成N个面部模型。

本申请实施例中，电子设备能够根据目标图像帧的面部特征的特征参数，确定面部特征中的第一面部特征和第二面部特征，并据此确定相应的第一面部模型和第二面部模型，实现了准确识别面部模型中的主人脸和附属人脸的模型，从而保证在视频中进行表情复制的准确性。

在本申请的一些实施例中，特征参数为深度信息；根据N个面部特征的特征参数，确定第一面部特征和M个第二面部特征，包括：获取N个面部特征在目标图像帧中的N个深度信息；根据N个深度信息确定第一面部特征，第一面部特征对应的拍摄对象距离镜头最近的拍摄对象；将N个面部特征中其余的面部特征，确定为M个第二面部特征。

本申请实施例中，电子设备能够根据面部特征在目标图像帧中的深度信息确定每个面部特征对应的拍摄对象与镜头之间的距离。在确定每个面部特征对应的拍摄对象与镜头之间的距离之后，将距离镜头最近的拍摄对象对应的面部特征作为第一面部特征(主人脸的面部特征)，其余的面部特征均作为第二面部特征(附属人脸的面部特征)。

需要说明的是，距离镜头越近的拍摄对象，拍摄得到的图像越清晰，且距离镜头越近的拍摄对象为视频的主拍摄对象的可能性越大，通过将距离镜头最近的拍摄对象对应的面部特征作为第一面部特征，能够实现识别拍摄过程中的对主拍摄对象的识别，并复制其表情至其他附属拍摄对象。

在实际拍摄过程中，作为表情复制源的拍摄对象站位于相对其他拍摄对象更靠近拍摄镜头的位置，在拍摄过程中，电子设备能够自动识别到第一视频帧中该拍摄对象的面部特征为第一面部特征。

本申请实施例中，在无需用户手动选择的情况下，电子设备能够根据目标图像帧中面部特征的深度信息自动识别第一面部特征和第二面部特征。并将第一面部特征和第二面部特征对应的面部模型分别作为第一面部模型和第二面部模型，实现了在保证识别准确性的前提下，无需用户手动操作即能够确定目标图像帧中的作为表情源的主人脸和需要调整表情的附属人脸。

在本申请的一些实施例中，特征参数为表情丰富度；根据N个面部特征的特征参数，确定第一面部特征和M个第二面部特征，包括：获取N个面部特征在目标图像帧中的N个表情丰富度；确定N个表情丰富度中最大值对应的面部特征为第一面部特征；将N个面部特征中其余的面部特征，确定为M个第二面部特征。

本申请实施例中，电子设备能够确定目标图像帧中每个面部特征的表情丰富度，并将表情丰富度最高的面部特征作为第一面部特征(主人脸的面部特征)，其余的面部特征均作为第二面部特征(附属人脸的面部特征)。

需要说明的是，为提高进行表情复制后的第二视频帧图像中每个面部特征的表情丰富度，则选择将表情丰富度最高的面部特征对应的面部模型作为主人脸的面部模型，并将该面部模型的表情复制到其他面部模型中，使最终得到的第二视频帧图像中的每个面部特征的表情丰富度均较高。

在实际拍摄过程中，作为表情复制源的拍摄对象做出表情，其他拍摄对象保持无表情状态，在拍摄过程中，电子设备能够自动识别到第一视频帧中做出表情的拍摄对象的面部特征为第一面部特征。

在一些可能的实施方式中，通过在电子设备中配置表情丰富度识别算法，对拍摄得到的目标图像帧中每个面部特征的表情丰富度进行识别，提高对表情丰富度识别的准确性。

在另外一些可能的实施方式中，在电子设备获取到多个第一面部图像对应的表情系数之后，根据表情系数确定每个第一面部图像对应的面部特征的表情丰富度。

需要说明的是，通过上述任一可能实施方式对每个面部特征进行识别，能够得到能够代表表情丰富度的丰富度数值，将丰富度数值最高的面部特征作为第一面部特征，将其余的面部特征作为第二面部特征。

本申请实施例中，在无需用户手动选择的情况下，电子设备能够根据目标图像帧中面部特征的表情丰富度自动识别第一面部特征和第二面部特征。并将第一面部特征和第二面部特征对应的面部模型分别作为第一面部模型和第二面部模型，实现了在保证识别准确性的前提下，无需用户手动操作即能够确定目标图像帧中的作为表情源的主人脸和需要调整表情的附属人脸。由于将表情丰富度较高的面部特征作为第一面部特征，故提高了第二视频帧图像中全部面部特征的表情丰富度。

需要说明的是，在视频录制开始阶段，电子设备采集到第一张目标图像帧的情况下，进行识别第一面部特征和第二面部特征的步骤，并将记录该第一面部特征和第二面部特征，在后续录制过程中，直接将该第一面部特征和第二面部特征对应的拍摄对象继续作为主人脸和附属人脸。如果在后续录制过程中，第一面部特征对应的拍摄对象消失，则重新确定当前的目标图像帧中的第一面部特征和第二面部特征。即在电子设备识别到第一面部特征之后，保持该拍摄对象对应的面部特征均作为第一面部特征，直至该拍摄对象从拍摄画面中消失，则重新确定当前拍摄画面中的第一面部特征。

在本申请的一些实施例中，确定所述N个面部模型中的第一面部模型和M个第二面部模型，包括：识别所述目标图像帧中的N个面部特征；在显示所述目标图像帧的情况下，接收对所述N个面部特征的第一输入；响应于所述第一输入，确定所述N个面部特征中的所述第一面部特征和所述M个第二面部特征。

本申请实施例中，用户能够通过手动选择目标图像帧中第一面部特征和第二面部特征，第一电子设备将第一面部特征对应的面部模型作为第一面部模型，并将第二面部特征对应的面部模型作为第二面部模型。

具体来说，在视频录制开始阶段，电子设备采集到第一张目标图像帧的情况下，电子设备显示目标图像帧，并提示用户点击选择复制表情的表情源，用户通过点击目标图像帧中多个面部特征中至少一个，电子设备将该面部特征作为第一面部特征，其余的面部特征均为第二面部特征。在后续录制过程中，直接将该第一面部特征和第二面部特征对应的拍摄对象继续作为主人脸和附属人脸。如果在后续录制过程中，第一面部特征对应的拍摄对象消失，则电子设备再次显示当前采集到的目标图像帧，以供用户重新选择第一面部特征。

本申请实施例中，用户能够根据实际需求手动选择目标图像帧中的第一面部特征和第二面部特征，提高了在表情复制过程中用户的交互性，保证了视频录制过程中的表情复制能够满足用户的预期。

在本申请的一些实施例中，将N张第一面部图像输入至预设网络模型，生成N个面部模型包括：将N个第一面部图像中每个第一面部图像分别输入至预设网络模型，得到相应的第一面部图像的纹理变化系数、形状变化系数；根据每个第一面部图像的纹理变化系数、形状变化系数，以及预设面部模型值、预设面部纹理值、面部形状变化基向量、面部纹理变化基向量，建立每个面部模型。

本申请实施例中，对多个第一面部图像进行三维模型重建的过程中，需要将第一面部模型输入至预设网络模型中，从而得到第一面部图像对应的纹理变化系数和形状变化系数。通过纹理变化系数和形状变化系数能够建立无表情的面部模型。

具体来说，在建立面部模型之前，需要获取预设面部模型值、预设面部纹理值、面部形状变化基向量和面部纹理变化基向量。其中，预设面部模型值代表先验已知的三维基础均值面部模型，预设面部纹理值代表先验已知的均值面部纹理信息。根据面部形状变化基向量与形状变化系数能够得到面部形状变化向量，通过面部形状变化向量与预设面部模型值，能够确定面部模型的模型值，该模型值代表面部模型的形状。根据面部纹理变化基向量与纹理变化系数能够得到面部纹理变化向量，通过面部纹理变化向量与预设面部纹理值能够得到面部模型的纹理值。再通过面部模型的模型值和纹理值能够建立无表情的面部模型。

通过公式(2)建立面部模型，具体如下：

其中，Face_shape为面部模型的模型值，Face_mean为预设面部模型值，α为形状变化系数，Face_SB为面部形状变化基向量，Face_texture为面部模型的纹理值，Face_texturemean为预设面部纹理值，t为纹理变化系数，Face_TB为面部纹理变化基向量。

需要说明的是，在将第一面部图像输入至预设网络模型之后，还能够得到面部姿态矩阵，通过人脸姿态矩阵能够确定面部特征在第一面部图像中的姿态，通过面部姿态矩阵能够调整面部模型的姿态，使面部模型的姿态与相应的面部特征在第一面部图像中的姿态相同。

本申请实施例中，通过将第一面部图像输入至预设网络模型，能够得到建立面部模型所需的模型参数，通过该模型参数能够确定面部模型的模型值和纹理值，从而准确建立相应的面部模型。

在本申请的一些实施例中，根据第二面部图像和M个第三面部图像，更新目标图像帧中的图像内容，包括：获取第二面部图像和M个第三面部图像对应的面部特征在目标图像帧中的坐标信息；根据坐标信息、第二面部图像和M个第三面部图像，更新目标图像帧中的图像内容。

本申请实施例中，在根据渲染模型得到的第二面部图像和第三面部图像对目标图像帧的图像内容进行更新的过程中，需要先确定第二面部图像和第三面部图像所需更新内容的位置，即第二面部图像和第三面部图像对应的面部特征在目标图像帧中的位置。将第二面部图像和第三面图像的图像内容与目标图像帧进行融合，以得到第二视频帧图像。

具体来说，在裁剪目标图像帧的过程中，能够确定裁减得到的第一面部图像对应的面部特征在目标图像帧中的位置信息，在得到第二面部图像和第三面部图像之后，将第二面部图像和第三面部图像变换至目标图像帧的像素坐标系下，按照位置信息对第二面部图像、第三面部图像与目标图像帧进行融合处理，以得到更新后的第二视频帧图像，其中，第二视频帧图像中的面部特征的表情相同。

本申请实施例通过坐标系转换，将表情复制后的第二面部图像和第三面部图像能够准确融合至第一视频帧中面部特征对应的位置，保证第二视频帧的质量，避免第二视频帧出现画面异常的问题。

在本申请的一些实施例中，识别并裁剪目标图像帧，得到N张第一面部图像，包括：录制视频过程中，确定视频帧图像中的面部特征的数量大于预设阈值的情况下，执行裁剪目标图像帧的步骤。

本申请实施例中，电子设备录制视频过程中，持续检测拍摄得到的目标图像帧中的面部特征的数量，在面部特征的数量大于预设阈值的情况下，对目标图像帧进行裁剪，以得到多张第一面部图像。

其中，预设阈值的数量为1，具体来说，在录制过程中，检测到目标图像帧中的面部特征为至少两个的情况下，基于识别到的面部特征对目标图像帧进行裁剪，能够得到与面部特征数量相同的第一面部图像。

需要说明的是，在目标图像帧的面部特征数量少于等于预设阈值的情况下，则判定目标图像帧中的面部特征数量较少，无法进行表情复制。

本申请实施例中，通过在录制视频过程中，检测目标图像帧中的面部特征的数量，在面部特征的数量大于预设阈值的情况下，进行裁剪目标图像帧的过程，在面部特征的数量小于等于预设阈值时，无需进行裁剪第一视频帧，减少了资源的浪费。

本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。

本申请的一些实施例中，提供了一种图像处理装置，图2示出了本申请实施例提供的图像处理装置的结构框图，如图2所示，图像处理装置200包括：

识别模块202，用于识别并裁剪目标图像帧，得到N张第一面部图像，N为正整数；

生成模块204，用于将N张第一面部图像输入至目标网络模型，生成N个面部模型；

确定模块206，用于确定N个面部模型中的第一面部模型和M个第二面部模型，M＜N，M为正整数；

复制模块208，用于将第一面部模型的表情信息，复制到M个第二面部模型；

渲染模块210，用于对第一面部模型和M个第二面部模型进行渲染，得到第二面部图像和M个第三面部图像；

更新模块212，用于根据第二面部图像和M个第三面部图像，更新目标图像帧中的图像内容。

本申请实施例通过对目标图像帧进行识别和裁剪能够得到多张第一面部图像，并对第一面部图像进行三维重建，基于重建后的面部模型进行表情复制，在表情复制之后，再将三维的面部模型渲染成二维的图像，以对第一视频帧显示的人脸特征进行更新，实现单帧输入图像下的多人脸“表情复制”视频特效。该图像处理方法实现简单，无需用户复杂操作，由于在重建的三维面部模型中进行表情复制，提高了表情复制过程中的可控性，避免了出现异常表情的情况，在任意背景下实时实现多人脸“表情复制”视频特效。

在本申请的一些实施例中，图像处理装置200，还包括：

第一获取模块，用于获取第一面部模型对应的第一表情系数；

更新模块212，还用于根据第一表情系数，更新M个第二面部模型的表情信息。

本申请实施例中，通过获取第一面部模型的第一表情系数，并将第一面部模型的第一表情系数复制到第二面部模型中，从而实现了在三维模型之间的表情复制。

在本申请的一些实施例中，图像处理装置200，还包括：

计算模块，用于计算第一表情系数与预设表情系数的系数差值；

更新模块212，用于在系数差值的绝对值大于预设差值的情况下，将第一表情系数更新为预设表情系数。

本申请实施中通过将第一表情系数与预设表情系数之间的系数差值的绝对值与预设差值进行比较，能够对识别到的第一表情系数是否为异常表情系数进行识别。在识别到第一表情系数为异常表情系数时，则将预设表情系数作为第一表情系数配置到第二面部模型中，有效避免了第二视频帧图像中出现表情异常的情况。在第一表情系数为正常表情系数的情况下，则将第一表情系数直接配置到第二面部模型中，使第二视频帧图像中的每个面部特征的表情均为第一表情系数对应的表情。

在本申请的一些实施例中，获取模块，还用于获取M个第二面部模型中每个第二面部模型的第一模型值，以及目标表情变化基向量，第一模型值为去除表情信息的第二面部模型的模型值；

确定模块206，还用于根据第一模型值、目标表情变化基向量和第一表情系数，确定每个第二面部模型的第二模型值，其中，第二模型值对应的第二面部模型为更新后的第二面部模型。

本申请实施例中，通过将第二面部模型的第一模型值、表情变化基向量和第一表情系数，能够准确得到配置表情后的第二面部模型的第二模型值，实现了快速对第二面部模型配置表情的过程，提高了对第二面部模型的更新效率。

在本申请的一些实施例中，识别模块202，还用于识别目标图像帧中的N个面部特征，N个面部特征与N个面部模型一一对应；

确定模块206，还用于根据N个面部特征的特征参数，确定第一面部特征和M个第二面部特征；

确定模块206，还用于确定第一面部特征对应的面部模型为第一面部模型，以及确定M个第二面部特征对应的面部性为M个第二面部模型；

其中，特征参数包括以下任一项：深度信息、表情丰富度。

本申请实施例中，电子设备能够根据目标图像帧的面部特征的特征参数，确定面部特征中的第一面部特征和第二面部特征，并据此确定相应的第一面部模型和第二面部模型，实现了准确识别面部模型中的主人脸和附属人脸的模型，从而保证在视频中进行表情复制的准确性。

在本申请的一些实施例中，特征参数为深度信息；图像处理装置200，还包括：

第二获取模块，用于获取N个面部特征在目标图像帧中的N个深度信息；

确定模块206，还用于根据N个深度信息确定第一面部特征，第一面部特征对应的拍摄对象距离镜头最近的拍摄对象；

确定模块206，还用于确定N个面部特征中其余的面部特征为M个第二面部特征。

本申请实施例中，在无需用户手动选择的情况下，电子设备能够根据目标图像帧中面部特征的深度信息自动识别第一面部特征和第二面部特征。并将第一面部特征和第二面部特征对应的面部模型分别作为第一面部模型和第二面部模型，实现了在保证识别准确性的前提下，无需用户手动操作即能够确定目标图像帧中的作为表情源的主人脸和需要调整表情的附属人脸。

在本申请的一些实施例中，特征参数为表情丰富度；图像处理装置200，还包括：

第三获取模块，还用于获取N个面部特征在目标图像帧中的N个表情丰富度；

确定模块206，还用于确定N个表情丰富度中最大值对应的面部特征为第一面部特征；

确定模块206，还用于确定N个面部特征中其余的面部特征为M个第二面部特征。

本申请实施例中，在无需用户手动选择的情况下，电子设备能够根据目标图像帧中面部特征的表情丰富度自动识别第一面部特征和第二面部特征。并将第一面部特征和第二面部特征对应的面部模型分别作为第一面部模型和第二面部模型，实现了在保证识别准确性的前提下，无需用户手动操作即能够确定目标图像帧中的作为表情源的主人脸和需要调整表情的附属人脸。由于将表情丰富度较高的面部特征作为第一面部特征，故提高了第二视频帧图像中全部面部特征的表情丰富度。

在本申请的一些实施例中，识别模块202，用于识别目标图像帧中的N个面部特征；

图像处理装置200，还包括：

接收模块，用于在显示目标图像帧的情况下，接收对N个面部特征的第一输入；

确定模块206，用于响应于第一输入，确定N个面部特征中的第一面部特征和M个第二面部特征。

本申请实施例中，用户能够根据实际需求手动选择目标图像帧中的第一面部特征和第二面部特征，提高了在表情复制过程中用户的交互性，保证了视频录制过程中的表情复制能够满足用户的预期。

在本申请的一些实施例中，图像处理装置200，还包括：

输入模块，用于将N个第一面部图像中每个第一面部图像分别输入至预设网络模型，以得到相应的第一面部图像的纹理变化系数、形状变化系数；

建模模块，用于根据每个第一面部图像的纹理变化系数、形状变化系数，以及预设面部模型值、预设面部纹理值、面部形状变化基向量、面部纹理变化基向量，建立每个面部模型。

本申请实施例中，通过将第一面部图像输入至预设网络模型，能够得到建立面部模型所需的模型参数，通过该模型参数能够确定面部模型的模型值和纹理值，从而准确建立相应的面部模型。

在本申请的一些实施例中，图像处理装置200，还包括：

第四获取模块，用于获取第二面部图像和M个第三面部图像对应的面部特征在目标图像帧中的坐标信息；

更新模块212，用于根据坐标信息、第二面部图像和M个第三面部图像，更新目标图像帧中的图像内容。

本申请实施例通过坐标系转换，将表情复制后的第二面部图像和第三面部图像能够准确融合至第一视频帧中面部特征对应的位置，保证第二视频帧的质量，避免第二视频帧出现画面异常的问题。

在本申请的一些实施例中，识别模块202，还用于录制视频过程中，确定目标图像帧中的面部特征的数量大于预设阈值的情况下，执行识别并裁剪目标图像帧的步骤。

本申请实施例中，通过在录制视频过程中，检测目标图像帧中的面部特征的数量，在面部特征的数量大于预设阈值的情况下，进行裁剪目标图像帧的过程，在面部特征的数量小于等于预设阈值时，无需进行裁剪第一视频帧，减少了资源的浪费。本申请实施例中的图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的电子设备的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的电子设备的图像处理装置能够实现上述方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，本申请实施例还提供了一种电子设备，其中包括如上述任一实施例中的电子设备的图像处理装置，因而具有任一实施例中的电子设备的图像处理装置的全部有益效果，在此不再做过多赘述。

可选地，本申请实施例还提供一种电子设备，图3示出了根据本申请实施例的电子设备的结构框图，如图3所示，电子设备300包括处理器302，存储器304，存储在存储器304上并可在处理器302上运行的程序或指令，该程序或指令被处理器302执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图4为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备400包括但不限于：射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409以及处理器410等部件。

本领域技术人员可以理解，电子设备400还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图4中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器410，用于识别并裁剪目标图像帧，得到N张第一面部图像，N为正整数；

处理器410，用于将N张第一面部图像输入至目标网络模型，生成N个面部模型；

处理器410，用于确定N个面部模型中的第一面部模型和M个第二面部模型，M＜N，M为正整数；

处理器410，用于将第一面部模型的表情信息，复制到M个第二面部模型；

处理器410，用于对第一面部模型和M个第二面部模型进行渲染，得到第二面部图像和M个第三面部图像；

处理器410，用于根据第二面部图像和M个第三面部图像，更新目标图像帧中的图像内容。

本申请实施例通过对目标图像帧进行识别和裁剪能够得到多张第一面部图像，并对第一面部图像进行三维重建，基于重建后的面部模型进行表情复制，在表情复制之后，再将三维的面部模型渲染成二维的图像，以对第一视频帧显示的人脸特征进行更新，实现单帧输入图像下的多人脸“表情复制”视频特效。该图像处理方法实现简单，无需用户复杂操作，由于在重建的三维面部模型中进行表情复制，提高了表情复制过程中的可控性，避免了出现异常表情的情况，在任意背景下实时实现多人脸“表情复制”视频特效。

进一步地，处理器410，用于获取第一面部模型对应的第一表情系数；

处理器410，用于根据第一表情系数，更新M个第二面部模型的表情信息。

本申请实施例中，通过获取第一面部模型的第一表情系数，并将第一面部模型的第一表情系数复制到第二面部模型中，从而实现了在三维模型之间的表情复制。

进一步地，处理器410，用于计算第一表情系数与预设表情系数的系数差值；

处理器410，用于在系数差值的绝对值大于预设差值的情况下，将第一表情系数更新为预设表情系数。

本申请实施中通过将第一表情系数与预设表情系数之间的系数差值的绝对值与预设差值进行比较，能够对识别到的第一表情系数是否为异常表情系数进行识别。在识别到第一表情系数为异常表情系数时，则将预设表情系数作为第一表情系数配置到第二面部模型中，有效避免了第二视频帧图像中出现表情异常的情况。在第一表情系数为正常表情系数的情况下，则将第一表情系数直接配置到第二面部模型中，使第二视频帧图像中的每个面部特征的表情均为第一表情系数对应的表情。

进一步地，处理器410，用于获取M个第二面部模型中每个第二面部模型的第一模型值，以及目标表情变化基向量，第一模型值为去除表情信息的第二面部模型的模型值；

处理器410，用于根据第一模型值、目标表情变化基向量和第一表情系数，确定每个第二面部模型的第二模型值，其中，第二模型值对应的第二面部模型为更新后的第二面部模型。

本申请实施例中，通过将第二面部模型的第一模型值、表情变化基向量和第一表情系数，能够准确得到配置表情后的第二面部模型的第二模型值，实现了快速对第二面部模型配置表情的过程，提高了对第二面部模型的更新效率。

进一步地，处理器410，用于识别目标图像帧中的N个面部特征，N个面部特征与N个面部模型一一对应；

处理器410，用于根据N个面部特征的特征参数，确定第一面部特征和M个第二面部特征；

处理器410，用于确定第一面部特征对应的面部模型为第一面部模型，以及确定M个第二面部特征对应的面部性为M个第二面部模型；

其中，特征参数包括以下任一项：深度信息、表情丰富度。

本申请实施例中，电子设备能够根据目标图像帧的面部特征的特征参数，确定面部特征中的第一面部特征和第二面部特征，并据此确定相应的第一面部模型和第二面部模型，实现了准确识别面部模型中的主人脸和附属人脸的模型，从而保证在视频中进行表情复制的准确性。

进一步地，特征参数为深度信息；处理器410，用于获取N个面部特征在目标图像帧中的N个深度信息；

处理器410，用于根据N个深度信息确定第一面部特征，第一面部特征对应的拍摄对象距离镜头最近的拍摄对象；

处理器410，用于确定N个面部特征中其余的面部特征为M个第二面部特征。

本申请实施例中，在无需用户手动选择的情况下，电子设备能够根据目标图像帧中面部特征的深度信息自动识别第一面部特征和第二面部特征。并将第一面部特征和第二面部特征对应的面部模型分别作为第一面部模型和第二面部模型，实现了在保证识别准确性的前提下，无需用户手动操作即能够确定目标图像帧中的作为表情源的主人脸和需要调整表情的附属人脸。

进一步地，特征参数为表情丰富度；处理器410，用于获取N个面部特征在目标图像帧中的N个表情丰富度；

处理器410，用于确定N个表情丰富度中最大值对应的面部特征为第一面部特征；

处理器410，用于确定N个面部特征中其余的面部特征为M个第二面部特征。

本申请实施例中，在无需用户手动选择的情况下，电子设备能够根据目标图像帧中面部特征的表情丰富度自动识别第一面部特征和第二面部特征。并将第一面部特征和第二面部特征对应的面部模型分别作为第一面部模型和第二面部模型，实现了在保证识别准确性的前提下，无需用户手动操作即能够确定目标图像帧中的作为表情源的主人脸和需要调整表情的附属人脸。由于将表情丰富度较高的面部特征作为第一面部特征，故提高了第二视频帧图像中全部面部特征的表情丰富度。

进一步地，处理器410，用于识别目标图像帧中的N个面部特征；

处理器410，用于在显示目标图像帧的情况下，接收对N个面部特征的第一输入；

处理器410，用于响应于第一输入，确定N个面部特征中的第一面部特征和M个第二面部特征。

本申请实施例中，用户能够根据实际需求手动选择目标图像帧中的第一面部特征和第二面部特征，提高了在表情复制过程中用户的交互性，保证了视频录制过程中的表情复制能够满足用户的预期。

进一步地，处理器410，用于将N个第一面部图像中每个第一面部图像分别输入至预设网络模型，以得到相应的第一面部图像的纹理变化系数、形状变化系数；

处理器410，用于根据每个第一面部图像的纹理变化系数、形状变化系数，以及预设面部模型值、预设面部纹理值、面部形状变化基向量、面部纹理变化基向量，建立每个面部模型。

本申请实施例中，通过将第一面部图像输入至预设网络模型，能够得到建立面部模型所需的模型参数，通过该模型参数能够确定面部模型的模型值和纹理值，从而准确建立相应的面部模型。

进一步地，处理器410，用于获取第二面部图像和M个第三面部图像对应的面部特征在目标图像帧中的坐标信息；

处理器410，用于根据坐标信息、第二面部图像和M个第三面部图像，更新目标图像帧中的图像内容。

本申请实施例通过坐标系转换，将表情复制后的第二面部图像和第三面部图像能够准确融合至第一视频帧中面部特征对应的位置，保证第二视频帧的质量，避免第二视频帧出现画面异常的问题。

进一步地，处理器410，用于录制视频过程中，确定目标图像帧中的面部特征的数量大于预设阈值的情况下，执行识别并裁剪目标图像帧的步骤。

本申请实施例中，通过在录制视频过程中，检测目标图像帧中的面部特征的数量，在面部特征的数量大于预设阈值的情况下，进行裁剪目标图像帧的过程，在面部特征的数量小于等于预设阈值时，无需进行裁剪第一视频帧，减少了资源的浪费。

应理解的是，本申请实施例中，输入单元404可以包括图形处理器(GraphicsProcessing Unit，GPU)4041和麦克风4042，图形处理器4041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元406可包括显示面板4061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板4061。用户输入单元407包括触控面板4071以及其他输入设备4072中的至少一种。触控面板4071，也称为触摸屏。触控面板4071可包括触摸检测装置和触摸控制器至少两个部分。其他输入设备4072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器409可用于存储软件程序以及各种数据。存储器409可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器409可以包括易失性存储器或非易失性存储器，或者，存储器409可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器409包括但不限于这些和任意其它适合类型的存储器。

处理器410可包括一个或多个处理单元；可选的，处理器410集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器410中。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

识别并裁剪目标图像帧，得到N张第一面部图像，N为正整数；

将所述N张第一面部图像输入至目标网络模型，生成N个面部模型；

确定所述N个面部模型中的第一面部模型和M个第二面部模型，M＜N，M为正整数；

将所述第一面部模型的表情信息，复制到所述M个第二面部模型；

对所述第一面部模型和所述M个第二面部模型进行渲染，得到第二面部图像和M个第三面部图像；

根据所述第二面部图像和所述M个第三面部图像，更新所述目标图像帧中的图像内容。

2.根据权利要求1所述的图像处理方法，其特征在于，所述将所述第一面部模型的表情信息，复制到所述M个第二面部模型，包括：

获取所述第一面部模型对应的第一表情系数；

根据所述第一表情系数，更新所述M个第二面部模型的表情信息。

3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述第一表情系数，更新所述M个第二面部模型的表情信息，包括：

获取所述M个第二面部模型中每个所述第二面部模型的第一模型值，以及目标表情变化基向量，所述第一模型值为去除表情信息的第二面部模型的模型值；

根据所述第一模型值、所述目标表情变化基向量和所述第一表情系数，确定每个所述第二面部模型的第二模型值，其中，所述第二模型值对应的所述第二面部模型为更新后的所述第二面部模型。

4.根据权利要求1至3中任一项所述的图像处理方法，其特征在于，所述确定所述N个面部模型中的第一面部模型和M个第二面部模型，包括：

识别所述目标图像帧中的N个面部特征，所述N个面部特征与所述N个面部模型一一对应；

根据所述N个面部特征的特征参数，确定第一面部特征和M个第二面部特征；

将所述第一面部特征对应的所述面部模型确定为所述第一面部模型，以及将所述M个第二面部特征对应的所述面部模型确定为所述M个第二面部模型。

5.根据权利要求4所述的图像处理方法，其特征在于，所述特征参数为深度信息；

所述根据所述N个面部特征的特征参数，确定所述第一面部特征和M个第二面部特征，包括：

获取所述N个面部特征在所述目标图像帧中的N个深度信息；

根据所述N个深度信息确定所述第一面部特征，所述第一面部特征对应的拍摄对象距离镜头最近的拍摄对象；

将所述N个面部特征中其余的所述面部特征，确定为所述M个第二面部特征。

6.一种图像处理装置，其特征在于，包括：

识别模块，用于识别并裁剪目标图像帧，得到N张第一面部图像，N为正整数；

生成模块，用于将所述N张第一面部图像输入至目标网络模型，生成N个面部模型；

确定模块，用于确定所述N个面部模型中的第一面部模型和M个第二面部模型，M＜N，M为正整数；

复制模块，用于将所述第一面部模型的表情信息，复制到所述M个第二面部模型；

渲染模块，用于对所述第一面部模型和所述M个第二面部模型进行渲染，得到第二面部图像和M个第三面部图像；

更新模块，用于根据所述第二面部图像和所述M个第三面部图像，更新所述目标图像帧中的图像内容。

7.根据权利要求6所述的图像处理装置，其特征在于，还包括：

第一获取模块，用于获取所述第一面部模型对应的第一表情系数；

所述更新模块，还用于根据所述第一表情系数，更新所述M个第二面部模型的表情信息。

8.根据权利要求7所述的图像处理装置，其特征在于，

所述获取模块，还用于获取所述M个第二面部模型中每个所述第二面部模型的第一模型值，以及目标表情变化基向量，所述第一模型值为去除表情信息的第二面部模型的模型值；

所述确定模块，还用于根据所述第一模型值、所述目标表情变化基向量和所述第一表情系数，确定每个所述第二面部模型的第二模型值，其中，所述第二模型值对应的所述第二面部模型为更新后的所述第二面部模型。

9.根据权利要求6至8中任一项所述的图像处理装置，其特征在于，还包括：

所述识别模块，还用于识别所述目标图像帧中的N个面部特征，所述N个面部特征与所述N个面部模型一一对应；

所述确定模块，还用于根据所述N个面部特征的特征参数，确定第一面部特征和M个第二面部特征；

所述确定模块，还用于将所述第一面部特征对应的所述面部模型确定为所述第一面部模型，以及将所述M个第二面部特征对应的所述面部模型确定为所述M个第二面部模型。

10.根据权利要求9所述的图像处理装置，其特征在于，所述特征参数为深度信息；

所述图像处理装置，还包括：

第二获取模块，用于获取所述N个面部特征在所述目标图像帧中的N个深度信息；

所述确定模块，还用于根据所述N个深度信息确定所述第一面部特征，所述第一面部特征对应的拍摄对象距离镜头最近的拍摄对象；

所述确定模块，还用于将所述N个面部特征中其余的所述面部特征，确定为所述M个第二面部特征。

Images