CN113706430A - 一种图像处理方法、装置和用于图像处理的装置 - Google Patents

Abstract

本发明实施例提供了一种图像处理方法、装置和用于图像处理的装置。所述方法包括：获取第一人脸图像对应的第一纹理图像和第二人脸图像对应的第二纹理图像；基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，所述第一动态遮罩用于指示所述第一人脸图像中的待融合区域；基于所述融合纹理图像对所述第二人脸图像进行渲染，得到目标人脸图像。本发明实施例能够将图像的融合区域限制在有效范围内，贴合预先设定的待融合区域的人脸边界，提高人脸融合的准确度；并且，本发明实施例可以保证生成的目标人脸图像的颜色稳定性和真实性，提高了生成的目标人脸图像的图像质量。

Description

一种图像处理方法、装置和用于图像处理的装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种图像处理方法、装置和用于图像处理的装置。

背景技术

随着计算机技术的方法，人脸生成技术也得到了极大地发展。例如，通过人脸生成技术，可以将模板图像中的人脸替换为目标图像中的人脸，或者，通过人脸生成技术，可以改变模板图像中的人脸表情等特征，得到一系列动态变换的人脸图像。

目前生成人脸图像的方法主要有两种：基于深度学习的人脸图像生成方法和基于三维人脸重建的人脸图像生成方法。然而，基于深度学习的人脸图像生成方法，人脸生成过程往往由特征点驱动，无法灵活地控制人脸的表情变化和纹理变化；而基于三维人脸重建的人脸图像生成方法，严重依赖于具有同一人的多视图图像的数据集，当前帧会受到前几帧的影响，生成较长视频时瑕疵会被积累和放大。总之，目前已有的人脸生成方法生成的人脸图像不够真实，图像质量差。

发明内容

本发明实施例提供一种图像处理方法、装置和用于图像处理的装置，可以灵活控制人脸图像的纹理变化，提高生成的人脸图像的真实度。

为了解决上述问题，本发明实施例公开了一种图像处理方法，所述方法包括：

获取第一人脸图像对应的第一纹理图像和第二人脸图像对应的第二纹理图像；

基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，所述第一动态遮罩用于指示所述第一人脸图像中的待融合区域；

基于所述融合纹理图像对所述第二人脸图像进行渲染，得到目标人脸图像。

可选地，所述基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，包括：

根据所述第一动态遮罩将所述第一人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到纹理遮罩；

根据所述纹理遮罩将所述第一纹理图像融合至所述第二纹理图像中，得到融合纹理图像。

可选地，所述基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像之前，所述方法还包括：

对所述第一人脸图像进行人脸皮肤检测，得到所述第一人脸图像的皮肤检测范围；

对所述第一人脸图像进行关键点检测，得到所述第一人脸图像的关键点检测范围；

基于所述皮肤检测范围和所述关键点检测范围计算第一动态遮罩。

可选地，所述获取第一人脸图像对应的第一纹理图像和第二人脸图像对应的第二纹理图像，包括：

将所述第一人脸图像和所述第二人脸图像分别输入至预先训练的三维人脸重建网络中进行三维人脸重建处理，得到所述第一人脸图像的三维模型参数和所述第二人脸图像的三维模型参数；

根据所述第一人脸图像的三维模型参数以及所述第二人脸图像的三维模型参数，构建所述第一人脸图像对应的三维人脸模型和所述第二人脸图像对应的三维人脸模型；

基于所述第一人脸图像对应的三维人脸模型绘制所述第一人脸图像对应的第一纹理图像，以及基于所述第二人脸图像对应的三维人脸模型绘制所述第二人脸图像对应的第二纹理图像。

可选地，所述三维模型参数包括形状参数、表情参数和姿态参数，所述根据所述第一人脸图像的三维模型参数以及所述第二人脸图像的三维模型参数，构建所述第一人脸图像对应的三维人脸模型和所述第二人脸图像对应的三维人脸模型，包括：

根据所述第一人脸图像的形状参数、表情参数和姿态参数构建所述第一人脸图像对应的三维人脸模型；

根据所述第二人脸图像的形状参数、所述第一人脸图像的表情参数和姿态参数，构建所述第二人脸图像对应的三维人脸模型。

可选地，所述表情参数包括至少两个基向量，所述根据所述第二人脸图像的形状参数、所述第一人脸图像的表情参数和姿态参数，构建所述第二人脸图像对应的三维人脸模型，包括：

调整所述第一人脸图像的表情参数中各个基向量的系数，得到调整后的表情参数；

根据所述第二人脸图像的形状参数、所述调整后的表情参数和所述第一人脸图像的姿态参数，构建所述第二人脸图像对应的三维人脸模型。

可选地，所述基于所述融合纹理图像对所述第二人脸图像进行渲染，得到目标人脸图像，包括：

将所述融合纹理图像中各个像素点的纹理值映射至所述第二图像对应的三维人脸模型上，得到目标人脸模型；

基于所述目标人脸模型绘制第三人脸图像，所述第三人脸图像包含所述第一人脸图像中的待融合区域；

根据第二动态遮罩将所述第三人脸图像渲染至所述第二人脸图像中，得到目标人脸图像，所述第二动态遮罩用于指示所述第二人脸图像中的待覆盖区域。

可选地，所述基于所述第一人脸图像对应的三维人脸模型绘制所述第一人脸图像对应的第一纹理图像，以及基于所述第二人脸图像对应的三维人脸模型绘制所述第二人脸图像对应的第二纹理图像，包括：

将所述第一人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到所述第一人脸图像对应的第一纹理图像；

将所述第二人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到所述第二人脸图像对应的第二纹理图像。

可选地，所述方法还包括：

获取训练样本集，所述训练样本集包括人脸图像和所述人脸图像对应的二维关键点坐标；

基于所述训练样本集对预先构建的三维人脸重建网络进行弱监督训练，并计算所述三维人脸重建网络的损失值，直至所述损失值满足收敛条件得到训练完成的三维人脸重建网络。

可选地，所述计算所述三维人脸重建网络的损失值，包括：

在每一轮训练中，确定所述三维人脸网络的损失参数，所述损失参数包括像素损失值、关键点距离损失值、身份损失值和正则化损失值；

根据预设权重对各个损失参数进行加权求和，得到所述三维人脸重建网络的损失值。

可选地，所述第一人脸图像的个数大于1，所述基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，包括：

分别确定每张第一人脸图像对应的第一动态遮罩；

根据每张第一人脸图像对应的第一动态遮罩对各个第一人脸图像对应的第一纹理图像进行融合处理，得到第三纹理图像；

确定所述第三纹理图像对应的第三动态遮罩；

基于所述第三动态遮罩对所述第三纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像。

另一方面，本发明实施例公开了一种图像处理装置，所述装置包括：

纹理图像获取模块，用于获取第一人脸图像对应的第一纹理图像和第二人脸图像对应的第二纹理图像；

纹理图像融合模块，用于基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，所述第一动态遮罩用于指示所述第一人脸图像中的待融合区域；

目标图像生成模块，用于基于所述融合纹理图像对所述第二人脸图像进行渲染，得到目标人脸图像。

可选地，所述纹理图像融合模块，包括：

纹理遮罩获取子模块，用于根据所述第一动态遮罩将所述第一人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到纹理遮罩；

纹理图像融合子模块，用于根据所述纹理遮罩将所述第一纹理图像融合至所述第二纹理图像中，得到融合纹理图像。

可选地，所述装置还包括：

皮肤检测模块，用于对所述第一人脸图像进行人脸皮肤检测，得到所述第一人脸图像的皮肤检测范围；

关键点检测模块，用于对所述第一人脸图像进行关键点检测，得到所述第一人脸图像的关键点检测范围；

动态遮罩计算模块，用于基于所述皮肤检测范围和所述关键点检测范围计算第一动态遮罩。

可选地，所述纹理图像获取模块，包括：

三维人脸重建子模块，用于将所述第一人脸图像和所述第二人脸图像分别输入至预先训练的三维人脸重建网络中进行三维人脸重建处理，得到所述第一人脸图像的三维模型参数和所述第二人脸图像的三维模型参数；

三维人脸模型构建子模块，用于根据所述第一人脸图像的三维模型参数以及所述第二人脸图像的三维模型参数，构建所述第一人脸图像对应的三维人脸模型和所述第二人脸图像对应的三维人脸模型；

纹理图像绘制子模块，用于基于所述第一人脸图像对应的三维人脸模型绘制所述第一人脸图像对应的第一纹理图像，以及基于所述第二人脸图像对应的三维人脸模型绘制所述第二人脸图像对应的第二纹理图像。

可选地，所述三维模型参数包括形状参数、表情参数和姿态参数，所述三维人脸模型构建子模块，包括：

第一人脸模型构建单元，用于根据所述第一人脸图像的形状参数、表情参数和姿态参数构建所述第一人脸图像对应的三维人脸模型；

第二人脸模型构建单元，用于根据所述第二人脸图像的形状参数、所述第一人脸图像的表情参数和姿态参数，构建所述第二人脸图像对应的三维人脸模型。

可选地，所述表情参数包括至少两个基向量，所述第二人脸模型构建单元，包括：

表情参数调整子单元，用于调整所述第一人脸图像的表情参数中各个基向量的系数，得到调整后的表情参数；

人脸模型构建子单元，用于根据所述第二人脸图像的形状参数、所述调整后的表情参数和所述第一人脸图像的姿态参数，构建所述第二人脸图像对应的三维人脸模型。

可选地，所述目标图像生成模块，包括：

纹理映射子模块，用于将所述融合纹理图像中各个像素点的纹理值映射至所述第二图像对应的三维人脸模型上，得到目标人脸模型；

人脸图像绘制子模块，用于基于所述目标人脸模型绘制第三人脸图像，所述第三人脸图像包含所述第一人脸图像中的待融合区域；

图像渲染子模块，用于根据第二动态遮罩将所述第三人脸图像渲染至所述第二人脸图像中，得到目标人脸图像，所述第二动态遮罩用于指示所述第二人脸图像中的待覆盖区域。

可选地，所述纹理图像绘制子模块，包括：

第一纹理图像绘制单元，用于将所述第一人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到所述第一人脸图像对应的第一纹理图像；

第二纹理图像绘制单元，用于将所述第二人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到所述第二人脸图像对应的第二纹理图像。

可选地，所述纹理图像获取模块还包括：

样本集获取子模块，用于获取训练样本集，所述训练样本集包括人脸图像和所述人脸图像对应的二维关键点坐标；

三维人脸重建网络训练子模块，用于基于所述训练样本集对预先构建的三维人脸重建网络进行弱监督训练，并计算所述三维人脸重建网络的损失值，直至所述损失值满足收敛条件得到训练完成的三维人脸重建网络。

可选地，所述三维人脸重建网络训练子模块，包括：

损失参数确定单元，用于在每一轮训练中，确定所述三维人脸网络的损失参数，所述损失参数包括像素损失值、关键点距离损失值、身份损失值和正则化损失值；

损失值计算单元，用于根据预设权重对各个损失参数进行加权求和，得到所述三维人脸重建网络的损失值。

可选地，所述第一人脸图像的个数大于1，所述纹理图像融合模块，包括：

第一动态遮罩确定子模块，用于分别确定每张第一人脸图像对应的第一动态遮罩；

第一纹理图像融合子模块，用于根据每张第一人脸图像对应的第一动态遮罩对各个第一人脸图像对应的第一纹理图像进行融合处理，得到第三纹理图像；

第二动态遮罩确定子模块，用于确定所述第三纹理图像对应的第三动态遮罩；

第二纹理图像融合子模块，用于基于所述第三动态遮罩对所述第三纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像。

再一方面，本发明实施例公开了一种用于图像处理的装置，所述装置包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如前述一个或多个所述的图像处理方法的指令。

又一方面，本发明实施例公开了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如前述一个或多个所述的图像处理方法。

本发明实施例包括以下优点：

本发明实施例在生成目标人脸图像时，先获取第一人脸图像对应的第一纹理图像和第二人脸图像对应的第二纹理图像，然后基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，所述第一动态遮罩用于指示所述第一人脸图像中的待融合区域；最后基于所述融合纹理图像对所述第二人脸图像进行渲染，得到目标人脸图像。本发明实施例基于动态遮罩对第一人脸图像对应的第一纹理图像和第二人脸图像的第二纹理图像进行融合，能够将图像的融合区域限制在有效范围内，贴合预先设定的待融合区域的人脸边界，提高人脸融合的准确度；并且，本发明实施例基于融合纹理图像对第二人脸图像进行渲染，生成目标人脸图像，可以保证生成的目标人脸图像的颜色稳定性和真实性，提高了生成的目标人脸图像的图像质量。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种图像处理方法实施例的步骤流程图；

图2是本发明的一种皮肤检测和关键点检测示意图；

图3是本发明的一种图像处理装置实施例的结构框图；

图4是本发明的一种用于图像处理的装置800的框图；

图5是本发明的一些实施例中服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

方法实施例

参照图1，示出了本发明的一种图像处理方法实施例的步骤流程图，所述方法具体可以包括如下步骤：

步骤101、获取第一人脸图像对应的第一纹理图像和第二人脸图像对应的第二纹理图像。

步骤102、基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，所述第一动态遮罩用于指示所述第一人脸图像中的待融合区域。

步骤103、基于所述融合纹理图像对所述第二人脸图像进行渲染，得到目标人脸图像。

本发明实施例提供的图像处理方法，可以应用于人脸生成场景，通过本发明实施例，可以将第一人脸图像中的待融合区域融合至第二人脸图像中，得到目标人脸图像。本发明实施例提供的图像处理方法可应用于电子设备，所述电子设备包括但不限于：服务器、智能收集、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准音频层面3，Moving PictureExperts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准音频层面4，MovingPicture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视、可穿戴设备等。

在本发明实施例中，所述第一人脸图像和/或所述第二人脸图像可以是局部人脸(即人脸信息不完整，如侧脸或者脸部被头发、饰品等部分遮挡的人脸)图像，也可以是完整人脸(即人脸信息完整，如证明无遮挡人脸)图像。所述第一人脸图像和/或所述第二人脸图像可以是彩色图像，也可以是灰度图像。此外，本发明实施例对图像格式也不加以限制，例如，所述第一人脸图像和/或所述第二人脸图像的图像格式可以为jpg(Joint Photographic experts Group，一种图片格式)、BMP(Bitmap，图像文件格式)或RAW(RAW ImageFormat，无损压缩格式)等可以被电子设备识别的任意格式。

当然，在本发明实施例中，所述第一人脸图像和/或所述第二人脸图像中的人脸并不局限于真人人脸，还可以为卡通人物、漫画人物的人脸等。可以理解，本发明实施例对所述第一人脸图像和所述第二人脸图像中的人脸类别、人脸年龄以及人脸的表情等均不加以限制。

需要说明的是，所述第一人脸图像和/或所述第二人脸图像可以是电子设备通过图像采集装置获取的目标对象的人脸图像，也可以是电子设备中预先存储的人脸图像，还可以是电子设备从网络端下载的人脸图像，本发明实施例对于所述第一人脸图像和所述第二人脸图像均不加以限制。其中，图像采集装置可以安装在电子设备中，也可以于电子设备建立连接，该连接可以是有线连接，也可以是无线连接，本发明实施例对此不做限定。示例性地，电子设备与摄像头建立wifi连接，并通过该摄像头获取第一人脸图像和/或第二人脸图像。

所述第一人脸图像为包含待融合区域的源人脸图像，所述第二人脸图像为包含待覆盖区域的底板图像，通过本发明实施例提供的图像处理方法，可以实现用第一人脸图像中的待融合区域融合至第二人脸图像中的待覆盖区域，得到目标人脸图像。

其中，所述第一人脸图像和所述第二人脸图像可以是对同一个目标对象采集的人脸图像，也可以是对不同目标对象采集的人脸图像。例如，针对同一个目标对象采集人脸图像，得到第一人脸图像和第二人脸图像，可以通过第一人脸图像对第二人脸图像进行细节补偿，得到更清晰、细节信息更完整的目标人脸图像；也可以通过对第一人脸图像和第二人脸图像进行融合处理，生成可以体现目标对象表情变化、五官变化、姿态变化等变化信息的目标人脸图像。针对不同目标对象分别采集人脸图像，得到第一人脸图像和第二人脸图像，一个示例中，第一人脸图像可以是用户照片，第二人脸图像可以是动漫人物图像，通过将第一人脸图像融合到第二人脸图像中，生成可以呈现第二人脸图像的动漫风格又能具有第一人脸图像中用户特征的目标人脸图像；或者，第一人脸图像可以是用户照片，第二人脸图像可以是明星照片，通过将第一人脸图像融合到第二人脸图像中，可以生成同时包含用户特征和明星特征的目标人脸图像，等等。

本发明实施例通过对第一人脸图像和第二人脸图像进行融合处理，生成目标人脸图像。先获取第一人脸图像对应的第一纹理图像和第二人脸图像对应的第二纹理图像。具体的，可以通过3D(3Dimensions，三维)扫描装置获取第一人脸图像对应的第一纹理图像和第二人脸图像对应的第二纹理图像。例如，通过3D扫描装置获取第一人脸图像对应的3D人脸模型以及第二人脸图像对应的3D人脸模型，并分别建立第一映射关系和第二映射关系，其中，第一映射关系指3D人脸模型上的点与纹理图像中各个像素点之间的映射关系，第二映射关系指3D人脸模型上的点与人脸图像中各个像素点之间的映射关系。电子设备可以通过第一映射关系和第二映射关系获取第一人脸图像对应的第一纹理图像以及第二人脸图像对应的第二纹理图像。

然后，基于第一动态遮罩将第一纹理图像融合至第二纹理图像中。需要说明的是，遮罩为图像融合中用于指示图像待融合范围的二值图。在本发明实施例中，所述第一动态遮罩为第一人脸图像中待融合范围对应的二值图，用于指示第一人脸图像中的待融合区域。可以基于第一人脸图像中待融合区域的人脸边界确定所述第一动态遮罩。例如，想要将第一人脸图像中的嘴巴融合到第二人脸图像中，也即用第一人脸图像中的嘴巴替换第二人脸图像中的嘴巴，则第一动态遮罩指示的区域为第一人脸图像中嘴巴所在的区域。通过第一通过遮罩，可以将第一纹理图像和第二纹理图像的融合区域控制在有效范围内，避免对其他区域的纹理进行融合影响最终生成的目标人脸图像的准确度。

最后，基于融合纹理图像对第二人脸图像进行渲染，得到目标人脸图像。具体的，在融合纹理图像中，第一人脸图像的待融合区域对应的像素点的纹理值为第一纹理图像和第二纹理图像中相应像素点的融合纹理值，其他像素点的纹理值为第二纹理图像中相应像素点的纹理值。基于融合纹理图像对第二人脸图像进行渲染的过程，就是将第二人脸图像中待覆盖区域的各个像素点的纹理值调整为融合纹理图像中相应像素点的纹理值的过程。其中，第二人脸图像中的待覆盖区域可以与第一人脸图像中的待融合区域一致，也可以包含比第一人脸图像中的待融合区域更大的范围，以确保在第二人脸图像与第一人脸图像中表情不一致或姿态不一致的情况下，能够完整的包含第一人脸图像中的待融合区域，保证生成的目标人脸图像的完整性和准确度。

需要说明的是，本发明实施例在对第二人脸图像进行渲染时，是对每一帧图像独立进行渲染，生成的每一帧目标人脸图像均不受其他图像帧的影响，相比于在线技术中依赖于具有同一人的多视图图像的数据集的人脸图像生成方法，本发明实施例可以避免生成较长视频时瑕疵的积累和放大，提高了生成的目标人脸图像的稳定性。

在本发明的一种可选实施例中，步骤102所述基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，包括：

步骤S11、根据所述第一动态遮罩将所述第一人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到纹理遮罩；

步骤S12、根据所述纹理遮罩将所述第一纹理图像融合至所述第二纹理图像中，得到融合纹理图像。

对第一纹理图像和第二纹理图像进行融合时，可以先根据第一动态遮罩将第一人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间内，得到纹理遮罩。具体的，可以预先设定第一人脸图像对应的三维人脸模型中各个坐标点与纹理空间的坐标值之间的映射关系，然后基于映射关系和第一动态遮罩将第一人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到纹理遮罩。

然后根据纹理遮罩将第一纹理图像融合至第二纹理图像中，得到融合纹理图像。具体的，可以通过泊松融合、双线性插值采样等方法对第一纹理图像和第二纹理图像进行融合处理，将第二纹理图像中属于纹理遮罩范围内的像素点对应的纹理值调整为第一纹理图像与第二纹理图像中相应像素点的融合纹理，保留第二纹理图像中属于纹理遮罩范围外的像素点的当前纹理值。

通过纹理遮罩，可以将第一纹理图像和第二纹理图像的融合区域控制在有效范围内，避免对其他区域的纹理进行融合影响最终生成的目标人脸图像的准确度。

在本发明的一种可选实施例中，步骤102所述基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像之前，所述方法还包括：

步骤S21、对所述第一人脸图像进行人脸皮肤检测，得到所述第一人脸图像的皮肤检测范围；

步骤S22、对所述第一人脸图像进行关键点检测，得到所述第一人脸图像的关键点检测范围；

步骤S23、基于所述皮肤检测范围和所述关键点检测范围计算第一动态遮罩。

在本发明实施例中，可以通过对第一人脸图像进行皮肤检测和关键点检测计算第一动态遮罩。其中，皮肤检测的目的是自动检测第一人脸图像中未被遮盖的人脸皮肤范围；关键点检测的目的是确定第一人脸图像中待融合的目标人脸关键点。关键点能够刻画出人脸轮廓以及人脸面部的关键部位，如眉毛、眼睛、鼻子、嘴巴等。

可选地，步骤S21所述对所述第一人脸图像进行人脸皮肤检测，得到所述第一人脸图像的皮肤检测范围，包括：

子步骤S211、将所述第一人脸图像输入至预先训练的皮肤检测模型中进行皮肤检测处理，得到所述第一人脸图像中各个像素点的判定值，所述判定值用于标识所述像素点是否为人脸像素点；

子步骤S212、基于所述第一人脸图像中各个像素点的判定值确定所述第一人脸图像的皮肤检测范围。

其中，像素点的判定值用于标识该像素点是否为第一人脸图像中未被遮挡的皮肤对应的像素点。皮肤检测模型的本质是对输入的第一人脸图像中的各个像素点进行分类，因此，在本发明实施例中，可以选用任意擅长分类会像素点标注的神经网络模型作为皮肤检测模型，并通过人脸图像对皮肤检测模型进行训练，得到训练完成的皮肤检测模型。

可选地，步骤S22所述对所述第一人脸图像进行关键点检测，得到所述第一人脸图像的关键点检测范围，包括：

子步骤S221、将所述第一人脸图像输入至预先训练的关键点检测模型中进行关键点检测处理，得到所述第一人脸图像的关键点坐标；

子步骤S222、根据所述关键点坐标确定所述第一人脸图像的关键点检测范围。

其中，关键点检测模型可以选用ASM(ActiveShapeModel，主动形状模型)的检测算法，也可以选用其他任意擅长进行关键点检测的神经网络模型，本发明实施例对此不做具体限定。

当确定第一人脸图像的关键点坐标之后，可以进一步根据关键点坐标将各个关键点连接起来，得到关键点连线，根据关键点连线确定第一人脸图像中的关键点检测范围。

参照图2，示出了本发明实施例提供的一种皮肤检测和关键点检测示意图。图2中左边的第一个子图为第一人脸图像，中间的第二个子图为第一人脸图像对应的皮肤检测范围示意图，右边的第三个子图为第一人脸图像对应的关键点检测范围示意图。如图2所示，将第一人脸图像中的人脸像素点的颜色设置为白色，将非人脸像素点的颜色设置为黑色，根据各个像素点的颜色就可以确定第一人脸图像对应的皮肤检测范围。同理，根据第一人脸图像对应的各个关键点的连线确定第一人脸图像的关键点检测范围，并将关键点检测范围内的各个像素点的颜色设置为白色，将关键点检测范围外的各个像素点的颜色设置为黑色，根据各个像素点的颜色就可以直观的确定第一人脸图像对应的关键点检测范围。

确定第一人脸图像对应的皮肤检测范围和关键点检测范围之后，对皮肤检测范围和关键点检测范围求交集，就可以得到第一动态遮罩。以图2为例，可以直接对第二个子图和第三个子图求交集，图2中三个子图的尺寸一致，每一个子图上的各个像素点都可以在其他两个子图中找到相同位置的像素点，因此，第二子图和第三子图中像素点颜色均为白色的坐标点组成的坐标集合就是第一子图中的待融合区域，也即第一动态遮罩。

在本发明的一种可选实施例中，步骤101所述获取第一人脸图像对应的第一纹理图像和第二人脸图像对应的第二纹理图像，包括：

步骤S31、将所述第一人脸图像和所述第二人脸图像分别输入至预先训练的三维人脸重建网络中进行三维人脸重建处理，得到所述第一人脸图像的三维模型参数和所述第二人脸图像的三维模型参数；

步骤S32、根据所述第一人脸图像的三维模型参数以及所述第二人脸图像的三维模型参数，构建所述第一人脸图像对应的三维人脸模型和所述第二人脸图像对应的三维人脸模型；

步骤S33、基于所述第一人脸图像对应的三维人脸模型绘制所述第一人脸图像对应的第一纹理图像，以及基于所述第二人脸图像对应的三维人脸模型绘制所述第二人脸图像对应的第二纹理图像。

其中，三维人脸重建网络可以选用本领域任意擅长三维人脸重建的神经网络模型。可以采用弱监督训练的方法对三维人脸重建网络进行训练，然后采用训练完成的三维人脸重建网络对第一人脸图像和第二人脸图像分别进行三维人脸重建处理，得到第一人脸图像的三维模型参数和第二人脸图像的三维模型参数。

需要说明的是，本发明实施例中的三维模型参数包括但不限于人脸图像中的形状参数、表情参数和姿态参数。根据三维模型参数就可以构建第一人脸图像对应的三维人脸模型和第二人脸图像对应的三维人脸模型。

第一人脸图像中的各个像素点在第一人脸图像对应的三维人脸模型中均存在对应的坐标点，同理，第二人脸图像中的各个像素点在第二人脸图像对应的三维人脸模型中也存在对应的坐标点。再根据预先设定的三维人脸模型中的各个坐标点与纹理空间中各个坐标点的映射关系，就可以确定第一人脸图像对应的第一纹理图像和第二人脸图像对应的第二纹理图像。

在本发明的一种可选实施例中，所述三维模型参数包括形状参数、表情参数和姿态参数，步骤S32所述根据所述第一人脸图像的三维模型参数以及所述第二人脸图像的三维模型参数，构建所述第一人脸图像对应的三维人脸模型和所述第二人脸图像对应的三维人脸模型，包括：

子步骤S321、根据所述第一人脸图像的形状参数、表情参数和姿态参数构建所述第一人脸图像对应的三维人脸模型；

子步骤S322、根据所述第二人脸图像的形状参数、所述第一人脸图像的表情参数和姿态参数，构建所述第二人脸图像对应的三维人脸模型。

在本发明实施例中，为了进一步提升第一人脸图像和第二人脸图像的融合效果，提高最终生成的目标人脸图像的真实度，在构建第二人脸图像对应的三维人脸模型时，可以直接将第二人脸图像的表情参数和姿态参数替换为第一人脸图像的表情参数和姿态参数，根据第二人脸图像的形状参数、第一人脸图像的表情参数和姿态参数构建第二人脸图像对应的三维人脸模型，使得生成的目标人脸图像中的表情变化更加自然。

在本发明的一种可选实施例中，子步骤S322所述表情参数包括至少两个基向量，所述根据所述第二人脸图像的形状参数、所述第一人脸图像的表情参数和姿态参数，构建所述第二人脸图像对应的三维人脸模型，包括：

P11、调整所述第一人脸图像的表情参数中各个基向量的系数，得到调整后的表情参数；

P12、根据所述第二人脸图像的形状参数、所述调整后的表情参数和所述第一人脸图像的姿态参数，构建所述第二人脸图像对应的三维人脸模型。

在本发明实施例中，在构建第二人脸图像对应的三维人脸模型时，除了可以直接将第二人脸图像的表情参数和姿态参数替换为第一人脸图像的表情参数和姿态参数，还可以进一步对第一人脸图像的表情参数进行调整，基于调整后的表情参数构建第二人脸图像对应的三维人脸模型，提高了表情变化的灵活度，从而可以根据实际需要生成任意表情的目标人脸图像。

在本发明的一种可选实施例中，步骤S33所述基于所述第一人脸图像对应的三维人脸模型绘制所述第一人脸图像对应的第一纹理图像，以及基于所述第二人脸图像对应的三维人脸模型绘制所述第二人脸图像对应的第二纹理图像，包括：

子步骤S331、将所述第一人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到所述第一人脸图像对应的第一纹理图像；

子步骤S332、将所述第二人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到所述第二人脸图像对应的第二纹理图像。

第一人脸图像和/或第二人脸图像对应的三维人脸模型中的坐标点与纹理空间内的坐标存在对应关系，该对应关系可以预先设定。根据三维人脸模型中坐标点与纹理空间中坐标的对应关系，将第一人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，就可以得到第一人脸图像对应的第一纹理图像。同理，将第二人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，就可以得到第二纹理图像。

在本发明的一种可选实施例中，步骤103所述基于所述融合纹理图像对所述第二人脸图像进行渲染，得到目标人脸图像，包括：

步骤S41、将所述融合纹理图像中各个像素点的纹理值映射至所述第二图像对应的三维人脸模型上，得到目标人脸模型；

步骤S42、基于所述目标人脸模型绘制第三人脸图像，所述第三人脸图像包含所述第一人脸图像中的待融合区域；

步骤S43、根据第二动态遮罩将所述第三人脸图像渲染至所述第二人脸图像中，得到目标人脸图像，所述第二动态遮罩用于指示所述第二人脸图像中的待覆盖区域。

其中，所述第二动态遮罩为第二人脸图像中待融合区域对应的二值图，用于指示第二人脸图像中的待融合区域，也即第二人脸图像中的待覆盖区域。第二动态遮罩的计算方法与第一动态遮罩的计算方法相同，对第二人脸图像进行皮肤检测和关键点检测，分别得到第二人脸图像的皮肤检测范围和关键点检测范围，然后对皮肤检测范围和关键点检测范围求交集就可以得到第二动态遮罩。第二动态遮罩的覆盖范围可以与第一动态遮罩的覆盖范围一致，也可以大于第一动态遮罩的覆盖范围，以确保在第二人脸图像与第一人脸图像中表情不一致或姿态不一致的情况下，能够完整的包含第一人脸图像中的待融合区域，保证生成的目标人脸图像的完整性和准确度。

需要说明的是，在本发明实施例中，第一人脸图像、第二人脸图像、第一纹理图像、第二纹理图像、融合纹理图像、第三人脸图像、目标人脸图像的尺寸均相同。融合纹理图像中的各个像素点在第一人脸图像和/或第二人脸图像对应的三维人脸模型中均存在相应的坐标点，因此，可以基于融合纹理图像中像素点与三维人脸模型中坐标点的映射关系，将融合纹理图像中各个像素点的纹理值映射至第二人脸图像对应的三维人脸模型中，也即将第二人脸图像对应的三维人脸模型中各个坐标点的纹理值替换为融合纹理图像中相应像素点的纹理值，得到目标人脸模型。

然后，基于目标人脸模型绘制第三人脸图像，第三人脸图像包含第一人脸图像中的待融合区域，且待融合区域在第三人脸图像中的纹理值为第一人脸图像和第二人脸图像的融合纹理。

最后，根据第二动态遮罩将第三人脸图像渲染至第二人脸图像中，就可以得到目标人脸图像。可以将第三人脸图像中位于第二动态遮罩范围外的像素点的深度值设置在预设缓冲阈值之上，从而在渲染过程中忽略第二动态遮罩范围外的像素点，只对第二动态遮罩范围内的像素点进行渲染，提高渲染范围的准确度。

需要说明的是，在本发明实施例中，所述第二人脸图像可以包含单个人脸，也可以包含多个人脸。在对第一人脸图像进行融合时，可以将多个第一人脸图像分别与第二人脸图像中的指定人脸进行融合，得到多张融合后的目标人脸图像；也可以将多个第一人脸图像同时与第二人脸图像中的指定人脸进行融合，得到一张融合后的目标人脸图像。例如，有多个第一人脸图像，分别对应用户A1、用户B1、用户C1的人脸，第二人脸图像中包含有用户D2、用户E2、用户F2的人脸。在本发明实施例中，可以将用户A1的第一人脸图像与第二人脸图像中用户D2的人脸进行融合，将用户B1的第一人脸图像与第二人脸图像中用户E2的人脸进行融合，将用户C1的第一人脸图像与第二人脸图像中用户F2的人脸进行融合，分别得到融合后的目标人脸图像A1D2、B1E2、C1F2；也可以将用户A1、用户B1、用户C1的人脸同时与用户D2的人脸进行融合，得到融合后的目标人脸图像A1B1C1D2。

如果是分别将多个第一人脸图像分别与第二人脸图像中的指定人脸进行融合，只需要根据第一人脸图像中的待融合区域确定第一动态遮罩，并基于第一动态遮罩将第一人脸图像的第一纹理图与第二人脸图像对应的第二纹理图像进行融合，得到融合纹理图像；然后再根据第二人脸图像中的待融合区域确定相应的第二动态遮罩，并基于第二动态遮罩和所述融合纹理图像对第二人脸图像进行渲染，即可得到目标人脸图像。例如，若将用户A1的人脸与用户D2的人脸进行融合，只需基于用户A1的人脸在第一人脸图像中的所属区域确定用户A1的人脸对应第一动态遮罩，基于用户D2在第二人脸中的所属区域确定用户D2的人脸对应的第二动态遮罩，然后根据确定好的第一动态遮罩、第二动态遮罩执行上述图像处理步骤即可。同理，若将用户B1的人脸与用户E2的人脸进行融合，只需将第一动态遮罩替换为用户B1的人脸对应的第一动态遮罩，并将第二动态遮罩替换为用户E2的人脸对应的第二动态遮罩即可。

在本发明的一种可选实施例中，所述第一人脸图像的个数大于1，步骤102所述基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，包括：

步骤S51、分别确定每张第一人脸图像对应的第一动态遮罩；

步骤S52、根据每张第一人脸图像对应的第一动态遮罩对各个第一人脸图像对应的第一纹理图像进行融合处理，得到第三纹理图像；

步骤S53、确定所述第三纹理图像对应的第三动态遮罩；

步骤S54、基于所述第三动态遮罩对所述第三纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像。

如果将多个第一人脸图像同时与第二人脸图像中的指定人脸进行融合，得到一张融合后的目标人脸图像，可以按照步骤101至步骤103的处理过程，依次对各个第一人脸图像进行迭代融合处理，将每轮融合后的目标人脸图像作为第二人脸图像。以将用户A1、用户B1、用户C1的人脸同时与用户D2的人脸进行融合，得到融合后的目标人脸图像A1B1C1D2为例，可以先按照步骤101至步骤103，将用户A1对应的第一人脸图像与用户B1对应的第一人脸图像进行融合处理，得到融合后的人脸图像A1B1；然后，再按照步骤101至步骤103将人脸图像A1B1与用户C1对应的第一人脸图像进行融合，得到融合后的人脸图像A1B1C1；最后，依然按照步骤101至步骤103将人脸图像A1B1C1与用户D2对应的第二人脸图像进行融合，得到融合后的目标人脸图像A1 B1C1D2。需要说明的是，在迭代融合过程中，所采用的动态遮罩为每轮融合处理中待融合的人脸图像对应的动态遮罩。

除了可以按照步骤101至步骤103进行迭代融合，还可以按照步骤S51至步骤S54将多个第一人脸图像同时融合到一个第二人脸图像中。继续以将用户A1、用户B1、用户C1的人脸同时与用户D2的人脸进行融合，得到融合后的目标人脸图像A1B1C1D2为例。先分别确定用户A1、用户B1、用户C1对应的第一动态遮罩，然后，分别基于各个用户人脸对应的第一动态遮罩对各个用户人脸对应的第一人脸图像的第一纹理图像进行融合处理，得到第三纹理图像。具体的，可以先基于用户A1对应的第一动态遮罩将用户A1对应的第一纹理图像与用户B1对应的第一纹理图像进行融合处理，得到纹理图像a1b1；然后，再基于用户C1对应的第一动态遮罩将用户C1对应的第一纹理图像与纹理图像a1b1进行融合处理，得到第三纹理图像a1b1c1。其中，用户A1、用户B1、用户C1对应的第一人脸图像可以同时存在于一张图像中，也可以存在于不同的图像中。

得到第三纹理图像中，为提高图像融合的准确性，需要进一步确定第三纹理图像对应的第三动态遮罩。第三动态遮罩用于指示所述第三纹理图像中各个第一人脸图像的待融合区域。然后，基于第三动态遮罩将第三纹理图像与第二人脸图像的第二纹理图像进行融合处理，得到融合纹理图像。具体的融合过程可以参照步骤102，本发明实施例在此不做进一步赘述。得到融合纹理图像之后，就可以基于按照步骤103的处理过程，对第二人脸图像进行渲染，就可以得到目标人脸图像。

需要说明的是，在本发明实施例中，所述第一人脸图像可以包含单个人脸，也可以同时包含多个人脸。也就是说，用户A1、用户B1、用户C1的人脸也可以同时存在于一张第一人脸图像中。无论是将多张包含单个人脸的第一人脸图像分别与第二人脸图像中的指定人脸进行融合，还是将包含多个人脸的第一人脸图像中的多个人脸分别与第二人脸图像中的指定人脸进行融合，均只需要根据待融合的人脸确定相应的动态遮罩，基于动态遮罩进行图像融合即可。

在本发明的一种可选实施例中，所述方法还包括：

步骤S51、获取训练样本集，所述训练样本集包括人脸图像和所述人脸图像对应的二维关键点坐标；

步骤S52、基于所述训练样本集对预先构建的三维人脸重建网络进行弱监督训练，并计算所述三维人脸重建网络的损失值，直至所述损失值满足收敛条件得到训练完成的三维人脸重建网络。

训练三维人脸重建网络时，可以采用弱监督训练的方法。具体的，训练样本集不依赖人脸图像的三维关键点坐标，而是基于人脸图像及其二维关键点坐标对三维人脸重建网络进行训练，从而无需获取大量人脸图像的三维关键点坐标，降低了训练样本的获取难度，提高了三维人脸重建网络的训练效率。

在本发明的一种可选实施例中，步骤S52所述计算所述三维人脸重建网络的损失值，包括：

子步骤S521、在每一轮训练中，确定所述三维人脸网络的损失参数，所述损失参数包括像素损失值、关键点距离损失值、身份损失值和正则化损失值；

子步骤S522、根据预设权重对各个损失参数进行加权求和，得到所述三维人脸重建网络的损失值。

其中，像素损失值用于标识三维人脸重建网络在输出的人脸图像的三维人脸模型中有效像素的损失情况；关键点距离损失值用于标识三维人脸重建网络输出的三维人脸模型中各个关键点与实际关键点之间的误差；身份损失值用于标识三维人脸重建网络确定的三维人脸模型中人物特征信息的损失情况；正则化损失用于标识三维人脸重建网络的输出结果的准确度。需要说明的是，三维人脸重建网络的损失参数还可以包括其他损失参数，上述列举的各个损失参数并不构成对本发明实施例的限定。

为了提升三维人脸重建网络的准确度和鲁棒性，在对三维人脸重建网络进行训练时，可以同时考虑多种损失参数，对各个损失参数进行加权求和作为三维人脸重建网络的损失值，并基于该损失值对三维人脸重建网络的网络参数进行调整，直至得到满足收敛条件的三维人脸重建网络。

综上，本发明实施例基于动态遮罩对第一人脸图像对应的第一纹理图像和第二人脸图像的第二纹理图像进行融合，能够将图像的融合区域限制在有效范围内，贴合预先设定的待融合区域的人脸边界，提高人脸融合的准确度；并且，本发明实施例基于融合纹理图像对第二人脸图像进行渲染，生成目标人脸图像，可以保证生成的目标人脸图像的颜色稳定性和真实性，提高了生成的目标人脸图像的图像质量。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

装置实施例

参照图3，示出了本发明的一种图像处理装置实施例的结构框图，所述装置可以包括：

纹理图像获取模块201，用于获取第一人脸图像对应的第一纹理图像和第二人脸图像对应的第二纹理图像；

纹理图像融合模块202，用于基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，所述第一动态遮罩用于指示所述第一人脸图像中的待融合区域；

目标图像生成模块203，用于基于所述融合纹理图像对所述第二人脸图像进行渲染，得到目标人脸图像。

可选地，所述纹理图像融合模块202，包括：

纹理遮罩获取子模块，用于根据所述第一动态遮罩将所述第一人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到纹理遮罩；

纹理图像融合子模块，用于根据所述纹理遮罩将所述第一纹理图像融合至所述第二纹理图像中，得到融合纹理图像。

可选地，所述装置还包括：

皮肤检测模块，用于对所述第一人脸图像进行人脸皮肤检测，得到所述第一人脸图像的皮肤检测范围；

关键点检测模块，用于对所述第一人脸图像进行关键点检测，得到所述第一人脸图像的关键点检测范围；

动态遮罩计算模块，用于基于所述皮肤检测范围和所述关键点检测范围计算第一动态遮罩。

可选地，所述纹理图像获取模块201，包括：

三维人脸重建子模块，用于将所述第一人脸图像和所述第二人脸图像分别输入至预先训练的三维人脸重建网络中进行三维人脸重建处理，得到所述第一人脸图像的三维模型参数和所述第二人脸图像的三维模型参数；

三维人脸模型构建子模块，用于根据所述第一人脸图像的三维模型参数以及所述第二人脸图像的三维模型参数，构建所述第一人脸图像对应的三维人脸模型和所述第二人脸图像对应的三维人脸模型；

纹理图像绘制子模块，用于基于所述第一人脸图像对应的三维人脸模型绘制所述第一人脸图像对应的第一纹理图像，以及基于所述第二人脸图像对应的三维人脸模型绘制所述第二人脸图像对应的第二纹理图像。

可选地，所述三维模型参数包括形状参数、表情参数和姿态参数，所述三维人脸模型构建子模块，包括：

第一人脸模型构建单元，用于根据所述第一人脸图像的形状参数、表情参数和姿态参数构建所述第一人脸图像对应的三维人脸模型；

第二人脸模型构建单元，用于根据所述第二人脸图像的形状参数、所述第一人脸图像的表情参数和姿态参数，构建所述第二人脸图像对应的三维人脸模型。

可选地，所述表情参数包括至少两个基向量，所述第二人脸模型构建单元，包括：

表情参数调整子单元，用于调整所述第一人脸图像的表情参数中各个基向量的系数，得到调整后的表情参数；

人脸模型构建子单元，用于根据所述第二人脸图像的形状参数、所述调整后的表情参数和所述第一人脸图像的姿态参数，构建所述第二人脸图像对应的三维人脸模型。

可选地，所述目标图像生成模块，包括：

纹理映射子模块，用于将所述融合纹理图像中各个像素点的纹理值映射至所述第二图像对应的三维人脸模型上，得到目标人脸模型；

人脸图像绘制子模块，用于基于所述目标人脸模型绘制第三人脸图像，所述第三人脸图像包含所述第一人脸图像中的待融合区域；

图像渲染子模块，用于根据第二动态遮罩将所述第三人脸图像渲染至所述第二人脸图像中，得到目标人脸图像，所述第二动态遮罩用于指示所述第二人脸图像中的待覆盖区域。

可选地，所述纹理图像绘制子模块，包括：

第一纹理图像绘制单元，用于将所述第一人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到所述第一人脸图像对应的第一纹理图像；

第二纹理图像绘制单元，用于将所述第二人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到所述第二人脸图像对应的第二纹理图像。

可选地，所述纹理图像获取模块201还包括：

样本集获取子模块，用于获取训练样本集，所述训练样本集包括人脸图像和所述人脸图像对应的二维关键点坐标；

三维人脸重建网络训练子模块，用于基于所述训练样本集对预先构建的三维人脸重建网络进行弱监督训练，并计算所述三维人脸重建网络的损失值，直至所述损失值满足收敛条件得到训练完成的三维人脸重建网络。

可选地，所述三维人脸重建网络训练子模块，包括：

损失参数确定单元，用于在每一轮训练中，确定所述三维人脸网络的损失参数，所述损失参数包括像素损失值、关键点距离损失值、身份损失值和正则化损失值；

损失值计算单元，用于根据预设权重对各个损失参数进行加权求和，得到所述三维人脸重建网络的损失值。

可选地，所述第一人脸图像的个数大于1，所述纹理图像融合模块，包括：

第一动态遮罩确定子模块，用于分别确定每张第一人脸图像对应的第一动态遮罩；

第一纹理图像融合子模块，用于根据每张第一人脸图像对应的第一动态遮罩对各个第一人脸图像对应的第一纹理图像进行融合处理，得到第三纹理图像；

第二动态遮罩确定子模块，用于确定所述第三纹理图像对应的第三动态遮罩；

第二纹理图像融合子模块，用于基于所述第三动态遮罩对所述第三纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像。

综上，本发明实施例基于动态遮罩对第一人脸图像对应的第一纹理图像和第二人脸图像的第二纹理图像进行融合，能够将图像的融合区域限制在有效范围内，贴合预先设定的待融合区域的人脸边界，提高人脸融合的准确度；并且，本发明实施例基于融合纹理图像对第二人脸图像进行渲染，生成目标人脸图像，可以保证生成的目标人脸图像的颜色稳定性和真实性，提高了生成的目标人脸图像的图像质量。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本发明实施例提供了一种用于图像处理的装置，所述装置包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

A11、获取第一人脸图像对应的第一纹理图像和第二人脸图像对应的第二纹理图像；

A12、基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，所述第一动态遮罩用于指示所述第一人脸图像中的待融合区域；

A13、基于所述融合纹理图像对所述第二人脸图像进行渲染，得到目标人脸图像。

可选地，所述基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，包括：

根据所述第一动态遮罩将所述第一人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到纹理遮罩；

根据所述纹理遮罩将所述第一纹理图像融合至所述第二纹理图像中，得到融合纹理图像。

可选地，所述基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像之前，所述方法还包括：

对所述第一人脸图像进行人脸皮肤检测，得到所述第一人脸图像的皮肤检测范围；

对所述第一人脸图像进行关键点检测，得到所述第一人脸图像的关键点检测范围；

基于所述皮肤检测范围和所述关键点检测范围计算第一动态遮罩。

可选地，所述获取第一人脸图像对应的第一纹理图像和第二人脸图像对应的第二纹理图像，包括：

将所述第一人脸图像和所述第二人脸图像分别输入至预先训练的三维人脸重建网络中进行三维人脸重建处理，得到所述第一人脸图像的三维模型参数和所述第二人脸图像的三维模型参数；

根据所述第一人脸图像的三维模型参数以及所述第二人脸图像的三维模型参数，构建所述第一人脸图像对应的三维人脸模型和所述第二人脸图像对应的三维人脸模型；

基于所述第一人脸图像对应的三维人脸模型绘制所述第一人脸图像对应的第一纹理图像，以及基于所述第二人脸图像对应的三维人脸模型绘制所述第二人脸图像对应的第二纹理图像。

可选地，所述三维模型参数包括形状参数、表情参数和姿态参数，所述根据所述第一人脸图像的三维模型参数以及所述第二人脸图像的三维模型参数，构建所述第一人脸图像对应的三维人脸模型和所述第二人脸图像对应的三维人脸模型，包括：

根据所述第一人脸图像的形状参数、表情参数和姿态参数构建所述第一人脸图像对应的三维人脸模型；

根据所述第二人脸图像的形状参数、所述第一人脸图像的表情参数和姿态参数，构建所述第二人脸图像对应的三维人脸模型。

可选地，所述表情参数包括至少两个基向量，所述根据所述第二人脸图像的形状参数、所述第一人脸图像的表情参数和姿态参数，构建所述第二人脸图像对应的三维人脸模型，包括：

调整所述第一人脸图像的表情参数中各个基向量的系数，得到调整后的表情参数；

根据所述第二人脸图像的形状参数、所述调整后的表情参数和所述第一人脸图像的姿态参数，构建所述第二人脸图像对应的三维人脸模型。

可选地，所述基于所述融合纹理图像对所述第二人脸图像进行渲染，得到目标人脸图像，包括：

将所述融合纹理图像中各个像素点的纹理值映射至所述第二图像对应的三维人脸模型上，得到目标人脸模型；

基于所述目标人脸模型绘制第三人脸图像，所述第三人脸图像包含所述第一人脸图像中的待融合区域；

根据第二动态遮罩将所述第三人脸图像渲染至所述第二人脸图像中，得到目标人脸图像，所述第二动态遮罩用于指示所述第二人脸图像中的待覆盖区域。

可选地，所述基于所述第一人脸图像对应的三维人脸模型绘制所述第一人脸图像对应的第一纹理图像，以及基于所述第二人脸图像对应的三维人脸模型绘制所述第二人脸图像对应的第二纹理图像，包括：

将所述第一人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到所述第一人脸图像对应的第一纹理图像；

将所述第二人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到所述第二人脸图像对应的第二纹理图像。

可选地，所述方法还包括：

获取训练样本集，所述训练样本集包括人脸图像和所述人脸图像对应的二维关键点坐标；

基于所述训练样本集对预先构建的三维人脸重建网络进行弱监督训练，并计算所述三维人脸重建网络的损失值，直至所述损失值满足收敛条件得到训练完成的三维人脸重建网络。

可选地，所述计算所述三维人脸重建网络的损失值，包括：

在每一轮训练中，确定所述三维人脸网络的损失参数，所述损失参数包括像素损失值、关键点距离损失值、身份损失值和正则化损失值；

根据预设权重对各个损失参数进行加权求和，得到所述三维人脸重建网络的损失值。

可选地，可选地，所述第一人脸图像的个数大于1，所述基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，包括：

分别确定每张第一人脸图像对应的第一动态遮罩；

根据每张第一人脸图像对应的第一动态遮罩对各个第一人脸图像对应的第一纹理图像进行融合处理，得到第三纹理图像；

确定所述第三纹理图像对应的第三动态遮罩；

基于所述第三动态遮罩对所述第三纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像。

图4是根据一示例性实施例示出的一种用于图像处理的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图4，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音信息处理模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以图像处理装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频信息处理(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图5是本发明的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。

服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行图1所示的图像处理方法。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行一种图像处理方法，所述方法包括：获取第一人脸图像对应的第一纹理图像和第二人脸图像对应的第二纹理图像；基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，所述第一动态遮罩用于指示所述第一人脸图像中的待融合区域；基于所述融合纹理图像对所述第二人脸图像进行渲染，得到目标人脸图像。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上对本发明所提供的一种图像处理方法、一种图像处理装置和一种用于图像处理的装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种图像处理方法，其特征在于，所述方法包括：

获取第一人脸图像对应的第一纹理图像和第二人脸图像对应的第二纹理图像；

基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，所述第一动态遮罩用于指示所述第一人脸图像中的待融合区域；

基于所述融合纹理图像对所述第二人脸图像进行渲染，得到目标人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，包括：

根据所述第一动态遮罩将所述第一人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到纹理遮罩；

根据所述纹理遮罩将所述第一纹理图像融合至所述第二纹理图像中，得到融合纹理图像。

3.根据权利要求1所述的方法，其特征在于，所述基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像之前，所述方法还包括：

对所述第一人脸图像进行人脸皮肤检测，得到所述第一人脸图像的皮肤检测范围；

对所述第一人脸图像进行关键点检测，得到所述第一人脸图像的关键点检测范围；

基于所述皮肤检测范围和所述关键点检测范围计算第一动态遮罩。

4.根据权利要求1所述的方法，其特征在于，所述获取第一人脸图像对应的第一纹理图像和第二人脸图像对应的第二纹理图像，包括：

将所述第一人脸图像和所述第二人脸图像分别输入至预先训练的三维人脸重建网络中进行三维人脸重建处理，得到所述第一人脸图像的三维模型参数和所述第二人脸图像的三维模型参数；

根据所述第一人脸图像的三维模型参数以及所述第二人脸图像的三维模型参数，构建所述第一人脸图像对应的三维人脸模型和所述第二人脸图像对应的三维人脸模型；

基于所述第一人脸图像对应的三维人脸模型绘制所述第一人脸图像对应的第一纹理图像，以及基于所述第二人脸图像对应的三维人脸模型绘制所述第二人脸图像对应的第二纹理图像。

5.根据权利要求4所述的方法，其特征在于，所述三维模型参数包括形状参数、表情参数和姿态参数，所述根据所述第一人脸图像的三维模型参数以及所述第二人脸图像的三维模型参数，构建所述第一人脸图像对应的三维人脸模型和所述第二人脸图像对应的三维人脸模型，包括：

根据所述第一人脸图像的形状参数、表情参数和姿态参数构建所述第一人脸图像对应的三维人脸模型；

根据所述第二人脸图像的形状参数、所述第一人脸图像的表情参数和姿态参数，构建所述第二人脸图像对应的三维人脸模型。

6.根据权利要求5所述的方法，其特征在于，所述表情参数包括至少两个基向量，所述根据所述第二人脸图像的形状参数、所述第一人脸图像的表情参数和姿态参数，构建所述第二人脸图像对应的三维人脸模型，包括：

调整所述第一人脸图像的表情参数中各个基向量的系数，得到调整后的表情参数；

根据所述第二人脸图像的形状参数、所述调整后的表情参数和所述第一人脸图像的姿态参数，构建所述第二人脸图像对应的三维人脸模型。

7.根据权利要求4至6任一所述的方法，其特征在于，所述基于所述融合纹理图像对所述第二人脸图像进行渲染，得到目标人脸图像，包括：

将所述融合纹理图像中各个像素点的纹理值映射至所述第二图像对应的三维人脸模型上，得到目标人脸模型；

基于所述目标人脸模型绘制第三人脸图像，所述第三人脸图像包含所述第一人脸图像中的待融合区域；

根据第二动态遮罩将所述第三人脸图像渲染至所述第二人脸图像中，得到目标人脸图像，所述第二动态遮罩用于指示所述第二人脸图像中的待覆盖区域。

8.根据权利要求4至7任一所述的方法，其特征在于，所述基于所述第一人脸图像对应的三维人脸模型绘制所述第一人脸图像对应的第一纹理图像，以及基于所述第二人脸图像对应的三维人脸模型绘制所述第二人脸图像对应的第二纹理图像，包括：

将所述第一人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到所述第一人脸图像对应的第一纹理图像；

将所述第二人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到所述第二人脸图像对应的第二纹理图像。

9.根据权利要求4所述的方法，其特征在于，所述方法还包括：

获取训练样本集，所述训练样本集包括人脸图像和所述人脸图像对应的二维关键点坐标；

基于所述训练样本集对预先构建的三维人脸重建网络进行弱监督训练，并计算所述三维人脸重建网络的损失值，直至所述损失值满足收敛条件得到训练完成的三维人脸重建网络。

10.根据权利要求9所述的方法，其特征在于，所述计算所述三维人脸重建网络的损失值，包括：

在每一轮训练中，确定所述三维人脸网络的损失参数，所述损失参数包括像素损失值、关键点距离损失值、身份损失值和正则化损失值；

根据预设权重对各个损失参数进行加权求和，得到所述三维人脸重建网络的损失值。

11.根据权利要求1所述的方法，其特征在于，所述第一人脸图像的个数大于1，所述基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，包括：

分别确定每张第一人脸图像对应的第一动态遮罩；

根据每张第一人脸图像对应的第一动态遮罩对各个第一人脸图像对应的第一纹理图像进行融合处理，得到第三纹理图像；

确定所述第三纹理图像对应的第三动态遮罩；

基于所述第三动态遮罩对所述第三纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像。

12.一种图像处理装置，其特征在于，所述装置包括：

纹理图像获取模块，用于获取第一人脸图像对应的第一纹理图像和第二人脸图像对应的第二纹理图像；

纹理图像融合模块，用于基于第一动态遮罩对所述第一纹理图像和所述第二纹理图像进行融合处理，得到融合纹理图像，所述第一动态遮罩用于指示所述第一人脸图像中的待融合区域；

目标图像生成模块，用于基于所述融合纹理图像对所述第二人脸图像进行渲染，得到目标人脸图像。

13.根据权利要求12所述的装置，其特征在于，所述纹理图像融合模块，包括：

纹理遮罩获取子模块，用于根据所述第一动态遮罩将所述第一人脸图像对应的三维人脸模型中各个坐标点的纹理值映射至纹理空间，得到纹理遮罩；

纹理图像融合子模块，用于根据所述纹理遮罩将所述第一纹理图像融合至所述第二纹理图像中，得到融合纹理图像。

14.一种用于图像处理的装置，其特征在于，所述装置包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1至11中任一所述的图像处理方法的指令。

15.一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1至11中任一所述的图像处理方法。

Images