CN114419182A - 图像处理方法和装置 - Google Patents

Abstract

本公开提供了图像处理方法和装置，涉及图像处理、增强现实和深度学习等人工智能领域。具体实现方案为：获取样本集，其中，样本集中的样本包括样本人脸图像以及与样本人脸图像对应的标签图；从样本集中选取样本，以及执行以下训练步骤：基于初始的纹理基底将选取的样本的样本人脸图像转换成纹理图像；将纹理图像输入可微渲染器，得到渲染图；基于渲染图和选取的样本的标签图之间的差异得到所选取的样本的样本人脸图像的肤色对应的纹理基底。该实施方式能够不依赖美工师生成纹理基底，减少了人力成本。

Description

图像处理方法和装置

技术领域

本公开涉及图像处理、增强现实和深度学习等人工智能领域。

背景技术

随着图像处理技术的发展和人们对产品趣味性需求的不断提升，虚拟形象的应用越来越广泛。例如，在直播场景中由虚拟形象代替主播的真实形象进行视频直播。再例如，在人机交互场景中采用虚拟形象模拟真实人物与用户进行交互。

目前的技术中已经能够通过人脸重建生成虚拟形象。人脸重建过程所需的纹理基底通常是通过美工师手动设计出的，这种方式消耗人力、时间，且依赖美工师主观审美设计，使用时不一定能覆盖住实际测试样本的颜色。

发明内容

本公开提供了一种图像处理方法、装置、设备、存储介质以及计算机程序产品。

根据本公开的第一方面，提供了一种图像处理方法，包括：获取样本集，其中，所述样本集中的样本包括样本人脸图像以及与样本人脸图像对应的标签图；从所述样本集中选取样本，以及执行以下训练步骤：基于初始的纹理基底将选取的样本的样本人脸图像转换成纹理图像；将所述纹理图像输入可微渲染器，得到渲染图；基于所述渲染图和选取的样本的标签图之间的差异得到所选取的样本的样本人脸图像的肤色对应的纹理基底。

根据本公开的第二方面，提供了一种图像处理装置，包括：获取单元，被配置成获取样本集，其中，所述样本集中的样本包括样本人脸图像以及与样本人脸图像对应的标签图；训练单元，被配置成从所述样本集中选取样本，以及执行以下训练步骤：基于初始的纹理基底将选取的样本的样本人脸图像转换成纹理图像；将所述纹理图像输入可微渲染器，得到渲染图；基于所述渲染图和选取的样本的标签图之间的差异得到所选取的样本的样本人脸图像的肤色对应的纹理基底。

根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面所述的方法。

本公开的实施例提供的图像处理方法和装置，不依赖美工师设计，简便快速生成纹理基底。降低了人力成本并提高了工作效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本公开的图像处理方法的一个实施例的流程图；

图3是根据本公开的图像处理方法的又一个实施例的流程图；

图4是根据本公开的图像处理方法的一个应用场景的示意图；

图5是根据本公开的图像处理装置的一个实施例的结构示意图；

图6是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出了可以应用本公开的图像处理方法或图像处理装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如图像处理类应用、人脸动画类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且支持播放动画的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

终端设备101、102、103还可安装有摄像头，用于采集人脸图像。再根据采集的人脸图像由终端设备或服务器图像处理。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的动画提供支持的动画服务器。动画服务器可以对接收到的人脸图像进行分析等处理，并将处理结果(例如重建后的人脸)反馈给终端设备。服务器105还可将中间过程的相关数据(例如，生成的纹理基底)返回给终端设备，使得终端设备可以根据纹理基底进行人脸重建。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。

需要说明的是，本公开的实施例所提供的图像处理方法可以由终端设备101、102、103执行，也可以由服务器105执行。相应地，图像处理装置可以设置于终端设备101、102、103中，也可以设置于服务器105中。在此不做具体限定。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本公开的图像处理方法的一个实施例的流程200。该图像处理方法，包括以下步骤：

步骤201，获取样本集。

在本实施例中，图像处理方法的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从用户利用其进行样本采集的终端接收样本集。执行主体还可从数据库中获取样本集。其中样本集中的样本包括样本人脸图像以及与样本人脸图像对应的标签图。样本人脸图像可以是不同肤色的人脸图像。标签图为将样本人脸图像经过风格转换后得到的目标风格图，可通过滤镜等图像处理方式进行风格转换。例如，转换成迪斯尼风格的标签图。标签图作为训练的监督信号，对纹理基底进行有监督地训练。

步骤202，从样本集中选取样本。

在本实施例中，可以从样本集中随机选择样本。也可将样本集中的样本人脸图像按肤色深度(即平均像素值)排序，按顺序选取样本，每次训练时可选择平均像素值接近的样本，例如，平均像素值差距在5以内的人脸图像可作为一批样本。

步骤203，基于初始的纹理基底将选取的样本的样本人脸图像转换成纹理图像。

在本实施例中，可将初始的纹理基底和选取的样本的样本人脸图像输入预先训练的转换模型，得到纹理图像。转换模型是一种神经网络，能基于纹理基底将图像转换成纹理图像。

在本实施例的一些可选的实现方式中，基于初始的纹理基底将选取的样本的样本人脸图像转换成纹理图像，包括：通过神经网络从选取的样本的样本人脸图像中提取出纹理系数；将初始的纹理基底和所述纹理系数进行线性求和，得到纹理图像。可通过卷积神经网络等模型从选取的样本的样本人脸图像中提取出纹理系数。这里的神经网络是可以参与训练调参的。纹理系数可通过拟合或神经网络模型的方法提取，例如，采用3DMM系数回归神经网络从目标人物图像中预测出三维人脸模型巴塞尔人脸模型(Basel Face Model,简称BFM)的形状和姿态系数，包括：身份、表情和纹理系数、人物脸部姿态和光照系数。初始的纹理基底可以是随机生成的纹理基底。针对不同的肤色可随机生成不同的纹理基底作为每种肤色的初始纹理基底。可选地，每种肤色也可使用相同的初始的纹理基底，然后根据不同肤色的样本分别训练出不同肤色的纹理基底。纹理基底实际是张量，可以与纹理系数进行线性求和，得到纹理图像。

步骤204，将纹理图像输入可微渲染器，得到渲染图。

在本实施例中，可微渲染器可以将2D的纹理图像转换成2D的渲染图。可微渲染通过计算渲染过程的导数，使得从单张图片学习三维结构逐渐成为现实。可微渲染目前被广泛地应用于三维重建，特别是人体重建、人脸重建和三维属性估计等应用中。可微渲染器可采用SoftRas和N3MR等。

步骤205，基于渲染图和选取的样本的标签图之间的差异得到所选取的样本的样本人脸图像的肤色对应的纹理基底。

在本实施例中，可将选取的样本的标签图作为监督信号，调整初始的纹理基底的相关参数，使得生成的渲染图的像素值分布接近于标签图的像素值分布，即减小两图之间的差异。如果使用了神经网络生成纹理图像，则还可调整神经网络的相关参数。可交替调整纹理基底的相关参数和神经网络的相关参数。

在本实施例的一些可选的实现方式中，可通过预设的损失函数计算损失值，例如L1损失函数。根据渲染图和标签图中相同位置像素点之间像素值的差异计算两图的损失值。

若损失值小于预定阈值，则将初始的纹理基底确定为所选取的样本的样本人脸图像的肤色对应的纹理基底。

在本实施例中，当损失值小于预定阈值，或迭代次数达到预定次数之后，纹理基底训练完成。生成了针对样本人脸图像的肤色对应的纹理基底。如果想生成其它肤色的纹理基底，则需要更换成其它肤色的样本人脸图像，重新执行步骤203-205。可选地，如果迭代达到预定次数之后，损失值仍比较大，则可更换相同肤色的其它样本人脸图像，继续训练该肤色的纹理基底。相当于一种肤色为一个维度，最终可生成多个维度的纹理基底。

若损失值大于等于预定阈值，则调整初始的纹理基底和/或神经网络的相关参数，继续执行步骤203-205。

在本实施例中，采用梯度下降反向传播的方法调整纹理基底和/或神经网络的相关参数。然后使用更新后的神经网络重新提取纹理系数，将调整后的纹理基底和重新提取的纹理系数进行线性求和，得到更新后的纹理图像。将更新后的纹理图像输入可微渲染器，得到更新后的渲染图。基于更新后的渲染图和选取的样本的标签图之间的差异重新计算损失值。如果损失值仍大于等于预定阈值，则调整初始的纹理基底和神经网络的相关参数，继续执行步骤203-205。否则，将更新后的纹理基底确定为所选取的样本的样本人脸图像的肤色对应的纹理基底。

人脸重建需要通过纹理基底和纹理系数得到纹理人脸图像。纹理系数可通过拟合或是深度学习网络预测获取，而最重要的纹理基底是通过美工师手动设计出的。

依赖美工师设计纹理基底这种方式消耗人力、时间，且依赖美工师主观审美设计，使用时不一定能覆盖住实际测试样本的颜色。算法工程师主观选取颜色生成纹理人脸图像会造成一定程度的颜色分布缺失，且很难满足颜色重要性分布。

本公开的上述实施例提供的方法，针对不同肤色生成目标风格的人脸数据颜色分布的纹理基底，无需美工师，节省了人力成本并且提高了工作效率。

在本实施例的一些可选的实现方式中，样本集中的样本包括不同肤色的样本人脸图像；以及所述从所述样本集中选取样本，包括：从所述样本集中选取相同肤色的至少一个样本。这样可以针对不同肤色生成相应的纹理基底，每种肤色对应一个维度的纹理基底。从而可针对同一风格渲染图生成多种肤色的纹理基底，提高了纹理基底的适用范围。将全部肤色对应的纹理基底维度都获取，就可以组成一个完整的纹理基底了。

在本实施例的一些可选的实现方式中，所述标签图为样本人脸图像通过生成式对抗网络生成的目标风格图。通过生成式对抗网络将样本人脸图像转换成目标风格图。生成式对抗网络(GAN)包括生成式模型(generative model)和判别式模型(discriminativemodel)。生成式模型用于生成目标风格图，而判别式模型用来判断目标风格图的真假。最终生成了判别式模型无法识别出真假的目标风格图。通过生成式对抗网络可以快速、准确地生成不同风格的图，提高纹理基底的训练速度和准确性。

在本实施例的一些可选的实现方式中，所述损失值为L1损失值。由于渲染图和标签图的区别主要在于像素值的差异，而不存在形状差异，因此采用L1损失值能方便、快速的计算损失值，提高训练速度，还不会影响纹理基底的准确性，并且可减轻系统负荷。

在本实施例的一些可选的实现方式中，所述神经网络的骨干网采用resnet18。使用残差网络可以提高提取纹理系数的速度和准确性，从而加快纹理基底的训练速度和准确性。

进一步参考图3，其示出了图像处理方法的又一个实施例的流程300。该图像处理方法的流程300，包括以下步骤：

步骤301，获取预定风格的样本集。

在本实施例中，图像处理方法的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从用户利用其进行样本采集的终端接收样本集。执行主体还可从数据库中获取预定风格的样本集。其中样本集中的样本包括样本人脸图像以及与样本人脸图像对应的预定风格的标签图。样本人脸图像可以是不同肤色的图像。标签图为将样本人脸图像经过风格转换后得到的预定风格的风格图，可通过滤镜等图像处理方式进行风格转换。例如，转换成迪斯尼风格、油画风格等风格的标签图。标签图作为训练的监督信号，对纹理基底进行有监督地训练。

步骤302，从样本集中选取预定肤色的样本。

在本实施例中，将样本集中的样本人脸图像按肤色深度排序，按顺序选取预定肤色的样本。针对每种肤色训练对应的纹理基底，每次训练时选择相同肤色的样本。一种肤色的纹理基底训练完成后，可换其它肤色的样本继续训练。

步骤303，通过神经网络从选取的样本的样本人脸图像中提取出纹理系数。

步骤304，将初始的纹理基底和纹理系数进行线性求和，得到纹理图像。

在本实施例中，如果有相同风格的其它肤色的纹理基底，则可以此纹理基底为初始的纹理基底，而不需要使用随机生成的初始的纹理基底。这样可以在先前训练的纹理基底的基础上进行微调，可以加快训练速度。

步骤305，将纹理图像输入可微渲染器，得到渲染图。

步骤306，基于渲染图和选取的样本的标签图之间的差异计算损失值。

步骤303-306与步骤203-205基本相同，因此不再赘述。

步骤307，若损失值小于预定阈值，则将初始的纹理基底确定为所选取的样本的样本人脸图像的肤色对应的纹理基底，更换预定肤色，继续步骤302-308。

在本实施例中，当损失值小于预定阈值，或迭代次数达到预定次数之后，一种肤色的纹理基底训练完成。生成了针对预定肤色的纹理基底。可以需要更换成其它肤色的样本人脸图像，重新执行步骤302-308。此时初始的纹理基底不需要再使用随机生成的，而是使用已生成的其它肤色的纹理基底作为初始的纹理基底，在其它肤色的纹理基底的基础上针对新的肤色的样本人脸图像进行训练。因此，仅需要进行微调，可以加快训练速度。

步骤308，若损失值大于等于预定阈值，则调整初始的纹理基底和神经网络的相关参数，继续步骤303-308。

在本实施例中，采用梯度下降反向传播的方法调整纹理基底和神经网络的相关参数。然后使用更新后的神经网络重新提取纹理系数，将调整后的纹理基底和重新提取的纹理系数进行线性求和，得到更新后的纹理图像。将更新后的纹理图像输入可微渲染器，得到更新后的渲染图。基于更新后的渲染图和选取的样本的标签图之间的差异重新计算损失值。如果损失值仍大于等于预定阈值，则调整初始的纹理基底和神经网络的相关参数，继续执行步骤303-308。否则，将更新后的纹理基底确定为预定肤色对应的纹理基底。

同一风格的所有肤色的纹理基底均训练完成后，可以将样本中的标签图更换成其它风格，继续重复301-308，从而生成不同风格的所有肤色的纹理基底。

从图3中可以看出，与图2对应的实施例相比，本实施例中的图像处理方法的流程300体现了训练不同肤色的纹理基底的步骤。由此，本实施例描述的方案可以得到所有肤色的纹理基底，使得纹理基底能够覆盖住所有人脸的颜色。既提高了纹理基底应用范围，又加快了纹理基底张量的收敛速度。

继续参见图4，图4是根据本实施例的图像处理方法的应用场景的一个示意图。在图4的应用场景中，具体过程如下:

1.从目标人脸图像集中挑选出不同肤色各少量，10张以内即可。可将人脸图像按肤色的平均像素值排序，每次选取平均像素值相近的几张人脸图像。

2.搭建一个端到端的深度学习网络，过拟合训练单一肤色集合的样本，获取对应这一肤色的一个维度的纹理基底。网络骨干网采用resnet18，输出一维纹理系数，和一个预先给定的纹理图像线性求和，得到纹理图像，代入可微渲染器，生成渲染图，与实际人脸计算损失。这是一个完整的前向过程。反向过程的时候同时调节预测纹理系数的网络中神经元权重，以及这纹理图像本身就是个张量(tensor)，可以自我更新数值，最终需要的就是这个tensor，作为对应当前肤色的一个维度的纹理基底。

3.上述方式将全部肤色对应的纹理基底维度都获取，就可以组成一个完整的纹理基底了。

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种图像处理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的图像处理装置500包括：获取单元501和训练单元502。其中，获取单元501，被配置成获取样本集，其中，所述样本集中的样本包括样本人脸图像以及与样本人脸图像对应的标签图；训练单元502，被配置成从所述样本集中选取样本，以及执行以下训练步骤：基于初始的纹理基底将选取的样本的样本人脸图像转换成纹理图像；将所述纹理图像输入可微渲染器，得到渲染图；基于所述渲染图和选取的样本的标签图之间的差异得到所选取的样本的样本人脸图像的肤色对应的纹理基底

在本实施例中，图像处理装置500的获取单元501和训练单元502的具体处理可以参考图2对应实施例中的步骤。

在本实施例的一些可选的实现方式中，训练单元502进一步被配置成：基于所述渲染图和选取的样本的标签图之间的差异计算损失值；若所述损失值小于预定阈值，则将所述初始的纹理基底确定为所选取的样本的样本人脸图像的肤色对应的纹理基底。

在本实施例的一些可选的实现方式中，训练单元502进一步被配置成：基于所述渲染图和选取的样本的标签图之间的差异计算损失值；若所述损失值大于等于预定阈值，则调整所述初始的纹理基底的相关参数，继续执行上述训练步骤。

在本实施例的一些可选的实现方式中，训练单元502进一步被配置成：通过神经网络从选取的样本的样本人脸图像中提取出纹理系数；将初始的纹理基底和所述纹理系数进行线性求和，得到纹理图像。

在本实施例的一些可选的实现方式中，样本集中的样本包括不同肤色的样本人脸图像；以及所述训练单元进一步被配置成：从所述样本集中选取相同肤色的至少一个样本。

在本实施例的一些可选的实现方式中，标签图为样本人脸图像通过生成式对抗网络生成的目标风格图。

在本实施例的一些可选的实现方式中，损失值为L1损失值。

在本实施例的一些可选的实现方式中，神经网络的骨干网采用resnet18。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行流程200或300所述的方法。

一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行流程200或300所述的方法。

一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现流程200或300所述的方法。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种图像处理方法，包括：

获取样本集，其中，所述样本集中的样本包括样本人脸图像以及与样本人脸图像对应的标签图；

从所述样本集中选取样本，以及执行以下训练步骤：基于初始的纹理基底将选取的样本的样本人脸图像转换成纹理图像；将所述纹理图像输入可微渲染器，得到渲染图；基于所述渲染图和选取的样本的标签图之间的差异得到所选取的样本的样本人脸图像的肤色对应的纹理基底。

2.根据权利要求1所述的方法，其中，所述基于所述渲染图和选取的样本的标签图之间的差异得到所选取的样本的样本人脸图像的肤色对应的纹理基底，包括：

基于所述渲染图和选取的样本的标签图之间的差异计算损失值；

若所述损失值小于预定阈值，则将所述初始的纹理基底确定为所选取的样本的样本人脸图像的肤色对应的纹理基底。

3.根据权利要求1所述的方法，其中，所述基于所述渲染图和选取的样本的标签图之间的差异得到所选取的样本的样本人脸图像的肤色对应的纹理基底，包括：

基于所述渲染图和选取的样本的标签图之间的差异计算损失值；

若所述损失值大于等于预定阈值，则调整所述初始的纹理基底的相关参数，继续执行上述训练步骤。

4.根据权利要求1所述的方法，其中，所述基于初始的纹理基底将选取的样本的样本人脸图像转换成纹理图像，包括：

通过神经网络从选取的样本的样本人脸图像中提取出纹理系数；

将初始的纹理基底和所述纹理系数进行线性求和，得到纹理图像。

5.根据权利要求1所述的方法，其中，所述样本集中的样本包括不同肤色的样本人脸图像；以及

所述从所述样本集中选取样本，包括：

从所述样本集中选取相同肤色的至少一个样本。

6.根据权利要求1所述的方法，其中，所述标签图为样本人脸图像通过生成式对抗网络生成的目标风格图。

7.一种图像处理装置，包括：

获取单元，被配置成获取样本集，其中，所述样本集中的样本包括样本人脸图像以及与样本人脸图像对应的标签图；

训练单元，被配置成从所述样本集中选取样本，以及执行以下训练步骤：基于初始的纹理基底将选取的样本的样本人脸图像转换成纹理图像；将所述纹理图像输入可微渲染器，得到渲染图；基于所述渲染图和选取的样本的标签图之间的差异得到所选取的样本的样本人脸图像的肤色对应的纹理基底。

8.根据权利要求7所述的装置，其中，所述训练单元进一步被配置成：

基于所述渲染图和选取的样本的标签图之间的差异计算损失值；

若所述损失值小于预定阈值，则将所述初始的纹理基底确定为所选取的样本的样本人脸图像的肤色对应的纹理基底。

9.根据权利要求7所述的装置，其中，所述训练单元进一步被配置成：

基于所述渲染图和选取的样本的标签图之间的差异计算损失值；

若所述损失值大于等于预定阈值，则调整所述初始的纹理基底的相关参数，继续执行上述训练步骤。

10.根据权利要求7所述的装置，其中，所述训练单元进一步被配置成：

通过神经网络从选取的样本的样本人脸图像中提取出纹理系数；

将初始的纹理基底和所述纹理系数进行线性求和，得到纹理图像。

11.根据权利要求7所述的装置，其中，所述样本集中的样本包括不同肤色的样本人脸图像；以及

所述训练单元进一步被配置成：

从所述样本集中选取相同肤色的至少一个样本。

12.根据权利要求7所述的装置，其中，所述标签图为样本人脸图像通过生成式对抗网络生成的目标风格图。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images