CN113592970A

CN113592970A - 毛发造型的生成方法及装置、电子设备、存储介质

Info

Publication number: CN113592970A
Application number: CN202110860628.9A
Authority: CN
Inventors: 宋新慧; 郑彦波; 袁燚; 范长杰
Original assignee: Netease Hangzhou Network Co Ltd
Current assignee: Netease Hangzhou Network Co Ltd
Priority date: 2021-07-28
Filing date: 2021-07-28
Publication date: 2021-11-02
Anticipated expiration: 2041-07-28
Also published as: CN113592970B

Abstract

本申请提供一种毛发造型的生成方法及装置、电子设备、计算机可读存储介质，该方法还包括：将人脸图像和毛发参考图像输入预设的笔画模型，获得所述人脸图像对应的第一笔画图和所述毛发参考图像对应的第二笔画图；将所述第二笔画图的毛发造型参数迁移至所述第一笔画图后，对第一笔画图渲染得到合成笔画图；将所述合成笔画图输入已训练的图像平滑网络，获得所述合成笔画图对应的平滑图像；其中，所述平滑图像包括所述人脸图像中的人脸和所述毛发参考图像中的毛发造型。本申请方案，通过迁移毛发造型参数可以保持毛发造型的结构，从而生成毛发造型结构合理的图像。

Description

毛发造型的生成方法及装置、电子设备、存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种毛发造型的生成方法及装置、电子设备、计算机可读存储介质。

背景技术

毛发是人物的主要特征，对于人的形象非常重要。在计算机视觉和计算机图形学领域，头发编辑是一个重要的课题。由于头发的自由性、不规则性和多变性等特性，图像中头发编辑的难度相比人脸、身体来说要大得多。

参见图1，为相关技术中多输入条件头发图像生成方法(MichiGAN)的框架示意图，如图1所示，该方法解耦了头发图像为头发形状、头发结构、头发纹理和背景四部分，每部分通过一个对应的条件模块来处理，这些条件模块与骨干生成器集成在一起，形成最终的端到端的网络。

然而，多输入条件头发图像生成方法所生成的图像中头发结构通常不合理，且图像不够清晰。

发明内容

本申请实施例的目的在于提供一种毛发造型的生成方法及装置、电子设备、计算机可读存储介质，用于生成发型结构合理的图像。

一方面，本申请提供了一种毛发造型的生成方法，包括：

将人脸图像和毛发参考图像输入预设的笔画模型，获得所述人脸图像对应的第一笔画图和所述毛发参考图像对应的第二笔画图；

将所述第二笔画图的毛发造型参数迁移至所述第一笔画图后，对所述第一笔画图渲染得到合成笔画图；

将所述合成笔画图输入已训练的图像平滑网络，获得所述合成笔画图对应的平滑图像；其中，所述平滑图像包括所述人脸图像中的人脸和所述毛发参考图像中的毛发造型。

在一实施例中，所述将所述第二笔画图的毛发造型参数迁移至所述第一笔画图后，对所述第一笔画图渲染得到合成笔画图，包括：

基于所述毛发参考图像的毛发区域，从所述第二笔画图确定所述毛发区域的多个毛发笔画的毛发造型参数；

将所述多个毛发笔画的毛发造型参数迁移至所述第一笔画图中所述毛发区域对应的目标区域，获得所述合成笔画图。

在一实施例中，在所述将所述合成笔画图输入已训练的图像平滑网络之前，所述方法还包括：

响应于针对所述合成笔画图中所述毛发造型参数的编辑指令，对所述毛发造型参数进行调整，并依据调整后的毛发造型参数渲染出合成笔画图。

在一实施例中，所述图像平滑网络通过如下方式训练得到：

将样本数据集中的样本笔画图输入对偶回归网络的主网络，获得所述主网络输出的预测平滑图像；其中，所述样本笔画图携带标签平滑图像；

将所述预测平滑图像输入所述对偶回归网络的对偶网络，获得所述对偶网络输出的预测笔画图；

在生成对抗机制下以判别器对所述预测平滑图像和所述标签平滑图像的真伪进行判别，并依据判别结果获得对抗损失；

依据所述预测平滑图像和所述标签平滑图像之前的差异、所述预测笔画图和所述样本笔画图之间的差异、所述对抗损失，对所述对偶回归网络的网络参数进行调整；

重复上述过程，直至所述对偶回归网络收敛，将所述对偶回归网络中的主网络作为所述图像平滑网络。

在一实施例中，在获得所述平滑图像之后，所述方法还包括：

基于所述平滑图像与预设的人像生成网络输出的预测人像图计算损失参数，并依据所述损失参数对所述人像生成网络的输入参数进行更新；

将经过更新的输入参数输入所述人像生成网络，使得所述人像生成网络输出所述人脸图像对应的预测人像图；其中，所述预测人像图包括所述人脸图像中的人脸和所述毛发参考图像中的毛发造型。

在一实施例中，所述基于所述平滑图像与预设的人像生成网络输出的预测人像图计算损失参数，包括：

依据预设的感知网络模型分别提取所述平滑图像的第一图像特征和所述预测人像图的第二图像特征，并依据所述第一图像特征和所述第二图像特征计算感知子损失参数；

依据预设的人脸识别模型分别提取所述平滑图像的第三图像特征和所述预测人像图的第四图像特征，并依据所述第三图像特征和所述第四图像特征计算身份子损失参数；

确定所述平滑图像的第一毛发方向图和所述预测人像图的第二毛发方向图，并依据所述第一毛发方向图和所述第二毛发方向图计算毛发方向子损失参数；

基于所述感知子损失参数、所述身份子损失参数和所述毛发方向子损失参数，确定所述损失参数。

在一实施例中，所述确定所述平滑图像的第一毛发方向图和所述预测人像图的第二毛发方向图，包括：

依据方向滤波器分别对所述平滑图像和所述预测人像图进行处理，获得所述平滑图像对应的第一三角方向图和所述预测人像图对应的第二三角方向图；

将所述第一三角方向图转换为所述第一毛发方向图，并将所述第二三角方向图转换为所述第二毛发方向图。

另一方面，本申请还提供了一种毛发造型的生成装置，包括：

计算模块，用于将人脸图像和毛发参考图像输入预设的笔画模型，获得所述人脸图像对应的第一笔画图和所述毛发参考图像对应的第二笔画图；

迁移模块，用于将所述第二笔画图的毛发造型参数迁移至所述第一笔画图后，对所述第一笔画图渲染得到合成笔画图；

生成模块，用于将所述合成笔画图输入已训练的图像平滑网络，获得所述合成笔画图对应的平滑图像；其中，所述平滑图像包括所述人脸图像中的人脸和所述毛发参考图像中的毛发造型。

进一步的，本申请还提供了一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述毛发造型的生成方法。

另外，本申请还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述毛发造型的生成方法。

本申请方案，将人脸图像和毛发参考图像转化为笔画图后，可以确定毛发参考图像中毛发笔画对应的毛发造型参数，将迁移毛发造型参数将毛发参考图中的毛发造型迁移至人脸图像对应的笔画图，在对合成笔画图进行平滑处理后，可以得到近似照片的平滑图像；通过迁移毛发造型参数可以保持毛发造型的结构，从而生成毛发造型结构合理的图像。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。

图1为相关技术中多输入条件头发图像生成方法的框架示意图；

图2为本申请一实施例提供的毛发造型的生成方法的应用场景示意图；

图3为本申请一实施例提供的电子设备的结构示意图；

图4为本申请一实施例提供的毛发造型的生成方法的流程示意图；

图5为本申请一实施例提供的生成笔画图的示意图；

图6为本申请一实施例提供的生成平滑图像的示意图；

图7为本申请一实施例提供的毛发编辑的示意图；

图8为本申请一实施例提供的图像平滑网络的训练流程示意图；

图9为本申请一实施例提供的预测人像图的生成方法的流程示意图；

图10为本申请一实施例提供的损失参数的计算方法的流程示意图；

图11为本申请一实施例提供的毛发造型的生成方法的架构示意图；

图12为本申请一实施例提供的毛发造型的生成方法的效果示意图；

图13为本申请一实施例提供的毛发造型的生成装置的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图2为本申请实施例提供的毛发造型的生成方法的应用场景示意图。如图2所示，该应用场景包括客户端20和服务端30；客户端20可以是主机、手机、平板电脑等用户终端，用于向服务端30发送待编辑的人脸图像和毛发参考图像；服务端30可以是服务器、服务器集群或云计算中心，可以基于毛发参考图像对人脸图像进行编辑，从而生成包含毛发参考图像中毛发造型和人脸图像中人脸的图像。

如图3所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图2中以一个处理器11为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备1可以是上述服务端30，用于执行毛发造型的生成方法。

存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

本申请还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器11执行以完成本申请提供的毛发造型的生成方法。

参见图4，为本申请一实施例提供的毛发造型的生成方法的流程示意图，如图4所示，该方法可以包括以下步骤410-步骤430。

步骤410：将人脸图像和毛发参考图像输入预设的笔画模型，获得人脸图像对应的第一笔画图和毛发参考图像对应的第二笔画图。

其中，人脸图像是包含人脸的图像，人脸图像中的人脸需接受毛发造型生成。毛发造型可以是头发造型、胡子造型中的一种或两种的组合。

毛发参考图像是用于提供供参考的毛发造型的图像；毛发参考图像中人脸的角度与人脸图像中人脸角度应该基本一致，比如，毛发参考图像和人脸图像中的人脸均为正脸或均为侧脸。

笔画模型可以是经过训练的image-to-stroke module，可以将图像转换为笔画图(stroke painting)。笔画模型在生成笔画图的过程，是将与输入图像宽度和高度相同的空白画布划分为多个块，并在每个块中填入多个笔画，每个块中的笔画数量逐渐增加，通过迭代使得渲染出的笔画图与输入图像越来越接近。参见图5，为本申请一实施例提供的生成笔画图的示意图，如图5所示，图像输入笔画模型后可以输出对应的笔画图，笔画图近似油画，由多个笔画叠加而成，具体的，笔画图是用带有宽度和颜色的二次贝塞曲线渲染的叠加笔画构成的图。

每一个笔画可以视作具有宽度信息、颜色信息的二次贝塞尔曲线，每个笔画可以通过三个控制点(P0、P1、P2)在以空白画布建立的图像坐标系中的坐标位置、宽度信息(W)和颜色信息(R、G、B、A)来表示。因此，一个笔画的笔画参数可以是11维的向量。

如果将空白画布平均划分为5*5个块，每个块中填入12个笔画，可以得到一组参数向量S∈R^25×12×11来表示图像，这些参数向量可以渲染成笔画图。

服务端将人脸图像输入笔画模型后，可以得到基于人脸图像确定的一组笔画参数，并可以依据笔画参数渲染出第一笔画图。服务端将毛发参考图像输入笔画模型后，可以得到基于毛发参考图像确定的一组笔画参数，并可以依据笔画参数渲染出第二笔画图。

步骤420：将第二笔画图的毛发造型参数迁移至第一笔画图后，对第一笔画图渲染得到合成笔画图。

服务端可以从第二笔画图的笔画参数中选择毛发对应的毛发造型参数，并将毛发造型参数迁移至第一笔画图。服务端可以对经过毛发造型参数迁移的第一笔画图进行渲染，换而言之，依据第二笔画图的毛发造型参数和第一笔画图中其它笔画参数进行渲染，得到合成笔画图。

步骤430：将合成笔画图输入已训练的图像平滑网络，获得合成笔画图对应的平滑图像；其中，平滑图像包括人脸图像中的人脸和毛发参考图像中的毛发造型。

图像平滑网络可由图像生成器训练得到，用于对笔画图进行平滑处理，从而得到显示效果更近似照片的图像。参见图6，为本申请一实施例提供的生成平滑图像的示意图，如图6所示，笔画图输入图像平滑网络后，可以由图像平滑网络输出对应的平滑图像。由于合成笔画图中毛发造型是毛发参考图像中的毛发造型，经过平滑处理后，可以得到包含毛发参考图像中毛发造型和人脸图像中人脸的平滑图像，实现了毛发造型的迁移。

通过上述措施，可以将人脸图像和毛发参考图像转化为笔画图后，通过迁移毛发造型参数将毛发参考图中的毛发造型迁移至人脸图像对应的笔画图，在对合成笔画图进行平滑处理后，可以得到近似照片的平滑图像；通过迁移毛发造型参数可以保持毛发造型的结构，从而生成毛发造型结构合理的图像。

在一实施例中，服务端在将第二笔画图的毛发造型参数迁移至第一笔画图的过程中，可以基于毛发参考图像的毛发区域，从第二笔画图确定毛发区域的多个毛发笔画的毛发造型参数。其中，毛发参考图像的毛发区域可通过预先标注的毛发区域掩膜来限定，该毛发区域掩膜可以是与毛发参考图像具有相同宽度和高度的二值图，二值图中像素与毛发参考图像中像素一一对应，二值图中像素值为1的像素在毛发参考图像中对应像素属于毛发区域，二值图中像素值为0的像素在毛发参考图像中对应像素不属于毛发区域。

服务端可以将第二笔画图中毛发区域的多个毛发笔画的毛发造型参数迁移至第一笔画图中毛发区域对应的目标区域，获得合成笔画图。这里，目标区域可以基于毛发参考图像的毛发区域掩膜来限定，由于毛发参考图像中人脸角度与人脸图像中人脸角度基本一致，相应的，毛发参考图像中毛发位置与人脸图像中毛发位置也基本一致，因此，毛发参考图像的毛发区域掩膜可以限定第一笔画图中迁移毛发造型参数的目标区域。

在将毛发造型参数迁移至第一笔画图的目标区域后，服务端可以依据毛发造型参数以及第一笔画图目标区域外的笔画参数，渲染出合成笔画图。

人脸图像可以预先标注毛发区域掩膜。服务端可以比对人脸图像的毛发区域掩膜和毛发参考图像的毛发区域掩膜，判断从毛发参考图像迁移至人脸图像的毛发造型参数是否能完全覆盖人脸图像中原本的毛发造型参数。当人脸图像中毛发区域大于毛发参考图像中的毛发区域时，换言之迁移至人脸图像的毛发造型参数无法完全覆盖人脸图像中原本的毛发造型参数时，服务端可以将无法覆盖的区域以黑色补全。从而避免人脸图像中原始毛发造型参数对后续生成毛发造型产生干扰。

在一实施例中，在迁移毛发造型参数后，为获得更理想的合成笔画图，可以提供毛发造型参数的编辑页面，用于人工调整毛发造型参数。用户可以在编辑页面上选择任一毛发笔画，并对毛发笔画的毛发造型参数中控制点位置、宽度信息或颜色信息中的一种或多种进行调整。调整过程中，可以产生相应的编辑指令，服务端可以接收编辑指令，并响应于针对合成笔画图中毛发造型参数的编辑指令，对毛发造型参数进行调整。服务端可以依据调整后的毛发造型参数渲染出合成笔画图，并在编辑页面上输出展示经过调整的合成笔画图。

当用户停止调整毛发造型参数后，服务端可以确定此时渲染出的合成笔画图可用于输入图像平滑网络。

参见图7，为本申请一实施例提供的毛发编辑的示意图，如图7所示，图像A为人脸图像，输入笔画模型后，得到的图像a为对应的笔画图。图像b、图像c、图像d、图像e为响应于不同编辑指令而调整毛发造型参数后的笔画图，图像B、图像C、图像D、图像E为各笔画图输入图像平滑网络后输出的毛发造型不同的平滑图像。

笔画图中毛发造型参数经不同的编辑指令调整后，可以呈现不同的毛发造型，最终通过图像平滑网络输出毛发造型不同的平滑图像。

通过上述措施，可以响应于编辑指令，对迁移之后与人脸不协调的毛发笔画进行调整，使得合成笔画图中毛发造型与人脸更为协调，从而使得后续通过图像平滑网络输出的平滑图像可以呈现更好的毛发迁移效果。

在一实施例中，参见图8，为本申请一实施例提供的图像平滑网络的训练流程示意图，如图8所示，服务端可以通过如下步骤425-步骤429。

步骤425：将样本数据集中的样本笔画图输入对偶回归网络的主网络，获得主网络输出的预测平滑图像；其中，样本笔画图携带标签平滑图像。

样本图像集包含大量样本笔画图。每一样本笔画图均携带标签平滑图像，样本笔画图可以由笔画模型基于标签平滑图像处理得到。

对偶回归网络可以包括主网络和对偶网络，主网络和对偶网络都可以是图像生成器，主网络用于生成平滑图像，对偶网络用于生成笔画图。

服务端可以将样本笔画图输入主网络，从而获得主网络输出的预测平滑图像。

步骤426：将预测平滑图像输入对偶回归网络的对偶网络，获得对偶网络输出的预测笔画图。

在获得样本笔画图对应的预测平滑图像之后，服务端可以将预测平滑图像输入对偶网络，从而得到预测平滑图像对应的预测笔画图。

步骤427：在生成对抗机制下以判别器对预测平滑图像和标签平滑图像的真伪进行判别，并依据判别结果获得对抗损失。

为提升对偶回归网络生成图像的准确性，可以在生成对抗机制下训练对偶回归网络。服务端可以基于样本笔画图、样本笔画图对应的预测平滑图像、样本笔画图对应的标签平滑图像，构建样本笔画图-预测平滑图像对、以及样本笔画图-标签平滑图像对，并为预测平滑图像和标签平滑图像分别添加真伪标签后，输入预设判别器，通过判别器分别对预测平滑图像和标签平滑图像进步真伪判别，获得对应于预测平滑图像的判别结果和对应于标签平滑图像的判别结果。服务端可以基于判别结果和真伪标签的差异确定对抗损失。在交替训练判别器和作为生成器的对偶回归网络的过程中，训练判别器时预测平滑图像的真伪标签为假，训练对偶回归网络时预测平滑图像的真伪标签为真。

步骤428：依据预测平滑图像和标签平滑图像之前的差异、预测笔画图和样本笔画图之间的差异、对抗损失，对对偶回归网络的网络参数进行调整。

步骤429：重复上述过程，直至对偶回归网络收敛，将对偶回归网络中的主网络作为图像平滑网络。

服务端还可以依据预测平滑图像与标签平滑图像之间的差异、预测笔画图和样本笔画图之间的差异，调整对偶回归网络的网络参数。训练过程中，损失函数可通过如下公式(1)来表示：

其中，N表示训练过程中样本笔画图的数量；xi表示样本笔画图；yi表示标签平滑图像；P表示主网络将样本笔画图计算出预测平滑图像的过程；D表示对偶网络将预测平滑图像计算出预测笔画图的过程；

表示总的损失函数；

表示针对预测平滑图像与标签平滑图像之间差异的损失函数；

表示针对样本笔画图和预测笔画图之间差异的损失函数；

表示对抗损失；α和β分别表示预设权重系数。

在计算出损失函数的函数值之后，可以调整对偶回归网络的网络参数，经过反复迭代，当迭代次数达到预设数量阈值时，可以认为对偶回归网络收敛，此时，可以将对偶回归网络中的主网络作为图像平滑网络。

在一实施例中，参见图9，为本申请一实施例提供的预测人像图的生成方法的流程示意图，如图9所示，在获得平滑图像之后，服务端可以执行如下步骤440-步骤450。

步骤440：基于平滑图像与预设的人像生成网络输出的预测人像图计算损失参数，并依据损失参数对人像生成网络的输入参数进行更新。

其中，人像生成网络可以通过图像生成器训练得到，用于基于输入参数生成预测人像图。示例性的，人像生成网络可以是预训练的StyleGAN、StyleGAN2等。输入参数可以包括隐向量和噪音向量。

在初始情况下，输入参数可以随机生成。服务端将输入参数输入至人像生成网络，获得人像生成网络输出的预测人像图。服务端可以基于平滑图像与预测人像图之间的差异计算损失参数，并依据损失参数调整输入参数。

其中，在依据平滑图像与预测人像图计算损失参数时，若预测人像图与平滑图像的尺度不同，服务端可以将预测人像图通过下采样或上采样的方式调整至与平滑图像相同尺度。

在更新输入参数后，服务端可以将输入参数重新输入至人像生成网络，通过人像生成网络输出新的预测人像图。服务端可以重新基于预测人像图和平滑图像的差异计算损失参数，并依据损失参数调整输入参数。

服务端可以重复上述过程，直至迭代次数达到预设迭代次数阈值(示例性的，迭代次数阈值可以是100)。

步骤450：将经过更新的输入参数输入人像生成网络，使得人像生成网络输出人脸图像对应的预测人像图；其中，预测人像图包括人脸图像中的人脸和毛发参考图像中的毛发造型。

在迭代次数达到迭代次数阈值之后，服务端可以将经过迭代更新的输入参数输入人像生成网络，获得人像生成网络输出的预测人像图。由于输入参数经过反复迭代，此时预测人像图与平滑图像非常近似，而且清晰度远大于平滑图像。通过上述措施，可以通过人像生成网络生成高清晰的预测人像图，且预测人像图中包含人脸图像中的人脸和毛发参考图像中的毛发造型，相当于对平滑图像进行清晰化处理，从而得到高清晰且毛发造型合理的图像。

在一实施例中，参见图10，为本申请一实施例提供的损失参数的计算方法的流程示意图，如图10所示，在基于平滑图像和预测人像图计算损失参数时，可以执行如下步骤441-步骤444。

步骤441：依据预设的感知网络模型分别提取平滑图像的第一图像特征和预测人像图的第二图像特征，并依据第一图像特征和第二图像特征计算感知子损失参数。

其中，感知网络模型可以是VGG19(Visual Geometry Group Network 19)。第一图像特征是感知网络模型从平滑图像提取的图像特征；第二图像特征是感知网络模型从预测人像图提取的图像特征。计算感知子损失参数的损失函数可通过如下公式(2)来表示：

这里，z为输入参数中的隐向量，n为输入参数中的噪音向量；G表示人脸生成网络；DS表示针对预测人像图的上采样或下采样操作，使得预测人像图与平滑图像相同尺度；I_SI表示平滑图像。

步骤442：依据预设的人脸识别模型分别提取平滑图像的第三图像特征和预测人像图的第四图像特征，并依据第三图像特征和第四图像特征计算身份子损失参数。

其中，人脸识别模型可以是Light CNN-29。第三图像特征是人脸识别模型从平滑图像提取的图像特征；第四图像特征是人脸识别模型从预测人像图提取的图像特征。计算身份子损失参数的损失函数可通过如下公式(3)来表示：

这里，I_SR表示预测人像图；F_reg表示人脸识别模型；I_SI表示平滑图像。

步骤443：确定平滑图像的第一毛发方向图和预测人像图的第二毛发方向图，并依据第一毛发方向图和第二毛发方向图计算毛发方向子损失参数。

其中，图像的毛发方向图与图像尺度相同，毛发方向图的像素与图像的像素一一对应，毛发方向图内像素的像素值表示图像内同位置像素的方向信息。

服务端可以分别确定平滑图像的第一毛发方向图，以及预测人像图的第二毛发方向图，并基于第一毛发方向图和第二毛发方向图计算毛发方向子损失参数。计算毛发方向子损失参数的损失函数可以通过如下公式(4)来表示：

这里，A表示毛发区域掩膜；O(I_SI)表示第一毛发方向图；O(DS(I_SR))表示第二毛发方向图。

步骤444：基于感知子损失参数、身份子损失参数和方向子损失参数，确定损失参数。

服务端可以依据预设权重系数对感知子损失参数、身份子损失参数和方向子损失参数加权求和，从而获得损失参数。

在一实施例中，服务端在确定图像的毛发方向图时，可以依据方向滤波器(Gaborfilter)分别对平滑图像和预测人像图进行处理，获得平滑图像对应的第一三角方向图(orientation map)和预测人像图对应的第二三角方向图。

其中，图像中位置p的三角方向可通过如下公式(5)来表示：

这里，

表示卷积操作；I表示被用于计算三角方向图的图像；θ∈[0，π)；t_p’表示位置p的三角方向；K_Θ是一组(32个)方向滤波器。

在针对图像中每个像素计算三角方向之后，可以获得三角方向图，之后，服务端可以将第一三角方向图转换为第一毛发方向图，并将第二三角方向图转换为第二毛发方向图。

服务端可以通过如下公式(6)将三角方向图中每一位置的三角方向转换为两个数值，从而获得两通道的方向图：

O′_p＝[cos(2·t′_p),sin(2·t′_p)] (6)

这里，O_p’表示两通道方向图上位置p处的两个数值；t_p’表示位置p的三角方向。

服务端可以通过如下公式(7)将两通道的方向图中同一位置的两个数值进行处理，从而得到一通道的毛发方向图：

o′_p＝arc tan(O′_p)/2 (7)

这里，o_p’表示一通道方向图上位置p处的数值；O_p’表示两通道方向图上位置p处的两个数值。

通过上述措施，服务端可以计算出平滑图像的第一毛发方向图和预测人像图的第二毛发方向图。

在一实施例中，参见图11，为本申请一实施例提供的毛发造型的生成方法的架构示意图，如图11所示，服务端可以将人脸图像和毛发参考图像分别输入笔画模型，获得人脸图像对应的第一笔画图、毛发参考图像对应的第二笔画图。服务端可以将第二笔画图的毛发造型参数迁移至第一笔画图，渲染出合成笔画图。服务端可以响应于针对毛发造型参数的编辑指令，对合成笔画图中的毛发造型参数进行调整。服务端将经过调整的合成笔画图输入图像平滑网络，得到平滑图像。

服务端可以将随机生成的输入参数(隐向量z、噪音向量n)输入人像生成网络(styleGAN2)，获得预测人像图，将预测人像图下采样至与平滑图像相同尺度后，通过感知网络模型、人脸识别模型、头发方向提取的方式计算预测人像图与平滑图像之间的损失参数。这里，从隐向量z和噪音向量n输入人像生成网络、下采样、计算损失参数的过程就是前向传播的过程。

在计算出损失参数之后，通过计算损失参数的各模型、下采样层、人像生成网络至隐向量z和噪音向量n反馈误差的过程，就是反向传播。通过反向传播可以对输入参数进行更新。

经过多次迭代更新后，当迭代次数达到迭代次数阈值后，可以得到与平滑图像足够近似的预测人像图。

在一实施例中，参见图12，为本申请一实施例提供的毛发造型的生成方法的效果示意图，如图12所示，通过本申请方案，人脸图像在借助不同毛发参考图像的毛发造型时，可以生成不同的预测人像图，且预测人像图中毛发造型合理，图像清晰。

图13是本发明一实施例的一种毛发造型的生成装置，如图13所示，该装置可以包括：

计算模块510，用于将人脸图像和毛发参考图像输入预设的笔画模型，获得所述人脸图像对应的第一笔画图和所述毛发参考图像对应的第二笔画图；

迁移模块520，用于将所述第二笔画图的毛发造型参数迁移至所述第一笔画图后，对所述第一笔画图渲染得到合成笔画图；

生成模块530，用于将所述合成笔画图输入已训练的图像平滑网络，获得所述合成笔画图对应的平滑图像；其中，所述平滑图像包括所述人脸图像中的人脸和所述毛发参考图像中的毛发造型。

上述装置中各个模块的功能和作用的实现过程具体详见上述毛发造型的生成方法中对应步骤的实现过程，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims

1.一种毛发造型的生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述第二笔画图的毛发造型参数迁移至所述第一笔画图后，对所述第一笔画图渲染得到合成笔画图，包括：

3.根据权利要求1所述的方法，其特征在于，在所述将所述合成笔画图输入已训练的图像平滑网络之前，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述图像平滑网络通过如下方式训练得到：

5.根据权利要求1所述的方法，其特征在于，在获得所述平滑图像之后，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述基于所述平滑图像与预设的人像生成网络输出的预测人像图计算损失参数，包括：

7.根据权利要求6所述的方法，其特征在于，所述确定所述平滑图像的第一毛发方向图和所述预测人像图的第二毛发方向图，包括：

8.一种毛发造型的生成装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-7任意一项所述的毛发造型的生成方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-7任意一项所述的毛发造型的生成方法。