CN109859295B - 一种特定动漫人脸生成方法、终端设备及存储介质 - Google Patents

Abstract

本发明涉及一种特定动漫人脸生成方法、终端设备及存储介质，在该方法中结合现有的基于卷积神经网络的神经风格迁移技术，实现真实人脸到动漫人脸的颜色像素风格迁移，初步动漫风格化；结合现有的基于生成对抗网络的风格迁移技术，实现初步动漫风格化的真实人脸到特定动漫人脸的域风格迁移，得到特定动漫人物的动漫化真人人脸图像。本发明既能够提取颜色特征、又能够保持面部结构特征，减少面部变形；并且可以针对特定动漫人物，生成需要的图像。

Description

一种特定动漫人脸生成方法、终端设备及存储介质

技术领域

本发明涉及动漫图像生成技术领域，尤其涉及一种特定动漫人脸生成方法、终端设备及存储介质。

背景技术

动漫作为一项休闲和爱好活动，陪伴了大批青少年的成长。动漫因其故事丰富性、画面细腻度、人物饱满性，一直深受大家的喜爱。名侦探柯南、海贼王、神奇宝贝等等经典动漫更是有很高的知名度和传播度。因此出现需求：很多人有意愿将自己的真人人脸图像进行动漫化，创作出动漫化的真人人脸图像，甚至是特定动漫人物的动漫化真人人脸图像。

但现况是：由漫画作家进行真人人脸动漫化创作费时又费力，而且目前还没有可以将真人人脸图像直接转变为特定动漫人物人脸的技术。

现有基础技术包括两种：2014年卷积神经网络(Convolutional NeuralNetworks)得到快速发展，随之出现神经风格迁移(Neural Style Transfer)技术，该技术能够实现单独抽取两张图像的内容、风格，重组之后可以得到同时融合图像A内容、图像B风格的新图像C。现有的基于卷积神经网络的神经风格迁移技术，虽然可以实现真实人脸到动漫人脸的颜色像素风格的单一迁移，但在捕捉动漫人脸的夸张化风格上存在很大困难，因此会导致面部变形，无法有效实现真实人脸的动漫化。

2015年生成对抗网络(Generative Adversarial Networks，GAN)强势崛起，次年诞生的cycleGAN技术(出自论文《Unsupervised Cross-Domain Image Generation》，即不成对跨领域图像生成技术)能够实现在两个不同领域的图像之间进行转换，生成新图像。现有的基于生成对抗网络的风格迁移技术，虽然可以通过随机噪声生成动漫人脸，但没有结合真实人脸来生成，也不能针对生成特定动漫人物；虽然已经能够将真实场景生成动漫化场景，但应用于人脸上会导致面部变形等问题，无法准确生成真实人脸的动漫化图像。

在此基础上，又延伸发展出很多新的技术，实现照片素描化、照片动漫风格化、漫画头像风格迁移等等，但都存在各自的缺点，无法实现特定动漫人物的动漫化真人人脸图像。

发明内容

针对上述问题，本发明旨在提供一种特定动漫人脸生成方法、终端设备及存储介质，既能够提取颜色特征、又能够保持面部结构特征，减少面部变形，并且可以针对特定动漫人物，生成需要的图像。

具体方案如下：

一种特定动漫人脸生成方法，包括：

模型训练阶段：

S110：采集多个真人人脸图像，组成真人人脸数据集，采集多个动漫人脸图像，组成动漫人脸数据集；

S120：将真人人脸数据集中的每个真人人脸数据均进行第一次图像膨胀处理，使真人人脸数据对应的人脸的大小与动漫人脸数据对应的人脸的大小相匹配；

S130：以第一次图像膨胀处理后的真人人脸数据集作为内容图像，以采集的动漫人脸数据集作为风格图像，通过神经风格迁移模型，输出初步动漫化的真人人脸数据集；

S140：将初步动漫化的真人人脸数据集进行第二次图像膨胀处理，使真人人脸数据对应的五官的大小与动漫人脸数据对应的五官的大小相匹配；

S150：采集具有特定名字的动漫角色的多个人脸数据组成特定动漫人脸数据集；

S160：以第二次图像膨胀处理后的真人人脸数据集作为第一输入，以特定动漫人脸数据集作为第二输入，通过CycleGAN模型进行从第一输入向第二输入的转换的训练，得出训练后的特定动漫CycleGAN模型；

特定动漫生成阶段：将真人人脸图像转换为特定名字的动漫人脸图像；

S210：根据真人人脸图像采集真人人脸数据，根据特定名字的动漫人脸图像采集特定动漫人脸数据；

S220：将真人人脸数据进行第一次图像膨胀处理；

S230：以第一次图像膨胀处理后的真人人脸数据作为内容图像，以特定动漫人脸数据作为风格图像，通过神经风格迁移模型，输出初步动漫化的真人人脸数据；

S240：将初步动漫化的真人人脸数据进行第二次图像膨胀处理；

S250：以第二次图像膨胀处理后的真人人脸数据作为第一输入，以特定动漫人脸数据作为第二输入，通过训练后的特定动漫CycleGAN模型输出第一输入向第二输入的转换的特定动漫人脸图像。

进一步的，步骤S110中根据人脸关键点标注信息，自动检测真人人脸图像或动漫人脸图像中的关键点，组成真人人脸数据或动漫人脸数据。

进一步的，步骤S110中还包括将采集的真人人脸图像和动漫人脸图像裁剪为大小相等的图像。

进一步的，步骤S110中对采集的真人人脸图像和/或动漫人脸图像采用旋转、对称、模糊化、改变对比度或亮度多种处理方式中的一种方式进行处理，增加真人人脸图像和/或动漫人脸图像的数量。

进一步的，特定动漫生成阶段还包括：

S260：在特定动漫人脸图像中增加动漫风格的背景。

一种特定动漫人脸生成终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。

本发明采用如上技术方案，并具有有益效果：

1、能够结合真实人脸和动漫人脸，生成新的真人动漫化人脸图像。

2、既能够提取颜色特征、又能够保持面部结构特征，减少面部变形。

3、可以针对特定动漫人物，生成需要的图像。

附图说明

图1所示为本发明实施例一中模型训练阶段的流程示意图。

图2所示为本发明实施例一中特定动漫生成阶段的流程示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

参考图1和2所示，本发明提供了一种特定动漫人脸生成方法，包括以下步骤：

一、模型训练阶段，如图1所示，包括以下步骤：

S110：采集多个真人人脸图像，组成真人人脸数据集，采集多个动漫人脸图像，组成动漫人脸数据集。

该实施例中，真人人脸图像通过CelebA数据集获得，CelebA数据集是香港中文大学的开放数据集，其包含10177个名人身份的202599张图片，并且都做好了特征标记，这对人脸相关的训练是非常好用的数据集。动漫人脸图像的获取通过爬取getchu网站的动漫图像，或使用Danbooru2017提供的动漫图像。本领域技术人员也可以采用其他方式采集真人人脸图像和动漫人脸图像，在此不做限制。

通过采集真人人脸图像和动漫人脸图像，根据人脸关键点标注信息，自动检测真人人脸图像或动漫人脸图像中的关键点，组成真人人脸数据或动漫人脸数据。

为了增加转换的准确性，该实施例中，优选设置所述真人人脸图像和动漫人脸图像的大小相等，该实施例中，将采集的真人人脸图像和动漫人脸图像均裁剪为256*256像素大小的图像。

为了增加真人人脸数据集和/或动漫人脸数据集中的数据量，该实施例中，优选对采集的真人人脸图像和/或动漫人脸图像进行旋转、对称、模糊化、改变对比度或亮度等处理，增加真人人脸图像和/或动漫人脸图像的数量。

需要说明的是，采集的真人人脸图像和动漫人脸图像均为人脸图像，即不包含脖子以下部分的图像，如采集的原始图像包含脖子以下部分，需将原始图像中脖子以下的部分进行裁剪。

S120：将真人人脸数据集中的每个真人人脸数据均进行第一次图像膨胀处理，使真人人脸数据对应的人脸的大小与动漫人脸数据对应的人脸的大小相匹配。

由于真人人脸的大小往往比动漫人脸的大小小，如果不进行第一次图像膨胀处理，直接通过神经风格迁移模型进行风格转换时，由于神经风格迁移模型的风格转换主要是颜色分布和亮度分布的转换，则会由于大小的不匹配，导致面部变形，使转换后的结果不准确。

S130：以第一次图像膨胀处理后的真人人脸数据集作为内容图像，以采集的动漫人脸数据集作为风格图像，通过神经风格迁移模型，输出初步动漫化的真人人脸数据集。

通过神经风格迁移模型的转换，将真人人脸图像向着动漫人脸的方向转换，主要为颜色分布、亮度分布方面更加的接近，但五官如眼睛、嘴巴的大小等细节并不能被很好的转换，因此，需要进行第二次图像膨胀处理。

S140：将初步动漫化的真人人脸数据集进行第二次图像膨胀处理，使真人人脸数据对应的五官的大小与动漫人脸数据对应的五官的大小相匹配。

通过第二次图像膨胀处理，使得真人人脸图像的五官细节与动漫人脸的五官细节也更加的接近，如大眼睛、小嘴巴等等。

S150：采集具有特定名字的动漫角色的多个人脸数据组成特定动漫人脸数据集。

由于本发明需要将真人人脸图像转换为特定名字的动漫人物，而如果只采集一张该特定名字的动漫人物图像时，会出现过拟合等问题，因此，采集具有特定名字的动漫角色的多个人脸数据来进行CycleGAN模型的训练。如采集柯南的多张不同动作表情的图像。

S160：以第二次图像膨胀处理后的真人人脸数据集作为第一输入，以特定动漫人脸数据集作为第二输入，通过CycleGAN模型进行从第一输入向第二输入的转换的训练，得出训练后的特定动漫CycleGAN模型。

以一个真人人脸数据和一个动漫人脸数据为一组，通过多组数据进行多次训练，可以使得训练后的特定动漫CycleGAN模型输出的图像与特定动漫人脸图像具有较高的相似度。

二、特定动漫生成阶段：将真人人脸图像转换为特定名字的动漫人脸图像，如图2所示。

包括以下步骤：

S210：根据真人人脸图像采集真人人脸数据，根据特定名字的动漫人脸图像采集特定动漫人脸数据。

S220：将真人人脸数据进行第一次图像膨胀处理。

S230：以第一次图像膨胀处理后的真人人脸数据作为内容图像，以特定动漫人脸数据作为风格图像，通过神经风格迁移模型，输出初步动漫化的真人人脸数据。

S240：将初步动漫化的真人人脸数据进行第二次图像膨胀处理。

S250：以第二次图像膨胀处理后的真人人脸数据作为第一输入，以特定动漫人脸数据作为第二输入，通过训练后的特定动漫CycleGAN模型输出第一输入向第二输入的转换的特定动漫人脸图像。

为了更好的进行动漫风格的转换，该实施例中，特定动漫生成阶段还包括：

S260：在特定动漫人脸图像中增加动漫风格的背景。

具体为选择动漫风景图像，使用蒙版将动漫风景图像中的前景和背景分开，保留背景信息，将前景替换为新生成的特定动漫人脸图像；对前景、背景的衔接处进行模糊化处理。

本发明实施例一结合现有的基于卷积神经网络的神经风格迁移技术，实现真实人脸到动漫人脸的颜色像素风格迁移，初步动漫风格化；结合现有的基于生成对抗网络的风格迁移技术，实现初步动漫风格化的真实人脸到特定动漫人脸的域风格迁移，得到特定动漫人物的动漫化真人人脸图像。本实施例一既能够提取颜色特征、又能够保持面部结构特征，减少面部变形；并且可以针对特定动漫人物，生成需要的图像。

实施例二：

本发明还提供一种特定动漫人脸生成终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。

进一步地，作为一个可执行方案，所述特定动漫人脸生成终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述特定动漫人脸生成终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述特定动漫人脸生成终端设备的组成结构仅仅是特定动漫人脸生成终端设备的示例，并不构成对特定动漫人脸生成终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述特定动漫人脸生成终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit， ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述特定动漫人脸生成终端设备的控制中心，利用各种接口和线路连接整个特定动漫人脸生成终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述特定动漫人脸生成终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。

所述特定动漫人脸生成终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM， ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory) 以及软件分发介质等。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (7)

1.一种特定动漫人脸生成方法，其特征在于，包括：

模型训练阶段：

S110：采集多个真人人脸图像，组成真人人脸数据集，采集多个动漫人脸图像，组成动漫人脸数据集；

S120：将真人人脸数据集中的每个真人人脸数据均进行第一次图像膨胀处理，使真人人脸数据对应的人脸的大小与动漫人脸数据对应的人脸的大小相匹配；

S130：以第一次图像膨胀处理后的真人人脸数据集作为内容图像，以采集的动漫人脸数据集作为风格图像，通过神经风格迁移模型，输出初步动漫化的真人人脸数据集；

S140：将初步动漫化的真人人脸数据集进行第二次图像膨胀处理，使真人人脸数据对应的五官的大小与动漫人脸数据对应的五官的大小相匹配；

S150：采集具有特定名字的动漫角色的多个人脸数据组成特定动漫人脸数据集；

S160：以第二次图像膨胀处理后的真人人脸数据集作为第一输入，以特定动漫人脸数据集作为第二输入，通过CycleGAN模型进行从第一输入向第二输入的转换的训练，得出训练后的特定动漫CycleGAN模型；

特定动漫生成阶段：将真人人脸图像转换为特定名字的动漫人脸图像；

S210：根据真人人脸图像采集真人人脸数据，根据特定名字的动漫人脸图像采集特定动漫人脸数据；

S220：将真人人脸数据进行第一次图像膨胀处理；

S230：以第一次图像膨胀处理后的真人人脸数据作为内容图像，以特定动漫人脸数据作为风格图像，通过神经风格迁移模型，输出初步动漫化的真人人脸数据；

S240：将初步动漫化的真人人脸数据进行第二次图像膨胀处理；

S250：以第二次图像膨胀处理后的真人人脸数据作为第一输入，以特定动漫人脸数据作为第二输入，通过训练后的特定动漫CycleGAN模型输出第一输入向第二输入的转换的特定动漫人脸图像。

2.根据权利要求1所述的特定动漫人脸生成方法，其特征在于：步骤S110中根据人脸关键点标注信息，自动检测真人人脸图像或动漫人脸图像中的关键点，组成真人人脸数据或动漫人脸数据。

3.根据权利要求1所述的特定动漫人脸生成方法，其特征在于：步骤S110中还包括将采集的真人人脸图像和动漫人脸图像裁剪为大小相等的图像。

4.根据权利要求1所述的特定动漫人脸生成方法，其特征在于：步骤S110中对采集的真人人脸图像和/或动漫人脸图像采用旋转、对称、模糊化、改变对比度或亮度多种处理方式中的一种方式进行处理，增加真人人脸图像和/或动漫人脸图像的数量。

5.根据权利要求1所述的特定动漫人脸生成方法，其特征在于：特定动漫生成阶段还包括：

S260：在特定动漫人脸图像中增加动漫风格的背景。

6.一种特定动漫人脸生成终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～5中任一所述方法的步骤。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～5中任一所述方法的步骤。

Images