CN111508048A - 一种可交互任意形变风格人脸漫画自动生成方法 - Google Patents

一种可交互任意形变风格人脸漫画自动生成方法 Download PDF

Info

Publication number
CN111508048A
CN111508048A CN202010443030.5A CN202010443030A CN111508048A CN 111508048 A CN111508048 A CN 111508048A CN 202010443030 A CN202010443030 A CN 202010443030A CN 111508048 A CN111508048 A CN 111508048A
Authority
CN
China
Prior art keywords
cartoon
photo
deformation
style
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010443030.5A
Other languages
English (en)
Other versions
CN111508048B (zh
Inventor
霍静
侯昊迪
高阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd
Nanjing University
Original Assignee
Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd, Nanjing University filed Critical Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd
Priority to CN202010443030.5A priority Critical patent/CN111508048B/zh
Publication of CN111508048A publication Critical patent/CN111508048A/zh
Application granted granted Critical
Publication of CN111508048B publication Critical patent/CN111508048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种可交互任意形变风格人脸漫画自动生成方法，属于计算机应用领域。该方法包括色彩风格渲染模型，几何形变生成模型以及交互调整模块；其中，色彩风格渲染模型由两个自编码器构成，两个自编码器分别将照片图像和漫画图像分解为内容编码和风格编码两部分，并且使他们的内容编码共享同一个隐变量空间。几何形变生成模型通过基于关键点的warping操作使图像产生夸张等形变效果；交互调整模块包括上传样例漫画，风格形变选择功能和交互调整功能。相比当前已有的人脸漫画自动生成方法，该方法提出了一种新颖的人脸漫画生成模型和双向训练方法，使得模型能够更好的拟合数据分布，生成的人脸漫画图像更加逼真。

Description

一种可交互任意形变风格人脸漫画自动生成方法
技术领域
本发明涉及一种可交互任意形变风格人脸漫画自动生成方法，属于计算机应用领域。
背景技术
人脸漫画是一种通过夸大强调任务的特征，从而表达特定情感并给人留下深刻印象的艺术形式，它具有丰富灵活的多样性，深受大众喜爱。一方面，人脸漫画可以有不同的刻画形式，例如简笔画、素描、油画等；另一方面，人脸漫画也可以通过不同的夸大风格表达不同的情感。同时，漫画创作者也有各自的艺术风格和表达方式，从而进一步增加了人脸漫画这一艺术形式的多样性。总之，人脸漫画的特点和多样性主要体现在色彩风格和形状风格两方面。因此，人脸漫画的生成技术主要关注生成的漫画在色彩和形状方面是否逼真，以及是否具有风格多样性。
人脸漫画通常需要由一些具有专业技能的艺术家创作而成，因此往往只有一些名人等少数人才会有自己个人的漫画形象。随着互联网和移动互联网的发展普及，越来越多的普通人希望拥有属于自己的漫画形象，而通过专业艺术家创作的形式不仅不方便，而且成本较高。因此，通过计算机技术根据人脸照片自动生成对应的漫画形象受到了人们的关注和青睐。传统的人脸漫画自动生成方法主要分为基于规则的方法和基于样本的方法两大类。其中，基于规则的方法通过人为预设的规则对照片进行调整来生成人脸漫画，例如通过计算输入人脸照片与平均人脸之间的差别，并夸大最突出的差别，来生成漫画；基于样本的方法需要先收集一个漫画样本库，然后对于每张输入照片检测其五官、轮廓等形状信息，然后从样本库中搜索最匹配的漫画五官、轮廓来组成一个新的漫画形象。可以看出，这些传统方法生成人脸漫画的方式形式规则都比较简单死板，生成的人脸漫画一方面不够逼真，另一方面风格也比较单一。近年来，随着深度学习在计算机视觉领域的广泛应用，一些基于深度学习的人脸漫画生成方法应用而生。一些基于深度学习的跨域图像转换方法如Cycle-GAN，MUNIT等，能够将人脸照片转换为漫画的风格，但这类方法生成的漫画缺少形状上的夸大；Warp-GAN在基于深度学习的风格转换基础上通过warping的方式对人脸形状进行夸大，使生成的漫画在色彩和形状上都比较逼真。但这些方法对于同一张输入照片只能生成固定的形状夸大风格，无法满足人们对漫画风格多样性的需求。另外，由于这些方法在建模时对于同一输入只考虑了一种形变形式，这种建模假设与真实数据不符(真实情况是根据同一张照片，漫画家可以画出不同色彩和形变风格的漫画形象)，因此其模型无法捕获真实数据中的丰富形变风格，从而导致其生成的漫画效果也不够逼真，无法满足实际应用中用户多样化、个性化的需求。
发明内容
本发明提出了一种任意形变风格人脸漫画自动生成方法，该方法分别通过风格网络和形变网络对图像进行色彩渲染和集合形变，并通过隐变量控制生成图像的色彩和形变风格，从而实现了任意色彩和形变风格的人脸漫画生成。
一种可交互任意形变风格人脸漫画自动生成方法，包括如下步骤：
步骤(1)选取人脸照片漫画图像数据集，并划分训练集和测试集；
步骤(2)将人脸照片和漫画图像分别输入到照片编码器和漫画编码器中，从而分别将照片和漫画图像分解为内容编码和风格编码；
步骤(3)照片/漫画重建：将照片/漫画的内容编码和风格编码分别输入到照片/漫画生成器中，重建出照片/漫画；
步骤(4)色彩风格转换：将照片的内容编码与随机采样的风格编码输入到漫画生成器中，可以将照片转换为漫画的色彩风格；同样的，将漫画的内容编码与随机采样的风格编码输入到照片生成器中，可以将漫画转换为照片的色彩风格；
步骤(5)生成关键点偏移量：将照片的内容编码与随机采样的形变编码输入到照片转漫画的形变生成器中，得到照片关键点到漫画关键点的偏移量；同样的，将漫画的内容编码与随机采样的形变编码输入到漫画转照片的形变生成器中，得到漫画关键点到照片关键点的偏移量；
步骤(6)基于关键点的身份保持：将照片关键点与照片到漫画关键点的偏移量相加可得生成的漫画关键点，同理可得生成的照片关键点；将原本的照片关键点、漫画关键点和生成的照片关键点、漫画关键点输入到基于关键点的人脸身份分类器中，具有对应关系的关键点应被分类为同一身份；
步骤(7)Warping操作：根据照片关键点和照片到漫画的关键点偏移量，对转换为漫画色彩风格的照片进行warping操作，从而得到根据照片生成的漫画；同理，根据漫画关键点和漫画到照片的关键点偏移量，对转换为照片色彩风格的漫画进行warping操作，可以得到根据漫画生成的照片；
步骤(8)基于图像的身份保持：将原本的照片、漫画和生成的照片漫画输入到基于图像人脸身份分类器中，具有对应关系的图像应被分类为同一身份；
步骤(9)基于训练数据集上采集的人脸照片和漫画图像，训练人脸漫画生成深度网络，待模型收敛后保存模型参数；
步骤(10)用训练好的深度网络在测试数据集上进行从照片到漫画的转换，通过采样不同的色彩风格编码和形变编码，可以生成不同色彩风格和形变的漫画；
步骤(11)用户通过交互模块对漫画的色彩风格和形变风格进行选择和调整，模型根据这些数据进一步生成符合用户需求的漫画图片。
在进一步的实施例中，所述步骤(4)的图像色彩风格转换过程中，在保持内容编码一致的情况下，通过采样不同的风格编码输入到生成器中，可以生成同样内容不同风格的图像，因此可以通过采样不同的风格编码生成不同色彩风格的漫画图像。
在进一步的实施例中，所述步骤(5)生成关键点偏移量时，形变编码与图像的内容编码共同决定了关键点的偏移量，从而使产生的形变一方面突出了输入图像的内容特征，另一方面形变编码也可以控制形变风格的多样性。
在进一步的实施例中，所述步骤(6)中所述基于关键点的人脸身份保持能够在关键点维度上指导模型生成合理的形变，并突出输入人脸的特征；需要优化的损失函数如下：
Figure BDA0002504658520000031
其中，
Figure 3
表示基于关键点(landmark)的人脸身份分类器，yp，yc表示照片和漫画的身份类别，lp，lc，lp→c，lc→p分别表示原始照片、漫画的关键点和生成的漫画、照片的关键点。
在进一步的实施例中，所述步骤(8)中所述基于图像的人脸身份保持能够在图像维度上指导模型生成合理逼真的图像，并突出输入人脸的特征；需要优化的损失函数如下：
Figure BDA0002504658520000033
其中，
Figure 2
表示基于图像的人脸身份分类器，yp，yc表示照片和漫画的身份类别，xp，xc， xp→c，xc→p分别表示原始照片、漫画和生成的漫画、照片。
在进一步的实施例中，所述步骤(11)中所述用户交互模块可以提供1)根据用户上传的样例漫画生成类似色彩与形变风格的漫画；2)同时生成多种不同的色彩和形变风格的漫画供用户交互式选择组合；3)用户可以对人脸关键点的形变方向和形变大小进行进一步交互式调整；三大功能从而进一步满足用户生成人脸漫画时的个性化需求。
相比当前已有的人脸漫画自动生成方法，本发明具有如下优点：
(1)可以通过采样不同的形变编码或色彩编码，生成不同的形变效果或色彩风格；
(2)可以通过提取样例漫画的形变编码和色彩编码来生成具有相似形变效果和色彩风格的漫画；
(3)本方法同时在图像上和关键点上使用身份保持损失进行训练，从而使模型产生的形变更加合理，同时能够保持生成漫画与输入照片的身份一致；
(4)提出了一种新颖的人脸漫画生成模型和双向训练方法，使得模型能够更好的拟合数据分布，生成的人脸漫画图像更加逼真；
(5)通过人工交互模块的设计，使得用户可以可视化的对生成的漫画色彩风格和形变风格进行选择和调整，从而进一步满足实际应用中的用户需求。
附图说明
图1本发明方法构建图。
图2本发明中网络结构图。
图3本发明中几何形变网络结构图。
图4本发明生成人脸漫画示例。
图5本发明可交互用户调整模块示意图。
具体实施方式：
本发明针对人脸漫画自动生成这一任务提出了一种新颖的算法，该算法在模型设计中通过隐编码控制生成图像的色彩和形变风格，能够根据同一张输入照片生成任意形变风格的人脸漫画。一般来说，人脸漫画自动生成存在如下难点
①根据人脸照片生成一张人脸漫画，不仅要求对图像的色彩风格进行转换，还需要根据输入人脸的特点、艺术创作风格等对图像进行形状上的夸大处理；
②人脸漫画这一艺术形式具有丰富的多样性，根据同一照片进行漫画创作，也会因为不同的创作手段、表达不同的情感，艺术家的不同风格等，在漫画的色彩和形状上都产生各种不同的风格；
③根据人脸照片生成人脸漫画的过程中，不仅要使得生成的漫画看起来生动逼真，而且要使漫画与照片的身份保持一致，形变夸大也需要能够突出人物特点或者艺术家风格，而不能随意进行形变夸大。
④实际应用中，用户对人脸漫画形象的需求时多样化、个性化的。单纯的模型确定式生成方法难以满足用户需求。
在人脸漫画生成过程中，图像主要需要经过两部分的变换，一是色彩风格的渲染，二是几何形状的夸大。其中，漫画的色彩风格主要受到创作手段和艺术家风格的影响；而几何形状的夸大一方面取决于输入人脸照片的特点，另一方面也受到艺术家风格和情感表达的影响。为了完成这两部分变换且使生成的漫画可以具有任意的色彩和形变风格，本发明提出了一种任意形变风格人脸漫画自动生成方法，该方法分别通过风格网络和形变网络对图像进行色彩渲染和集合形变，并通过隐变量控制生成图像的色彩和形变风格，从而实现了任意色彩和形变风格的人脸漫画生成。
为细致展示本发明的目的、特征和优点，下面将结合附图和具体的实施案例来对本发明做进一步详细说明。
如图1所示，本发明提供了一种可交互任意形变风格人脸漫画自动生成方法。其包括如下具体步骤：
1)对人脸照片和漫画图像进行预处理。根据图像中的人脸关键点对人脸进行对齐和裁剪并将图像调整为256*256像素的大小；
2)将照片和漫画输入到色彩渲染网络中，这部分包含编码和解码两部分。编码部分将图像分解为内容编码和风格编码；解码部分根据内容编码和风格编码将输入图像重建出来。同时通过编码重建损失保证风格编码服从高斯分布，并且照片和漫画共享同一内容编码空间。
3)将照片的内容编码输入到漫画的生成器中，并随机采样风格编码，可以将照片渲染为任意的漫画色彩风格(如图2中虚线箭头所示)，类似的也可以将漫画渲染为任意的照片色彩风格；
4)在几何形变网络部分，生成器根据图像的内容编码和随机采样的形变编码，生成关键点转换残差量，然后根据输入图像的原始关键点和关键点转换残差量，通过warping操作对图像进行几何形变得到最终的生成图像；
5)在几何形变网络部分，编码器根据输入图像的原始关键点和生成的转换关键点(原始关键点与关键点转换残差量相加得到)恢复出形变编码，并通过生成对抗损失保证恢复的形变编码服从高斯分布，从而建立了形变编码空间与关键点空间之间的双向关系；
6)在关键点空间和图像空间中，同时通过身份分类判别器保证输入关键点与生成关键点身份一致，输入图像与输出图像身份一致，从而保证模型产生的形变是合理的，并且能够突出输入人脸的特点。
7)在测试阶段，首先对输入照片进行人脸关键点检测，然后将照片和人脸关键点输入到训练好的模型中，同时采样风格编码和形变编码，模型输出生成的漫画图像。
8)在可交互用户调整模块中，用户可以根据自身需求，上传喜欢的漫画样例，生成类似风格的漫画，也可以从生成的多个不同风格漫画中选择最喜欢的，而且也可以进一步根据自身需求对人脸关键点的形变方向和大小进行调整，最终得到满意的漫画图片。
本发明的核心包括如下若干部分：
①色彩渲染网络；
②几何形变网络；
③人脸身份保持方法；
④可交互用户调整模块。
1.色彩渲染网络：
本发明模型的第一个部分是对输入照片进行色彩渲染使其具有漫画色彩风格的色彩渲染网络。MUNIT是图像风格转换中被广泛使用的一种网络结构，本发明中的色彩渲染网络基于MUNIT进行改造，使其能够将照片渲染为漫画的色彩风格。如图2网络结构中的stylenetwork部分所示：
色彩渲染网络整体上由两个自编码器组成，其中编码器将输入图像分解为内容编码和风格编码两部分，生成器接受内容编码和风格编码并恢复出对应的图像。其中风格编码为服从高斯分布的8-D向量，而内容编码为神经网络输出的高维特征图。这里的两个自编码器分别用于照片和漫画图像的编码和生成，并且两个自编码器共享同一内容编码空间。因此，只要将照片的内容编码输入到漫画的生成器中，同时随机采样漫画风格编码，即可将照片渲染为任意的漫画色彩风格。反之，也可以见漫画渲染为任意的照片色彩风格。如图2中虚线箭头所示。
2.几何形变网络：
几何形变网络是本发明的重要组成部分。几何形变网络负责学习从照片人脸关键点到漫画人脸关键点的转换残差量并通过warping操作使图像产生形变(如图2中geometricnetwork所示)。几何形变网络的详细结构如图3所示：
由于人脸漫画的形变一方面取决于对应照片人脸自身的特点，另一方面取决于漫画家的风格和表达的情感等额外因素。在集合形变网络中，我们通过图像的内容编码来获取照片自身的特点，并通过形变编码来表示这些影响漫画形变的额外因素。几何形变网络由两个生成器
Figure BDA0002504658520000071
和两个编码器
Figure 1
组成。其中生成器根据输入的照片内容编码和形变编码生成从照片关键点到漫画关键点的转换残差量，编码器负责从照片关键点和对应的漫画关键点中恢复出形变编码。以照片到漫画为例，形变生成过程可表示如下：
Figure BDA0002504658520000073
Figure BDA0002504658520000074
Figure BDA0002504658520000075
Figure BDA0002504658520000076
3.人脸身份保持方法：
保持漫画与照片的人脸身份一致是人脸漫画生成中的关键。本发明创新性的通过同时在关键点空间和图像空间中使用身份分类判别器的方式来保证生成的漫画人脸与输入的照片人脸身份一致。
本发明的人脸身份保持方法主要分为两部分，一是关键点空间的身份保持，二是图像空间的身份保持。其中，关键点空间的身份保持将几何形变网络生成的转换后的关键点
Figure BDA0002504658520000081
输入到关键点身份分类判别器
Figure 4
中，并通过对如下损失函数的最小化达到保证输入与输出关键点身份一致的效果：
Figure BDA0002504658520000083
类似的，在图像空间中，本发明将生成的图像xp→c，xc→p输入到图像身份分类判别器
Figure BDA0002504658520000084
中，并通过对如下损失函数的最小化达到保证输入与输出图像身份一致的效果：
Figure BDA0002504658520000085
实验结果表明，我们的人脸身份保持方法不仅能够有效保证生成漫画人脸与输入照片身份一致，同时也能够保证模型产生更加合理的形变，并且能够突出输入人脸的特点，也能够给漫画增添多样的情感风格特点。
4.可交互用户调整模块：
为了满足用户多样化、个性化的需求，可交互用户调整模块是本发明的关键模块。该模块提供了三大功能，如图5所示。
(1)根据用户上传的样例漫画生成类似色彩与形变风格的漫画。如图5(a)所示，交互模块中可以根据用户上传的样例漫画生成具有类似色彩和形变风格的漫画图片。
(2)同时生成多种不同的色彩和形变风格的漫画供用户交互式选择组合。如图5(b) 所示，交互模块中，用户输入照片后，模型会生成多个不同色彩和形变风格的漫画，用户可以自主选择喜欢的生成结果。
(3)用户可以对人脸关键点的形变方向和形变大小进行进一步交互式调整。如图5(c)所示，选择生成的漫画后，用户可以进一步在交互模块中对人脸关键点的形变方向和大小进行调整，最终得到满意的漫画图片。

Claims (6)

1.一种可交互任意形变风格人脸漫画自动生成方法，包括如下步骤：
步骤(1)选取人脸照片漫画图像数据集，并划分训练集和测试集；
步骤(2)将人脸照片和漫画图像分别输入到照片编码器和漫画编码器中，分别将照片和漫画图像分解为内容编码和风格编码；
步骤(3)照片/漫画重建：将照片/漫画的内容编码和风格编码分别输入到照片/漫画生成器中，重建出照片/漫画；
步骤(4)色彩风格转换：将照片的内容编码与随机采样的风格编码输入到漫画生成器中，将照片转换为漫画的色彩风格；将漫画的内容编码与随机采样的风格编码输入到照片生成器中，将漫画转换为照片的色彩风格；
步骤(5)生成关键点偏移量：将照片的内容编码与随机采样的形变编码输入到照片转漫画的形变生成器中，得到照片关键点到漫画关键点的偏移量；将漫画的内容编码与随机采样的形变编码输入到漫画转照片的形变生成器中，得到漫画关键点到照片关键点的偏移量；
步骤(6)基于关键点的身份保持：将照片关键点与照片到漫画关键点的偏移量相加可得生成的漫画关键点，同理可得生成的照片关键点；将原本的照片关键点、漫画关键点和生成的照片关键点、漫画关键点输入到基于关键点的人脸身份分类器中，具有对应关系的关键点应被分类为同一身份；
步骤(7)Warping操作：根据照片关键点和照片到漫画的关键点偏移量，对转换为漫画色彩风格的照片进行warping操作，从而得到根据照片生成的漫画；根据漫画关键点和漫画到照片的关键点偏移量，对转换为照片色彩风格的漫画进行warping操作，可以得到根据漫画生成的照片；
步骤(8)基于图像的身份保持：将原本的照片、漫画和生成的照片漫画输入到基于图像人脸身份分类器中，具有对应关系的图像应被分类为同一身份；
步骤(9)基于训练数据集上采集的人脸照片和漫画图像，训练人脸漫画生成深度网络，待模型收敛后保存模型参数；
步骤(10)用训练好的深度网络在测试数据集上进行从照片到漫画的转换，通过采样不同的色彩风格编码和形变编码，生成不同色彩风格和形变的漫画；
步骤(11)用户通过交互模块对漫画的色彩风格和形变风格进行选择和调整，模型根据这些数据进一步生成符合用户需求的漫画图片。
2.根据权利要求1所述一种可交互任意形变风格人脸漫画自动生成方法，其特征在于：所述步骤(4)的图像色彩风格转换过程中，在保持内容编码一致的情况下，通过采样不同的风格编码输入到生成器中，生成同样内容不同风格的图像。
3.根据权利要求1所述一种可交互任意形变风格人脸漫画自动生成方法，其特征在于：所述步骤(5)生成关键点偏移量时，形变编码与图像的内容编码共同决定了关键点的偏移量，使产生的形变突出了输入图像的内容特征，形变编码也控制形变风格的多样性。
4.根据权利要求1所述一种可交互任意形变风格人脸漫画自动生成方法，其特征在于：所述步骤(6)中所述基于关键点的人脸身份保持能够在关键点维度上指导模型生成合理的形变，并突出输入人脸的特征；需要优化的损失函数如下：
Figure FDA0002504658510000021
其中，
Figure FDA0002504658510000022
表示基于关键点(landmark)的人脸身份分类器，yp，yc表示照片和漫画的身份类别，lp，lc，lp→c，lc→p分别表示原始照片、漫画的关键点和生成的漫画、照片的关键点。
5.根据权利要求1所述一种可交互任意形变风格人脸漫画自动生成方法，其特征在于：所述步骤(8)中所述基于图像的人脸身份保持能够在图像维度上指导模型生成合理逼真的图像，并突出输入人脸的特征；需要优化的损失函数如下：
Figure FDA0002504658510000023
其中，
Figure FDA0002504658510000024
表示基于图像的人脸身份分类器，yp，yc表示照片和漫画的身份类别，xp，xc，xp→c，xc→p分别表示原始照片、漫画和生成的漫画、照片。
6.根据权利要求1所述一种可交互任意形变风格人脸漫画自动生成方法，其特征在于：所述步骤(11)中所述用户交互模块，包括1)根据用户上传的样例漫画生成类似色彩与形变风格的漫画；2)同时生成多种不同的色彩和形变风格的漫画供用户交互式选择组合；3)用户可以对人脸关键点的形变方向和形变大小进行进一步交互式调整。
CN202010443030.5A 2020-05-22 2020-05-22 一种可交互任意形变风格人脸漫画自动生成方法 Active CN111508048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010443030.5A CN111508048B (zh) 2020-05-22 2020-05-22 一种可交互任意形变风格人脸漫画自动生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010443030.5A CN111508048B (zh) 2020-05-22 2020-05-22 一种可交互任意形变风格人脸漫画自动生成方法

Publications (2)

Publication Number Publication Date
CN111508048A true CN111508048A (zh) 2020-08-07
CN111508048B CN111508048B (zh) 2023-06-20

Family

ID=71876967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010443030.5A Active CN111508048B (zh) 2020-05-22 2020-05-22 一种可交互任意形变风格人脸漫画自动生成方法

Country Status (1)

Country Link
CN (1) CN111508048B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232485A (zh) * 2020-10-15 2021-01-15 中科人工智能创新技术研究院(青岛)有限公司 漫画风格图像转换模型的训练方法、图像生成方法及装置
CN112802162A (zh) * 2021-02-02 2021-05-14 网易（杭州）网络有限公司 虚拟角色的面部调整方法及装置、电子设备、存储介质
CN112837210A (zh) * 2021-01-28 2021-05-25 南京大学 一种基于特征图分块的多形变风格人脸漫画自动生成方法
CN112883826A (zh) * 2021-01-28 2021-06-01 南京大学 一种基于学习几何和纹理风格迁移的人脸漫画生成方法
CN112991148A (zh) * 2020-10-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型的训练方法、装置、设备及介质
CN113223103A (zh) * 2021-02-02 2021-08-06 杭州妙绘科技有限公司 素描画生成的方法、装置、电子设备及介质
CN113345058A (zh) * 2021-06-30 2021-09-03 杭州妙绘科技有限公司 漫画人脸生成方法及装置
CN113989441A (zh) * 2021-11-16 2022-01-28 北京航空航天大学 基于单张人脸图像的三维漫画模型自动生成方法及系统
WO2022166797A1 (zh) * 2021-02-02 2022-08-11 百果园技术(新加坡)有限公司 图像生成模型的训练方法、生成方法、装置及设备
CN115082300A (zh) * 2022-07-22 2022-09-20 中国科学技术大学 图像生成模型的训练方法、图像生成方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596839A (zh) * 2018-03-22 2018-09-28 中山大学 一种基于深度学习的人脸漫画生成方法及其装置
CN109741247A (zh) * 2018-12-29 2019-05-10 四川大学 一种基于神经网络的肖像漫画生成方法
CN110415308A (zh) * 2019-06-21 2019-11-05 浙江大学 一种基于循环空间转换网络的人脸漫画生成方法
CN111127304A (zh) * 2018-10-31 2020-05-08 微软技术许可有限责任公司 跨域图像转换

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596839A (zh) * 2018-03-22 2018-09-28 中山大学 一种基于深度学习的人脸漫画生成方法及其装置
CN111127304A (zh) * 2018-10-31 2020-05-08 微软技术许可有限责任公司 跨域图像转换
CN109741247A (zh) * 2018-12-29 2019-05-10 四川大学 一种基于神经网络的肖像漫画生成方法
CN110415308A (zh) * 2019-06-21 2019-11-05 浙江大学 一种基于循环空间转换网络的人脸漫画生成方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232485A (zh) * 2020-10-15 2021-01-15 中科人工智能创新技术研究院(青岛)有限公司 漫画风格图像转换模型的训练方法、图像生成方法及装置
CN112232485B (zh) * 2020-10-15 2023-03-24 中科人工智能创新技术研究院(青岛)有限公司 漫画风格图像转换模型的训练方法、图像生成方法及装置
CN112991148A (zh) * 2020-10-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型的训练方法、装置、设备及介质
CN112991148B (zh) * 2020-10-30 2023-08-11 抖音视界有限公司 风格图像生成方法、模型的训练方法、装置、设备及介质
CN112883826A (zh) * 2021-01-28 2021-06-01 南京大学 一种基于学习几何和纹理风格迁移的人脸漫画生成方法
CN112837210A (zh) * 2021-01-28 2021-05-25 南京大学 一种基于特征图分块的多形变风格人脸漫画自动生成方法
CN112883826B (zh) * 2021-01-28 2024-04-09 南京大学 一种基于学习几何和纹理风格迁移的人脸漫画生成方法
CN112837210B (zh) * 2021-01-28 2023-09-22 南京大学 一种基于特征图分块的多形变风格人脸漫画自动生成方法
CN112802162A (zh) * 2021-02-02 2021-05-14 网易（杭州）网络有限公司 虚拟角色的面部调整方法及装置、电子设备、存储介质
WO2022166797A1 (zh) * 2021-02-02 2022-08-11 百果园技术(新加坡)有限公司 图像生成模型的训练方法、生成方法、装置及设备
CN113223103A (zh) * 2021-02-02 2021-08-06 杭州妙绘科技有限公司 素描画生成的方法、装置、电子设备及介质
CN112802162B (zh) * 2021-02-02 2024-05-10 网易（杭州）网络有限公司 虚拟角色的面部调整方法及装置、电子设备、存储介质
CN113345058B (zh) * 2021-06-30 2022-06-10 杭州妙绘科技有限公司 漫画人脸生成方法及装置
CN113345058A (zh) * 2021-06-30 2021-09-03 杭州妙绘科技有限公司 漫画人脸生成方法及装置
CN113989441A (zh) * 2021-11-16 2022-01-28 北京航空航天大学 基于单张人脸图像的三维漫画模型自动生成方法及系统
CN113989441B (zh) * 2021-11-16 2024-05-24 北京航空航天大学 基于单张人脸图像的三维漫画模型自动生成方法及系统
CN115082300A (zh) * 2022-07-22 2022-09-20 中国科学技术大学 图像生成模型的训练方法、图像生成方法及装置
CN115082300B (zh) * 2022-07-22 2022-12-30 中国科学技术大学 图像生成模型的训练方法、图像生成方法及装置

Also Published As

Publication number Publication date
CN111508048B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN111508048B (zh) 一种可交互任意形变风格人脸漫画自动生成方法
Frans et al. Clipdraw: Exploring text-to-drawing synthesis through language-image encoders
Li et al. Anigan: Style-guided generative adversarial networks for unsupervised anime face generation
CN111489287A (zh) 图像转换方法、装置、计算机设备和存储介质
Chen et al. Example-based composite sketching of human portraits
CN110555896B (zh) 一种图像生成方法、装置以及存储介质
CN112837210B (zh) 一种基于特征图分块的多形变风格人脸漫画自动生成方法
CN113538608B (zh) 基于生成对抗网络的可控人物图像生成方法
Millière Deep learning and synthetic media
CN112819933A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN116797868A (zh) 文本图像生成方法以及扩散生成模型训练方法
CN113239961A (zh) 基于生成对抗网络的文本生成序列图像的方法
CN115496550A (zh) 文本生成方法以及装置
Ye et al. Audio-driven stylized gesture generation with flow-based model
CN115496650A (zh) 一种基于生成对抗网络的妆容迁移方法
CN113421185B (zh) 一种基于StyleGAN的移动端人脸年龄编辑方法
Osahor et al. Text-guided sketch-to-photo image synthesis
KR102562386B1 (ko) 이미지 합성 시스템의 학습 방법
CN113052784A (zh) 一种基于多辅助信息下的图像生成方法
CN117095071A (zh) 一种基于主体模型的图片或视频生成方法、系统及存储介质
Bai et al. Itstyler: Image-optimized text-based style transfer
CN116128708A (zh) 一种写实绘画风格图像生成对抗网络
CN116977455A (zh) 基于深度双向学习的人脸素描图像生成系统及方法
Li et al. Chinese painting style transfer system based on machine learning
Sun et al. PattGAN: Pluralistic Facial Attribute Editing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant