CN112258387A - 一种基于人脸照片生成漫画人像的图像转换系统及方法 - Google Patents
一种基于人脸照片生成漫画人像的图像转换系统及方法 Download PDFInfo
- Publication number
- CN112258387A CN112258387A CN202011194956.1A CN202011194956A CN112258387A CN 112258387 A CN112258387 A CN 112258387A CN 202011194956 A CN202011194956 A CN 202011194956A CN 112258387 A CN112258387 A CN 112258387A
- Authority
- CN
- China
- Prior art keywords
- image
- conversion
- cartoon
- mouth
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000001815 facial effect Effects 0.000 claims abstract description 31
- 210000000697 sensory organ Anatomy 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims abstract description 14
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 12
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000003042 antagnostic effect Effects 0.000 claims description 5
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 229940037201 oris Drugs 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 230000000306 recurrent effect Effects 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 230000014759 maintenance of location Effects 0.000 claims 1
- 239000000126 substance Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000011176 pooling Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- RSWGJHLUYNHPMX-UHFFFAOYSA-N Abietic-Saeure Natural products C12CCC(C(C)C)=CC2=CCC2C1(C)CCCC2(C)C(O)=O RSWGJHLUYNHPMX-UHFFFAOYSA-N 0.000 description 1
- 241000556720 Manga Species 0.000 description 1
- KHPCPRHQVVSZAH-HUOMCSJISA-N Rosin Natural products O(C/C=C/c1ccccc1)[C@H]1[C@H](O)[C@@H](O)[C@@H](O)[C@@H](CO)O1 KHPCPRHQVVSZAH-HUOMCSJISA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007591 painting process Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- KHPCPRHQVVSZAH-UHFFFAOYSA-N trans-cinnamyl beta-D-glucopyranoside Natural products OC1C(O)C(O)C(CO)OC1OCC=CC1=CC=CC=C1 KHPCPRHQVVSZAH-UHFFFAOYSA-N 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于人脸照片生成漫画人像的图像转换系统及方法，涉及深度学习、计算机视觉和图像处理等技术。本系统包括面部区域截取模块、几何特征获取模块、外观转化模块、几何转化模块和合成模块。本方法对从人脸照片中获取的五官图像利用相应的图像到图像转换网络转换为漫画风格的外观特征；对获取的五官关键点坐标集合利用坐标到坐标的转换网络获得漫画风格的几何位置特征；最后组合输出漫画人像。其中，本发明还提供了一个相似度保留模块和结构平滑损失函数。本发明实现了模拟人类画师的漫画人像转换，保留了漫画家对于不同面部区域的布局手法、面部轮廓几何上的夸张形变，输出结果干扰像素更少、更加整洁、视觉效果更高。
Description
技术领域
本发明涉及深度学习技术、计算机视觉技术和图像处理技术，尤其涉及一种人脸到漫画人像的生成技术。
背景技术
本发明所涉及的漫画(manga)特指日本式黑白漫画，其通常使用黑白色彩和几何夸张来描述人类的外观，姿势和动作。将面部照片自动转换为漫画是一项图像到图像的转换任务，其目的为将输入的内容图像转化为目标艺术化图像。近年来，基于深度学习的图像到图像的翻译取得了显著进展，最近的研究提出了一系列系统的方法。例如，神经风格迁移(neural style transfer)方法；基于生成式对抗神经网络GAN(Generative AdversarialNets)的方法。
然而，基于现有的技术，面向人脸到漫画形象的生成方法通常针对整张图像进行转换，其难以捕捉漫画对真实人物五官和脸型间不同的描绘手法、线条结构和几何夸张，其生成效果与人类画师的作品相差甚远，难以生成逼真的黑白漫画形象。
发明内容
本发明的目的是提供一种模拟人类画师的，基于不同面部区域外观特征和几何分布，根据人脸照片生成漫画人像的自动化方法和系统，称作MangaGAN，以解决现有技术由人脸生成漫画的各种性能的综合效果较差的问题。
本发明提供了一种基于人脸照片生成漫画人像的图像转换系统，在计算机上实现的功能模块包括：面部区域截取模块、几何特征获取模块、外观转化模块、几何转化模块和合成模块。面部区域截取模块从输入的人脸照片裁剪得到不同面部区域的图像，输入外观转化模块。几何特征获取模块从输入的人脸照片中识别获得不同面部区域的关键点坐标集合，输出给几何转化模块。外观转化模块中存储有预先训练好的针对不同面部区域图像的图像到图像的转换网络，对输入的不同面部区域利用相应的转换网络生成漫画风格的外观特征图像，输出给合成模块。几何转化模块中存储有预先训练好的针对不同面部区域、面部轮廓的关键点坐标集合的坐标到坐标的转换网络，根据所输入的关键点坐标集合生成漫画风格的几何位置坐标，输出给合成模块。合成模块将输入的外观特征图像和几何位置坐标组合，输出漫画人像。
相应的，本发明提供了一种基于人脸照片生成漫画人像的图像转换方法，包括：
首先，从输入的正面人物照片中提取人脸上不同的面部区域，获取不同面部区域的关键点坐标集合，获取面部轮廓的关键点坐标集合；
其次，将提取的不同面部区域图像，通过对应的预先训练好的图像到图像转换网络，生成漫画风格的外观特征图像；预先设置的图像到图像转换方法包括但不限于风格迁移方法、对抗生成神经网络方法、图像处理方法；如对提取的左眼、右眼、鼻子、嘴巴和发型的面部区域，分别生成漫画风格左眼、漫画风格右眼、漫画风格鼻子、漫画风格嘴巴、漫画风格发型图像；所涉及的漫画风格可以是任意漫画家的作品风格。
其中，对右眼区域图像和左眼区域图像、嘴巴区域图像使用基于CycleGAN的转换网络Neye、Nmouth进行漫画风格转换；在转换网络Neye和Nmouth中增加相似度保留模块，对输入的图像提取不同空间大小和分辨率的特征图；在训练转换网络Neye和Nmouth时，增加结构平滑损失。
然后，将不同面部区域、面部轮廓的关键点坐标集合，通过坐标到坐标的转换网络，生成对应的漫画风格的几何位置坐标；其中，坐标到坐标的转换网络包括三个子网络：脸型转换子网络Nshp、五官位置转换子网络Nloc和五官大小子网络Nsiz；三个子网络均使用CycleGAN中的循环一致性结构实现；CycleGAN是循环生成式对抗神经网络。
最后，将生成的漫画风格的外观特征图像和漫画风格的几何位置坐标组合在一起，输出最终的漫画人像。
相对于现有技术，本发明方法和系统的优点和积极效果在于：
(1)本发明是第一种基于GAN的未配对照片到漫画的自动转换方法和系统，通过不同面部区域的外观特征转换，模拟人类画师的绘制方法，可保留漫画家对于不同面部区域的特定绘制风格；同时，通过将不同面部区域的集合特征转换，保留漫画家对于不同面部区域的布局手法、面部轮廓几何上的夸张形变；因此，本发明既可以保留面部相似性又可以保留流行的漫画风格，从而制作出有吸引力的漫画面孔。
(2)本发明使用新的网络架构来模拟漫画艺术家的绘画过程，该网络架构通过设计的GAN模型生成夸张的脸部几何特征，并通过量身定制的多GAN架构可精细地转换每个面部区域；
(3)本发明在图像到图像转换网络的设计中，提出了相似度保留模块，以有效地改善保留面部相似度和漫画风格的性能。
(4)本发明在图像到图像转换网络的设计中，提出了结构平滑损失，以鼓励产生具有平滑笔触线和较少混乱像素的结果。
(5)本发明生成的漫画人像更加接近人类画师的手绘作品、更具有艺术吸引力；输出结果中，干扰像素更少、更加整洁、视觉效果更高。
附图说明
图1为本发明的基于人脸照片生成漫画人像的图像转换方法的整体流程图；
图2为本发明方法中外观转换网络ATN的功能实现示意图；
图3为本发明提供的相似度保留模块的(a)流程图和(b)网络结构示意图；
图4为本发明几何转换网络GTN的整体流程图；
图5为本发明合成模块的整体流程图。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明提供的一种基于人脸照片生成漫画人像的图像转换系统，在计算机上实现的功能模块包括：面部区域截取模块、几何特征获取模块、外观转化模块、几何转化模块和合成模块。面部区域截取模块从输入的人脸照片裁剪得到不同面部区域的图像，具体可参见下面步骤1。几何特征获取模块从输入的人脸照片中识别获得不同面部区域的关键点坐标集合，具体可参见下面步骤2的说明。外观转化模块中存储有预先训练好的针对不同面部区域图像的图像到图像的转换网络ATN，对不同面部区域输入相应的转换网络，获得对应的漫画风格的外观面部特征图像，具体可参见下面步骤3的说明。几何转化模块中存储有预先训练好的针对不同面部区域、面部轮廓的关键点坐标集合的坐标到坐标的转换网络GTN，根据所输入的关键点坐标集合生成漫画风格的几何位置坐标，输出给合成模块，具体可参见下面步骤4的说明。合成模块将输入的外观特征图像和几何位置坐标组合，输出漫画人像，具体实现可参见下面步骤5。
如图1所示，通过模拟漫画艺术家的绘画过程，本发明提供了一种基于人脸照片生成漫画人像的图像转换方法，下面分5个步骤详细叙述具体实施过程。
步骤1：如图1(a)所示，给定一张正面人物照片p，本发明需得到p中人脸不同面部区域的位置，并裁剪得到不同面部区域的图像，包括左眼pleye、右眼preye、鼻子pnose、嘴巴pmouth和头发phair。其中，面部区域的确定方法不限，包括但不限于人脸检测、识别、分割技术。
步骤2：如图1(c)所示，本发明需得到人脸中不同面部区域的几何特征，其表示为不同面部区域的关键点坐标集合。本发明实施例获得的不同面部区域的关键点坐标集合包括左眼
右眼
鼻子
嘴巴
和脸型
其中，面部区域的关键点坐标的确定方法不限，包括但不限于人脸检测、识别、分割技术。
步骤3：如图1(b)和图2所示，将步骤1所获得的pleye、preye、pnose、pmouth、phair，利用对应的图像到图像转换网络Nleye、Nreye、Nnose、Nmouth、Nhair，分别生成漫画风格的左眼mleye、右眼mreye、鼻子mnose、嘴巴mmouth、头发mhair，其中Nleye、Nreye、Nnose、Nmouth、Nhair包括但不限于风格迁移、生成式对抗神经网络、图像处理技术。
本发明实施例中，Nleye和Nreye使用同一网络Neye，Neye和Nmouth主要使用CycleGAN的原理。因此，Nδ(δ∈{eye，mouth})的基础体系结构包括前向/向后的生成器
和对应的判别器
学习外观映射
学习反向外观映射
其中
和
是生成的伪样本；鉴别符
和
学会区分真实样本pδ和mδ，和假样本
和
在训练网络Neye和Nmouth时，采用稳定的最小二乘损失lsgan作为对抗损失
并使用CycleGAN提出的循环一致性损失
CycleGAN是一种生成式对抗神经网络，实现技术可参考文献：Zhu J Y,Park T,Isola P,et al.Unpaired image-to-imagetranslation using cycle-consistent adversarial networks.Proceedings of theIEEE international conference on computer vision.2017：2223-2232。最小二乘损失lsgan可参考文献：Xudong Mao,Qing Li,Haoran Xie,Raymond YK Lau,Zhen Wang,andStephen Paul Smolley.Least squares generative adversarial networks.InProceedings of the IEEE International Conference on Computer Vision,pages2794–2802,2017。
如图2所示，本发明训练了编码器Eeye和Emouth，以帮助GAN捕获眼睛、嘴巴区域的抽象对应关系。Eeye是一个遵循Pixel2Pixel(像素到像素)的条件GAN模型；Emouth包括一个通用面部关键点探测器和一个预处理程序，该程序平滑地将嘴巴关键点连接为黑色的条线以指导漫画嘴巴的形状。其中，右眼图像水平翻转后与左眼外观类似，与左眼图像一起输入Eeye，输入网络Neye，输出漫画后的左眼和右眼图像。Pixel2Pixel的条件GAN模型可参考文献：Phillip Isola,Jun-Yan Zhu,Tinghui Zhou,and Alexei A Efros.Image-to-imagetranslation with conditional adversarial networks.IEEE Conference on ComputerVision and Pattern Recognition,pages 5967–5976.IEEE,2017。
如图2所示，将pnose输入Enose，Enose为变分自动编码器，其将输入照片的鼻子区域编码为特征向量，然后将该向量作为种子生成默认的漫画鼻子，其还允许用户根据自己的喜好对其进行更改。对phair进行头发与背景分割，输入网络Nhair，获得漫画后的发型。Nhair主要使用ApdrawingGAN技术实现。变分自动编码器可参考文献：Diederik P Kingma and MaxWelling.Auto-encoding variational bayes.arXiv preprint arXiv：1312.6114,2013。ApdrawingGAN技术可参考文献：Ran Yi,Yong-Jin Liu,Yu-Kun Lai,PaulL.Rosin.ApdrawingGAN：Generating artistic portrait drawings from face photoswith hierarchical GANs.In Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition,pages 10743-10752,2019。具体实现本发明此处不在赘述。
本发明对于转换网络Neye和Nmouth，设计了结构平滑损失LSS，旨在鼓励网络产生具有平滑笔触线结构的漫画，定义为：
其中，LSS是基于均值为μ，标准差为σ的高斯模型，，本发明实施例中μ＝255/2；N表示当前要处理的图像中的像素总数，如，当前要处理的图像是pleye，则N为pleye中的像素总数；
或
是
或
的第j个或第k个像素的灰度值。其原理为，由于漫画主要由黑白笔划线组成，因此产生不必要的灰色区域会分散漫画的效果并使该结果混乱。因此，当像素的灰度值更接近黑色(0)或白色(255)时，本发明将其损失减小，以平滑黑色描边的渐变边缘并产生清晰的结果。
本发明在对于Neye和Nmouth中，还提出了一种相似度保留模块(SimilarityPreserving Module,简称SP模块)，用来保证输入和输出的相似性，如图3所示。SP模块的主要思想是将两个图像之间的相似性保持在较低的分辨率下，以便在将其上采样至较高的分辨率时，可以为它们提供相似的空间分布和不同的像素细节。如图3(a)所示，本发明在CycleGAN的正向映射和反向映射上都添加了有一个SP模块。SP模块利用本发明设计的预训练网络φ来提取不同潜在空间和分辨率的特征图。φ的体系结构如图3(b)所示，它仅使用很少的卷积层，因为本发明认为编码特征的对应关系相对清晰。对于前向映射
输入pδ和
到SP Module，并通过最小化损失函数LSP，定义为：
其中，参数λi和λI控制每个目标的相对重要性。
和
用于分别保持像素在像素级和特征级的相似性。参数
和
定义为：
其中，fi φ(x)是将x作为输入时从网络φ的i层提取的特征图。对于Nδ(δ∈{leye，reye})，使用的总体损失
为：
其中，系数α1到α4用于平衡相乘的目标。
为对抗损失函数，
为循环一致性损失函数，LSP为相似度保留模块的最小化损失函数。mδ、pδ分别为输入正向映射和反向映射的真实样本；
分别为正向映射和反向映射的生成函数；
分别为正向映射和反向映射的判别函数。
如图3(b)所示，本发明实施例中所使用的SP模块包括5个卷积层(Conv layer)和5个池化层(Pooling layer)，5个卷积层顺序连接，在第一卷积层和第二卷积层后连接第一池化层，在第三、第四和第五卷积层后各连接一个池化层，在第五卷积层后的池化层后还连接一个池化层。第一、第二卷积层为k5n64s1的卷积层，k表示卷积核大小，n表示通道数，s表示步长；第三卷积层为k5n128s1的卷积层；第四卷积层为k5n256s1的卷积层；第五卷积层为k5n512s1的卷积层；通过不同池化层后获得一个不同大小和分辨率的特征图，如图中获得128×128、64×64、32×32、16×16、8×8等尺寸的特征图。
步骤4：如图1(d)和图4所示，根据步骤2中获得的
通过坐标到坐标的转换方法，生成漫画风格的对应几何位置坐标，如左眼
右眼
鼻子
嘴巴
和脸型
的几何位置坐标和漫画风格面部轮廓
的形状坐标。其中，坐标转换方法包括但不限于风格迁移、生成式对抗神经网络、图像处理技术。
本发明实施例中，如图4所示，几何转化模块的目标是将人脸照片的几何特征转换为漫画人像的几何特征。本发明为增加输出结果的多样性，将面部几何特征分为三个属性(脸型、五官的位置和五官的大小)，并分别使用Nshp、Nloc和Nsiz三个子网络进行转换，其中脸型表示为面部轮廓的17个关键点坐标，五官位置表示为每个五官关键点的中心坐标，五官的大小表示为每个五官的宽度，即最左最右两个关键点的距离。图4中，LP和LM分别表示照片和漫画的所有几何特征，
ξshp(lp)、ξloc(lp)和ξsiz(lp)分别表示人脸照片的脸型、五官位置、五官大小的几何特征；ξshp(lm)、ξloc(lm)和ξsiz(lm)分别表示漫画人像的脸型、五官位置、五官大小的几何特征。本发明实施例中，Nshp、Nloc、Nsiz均使用CycleGAN中提出的循环一致性结构实现，进行坐标转换。
步骤5，如图1(e)和图5所示，根据漫画风格的左眼mleye、右眼mreye、鼻子mnose、嘴巴mmouth、头发mhair以及对应的集合位置坐标和漫画风格面部轮廓的形状坐标，将外观样式与几何样式相组合，最终得到生成的漫画人像M。
如图5所示，进行组合时，包括根据几何坐标来调整漫画风格外观特征图像的尺寸和位置，其中，面部曲线由17个关键点使用分段三次Hermite插值多项式(PCHIP)进行调整，最后输出漫画人像M。
Claims (8)
1.一种基于人脸照片生成漫画人像的图像转换方法，其特征在于，包括如下步骤：
步骤1：从输入的正面人物照片中获取不同的面部区域，获取不同面部区域的关键点坐标集合，获取面部轮廓的关键点坐标集合；
步骤2：针对不同面部区域图像，预先训练相应的图像到图像的转换网络，将获得的不同面部区域输入对应的转换网络后，生成漫画风格的外观特征图像；
其中，对右眼区域图像和左眼区域图像使用转换网络Neye进行漫画风格转换，对嘴巴区域图像使用转换网络Nmouth进行漫画风格转换；在转换网络Neye和Nmouth中增加相似度保留模块，对输入的图像提取不同空间大小和分辨率的特征图；
步骤3：将不同面部区域、面部轮廓的关键点坐标集合，通过坐标到坐标的转换网络，生成对应的漫画风格的几何位置坐标；
其中，坐标到坐标的转换网络包括三个子网络：脸型转换子网络Nshp、五官位置转换子网络Nloc和五官大小子网络Nsiz；三个子网络均使用CycleGAN中的循环一致性结构实现；CycleGAN是循环生成式对抗神经网络；
步骤4：将步骤2生成的漫画风格的外观特征图像和步骤3生成的漫画风格的几何位置坐标组合在一起，输出最终的漫画人像。
2.根据权利要求1所述的方法，其特征在于，所述的步骤1中，从正面人物照片中获取的不同面部区域包括左眼、右眼、鼻子、嘴巴和发型。
3.根据权利要求1所述的方法，其特征在于，所述的步骤2中，将获取的右眼区域图像水平翻转后，与左眼区域图像一起输入一个遵循Pixel2Pixel的条件GAN模型编码器，捕获眼睛区域的抽象对应关系，再使用基于CycleGAN的转换网络Neye生成漫画风格的左眼图像和右眼图像；对获取的嘴巴区域图像，先使用一个编码器，探测嘴巴关键点并平滑地将嘴巴关键点连接为黑色的条线，再使用基于CycleGAN的转换网络Nmouth生成漫画风格的嘴巴；其中，Pixel2Pixel表示像素到像素。
4.根据权利要求1所述的方法，其特征在于，所述的步骤2中，在转换网络Neye和Nmouth的正向映射和反向映射上都添加相似度保留模块；
对于前向映射
输入pδ和
到相似度保留模块，并通过最小化损失函数LSP；pδ为真实样本；最小化损失函数LSP如下：
其中，λi和λI是控制每个目标相对重要性的参数；
和
用于分别保持像素在像素级和特征级的相似性；
和
定义如下：
其中，fi φ(x)是将图x作为输入时从网络φ的i层提取的特征图。
5.根据权利要求1或3所述的方法，其特征在于，所述的步骤2中，对转换网络Neye和Nmouth进行训练时，采用最小二乘损失作为对抗损失，并使用CycleGAN的循环一致性损失，同时，还使用如下设计的结构平滑损失LSS，使生成结果中黑白笔划线条结构更加平滑；
其中，LSS是基于均值为μ，标准差为σ的高斯模型，N表示当前要转换的图像中的像素总数，
或
是
或
的第j个或第k个像素的灰度值，δ∈{eye，mouth}；Nδ(δ∈{eye，mouth})包括正向/反向的生成器
和对应的判别器
学习外观映射
学习反向外观映射
其中
和
是生成的伪样本；判别器
和
学会区分真实样本pδ和mδ，以及伪样本
和
6.根据权利要求5所述的方法，其特征在于，所述的步骤2中，转换网络Neye和Nmouth进行训练时的总体损失为
其中，
为对抗损失函数，
为循环一致性损失函数，LSP为相似度保留模块的最小化损失函数，
为结构平滑损失函数，α1～α4为设置的系数；mδ、pδ分别为输入正向映射和反向映射的真实样本；
分别为正向映射和反向映射的生成函数；
分别为正向映射和反向映射的判别函数。
7.一种基于人脸照片生成漫画人像的图像转换系统，其特征在于，在计算机上实现如下：
面部区域截取模块，用于从输入的人脸照片裁剪得到不同面部区域的图像，输入外观转化模块；
几何特征获取模块，用于对输入的人脸照片识别获得不同面部区域的关键点坐标集合以及面部轮廓的关键点坐标集合，输出给几何转化模块；
外观转化模块中存储有预先训练好的针对不同面部区域图像的图像到图像的转换网络，对输入的不同面部区域利用相应的转换网络生成漫画风格的外观特征图像，输出给合成模块；
几何转化模块中存储有预先训练好的针对不同面部区域、面部轮廓的关键点坐标集合的坐标到坐标的转换网络，根据所输入的关键点坐标集合生成漫画风格的几何位置坐标，输出给合成模块；
合成模块将输入的外观特征图像和几何位置坐标组合，输出漫画人像。
8.根据权利要求7所述的系统，其特征在于，所述的外观转化模块中，对右眼区域图像和左眼区域图像、嘴巴区域图像使用基于CycleGAN的转换网络进行漫画风格转换；在基于CycleGAN的转换网络中增加相似度保留模块，对输入图像提取不同空间大小和分辨率的特征图；在训练转换网络时，增加结构平滑损失LSS；
其中，LSS是基于均值为μ，标准差为σ的高斯模型，N表示当前要转换的图像中的像素总数，
或
是
或
的第j个或第k个像素的灰度值，δ∈{eye，mouth}；Nδ(δ∈{eye，mouth})包括正向/反向的生成器
和对应的判别器
学习外观映射
学习反向外观映射
其中
和
是生成的伪样本；判别器
和
学会区分真实样本pδ和mδ，以及伪样本
和
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011194956.1A CN112258387A (zh) | 2020-10-30 | 2020-10-30 | 一种基于人脸照片生成漫画人像的图像转换系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011194956.1A CN112258387A (zh) | 2020-10-30 | 2020-10-30 | 一种基于人脸照片生成漫画人像的图像转换系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112258387A true CN112258387A (zh) | 2021-01-22 |
Family
ID=74268462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011194956.1A Pending CN112258387A (zh) | 2020-10-30 | 2020-10-30 | 一种基于人脸照片生成漫画人像的图像转换系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112258387A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883826A (zh) * | 2021-01-28 | 2021-06-01 | 南京大学 | 一种基于学习几何和纹理风格迁移的人脸漫画生成方法 |
| CN112991484A (zh) * | 2021-04-28 | 2021-06-18 | 中国科学院计算技术研究所数字经济产业研究院 | 智能人脸编辑方法、装置、存储介质及设备 |
| CN113112015A (zh) * | 2021-04-06 | 2021-07-13 | 咪咕动漫有限公司 | 模型训练方法、装置、电子设备及计算机可读存储介质 |
| CN113158948A (zh) * | 2021-04-29 | 2021-07-23 | 宜宾中星技术智能系统有限公司 | 信息生成方法、装置、终端设备 |
| CN113409187A (zh) * | 2021-06-30 | 2021-09-17 | 深圳市斯博科技有限公司 | 漫画风格图像的转换方法、装置、计算机设备及存储介质 |
| CN113592970A (zh) * | 2021-07-28 | 2021-11-02 | 网易（杭州）网络有限公司 | 毛发造型的生成方法及装置、电子设备、存储介质 |
| CN113989441A (zh) * | 2021-11-16 | 2022-01-28 | 北京航空航天大学 | 基于单张人脸图像的三维漫画模型自动生成方法及系统 |
| CN114581569A (zh) * | 2022-02-21 | 2022-06-03 | 华南理工大学 | 基于代理引导域适应的外观保持的人脸图像动漫化方法 |
| CN115100334A (zh) * | 2022-08-24 | 2022-09-23 | 广州极尚网络技术有限公司 | 一种图像描边、图像动漫化方法、设备及存储介质 |
| CN116310008A (zh) * | 2023-05-11 | 2023-06-23 | 深圳大学 | 一种基于少样本学习的图像处理方法及相关设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090087035A1 (en) * | 2007-10-02 | 2009-04-02 | Microsoft Corporation | Cartoon Face Generation |
| CN101477696A (zh) * | 2009-01-09 | 2009-07-08 | 彭振云 | 一种人物漫画图像生成方法及装置 |
| CN109376582A (zh) * | 2018-09-04 | 2019-02-22 | 电子科技大学 | 一种基于生成对抗网络的交互式人脸卡通方法 |
| CN110415308A (zh) * | 2019-06-21 | 2019-11-05 | 浙江大学 | 一种基于循环空间转换网络的人脸漫画生成方法 |
| CN111445384A (zh) * | 2020-03-23 | 2020-07-24 | 杭州趣维科技有限公司 | 一种通用人像照片漫画风格化方法 |
-
2020
- 2020-10-30 CN CN202011194956.1A patent/CN112258387A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090087035A1 (en) * | 2007-10-02 | 2009-04-02 | Microsoft Corporation | Cartoon Face Generation |
| CN101477696A (zh) * | 2009-01-09 | 2009-07-08 | 彭振云 | 一种人物漫画图像生成方法及装置 |
| CN109376582A (zh) * | 2018-09-04 | 2019-02-22 | 电子科技大学 | 一种基于生成对抗网络的交互式人脸卡通方法 |
| CN110415308A (zh) * | 2019-06-21 | 2019-11-05 | 浙江大学 | 一种基于循环空间转换网络的人脸漫画生成方法 |
| CN111445384A (zh) * | 2020-03-23 | 2020-07-24 | 杭州趣维科技有限公司 | 一种通用人像照片漫画风格化方法 |
Non-Patent Citations (1)
| Title |
|---|
| HAO SU 等: "Unpaired Photo-to-manga Translation Based on The Methodology of Manga Drawing", 《HTTPS://ARXIV.ORG/》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883826B (zh) * | 2021-01-28 | 2024-04-09 | 南京大学 | 一种基于学习几何和纹理风格迁移的人脸漫画生成方法 |
| CN112883826A (zh) * | 2021-01-28 | 2021-06-01 | 南京大学 | 一种基于学习几何和纹理风格迁移的人脸漫画生成方法 |
| CN113112015A (zh) * | 2021-04-06 | 2021-07-13 | 咪咕动漫有限公司 | 模型训练方法、装置、电子设备及计算机可读存储介质 |
| CN113112015B (zh) * | 2021-04-06 | 2023-10-20 | 咪咕动漫有限公司 | 模型训练方法、装置、电子设备及计算机可读存储介质 |
| CN112991484A (zh) * | 2021-04-28 | 2021-06-18 | 中国科学院计算技术研究所数字经济产业研究院 | 智能人脸编辑方法、装置、存储介质及设备 |
| CN113158948A (zh) * | 2021-04-29 | 2021-07-23 | 宜宾中星技术智能系统有限公司 | 信息生成方法、装置、终端设备 |
| CN113409187A (zh) * | 2021-06-30 | 2021-09-17 | 深圳市斯博科技有限公司 | 漫画风格图像的转换方法、装置、计算机设备及存储介质 |
| CN113409187B (zh) * | 2021-06-30 | 2023-08-15 | 深圳万兴软件有限公司 | 漫画风格图像的转换方法、装置、计算机设备及存储介质 |
| CN113592970B (zh) * | 2021-07-28 | 2024-04-12 | 网易（杭州）网络有限公司 | 毛发造型的生成方法及装置、电子设备、存储介质 |
| CN113592970A (zh) * | 2021-07-28 | 2021-11-02 | 网易（杭州）网络有限公司 | 毛发造型的生成方法及装置、电子设备、存储介质 |
| CN113989441A (zh) * | 2021-11-16 | 2022-01-28 | 北京航空航天大学 | 基于单张人脸图像的三维漫画模型自动生成方法及系统 |
| CN113989441B (zh) * | 2021-11-16 | 2024-05-24 | 北京航空航天大学 | 基于单张人脸图像的三维漫画模型自动生成方法及系统 |
| CN114581569A (zh) * | 2022-02-21 | 2022-06-03 | 华南理工大学 | 基于代理引导域适应的外观保持的人脸图像动漫化方法 |
| CN115100334A (zh) * | 2022-08-24 | 2022-09-23 | 广州极尚网络技术有限公司 | 一种图像描边、图像动漫化方法、设备及存储介质 |
| CN115100334B (zh) * | 2022-08-24 | 2022-11-25 | 广州极尚网络技术有限公司 | 一种图像描边、图像动漫化方法、设备及存储介质 |
| CN116310008B (zh) * | 2023-05-11 | 2023-09-19 | 深圳大学 | 一种基于少样本学习的图像处理方法及相关设备 |
| CN116310008A (zh) * | 2023-05-11 | 2023-06-23 | 深圳大学 | 一种基于少样本学习的图像处理方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112258387A (zh) | 一种基于人脸照片生成漫画人像的图像转换系统及方法 | |
| CN109741247B (zh) | 一种基于神经网络的肖像漫画生成方法 | |
| Zheng et al. | Pointavatar: Deformable point-based head avatars from videos | |
| Chen et al. | Example-based composite sketching of human portraits | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| Liao et al. | Automatic caricature generation by analyzing facial features | |
| CN111508048B (zh) | 一种可交互任意形变风格人脸漫画自动生成方法 | |
| CN111489287A (zh) | 图像转换方法、装置、计算机设备和存储介质 | |
| US11024060B1 (en) | Generating neutral-pose transformations of self-portrait images | |
| CN102881011A (zh) | 基于区域分割的肖像光照迁移方法 | |
| Li et al. | Guided face cartoon synthesis | |
| CN109191366B (zh) | 基于人体姿态的多视角人体图像合成方法及装置 | |
| Sadimon et al. | Computer generated caricature: A survey | |
| CN113628327A (zh) | 一种头部三维重建方法及设备 | |
| JP7488436B2 (ja) | 畳み込みニューラルネットワークスタイル転送を使用したグラフィックデザインの作成の自動化 | |
| CN110135277B (zh) | 一种基于卷积神经网络的人体行为识别方法 | |
| US20240029345A1 (en) | Methods and system for generating 3d virtual objects | |
| CN112837210A (zh) | 一种基于特征图分块的多形变风格人脸漫画自动生成方法 | |
| KR20230085931A (ko) | 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템 | |
| Wang et al. | Digital twin: Acquiring high-fidelity 3D avatar from a single image | |
| He | Application of local color simulation method of landscape painting based on deep learning generative adversarial networks | |
| Danieau et al. | Automatic generation and stylization of 3d facial rigs | |
| CN111476899A (zh) | 基于单视点rgb相机的人手稠密纹理坐标三维重建方法 | |
| Jin et al. | A Semi-Automatic Oriental Ink Painting Framework for Robotic Drawing From 3D Models | |
| CN113763536A (zh) | 一种基于rgb图像的三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210122 |