CN115239549B - 一种表情可编辑的人脸照片夸张化漫画的智能生成方法 - Google Patents

一种表情可编辑的人脸照片夸张化漫画的智能生成方法 Download PDF

Info

Publication number
CN115239549B
CN115239549B CN202210818165.4A CN202210818165A CN115239549B CN 115239549 B CN115239549 B CN 115239549B CN 202210818165 A CN202210818165 A CN 202210818165A CN 115239549 B CN115239549 B CN 115239549B
Authority
CN
China
Prior art keywords
cartoon
exaggeration
photo
exaggerated
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210818165.4A
Other languages
English (en)
Other versions
CN115239549A (zh
Inventor
贾金原
黄安宁
张乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202210818165.4A priority Critical patent/CN115239549B/zh
Publication of CN115239549A publication Critical patent/CN115239549A/zh
Application granted granted Critical
Publication of CN115239549B publication Critical patent/CN115239549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种表情可编辑的人脸照片夸张化漫画的智能生成方法。我们创新性地提出了夸张化参数分析模块，分析人脸照片和参考漫画的情感、脸型及五官特点，自动匹配最合适的夸张化草图，基于三维夸张化方法对分割图进行夸张化，并支持液化表情编辑模块进行二次修改。生产夸张化分割图之后，我们将分割图与参考漫画作为输入，采用基于StyleGAN的方法进行风格转换，从而生成具有多种夸张风格，极具艺术性的漫画。本文的实验结果以及用户评测均证实了我们的系统简单有效，对比于现有漫画生成方法，我们第一个提出了对漫画整体与细节进行编辑，具有显著创新性和良好的效果。

Description

一种表情可编辑的人脸照片夸张化漫画的智能生成方法
技术领域
本发明涉及漫画人脸生成等技术领域，特别是涉及一种表情可编辑的人脸照片夸张化漫画的智能生成方法。
背景技术
漫画是通过素描、铅笔笔画或其他艺术绘图，把描绘的对象的特征以简化或夸张的方式表现出来的图像。与卡通画不同的是，卡通画是一种插图，有时是动画，通常采用非写实或半写实的风格，而讽刺画往往通过夸大面部特征传达了一种讽刺和幽默，达到能够让人们迅速辨认出身份的效果。在互联网时代，追求个性的人们总是希望在社交活动中获得自己的喜剧形象，与朋友互动，从而将朋友和家人聚在一起，以获得愉快的互动体验。讽刺画的生产是一项艰巨的体力劳动，它要求创作者具有一定的艺术素质和创造力，需要很高的时间成本。因此只有小部分人能够获得他们的夸张艺术形象。为了满足广大用户的需求，我们的目标是自动的生成具有艺术特征的手绘讽刺画。
自1985年Brennan提出第一个讽刺画生成系统以来，许多方法和计算机辅助讽刺画生成系统都取得了长足的进步。在生成讽刺画的早期，大多数研究人员专注于夸张脸部的形状，但他们没有考虑到身份信息以及漫画和面部照片之间的纹理差异。近年来，深度神经网络在图像到图像转换方面取得了很大的进步。但是，基于GAN的图像转换方法仅专注于纹理样式的转换，而不会更改面部几何形状。实际上，一副合格讽刺画是需要考虑到变形和艺术家手绘风格两个方面的内容的。因此，在随后的工作中，许多研究人员开始将纹理变换和几何夸张结合起来，以生成更具画家特色的手绘讽刺画。但是，尽管这些讽刺画有多种纹理样式，它们大多数仅具有一种变形样式。由于在现实世界中，不同的艺术家对同一张照片可能绘制不同夸张风格的讽刺画，有研究者开始在最近的研究中尝试实现多种夸张风格。但是这种方法需要对照片和漫画进行语义分割，用户控制操作较为不便，而且只能选择现有的漫画夸张风格，不能构造自己想要的夸张细节。现有的手绘讽刺画生成方法所存在的问题总结如下：
(1)缺少草图和三维讽刺画PCA参数对应的数据集
(2)目前的方法无法在生成漫画的同时对漫画进行夸张化编辑。
(3)参照平面讽刺画夸张风格时，如果角度不同容易造成变形不当的问题，无法对不同角度的照片进行合理的风格化。
(4)目前方法生成的手绘讽刺画往往具有眼睛，牙齿这些细节模糊的问题。
无论是由画家生成还是由神经网络生成，讽刺画的生成主要由两个步骤组成：(a)夸张合理的面部特征，以及(b)渲染新的纹理样式。在本文中，为了解决上述问题，我们旨在创建一条自动的端到端技术路线，提出了利用三维形状夸张化网络来辅助二维讽刺画创作的草图驱动的表情夸张化网络结构——SketchExpCariNet，生成多纹理，变形风格的讽刺画。我们的手绘讽刺画生成网络不仅学习了照片和讽刺画的全局特征，还对眼睛，牙齿这些区域提取了局部特征，使生成的讽刺画细节丰富，接近艺术家手绘风格。同时，我们的三维形状夸张化网络通过学习用户输入照片的身份特征和的夸张特征，获取夸张的3d特征点，实现对面部特征的夸大，让生成的手绘漫画同时具有多风格面部夸张的特点。
本发明的贡献可归纳如下：
(1)生成了一个大规模夸张风格的和对应PCA参数的数据集，以及构造了漫画与深度分割图数据集。
(2)提出了三维夸张化辅助手绘讽刺画生成的端到端的方法，能够产生更加合适的变形。
(3)提出利用分割图作为中间域，能够很好的解耦几何形状和纹理，解决了目前讽刺画生成中五官模糊的问题。
(4)提出了根据照片表情以及参考漫画形状特征匹配夸张化草图作为夸张参考的方法，不但能解决表情不匹配问题，也能在参考漫画纹理风格的同时学到漫画的夸张化风格。
发明内容
本发明的目的是提供一种表情可编辑的人脸照片夸张化漫画的智能生成方法。本发明给出了一种利用三维形状夸张化网络来辅助二维夸张漫画创作的的全新技术路线。该方法操作简单方便，并且可以进行任意变形来制作各种表情效果。为实现上述目的，本发明提供了如下方案：
1、一种表情可编辑的人脸照片夸张化漫画的智能生成方法，其特征在于，包括以下步骤：
在漫画生成任务中，有照片域X和漫画域Y。目标是找到映射F:X→Y。将深度语义分割映射引入作为中间域Z＝{Zx,Zy}，其中，Zx表示“PhotoMask”的域，即照片的语义分割，Zy表示“CariMask”的域，即漫画的语义分割；
S1，从照片中获取分割图，并通过夸张参数分析模块，对输入照片的情感信息，参考漫画的面部属性信息及几何组成进行分析，匹配到一张最合适的夸张化草图，用于夸张化网络；
S2，根据分析结果，使用我们提出的草图驱动的表情夸张化网络(SketchExpCariNet)预测面部形变关键点，并以此为依据对面部分割图进行形变，得到夸张化的面部分割图。对于形变后的分割图，用户可使用基于液化算法的在线交互式编辑模块进行更加细化的编辑(包含轮廓编辑以及面部细节编辑)；
S3，使用夸张化分割图的风格转换网络(CariMaskStyGAN)，基于 StyleGAN方法，提取出参考漫画的纹理特征，由夸张化漫画分割图获得风格与参考漫画一致的漫画结果，完成夸张化面部分割图到漫画的转换。
2、根据权利要求1所述的表情可编辑的人脸照片夸张化漫画的智能生成方法，其特征在于，所述步骤S1，从照片中获取分割图，并通过夸张参数分析模块，对输入照片的情感信息，参考漫画的面部属性信息及几何组成进行分析，匹配到一张最合适的夸张化草图，用于夸张化网络，具体包括：
S101，对输入的人脸照片进行语义分割：
使用经典的人脸语义分割网络对照片进行语义分割，生成面部分割图；
S102，对输入照片进行情感分析：
对照片的情感进行分类。对照片进行人脸表情到情感的量化解析，将人脸表情映射至人类七大情感之一，生成情感标签，解决照片与参考漫画的表情不一致问题；
S103，对输入参考漫画的进行夸张特征分析：
通过属性判别器判别脸型等局部信息，分析漫画面部的几何组成结构，从夸张化草图数据集中找出一个合适的夸张化草图；
S104，通过投影获得每个3DMM参数向量对应的夸张化：
我们在一个模板网格上预标记35个特征点，这些特征点定位于面部轮廓和面部特征的轮廓，如眼睛、鼻子和嘴巴。由于所有的3D漫画都具有相同的拓扑结构，我们可以很容易地在每个网格上获得这些特征点，并将它们投射到 2D平面上。通过从语义上连接这些2D面部特征点，我们制作了10,000个夸张化草图。从而得到夸张化草图和相应的3DMM参数向量。
3、根据权利要求1所述的表情可编辑的人脸照片夸张化漫画的智能生成方法，其特征在于，所述步骤S2，根据分析结果，使用我们提出的草图驱动的表情夸张化网络(SketchExpCariNet)预测面部形变关键点，并以此为依据对面部分割图进行形变，得到夸张化的面部分割图。对于形变后的分割图，用户可使用基于液化算法的在线交互式编辑模块进行更加细化的编辑(包含轮廓编辑以及面部细节编辑)，具体包括：
S201，分别对照片与夸张化草图进行三维建模，将两者结合生成夸张化三维模型：
通过Id-Net与Cari-Net分别对照片和夸张化草图进行建模，生成真实人脸模型与夸张化人脸的3DMM参数，将两者结合起来生成夸张化三维模型；
S202，对真实面部分割图的特征点进行夸张，获得夸张化人脸分割图：
将夸张化三维模型中的面部特征点进行投影，可以获得夸张化的二维面部特征点。根据照片特征点与夸张化特征点，可以对人脸分割图进行夸张，从而实现了照片分割图到漫画分割图的转换；
S203，进一步使用液化工具对分割图进行交互变形操作。
4、根据权利要求1所述的表情可编辑的人脸照片夸张化漫画的智能生成方法，其特征在于，所述步骤S3，设计夸张化分割图的风格转换网络 (CariMaskStyGAN)，使用S1中生成的数据集{Y,Zy}进行训练，根据参考样式获得漫画深度分割图和漫画之间的映射，具体包括：
S301，语义细节预处理与编辑；
对于输入图像我们使用一组定向Gabor内核过滤器来过滤它，获得照片的细节(发丝，胡须，皱纹等)。生成的结果将被添加到训练分割图中。预处理以后，我们可以通过涂抹的方式对细节进行一步编辑，比如添加发丝，皱纹，睫毛等面部细节；
S302，由编辑好的夸张化分割图和参考漫画，获得不同风格的漫画。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图只是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中分割图驱动的人脸照片转换为漫画并在线编辑方法的流程图；
图2为本发明中分割图数据集示意图；
图3为本发明中漫画细节数据集示意图；
图4为本发明中草图驱动的表情夸张化网络SketchExpCariNet示意图；
图5为本发明中夸张化分割图风格化示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种表情可编辑的人脸照片夸张化漫画的智能生成方法，为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供一种表情可编辑的人脸照片夸张化漫画的智能生成方法，包括以下步骤：
在漫画生成任务中，有照片域X和漫画域Y。目标是找到映射F:X→Y。将深度语义分割映射引入作为中间域Z＝{Zx,Zy}，其中，Zx表示“PhotoMask”的域，即照片的语义分割，Zy表示“CariMask”的域，即漫画的语义分割；
S1，从照片中获取分割图，并通过夸张参数分析模块，对输入照片的情感信息，参考漫画的面部属性信息及几何组成进行分析，匹配到一张最合适的夸张化草图，用于夸张化网络；
S2，根据分析结果，使用我们提出的草图驱动的表情夸张化网络(SketchExpCariNet)预测面部形变关键点，并以此为依据对面部分割图进行形变，得到夸张化的面部分割图。对于形变后的分割图，用户可使用基于液化算法的在线交互式编辑模块进行更加细化的编辑(包含轮廓编辑以及面部细节编辑)；
S3，使用夸张化分割图的风格转换网络(CariMaskStyGAN)，基于 StyleGAN方法，提取出参考漫画的纹理特征，由夸张化漫画分割图获得风格与参考漫画一致的漫画结果，完成夸张化面部分割图到漫画的转换。
1、根据权利要求1所述的表情可编辑的人脸照片夸张化漫画的智能生成方法，其特征在于，所述步骤S1，从照片中获取分割图，并通过夸张参数分析模块，对输入照片的情感信息，参考漫画的面部属性信息及几何组成进行分析，匹配到一张最合适的夸张化草图，用于夸张化网络，具体包括：
S101，对输入的人脸照片进行语义分割：
使用经典的人脸语义分割网络对照片进行语义分割，生成面部分割图。
面部分割图数据集如图2所展示；
S102，对输入照片进行夸张参数分析：
对照片的情感进行分类。对照片进行人脸表情到情感的量化解析，将人脸表情映射至人类七大情感之一，生成情感标签，解决照片与参考漫画的表情不一致问题；
S103，对输入参考漫画的进行夸张特征分析：
通过属性判别器判别脸型等局部信息，分析漫画面部的几何组成结构，从夸张化草图数据集中找出一个合适的夸张化草图，实现草图与参考漫画形状的一致化；
S104，通过投影获得每个3DMM参数向量对应的夸张化：
最后，我们在一个模板网格上预标签35的特征点，这些特征点定位于面部轮廓和面部特征的轮廓，如眼睛、鼻子和嘴巴。由于所有的3D漫画都具有相同的拓扑结构，我们可以很容易地在每个网格上获得这些特征点，并将它们投射到2D平面上。通过从语义上连接这些2D面部地标，我们制作了10,000 个夸张化草图。从而得到夸张化草图和相应的3DMM参数向量。
为参数化的进行夸张，我们还提出了漫画的夸张度公式：
其中，carii和photoi分别是数据集中相应的漫画和照片，ldmk(x)表示图像x的地标hi和wi表示面部区域的长度和宽度。
2、根据权利要求1所述的表情可编辑的人脸照片夸张化漫画的智能生成方法，其特征在于，所述步骤S2，根据分析结果，使用我们提出的草图驱动的表情夸张化网络(SketchExpCariNet)预测面部形变关键点，并以此为依据对面部分割图进行形变，得到夸张化的面部分割图。对于形变后的分割图，用户可使用基于液化算法的在线交互式编辑模块进行更加细化的编辑(包含轮廓编辑以及面部细节编辑)，具体包括：
S201，分别对照片与夸张化草图进行三维建模，将两者结合生成夸张化三维模型：
通过Id-Net与Cari-Net分别对照片和参考草图进行建模，生成真实人脸模型与夸张化人脸的3DMM参数，将两者结合起来生成夸张化三维模型。
SketchExpCariNet网络模型图如图4所示；
S202，对真实面部分割图的特征点进行夸张，获得夸张化人脸分割图：
将夸张化三维模型中的面部特征点进行投影，可以获得夸张化的二维面部特征点。根据照片特征点与夸张化特征点，可以对人脸分割图进行夸张，从而实现了照片分割图到漫画分割图的转换；
S203，进一步对分割图进行交互变形操作。
3、根据权利要求1所述的表情可编辑的人脸照片夸张化漫画的智能生成方法，其特征在于，所述步骤S3，设计夸张化分割图的风格转换网络 (CariMaskStyGAN)，使用S1中生成的数据集{Y,Zy}进行训练，根据参考样式获得漫画分割图和漫画之间的映射，具体包括：
S301，语义细节预处理；
对于输入图像我们使用一组定向Gabor内核过滤器来过滤它，获得照片的细节(发丝，胡须，皱纹等)。生成的结果将被添加到训练分割图中。
漫画细节数据集如图2所示；
S302，由夸张化分割图和参考漫画，获得不同风格的漫画；
如图5所示为夸张化分割图的风格转换网络(CariMaskStyGAN)示意图。首先将参考漫画输入编码器，得到在StyleGAN的w空间中的特征向量，将这个特征向量分为三个部分(分别控制粗略的轮廓，细节的轮廓和纹理)分别输入三个尺度的网络提取特征，并将提取出的特征与由照片映射得到的特征向量相加，再输入StyleGAN生成器，就可以得到具有参考漫画风格的漫画；
S303，通过对分割图涂抹以及液化编辑等方式，对漫画进行编辑。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本申请中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (3)

1.一种表情可编辑的人脸照片夸张化漫画的智能生成方法，其特征在于，包括以下步骤：
在漫画生成任务中，有照片域X和漫画域Y，目标是找到映射F:X→Y，将深度语义分割映射引入作为中间域Z＝{Zx,Zy}，其中，Zx表示照片语义分割图域，Zy表示漫画语义分割图域；
S1，从照片中获取分割图，并通过夸张参数分析模块，对输入照片的情感信息，参考漫画的面部属性信息及几何组成进行分析，匹配到一张最合适的夸张化草图，用于夸张化网络；
S2，根据分析结果，使用草图驱动的表情夸张化网络，该表情夸张化网络名为SketchExpCariNet，用于预测面部形变关键点，并以此为依据对面部分割图进行形变，得到夸张化的面部分割图；对于形变后的分割图，用户可使用基于液化算法的在线交互式编辑模块进行更加细化的编辑，该编辑包含轮廓编辑以及面部细节编辑；
S3，使用夸张化分割图的风格转换网络，该风格转换网络为CariMaskStyGAN，基于StyleGAN方法，提取出参考漫画的纹理特征，由夸张化漫画分割图获得风格与参考漫画一致的漫画结果，完成夸张化面部分割图到漫画的转换；
所述步骤S1，从照片中获取分割图，并通过夸张参数分析模块，对输入照片的情感信息，参考漫画的面部属性信息及几何组成进行分析，匹配到一张最合适的夸张化草图，用于夸张化网络，具体包括：
S101，对输入的人脸照片进行语义分割：
使用经典的人脸语义分割网络对照片进行语义分割，生成面部分割图；
S102，对输入照片进行夸张参数分析：
对照片的情感进行分类，对照片进行人脸表情到情感的量化解析，将人脸表情映射至人类七大情感之一，生成情感标签，解决照片与参考漫画的表情不一致问题；
S103，对输入参考漫画的进行夸张特征分析：
通过属性判别器判别脸型的局部信息，分析漫画面部的几何组成结构，从夸张化草图数据集中找出一个合适的夸张化草图；
S104，通过投影获得每个3DMM参数向量对应的夸张化：
在一个模板网格上预标签35个特征点，这些特征点定位于面部轮廓和面部特征的轮廓；由于所有的3D漫画都具有相同的拓扑结构，在每个网格上获得这些特征点，并将它们投射到2D平面上；通过连接这些2D面部特征点，制作10,000个夸张化草图；从而得到夸张化草图和相应的3DMM参数向量。
2.根据权利要求1所述的表情可编辑的人脸照片夸张化漫画的智能生成方法，其特征在于，所述步骤S2，根据分析结果，使用我们提出的草图驱动的表情夸张化网络，来预测面部形变关键点，并以此为依据对面部分割图进行形变，得到夸张化的面部分割图，对于形变后的分割图，用户可使用基于液化算法的在线交互式编辑模块进行更加细化的编辑，包含轮廓编辑以及面部细节编辑，具体包括：
S201，分别对照片与夸张化草图进行三维建模，将两者结合生成夸张化三维模型：
通过Id-Net与Cari-Net分别对照片和夸张化草图进行建模，生成真实人脸模型与夸张化人脸的3DMM参数，将两者结合起来生成夸张化三维模型；
S202，对真实面部分割图的特征点进行夸张，获得夸张化人脸分割图：
将夸张化三维模型中的面部特征点进行投影，获得夸张化的二维面部特征点，根据照片特征点与夸张化特征点，对人脸分割图进行夸张，从而实现了照片深度分割图到漫画深度分割图的转换。
3.根据权利要求1所述的表情可编辑的人脸照片夸张化漫画的智能生成方法，其特征在于，所述步骤S3，设计夸张化分割图的风格转换网络，使用S1中生成的数据集{Y,Zy}进行训练，根据参考样式获得漫画深度分割图和漫画之间的映射，具体包括：
S301，语义细节预处理；
对于输入图像我们使用一组定向Gabor内核过滤器来过滤它，获得照片的细节，生成的结果将被添加到训练分割图中；
S302，由夸张化分割图和参考漫画，获得不同风格的漫画；
S303，通过对分割图涂抹以及液化编辑的方式，对漫画进行编辑。
CN202210818165.4A 2022-07-12 2022-07-12 一种表情可编辑的人脸照片夸张化漫画的智能生成方法 Active CN115239549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210818165.4A CN115239549B (zh) 2022-07-12 2022-07-12 一种表情可编辑的人脸照片夸张化漫画的智能生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210818165.4A CN115239549B (zh) 2022-07-12 2022-07-12 一种表情可编辑的人脸照片夸张化漫画的智能生成方法

Publications (2)

Publication Number Publication Date
CN115239549A CN115239549A (zh) 2022-10-25
CN115239549B true CN115239549B (zh) 2023-05-16

Family

ID=83672537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210818165.4A Active CN115239549B (zh) 2022-07-12 2022-07-12 一种表情可编辑的人脸照片夸张化漫画的智能生成方法

Country Status (1)

Country Link
CN (1) CN115239549B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402394A (zh) * 2020-02-13 2020-07-10 清华大学 三维夸张漫画人脸生成方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7247587B2 (ja) * 2019-01-09 2023-03-29 凸版印刷株式会社 画像スタイル変換装置、画像スタイル変換方法、及びプログラム
CN112489173A (zh) * 2020-12-11 2021-03-12 杭州格像科技有限公司 人像照片漫画生成的方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402394A (zh) * 2020-02-13 2020-07-10 清华大学 三维夸张漫画人脸生成方法及装置

Also Published As

Publication number Publication date
CN115239549A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
Chen et al. Deep generation of face images from sketches
Han et al. DeepSketch2Face: a deep learning based sketching system for 3D face and caricature modeling
Liao et al. Tada! text to animatable digital avatars
Chen et al. Example-based composite sketching of human portraits
Chen et al. PicToon: a personalized image-based cartoon system
US9734613B2 (en) Apparatus and method for generating facial composite image, recording medium for performing the method
Mehra et al. Abstraction of man-made shapes
CN105956995B (zh) 一种基于实时视频本征分解的人脸外观编辑方法
Cong Art-directed muscle simulation for high-end facial animation
Ren et al. Two-stage sketch colorization with color parsing
Qian et al. Aesthetic art simulation for embroidery style
Zhang et al. Styleavatar3d: Leveraging image-text diffusion models for high-fidelity 3d avatar generation
Li et al. ColorSketch: A drawing assistant for generating color sketches from photos
Lee et al. Emotion-inspired painterly rendering
Huo et al. CAST: Learning both geometric and texture style transfers for effective caricature generation
Yu et al. Mean value coordinates–based caricature and expression synthesis
CN115239549B (zh) 一种表情可编辑的人脸照片夸张化漫画的智能生成方法
CN110473276A (zh) 一种高效率三维动漫生产方法
Sucontphunt et al. Crafting 3d faces using free form portrait sketching and plausible texture inference
Luo et al. SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling
Zhang et al. Cartoon face synthesis based on Markov Network
Ye Evolution and Application of Artificial Intelligence Art Design Based on Machine Learning Algorithm
Sistla et al. A state-of-the-art review on image synthesis with generative adversarial networks
Clocchiatti et al. Character Animation Pipeline based on Latent Diffusion and Large Language Models
Bagwari et al. An edge filter based approach of neural style transfer to the image stylization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant