CN111275778B - 人脸简笔画生成方法及装置 - Google Patents
人脸简笔画生成方法及装置 Download PDFInfo
- Publication number
- CN111275778B CN111275778B CN202010016612.5A CN202010016612A CN111275778B CN 111275778 B CN111275778 B CN 111275778B CN 202010016612 A CN202010016612 A CN 202010016612A CN 111275778 B CN111275778 B CN 111275778B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- model
- part area
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000005520 cutting process Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 14
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000012805 post-processing Methods 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 230000003042 antagnostic effect Effects 0.000 claims 1
- 238000003860 storage Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 210000004709 eyebrow Anatomy 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种人脸简笔画生成方法及装置，包括：识别人脸图像中人脸各部位区域；从人脸图像中裁剪出每一部位区域对应的图像块；将人脸图像输入已训练的全局肖像生成模型，以使全局肖像生成模型生成所述人脸图像的全局人脸简笔画；针对每一部位区域的图像块，将该图像块输入该部位区域对应的局部肖像生成模型，以使局部肖像生成模型生成该部位区域的局部人脸简笔画；将全局人脸简笔画和各个局部人脸简笔画进行融合得到最终人脸简笔画。本发明旨在将人脸不同部位之间的差异性考虑在内，以克服人脸不同部位图像域表示对简笔画合成质量的影响，结合不同部位区域在简笔画中的表示模式，合成清晰美观、纹理逼真的高质量人脸简笔画。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种人脸简笔画生成方法及装置。
背景技术
将人脸图像转换为简笔画，在公共安全领域和数字娱乐领域均具有很重要的应用价值。
在传统图像处理方法中，如果要使生成的简笔画效果好，需要图像处理方法的运算复杂度很高，这难以满足实时性的需求，随着机器学习技术的发展，基于机器学习的图像处理技术比传统的图像处理技术运算速度高且精确度也高，因此衍生出很多由人脸图像生成简笔画的机器学习模型。
然而，这些机器学习模型由人脸图像生成的简笔画的鲁棒性很差，人脸不同区域在图像和简笔画中的外在表达存在很大差异，合成效果不佳。
发明内容
本发明的目的是针对上述现有技术的不足提出的一种人脸简笔画生成方法及装置，该目的是通过以下技术方案实现的。
本发明的第一方面提出了一种人脸简笔画生成方法，所述方法包括：
从接收到的图像中裁剪出人脸图像，并识别所述人脸图像中人脸各部位区域；
复制所述人脸图像并从复制的人脸图像中裁剪出每一部位区域对应的图像块；
将所述人脸图像输入已训练的全局肖像生成模型，以使所述全局肖像生成模型生成所述人脸图像的全局人脸简笔画；
针对每一部位区域的图像块，将该图像块输入该部位区域对应的局部肖像生成模型，以使所述局部肖像生成模型生成该部位区域的局部人脸简笔画；
将所述全局人脸简笔画和各个局部人脸简笔画进行融合，得到最终人脸简笔画。
本发明的第二方面提出了一种人脸简笔画生成装置，所述装置包括：
识别模块，用于从接收到的图像中裁剪出人脸图像，并识别所述人脸图像中人脸各部位区域；
裁剪模块，用于复制所述人脸图像并从复制的人脸图像中裁剪出每一部位区域对应的图像块；
全局合成模块，用于将所述人脸图像输入已训练的全局肖像生成模型，以使所述全局肖像生成模型生成所述人脸图像的全局人脸简笔画；
局部合成模块，用于针对每一部位区域的图像块，将该图像块输入该部位区域对应的局部肖像生成模型，以使所述局部肖像生成模型生成该部位区域的局部人脸简笔画；
融合模块，用于将所述全局人脸简笔画和各个局部人脸简笔画进行融合，得到最终人脸简笔画。
在本发明实施例中，通过识别出人脸图像中人脸各不同部位区域，并生成各个部位区域对应的局部人脸简笔画，然后通过将全局人脸简笔画和不同部位区域的局部人脸简笔画融合得到最终的人脸简笔画，以克服人脸不同部位图像域表示对简笔画合成质量的影响，从而结合不同部位区域在简笔画中的表示模式，可以合成清晰美观、纹理逼真的高质量人脸简笔画。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明根据一示例性实施例示出的一种人脸简笔画生成方法的实施例流程图；
图2为本发明示出的一种人脸不同部位区域的分割示意图；
图3为本发明示出的一种全局人脸简笔画与各局部人脸简笔画融合流程示意图；
图4为本发明根据一示例性实施例示出的一种电子设备的硬件结构图；
图5为本发明根据一示例性实施例示出的一种人脸简笔画生成装置的实施例流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
由于现有机器学习模型采用的是全局合成策略，因此难以在所有区域得到高质量效果，为了提升现有机器学习模型合成人脸简笔画的质量，本发明提出的人脸简笔画生成方法，旨在将人脸不同部位之间的差异性考虑在内，以克服人脸不同部位图像域表示对简笔画合成质量的影响，结合不同部位区域在简笔画中的表示模式，合成清晰美观、纹理逼真的高质量人脸简笔画。
下面以具体实施例对本发明提出的人脸简笔画生成方法进行详细说明。
图1为本发明根据一示例性实施例示出的一种人脸简笔画生成方法的实施例流程图，所述人脸简笔画生成方法可以应用于电子设备(如PC机、终端、服务器等设备)上。如图1所示，所述人脸简笔画生成方法包括如下步骤：
步骤101：从接收到的图像中裁剪出人脸图像，并识别所述人脸图像中人脸各部位区域。
在一实施例中，针对从接收到的图像中裁剪出人脸图像的过程，可以通过将所述图像输入已训练的人脸检测模型，以使所述人脸检测模型检测所述图像中的人脸，并预测人脸关键点的位置，进而依据所述人脸关键点的位置对所述图像进行仿射变换，以校正所述图像中的人脸，最后从仿射变换后的图像中裁剪出设定尺寸的人脸图像。
其中，人脸关键点可以包括左眼中心、右眼中心、鼻尖、两个嘴角等关键位置。通过仿射变换可以校正图像中的人脸。可选的，通过仿射变换可以使图像中人脸的左眼和右眼位于水平位置，且左眼与右眼之间为设定像素距离。
例如，通过仿射变换可以将左眼与右眼调整到水平位置，且两眼之间调整为120个像素距离，在进行裁剪时，可以沿两眼到图像上边缘距离为250个像素的边界开始，裁剪出512*512像素大小的人脸图像，且两眼中心点位于人脸图像的垂直中心线上。
本领域技术人员可以理解的是，人脸检测模型可以采用相关技术中实现，本发明对人脸检测模型的具体实现方式不进行限定，如可以采用MTCNN模型进行人脸关键点检测。
在一实施例中，针对识别人脸图像中人脸各部位区域的过程，可以通过将所述人脸图像输入已训练的人脸解析模型，以使所述人脸解析模型对所述人脸图像中的人脸各部位区域进行分割，得到各部位区域在人脸图像中的位置。
其中，人脸各部位区域可以包括左眉、右眉、左眼、右眼、鼻子、嘴部等六个部位区域。
示例性的，人脸解析模型可以输出人脸图像对应的像素级标签掩码图，掩码图中不同的标签表示人脸的不同部位区域。可选的，在使用人脸解析模型对人脸图像进行分割时，还可以分割出人脸图像中的面部、头发、颈部、躯干以及背景等六个区域。
参见图2，为由人脸解析模型输出的11个区域对应的解析结果，由图2所示，11个区域包括左眉、右眉、左眼、右眼、鼻子、嘴部、面部、头发、颈部、躯干以及背景。
基于此，人脸解析模型输出包含11个区域的掩码图，掩码图中各个区域的像素值可以由标签n∈{0,1,...,10}依次表示。
需要说明的是，人脸解析模型输出的掩码图与上述裁剪出的人脸图像尺寸大小相同。
进一步地，为了避免背景对生成简笔画的影响，还可以将人脸图像中的背景区域包含的像素值全部置为预设像素值。可选的，预设像素值可以是白色像素值或黑色像素值。
步骤102：复制所述人脸图像并从复制的人脸图像中裁剪出每一部位区域对应的图像块。
步骤103：将所述人脸图像输入已训练的全局肖像生成模型，以使所述全局肖像生成模型生成所述人脸图像的全局人脸简笔画。
在执行步骤103之前，需要构建全局肖像生成模型G并对其训练，构建的全局肖像生成模型包括输入模块、编码模块、风格自适应模块和解码模块，其训练过程可以包括：
(1)获取人脸图像集和简笔画风格图像集；
在具体实施时，可以从CelebA、CelebA-HQ和LFW数据集中获取每一帧图像，并对图像执行上述步骤101中从图像裁剪人脸图像的过程后，将裁剪出的人脸图像添加到人脸图像集；或者也可以对实际应用场景中采集到的人脸图像执行上述步骤101中从图像裁剪人脸图像的过程后，将裁剪出的人脸图像添加到人脸图像集。
另外，可以通过网络搜索或专门绘制方式获得多种不同风格的简笔画作为简笔画风格图像集。
(2)输入模块每次从人脸图像集和简笔画风格图像集中分别选取一对人脸图像x和简笔画风格图像s输入编码模块；
(3)编码模块分别提取人脸图像x的深度特征图Fx和简笔画风格图像s的深度特征图Fs并输出给风格自适应模块；
可选的，编码模块可以采用VGGFace特征提取器。
(4)风格自适应模块利用Fx和Fs计算风格特征图并输出给解码模块，风格特征图计算公式如下：
其中，μx和σx分别是Fx的均值和标准差，μs和σs分别是Fs的均值和标准差；
(5)解码模块基于风格特征图解码合成全局人脸简笔画G(x,s)；
在具体实施时，解码模块可以包括多个转置卷积层、归一化层和激活层。
(6)基于全局人脸简笔画G(x,s)和人脸图像x计算损失值，以采用迭代方式基于损失值优化解码模块中的参数，得到训练好的全局肖像生成模型G*；
在具体实施时，损失函数可以包括内容损失、风格损失和一致性损失：
对于内容损失是旨在使全局人脸简笔画G(x,s)与人脸图像x的特征分布一致，其计算公式如下：
其中，表示编码模块，即/>表示人脸图像x输入编码模块后，经过第j个计算层的特征图，/>表示全局人脸简笔画G(x,s)输入编码模块后，经过第j个计算层的特征图，Cj、Hj和Wj分别为第j个计算层输出的特征图的通道数、长度、宽度。
对于风格损失表示全局人脸简笔画G(x,s)与简笔画风格图像s的Gram矩阵之间差异的Frobenius范数，其计算公式如下：
其中，Gram(·)表示Gram矩阵，即表示全局人脸简笔画G(x,s)输入编码模块后，经过第k个计算层输出的特征图的Gram矩阵，/>表示简笔画风格图像s输入编码模块后，经过第k个计算层输出的特征图的Gram矩阵。
对于一致性损失，是指当将简笔画风格图像s同时作为内容图像和分格图像输入全局肖像生成模型中，即x＝s，最终能够重构s，其计算公式如下：
Lidentity,g(s,G(s,s))＝||s-G(s,s)||1 (公式4)
其中，s为合成的简笔画风格图像，G(s,s)表示将两张合成的简笔画风格图像s同时输入全局肖像生成模型中得到的结果。
基于上述内容损失、风格损失和一致性损失进行加权求和，获得全局肖像生成模型的损失值，加权公式如下：
Lglobal＝Lcontent,g+λLstyle,g+βLidentity,g (公式5)
其中，λ≥0，β≥0。
基于上述训练过程，所述全局肖像生成模型生成所述人脸图像的全局人脸简笔画的流程为：通过本全局肖像生成模型中的输入模块获取简笔画风格图像，并将所述简笔画风格图像和所述人脸图像输出给本全局肖像生成模型中的编码模块；所述编码模块分别提取所述简笔画风格图像的第一特征图和所述人脸图像的第二特征图并输出给本全局肖像生成模型中的风格自适应模块；所述风格自适应模块基于所述第一特征图和所述第二特征图获得风格特征图并输出给本全局肖像生成模型中的解码模块；所述解码模块基于所述风格特征图合成全局人脸简笔画。
可选的，全局肖像生成模型中的输入模块获取简笔画风格图像的方式可以包括用户根据实际需求选定和系统随机选定两种方式。该简笔画风格图像来源于简笔画风格图像集。
步骤104：针对每一部位区域的图像块，将该图像块输入该部位区域对应的局部肖像生成模型，以使所述局部肖像生成模型生成该部位区域的局部人脸简笔画。
在执行步骤104之前，需要构建各部位区域对应的局部肖像生成模型并对其训练，可选的，构建的每一局部肖像生成模型可以包括编码器-解码器两部分，并采用U-Net结构连接；解码器和解码器均可以包括多个转置卷积层、归一化层和激活层。
需要说明的是，在训练局部肖像生成模型时，可以采用生成对抗网络GAN的模型结构进行训练，因此，在训练前还需要构建对应的判别模型。
针对各个部位区域对应的局部肖像生成模型的训练过程可以包括：获取包括人脸样本和对应的人脸简笔画样本的训练样本集，然后针对所述训练样本集中的每一人脸样本，识别该人脸样本中人脸各部位区域，并从该人脸样本中裁剪出每一部位区域对应的图像样本块p，并从对应的人脸简笔画样本中裁剪出每一部位区域对应的简笔画样本块q，进而针对每一部位区域，构建对应的局部肖像生成模型和判别模型，并利用该部位区域对应的图像样本块p和简笔画样本块q，以交替迭代方式训练所述局部肖像生成模型和所述判别模型。
其中，所述局部肖像生成模型输入为图像样本块p，输出为生成的局部人脸简笔画；所述判别模型输入分别为图像样本块p和生成的局部人脸简笔画，以及图像样本块p和简笔画样本块q，输出分别为图像样本块p和生成的局部人脸简笔画对应的第一判别结果，以及图像样本块p和简笔画样本块q对应的第二判别结果；
所述判别模型的判别损失由所述第一判别结果和所述第二判别结果得到，所述局部肖像生成模型的损失值由局部人脸简笔画与简笔画样本块q之间的重构损失和所述判别模型的判别损失得到。
基于上述步骤101的描述，部位区域包括左眼、右眼、左眉、右眉、鼻子以及嘴部六个区域，因此本发明中包括六个局部肖像生成模型。
假设裁剪的左眼、右眼、左眉、右眉、鼻子以及嘴部六个区域对应的图像样本块记为pi,i＝1,...,6，对应从真实的人脸简笔画样本中裁剪出来的简笔画样本块记为qi,i＝1,...,6。
以其中一个局部肖像生成模型Gi(i＝1,...,6)为例，详细说明训练流程：
(1)将相应的图像样本块pi输入局部肖像生成模型Gi，局部肖像生成模型Gi输出生成的局部人脸简笔画Gi(pi)；
(2)将局部人脸简笔画Gi(pi)和图像样本块pi同时输入判别模型Di，判别模型Di输出第一判别结果Di(pi,Gi(pi))，再将图像样本块pi和相应的简笔画样本块qi同时输入判别模型Di，判别模型Di输出第二判别结果Di(pi,qi)；
(3)由于局部肖像生成模型Gi和判别模型Di的训练采用的是迭代优化方式，因此在优化局部肖像生成模型Gi时，无需优化判别模型Di，在优化判别模型Di时，无需优化局部肖像生成模型Gi。
在优化局部肖像生成模型Gi时，对于局部肖像生成模型Gi的损失，包括重构损失和判别模型的判别损失：
其中，重构损失旨在使生成的局部人脸简笔画Gi(pi)和真实的简笔画样本块qi一致，计算公式如下：
在优化局部肖像生成模型Gi时，对于判别模型Di的判别损失旨在将输入的局部人脸简笔画Gi(pi)和图像样本块pi判别为真，其计算公式如下：
其中，Di(pi,Gi(pi))为局部人脸简笔画Gi(pi)和图像样本块pi的第一判别结果。
由(公式6)和(公式7)得到局部肖像生成模型Gi的损失值为其中，γ≥0。
在优化判别模型Di时，判别模型Di的损失值旨在将输入的局部人脸简笔画Gi(pi)和图像样本块pi判别为假，将输入的图像样本块pi和相应的简笔画样本块qi判别为真，计算公式如下：
其中，Di(pi,Gi(pi))为局部人脸简笔画Gi(pi)和图像样本块pi的第一判别结果，Di(pi,qi)为图像样本块pi和相应的简笔画样本块qi的第二判别结果。
需要说明的是，生成对抗网络GAN的模型结构中的判别模型只在训练局部肖像生成模型时，判别模型与局部肖像生成模型交替迭代优化，在应用局部肖像生成模型时，不需要判别模型参与。
步骤105：将所述全局人脸简笔画和各个局部人脸简笔画进行融合，得到最终人脸简笔画。
在一实施例中，可以针对识别得到的每一部位区域，将该部位区域在所述全局人脸简笔画中对应位置的像素值替换为该部位区域的局部人脸简笔画的像素值，然后对替换后的全局人脸简笔画进而后处理操作，得到最终人脸简笔画。
其中，所述后处理操作包括二值化、膨胀、闭操作、矢量化操作，以弥合较窄的间断和细长的沟壑，消除较小的空洞，填补轮廓线中的断裂以达到平滑轮廓的作用，使得生成的线条更加平滑，最终的人脸肖像简笔画更加简洁和美观。
参见图3所示，可以按照上述步骤101得到的各部位区域的位置将生成的左眉简笔画、右眉简笔画、左眼简笔画、右眼简笔画、鼻子简笔画以及嘴部简笔画替换全局人脸简笔画中相应位置的像素，得到灰度人脸简笔画，再对灰度人脸简笔画进行后处理操作，得到最终二值化的人脸简笔画。
在本实施例中，通过识别出人脸图像中人脸各不同部位区域，并生成各个部位区域对应的局部人脸简笔画，然后通过将全局人脸简笔画和不同部位区域的局部人脸简笔画融合得到最终的人脸简笔画，以克服人脸不同部位图像域表示对简笔画合成质量的影响，从而结合不同部位区域在简笔画中的表示模式，可以合成清晰美观、纹理逼真的高质量人脸简笔画。
图4为本发明根据一示例性实施例示出的一种电子设备的硬件结构图，该电子设备包括：通信接口401、处理器402、机器可读存储介质403和总线404；其中，通信接口401、处理器402和机器可读存储介质403通过总线404完成相互间的通信。处理器402通过读取并执行机器可读存储介质403中与人脸简笔画生成方法的控制逻辑对应的机器可执行指令，可执行上文描述的人脸简笔画生成方法，该方法的具体内容参见上述实施例，此处不再累述。
本发明中提到的机器可读存储介质403可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：易失存储器、非易失性存储器或者类似的存储介质。具体地，机器可读存储介质403可以是RAM(Random Access Memory，随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。
与前述人脸简笔画生成方法的实施例相对应，本发明还提供了人脸简笔画生成装置的实施例。
图5为本发明根据一示例性实施例示出的一种去除图像摩尔纹的装置的实施例流程图，所述人脸简笔画生成装置可以应用于电子设备上。如图5所示，所述人脸简笔画生成装置包括：
识别模块510，用于从接收到的图像中裁剪出人脸图像，并识别所述人脸图像中人脸各部位区域；
裁剪模块520，用于复制所述人脸图像并从复制的人脸图像中裁剪出每一部位区域对应的图像块；
全局合成模块530，用于将所述人脸图像输入已训练的全局肖像生成模型，以使所述全局肖像生成模型生成所述人脸图像的全局人脸简笔画；
局部合成模块540，用于针对每一部位区域的图像块，将该图像块输入该部位区域对应的局部肖像生成模型，以使所述局部肖像生成模型生成该部位区域的局部人脸简笔画；
融合模块550，用于将所述全局人脸简笔画和各个局部人脸简笔画进行融合，得到最终人脸简笔画。
在一可选实现方式中，所述识别模块510，具体用于在从接收到的图像中裁剪出人脸图像的过程中，将所述图像输入已训练的人脸检测模型，以使所述人脸检测模型检测所述图像中的人脸，并预测人脸关键点的位置；依据所述人脸关键点的位置对所述图像进行仿射变换，以将所述人脸关键点映射到仿射变换后的图像中的设定位置；依据所述设定位置从仿射变换后的图像中裁剪出设定尺寸的人脸图像。
在一可选实现方式中，所述识别模块510，具体用于在识别人脸图像中人脸各部位区域过程中，将所述人脸图像输入已训练的人脸解析模型，以使所述人脸解析模型对所述人脸图像中的人脸各部位区域进行分割，得到各部位区域在人脸图像中的位置。
在一可选实现方式中，所述全局合成模块530，具体用于通过本全局肖像生成模型中的输入模块获取简笔画风格图像，并将所述简笔画风格图像和所述人脸图像输出给本全局肖像生成模型中的编码模块；所述编码模块分别提取所述简笔画风格图像的第一特征图和所述人脸图像的第二特征图并输出给本全局肖像生成模型中的风格自适应模块；所述风格自适应模块基于所述第一特征图和所述第二特征图获得风格特征图并输出给本全局肖像生成模型中的解码模块；所述解码模块基于所述风格特征图合成全局人脸简笔画。
在一可选实现方式中，各部位区域对应的局部肖像生成模型的训练采用生成对抗网络GAN的模型结构进行训练。
在一可选实现方式中，所述装置还包括(图5中未示出)：
训练模块，用于获取包括人脸样本和对应的人脸简笔画样本的训练样本集；针对所述训练样本集中的每一人脸样本，识别该人脸样本中人脸各部位区域，并从该人脸样本中裁剪出每一部位区域对应的图像样本块p，并从对应的人脸简笔画样本中裁剪出每一部位区域对应的简笔画样本块q；针对每一部位区域，构建对应的局部肖像生成模型和判别模型，并利用该部位区域对应的图像样本块p和简笔画样本块q，以交替迭代方式优化所述局部肖像生成模型和所述判别模型；
其中，所述局部肖像生成模型输入为图像样本块p，输出为生成的局部人脸简笔画；所述判别模型输入为图像样本块p和生成的局部人脸简笔画，输出为图像样本块p和生成的局部人脸简笔画的第一判别结果，或者输入为图像样本块p和简笔画样本块q，输出为图像样本块p和简笔画样本块q的第二判别结果；所述判别模型的损失值由所述第一判别结果和所述第二判别结果得到，所述局部肖像生成模型的损失值由局部人脸简笔画与简笔画样本块q之间的重构损失和所述第一判别结果得到。
在一可选实现方式中，所述融合模块550，具体用于针对识别得到的每一部位区域，将该部位区域在所述全局人脸简笔画中对应位置的像素值替换为该部位区域的局部人脸简笔画的像素值；对替换后的全局人脸简笔画进而后处理操作，得到最终人脸简笔画；其中，所述后处理操作包括二值化、膨胀、闭操作、矢量化操作。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (9)
1.一种人脸简笔画生成方法，其特征在于，所述方法包括：
从接收到的图像中裁剪出人脸图像，并识别所述人脸图像中人脸各部位区域；
复制所述人脸图像并从复制的人脸图像中裁剪出每一部位区域对应的图像块；
将所述人脸图像输入已训练的全局肖像生成模型，以使所述全局肖像生成模型生成所述人脸图像的全局人脸简笔画；
针对每一部位区域的图像块，将该图像块输入该部位区域对应的局部肖像生成模型，以使所述局部肖像生成模型生成该部位区域的局部人脸简笔画；
将所述全局人脸简笔画和各个局部人脸简笔画进行融合，得到最终人脸简笔画；
各部位区域对应的局部肖像生成模型的训练过程包括：
获取包括人脸样本和对应的人脸简笔画样本的训练样本集；
针对所述训练样本集中的每一人脸样本，识别该人脸样本中人脸各部位区域，并从该人脸样本中裁剪出每一部位区域对应的图像样本块p，并从对应的人脸简笔画样本中裁剪出每一部位区域对应的简笔画样本块q；
针对每一部位区域，构建对应的局部肖像生成模型和判别模型，并利用该部位区域对应的图像样本块p和简笔画样本块q，以交替迭代方式优化所述局部肖像生成模型和所述判别模型；
其中，所述局部肖像生成模型输入为图像样本块p，输出为生成的局部人脸简笔画；所述判别模型输入为图像样本块p和生成的局部人脸简笔画，输出为图像样本块p和生成的局部人脸简笔画的第一判别结果，以及输入为图像样本块p和简笔画样本块q，输出为图像样本块p和简笔画样本块q的第二判别结果；
所述判别模型的损失值由所述第一判别结果和所述第二判别结果得到，所述局部肖像生成模型的损失值由局部人脸简笔画与简笔画样本块q之间的重构损失和所述第一判别结果得到。
2.根据权利要求1所述的方法，其特征在于，从接收到的图像中裁剪出人脸图像，包括：
将所述图像输入已训练的人脸检测模型，以使所述人脸检测模型检测所述图像中的人脸，并预测人脸关键点的位置；
依据所述人脸关键点的位置对所述图像进行仿射变换，以校正所述图像中的人脸；
从仿射变换后的图像中裁剪出设定尺寸的人脸图像。
3.根据权利要求1所述的方法，其特征在于，识别人脸图像中人脸各部位区域，包括：
将所述人脸图像输入已训练的人脸解析模型，以使所述人脸解析模型对所述人脸图像中的人脸各部位区域进行分割，得到各部位区域在人脸图像中的位置。
4.根据权利要求1所述的方法，其特征在于，所述全局肖像生成模型生成所述人脸图像的全局人脸简笔画，包括：
通过本全局肖像生成模型中的输入模块获取简笔画风格图像，并将所述简笔画风格图像和所述人脸图像输出给本全局肖像生成模型中的编码模块；
所述编码模块分别提取所述简笔画风格图像的第一特征图和所述人脸图像的第二特征图并输出给本全局肖像生成模型中的风格自适应模块；
所述风格自适应模块基于所述第一特征图和所述第二特征图获得风格特征图并输出给本全局肖像生成模型中的解码模块；
所述解码模块基于所述风格特征图合成全局人脸简笔画。
5.根据权利要求1所述的方法，其特征在于，各部位区域对应的局部肖像生成模型的训练采用生成对抗网络GAN的模型结构进行训练。
6.根据权利要求1所述的方法，其特征在于，将所述全局人脸简笔画和各个局部人脸简笔画进行融合，得到最终人脸简笔画，包括：
针对识别得到的每一部位区域，将该部位区域在所述全局人脸简笔画中对应位置的像素值替换为该部位区域的局部人脸简笔画的像素值；
对替换后的全局人脸简笔画进而后处理操作，得到最终人脸简笔画；
其中，所述后处理操作包括二值化、膨胀、闭操作、矢量化操作。
7.一种人脸简笔画生成装置，其特征在于，所述装置包括：
识别模块，用于从接收到的图像中裁剪出人脸图像，并识别所述人脸图像中人脸各部位区域；
裁剪模块，用于复制所述人脸图像并从复制的人脸图像中裁剪出每一部位区域对应的图像块；
全局合成模块，用于将所述人脸图像输入已训练的全局肖像生成模型，以使所述全局肖像生成模型生成所述人脸图像的全局人脸简笔画；
局部合成模块，用于针对每一部位区域的图像块，将该图像块输入该部位区域对应的局部肖像生成模型，以使所述局部肖像生成模型生成该部位区域的局部人脸简笔画；
融合模块，用于将所述全局人脸简笔画和各个局部人脸简笔画进行融合，得到最终人脸简笔画；
所述装置还包括：
训练模块，用于获取包括人脸样本和对应的人脸简笔画样本的训练样本集；针对所述训练样本集中的每一人脸样本，识别该人脸样本中人脸各部位区域，并从该人脸样本中裁剪出每一部位区域对应的图像样本块p，并从对应的人脸简笔画样本中裁剪出每一部位区域对应的简笔画样本块q；针对每一部位区域，构建对应的局部肖像生成模型和判别模型，并利用该部位区域对应的图像样本块p和简笔画样本块q，以交替迭代方式优化所述局部肖像生成模型和所述判别模型；
其中，所述局部肖像生成模型输入为图像样本块p，输出为生成的局部人脸简笔画；所述判别模型输入为图像样本块p和生成的局部人脸简笔画，输出为图像样本块p和生成的局部人脸简笔画的第一判别结果，或者输入为图像样本块p和简笔画样本块q，输出为图像样本块p和简笔画样本块q的第二判别结果；所述判别模型的损失值由所述第一判别结果和所述第二判别结果得到，所述局部肖像生成模型的损失值由局部人脸简笔画与简笔画样本块q之间的重构损失和所述第一判别结果得到。
8.根据权利要求7所述的装置，其特征在于，所述识别模块，具体用于在识别人脸图像中人脸各部位区域过程中，将所述人脸图像输入已训练的人脸解析模型，以使所述人脸解析模型对所述人脸图像中的人脸各部位区域进行分割，得到各部位区域在人脸图像中的位置。
9.根据权利要求7所述的装置，其特征在于，所述融合模块，具体用于针对识别得到的每一部位区域，将该部位区域在所述全局人脸简笔画中对应位置的像素值替换为该部位区域的局部人脸简笔画的像素值；对替换后的全局人脸简笔画进而后处理操作，得到最终人脸简笔画；其中，所述后处理操作包括二值化、膨胀、闭操作、矢量化操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010016612.5A CN111275778B (zh) | 2020-01-08 | 2020-01-08 | 人脸简笔画生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010016612.5A CN111275778B (zh) | 2020-01-08 | 2020-01-08 | 人脸简笔画生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111275778A CN111275778A (zh) | 2020-06-12 |
| CN111275778B true CN111275778B (zh) | 2023-11-21 |
Family
ID=71000117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010016612.5A Active CN111275778B (zh) | 2020-01-08 | 2020-01-08 | 人脸简笔画生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111275778B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113345058B (zh) * | 2021-06-30 | 2022-06-10 | 杭州妙绘科技有限公司 | 漫画人脸生成方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105374063A (zh) * | 2015-10-10 | 2016-03-02 | 杭州电子科技大学 | 基于半监督局部小块排列的人脸动画生成方法 |
| CN108596024A (zh) * | 2018-03-13 | 2018-09-28 | 杭州电子科技大学 | 一种基于人脸结构信息的肖像生成方法 |
| CN109308681A (zh) * | 2018-09-29 | 2019-02-05 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
| CN109800732A (zh) * | 2019-01-30 | 2019-05-24 | 北京字节跳动网络技术有限公司 | 用于生成漫画头像生成模型的方法和装置 |
| CN109816641A (zh) * | 2019-01-08 | 2019-05-28 | 西安电子科技大学 | 基于多尺度形态学融合的加权局部熵红外小目标检测方法 |
| CN110069992A (zh) * | 2019-03-18 | 2019-07-30 | 西安电子科技大学 | 一种人脸图像合成方法、装置、电子设备及存储介质 |
| CN110414378A (zh) * | 2019-07-10 | 2019-11-05 | 南京信息工程大学 | 一种基于异质人脸图像融合特征的人脸识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10803347B2 (en) * | 2017-12-01 | 2020-10-13 | The University Of Chicago | Image transformation with a hybrid autoencoder and generative adversarial network machine learning architecture |
-
2020
- 2020-01-08 CN CN202010016612.5A patent/CN111275778B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105374063A (zh) * | 2015-10-10 | 2016-03-02 | 杭州电子科技大学 | 基于半监督局部小块排列的人脸动画生成方法 |
| CN108596024A (zh) * | 2018-03-13 | 2018-09-28 | 杭州电子科技大学 | 一种基于人脸结构信息的肖像生成方法 |
| CN109308681A (zh) * | 2018-09-29 | 2019-02-05 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
| CN109816641A (zh) * | 2019-01-08 | 2019-05-28 | 西安电子科技大学 | 基于多尺度形态学融合的加权局部熵红外小目标检测方法 |
| CN109800732A (zh) * | 2019-01-30 | 2019-05-24 | 北京字节跳动网络技术有限公司 | 用于生成漫画头像生成模型的方法和装置 |
| CN110069992A (zh) * | 2019-03-18 | 2019-07-30 | 西安电子科技大学 | 一种人脸图像合成方法、装置、电子设备及存储介质 |
| CN110414378A (zh) * | 2019-07-10 | 2019-11-05 | 南京信息工程大学 | 一种基于异质人脸图像融合特征的人脸识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Ran Yi.APDrawingGAN: Generating Artistic Portrait Drawings from Face Photos with Hierarchical GANs.《CVPR》.2019,第10743-10752页. * |
| 黄菲 ; 高飞 ; 朱静洁 ; 戴玲娜 ; 俞俊 ; .基于生成对抗网络的异质人脸图像合成:进展与挑战.南京信息工程大学学报(自然科学版).2019,(06),第40-61页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111275778A (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109376582B (zh) | 一种基于生成对抗网络的交互式人脸卡通方法 | |
| US11276231B2 (en) | Semantic deep face models | |
| Zhang et al. | De-gan: Domain embedded gan for high quality face image inpainting | |
| Sun et al. | Facial age synthesis with label distribution-guided generative adversarial network | |
| CN113194348A (zh) | 一种虚拟人讲课视频生成方法、系统、装置及存储介质 | |
| Singh et al. | Neural style transfer: A critical review | |
| Chen et al. | From eyes to face synthesis: a new approach for human-centered smart surveillance | |
| CN113343878A (zh) | 基于生成对抗网络的高保真人脸隐私保护方法和系统 | |
| Dorta et al. | The GAN that warped: Semantic attribute editing with unpaired data | |
| Groshev et al. | GHOST—a new face swap approach for image and video domains | |
| CN115689869A (zh) | 一种视频美妆迁移方法及系统 | |
| CN115546461A (zh) | 一种基于掩膜去噪和特征选择的人脸属性编辑方法 | |
| CN112101320A (zh) | 模型训练方法、图像生成方法、装置、设备及存储介质 | |
| Nickabadi et al. | A comprehensive survey on semantic facial attribute editing using generative adversarial networks | |
| Organisciak et al. | Makeup style transfer on low-quality images with weighted multi-scale attention | |
| WO2022160773A1 (zh) | 基于虚拟样本的行人重识别方法 | |
| CN111275778B (zh) | 人脸简笔画生成方法及装置 | |
| Li et al. | Learning disentangled representation for one-shot progressive face swapping | |
| CN116233567B (zh) | 一种基于音频情感感知的说话人脸视频生成方法及系统 | |
| Zhai et al. | Identity-preserving conditional generative adversarial network | |
| CN117237521A (zh) | 语音驱动人脸生成模型构建方法、目标人说话视频生成方法 | |
| Liu et al. | A3GAN: An attribute-aware attentive generative adversarial network for face aging | |
| US20230319223A1 (en) | Method and system for deep learning based face swapping with multiple encoders | |
| CN115578298A (zh) | 一种基于内容感知的深度肖像视频合成方法 | |
| CN114677312A (zh) | 基于深度学习的脸部视频合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200826 Address after: Room 101, building 1, block C, Qianjiang Century Park, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province Applicant after: Hangzhou Weiming Information Technology Co.,Ltd. Applicant after: Institute of Information Technology, Zhejiang Peking University Address before: Room 288-1, 857 Xinbei Road, Ningwei Town, Xiaoshan District, Hangzhou City, Zhejiang Province Applicant before: Institute of Information Technology, Zhejiang Peking University Applicant before: Hangzhou Weiming Information Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200612 Assignee: Zhejiang Visual Intelligence Innovation Center Co.,Ltd. Assignor: Institute of Information Technology, Zhejiang Peking University|Hangzhou Weiming Information Technology Co.,Ltd. Contract record no.: X2023330000927 Denomination of invention: Method and device for generating simple facial strokes Granted publication date: 20231121 License type: Common License Record date: 20231219 |