CN113781372A - 一种基于深度学习的戏曲脸谱生成方法及系统 - Google Patents

一种基于深度学习的戏曲脸谱生成方法及系统 Download PDF

Info

Publication number
CN113781372A
CN113781372A CN202110980096.2A CN202110980096A CN113781372A CN 113781372 A CN113781372 A CN 113781372A CN 202110980096 A CN202110980096 A CN 202110980096A CN 113781372 A CN113781372 A CN 113781372A
Authority
CN
China
Prior art keywords
image
opera
facial
facial makeup
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110980096.2A
Other languages
English (en)
Other versions
CN113781372B (zh
Inventor
张凤全
曹铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN202110980096.2A priority Critical patent/CN113781372B/zh
Publication of CN113781372A publication Critical patent/CN113781372A/zh
Application granted granted Critical
Publication of CN113781372B publication Critical patent/CN113781372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度学习的戏曲脸谱生成方法及系统，其方法包括：S1：对人脸图片进行数据清洗与预处理，构建数据集；S2：根据素颜人脸图像和戏曲脸谱图像的人脸关键点，建立二者的映射关系；将对应人脸关键点进行融合，得到具有素颜人脸结构的伪戏曲艺术人脸图像；S3：将素颜人脸图像和戏曲艺术人脸图像输入深度学习生成网络，生成结果图像；S4：构建K个重叠人脸局部鉴别器，与结果图像同步进行对抗，实现对戏曲脸谱高频细节的提取和鉴别，最终输出目标戏曲艺术人脸图像。本发明提供的方法基于深度学习进行不同域之间的戏曲脸谱建模，对戏曲脸谱的高频色彩、纹理特征进行生成，获得逼真的戏曲脸谱效果。

Description

一种基于深度学习的戏曲脸谱生成方法及系统
技术领域
本发明为图像处理领域，具体涉及一种基于深度学习的戏曲脸谱生成方法及系统。
背景技术
近年来，随着AI智能领域技术的发展和应用，科技不断的更新，深度学习也日趋成熟，其应用范围也在不断的创新，逐渐朝着传统文化方向发展，成为了计算机视觉领域热门的研究方向之一，因此，模拟生成戏曲脸谱技术也显得尤为重要。
中国专利文献号CN 111950432 A公开(公告)日2020.11.17，公开了一种基于区域风格一致性的妆容风格迁移方法及系统，该方法包括：获取妆容风格区域，其中妆容风格区域包括整个妆容的不同子区域的分割近似结果；构建生成对抗网络；以及依据归一化方式增强远距离相似妆容区域一致性生成目标图像。该方法虽然能够提取和生成细节，但是需要获取多个分割子区域，同时需要人工打标签的方式，这是非常耗时且麻烦的，而且提取的特征直接影响最终的生成结果，不适用于戏曲脸谱艺术场景，方法的鲁棒性也不够好。
总之，现有方法普遍适用于生活常见人脸图像，并且主要依赖于生成对抗网络，该过程麻烦且难以收敛，而且所构建的模型在戏曲脸谱的细节表现上较差，在实际戏曲脸谱艺术场景上还不能很好的实现，并且应用场景的局限性较强，泛化能力差。
发明内容
为了解决上述技术问题，本发明提供一种基于深度学习的戏曲脸谱生成方法及系统。
本发明技术解决方案为：一种基于深度学习的戏曲脸谱生成方法，包括：
步骤S1：对人脸图片进行数据清洗与预处理，构建戏曲脸谱图像数据集；
步骤S2：根据素颜人脸图像和戏曲脸谱图像的人脸关键点，建立二者的映射关系；将对应所述人脸关键点进行融合，得到具有素颜人脸结构的伪戏曲脸谱图像；
步骤S3：将所述素颜人脸图像和所述戏曲脸谱图像输入深度学习生成网络，生成结果图像；
步骤S4：根据所述戏曲脸谱图像、所述伪戏曲脸谱图像以及所述结果图像，并根据人脸特征关键点映射关系计算生成指定大小的K个局部戏曲妆容特征区域，输入所述深度学习生成网络，构建K个重叠人脸局部鉴别器，同时采用边缘感知处理实现面部色彩纹理高频细节增强，与所述深度学习生成网络生成的所述结果图像同步进行对抗，实现对戏曲脸谱高频细节的提取和鉴别，最终输出目标戏曲脸谱图像。
本发明与现有技术相比，具有以下优点：
1、本发明提供的方法训练简单方便，省去了人工方式打标签进行图像建模的模式，直接通过基于深度学习的技术进行不同域之间的戏曲脸谱建模。
2、本发明提供的方法实用性、泛化能力强，解决了相关技术存在的不同人脸场景的局限性。
3、本发明提供的方法可对戏曲脸谱的高频色彩、纹理特征进行迁移，生成逼真的戏曲脸谱艺术生成效果。
附图说明
图1为本发明实施例中一种基于深度学习的戏曲脸谱生成方法的流程图；
图2为本发明实施例中一种基于深度学习的戏曲脸谱生成方法中步骤S1：对人脸图片进行数据清洗与预处理，构建戏曲脸谱图像数据集的流程图；
图3为本发明实施例中一种基于深度学习的戏曲脸谱生成方法中步骤S2：根据素颜人脸图像和戏曲脸谱图像的人脸关键点，建立二者的映射关系；将对应人脸关键点进行融合，得到具有素颜人脸结构的伪戏曲脸谱图像的流程图；
图4为本发明实施例中对人脸图像中的人脸特征关键点提取的结果示意图；
图5为本发明实施例中提取人脸关键点以及建立关键点映射关系的操作步骤示意图；
图6为本发明实施例根据素颜人脸图像和戏曲脸谱图像生成的伪戏曲脸谱图像示意图；
图7为本发明实施例中深度学习生成网络的结构示意图；
图8为本发明实施例中一种基于深度学习的戏曲脸谱生成方法中步骤S4：根据戏曲脸谱图像、伪戏曲脸谱图像以及结果图像，并根据人脸特征关键点映射关系计算生成指定大小的K个局部戏曲妆容特征区域，输入深度学习生成网络，构建K个重叠人脸局部鉴别器，同时采用边缘感知处理实现面部色彩纹理高频细节增强，与深度学习生成网络生成的结果图像同步进行对抗，实现对戏曲脸谱高频细节的提取和鉴别，最终输出目标戏曲脸谱图像的流程图；
图9为本发明实施例中K个重叠的人脸局部鉴别器的结构示意图；
图10为本发明实施例中一种基于深度学习的戏曲脸谱生成系统的结构框图。
具体实施方式
本发明提供了一种基于深度学习的戏曲脸谱生成方法，通过基于深度学习的技术进行不同域之间的戏曲脸谱艺术建模，解决了相关技术存在的不同人脸场景的局限性，戏曲脸谱艺术的高频色彩、纹理特征进行迁移，生成逼真的戏曲脸谱艺术生成效果。
为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
实施例一
如图1所示，本发明实施例提供的一种基于深度学习的戏曲脸谱生成方法，包括下述步骤：
步骤S1：对人脸图片进行数据清洗与预处理，构建戏曲脸谱图像数据集；
步骤S2：根据素颜人脸图像和戏曲脸谱图像的人脸关键点，建立二者的映射关系；将对应人脸关键点进行融合，得到具有素颜人脸结构的伪戏曲脸谱图像；
步骤S3：将素颜人脸图像和戏曲脸谱图像输入深度学习生成网络，生成结果图像；
步骤S4：根据戏曲脸谱图像、伪戏曲脸谱图像以及结果图像，并根据人脸特征关键点映射关系计算生成指定大小的K个局部戏曲妆容特征区域，输入深度学习生成网络，构建K个重叠人脸局部鉴别器，同时采用边缘感知处理实现面部色彩纹理高频细节增强，与深度学习生成网络生成的结果图像同步进行对抗，实现对戏曲脸谱高频细节的提取和鉴别，最终输出目标戏曲脸谱图像。
如图2所示，在一个实施例中，上述步骤S1：对人脸图片进行数据清洗与预处理，构建戏曲脸谱图像数据集，具体包括：
步骤S11：去除收集到的戏曲脸谱图像中的低质量的人脸图像，低质量的人脸图像包括：分辨率过低、图像尺寸过小的人脸图像；
步骤S12：删除非法格式的人脸图像、不符合要求的人脸图像，不符合要求场景包括大角度、有遮挡、人脸区域模糊、夸张人脸表情等场景；
步骤S13：将所剩的合格的人脸图像进行预处理，去除人脸以外的多余背景信息，避免背景带来的噪声影响，并根据级联分类器(Cascade Classifier)自动定位人脸中心位置，并指定大小对图像进行切割，统一将图像尺寸变换为512*512人脸图像。
由此，得到可用的戏曲脸谱人脸数据集，并将该数据集划分为训练集和验证集，并保留小部分作为测试机随机选择生成。
如图3所示，在一个实施例中，上述步骤S2：根据素颜人脸图像和戏曲脸谱图像的人脸关键点，建立二者的映射关系；将对应人脸关键点进行融合，得到具有素颜人脸结构的伪戏曲脸谱图像，具体包括：
步骤S21：分别提取素颜人脸图像和戏曲脸谱图像的人脸特征关键点，并建立二者的映射关系；
在本步骤中，对输入的素颜人脸图像和戏曲脸谱图像进行关键点的提取，并对关键点进行标准化处理，对每一对素颜和戏曲脸谱图像记录生成一个映射关系。其中特征向量包括眼部(eye)、眉毛(eyebrow)、鼻子(nose)、嘴巴(mouth)、轮廓(contour)五大维特征，各维特征进行细分并分配一个Key。其中素颜人脸图像和戏曲脸谱图像会通过命名规范和标签(Type)加以区分，其中，第i张图像对应的特征向量Feature i，且Feature i＝[eye,eyebrow,mouth,nose,contour]。
如图4所示，展示了对人脸图像中的101个人脸特征关键点提取的结果。
步骤S22：根据素颜人脸图像和戏曲脸谱图像的人脸特征关键点的映射关系，将素颜人脸图像的人脸结构信息和戏曲脸谱图像的戏曲脸谱色彩纹理特征利用泊松融合方法进行融合，得到具有素颜人脸结构的伪戏曲脸谱图像。
根据素颜人脸图像和戏曲脸谱图像的特征关键点映射关系计算相对坐标，将给定的控制点进行局部相似三角形仿射变换，通过计算变换矩阵分析每个像素点值的变化，结合泊松融合方法，将素颜人脸图像的人脸结构信息和戏曲脸谱图像的戏曲脸谱色彩纹理特征相结合，生成伪戏曲脸谱图像。伪戏曲脸谱图像具有素颜人脸结构，同时又保留了戏曲脸谱的色彩和纹理细节，为后续的深度学习生成网络生成目标结果进行指导。
如图5所示，展示了提取人脸关键点以及建立关键点映射关系的操作步骤示意图。
如图6所示，展示了根据素颜人脸图像和戏曲脸谱图像生成的伪戏曲脸谱图像。
在一个实施例中，上述步骤S3：将素颜人脸图像和戏曲脸谱图像输入深度学习生成网络，生成结果图像，具体包括：
构建深度学习生成网络并进行训练，如图7所示，展示了深度学习生成网络的结构示意图，其中，深度学习生成网络包括：生成器G(X)、F(Y)和全局鉴别器D(X,Y)。
生成器G(X)、F(Y)包括深度卷积网络层和反深度卷积网络层，其作用是实现素颜人脸图像和戏曲脸谱图像间的相互转化从而不断对抗学习，其中，
Figure BDA0003228746360000041
表示素颜人脸图像域，
Figure BDA0003228746360000042
表示戏曲脸谱图像域；
鉴别器D(X,Y)是一个卷积网络，根据生成器所生成的图像提取特征，以鉴别所提取的特征是否和输入的真实图像相似，最后添加一个生成一维输出的卷积层完成鉴别工作。
如图8所示，在一个实施例中，上述步骤S4：根据戏曲脸谱图像、伪戏曲脸谱图像以及结果图像，并根据人脸特征关键点映射关系计算生成指定大小的K个局部戏曲妆容特征区域，输入深度学习生成网络，构建K个重叠人脸局部鉴别器，同时采用边缘感知处理实现面部色彩纹理高频细节增强，与深度学习生成网络生成的结果图像同步进行对抗，实现对戏曲脸谱高频细节的提取和鉴别，最终输出目标戏曲脸谱图像，具体包括；
步骤S41：根据戏曲脸谱图像、伪戏曲脸谱图像以及结果图像，并根据人脸特征关键点映射关系，计算生成指定大小的K个局部戏曲妆容特征区域，得到K个局部戏曲脸谱特征矩阵向量；
将戏曲脸谱图像、伪戏曲脸谱图像以及结果图像根据步骤S21得到的人脸特征映射关系结果，得到102*102*3的局部区域
Figure BDA0003228746360000051
并分别将两对
Figure BDA0003228746360000052
和
Figure BDA0003228746360000053
沿着颜色通道得到每个对应区域的扩展变量并输出到输入到深度学习生成网络中，得到K个局部戏曲脸谱特征矩阵向量；
步骤S42：将K个局部戏曲脸谱特征矩阵向量输入深度学习生成网络，对每个戏曲脸谱人脸子区域单独控制，为每个指定区域创建空间上不同的归一化参数，通过归一化方式保证戏曲脸谱图像、伪戏曲脸谱图像和结果图像对应相同子区域的色彩、纹理具有相似性；
步骤S43：通过对K个特征矩阵进行计算平均值并输出相同戏曲脸谱风格的图像对应的概率值，采用边缘感知处理实现增强面部色彩纹理高频细节，最终输出目标戏曲脸谱图像。
如图9所示，展示了K个重叠的人脸局部鉴别器的结构示意图。
在本步骤中，将步骤S41得到的每个K个局部戏曲脸谱特征向量，按照前n个卷积层输出实现光谱归一化，并结合负值非零斜率处理计算出相同戏曲脸谱风格的图像对的对应概率值；然后，通过滤波模板mask在伪戏曲脸谱图像和结果图像上不断平移变量，然后mask中数值与其重合的高频细节相乘后求和，赋给与mask中心重合结果，使得相同局部高频细节区域值保持相同。
在上述人脸局部鉴别器与深度学习生成网络进行同步对抗的同时，构建损失函数，根据损失值结果对参数进行微调，直到趋近于最小化以及达到效果最优时停止迭代优化。
本发明实施例中，K个重叠人脸局部鉴别器总损失函数如下所示：
Figure BDA0003228746360000054
对于X表示素颜人脸图像域到Y表示戏曲脸谱图像域和伪戏曲脸谱图像的鉴别器D(X,Y)，定义脸谱人脸子区域损失函数：
Figure BDA0003228746360000061
其中，E为期望，
Figure BDA0003228746360000062
分别是在戏曲脸谱图像、伪戏曲脸谱图像以及生成的结果图像中分别Crop出尺寸大小为102*102*3的局部区域，通过K个脸谱细节鉴别学习判断
Figure BDA0003228746360000063
是否为相同戏曲脸谱风格，
Figure BDA0003228746360000064
是否为不同的戏曲脸谱风格图像。
对于脸谱色彩、纹理细节和眉毛纹理细节约束，定义了高频戏曲脸谱细节损失函数：
Figure BDA0003228746360000065
其中，hk表示局部区域的权重，
Figure BDA0003228746360000066
代表使用拉普拉斯滤波器对图像进行计算。
本发明提供的一种基于深度学习的戏曲脸谱生成方法，训练简单方便，省去了人工方式打标签进行图像建模的模式，直接通过基于深度学习的技术进行不同域之间的戏曲脸谱艺术建模。本发明提供的方法实用性、泛化能力强，解决了相关技术存在的不同人脸场景的局限性。本发明提供的方法可对戏曲脸谱的高频色彩、纹理特征进行迁移，生成逼真的戏曲脸谱艺术生成效果。
实施例二
如图10所示，本发明实施例提供了一种基于深度学习的戏曲脸谱生成系统，包括下述模块：
获取数据集模块51，用于对人脸图片进行数据清洗与预处理，构建戏曲脸谱图像数据集；
获取伪戏曲脸谱图像模块52，用于根据素颜人脸图像和戏曲脸谱图像的人脸关键点，建立二者的映射关系；将对应人脸关键点进行融合，得到具有素颜人脸结构的伪戏曲脸谱图像；
生成结果图像模块53，用于将素颜人脸图像和戏曲脸谱图像输入深度学习生成网络，生成结果图像；
获取目标戏曲脸谱图像模块54，根据戏曲脸谱图像、伪戏曲脸谱图像以及结果图像，并根据人脸特征关键点映射关系计算生成指定大小的K个局部戏曲妆容特征区域，输入深度学习生成网络，构建K个重叠人脸局部鉴别器，同时采用边缘感知处理实现面部色彩纹理高频细节增强，与深度学习生成网络生成的结果图像同步进行对抗，实现对戏曲脸谱高频细节的提取和鉴别，最终输出目标戏曲脸谱图像。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (5)

1.一种基于深度学习的戏曲脸谱生成方法，其特征在于，包括：
步骤S1：对人脸图片进行数据清洗与预处理，构建戏曲脸谱图像数据集；
步骤S2：根据素颜人脸图像和戏曲脸谱图像的人脸关键点，建立二者的映射关系；将对应所述人脸关键点进行融合，得到具有素颜人脸结构的伪戏曲脸谱图像；
步骤S3：将所述素颜人脸图像和所述戏曲脸谱图像输入深度学习生成网络，生成结果图像；
步骤S4：根据所述戏曲脸谱图像、所述伪戏曲脸谱图像以及所述结果图像，并根据人脸特征关键点映射关系计算生成指定大小的K个局部戏曲妆容特征区域，输入所述深度学习生成网络，构建K个重叠人脸局部鉴别器，同时采用边缘感知处理实现面部色彩纹理高频细节增强，与所述深度学习生成网络生成的所述结果图像同步进行对抗，实现对戏曲脸谱高频细节的提取和鉴别，最终输出目标戏曲脸谱图像。
2.根据权利要求1所述的基于深度学习的戏曲脸谱生成方法，其特征在于，所述步骤S1：对人脸图片进行数据清洗与预处理，构建戏曲脸谱图像数据集，具体包括：
步骤S11：去除低质量的人脸图像，所述低质量的人脸图像包括：分辨率过低、图像尺寸过小的人脸图像；
步骤S12：删除非法格式和不符合要求的人脸图像，所述不符合要求的人脸图像包括：大角度、有遮挡、人脸区域模糊和夸张人脸表情的人脸图像；
步骤S13：将所剩的合格人脸图像进行预处理，根据级联分类器自动定位人脸中心位置，并指定大小对所述人脸图像进行切割，将其变换为预设尺寸的人脸图像。
3.根据权利要求1所述的基于深度学习的戏曲脸谱生成方法，其特征在于，所述步骤S2：根据素颜人脸图像和戏曲脸谱图像的人脸关键点，建立二者的映射关系；将对应所述人脸关键点进行融合，得到具有素颜人脸结构的伪戏曲脸谱图像，具体包括：
步骤S21：分别提取所述素颜人脸图像和所述戏曲脸谱图像的人脸特征关键点，并建立二者的映射关系；
步骤S22：根据所述素颜人脸图像和所述戏曲脸谱图像的人脸特征关键点的映射关系，将所述素颜人脸图像的人脸结构信息和所述戏曲脸谱图像的戏曲脸谱色彩纹理特征利用泊松融合方法进行融合，得到具有素颜人脸结构的伪戏曲脸谱图像。
4.根据权利要求1所述的基于深度学习的戏曲脸谱生成方法，其特征在于，所述步骤S4：根据所述戏曲脸谱图像、所述伪戏曲脸谱图像以及所述结果图像，并根据人脸特征关键点映射关系计算生成指定大小的K个局部戏曲妆容特征区域，输入所述深度学习生成网络，构建K个重叠人脸局部鉴别器，同时采用边缘感知处理实现面部色彩纹理高频细节增强，与所述深度学习生成网络生成的所述结果图像同步进行对抗，实现对戏曲脸谱高频细节的提取和鉴别，最终输出目标戏曲脸谱图像，具体包括：
步骤S41：根据所述戏曲脸谱图像、所述伪戏曲脸谱图像以及所述结果图像，并根据所述人脸特征关键点映射关系，计算生成指定大小的K个局部戏曲妆容特征区域，得到K个局部戏曲脸谱特征矩阵向量；
步骤S42：将K个所述局部戏曲脸谱特征矩阵向量输入所述深度学习生成网络，对每个戏曲脸谱人脸子区域单独控制，为每个指定区域创建空间上不同的归一化参数，通过归一化方式保证所述戏曲脸谱图像、所述伪戏曲脸谱图像和所述结果图像对应相同子区域的色彩、纹理具有相似性；
步骤S43：通过对所述K个局部戏曲脸谱特征矩阵进行计算平均值并输出相同戏曲脸谱风格的图像对应的概率值，采用边缘感知处理实现增强面部色彩纹理高频细节，输出最终目标戏曲脸谱图像。
5.一种基于深度学习的戏曲脸谱生成系统，其特征在于，包括下述模块：
获取数据集模块，用于对人脸图片进行数据清洗与预处理，构建戏曲脸谱图像数据集；
获取伪戏曲脸谱图像模块，用于根据素颜人脸图像和戏曲脸谱图像的人脸关键点，建立二者的映射关系；将对应所述人脸关键点进行融合，得到具有素颜人脸结构的伪戏曲脸谱图像；
生成结果图像模块，用于将所述素颜人脸图像和所述戏曲脸谱图像输入深度学习生成网络，生成结果图像；
获取目标戏曲脸谱图像模块，根据所述戏曲脸谱图像、所述伪戏曲脸谱图像以及所述结果图像，并根据人脸特征关键点映射关系计算生成指定大小的K个局部戏曲妆容特征区域，输入所述深度学习生成网络，构建K个重叠人脸局部鉴别器，同时采用边缘感知处理实现面部色彩纹理高频细节增强，与所述深度学习生成网络生成的所述结果图像同步进行对抗，实现对戏曲脸谱高频细节的提取和鉴别，最终输出目标戏曲脸谱图像。
CN202110980096.2A 2021-08-25 2021-08-25 一种基于深度学习的戏曲脸谱生成方法及系统 Active CN113781372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110980096.2A CN113781372B (zh) 2021-08-25 2021-08-25 一种基于深度学习的戏曲脸谱生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110980096.2A CN113781372B (zh) 2021-08-25 2021-08-25 一种基于深度学习的戏曲脸谱生成方法及系统

Publications (2)

Publication Number Publication Date
CN113781372A true CN113781372A (zh) 2021-12-10
CN113781372B CN113781372B (zh) 2023-06-30

Family

ID=78839135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110980096.2A Active CN113781372B (zh) 2021-08-25 2021-08-25 一种基于深度学习的戏曲脸谱生成方法及系统

Country Status (1)

Country Link
CN (1) CN113781372B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824150A (zh) * 2023-04-24 2023-09-29 苏州梅曼智能科技有限公司 一种基于生成对抗模型的工业图像特征的提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200234690A1 (en) * 2019-01-18 2020-07-23 Snap Inc. Text and audio-based real-time face reenactment
CN111950432A (zh) * 2020-08-07 2020-11-17 武汉理工大学 一种基于区域风格一致性的妆容风格迁移方法及系统
CN111950430A (zh) * 2020-08-07 2020-11-17 武汉理工大学 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统
CN112258382A (zh) * 2020-10-23 2021-01-22 北京中科深智科技有限公司 一种基于图像到图像的面部风格转移方法和系统
CN112750185A (zh) * 2021-01-19 2021-05-04 清华大学 一种肖像画视频生成方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200234690A1 (en) * 2019-01-18 2020-07-23 Snap Inc. Text and audio-based real-time face reenactment
CN111950432A (zh) * 2020-08-07 2020-11-17 武汉理工大学 一种基于区域风格一致性的妆容风格迁移方法及系统
CN111950430A (zh) * 2020-08-07 2020-11-17 武汉理工大学 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统
CN112258382A (zh) * 2020-10-23 2021-01-22 北京中科深智科技有限公司 一种基于图像到图像的面部风格转移方法和系统
CN112750185A (zh) * 2021-01-19 2021-05-04 清华大学 一种肖像画视频生成方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TINGTING LI等: "Beautygan: Instance-level facial makeup transfer with deep generative adversarial network", 《MM \'18: PROCEEDINGS OF THE 26TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》, pages 645 - 653 *
ZHENG-AN ZHU等: "Generating Adversarial Examples By Makeup Attacks on Face Recognition", 《2019 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》, pages 2516 - 2520 *
包仁达等: "基于区域敏感生成对抗网络的自动上妆算法", 《软件学报》, vol. 30, no. 4, pages 896 - 913 *
高亚辉: "基于深度相机的京剧脸谱个性化建模技术研究", 《中国优秀硕士学位论文全文数据库 (哲学与人文科学辑)》, no. 02, pages 087 - 102 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824150A (zh) * 2023-04-24 2023-09-29 苏州梅曼智能科技有限公司 一种基于生成对抗模型的工业图像特征的提取方法

Also Published As

Publication number Publication date
CN113781372B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN109376582B (zh) 一种基于生成对抗网络的交互式人脸卡通方法
CN104299263B (zh) 一种基于单幅图像建模云场景的方法
US11562536B2 (en) Methods and systems for personalized 3D head model deformation
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN110853119B (zh) 一种鲁棒的基于参考图片的妆容迁移方法
CN110796593A (zh) 基于人工智能的图像处理方法、装置、介质及电子设备
CN112734890A (zh) 基于三维重建的人脸替换方法及装置
US11461970B1 (en) Methods and systems for extracting color from facial image
CN113034355B (zh) 一种基于深度学习的肖像图像双下巴去除方法
CN114120389A (zh) 网络训练及视频帧处理的方法、装置、设备及存储介质
CN110717978B (zh) 基于单张图像的三维头部重建方法
CN113808005A (zh) 一种基于视频驱动的人脸姿态迁移方法及装置
JP2024506170A (ja) 個人化された３ｄ頭部モデルおよび顔モデルを形成するための方法、電子装置、およびプログラム
CN113781372B (zh) 一种基于深度学习的戏曲脸谱生成方法及系统
CN117094895B (zh) 图像全景拼接方法及其系统
Li et al. A coarse-to-fine face hallucination method by exploiting facial prior knowledge
CN112232221A (zh) 用于人物图像处理的方法、系统和程序载体
CN115760552A (zh) 基于图像妆容迁移网络的人脸图像妆容迁移方法及系统
CN117689990B (zh) 一种基于6d姿态估计的三支流双向融合网络方法
WO2024099026A1 (zh) 图像处理方法、装置、设备、存储介质及程序产品
CN111582067B (zh) 人脸表情识别方法、系统、存储介质、计算机程序、终端
CN111046953B (zh) 一种基于相似度比较的图像评价方法
CN113033656B (zh) 一种基于生成对抗网络的交互式孔探数据扩展方法
Re et al. Improved GAN Model for Image Animation
Bendre et al. Attention U-Net for Low Light Image Enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant