CN110188656A - 多角度人脸表情图像的生成与识别方法 - Google Patents

多角度人脸表情图像的生成与识别方法 Download PDF

Info

Publication number
CN110188656A
CN110188656A CN201910445298.XA CN201910445298A CN110188656A CN 110188656 A CN110188656 A CN 110188656A CN 201910445298 A CN201910445298 A CN 201910445298A CN 110188656 A CN110188656 A CN 110188656A
Authority
CN
China
Prior art keywords
facial expression
face
confrontation
network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910445298.XA
Other languages
English (en)
Other versions
CN110188656B (zh
Inventor
孙宁
秦辉
李晓飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201910445298.XA priority Critical patent/CN110188656B/zh
Publication of CN110188656A publication Critical patent/CN110188656A/zh
Application granted granted Critical
Publication of CN110188656B publication Critical patent/CN110188656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多角度人脸表情图像的生成与识别，将人脸局部关键特征与全局关键特征融合，并将对抗生成一致性网络CTGAN和卷积神经网络融合，形成了判别侧脸表情类别的深度神经网络，将四通道的侧脸图片送到生成器进行训练，而不是传统中将随机变量作为输入，从而最大化的保存了侧脸图片的特征信息，可以更有效的建立从侧脸到正脸图片的映射关系，提升整体识别准确率；将多种特征融合并使用卷积神经网络CNN对提取到的特征进行分类，能够极大的提升多角度人脸表情识别的准确率和鲁棒性。

Description

多角度人脸表情图像的生成与识别方法
技术领域
本发明涉及图像处理领域，涉及一种多角度人脸表情图像的生成与识别方法。
背景技术
人脸表情作为人最重要的生物特征之一，包含着丰富的信息，这些实时的情感信息，可以有效地辅助人类进行情感交流。人脸表情识别是计算机理解人类情感的前提，是计算机与人类进行交互的重要技术，因此人脸表情识别能够使得计算机具有人类一样具有察言观色的能力，以便更好地为人类服务。人脸表情识别一直是计算机视觉以及模式识别学科中的热点研究方向。
但是目前绝大多数的人脸表情识别技术都是针对标准姿态的人脸表情数据库提出的，这与现实生活中人脸姿态的变化不相符，这种传统的人脸面部表情研究往往忽视了由于姿势、光照条件以及遮挡等引起的复杂的面部变化，致使在现实条件下将人脸面部表情用于识别研究往往具有局限性。在自然状态下，人的面部姿势可能处于非正面的状态，而且可能会产生左右、上下、前后或者更复杂的运动形式，解决在多个角度的人脸表情来生成出人脸正面表情，是目前人脸生成和识别的一个难题。
发明内容
发明目的：本发明的目的是提供一种多角度人脸表情图像的生成与识别方法，该方法通过多角度侧脸人脸图像生成和识别生成的正脸表情。
技术方案：本发明所述的多角度人脸表情图像的生成与识别方法，步骤A，构建多角度的人脸表情库，人脸表情库的表情包括但不限于:害怕,轻蔑，高兴，惊讶，生气，嫌弃，悲伤,中性，尖叫，眨眼；摄像机拍摄角度包括但不限于为0°，15°，45°,75°,105°，180°；获取上述各种拍摄角度拍摄的图像并取45°摄像机拍摄图像为正脸表情图像；然后对上述各个角度的人脸图像进行配准，得到配准后的人脸表情图像集；
步骤B，构建对抗生成一致性网络CTGAN，对抗生成一致性网络CTGAN由正向对抗生成对抗网络和反向对抗生成对抗网络构成的环形网络；
步骤C，将人脸表情库的除正脸表情图像以外的侧脸表情图像进行人脸局部关键区域与人脸全局关键区域融合，融合后的侧脸表情图像与原始侧脸表情图像一起输入正向对抗生成网络FAGAN中进行学习与训练，由正向对抗生成网络生成正脸表情图像；
步骤D，将生成的正脸表情图像输入反向对抗生成网络BKGAN反向生成侧脸表情图像，然后将反向生成的侧脸表情图像与原侧脸表情图像分别在各自对应的对抗生成网络中进行判别以接受反向生成的侧脸表情图像；若确保反向生成的侧脸表情图像被对抗生成网络接受，反向对抗生成网络BKGAN将不断学习和训练直至生成与原始侧脸表情图像相比也无法判别的侧脸表情图像；
步骤E，将上述的通过反向对抗生成网络BKGAN反向生成侧脸表情图像的正脸表情图像输入到由正脸图像训练好的人脸检测器FADTC中，进行表情识别。
通过采用上述技术方案，将侧脸表情图像输入到正向对抗生成网络中生成正脸表情图像，正脸表情图像输入到反向对抗生成网络中生成侧脸表情图像，侧脸表情图像与原侧脸表情图像在对应的鉴别器中进行鉴别来区分它们，识别出生成器输出的生成图像，并拒绝此图像。生成器想要确保这些图像被鉴别器接受，所以它将尝试生成与原始图像非常接近的新图像；上述过程中，对抗生成一致性网络在生成和反向生成的过程中不断学习和训练，对抗生成一致性网络将最佳的生成和反向生成形成工作方式，这样就能在有侧脸表情图像的情况下生成最佳的正脸表情图像。由卷积神经网络构成的人脸检测器为了识别对抗生成一致性网络生成的正脸表情图像，在识别的过程中，人脸检测器保留最佳的识别正脸表情图像的工作方式，这样就能够保证对抗生成一致性网络生成的正脸表情图像正确性。
有益效果：将人脸局部关键特征与全局关键特征融合，并将对抗生成一致性网络和卷积神经网络融合，形成了判别侧脸表情类别的深度神经网络，并将四通道的侧脸表情图一起送到生成器中进行训练，从而最大化的保存了侧脸图像的特征信息，可以更有效的建立从侧脸到正脸图像的映射关系，提升整体识别准确率；将多种特征融合并使用卷积神经网络(CNN)对提取到的特征进行分类，能够极大的提升多角度人脸表情识别的准确率和鲁棒性。
附图说明
图1是本发明的整体流程图。
具体实施方式
如图1所示，一种多角度人脸表情图像的生成与识别方法，包括以下步骤：
步骤A，构建多角度的人脸表情库，人脸表情库的表情包括但不限于:害怕,轻蔑，高兴，惊讶，生气，嫌弃，悲伤,中性，尖叫，眨眼；摄像机拍摄角度包括但不限于为0°，15°，45°,75°,105°，180°；获取上述各种拍摄角度拍摄的图像并取45°摄像机拍摄图像为正脸表情图像；然后对上述各个角度的人脸图像进行配准，得到配准后的人脸表情图像集；
步骤B，构建对抗生成一致性网络CTGAN，对抗生成一致性网络CTGAN由正向对抗生成对抗网络和反向对抗生成对抗网络构成的环形网络；
步骤C，将人脸表情库的除正脸表情图像以外的侧脸表情图像进行人脸局部关键区域与人脸全局关键区域融合，融合后的侧脸表情图像与原始侧脸表情图像一起输入正向对抗生成网络FAGAN中进行学习与训练，由正向对抗生成网络生成正脸表情图像；
步骤D，将生成的正脸表情图像输入反向对抗生成网络BKGAN反向生成侧脸表情图像，然后将反向生成的侧脸表情图像与原侧脸表情图像分别在各自对应的对抗生成网络中进行判别以接受反向生成的侧脸表情图像；若确保反向生成的侧脸表情图像被对抗生成网络接受，反向对抗生成网络BKGAN将不断学习和训练直至生成与原始侧脸表情图像相比也无法判别的侧脸表情图像；
步骤E，将上述的通过反向对抗生成网络BKGAN反向生成侧脸表情图像的正脸表情图像输入到由正脸图像训练好的人脸检测器FADTC中，进行表情识别。
对抗生成一致性网络是由正向生成对抗网络和反向生成对抗网络构成的环形网络，且两个生成对抗网络呈镜像对称；侧脸表情图像通过正向生成对抗网络生成正脸表情图像；该正脸表情图像通过反向生成对抗网络生成侧脸表情图像。正向生成对抗网络和反向生成对抗网络构成均包括生成器和判别器，生成器作用是生成预测的正脸图像，判别器的作用是判别预测的正脸图像是否为原始正脸图像。正向生成对抗网络和反向生成对抗网络共享两个生成器并且各自带一个判别器。正向生成对抗网络和反向生成对抗网络均有两个loss，对抗生成一致性网络共有四个loss，loss用来更新生成器和鉴别器。
对抗生成一致性网络的生成器包括3个卷积层，9个残差层，3个转置卷积层。卷积层的卷积核尺寸为2×2，步长分别为1,2，2；目的是将256×256×3的图像的维度压缩,用来代替传统生成对抗网络中输入的随机向量；残差网络是由两个残差块构成，步长为1，使用残差网络可以解决在较深的网络层数下梯度消失和梯度爆炸的问题；转置卷积层的转置卷积核尺寸为2×2，步长为2，目的是将压缩后的向量复原为256×256×3的预测图像；
对抗生成一致性网络的判别器的包括3层卷积层和1层softmax分类层，卷积层卷积核尺寸为1×1。主要用于对侧脸生成的正脸图像恢复出的侧脸图和原始图像的比对，并不断优化调整。
将对抗生成一致性网络生成的正脸表情图像输入由卷积神经网络构成的人脸检测器中进行表情判决，卷积神经网络人脸检测器记录并分类其生成正脸表情图像的结果。
训练判别正脸表情类别的人脸检测器FADTC的具体方法：
人脸检测器的网络结构为，两层256×256×64的卷积层，两层128×128×64的卷积层，三层64×64×128的卷积层，三层32×32×256的卷积层，三层16×16×512的卷积层，3层全连接层。
将正脸表情图片中的全部表情图片贴上类别标签，输入判别正脸表情类别的人脸检测器中，训练迭代卷积神经网络人脸检测器的网络模型参数。

Claims (5)

1.一种多角度人脸表情图像的生成与识别方法，其特征在于包括以下步骤：
步骤A，构建多角度的人脸表情库，人脸表情库的表情包括但不限于:害怕,轻蔑，高兴，惊讶，生气，嫌弃，悲伤,中性，尖叫，眨眼；摄像机拍摄角度包括但不限于为0°，15°，45°,75°,105°，180°；获取上述各种拍摄角度拍摄的图像并取45°摄像机拍摄图像为正脸表情图像；然后对上述各个角度的人脸图像进行配准，得到配准后的人脸表情图像集；
步骤B，构建对抗生成一致性网络CTGAN，对抗生成一致性网络CTGAN由正向对抗生成对抗网络和反向对抗生成对抗网络构成的环形网络；
步骤C，将人脸表情库的除正脸表情图像以外的侧脸表情图像进行人脸局部关键区域与人脸全局关键区域融合，融合后的侧脸表情图像与原始侧脸表情图像一起输入正向对抗生成网络FAGAN中进行学习与训练，由正向对抗生成网络生成正脸表情图像；
步骤D，将生成的正脸表情图像输入反向对抗生成网络BKGAN反向生成侧脸表情图像，然后将反向生成的侧脸表情图像与原侧脸表情图像分别在各自对应的对抗生成网络中进行判别以接受反向生成的侧脸表情图像；若确保反向生成的侧脸表情图像被对抗生成网络接受，反向对抗生成网络BKGAN将不断学习和训练直至生成与原始侧脸表情图像相比也无法判别的侧脸表情图像；
步骤E，将上述的通过反向对抗生成网络BKGAN反向生成侧脸表情图像的正脸表情图像输入到由正脸图像训练好的人脸检测器FADTC中，进行表情识别。
2.根据权利要求1所述的多角度人脸表情图像的生成与识别方法，其特征在于在步骤B中，正向对抗生成对抗网络和反向对抗生成对抗网络呈镜像对称。
3.根据权利要求2所述的多角度人脸表情图像的生成与识别方法，其特征在于正向生成对抗网络和反向生成对抗网络构成均包括生成器和判别器，正向生成对抗网络中的生成器作用是生成预测的正脸图像，正向生成对抗网络中的判别器的作用是判别预测的正脸图像是否为原始正脸图像；反向生成对抗网络中的生成器作用是生成预测的侧脸图像，反向生成对抗网络中的判别器的作用是判别预测的侧脸图像是否为原始侧脸图像。
4.根据权利要求1所述的多角度人脸表情图像的生成与识别方法，其特征在于在步骤C中，人脸局部关键区域与人脸全局关键区域融合为使用人脸关键点算法截取侧脸表情图像的关键点区域，该关键点区域由眼睛、鼻子以及嘴巴三个关键点构成；将每个关键点区域的RGB值求和取平均并将除关键点外的其他区域设为0，处理后的图像作为第四通道连接在原侧脸表情图像的第三维度，与原侧脸表情图像一起构成四通道。
5.根据权利要求2所述的多角度人脸表情图像的生成与识别，其特征在于在步骤E中，人脸检测器由卷积神经网络构成。
CN201910445298.XA 2019-05-27 2019-05-27 多角度人脸表情图像的生成与识别方法 Active CN110188656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910445298.XA CN110188656B (zh) 2019-05-27 2019-05-27 多角度人脸表情图像的生成与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910445298.XA CN110188656B (zh) 2019-05-27 2019-05-27 多角度人脸表情图像的生成与识别方法

Publications (2)

Publication Number Publication Date
CN110188656A true CN110188656A (zh) 2019-08-30
CN110188656B CN110188656B (zh) 2023-03-24

Family

ID=67717955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910445298.XA Active CN110188656B (zh) 2019-05-27 2019-05-27 多角度人脸表情图像的生成与识别方法

Country Status (1)

Country Link
CN (1) CN110188656B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382684A (zh) * 2020-03-02 2020-07-07 中国科学技术大学 基于对抗学习的角度鲁棒的个性化人脸表情识别方法
CN111860151A (zh) * 2020-06-12 2020-10-30 南京邮电大学 一种无监督跨角度面部表情图像识别方法
CN112836654A (zh) * 2021-02-07 2021-05-25 上海卓繁信息技术股份有限公司 一种基于融合的表情识别方法、装置和电子设备
CN113128287A (zh) * 2019-12-31 2021-07-16 暗物智能科技(广州)有限公司 训练跨域人脸表情识别模型、人脸表情识别的方法及系统
CN113140015A (zh) * 2021-04-13 2021-07-20 杭州欣禾圣世科技有限公司 基于生成对抗网络的多视角人脸合成方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729835A (zh) * 2017-10-10 2018-02-23 浙江大学 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法
CN108446667A (zh) * 2018-04-04 2018-08-24 北京航空航天大学 基于生成对抗网络数据增强的人脸表情识别方法和装置
CN108446609A (zh) * 2018-03-02 2018-08-24 南京邮电大学 一种基于生成对抗网络的多角度面部表情识别方法
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729835A (zh) * 2017-10-10 2018-02-23 浙江大学 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法
CN108446609A (zh) * 2018-03-02 2018-08-24 南京邮电大学 一种基于生成对抗网络的多角度面部表情识别方法
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN108446667A (zh) * 2018-04-04 2018-08-24 北京航空航天大学 基于生成对抗网络数据增强的人脸表情识别方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡敏等: "基于约束性循环一致生成对抗网络的人脸表情识别方法", 《电子测量与仪器学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128287A (zh) * 2019-12-31 2021-07-16 暗物智能科技(广州)有限公司 训练跨域人脸表情识别模型、人脸表情识别的方法及系统
CN113128287B (zh) * 2019-12-31 2024-01-02 暗物质(北京)智能科技有限公司 训练跨域人脸表情识别模型、人脸表情识别的方法及系统
CN111382684A (zh) * 2020-03-02 2020-07-07 中国科学技术大学 基于对抗学习的角度鲁棒的个性化人脸表情识别方法
CN111382684B (zh) * 2020-03-02 2022-09-06 中国科学技术大学 基于对抗学习的角度鲁棒的个性化人脸表情识别方法
CN111860151A (zh) * 2020-06-12 2020-10-30 南京邮电大学 一种无监督跨角度面部表情图像识别方法
CN111860151B (zh) * 2020-06-12 2022-08-26 南京邮电大学 一种无监督跨角度面部表情图像识别方法
CN112836654A (zh) * 2021-02-07 2021-05-25 上海卓繁信息技术股份有限公司 一种基于融合的表情识别方法、装置和电子设备
CN112836654B (zh) * 2021-02-07 2024-06-07 上海卓繁信息技术股份有限公司 一种基于融合的表情识别方法、装置和电子设备
CN113140015A (zh) * 2021-04-13 2021-07-20 杭州欣禾圣世科技有限公司 基于生成对抗网络的多视角人脸合成方法和系统
CN113140015B (zh) * 2021-04-13 2023-03-14 杭州欣禾圣世科技有限公司 基于生成对抗网络的多视角人脸合成方法和系统

Also Published As

Publication number Publication date
CN110188656B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN110188656A (zh) 多角度人脸表情图像的生成与识别方法
Li et al. Patch-gated CNN for occlusion-aware facial expression recognition
Liu et al. Two-stream 3d convolutional neural network for skeleton-based action recognition
CN108830252B (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN109101865A (zh) 一种基于深度学习的行人重识别方法
CN110991281A (zh) 一种动态人脸识别方法
CN109815826A (zh) 人脸属性模型的生成方法及装置
CN104951773A (zh) 一种实时人脸识别监视系统
CN110765839B (zh) 可见光面部图像的多路信息融合及人工智能情绪监测方法
Liu et al. Facial expression recognition and generation using sparse autoencoder
CN107609464B (zh) 一种实时人脸快速检测方法
Gao et al. Automatic facial attractiveness prediction by deep multi-task learning
CN107563319A (zh) 一种基于图像的亲子间人脸相似性度量计算方法
CN109872279A (zh) 一种基于神经网络的智能云平台人脸识别并局部加密方法
CN109214442A (zh) 一种基于列表和身份一致性约束的行人重识别算法
Wang et al. Face aging on realistic photos by generative adversarial networks
CN111401116B (zh) 基于增强卷积和空时lstm网络的双模态情感识别方法
Wang et al. Digital twin: Acquiring high-fidelity 3D avatar from a single image
Wu et al. Ggvit: Multistream vision transformer network in face2face facial reenactment detection
Kim et al. Facial expression recognition in the wild using face graph and attention
CN106778576A (zh) 一种基于sehm特征图序列的动作识别方法
Guo et al. Facial expression recognition: a review
CN113065489A (zh) 基于图卷积的虹膜图像分类方法
Zhou et al. An Improved Random Forest Algorithm-Based Fatigue Recognition with Multi-Physical Feature
Yuan et al. Ear detection based on CenterNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant