CN108446609A - 一种基于生成对抗网络的多角度面部表情识别方法 - Google Patents

一种基于生成对抗网络的多角度面部表情识别方法 Download PDF

Info

Publication number
CN108446609A
CN108446609A CN201810173858.6A CN201810173858A CN108446609A CN 108446609 A CN108446609 A CN 108446609A CN 201810173858 A CN201810173858 A CN 201810173858A CN 108446609 A CN108446609 A CN 108446609A
Authority
CN
China
Prior art keywords
face
network
expression
facial expression
steps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810173858.6A
Other languages
English (en)
Other versions
CN108446609B (zh
Inventor
孙宁
朱逸程
李晓飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201810173858.6A priority Critical patent/CN108446609B/zh
Publication of CN108446609A publication Critical patent/CN108446609A/zh
Application granted granted Critical
Publication of CN108446609B publication Critical patent/CN108446609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明揭示了一种基于生成对抗网络的多角度面部表情识别方法，该方法包括以下步骤：S1步骤：通过构建多角度人脸生成对抗网络来学习由侧脸图像生成正脸图像的变换关系；S2步骤：使用正脸表情图像训练用于判别正脸表情类别的深度神经网络；S3步骤：将多角度人脸生成对抗网络的低层部分与正脸表情判别网络的高层相连接，形成一个判别侧脸表情类别的深度神经网络；S4步骤：将一个侧脸表情图像T输入到深度神经网络，得到对该图像中面部表情的识别结果。本方法在两个标准人脸表情图像数据库上进行了大量测试，结果显示该方法实现了在缺乏侧脸表情图像训练数据时对多角度侧脸图像的面部表情识别功能。

Description

一种基于生成对抗网络的多角度面部表情识别方法
技术领域
本发明涉及一种基于生成对抗网络的多角度面部表情识别方法，属于图像识别技术领域。
背景技术
表情识别一直都是人脸属性分析领域一个重要课题，目的是通过计算机视觉从人脸关键区域提取到可以识别表情的信息，并对该信息进行分类融合。随着计算机处理能力的显著提高，该技术在众多领域都有越来越广泛的应用。
人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，这将对未来人机交互领域产生重大的意义。
发明内容
本发明的目的旨在提出一种基于生成对抗网络的多角度面部表情识别方法，该方法针对多角度表情图像的识别，提供一种在仅有正脸和侧脸无表情人脸图像的情况下，准确识别多角度侧脸表情的人脸表情识别系统。
本发明实现上述目的的技术解决方案是：一种基于生成对抗网络的多角度面部表情识别方法，该方法包括以下步骤：
S1步骤：通过构建多角度人脸生成对抗网络MVFGAN来学习由侧脸图像生成正脸图像的变换关系，所述侧脸图像定义为无表情，正脸图像定义为有表情；
S2步骤：使用正脸表情图像训练用于判别正脸表情类别的深度神经网络FFERN；
S3步骤：将多角度人脸生成对抗网络MVFGAN的低层部分与正脸表情判别网络FFERN的高层相连接，形成一个判别侧脸表情类别的深度神经网络MVFFERN；
S4步骤：将一个侧脸表情图像T输入到深度神经网络MVFFERN，得到对该图像中面部表情的识别结果。
优选地，所述S1步骤中的多角度人脸生成对抗网络MVFGAN包括生成器和判别器，所述生成器用于生成预测的正脸图片，所述判别器用于判别预测的正脸图片是否为原始正脸图片。
优选地，所述生成器的构造为8层卷积层和8层转置卷积层，卷积层的卷积核尺寸均为5×5，步长为2，用于将256×256×3的图片的维度压缩；转置卷积层的转置卷积核尺寸也均为5×5，步长为2，用于将压缩后的向量复原为256×256×3的预测图片；判别器的构造为4层卷积层和1层softmax分类层，卷积层卷积核尺寸为5×5。
优选地，所述S1步骤包括以下步骤：
截取人脸方法步骤：首先，取90°摄像机拍摄图片为正脸表情图片Z，利用人脸检测器，正脸表情图片Z中严肃表情图片进行人脸检测，截取人脸区域；然后，利用人脸关键点进行人脸配准处理，得到配准后的人脸表情图像集Y；
训练过程步骤：将某角度侧脸严肃表情图片Y’输入生成器，由生成器生成预测后的正脸图片，再将原始正脸图片和预测的虚假正脸输入判别器，判别器判别是否原始正脸，根据判别结果迭代生成器的网络参数；
数据处理步骤：将处理好的数据，即侧脸某角度有表情图片输入训练好的MVFGAN中，输出预测的侧脸图像和多级深度特征。
优选地，数据库为Multipie多角度人脸表情库，其中含有六种表情，分别是严肃（neutral）、高兴（happy）、惊讶（surprise）、眨眼（squint）、嫌弃（disgust）、尖叫（scream），摄像机拍摄角度分别为0°、15°、30°、45°、60°、75°或90°。
优选地，所述S2步骤中训练判别正脸表情类别的深度神经网络FFERN的具体方法为：将正脸表情图片Z中的全部表情图片贴上类别标签，输入判别正脸表情类别的深度神经网络FFERN，训练迭代FFERN的网络模型参数。
优选地，所述S2步骤中的FFERN的网络结构为两层256×256×64的卷积层，两层128×128×64的卷积层，三层64×64×128的卷积层，三层32×32×256的卷积层，三层16×16×512的卷积层，3层全连接层。
优选地，所述S3步骤中连接生成对抗网络MVFGAN与正脸表情判别网络FFERN的具体方法为：将生成对抗网络的生成器的128×128×64维中层输出与卷积神经网络的128×128×64维中层输入连接，形成一个判别侧脸表情类别的深度神经网络MVFFERN。
优选地，所述S4步骤中侧脸表情识别的具体方法为：将侧脸图像T输入到深度神经网络MVFFERN中，获得表情判别结果。
本发明技术方案的优点主要体现在：本发明将生成对抗网络和卷积神经网络融合，形成了判别侧脸表情类别的深度神经网络MVFFERN，将侧脸作为生成对抗网络的输入之一，而不是传统中将随机变量作为输入，从而保存了侧脸图片的特征信息，使用生成对抗网络提取侧脸特征，并学习从侧脸到正脸图片的映射关系，提升整体识别准确率；将多种特征融合并使用卷积神经网络（CNN）对提取到的特征进行分类，能够极大地提升多角度人脸表情识别的准确率。
附图说明
图1是本发明的一种基于生成对抗网络的多角度面部表情识别方法的整体流程图。
具体实施方式
本发明的目的、优点和特点，将通过下面优选实施例的非限制性说明进行图示和解释。这些实施例仅是应用本发明技术方案的典型范例，凡采取等同替换或者等效变换而形成的技术方案，均落在本发明要求保护的范围之内。
本发明揭示了一种基于生成对抗网络的多角度面部表情识别方法，该方法首先通过构建多角度人脸生成对抗网络MVFGAN来学习侧脸图像（无表情）到正脸图像（无表情）的映射关系，由侧脸图像合成正脸图像，以及相应的多级深度特征。同时，使用正脸表情图像训练用于判别正脸表情类别的深度神经网络FFERN。
具体地，如图1所示，该方法包括以下步骤：
S1步骤：通过构建多角度人脸生成对抗网络MVFGAN来学习由侧脸图像生成正脸图像的变换关系，所述侧脸图像定义为无表情，正脸图像定义为有表情；
S2步骤：使用正脸表情图像训练用于判别正脸表情类别的深度神经网络FFERN；
S3步骤：将多角度人脸生成对抗网络MVFGAN的低层部分与正脸表情判别网络FFERN的高层相连接，形成一个判别侧脸表情类别的深度神经网络MVFFERN；
S4步骤：将一个侧脸表情图像T输入到深度神经网络MVFFERN，得到对该图像中面部表情的识别结果。
学习由侧脸图像生成正脸图像的变换关系具体方法为：所述S1步骤中的多角度人脸生成对抗网络MVFGAN包括生成器和判别器，所述生成器用于生成预测的正脸图片，所述判别器用于判别预测的正脸图片是否为原始正脸图片。具体地，所述生成器的构造为8层卷积层和8层转置卷积层，卷积层的卷积核尺寸均为5×5，步长为2，用于将256×256×3的图片的维度压缩；转置卷积层的转置卷积核尺寸也均为5×5，步长为2，用于将压缩后的向量复原为256×256×3的预测图片；判别器的构造为4层卷积层和1层softmax分类层，卷积层卷积核尺寸为5×5。
具体地，所述S1步骤包括以下步骤：截取人脸方法步骤：首先，取90°摄像机拍摄图片为正脸表情图片Z，利用人脸检测器，正脸表情图片Z中严肃表情图片进行人脸检测，截取人脸区域；然后，利用人脸关键点进行人脸配准处理，得到配准后的人脸表情图像集Y；
训练过程步骤：将某角度侧脸严肃表情图片Y’输入生成器，由生成器生成预测后的正脸图片，再将原始正脸图片和预测的虚假正脸输入判别器，判别器判别是否原始正脸，根据判别结果迭代生成器的网络参数；
数据处理步骤：将处理好的数据，即侧脸某角度有表情图片输入训练好的MVFGAN中，输出预测的侧脸图像和多级深度特征。
所述数据库为Multipie多角度人脸表情库，其中含有六种表情，分别是严肃（neutral）、高兴（happy）、惊讶（surprise）、眨眼（squint）、嫌弃（disgust）、尖叫（scream），摄像机拍摄角度分别为0°、15°、30°、45°、60°、75°或90°，在本技术方案中，所述摄像机的拍摄角度优选为90°。
所述S2步骤中训练判别正脸表情类别的深度神经网络FFERN的具体方法为：将正脸表情图片Z中的全部表情图片贴上类别标签，输入判别正脸表情类别的深度神经网络FFERN，训练迭代FFERN的网络模型参数。所述S2步骤中的FFERN的网络结构为两层256×256×64的卷积层，两层128×128×64的卷积层，三层64×64×128的卷积层，三层32×32×256的卷积层，三层16×16×512的卷积层，3层全连接层。
所述S3步骤中连接生成对抗网络MVFGAN与正脸表情判别网络FFERN的具体方法为：将生成对抗网络的生成器的128×128×64维中层输出与卷积神经网络的128×128×64维中层输入连接，形成一个判别侧脸表情类别的深度神经网络MVFFERN。
所述S4步骤中侧脸表情识别的具体方法为：将侧脸图像T输入到深度神经网络MVFFERN中，获得表情判别结果。
本方法将多角度人脸生成对抗网络MVFGAN的低层部分与正脸表情判别网络FFERN的高层相连接，形成一个判别侧脸表情类别的深度神经网络MVFFERN。由于MVFFERN中的低层部分是侧脸图像到正脸图像的映射，高层部分是对正脸表情图像中表情语义的描述。因此，本方法利用生成对抗网络将多角度侧脸表情识别问题分解为（1）侧脸图像到正脸图像的映射和（2）正脸表情图像的判别。本方法在两个标准人脸表情图像数据库上进行了大量测试，结果表明本发明实现了在缺乏侧脸表情图像训练数据时对多角度侧脸图像的面部表情识别功能。
本发明尚有多种实施方式，凡采用等同变换或者等效变换而形成的所有技术方案，均落在本发明的保护范围之内。

Claims (9)

1.一种基于生成对抗网络的多角度面部表情识别方法，其特征在于：该方法包括以下步骤：
S1步骤：通过构建多角度人脸生成对抗网络MVFGAN来学习由侧脸图像生成正脸图像的变换关系，所述侧脸图像定义为无表情，正脸图像定义为有表情；
S2步骤：使用正脸表情图像训练用于判别正脸表情类别的深度神经网络FFERN；
S3步骤：将多角度人脸生成对抗网络MVFGAN的低层部分与正脸表情判别网络FFERN的高层相连接，形成一个判别侧脸表情类别的深度神经网络MVFFERN；
S4步骤：将一个侧脸表情图像T输入到深度神经网络MVFFERN，得到对该图像中面部表情的识别结果。
2.根据权利要求1所述的一种基于生成对抗网络的多角度面部表情识别方法，其特征在于：所述S1步骤中的多角度人脸生成对抗网络MVFGAN包括生成器和判别器，所述生成器用于生成预测的正脸图片，所述判别器用于判别预测的正脸图片是否为原始正脸图片。
3.根据权利要求2所述的一种基于生成对抗网络的多角度面部表情识别方法，其特征在于：所述生成器的构造为8层卷积层和8层转置卷积层，卷积层的卷积核尺寸均为5×5，步长为2，用于将256×256×3的图片的维度压缩；转置卷积层的转置卷积核尺寸也均为5×5，步长为2，用于将压缩后的向量复原为256×256×3的预测图片；判别器的构造为4层卷积层和1层softmax分类层，卷积层卷积核尺寸为5×5。
4.根据权利要求1所述的一种基于生成对抗网络的多角度面部表情识别方法，其特征在于：所述S1步骤包括以下步骤：
截取人脸方法步骤：首先，取90°摄像机拍摄图片为正脸表情图片Z，利用人脸检测器，正脸表情图片Z中严肃表情图片进行人脸检测，截取人脸区域；然后，利用人脸关键点进行人脸配准处理，得到配准后的人脸表情图像集Y；
训练过程步骤：将某角度侧脸严肃表情图片Y’输入生成器，由生成器生成预测后的正脸图片，再将原始正脸图片和预测的虚假正脸输入判别器，判别器判别是否原始正脸，根据判别结果迭代生成器的网络参数；
数据处理步骤：将处理好的数据，即侧脸某角度有表情图片输入训练好的MVFGAN中，输出预测的侧脸图像和多级深度特征。
5.根据权利要求4所述的一种基于生成对抗网络的多角度面部表情识别方法，其特征在于：数据库为Multipie多角度人脸表情库，其中含有六种表情，分别是严肃（neutral）、高兴（happy）、惊讶（surprise）、眨眼（squint）、嫌弃（disgust）、尖叫（scream），摄像机拍摄角度分别为0°、15°、30°、45°、60°、75°或90°。
6.根据权利要求1所述的一种基于生成对抗网络的多角度面部表情识别方法，其特征在于：所述S2步骤中训练判别正脸表情类别的深度神经网络FFERN的具体方法为：将正脸表情图片Z中的全部表情图片贴上类别标签，输入判别正脸表情类别的深度神经网络FFERN，训练迭代FFERN的网络模型参数。
7.根据权利要求6所述的一种基于生成对抗网络的多角度面部表情识别方法，其特征在于：所述S2步骤中的FFERN的网络结构为两层256×256×64的卷积层，两层128×128×64的卷积层，三层64×64×128的卷积层，三层32×32×256的卷积层，三层16×16×512的卷积层，3层全连接层。
8.根据权利要求1所述的一种基于生成对抗网络的多角度面部表情识别方法，其特征在于：所述S3步骤中连接生成对抗网络MVFGAN与正脸表情判别网络FFERN的具体方法为：将生成对抗网络的生成器的128×128×64维中层输出与卷积神经网络的128×128×64维中层输入连接，形成一个判别侧脸表情类别的深度神经网络MVFFERN。
9.根据权利要求1所述的一种基于生成对抗网络的多角度面部表情识别方法，其特征在于：所述S4步骤中侧脸表情识别的具体方法为：将侧脸图像T输入到深度神经网络MVFFERN中，获得表情判别结果。
CN201810173858.6A 2018-03-02 2018-03-02 一种基于生成对抗网络的多角度面部表情识别方法 Active CN108446609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810173858.6A CN108446609B (zh) 2018-03-02 2018-03-02 一种基于生成对抗网络的多角度面部表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810173858.6A CN108446609B (zh) 2018-03-02 2018-03-02 一种基于生成对抗网络的多角度面部表情识别方法

Publications (2)

Publication Number Publication Date
CN108446609A true CN108446609A (zh) 2018-08-24
CN108446609B CN108446609B (zh) 2022-03-11

Family

ID=63192886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810173858.6A Active CN108446609B (zh) 2018-03-02 2018-03-02 一种基于生成对抗网络的多角度面部表情识别方法

Country Status (1)

Country Link
CN (1) CN108446609B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284738A (zh) * 2018-10-25 2019-01-29 上海交通大学 不规则人脸矫正方法和系统
CN109377535A (zh) * 2018-10-24 2019-02-22 电子科技大学 面部属性自动编辑系统、方法、存储介质和终端
CN109389081A (zh) * 2018-09-30 2019-02-26 Oppo广东移动通信有限公司 多媒体数据处理方法及装置、可读存储介质
CN109389551A (zh) * 2018-10-08 2019-02-26 清华大学 中性表情正向人脸图片方法及装置
CN109409222A (zh) * 2018-09-20 2019-03-01 中国地质大学（武汉） 一种基于移动端的多视角人脸表情识别方法
CN109523478A (zh) * 2018-11-09 2019-03-26 北京智慧眼科技股份有限公司 图像去网格方法、存储介质
CN109784243A (zh) * 2018-12-29 2019-05-21 网易（杭州）网络有限公司 身份确定方法及装置、神经网络训练方法及装置、介质
CN109815928A (zh) * 2019-01-31 2019-05-28 中国电子进出口有限公司 一种基于对抗学习的人脸图像合成方法和装置
CN109829959A (zh) * 2018-12-25 2019-05-31 中国科学院自动化研究所 基于人脸解析的表情编辑方法及装置
CN110046653A (zh) * 2019-03-22 2019-07-23 赣州好朋友科技有限公司 一种基于xrt射线的白钨分选方法和系统
CN110188706A (zh) * 2019-06-03 2019-08-30 南京邮电大学 基于生成对抗网络的视频中人物表情的神经网络训练方法及检测方法
CN110188656A (zh) * 2019-05-27 2019-08-30 南京邮电大学 多角度人脸表情图像的生成与识别方法
CN110210429A (zh) * 2019-06-06 2019-09-06 山东大学 一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法
CN110222668A (zh) * 2019-06-17 2019-09-10 苏州大学 基于生成对抗网络的多姿态面部表情识别方法
CN110276252A (zh) * 2019-05-15 2019-09-24 北京大学 一种基于生成式对抗网络的抗表情干扰的人脸识别方法
CN110399811A (zh) * 2019-07-08 2019-11-01 厦门市美亚柏科信息股份有限公司 一种人脸识别方法、装置及存储介质
CN110647864A (zh) * 2019-09-30 2020-01-03 上海依图网络科技有限公司 基于生成对抗网络的单人多图特征识别方法、设备及介质
CN110647986A (zh) * 2019-08-13 2020-01-03 杭州电子科技大学 一种基于对抗式生成网络的道路破损图像生成方法
CN111191564A (zh) * 2019-12-26 2020-05-22 三盟科技股份有限公司 基于多角度神经网络的多姿态人脸情绪识别方法及系统
CN111274987A (zh) * 2020-02-10 2020-06-12 广东九联科技股份有限公司 人脸表情识别方法及人脸表情识别装置
CN111382684A (zh) * 2020-03-02 2020-07-07 中国科学技术大学 基于对抗学习的角度鲁棒的个性化人脸表情识别方法
CN111435421A (zh) * 2019-01-11 2020-07-21 北京邮电大学 一种面向交通目标的车辆重识别方法和装置
CN111860151A (zh) * 2020-06-12 2020-10-30 南京邮电大学 一种无监督跨角度面部表情图像识别方法
CN111860362A (zh) * 2020-07-24 2020-10-30 北京百度网讯科技有限公司 生成人脸图像校正模型及校正人脸图像的方法和装置
CN112036281A (zh) * 2020-07-29 2020-12-04 重庆工商大学 基于改进胶囊网络的人脸表情识别方法
CN112149651A (zh) * 2020-11-25 2020-12-29 深圳点猫科技有限公司 一种基于深度学习的人脸表情识别方法、装置及设备
WO2021019360A1 (ja) * 2019-07-31 2021-02-04 株式会社半導体エネルギー研究所 疲労度評価システム、および疲労度評価装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120018479A (ko) * 2010-08-23 2012-03-05 에스케이플래닛 주식회사 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법
CN103186774A (zh) * 2013-03-21 2013-07-03 北京工业大学 一种基于半监督学习的多姿态人脸表情识别方法
CN203675239U (zh) * 2013-12-25 2014-06-25 孙雪松 一种医疗用三维立体影像镜系统
CN105447473A (zh) * 2015-12-14 2016-03-30 江苏大学 一种基于PCANet-CNN的任意姿态人脸表情识别方法
CN105737020A (zh) * 2016-03-25 2016-07-06 浙江工业大学 通过识别脸部表情的智能负氧离子月亮交互灯
US20170091535A1 (en) * 2015-09-29 2017-03-30 BinaryVR, Inc. Head-mounted display with facial expression detecting capability
CN106951867A (zh) * 2017-03-22 2017-07-14 成都擎天树科技有限公司 基于卷积神经网络的人脸识别方法、装置、系统及设备
CN107239766A (zh) * 2017-06-08 2017-10-10 深圳市唯特视科技有限公司 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法
CN107292813A (zh) * 2017-05-17 2017-10-24 浙江大学 一种基于生成对抗网络的多姿态人脸生成方法
CN107316015A (zh) * 2017-06-19 2017-11-03 南京邮电大学 一种基于深度时空特征的高精度面部表情识别方法
CN107423707A (zh) * 2017-07-25 2017-12-01 深圳帕罗人工智能科技有限公司 一种基于复杂环境下的人脸情绪识别方法
CN107437077A (zh) * 2017-08-04 2017-12-05 深圳市唯特视科技有限公司 一种基于生成对抗网络的旋转面部表示学习的方法
CN107742117A (zh) * 2017-11-15 2018-02-27 北京工业大学 一种基于端到端模型的人脸表情识别方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120018479A (ko) * 2010-08-23 2012-03-05 에스케이플래닛 주식회사 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법
CN103186774A (zh) * 2013-03-21 2013-07-03 北京工业大学 一种基于半监督学习的多姿态人脸表情识别方法
CN203675239U (zh) * 2013-12-25 2014-06-25 孙雪松 一种医疗用三维立体影像镜系统
US20170091535A1 (en) * 2015-09-29 2017-03-30 BinaryVR, Inc. Head-mounted display with facial expression detecting capability
CN105447473A (zh) * 2015-12-14 2016-03-30 江苏大学 一种基于PCANet-CNN的任意姿态人脸表情识别方法
CN105737020A (zh) * 2016-03-25 2016-07-06 浙江工业大学 通过识别脸部表情的智能负氧离子月亮交互灯
CN106951867A (zh) * 2017-03-22 2017-07-14 成都擎天树科技有限公司 基于卷积神经网络的人脸识别方法、装置、系统及设备
CN107292813A (zh) * 2017-05-17 2017-10-24 浙江大学 一种基于生成对抗网络的多姿态人脸生成方法
CN107239766A (zh) * 2017-06-08 2017-10-10 深圳市唯特视科技有限公司 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法
CN107316015A (zh) * 2017-06-19 2017-11-03 南京邮电大学 一种基于深度时空特征的高精度面部表情识别方法
CN107423707A (zh) * 2017-07-25 2017-12-01 深圳帕罗人工智能科技有限公司 一种基于复杂环境下的人脸情绪识别方法
CN107437077A (zh) * 2017-08-04 2017-12-05 深圳市唯特视科技有限公司 一种基于生成对抗网络的旋转面部表示学习的方法
CN107742117A (zh) * 2017-11-15 2018-02-27 北京工业大学 一种基于端到端模型的人脸表情识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JIE CAO等: "Load Balanced GANs for Multi-view Face Image Synthesis", 《ARXIV:1802.07447V1 [CS.CV]》 *
MAHDIJAMPOUR等: "Pose-specific non-linear mappings in feature space towards multiview facial expression recognition", 《IMAGE AND VISION COMPUTING》 *
Y. HUANG等: "DyadGAN: Generating Facial Expressions in Dyadic Interactions", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 *
孙宁等: "面向人脸年龄估计的深度融合神经网络", 《中国图象图形学报》 *
朱逸程: "基于生成对抗网络的多角度面部表情识别研究与实现", 《中国优秀硕士学位论文全文数据库·信息科技辑》 *
李春明等: "多角度不同表情下的人脸识别", 《计算机科学》 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409222A (zh) * 2018-09-20 2019-03-01 中国地质大学（武汉） 一种基于移动端的多视角人脸表情识别方法
CN109389081A (zh) * 2018-09-30 2019-02-26 Oppo广东移动通信有限公司 多媒体数据处理方法及装置、可读存储介质
CN109389551A (zh) * 2018-10-08 2019-02-26 清华大学 中性表情正向人脸图片方法及装置
CN109389551B (zh) * 2018-10-08 2023-04-07 清华大学 中性表情正向人脸图片方法及装置
CN109377535A (zh) * 2018-10-24 2019-02-22 电子科技大学 面部属性自动编辑系统、方法、存储介质和终端
CN109284738A (zh) * 2018-10-25 2019-01-29 上海交通大学 不规则人脸矫正方法和系统
CN109284738B (zh) * 2018-10-25 2020-08-04 上海交通大学 不规则人脸矫正方法和系统
CN109523478A (zh) * 2018-11-09 2019-03-26 北京智慧眼科技股份有限公司 图像去网格方法、存储介质
CN109523478B (zh) * 2018-11-09 2021-06-04 智慧眼科技股份有限公司 图像去网格方法、存储介质
CN109829959A (zh) * 2018-12-25 2019-05-31 中国科学院自动化研究所 基于人脸解析的表情编辑方法及装置
CN109784243A (zh) * 2018-12-29 2019-05-21 网易（杭州）网络有限公司 身份确定方法及装置、神经网络训练方法及装置、介质
CN111435421B (zh) * 2019-01-11 2023-12-19 北京邮电大学 一种面向交通目标的车辆重识别方法和装置
CN111435421A (zh) * 2019-01-11 2020-07-21 北京邮电大学 一种面向交通目标的车辆重识别方法和装置
CN109815928A (zh) * 2019-01-31 2019-05-28 中国电子进出口有限公司 一种基于对抗学习的人脸图像合成方法和装置
CN109815928B (zh) * 2019-01-31 2021-05-11 中国电子进出口有限公司 一种基于对抗学习的人脸图像合成方法和装置
CN110046653A (zh) * 2019-03-22 2019-07-23 赣州好朋友科技有限公司 一种基于xrt射线的白钨分选方法和系统
CN110046653B (zh) * 2019-03-22 2021-05-25 赣州好朋友科技有限公司 一种基于xrt射线的白钨分选方法和系统
CN110276252A (zh) * 2019-05-15 2019-09-24 北京大学 一种基于生成式对抗网络的抗表情干扰的人脸识别方法
CN110276252B (zh) * 2019-05-15 2021-07-30 北京大学 一种基于生成式对抗网络的抗表情干扰的人脸识别方法
CN110188656A (zh) * 2019-05-27 2019-08-30 南京邮电大学 多角度人脸表情图像的生成与识别方法
CN110188706A (zh) * 2019-06-03 2019-08-30 南京邮电大学 基于生成对抗网络的视频中人物表情的神经网络训练方法及检测方法
CN110188706B (zh) * 2019-06-03 2022-04-19 南京邮电大学 基于生成对抗网络的视频中人物表情的神经网络训练方法及检测方法
CN110210429A (zh) * 2019-06-06 2019-09-06 山东大学 一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法
CN110210429B (zh) * 2019-06-06 2022-11-29 山东大学 一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法
CN110222668A (zh) * 2019-06-17 2019-09-10 苏州大学 基于生成对抗网络的多姿态面部表情识别方法
CN110399811A (zh) * 2019-07-08 2019-11-01 厦门市美亚柏科信息股份有限公司 一种人脸识别方法、装置及存储介质
WO2021019360A1 (ja) * 2019-07-31 2021-02-04 株式会社半導体エネルギー研究所 疲労度評価システム、および疲労度評価装置
CN110647986A (zh) * 2019-08-13 2020-01-03 杭州电子科技大学 一种基于对抗式生成网络的道路破损图像生成方法
CN110647864A (zh) * 2019-09-30 2020-01-03 上海依图网络科技有限公司 基于生成对抗网络的单人多图特征识别方法、设备及介质
CN111191564A (zh) * 2019-12-26 2020-05-22 三盟科技股份有限公司 基于多角度神经网络的多姿态人脸情绪识别方法及系统
CN111274987B (zh) * 2020-02-10 2023-10-20 广东九联科技股份有限公司 人脸表情识别方法及人脸表情识别装置
CN111274987A (zh) * 2020-02-10 2020-06-12 广东九联科技股份有限公司 人脸表情识别方法及人脸表情识别装置
CN111382684A (zh) * 2020-03-02 2020-07-07 中国科学技术大学 基于对抗学习的角度鲁棒的个性化人脸表情识别方法
CN111382684B (zh) * 2020-03-02 2022-09-06 中国科学技术大学 基于对抗学习的角度鲁棒的个性化人脸表情识别方法
CN111860151B (zh) * 2020-06-12 2022-08-26 南京邮电大学 一种无监督跨角度面部表情图像识别方法
CN111860151A (zh) * 2020-06-12 2020-10-30 南京邮电大学 一种无监督跨角度面部表情图像识别方法
CN111860362A (zh) * 2020-07-24 2020-10-30 北京百度网讯科技有限公司 生成人脸图像校正模型及校正人脸图像的方法和装置
CN112036281A (zh) * 2020-07-29 2020-12-04 重庆工商大学 基于改进胶囊网络的人脸表情识别方法
CN112036281B (zh) * 2020-07-29 2023-06-09 重庆工商大学 基于改进胶囊网络的人脸表情识别方法
CN112149651B (zh) * 2020-11-25 2021-05-07 深圳点猫科技有限公司 一种基于深度学习的人脸表情识别方法、装置及设备
CN112149651A (zh) * 2020-11-25 2020-12-29 深圳点猫科技有限公司 一种基于深度学习的人脸表情识别方法、装置及设备

Also Published As

Publication number Publication date
CN108446609B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN108446609A (zh) 一种基于生成对抗网络的多角度面部表情识别方法
CN110163299B (zh) 一种基于自底向上注意力机制和记忆网络的视觉问答方法
Liu et al. SAANet: Siamese action-units attention network for improving dynamic facial expression recognition
CN110135249B (zh) 基于时间注意力机制和lstm的人体行为识别方法
Deng et al. MVF-Net: A multi-view fusion network for event-based object classification
CN107862300A (zh) 一种基于卷积神经网络的监控场景下行人属性识别方法
Storey et al. 3DPalsyNet: A facial palsy grading and motion recognition framework using fully 3D convolutional neural networks
Tu et al. End-to-end human-gaze-target detection with transformers
CN112434608B (zh) 一种基于双流结合网络的人体行为识别方法及系统
Yue et al. Action recognition based on RGB and skeleton data sets: A survey
CN110334607B (zh) 一种视频人体交互行为识别方法及系统
Geng et al. Learning deep spatiotemporal feature for engagement recognition of online courses
CN109558805A (zh) 基于多层深度特征的人体行为识别方法
Gao et al. A novel multiple-view adversarial learning network for unsupervised domain adaptation action recognition
Yang et al. The Korean sign language dataset for action recognition
WO2023236469A1 (zh) 一种视频行为识别方法、装置、电子设备及存储介质
Cui et al. A novel online teaching effect evaluation model based on visual question answering
Li et al. Egocentric action recognition by automatic relation modeling
Liu et al. Student behavior recognition from heterogeneous view perception in class based on 3-D multiscale residual dense network for the analysis of case teaching
Nawaz et al. Convolutional long short-term memory-based approach for deepfakes detection from videos
Song et al. Learning structural similarity with evolutionary-GAN: A new face de-identification method
WO2023185074A1 (zh) 一种基于互补时空信息建模的群体行为识别方法
CN112446253A (zh) 一种骨架行为识别方法及装置
Chowdhury et al. Review on deep fake: A looming technological threat
Saif et al. Aggressive action estimation: a comprehensive review on neural network based human segmentation and action recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant