CN107316015B - 一种基于深度时空特征的高精度面部表情识别方法 - Google Patents

一种基于深度时空特征的高精度面部表情识别方法 Download PDF

Info

Publication number
CN107316015B
CN107316015B CN201710463130.2A CN201710463130A CN107316015B CN 107316015 B CN107316015 B CN 107316015B CN 201710463130 A CN201710463130 A CN 201710463130A CN 107316015 B CN107316015 B CN 107316015B
Authority
CN
China
Prior art keywords
face
image
layer
convolutional
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710463130.2A
Other languages
English (en)
Other versions
CN107316015A (zh
Inventor
孙宁
李奇
李晓飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201710463130.2A priority Critical patent/CN107316015B/zh
Publication of CN107316015A publication Critical patent/CN107316015A/zh
Application granted granted Critical
Publication of CN107316015B publication Critical patent/CN107316015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度时空特征的高精度面部表情识别方法，该方法首先是设计了一种端到端可训练的多通道深度神经网络模型，该模型在低层利用多个并联的深度神经网络分别提取人脸表情图像的深度时空特征，然后在高层使用全连接层对多通道深度时空特征数据进行融合，最高层采用softmax层进行识别得到表情分类。该模型将图像特征提取和特征融合整合为一个可以进行全局训练的网络，加深了网络规模，提高了识别性能。第二个创新点是本发明使用平均脸来替代中性脸，这种做法解决了测试时表情图像缺少对应的中性脸图像的问题，使得本发明可以满足实际场合的应用。本发明在表情识别领域提供了一种新的思路，具有很高的实用价值和发展前景。

Description

一种基于深度时空特征的高精度面部表情识别方法
技术领域
本发明涉及一种基于深度时空特征的高精度面部表情识别方法，属于图像识别技术领域。
背景技术
表情识别一直都是人脸属性分析领域一个重要课题，目的是通过计算机视觉从人脸关键区域提取到可以识别表情的信息，并对该信息进行分类融合。随着计算机处理能力的显著提高，该技术在众多领域都有越来越广泛的应用。
人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，这将对未来人机交互领域产生重大的意义。
发明内容
本发明所要解决的技术问题是提供一种基于深度时空特征的高精度面部表情识别方法，该方法针对单张表情图像的识别，首先利用预训练的卷积神经网络对公开的数据集进行训练，提取表情图像空间分布的特征，然后利用多张无表情的中性脸进行加权求平均，使用表情图像对已经求得的平均表情中性脸做基于梯度的光流运算，得到表情图像的光流特征图，同样使用预训练的卷积神经网络对该集合进行训练，提取表情图像基于时序上的特征，然后使用端到端的集成网络对二者提取的特征进行融合，最后得到精确的分类。最终实现性能优秀的人脸表情识别系统。
本发明为解决上述技术问题采用以下技术方案：
本发明提供一种基于深度时空特征的高精度面部表情识别方法，该方法的具体步骤如下：
步骤A，构建多通道卷积神经网络MCCNN模型；
步骤B，对公开的人脸表情数据库中的图像集Iraw进行人脸检测和配准处理，获得配准后的人脸表情图像集Iface；
步骤C，对步骤B得到的Iface中的中性脸图像进行分组，并对每组中的图像进行求和平均，得到相应的平均脸图像集Imean；其中，分组的方法为：首先根据不同肤色进行分组，然后在按肤色分组的基础上根据不同性别进行分组，最后在按性别分组的基础上根据不同年龄进行分组；
步骤D，利用基于梯度的光流算法求出步骤B得到的Iface中的图像相对于步骤C中得到的Imean中对应平均脸图像的X、Y方向的光流特征图像Iofx、Iofy；
步骤E，利用大规模目标识别图像数据库对MCCNN模型进行预训练，获得MCCNN模型的预训练参数；
步骤F，利用步骤B中得到的Iface以及步骤D中得到的Iface对应的Iofx、Iofy，对步骤E中预训练完成的MCCNN模型进行迁移学习；
步骤G，通过步骤F中迁移学习完成的MCCNN模型进行表情识别，最后用测试图像进行测试。
作为本发明的进一步技术方案，步骤A中构建多通道卷积神经网络MCCNN模型为：
A.1，MCCNN模型包含三通道输入、63层网络以及一个输出，其中，三通道输入分别用于输入表情脸图像、X方向光流特征图像和Y方向光流特征图像；
A.2，63层网络的前60层为分别对应三通道输入的三路独立并行的卷积神经网络，每路卷积神经网络均为20层且网络结构完全一致，用于提取三通道输入的深度时空特征；第61、62层是全连接层，用于对前级网络提取的三通道输入的深度时空特征进行融合；最后一层为softmax层，用于输出分类结果；
A.3，每路卷积神经网络的前4层分别是7×7核的卷积层、3×3的最大值池化层、1×1核的卷积层以及3×3核的卷积层；后16层由4个融合卷积模块组成，每个融合卷积模块分别有4层，分别是3×3最大值池化层、并行的4个卷积层、并行的3个卷积层以及融合卷积层，其中，并行的4个卷积层的卷积核分别为1×1、1×1、1×1和3×3，并行的3个卷积层包含3×3核卷积、5×5核卷积、3×3最大值池化。
作为本发明的进一步技术方案，A.2中softmax层的输出结果分为6类：高兴、惊讶、厌恶、愤怒、恐惧、悲伤。
作为本发明的进一步技术方案，步骤B具体为：首先，利用人脸检测器，对公开的人脸表情数据库中的图像集Iraw中的所有图像进行人脸检测，截取人脸区域；然后，利用人脸关键点进行人脸配准处理，得到配准后的人脸表情图像集Iface。
作为本发明的进一步技术方案，步骤C具体为：首先，将Iface中的中性脸图像根据黄、白、黑三种肤色分为3组；然后，根据男、女性别将已分3组的图像进一步分为6组；再后，根据老、中、青、幼四种年龄将已分6组的图像进一步分为24组；最后，分别对24组图像使用求和平均法，求得每组的平均脸，得到平均脸图像集Imean。
作为本发明的进一步技术方案，步骤E中利用ImageNet数据集中1000类图像，对MCCNN模型进行目标分类训练，获得MCCNN模型的预训练参数。
作为本发明的进一步技术方案，步骤G中用测试图像进行测试具体为：首先，将用于测试的人脸图像Itest进行检测和配准处理后得到配准后的图像Itface；然后，利用基于梯度的光流算法求出Iface相对于其对应平均脸图像的X、Y方向的光流特征图像Itofx、Itofy；最后，将Itface、Itofx、Itofy输入到步骤F中迁移学习完成的MCCNN模型，从而得到Itest的表情类别。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1)本发明方法设计了一个多通道的卷积神经网络，分别对图像空间上的特征和基于时间变化的特征进行的提取，能够从时空两个维度上提取图像的信息，另外使用多层神经网络能够提升特征的表达，提升整体识别准确率；
2)使用无表情的平均脸代替中性脸来计算光流特征图。同时采用端到端的训练方式进行整体联调，这种方式能够克服现有的全连接神经网络(NN)在融合分类方面的不足，同时又继承了卷积神经网络在特征提取上的优势，能够极大的提升系统的整体性能。
附图说明
图1是本发明的整体流程图。
具体实施方式
下面结合附图以及具体实施例对本发明的技术方案做进一步的详细说明：
如图1所示的本发明一种基于深度时空特征的高精度面部表情识别方法的整体流程图，包括神经网络预训练、多通道网络的迁移训练和整体联调对多通道特征信息进行融合三大步骤。
本发明一种基于深度时空特征融合的高精度面部表情识别方法，主要利用了多通道深度神经网络的对人脸表情图像的时空信息进行融合，可以实现对于单张静态人脸图像的高精度表情识别。本发明有两个主要创新点：第一个创新点是设计了一种端到端可训练的多通道深度神经网络模型。该模型在低层利用多个并联的深度神经网络分别提取人脸表情图像的深度时空特征，然后在高层使用全连接层对多通道深度时空特征数据进行融合，最高层采用softmax层进行识别，得到表情分类。该模型将图像特征提取和特征融合整合为一个可以进行全局训练的网络，加深了网络规模，提高了识别性能。第二个创新点是本发明使用平均脸来替代中性脸。平均脸可以由大量人脸图像进行加权平均获得。这种做法解决了测试时表情图像缺少对应的中性脸图像的问题，使得本发明可以满足实际场合的应用。综上所述，本发明提供了一种新型，鲁棒，高精度的人脸表情识别方法，在表情识别领域提供了一种新的思路，具有很高的实用价值和发展前景。
本发明一种基于深度时空特征融合的高精度面部表情识别方法，具体步骤如下：
步骤A：设计一种多通道卷积神经网络(Multi-Channel Convolution NeuralNetwork,MCCNN)模型。
MCCNN模型的详细架构如下：
A.1，MCCNN模型总共包含三通道输入，分别接受表情脸图像、X方向光流特征图像和Y方向光流特征图像；
A.2，MCCNN模型总共包含63层网络，前60层分别是三路独立并行的卷积神经网络，用来提取三通道输入的深度时空特征；后面2层是全连接层，用来对前序三通道提取的深度时空特征进行融合；最后一层为softmax层，这一层为6类输出，分别是高兴、惊讶、厌恶、愤怒、恐惧、悲伤6种表情；
A.3，三路独立并行的卷积神经网络分别对应三通道输入，每路均为20层且网络结构完全一致，前4层分别是7×7核的卷积层、3×3的最大值池化层、1×1核的卷积层以及3×3核的卷积层，这样可以将较大的输入图像快速降维；剩下16层是由4个融合卷积模块组成，每个融合卷积模块分别设计有4层，分别是3×3最大值池化层，并行的4个卷积层包含1×1，1×1，1×1，3×3，并行的3个卷积层包含3×3核卷积，5×5核卷积，3×3最大值池化，最后一层融合前面层的输出，融合卷积层可以更好的利用不同的卷积核提取到不同的特征。
步骤B：训练步骤A中的MCCNN模型，其中，训练集采用Stanford(斯坦福大学)发布的大规模图像数据集ImageNet中的1000类图像作为训练样本，对MCCNN模型进行预训练，获得MCCNN模型的初始参数。
步骤C：对公开的人脸表情数据库中的图像集进行处理后，作为对步骤B中预训练完成的MCCNN模型进行迁移学习的训练样本。
1，对公开的人脸表情数据库中的图像集Iraw进行人脸检测和配准处理，获得配准后的人脸表情图像集Iface。
本发明中，首先，利用人脸检测器，对公开的人脸表情数据库中的图像集Iraw中的所有图像进行人脸检测，截取人脸区域；然后，利用人脸关键点进行人脸配准处理，得到配准后的人脸表情图像集Iface。
2，对步骤B得到的Iface中的中性脸图像进行分组，并对每组中的图像进行求和平均，得到相应的平均脸图像集Imean；其中，分组的方法为：首先根据不同肤色进行分组，然后在按肤色分组的基础上根据不同性别进行分组，最后在按性别分组的基础上根据不同年龄进行分组。
本发明中，首先将Iface中的中性脸图像根据黄、白、黑三种肤色分为3组；然后，根据男、女性别进一步分为6组；最后，根据老、中、青、幼四种年龄最终分为24组。
3，利用基于梯度的光流算法求出步骤B得到的Iface中的图像相对于步骤C中得到的Imean中对应平均脸图像的X、Y方向的光流特征图像Iofx、Iofy。
步骤D：利用前述得到的Iface以及其对应的Iofx、Iofy，对预训练完成的MCCNN模型进行迁移学习，使训练后的MCCNN模型能有效地拟合面部表情数据的概率分布。
步骤E：用测试图像进行测试：将一张用于测试的人脸图像Itest经过检测和配准处理得到Itface，利用基于梯度的光流算法求出相对于其对应平均脸图像的X、Y方向的光流特征图像Itofx、Itofy，将Itface、Itofx、Itofy输入到MCCNN模型中进行前向推导，最终得到输入人脸图像的表情类别。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种基于深度时空特征的高精度面部表情识别方法，其特征在于，该方法的具体步骤如下：
步骤A，构建多通道卷积神经网络MCCNN模型；
步骤B，对公开的人脸表情数据库中的图像集Iraw进行人脸检测和配准处理，获得配准后的人脸表情图像集Iface；
步骤C，对步骤B得到的Iface中的中性脸图像进行分组，并对每组中的图像进行求和平均，得到相应的平均脸图像集Imean；其中，分组的方法为：首先根据不同肤色进行分组，然后在按肤色分组的基础上根据不同性别进行分组，最后在按性别分组的基础上根据不同年龄进行分组；
步骤D，利用基于梯度的光流算法求出步骤B得到的Iface中的图像相对于步骤C中得到的Imean中对应平均脸图像的X、Y方向的光流特征图像Iofx、Iofy；
步骤E，利用大规模目标识别图像数据库对MCCNN模型进行预训练，获得MCCNN模型的预训练参数；
步骤F，利用步骤B中得到的Iface以及步骤D中得到的Iface对应的Iofx、Iofy，对步骤E中预训练完成的MCCNN模型进行迁移学习；
步骤G，通过步骤F中迁移学习完成的MCCNN模型进行表情识别，最后用测试图像进行测试。
2.根据权利要求1所述的一种基于深度时空特征的高精度面部表情识别方法，其特征在于，步骤A中构建多通道卷积神经网络MCCNN模型为：
A.1，MCCNN模型包含三通道输入、63层网络以及一个输出，其中，三通道输入分别用于输入表情脸图像、X方向光流特征图像和Y方向光流特征图像；
A.2，63层网络的前60层为分别对应三通道输入的三路独立并行的卷积神经网络，每路卷积神经网络均为20层且网络结构完全一致，用于提取三通道输入的深度时空特征；第61、62层是全连接层，用于对前级网络提取的三通道输入的深度时空特征进行融合；最后一层为softmax层，用于输出分类结果；
A.3，每路卷积神经网络的前4层分别是7×7核的卷积层、3×3的最大值池化层、1×1核的卷积层以及3×3核的卷积层；后16层由4个融合卷积模块组成，每个融合卷积模块分别有4层，分别是3×3最大值池化层、并行的4个卷积层、并行的3个卷积层以及融合卷积层，其中，并行的4个卷积层的卷积核分别为1×1、1×1、1×1和3×3，并行的3个卷积层包含3×3核卷积、5×5核卷积、3×3最大值池化。
3.根据权利要求2所述的一种基于深度时空特征的高精度面部表情识别方法，其特征在于，A.2中softmax层的输出结果分为6类：高兴、惊讶、厌恶、愤怒、恐惧、悲伤。
4.根据权利要求1所述的一种基于深度时空特征的高精度面部表情识别方法，其特征在于，步骤B具体为：首先，利用人脸检测器，对公开的人脸表情数据库中的图像集Iraw中的所有图像进行人脸检测，截取人脸区域；然后，利用人脸关键点进行人脸配准处理，得到配准后的人脸表情图像集Iface。
5.根据权利要求1所述的一种基于深度时空特征的高精度面部表情识别方法，其特征在于，步骤C具体为：首先，将Iface中的中性脸图像根据黄、白、黑三种肤色分为3组；然后，根据男、女性别将已分3组的图像进一步分为6组；再后，根据老、中、青、幼四种年龄将已分6组的图像进一步分为24组；最后，分别对24组图像使用求和平均法，求得每组的平均脸，得到平均脸图像集Imean。
6.根据权利要求1所述的一种基于深度时空特征的高精度面部表情识别方法，其特征在于，步骤E中利用ImageNet数据集中1000类图像，对MCCNN模型进行目标分类训练，获得MCCNN模型的预训练参数。
7.根据权利要求1所述的一种基于深度时空特征的高精度面部表情识别方法，其特征在于，步骤G中用测试图像进行测试具体为：首先，将用于测试的人脸图像Itest进行检测和配准处理后得到配准后的图像Itface；然后，利用基于梯度的光流算法求出Iface相对于其对应平均脸图像的X、Y方向的光流特征图像Itofx、Itofy；最后，将Itface、Itofx、Itofy输入到步骤F中迁移学习完成的MCCNN模型，从而得到Itest的表情类别。
CN201710463130.2A 2017-06-19 2017-06-19 一种基于深度时空特征的高精度面部表情识别方法 Active CN107316015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710463130.2A CN107316015B (zh) 2017-06-19 2017-06-19 一种基于深度时空特征的高精度面部表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710463130.2A CN107316015B (zh) 2017-06-19 2017-06-19 一种基于深度时空特征的高精度面部表情识别方法

Publications (2)

Publication Number Publication Date
CN107316015A CN107316015A (zh) 2017-11-03
CN107316015B true CN107316015B (zh) 2020-06-30

Family

ID=60181850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710463130.2A Active CN107316015B (zh) 2017-06-19 2017-06-19 一种基于深度时空特征的高精度面部表情识别方法

Country Status (1)

Country Link
CN (1) CN107316015B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742117A (zh) * 2017-11-15 2018-02-27 北京工业大学 一种基于端到端模型的人脸表情识别方法
CN107992899A (zh) * 2017-12-15 2018-05-04 四川大学 一种机场场面运动目标检测识别方法
CN108447074B (zh) * 2018-02-02 2020-04-03 中国科学院西安光学精密机械研究所 基于双向自适应语义融合的水下目标识别方法
CN108446609B (zh) * 2018-03-02 2022-03-11 南京邮电大学 一种基于生成对抗网络的多角度面部表情识别方法
CN108388876B (zh) * 2018-03-13 2022-04-22 腾讯科技（深圳）有限公司 一种图像识别方法、装置以及相关设备
CN108388890A (zh) * 2018-03-26 2018-08-10 南京邮电大学 一种基于面部表情识别的新生儿疼痛程度评估方法及系统
CN108537168B (zh) * 2018-04-09 2021-12-31 云南大学 基于迁移学习技术的面部表情识别方法
CN110363210B (zh) * 2018-04-10 2023-05-05 腾讯科技（深圳）有限公司 一种图像语义分割模型的训练方法和服务器
CN108648746B (zh) * 2018-05-15 2020-11-20 南京航空航天大学 一种基于多模态特征融合的开放域视频自然语言描述生成方法
EP3850580A4 (en) 2018-09-13 2022-04-27 INTEL Corporation CONDITIONING/EXPANSIONAL/DEPTH-SENSE CONVOLUTIONAL NETWORK FOR FACIAL RECOGNITION
CN109447976B (zh) * 2018-11-01 2020-07-07 电子科技大学 一种基于人工智能的医学图像分割方法及系统
CN109635712B (zh) * 2018-12-07 2021-02-05 杭州电子科技大学 基于同构网络的自发微表情种类判别方法
CN109815924B (zh) * 2019-01-29 2021-05-04 成都旷视金智科技有限公司 表情识别方法、装置及系统
CN109965900B (zh) * 2019-02-02 2022-06-07 大连交通大学 一种适用于婴儿看护的智能母子套装及看护方法
CN109858467B (zh) * 2019-03-01 2021-05-07 北京视甄智能科技有限公司 一种基于关键点区域特征融合的人脸识别方法及装置
CN110363099A (zh) * 2019-06-24 2019-10-22 昆明理工大学 一种基于局部并行深度神经网络的表情识别方法
CN110705419A (zh) * 2019-09-24 2020-01-17 新华三大数据技术有限公司 情绪识别方法、预警方法、模型训练方法和相关装置
CN111414750B (zh) * 2020-03-18 2023-08-18 北京百度网讯科技有限公司 一种词条的同义判别方法、装置、设备和存储介质
CN112380395B (zh) * 2020-10-30 2022-04-22 华南理工大学 基于双流架构的图卷积网络的情感获取方法、系统及存储介质
CN112329683B (zh) * 2020-11-16 2024-01-26 常州大学 一种多通道卷积神经网络人脸表情识别方法
CN112308034A (zh) * 2020-11-25 2021-02-02 中国科学院深圳先进技术研究院 一种性别分类的方法、设备、终端及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101004791A (zh) * 2007-01-19 2007-07-25 赵力 一种基于二维偏最小二乘法的面部表情识别方法
CN104484658A (zh) * 2014-12-30 2015-04-01 中科创达软件股份有限公司 一种基于多通道卷积神经网络的人脸性别识别方法及装置
WO2015181729A1 (en) * 2014-05-30 2015-12-03 University Of Johannesburg Method of determining liveness for eye biometric authentication
CN106570474A (zh) * 2016-10-27 2017-04-19 南京邮电大学 一种基于3d卷积神经网络的微表情识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI430185B (zh) * 2010-06-17 2014-03-11 Inst Information Industry 臉部表情辨識系統及其辨識方法及其電腦程式產品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101004791A (zh) * 2007-01-19 2007-07-25 赵力 一种基于二维偏最小二乘法的面部表情识别方法
WO2015181729A1 (en) * 2014-05-30 2015-12-03 University Of Johannesburg Method of determining liveness for eye biometric authentication
CN104484658A (zh) * 2014-12-30 2015-04-01 中科创达软件股份有限公司 一种基于多通道卷积神经网络的人脸性别识别方法及装置
CN106570474A (zh) * 2016-10-27 2017-04-19 南京邮电大学 一种基于3d卷积神经网络的微表情识别方法

Also Published As

Publication number Publication date
CN107316015A (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
CN107316015B (zh) 一种基于深度时空特征的高精度面部表情识别方法
Li et al. Semantic relationships guided representation learning for facial action unit recognition
Sun et al. Deep spatial-temporal feature fusion for facial expression recognition in static images
CN106650789B (zh) 一种基于深度lstm网络的图像描述生成方法
Guo et al. Human attribute recognition by refining attention heat map
CN110674741B (zh) 一种基于双通道特征融合的机器视觉中手势识别方法
CN109166100A (zh) 基于卷积神经网络的多任务学习细胞计数方法
CN110135459B (zh) 一种基于双三元组深度度量学习网络的零样本分类方法
CN112597955B (zh) 一种基于特征金字塔网络的单阶段多人姿态估计方法
CN113486190B (zh) 一种融合实体图像信息和实体类别信息的多模态知识表示方法
CN111581966A (zh) 一种融合上下文特征方面级情感分类方法和装置
CN112766229B (zh) 基于注意力机制的人脸点云图像智能识别系统及方法
CN111259735B (zh) 基于多级预测特征增强卷积神经网络的单人姿态估计方法
CN112766280A (zh) 一种基于图卷积的遥感图像道路提取方法
CN112966555B (zh) 一种基于深度学习和部件先验的遥感影像飞机识别方法
CN111028319A (zh) 一种基于面部运动单元的三维非真实感表情生成方法
CN109376763A (zh) 基于多样本推理神经网络的样本分类方法、系统及介质
CN112036260A (zh) 一种自然环境下多尺度子块聚合的表情识别方法及系统
CN113628201A (zh) 基于深度学习的病理切片分析方法、电子设备及可读存储介质
CN114330516A (zh) 基于多图引导神经网络模型的小样本徽景图像分类
CN113065426A (zh) 基于通道感知的手势图像特征融合方法
Peng et al. Convolutional transformer-based few-shot learning for cross-domain hyperspectral image classification
CN112200110A (zh) 一种基于深度干扰分离学习的人脸表情识别方法
CN104036242A (zh) 基于Centering Trick卷积限制玻尔兹曼机的物体识别方法
CN117237559A (zh) 面向数字孪生城市的三维模型数据智能分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant