CN113255543A - 基于图卷积网络的面部表情识别方法 - Google Patents

基于图卷积网络的面部表情识别方法 Download PDF

Info

Publication number
CN113255543A
CN113255543A CN202110613562.3A CN202110613562A CN113255543A CN 113255543 A CN113255543 A CN 113255543A CN 202110613562 A CN202110613562 A CN 202110613562A CN 113255543 A CN113255543 A CN 113255543A
Authority
CN
China
Prior art keywords
graph
face
topological
picture
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110613562.3A
Other languages
English (en)
Other versions
CN113255543B (zh
Inventor
同鸣
尹应增
边放
常笑瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110613562.3A priority Critical patent/CN113255543B/zh
Publication of CN113255543A publication Critical patent/CN113255543A/zh
Application granted granted Critical
Publication of CN113255543B publication Critical patent/CN113255543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图卷积网络的面部表情识别方法，用于解决由于预处理后的人脸区域图像会损失部分图像信息，导致影响预处理后的人脸区域图像对应的表情识别准确率以及由于图卷积网络无法根据不同节点的权重来选择鉴别信息更丰富的节点，导致影响表情的分类准确率的问题。本发明的步骤为：(1)生成训练集；(2)构造图卷积网络；(3)训练图卷积网络；(4)对面部表情进行识别。本发明基于每张图片的所有人脸关键点，生成该图片对应的拓扑图，搭建一个由七个人脸五官池化模块并联组成的人脸五官池化模块组使得本发明在进行面部表情识别时有较高的面部表情分类准确率。

Description

基于图卷积网络的面部表情识别方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像识别技术领域中一种基于图卷积网络的面部表情识别方法。本发明可应用于从人脸图像中识别与该人脸对应的愤怒、厌恶、恐惧、高兴、悲伤、惊讶和中性表情信息。
背景技术
面部表情是人类交流和传递情感的信号之一，直观地表达出了人类对外界事物的情绪反馈。面部表情识别因其在图像处理、图像识别领域中的潜在应用而受到广泛关注。传统的卷积神经网络通常使用二维图像的整个对齐人脸作为网络的输入，以学习特征表示。但是这些图像原始像素容易受到各种干扰，从而直接影响到二维图像的表情信息。图卷积网络将卷积运算从规则数据推广到不规则图数据，提取到的图卷积特征具有丰富的几何结构信息。这些图卷积特征可能会促进面部表情识别方法的发展，从而进一步提高面部表情识别的性能。
北方工业大学在其申请的专利文献“基于深度学习的人脸表情识别方法及装置”(申请号：201711067390.4，申请公布号：CN 107729872 A)中公开了一种人脸表情识别方法。该方法首先从输入图像中识别出人脸区域图像，并利用仿射变换方法矫正为相似的正面人脸姿态的人脸区域图像，然后将预处理后的人脸区域图像输入卷积神经网络模型，最后输出人脸表情识别结果。该方法可以达到较高的识别效率，但是，该方法仍然存在的不足之处是，由于遮挡、头部姿态变化对输入图像的不良影响，导致预处理后的人脸区域图像会损失部分图像信息，影响预处理后的人脸区域图像对应的表情识别准确率。
Ling Lo等人在其发表的论文“MER-GCN：Micro-Expression Recognition Basedon Relation Modeling with Graph Convolutional Networks”(IEEE Conference onMultimedia Information Processing and Retrieval，pp 79-84，2020)中提出了一种基于图卷积网络关系建模的微表情识别方法。该方法是第一个结合人脸动作单元和图卷积网络做微表情识别的方法，其中的特征提取网络包括两部分：其一是利用三维卷积网络提取空时特征，其二是将人脸动作单元作为节点来构建图，利用图卷积网络提取图卷积特征，然后通过点乘操作合并两个特征，利用合并后的特征进行微表情的分类。该方法可以达到较好的识别效果，但是，该方法仍然存在的不足之处是，由于从动作单元到表情的映射是通过一个简单的线性层进行的，导致图卷积网络无法根据不同节点的权重来选择鉴别信息更丰富的节点，影响表情的分类准确率。
发明内容
本发明的目的在于针对上述已有技术的不足，提供一种基于图卷积网络的面部表情识别方法。用于解决由于预处理后的人脸区域图像会损失部分图像信息，导致影响预处理后的人脸区域图像对应的表情识别准确率以及由于图卷积网络无法根据不同节点的权重来选择鉴别信息更丰富的节点，导致影响表情的分类准确率。
实现本发明目的的思路是，基于每张图片的所有人脸关键点，生成该图片对应的拓扑图，用来解决由于预处理后的人脸区域图像会损失部分图像信息，导致影响预处理后的人脸区域图像对应的表情识别准确率的问题。搭建一个由七个人脸五官池化模块并联组成的人脸五官池化模块组，用来解决由于图卷积网络无法根据不同节点的权重来选择鉴别信息更丰富的节点，导致影响表情的分类准确率的问题。
本发明实现的具体步骤如下：
(1)生成训练集：
(1a)采集至少5000张人脸图片，每个人脸图片包含1个人脸表情及对应的表情标签，每个人至少采集7种表情，每种表情至少2张图片；
(1b)使用68人脸关键点检测算法，检测每张图片中每个人脸关键点，得到每张图片包含每个人脸关键点的坐标信息的人脸关键点；
(1c)基于每张图片的所有人脸关键点，生成该图片对应的拓扑图；
(1d)将属于同一种表情的所有图片对应的拓扑图组成一类，将所有类的拓扑图及其对应的表情标签组成训练集；
(2)构造图卷积网络：
(2a)搭建一个由三个图卷积层串联组成的图卷积模块，其中每个图卷积层均由图卷积函数实现；
(2b)搭建一个由七个人脸五官池化模块并联组成的人脸五官池化模块组，其中每个人脸五官池化模块由图注意力层和图池化层串联组成，所述图注意力层通过图注意力函数实现，图池化层通过图平均池化函数实现；
(2c)搭建一个由级联层和全连接层串联组成的表情特征提取模块，其中，全连接层中神经元个数为7；
(2d)将图卷积模块、人脸五官池化模块组、表情特征提取模块依次串联组成图卷积网络；
(3)训练图卷积网络：
将训练集输入到图卷积网络中，利用小批量随机梯度下降算法，依次按照设置的批量值从训练集中提取对应数量的小批量拓扑图进行迭代训练，直至交叉熵损失函数收敛为止，得到训练好的图卷积网络，保存训练好的图卷积网络的权重；
(4)对面部表情进行识别：
采用与步骤(1b)和步骤(1c)相同的方法，将待识别面部表情的每张人脸图片进行预处理，生成与该张人脸图片对应的拓扑图，将每个拓扑图依次输入到训练好的图卷积网络中，将该训练好的图卷积网络的输出确定为与每个拓扑图对应的表情类别。
与现有技术相比，本发明具有以下优点：
第一，本发明基于每张图片的所有人脸关键点，生成该图片对应的拓扑图，使用68人脸关键点检测算法，检测每张图片中每个人脸关键点，将同一张图片每个人脸关键点作为一个节点，连接所有位于相同人脸五官内的节点或者位于不同人脸五官内但是距离最近的节点。克服了现有技术中由于预处理后的人脸区域图像会损失部分图像信息，导致影响预处理后的人脸区域图像对应的表情识别准确率的问题，使得本发明以预处理后的人脸区域图像对应的拓扑图为训练数据，对于图像遮挡、头部姿态变化更加鲁棒，提高了预处理后的人脸区域图像对应的表情识别准确率。
第二，本发明搭建一个由七个人脸五官池化模块并联组成的人脸五官池化模块组，由图注意力层和图池化层串联组成人脸五官池化模块。克服了现有技术中由于图卷积网络无法根据不同节点的权重来选择鉴别信息更丰富的节点，导致影响表情的分类准确率的问题，使得本发明通过图注意力层和图池化层来选择鉴别信息更丰富的节点，提高了面部表情分类的准确率。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合图1，对本发明的具体步骤做进一步的详细描述。
步骤1，生成训练集。
第一步，采集至少5000张人脸图片，每个人脸图片包含1个人脸表情及对应的表情标签，每个人至少采集7种表情，每种表情至少2张图片。
第二步，使用68人脸关键点检测算法，检测每张图片中每个人脸关键点，得到每张图片包含每个人脸关键点的坐标信息的人脸关键点。
所述的68人脸关键点检测算法是指，在输入的每张图片中定位人脸区域；利用训练好的68人脸关键点特征检测器，提取人脸区域内68个人脸关键点的横、纵坐标值。
第三步，基于每张图片的所有人脸关键点，生成该图片对应的拓扑图。
所述的基于每张图片的所有人脸关键点，生成该图片对应的拓扑图指的是：将同一张图片每个人脸中的每个关键点作为一个节点；连接所有位于相同人脸五官内的节点或者位于不同人脸五官内且距离最近的节点，得到该张图片对应的拓扑图；所述人脸五官是左眉毛、右眉毛、左眼睛、右眼睛、鼻子、外嘴唇、内嘴唇。
第四步，将属于同一种表情的所有图片对应的拓扑图组成一类，将所有类的拓扑图及其对应的表情标签组成训练集。
步骤2，构造图卷积网络。
搭建一个由三个图卷积层串联组成的图卷积模块，其中每个图卷积层均由图卷积函数实现。
所述的图卷积函数如下：
Figure BDA0003097038910000041
其中，f1(·)表示图卷积函数，
Figure BDA0003097038910000042
表示训练集中第i个拓扑图的输入到第j个图卷积层中所有节点的特征组成的特征矩阵，j＝1,2,3，
Figure BDA0003097038910000051
表示根据与
Figure BDA0003097038910000052
对应的拓扑图中节点的连接关系生成的邻接矩阵，当该拓扑图的第m个节点与第n个节点之间有边或当m＝n时，其对应的邻接矩阵
Figure BDA0003097038910000053
的第p行和第q列的值为1，否则为0，m和n的取值与p和q的取值对应相等；σ(·)表示激活函数，
Figure BDA0003097038910000054
表示中间矩阵
Figure BDA0003097038910000055
的度矩阵，
Figure BDA0003097038910000056
IN表示单位矩阵，Wj表示第j个图卷积层的权重矩阵。
搭建一个由七个人脸五官池化模块并联组成的人脸五官池化模块组，其中每个人脸五官池化模块由图注意力层和图池化层串联组成，所述图注意力层通过图注意力函数实现，图池化层通过图平均池化函数实现。
所述的图注意力函数如下：
Figure BDA0003097038910000057
其中，f2(·)表示图注意力函数，
Figure BDA0003097038910000058
表示输入训练集中第i个拓扑图的经过图卷积模块后输出的特征矩阵，
Figure BDA0003097038910000059
表示训练集中第i个拓扑图的经过图卷积模块后输出的邻接矩阵，softmax(·)表示softmax函数，(·)T表示转置操作，
Figure BDA00030970389100000510
表示逐元素相乘操作。
所述的图平均池化函数如下：
Figure BDA00030970389100000511
其中，f3(·)表示图平均池化函数，
Figure BDA00030970389100000512
表示输入到训练集中第i个拓扑图经过图注意力层后输出的特征矩阵，nPool表示输入到训练集中第i个拓扑图经过图注意力层后输出的拓扑图的节点总数，
Figure BDA00030970389100000513
表示输入到训练集中第i个拓扑图经过图注意力层后输出的拓扑图中第r个节点的特征。
搭建一个由级联层和全连接层串联组成的表情特征提取模块，其中，全连接层中神经元个数为7。
将图卷积模块、人脸五官池化模块组、表情特征提取模块依次串联组成图卷积网络。
步骤3，训练图卷积网络。
将训练集输入到图卷积网络中，利用小批量随机梯度下降算法，依次按照设置的批量值从训练集中提取对应数量的小批量拓扑图进行迭代训练，直至交叉熵损失函数收敛为止，得到训练好的图卷积网络，保存训练好的图卷积网络的权重。
所述的交叉熵损失函数如下：
Figure BDA0003097038910000061
其中，L表示交叉熵损失函数，NL表示从训练集中提取的每个批次小批量拓扑图的批量值，1＜NL＜NT，NT表示训练集中拓扑图的总数，CL表示训练集中表情标签的类别总数，yab表示指示变量，当每个批次的小批量拓扑图中第a个拓扑图的表情类别与第b个表情标签相同时，yab＝1，否则yab＝0，log(·)表示以e为底的对数操作，pab表示第a个拓扑图经图卷积网络输出的属于第b个表情标签的预测概率。
步骤4，对面部表情进行识别。
采用与步骤1中的第二步和第三步相同的方法，将待识别面部表情的每张人脸图片进行预处理，生成与该张人脸图片对应的拓扑图，将每个拓扑图依次输入到训练好的图卷积网络中，将该训练好的图卷积网络的输出确定为与每个拓扑图对应的表情类别。
下面结合仿真实验对本发明的效果做进一步的说明。
1.仿真实验条件：
本发明的仿真实验的硬件平台为：处理器为Intel(R)Xeon(R)CPU E5-2640v3，主频为2.60GHz，内存128GB。
本发明的仿真实验的软件平台为：Ubuntu 18.04操作系统和python 3.6。
本发明仿真实验中使用FER2013面部表情数据集，该数据集是由谷歌图像搜索API自动采集的一个大型无约束数据集，该数据集是由35886张面部表情图片组成，包含着28708张训练图片、3589张验证图片及3589张测试图片。该数据集是由I.J.Goodfellow等人在“Challenges in representation learning：A report on three machine learningcontests[C]//International conference on neural informationprocessing.Springer，Berlin，Heidelberg，2013：117-124”公开的文献中所披露的数据集。
2.仿真内容及其结果分析：
本发明仿真实验是采用本发明和五个现有技术的分类方法(The pre-trainedCNN，Fa-Net，Deep-Emotion，MBCC-CNN，DAF-CNN)分别对FER2013数据集的所有测试图片进行分类，得到每个测试图片的预测概率特征向量，将每个预测概率特征向量中的最大概率值对应的类别作为该测试图片的预测类别。
现有技术The pre-trained CNN分类方法指的是，J.Shao等人在“Threeconvolutional neural network models for facial expression recognition in thewild[J].Neurocomputing，2019，355：82-92”中提出的野外面部表情识别的三种卷积神经网络模型方法，简称The pre-trained CNN。
现有技术Fa-Net分类方法指的是，W.Wang等人在“A fine-grained facialexpression database for end-to-end multi-pose facial expression recognition[J].arXiv preprint arXiv：1907.10838，2019”中提出的一种面向端到端多姿态面部表情识别的细粒度面部表情数据库方法，简称Fa-Net。
现有技术Deep-Emotion分类方法指的是，S.Minaee等人在“Deep-emotion:Facialexpression recognition using attentional convolutional network[J].Sensors，2021，21(9)：3046”中提出的深层情感：基于注意力卷积网络的面部表情识别方法，简称Deep-Emotion。
现有技术MBCC-CNN类方法指的是，C.Shi等人在“A Facial ExpressionRecognition Method Based on a Multibranch Cross-Connection ConvolutionalNeural Network[J].IEEE Access，2021，9：39255-39274”中提出的基于多分支交叉连接卷积神经网络的面部表情识别方法，简称MBCC-CNN。
现有技术DAF-CNN分类方法指的是，L.Zhou等人在“Discriminative attention-augmented feature learning for facial expression recognition in the wild[J].Neural Computing and Applications，2021：1-12”中提出的基于鉴别性注意力增强的特征学习在野外面部表情识别中的应用方法，简称DAF-CNN。
为了验证本发明的效果，利用下述分类准确率公式，计算本发明仿真实验所采用的方法和五种不同的分类方法，分别对FER2013数据集的所有测试图片的进行分类后得到的分类结果的准确率，分类正确的测试图片数是指所有测试图片中预测类别与标签类别相同的测试图片的数量，用于分类的测试图片总数为3589张，将所有计算结果绘制成表1，表1中的Ours表示本发明的仿真实验结果。
Figure BDA0003097038910000081
表1本发明和五种方法的分类结果评价一览表
识别方法 准确率(％)
The pre-trained CNN 71.14
Fa-Net 71.10
Deep-Emotion 70.02
MBCC-CNN 71.52
DAF-CNN 72.39
Ours 72.49
结合表1可以看出，本发明的分类准确率在FER2013数据集上超过了现有技术的分类准确率，证明本发明可以得到更高的面部表情分类准确率。

Claims (7)

1.一种基于图卷积网络的面部表情识别方法，其特征在于，基于每张图片的所有人脸关键点，生成该图片对应的拓扑图，搭建一个由七个人脸五官池化模块并联组成的人脸五官池化模块组；该方法的步骤包括如下：
(1)生成训练集：
(1a)采集至少5000张人脸图片，每个人脸图片包含1个人脸表情及对应的表情标签，每个人至少采集7种表情，每种表情至少2张图片；
(1b)使用68人脸关键点检测算法，检测每张图片中每个人脸关键点，得到每张图片包含每个人脸关键点的坐标信息的人脸关键点；
(1c)基于每张图片的所有人脸关键点，生成该图片对应的拓扑图；
(1d)将属于同一种表情的所有图片对应的拓扑图组成一类，将所有类的拓扑图及其对应的表情标签组成训练集；
(2)构造图卷积网络：
(2a)搭建一个由三个图卷积层串联组成的图卷积模块，其中每个图卷积层均由图卷积函数实现；
(2b)搭建一个由七个人脸五官池化模块并联组成的人脸五官池化模块组，其中每个人脸五官池化模块由图注意力层和图池化层串联组成，所述图注意力层通过图注意力函数实现，图池化层通过图平均池化函数实现；
(2c)搭建一个由级联层和全连接层串联组成的表情特征提取模块，其中，全连接层中神经元个数为7；
(2d)将图卷积模块、人脸五官池化模块组、表情特征提取模块依次串联组成图卷积网络；
(3)训练图卷积网络：
将训练集输入到图卷积网络中，利用小批量随机梯度下降算法，依次按照设置的批量值从训练集中提取对应数量的小批量拓扑图进行迭代训练，直至交叉熵损失函数收敛为止，得到训练好的图卷积网络，保存训练好的图卷积网络的权重；
(4)对面部表情进行识别：
采用与步骤(1b)和步骤(1c)相同的方法，将待识别面部表情的每张人脸图片进行预处理，生成与该张人脸图片对应的拓扑图，将每个拓扑图依次输入到训练好的图卷积网络中，将该训练好的图卷积网络的输出确定为与每个拓扑图对应的表情类别。
2.根据权利要求1所述的基于图卷积网络的面部表情识别方法，其特征在于：步骤(1b)中所述的68人脸关键点检测算法是指，在输入的每张图片中定位人脸区域；利用训练好的68人脸关键点特征检测器，提取人脸区域内68个人脸关键点的横、纵坐标值。
3.根据权利要求1所述的基于图卷积网络的面部表情识别方法，其特征在于：步骤(1c)中所述的基于每张图片的所有人脸关键点，生成该图片对应的拓扑图指的是：将同一张图片每个人脸中的每个关键点作为一个节点；连接所有位于相同人脸五官内的节点或者位于不同人脸五官内且距离最近的节点，得到该张图片对应的拓扑图；所述人脸五官是左眉毛、右眉毛、左眼睛、右眼睛、鼻子、外嘴唇、内嘴唇。
4.根据权利要求1所述的基于图卷积网络的面部表情识别方法，其特征在于：步骤(2a)中所述的图卷积函数如下：
Figure FDA0003097038900000021
其中，f1(·)表示图卷积函数，
Figure FDA0003097038900000022
表示训练集中第i个拓扑图的输入到第j个图卷积层中所有节点的特征组成的特征矩阵，j＝1,2,3，
Figure FDA0003097038900000023
表示根据与
Figure FDA0003097038900000024
对应的拓扑图中节点的连接关系生成的邻接矩阵，当该拓扑图的第m个节点与第n个节点之间有边或当m＝n时，其对应的邻接矩阵
Figure FDA0003097038900000025
的第p行和第q列的值为1，否则为0，m和n的取值与p和q的取值对应相等；σ(·)表示激活函数，
Figure FDA0003097038900000026
表示中间矩阵
Figure FDA0003097038900000027
的度矩阵，
Figure FDA0003097038900000028
IN表示单位矩阵，Wj表示第j个图卷积层的权重矩阵。
5.根据权利要求1所述的基于图卷积网络的面部表情识别方法，其特征在于：步骤(2b)中所述的图注意力函数如下：
Figure FDA0003097038900000031
其中，f2(·)表示图注意力函数，
Figure FDA0003097038900000032
表示输入训练集中第i个拓扑图的经过图卷积模块后输出的特征矩阵，
Figure FDA0003097038900000033
表示训练集中第i个拓扑图的经过图卷积模块后输出的邻接矩阵，softmax(·)表示softmax函数，(·)T表示转置操作，
Figure FDA0003097038900000034
表示逐元素相乘操作。
6.根据权利要求1所述的基于图卷积网络的面部表情识别方法，其特征在于：步骤(2b)中所述的图平均池化函数如下：
Figure FDA0003097038900000035
其中，f3(·)表示图平均池化函数，
Figure FDA0003097038900000036
表示输入到训练集中第i个拓扑图经过图注意力层后输出的特征矩阵，nPool表示输入到训练集中第i个拓扑图经过图注意力层后输出的拓扑图的节点总数，
Figure FDA0003097038900000037
表示输入到训练集中第i个拓扑图经过图注意力层后输出的拓扑图中第r个节点的特征。
7.根据权利要求1所述的基于图卷积网络的面部表情识别方法，其特征在于：步骤(3)中所述的交叉熵损失函数如下：
Figure FDA0003097038900000038
其中，L表示交叉熵损失函数，NL表示从训练集中提取的每个批次小批量拓扑图的批量值，1＜NL＜NT，NT表示训练集中拓扑图的总数，CL表示训练集中表情标签的类别总数，yab表示指示变量，当每个批次的小批量拓扑图中第a个拓扑图的表情类别与第b个表情标签相同时，yab＝1，否则yab＝0，log(·)表示以e为底的对数操作，pab表示第a个拓扑图经图卷积网络输出的属于第b个表情标签的预测概率。
CN202110613562.3A 2021-06-02 2021-06-02 基于图卷积网络的面部表情识别方法 Active CN113255543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110613562.3A CN113255543B (zh) 2021-06-02 2021-06-02 基于图卷积网络的面部表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110613562.3A CN113255543B (zh) 2021-06-02 2021-06-02 基于图卷积网络的面部表情识别方法

Publications (2)

Publication Number Publication Date
CN113255543A true CN113255543A (zh) 2021-08-13
CN113255543B CN113255543B (zh) 2023-04-07

Family

ID=77185985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110613562.3A Active CN113255543B (zh) 2021-06-02 2021-06-02 基于图卷积网络的面部表情识别方法

Country Status (1)

Country Link
CN (1) CN113255543B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989495A (zh) * 2021-11-17 2022-01-28 大连理工大学 一种基于视觉的行人召车行为识别方法
CN114663953A (zh) * 2022-03-29 2022-06-24 东南大学 一种基于面部关键点和深度神经网络的人脸表情识别方法
CN116011515A (zh) * 2022-12-26 2023-04-25 人民网股份有限公司 几何神经网络模型构建方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376692A (zh) * 2018-11-22 2019-02-22 河海大学常州校区 面向人脸表情识别的迁移卷积神经网络方法
CN110008819A (zh) * 2019-01-30 2019-07-12 武汉科技大学 一种基于图卷积神经网络的人脸表情识别方法
CN110263681A (zh) * 2019-06-03 2019-09-20 腾讯科技（深圳）有限公司 面部表情的识别方法和装置、存储介质、电子装置
US20190311188A1 (en) * 2018-12-05 2019-10-10 Sichuan University Face emotion recognition method based on dual-stream convolutional neural network
US20190392202A1 (en) * 2018-10-30 2019-12-26 Baidu Online Network Technology (Beijing) Co., Ltd. Expression recognition method, apparatus, electronic device, and storage medium
US20200137083A1 (en) * 2018-10-24 2020-04-30 Nec Laboratories America, Inc. Unknown malicious program behavior detection using a graph neural network
CN111339847A (zh) * 2020-02-14 2020-06-26 福建帝视信息科技有限公司 一种基于图卷积神经网络的人脸情绪识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200137083A1 (en) * 2018-10-24 2020-04-30 Nec Laboratories America, Inc. Unknown malicious program behavior detection using a graph neural network
US20190392202A1 (en) * 2018-10-30 2019-12-26 Baidu Online Network Technology (Beijing) Co., Ltd. Expression recognition method, apparatus, electronic device, and storage medium
CN109376692A (zh) * 2018-11-22 2019-02-22 河海大学常州校区 面向人脸表情识别的迁移卷积神经网络方法
US20190311188A1 (en) * 2018-12-05 2019-10-10 Sichuan University Face emotion recognition method based on dual-stream convolutional neural network
CN110008819A (zh) * 2019-01-30 2019-07-12 武汉科技大学 一种基于图卷积神经网络的人脸表情识别方法
CN110263681A (zh) * 2019-06-03 2019-09-20 腾讯科技（深圳）有限公司 面部表情的识别方法和装置、存储介质、电子装置
CN111339847A (zh) * 2020-02-14 2020-06-26 福建帝视信息科技有限公司 一种基于图卷积神经网络的人脸情绪识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XU XU ET AL.: "Facial Expression Recognition Based on Graph Neural Network", 《2020 IEEE 5TH INTERNATIONAL CONFERENCE ON IMAGE, VISION AND COMPUTING》 *
郭佳乐 等: "基于图分类的中文长文本匹配算法", 《智能计算机与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989495A (zh) * 2021-11-17 2022-01-28 大连理工大学 一种基于视觉的行人召车行为识别方法
CN113989495B (zh) * 2021-11-17 2024-04-26 大连理工大学 一种基于视觉的行人召车行为识别方法
CN114663953A (zh) * 2022-03-29 2022-06-24 东南大学 一种基于面部关键点和深度神经网络的人脸表情识别方法
CN116011515A (zh) * 2022-12-26 2023-04-25 人民网股份有限公司 几何神经网络模型构建方法、装置、设备及存储介质
CN116011515B (zh) * 2022-12-26 2024-01-26 人民网股份有限公司 几何神经网络模型构建方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113255543B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN113255543B (zh) 基于图卷积网络的面部表情识别方法
CN108133188B (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN109993100B (zh) 基于深层特征聚类的人脸表情识别的实现方法
CN109033994B (zh) 一种基于卷积神经网络的人脸表情识别方法
CN112070768B (zh) 基于Anchor-Free的实时实例分割方法
CN112464865A (zh) 一种基于像素和几何混合特征的人脸表情识别方法
CN107767416B (zh) 一种低分辨率图像中行人朝向的识别方法
Swetha et al. Prediction of pneumonia using big data, deep learning and machine learning techniques
CN109993102A (zh) 相似人脸检索方法、装置及存储介质
CN109919085B (zh) 基于轻量型卷积神经网络的人人交互行为识别方法
Arora et al. Handwriting recognition using deep learning in keras
CN110716792B (zh) 一种目标检测器及其构建方法和应用
CN115966010A (zh) 一种基于注意力和多尺度特征融合的表情识别方法
CN113076905B (zh) 一种基于上下文交互关系的情绪识别方法
CN112149616A (zh) 基于动态信息的人物交互行为识别方法
CN112861718A (zh) 一种轻量级特征融合人群计数方法及系统
CN111967361A (zh) 一种基于婴儿表情识别与哭声的情绪检测方法
CN112364974B (zh) 一种基于激活函数改进的YOLOv3算法
CN114187546B (zh) 组合性动作识别方法及系统
Fu et al. Wavelet enhanced image preprocessing and neural networks for hand gesture recognition
Hossain et al. A novel approach to classify bangla sign digits using capsule network
Reddy P et al. Multimodal spatiotemporal feature map for dynamic gesture recognition from real time video sequences
CN115966017A (zh) 行为识别方法及装置
CN116186513A (zh) 一种基于一维卷积神经网络的振动信号识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant