CN109492557B - 一种基于au共生关系约束的自然场景下面部表情识别方法 - Google Patents

一种基于au共生关系约束的自然场景下面部表情识别方法 Download PDF

Info

Publication number
CN109492557B
CN109492557B CN201811263258.5A CN201811263258A CN109492557B CN 109492557 B CN109492557 B CN 109492557B CN 201811263258 A CN201811263258 A CN 201811263258A CN 109492557 B CN109492557 B CN 109492557B
Authority
CN
China
Prior art keywords
aus
symbiotic relationship
expression
training
expression recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811263258.5A
Other languages
English (en)
Other versions
CN109492557A (zh
Inventor
贾熹滨
王悦宸
李威庭
苏醒
郭黎敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Langfang Meiyin Information Technology Co ltd
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201811263258.5A priority Critical patent/CN109492557B/zh
Publication of CN109492557A publication Critical patent/CN109492557A/zh
Application granted granted Critical
Publication of CN109492557B publication Critical patent/CN109492557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于AU共生关系约束的自然场景下面部表情识别方法，属于数字图像处理及计算机视觉技术领域，该方法包括：人力啊图像序列的AU获取；AU识别网络的训练；基于AU的表情识别模型的训练。具体涉及基于AU共生关系约束的自然场景下面部表情识别方法。本发明通过利用解剖学研究成果，将人脸表情识别过程中对整张人脸图像的特征提取替换为对人脸图像的局部AU特征提取，极大的减少了特征提取的工作，并且减少了无关面部特征对表情识别的影响；利用AU间共生关系以及AU与表情之间的共生关系作为识别模型训练过程的约束项，相比以往单纯利用数据进行识别模型的训练更加合理化。

Description

一种基于AU共生关系约束的自然场景下面部表情识别方法
技术领域
本发明属于数字图像处理及计算机视觉技术领域，具体涉及基于AU共生关系约束的自然场景下面部表情识别方法。
背景技术
情感在人们的日常生活中扮演了极其重要的角色，它反映了人们思想活动与内心感受，并且能进一步影响人们的行为反应。在人类情感的多种表达形式中，面部表情在传达人们自身的情感与心理感受方面起到了重要作用。将人类情感的认知用于人机交互中，有利于提升人机交互自然性，提高对自然人的服务能力，在智能服务机器人、教育、社会安全和游戏娱乐等领域都具有广泛的应用前景。然而，由于自然场景下所捕获情感数据的多样性，情感计算至今仍然是一个难点问题。因此研究无约束表情识别仍然具备重要的研究意义。
Action Units(AU)是描述人脸肌肉运动的基本单元，不同的AU组合在一起形成了不同的人脸面部表情。共生表示的是两个或多个领域实例之间同时出现或发生的情况。共生关系反映了不同领域之间潜在的关联关系。通过现有的科研成果证明这些领域之间的共生关系对其中的单个领域的识别问题有重要的帮助。
卷积神经网络(Convolutional Neural Network，CNN)是一种深度前馈人工神经网络，因为CNN避免了对图像的复杂前期处理，从而在图像识别领域得到了广泛的应用。2DCNN常用于图像以及图像类文本的识别；3DCNN由于能够捕捉时空信息，所以主要应用于视频类数据以及医学影像数据的识别。
高斯过程模型(GP)近些年在机器学习领域备受关注，在大量的科研工作中，GP模型显现出了许多优势：它是在统计学的基础上，基于完全贝叶斯公式实现的，所以其结果具有良好的概率解释；另外，相较于传统的机器学习模型，GP能够直接完成多分类任务。
发明内容
本发明的目的在于提供基于AU共生关系约束的面部表情识别方法，所述的基于AU共生关系约束的面部表情识别方法要改善现有AU识别准确率不高，自然场景下表情识别准确率不高的现状。
为了实现上述目的，本发明采用以下技术方案：一种基于AU共生关系约束的自然场景下面部表情识别方法，该方法的实现过程如下：
首先，人脸表情识别的原始图像数据为视频序列数据，针对数据特点以及AU识别的需求对人脸视频序列数据进行分割预处理；然后，利用预处理得到的数据训练AU识别网络，并在训练过程中加入AU间共生关系约束；最后，将AU识别网络得到的识别结果作为表情分类器的输入，并在表情分类器的训练过程中加入AU与表情的共生关系约束。该方法具体包括以下步骤：
步骤1，人脸图像序列的AU获取。
步骤1.1，读取人脸图像序列，对序列中的每张图片进行人脸特征点定位。
步骤1.2，根据定位到的人脸特征点，得到AU的位置。
步骤1.3，依据AU位置信息从人脸图片中分割出AU图片序列数据。
步骤2，AU识别网络的训练。
步骤2.1，将步骤1得到的AU图片序列数据作为训练数据训练AU识别网络。
步骤2.2，利用AU间共生关系调整AU识别损失。
步骤3，基于AU的表情识别模型的训练。
步骤3.1，将步骤2得到的AU识别结果用于表情识别模型的训练。
步骤3.2，利用AU与表情间的共生关系调整表情识别的结果。
与现有技术相比，本发明具有以下明显优势：
本发明通过利用解剖学研究成果，将人脸表情识别过程中对整张人脸图像的特征提取替换为对人脸图像的局部AU特征提取，极大的减少了特征提取的工作，并且减少了无关面部特征对表情识别的影响；利用AU间共生关系以及AU与表情之间的共生关系作为识别模型训练过程的约束项，相比以往单纯利用数据进行识别模型的训练更加合理化。
附图说明
图1基于AU的表情识别模型示意图。
图2为人脸68个特征点示意图；
图3为AU识别网络示意图；
图4为表情识别模型示意图；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明所述方法的流程图如图1所示，具体包括以下步骤：
步骤1，人脸图像序列的AU获取。
步骤1.1，读取人脸图像序列，对序列中的每张图片进行人脸特征点定位。
按序列顺序读取每张人脸图片，确定每张图片中人脸的68个特征点的位置信息。其中68个人脸特征点的具体位置如图2所示。
步骤1.2，根据定位到的人脸特征点，得到AU的位置。
由于本方法总共涉及到13个AU，它们在人脸上的分布主要集中在眼睛周围、鼻子周围以及嘴唇周围这三个区域，所以，需要从步骤1.1获得的68个人脸特征点中选取18、20、27和29四个特征点用于定位眼睛周围AU位置，选取18、29、27和34四个特征点用于定位鼻子周围AU位置，选取20、34、25和9四个特征点用于定位嘴唇周围AU位置。分别以feature_p1、feature_p2、feature_p3、feature_p4代表每个区域所选取的四个特征点，region_au代表AU区域，它为一个矩形区域，由左上角坐标点left_top(x,y)和右下角坐标点right_bottom(x,y)确定。三个区域AU位置的计算如下所示：
left_top.x＝feature_p1.x-2
left_top.y＝feature_p2.y-2
right_bottom.x＝feature_p3.x+2
right_bottom.y＝feature_p4.y+2
其中：left_top.x表示矩形区域左上角坐标点的x坐标，left_top.y表示矩形区域左上角坐标点的y坐标；right_bottom.x表示矩形区域右下角坐标点的x坐标，right_bottom.y表示矩形区域右下角坐标点的y坐标；feature_p1.x、feature_p2.y、feature_p3.x和feature_p4.y分别表示区域所选特征点p1的x坐标、区域所选特征点p2的y坐标、区域所选特征点p3的x坐标和区域所选特征点p4的y坐标。
步骤1.3，依据AU位置信息从人脸图片中分割出AU图片序列数据。
步骤2，AU识别网络的训练。
步骤2.1，将步骤1得到的AU图片序列数据作为训练数据训练AU识别网络。
AU识别网络一共由13个3DCNN网络构成，其网络结构如图3所示。
步骤2.2，利用AU间共生关系调整AU识别损失。
面部肌肉之间的结构关联导致AU之间存在共生的关系。在设计AU识别网络损失函数时，除了考虑到识别结果与标签之间的误差，还将13个AU之间的共生关系设计其中。每个AU识别网络的损失函数如下：
Figure BDA0001844349800000031
其中L(·)表示交叉熵损失函数：
Figure BDA0001844349800000032
i代表第i个AU，yi代表第i个AU识别网络的预测值，
Figure BDA0001844349800000033
代表当前待预测AU图像的真实值；j代表第j个AU，yj代表第j个AU识别网络的预测值，dij代表第i个AU与第j个AU的共生关系，AU之间的共生关系如下所示：
Figure BDA0001844349800000034
Figure BDA0001844349800000041
其中，1代表AU之间存在共生关系，0代表AU之间没有关联，-1代表两个AU绝对不可能同时存在；为方便计算，同种AU之间不考虑共生关系的存在。
步骤3，基于AU的表情识别模型的训练。
步骤3.1，将步骤2得到的AU识别结果用于表情识别模型的训练。
采用高斯过程分类器实现表情识别，表情识别模型结构如图4所示。将步骤2得到的AU编码为一个13维的向量，作为高斯过程分类器的输入。AU编码示例如下所示：
[0,0,1,1,0,0,0,1,0,0,0,0,0]
该编码表示图像中包含了AU4、AU7和AU15三个AU，其余AU没有出现。
步骤3.2，利用AU与表情间的共生关系调整表情识别的结果。
在进行表情识别模型的训练时，将13个AU与6种表情之间的共生关系以权重的加在了模型的输出上，以达到对模型结果微调的效果。各表情结果的权重如下所示：
Weighti＝xT·Di
其中，i表示第i种表情，x为表情识别模型的输入即AU识别结果的13维编码，xT表示13维编码向量的转置，Di表示表情i与13个AU之间的共生关系。
AU与表情之间的共生关系表示如下：
AU1 AU2 AU4 AU7 AU9 AU10 AU12 AU15 AU17 AU20 AU24 AU25 AU26
Happy 0 0 0 0 0 0 0.7 0 0 0 0 0.7 0
Angry 0 0 0.7 0.7 0 0.26 0 0 0 0 0.7 0 0
Disgust 0 0 0 0 0.7 0.7 0 0 0.7 0 0 0 0
Sad 0 0 0.7 0 0 0 0 0.7 0 0 0 0 0
Surprise 0.7 0.7 0 0 0 0 0 0 0 0 0 0.7 0.7
Fear 0.7 0 0.7 0 0 0 0 0 0 0.7 0 0.7 0
上表中的数值代表AU对表情的贡献值。0表示AU对表情贡献过小，可忽略不计；0.7表示AU对表情的贡献高于70％，视为有效贡献。
至此，本发明的具体实施过程就描述完毕。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于AU共生关系约束的自然场景下面部表情识别方法，其特征在于：在进行AU识别网络训练的过程中加入AU之间的共生关系约束；在进行表情识别模型的训练过程中加入AU与表情之间的共生关系约束；该方法包括以下步骤：
步骤1，人脸图像序列的AU获取；
步骤1.1，读取人脸图像序列，对序列中的每张图片进行人脸特征点定位；
步骤1.2，根据定位到的人脸特征点，得到AU的位置；
步骤1.3，依据AU位置信息从人脸图片中分割出AU；
步骤2，AU识别网络的训练；
步骤2.1，将步骤1得到的AU图片序列数据作为训练数据训练AU识别网络；
步骤2.2，利用AU间共生关系调整AU识别损失；
步骤3，基于AU的表情识别模型的训练；
步骤3.1，将步骤2得到的AU识别结果用于表情识别模型的训练；
步骤3.2，利用AU与表情间的共生关系调整表情识别的结果；
所述在进行AU识别网络训练的过程中加入AU之间的共生关系约束进一步为：利用面部肌肉之间的结构关联导致AU之间存在的共生关系，在设计AU识别网络损失函数时，除了考虑到识别结果与标签之间的误差，还考虑到13个AU之间的共生关系；每个AU识别网络的损失函数如下：
Figure FDA0003146790290000011
其中L(·)表示交叉熵损失函数：
Figure FDA0003146790290000012
i代表第i个AU，yi代表第i个AU识别网络的预测值，
Figure FDA0003146790290000013
代表当前待预测AU图像的真实值；j代表第j个AU，yj代表第j个AU识别网络的预测值，dij代表第i个AU与第j个AU的共生关系，AU之间的共生关系如下所示：
Figure FDA0003146790290000014
Figure FDA0003146790290000021
其中，1代表AU之间存在共生关系，0代表AU之间没有关联，-1代表两个AU绝对不可能同时存在；
在进行表情识别模型的训练过程中加入AU与表情之间的共生关系约束进一步为：利用AU与表情之间固有的共生关系，将13个AU与6种表情之间的共生关系以权重的加在了表情识别模型的输出上，以达到对模型结果微调的效果；各表情结果的权重如下所示：
Weighti＝xT·Di
其中，i表示第i种表情，x为表情识别模型的输入即AU识别结果的13维编码，Di表示表情i与13个AU之间的共生关系；AU与表情之间的共生关系表示如下：
AU1 AU2 AU4 AU7 AU9 AU10 AU12 AU15 AU17 AU20 AU24 AU25 AU26 Happy 0 0 0 0 0 0 0.7 0 0 0 0 0.7 0 Angry 0 0 0.7 0.7 0 0.26 0 0 0 0 0.7 0 0 Disgust 0 0 0 0 0.7 0.7 0 0 0.7 0 0 0 0 Sad 0 0 0.7 0 0 0 0 0.7 0 0 0 0 0 Surprise 0.7 0.7 0 0 0 0 0 0 0 0 0 0.7 0.7 Fear 0.7 0 0.7 0 0 0 0 0 0 0.7 0 0.7 0
上表中的数值代表AU对表情的贡献值；0表示AU对表情贡献过小，可忽略不计；0.7表示AU对表情的贡献高于70％，视为有效贡献。
CN201811263258.5A 2018-10-28 2018-10-28 一种基于au共生关系约束的自然场景下面部表情识别方法 Active CN109492557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811263258.5A CN109492557B (zh) 2018-10-28 2018-10-28 一种基于au共生关系约束的自然场景下面部表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811263258.5A CN109492557B (zh) 2018-10-28 2018-10-28 一种基于au共生关系约束的自然场景下面部表情识别方法

Publications (2)

Publication Number Publication Date
CN109492557A CN109492557A (zh) 2019-03-19
CN109492557B true CN109492557B (zh) 2021-09-10

Family

ID=65693125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811263258.5A Active CN109492557B (zh) 2018-10-28 2018-10-28 一种基于au共生关系约束的自然场景下面部表情识别方法

Country Status (1)

Country Link
CN (1) CN109492557B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395979B (zh) * 2020-11-17 2024-05-10 平安科技（深圳）有限公司 基于图像的健康状态识别方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005765A (zh) * 2015-06-29 2015-10-28 北京工业大学 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法
CN106529504A (zh) * 2016-12-02 2017-03-22 合肥工业大学 一种复合时空特征的双模态视频情感识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005765A (zh) * 2015-06-29 2015-10-28 北京工业大学 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法
CN106529504A (zh) * 2016-12-02 2017-03-22 合肥工业大学 一种复合时空特征的双模态视频情感识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EAC-Net: A Region-based Deep Enhancing and Cropping Approach for Facial Action Unit Detection;Wei Li等;《2017 IEEE 12th International Conference on Automatic Face & Gesture Recognition》;20170629;第103-110页 *
基于深度学习的AU识别及表情关联规则挖掘研究与实现;郝辰亮;《中国优秀硕士学位论文全文数据库》;20170315(第2017年第03期);I138-3876 *
基于面部运动单元的多层融合表情识别方法研究;刘爽侨;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315(第2017年第03期);I138-5426 *

Also Published As

Publication number Publication date
CN109492557A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
Oyedotun et al. Deep learning in vision-based static hand gesture recognition
Hu et al. Local relation networks for image recognition
CN110378208B (zh) 一种基于深度残差网络的行为识别方法
Salunke et al. A new approach for automatic face emotion recognition and classification based on deep networks
CN112949622A (zh) 融合文本与图像的双模态性格分类方法及装置
CN111860046A (zh) 一种改进MobileNet模型的人脸表情识别方法
Kishore et al. Selfie sign language recognition with convolutional neural networks
CN113807265A (zh) 一种多样化的人脸图像合成方法及系统
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
CN114462290A (zh) 一种生成预训练人工智能模型的方法及装置
Wang et al. Facial expression recognition based on CNN
CN109492557B (zh) 一种基于au共生关系约束的自然场景下面部表情识别方法
CN116386102A (zh) 一种基于改进残差卷积网络inception块结构的人脸情绪识别方法
CN113657272B (zh) 一种基于缺失数据补全的微视频分类方法及系统
Mohamed Automatic system for Arabic sign language recognition and translation to spoken one
CN110520869A (zh) 能够提供时空事件的动态感知不变性以期从其提取统一语义表示的自动化方法和装置
CN115690917B (zh) 一种基于外观和运动智能关注的行人动作识别方法
Jia et al. An action unit co-occurrence constraint 3DCNN based action unit recognition approach
Yang Semantic segmentation method based on improved DeeplabV3+
Kakkar Facial expression recognition with LDPP & LTP using deep belief network
CN111246176A (zh) 一种节带化视频传输方法
Choi et al. A view-based real-time human action recognition system as an interface for human computer interaction
CN109409246A (zh) 基于稀疏编码的加速鲁棒特征双模态手势意图理解方法
CN109214286A (zh) 基于深度神经网络多层特征融合的人脸识别方法
Tripathi et al. Facial expression recognition using data mining algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230630

Address after: 065000 Workshop 1, No. 19 Anjin Road, Economic Development Zone, Anci District, Langfang City, Hebei Province

Patentee after: Langfang Meiyin Information Technology Co.,Ltd.

Address before: 100124 No. 100 Chaoyang District Ping Tian Park, Beijing

Patentee before: Beijing University of Technology