CN113743389A - 一种面部表情识别的方法、装置和电子设备 - Google Patents

一种面部表情识别的方法、装置和电子设备 Download PDF

Info

Publication number
CN113743389A
CN113743389A CN202111309957.0A CN202111309957A CN113743389A CN 113743389 A CN113743389 A CN 113743389A CN 202111309957 A CN202111309957 A CN 202111309957A CN 113743389 A CN113743389 A CN 113743389A
Authority
CN
China
Prior art keywords
key point
area
feature map
region
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111309957.0A
Other languages
English (en)
Other versions
CN113743389B (zh
Inventor
何双江
项金桥
董喆
方博
鄢浩
喻莉
赵慧娟
喻晗
徐凤祥
杜聪炬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Provincial People's Procuratorate
Wuhan Fiberhome Information Integration Technologies Co ltd
Huazhong University of Science and Technology
Original Assignee
Hubei Provincial People's Procuratorate
Wuhan Fiberhome Information Integration Technologies Co ltd
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Provincial People's Procuratorate, Wuhan Fiberhome Information Integration Technologies Co ltd, Huazhong University of Science and Technology filed Critical Hubei Provincial People's Procuratorate
Priority to CN202111309957.0A priority Critical patent/CN113743389B/zh
Publication of CN113743389A publication Critical patent/CN113743389A/zh
Application granted granted Critical
Publication of CN113743389B publication Critical patent/CN113743389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面部表情识别的方法、装置和电子设备，属于图像识别领域，所述方法包括：根据多个面部肌肉关键点将人脸区域划分为多个ROI，获得多个ROI交集对应的最小外接矩形区域Iu和并集对应的最小外接矩形区域In；获得人脸图像对应特征图f的特征图
Figure 581905DEST_PATH_IMAGE001
和
Figure 973703DEST_PATH_IMAGE002
，将
Figure 814620DEST_PATH_IMAGE003
和
Figure 291869DEST_PATH_IMAGE004
进行信道拼接得到fc；将fc输入对应的训练好的面部AU识别模型使其输出对应的AU关键点区域及其置信度；将AU关键点区域对应Iu和In进行回归迭代直至Iu=In得到最佳AU关键点区域；基于预设表情映射关系和至少一个最佳AU关键点区域获取人脸图像中的面部表情。本发明通过不断迭代训练得到最佳AU关键点区域并基于此进行表情识别，能够有效提高表情识别效率。

Description

一种面部表情识别的方法、装置和电子设备
技术领域
本发明属于图像识别领域，更具体地，涉及一种面部表情识别的方法、装置和电子设备。
背景技术
人类的面部表情是由面部肌肉的运动来体现的。美国心理学家艾克曼教授在20世纪60年代发布了面部运动编码系统（Facial Action Coding System，FACS），对AU的定义独立于其它假设和解释，仅依靠解剖学上肌肉分布与运动特征，而不是根据特定面部表情的假设，为面部表情提供了更客观、更细粒度的描述，对于面部表情的分析更为直观并且更具有可解释性。
FACS定义了人类面部的几十组运动单元（Action Unit，AU），每组AU由一块或多块肌肉的运动组成。FACS对每种AU定义了A到E五个级别的强度，各种AU之间自由组合，理论上人脸可以表达一万多种表情。AU和面部表情的联系十分紧密，可将表情分解为不同AU的组合，剖析人脸表情在面部的表象，把表情分解成具体的面部肌肉的运动，也即AU运动，并且给出了识别和衡量表情的方法与基准。相对于通过人类语言的表情标签方式主观表达表情，可以通过一系列固定的人脸参数表示表情和人脸的行为。使用AU检测的方式表达面部表情框架，可以避免因为观测者不同引入标注的歧义性。
现有大部分方法都是通过全脸特征检测的方式完成面部AU的识别，然而面部AU表达的是面部局部肌肉的运动，全脸特征检测的方式可能会导致使用嘴部特征完成眼部的AU识别从而导致AU检测不准确，进而导致表情识别效率低。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种面部表情识别的方法、装置和电子设备，其目的在于根据多个面部肌肉关键点将人脸区域划分为多个感兴趣区域ROI，再基于多个ROI组对应的最小外接矩形Iu和In获得人脸图像对应的特征图fc；然后将特征图fc输入训练好的面部AU识别模型中得到AU关键点区域，并对AU关键点区域对应Iu和In进行回归迭代，得到最佳AU关键点区域，最后基于预设表情映射关系和至少一个最佳AU关键点区域获取人脸图像中的面部表情；由此解决AU检测不准确导致的表情识别效率低的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种面部表情识别的方法，包括：
S1：根据多个面部肌肉关键点将已完成人脸矫正的人脸区域划分为多个感兴趣区域ROI，多个感兴趣区域ROI对应多个ROI组，每个所述ROI组对应一个AU关键点区域；将各个所述AU关键点区域各自对应的多个ROI最小外接矩形进行并集以获得其最小外接矩形区域Iu；将各个所述AU关键点区域各自对应的多个ROI最小外接矩形进行交集以获得其最小外接矩形区域In；S2：对人脸图像进行特征提取得到特征图f，从所述特征图f中确定出Iu对应的特征图fu和In对应的特征图fn；将所述特征图fu进行下采样得到特征图
Figure 18170DEST_PATH_IMAGE001
，将所述特征图fn进行上采样得到特征图
Figure 732048DEST_PATH_IMAGE002
，将所述特征图
Figure 183889DEST_PATH_IMAGE003
和所述特征图
Figure 251202DEST_PATH_IMAGE004
进行信道拼接得到特征图fc；S3：将所述特征图fc输入对应的训练好的面部AU识别模型中，使其输出对应的AU关键点区域及其置信度；将所述AU关键点区域对应Iu和In进行回归迭代直至Iu=In，从而得到最佳AU关键点区域；S4：基于预设表情映射关系和各个AU关键点区域对应的最佳AU关键点区域，获取所述人脸图像对应的面部表情信息。
在其中一个实施例中，所述S3包括：S31：将所述特征图fc输入对应的训练好的面部AU识别模型中，使其输出对应的AU关键点区域及其置信度；其中，AU关键点区域为最高置信度对应的区域；S32：对各个所述AU关键点区域对应的Iu和In进行回归迭代直至Iu=In，从而获取所述AU关键点区域到最接近于真实AU关键点区域的映射关系，进而得到最佳AU关键点区域，所述最佳AU关键点区域用于表征最接近于真实AU关键点区域。
在其中一个实施例中，所述置信度对应的AU分类损失函数为：
Figure 596733DEST_PATH_IMAGE005
其中，
Figure 589834DEST_PATH_IMAGE006
为AU关键点区域的真实标签，
Figure 263392DEST_PATH_IMAGE007
为AU关键点区域的预测标签，i为样本序号，N为样本总数。
在其中一个实施例中，所述S31中
Figure 259030DEST_PATH_IMAGE008
的DIoU 损失函数
Figure 334433DEST_PATH_IMAGE009
为：
Figure 999901DEST_PATH_IMAGE010
；
其中，
Figure 550968DEST_PATH_IMAGE011
，
Figure 458619DEST_PATH_IMAGE012
为
Figure 388529DEST_PATH_IMAGE013
与AU的真实标签框
Figure 615111DEST_PATH_IMAGE014
的交并比，
Figure 528840DEST_PATH_IMAGE015
表示
Figure 210488DEST_PATH_IMAGE016
中心点与AU的真实标签框
Figure 650697DEST_PATH_IMAGE017
中心点的欧氏距离，
Figure 890923DEST_PATH_IMAGE018
为AU的Iu框的中心点；
Figure 151003DEST_PATH_IMAGE019
为AU的真实标签框的中心点；
Figure 901922DEST_PATH_IMAGE020
为能够同时包含Iu框和真实标签框的最小闭包区域的对角线距离；
所述S32中
Figure 72003DEST_PATH_IMAGE021
的DIoU损失函数
Figure 374808DEST_PATH_IMAGE022
为：
Figure 731971DEST_PATH_IMAGE023
；
Figure 145635DEST_PATH_IMAGE024
；
Figure 403179DEST_PATH_IMAGE025
为
Figure 876886DEST_PATH_IMAGE026
与AU的真实标签框
Figure 721345DEST_PATH_IMAGE027
的交并比，
Figure 673120DEST_PATH_IMAGE028
表示
Figure 552215DEST_PATH_IMAGE029
中心点与AU的真实标签框的中心点的欧氏距离；
Figure 196823DEST_PATH_IMAGE030
为AU的In框的中心点；
Figure 528578DEST_PATH_IMAGE031
为能够同时包含In框和真实标签框的最小闭包区域的对角线距离。
在其中一个实施例中，所述S3之前，所述方法还包括：获得多个人脸图像，将各个所述人脸图像上的各个ROI对应的Iu和In作为各个ROI各自对应的AU关键点区域的初始区域；基于所述初始区域将多个人脸图像各自对应的特征图fc作为AU关键点区域样本集对面部AU识别模型进行训练；所述AU关键点区域样本集的属性信息包括：AU关键点区域的真实框和AU分类标签；
所述面部AU识别模型训练过程的损失函数为：
Figure 284044DEST_PATH_IMAGE032
其中，
Figure 250601DEST_PATH_IMAGE033
为AU分类损失函数，
Figure 66110DEST_PATH_IMAGE034
为AU分类损失的权重，
Figure 885162DEST_PATH_IMAGE035
为Iu的DIoU损失的权重，
Figure 444319DEST_PATH_IMAGE036
为
Figure 32426DEST_PATH_IMAGE037
的DIoU 损失函数，
Figure 753258DEST_PATH_IMAGE038
为In的DIoU损失的权重，
Figure 59605DEST_PATH_IMAGE039
为
Figure 156874DEST_PATH_IMAGE040
的DIoU损失函数。
在其中一个实施例中，S4包括：将一个或多个AU关键点区域各自对应的最佳AU关键点区域作为表情区域；在所述预设表情映射关系中查找所述表情出去与对应的面部表情信息，所述预设表情映射关系用于表征表情区域与面部表情信息的映射关系。
在其中一个实施例中，S2中对人脸图像进行特征提取的到特征图f，包括：将人脸图片输入公共特征提取模块，提取人脸的浅层特征生成特征图f，所述浅层特征至少包括纹理特征和边缘特征。
按照本发明的另一方面，提供了一种面部表情识别的装置，包括：预处理模块，用于将多个面部肌肉关键点划分为多个感兴趣区域ROI并获取各个ROI对应的最小外接矩形；将多个所述ROI对应的最小外接矩形并集的最小外接区域得到Iu；将多个所述ROI对应的最小外接矩形的交集的最小外接区域得到In；提取模块，用于对人脸图像进行特征提取的到特征图f，从所述特征图f中确定出区域Iu对应的特征图fu和区域In对应的特征图fn；将所述特征图fu和所述特征图fn分别进行下采样得到特征图
Figure 387040DEST_PATH_IMAGE041
和特征图
Figure 278772DEST_PATH_IMAGE042
，将所述特征图
Figure 72416DEST_PATH_IMAGE043
和所述特征图
Figure 973376DEST_PATH_IMAGE044
进行信道拼接得到特征图fc；识别模块，用于将所述特征图fc输入训练好的面部AU识别模型中，使其输出AU分类及其对应的AU关键点区域；对所述AU关键点区域对应的最大外接区域Iu和最小外接区域In进行回归迭代直至Iu=In，从而得到最佳AU关键点区域。
按照本发明的另一方面，提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的方法的步骤。
按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本发明根据多个面部肌肉关键点将人脸区域划分为多个感兴趣区域ROI，再基于多个ROI组对应的最小外接矩形Iu和In获得人脸图像对应的特征图fc；最后将特征图fc输入训练好的面部AU识别模型中得到AU关键点区域，并对AU关键点区域对应Iu和In进行回归迭代，得到最佳AU关键点区域。即利用面部AU关键点区域框选面部AU范围，得到有效表达AU特征的最佳AU区域，完成面部AU检测从而完成面部表情的识别。在AU识别过程中，通过不断迭代训练，最终有效检测面部运动单元关键点，进而进行面部表情识别。
附图说明
图1是本发明一实施例中面部表情识别的方法的流程图。
图2是本发明一实施例中人脸图像中的ROI的示意图。
图3是本发明一实施例中面部AU关键点检测方法的应用场景图。
图4是本发明一实施例中面部面部表情识别方法的应用场景图。
图5是本发明一实施例中面部表情识别的方法中S3的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，为实现上述目的，本发明提供了一种面部表情识别的方法，包括：
S1：根据多个面部肌肉关键点将已完成人脸矫正的人脸区域划分为多个感兴趣区域ROI，多个感兴趣区域ROI对应多个ROI组，每个ROI组对应一个AU关键点区域；将各个AU关键点区域各自对应的多个ROI最小外接矩形进行并集以获得其最小外接矩形区域Iu；将各个AU关键点区域各自对应的多个ROI最小外接矩形进行交集以获得其最小外接矩形区域In。
如图2所示，基于多个面部肌肉关键点将已完成人脸矫正的人脸区域划分为多个感兴趣区域ROI(region of interest，ROI)，多个面部肌肉关键点形成多个面部感兴趣区域。举例来说，可以利用68个面部肌肉关键点将人脸划分人脸区域，共划分为35个面部感兴趣区域，其顶点为面部肌肉关键点。
举例来说，使用关键点检测工具检测人脸关键点，使用的人脸关键点类型为68个面部肌肉关键点；获得对应的AU关键点区域；根据本发明提出的面部区域划分的先验知识将面部划分为35个面部感兴趣区域；使用最小外接矩形方法，为每个ROI区域分别初始化其对应的最小外接矩形；根据本发明所提的AU与ROI区域组映射关系的先验知识，形成AU所对应区域的覆盖ROI区域各自最小外接矩形并集的最小外接矩形
Figure 270496DEST_PATH_IMAGE045
和AU所对应区域的覆盖ROI区域各自最小外接矩形交集的最小外接矩形
Figure 598709DEST_PATH_IMAGE046
，作为面部AU关键点区域的最大区域和最小区域的初始值。
S2：对人脸图像进行特征提取得到特征图f，从特征图f中确定出Iu对应的特征图fu和In对应的特征图fn。将特征图fu进行下采样得到特征图
Figure 879649DEST_PATH_IMAGE047
，将特征图fn进行上采样得到特征图
Figure 958201DEST_PATH_IMAGE048
将特征图
Figure 500041DEST_PATH_IMAGE043
和特征图
Figure 733576DEST_PATH_IMAGE049
进行信道拼接得到特征图fc。
具体的，以AU1的关键点检测过程为例，其初始化的
Figure 501812DEST_PATH_IMAGE050
和
Figure 619941DEST_PATH_IMAGE051
作为AU1的初始位置，AU1的真实框为
Figure 16287DEST_PATH_IMAGE017
。人脸图片经过公共特征提取模块，提取人脸的浅层特征，例如纹理、边缘等，生成人脸图片的特征图
Figure 827248DEST_PATH_IMAGE052
。根据初始化的
Figure 676256DEST_PATH_IMAGE053
和
Figure 96611DEST_PATH_IMAGE054
在
Figure 613043DEST_PATH_IMAGE055
上的对应位置，获得
Figure 329326DEST_PATH_IMAGE056
和
Figure 665629DEST_PATH_IMAGE057
对应的特征图
Figure 391140DEST_PATH_IMAGE058
和
Figure 903024DEST_PATH_IMAGE059
。首先使用下采样方法，将
Figure 914842DEST_PATH_IMAGE060
下采样至AU1识别模型的输入大小，记为
Figure 112343DEST_PATH_IMAGE061
；使用上采样方法，将
Figure 500599DEST_PATH_IMAGE062
上采样至AU1识别模型的输入大小，记为
Figure 601410DEST_PATH_IMAGE063
；AU最大可能区域
Figure 784130DEST_PATH_IMAGE064
包含了最丰富的AU特征，其中包含一些无关特征，AU最小可能区域
Figure 235971DEST_PATH_IMAGE065
包含了一定包含的AU特征，
Figure 162338DEST_PATH_IMAGE066
和
Figure 117656DEST_PATH_IMAGE067
进行信道concat，生成既包含最丰富AU特征又包含最小区域特征的AU表征
Figure 736856DEST_PATH_IMAGE068
。
S3：将特征图fc输入对应的训练好的面部AU识别模型中，使其输出对应的AU关键点区域及其置信度。将AU关键点区域对应Iu和In进行回归迭代直至Iu=In，从而得到最佳AU关键点区域。
具体的，
Figure 908949DEST_PATH_IMAGE069
输入训练好的面部AU识别模型完成AU的特征编码提取，输出AU分类和AU关键点区域。举例来说，将AU1对应的
Figure 639008DEST_PATH_IMAGE070
输入训练好的面部AU1识别模型，得到的多个分类和多个置信度，最高置信度对应的类型为AU分类，AU分类是二分类问题，即AU区域是否存在。识别过程中，根据AU分类和AU关键点区域，对AU关键点区域的最大区域
Figure 448832DEST_PATH_IMAGE071
和最小区域
Figure 238934DEST_PATH_IMAGE072
进行回归，最终得到表达力最强且引入无关噪声最少的AU关键点区域。AU关键点区域回归，实际上是找到从一种从当前AU关键点区域到最接近于真实关键点区域的的位置映射关系。为了在训练中优化并回归AU关键点区域，本发明通过迭代训练回归
Figure 399788DEST_PATH_IMAGE071
和
Figure 667958DEST_PATH_IMAGE073
，直到
Figure 597868DEST_PATH_IMAGE074
=
Figure 558871DEST_PATH_IMAGE075
即为最佳AU关键点区域。
S4：基于预设表情映射关系和各个AU关键点区域对应的最佳AU关键点区域，获取人脸图像对应的面部表情信息。
在其中一个实施例中，在其中一个实施例中，S4包括：将一个或多个AU关键点区域各自对应的最佳AU关键点区域作为表情区域；在预设表情映射关系中查找表情出去与对应的面部表情信息，预设表情映射关系用于表征表情区域与面部表情信息的映射关系。即根据面部表情与AU映射关系的先验知识，通过AU组合判定面部表情分类结果。举例来说，根据本发明所提的AU与ROI区域组映射关系的先验知识，以及人脸表情与AU映射关系的先验知识如表1所示。
Figure 439977DEST_PATH_IMAGE076
例如用于表达快乐情绪AU6和AU12。本发明通过面部AU区域划分的方式划分出面部与表情相关重要区域，通过学习面部AU区域的样本的特征，迭代训练获取面部表情分类器，完成表情识别。本发明主要针对恐惧、惊讶、悲伤和开心四种表情的识别。根据面部表情与AU映射关系的先验知识可知，本发明中所涉及的四种表情涉及AU1，AU2，AU4，AU6，AU12。本发明通过单AU区域识别的方式，完成每个AU的单独识别，并根据面部表情与AU的映射关系先验知识，完成面部表情的识别。
在其中一个实施例中，如图3所述，S3包括：
S31：将特征图fc输入对应的训练好的面部AU识别模型中，使其输出对应的AU关键点区域及其置信度。其中，AU关键点区域为最高置信度对应的区域;
S32：对各个AU关键点区域对应的Iu和In进行回归迭代直至Iu=In，从而获取AU关键点区域到最接近于真实AU关键点区域的映射关系，进而得到最佳AU关键点区域，最佳AU关键点区域用于表征最接近于真实AU关键点区域。
在其中一个实施例中，置信度对应的AU分类损失函数为：
Figure 511838DEST_PATH_IMAGE077
其中，
Figure 561834DEST_PATH_IMAGE078
为AU关键点区域的真实标签，
Figure 428158DEST_PATH_IMAGE079
为AU关键点区域的预测标签，i为样本序号，N为样本总数。
在其中一个实施例中，S31中
Figure 563605DEST_PATH_IMAGE080
的DIoU损失函数
Figure 173578DEST_PATH_IMAGE081
为：
Figure 78080DEST_PATH_IMAGE082
。
其中，
Figure 115306DEST_PATH_IMAGE083
，
Figure 236583DEST_PATH_IMAGE084
为
Figure 650247DEST_PATH_IMAGE085
与AU的真实标签框
Figure 409256DEST_PATH_IMAGE086
的交并比，
Figure 882962DEST_PATH_IMAGE087
表示
Figure 727422DEST_PATH_IMAGE088
中心点与AU的真实标签框
Figure 679197DEST_PATH_IMAGE089
中心点的欧氏距离，代表能够同时包含预测框和真实框的最小闭包区域的对角线距离；
Figure 558291DEST_PATH_IMAGE090
为AU的Iu框的中心点。
Figure 937320DEST_PATH_IMAGE091
为AU的真实标签框的中心点。
Figure 767611DEST_PATH_IMAGE092
为能够同时包含Iu框和真实标签框的最小闭包区域的对角线距离。
S32中
Figure 523077DEST_PATH_IMAGE093
的DIoU损失函数
Figure 522257DEST_PATH_IMAGE094
为：
Figure 337766DEST_PATH_IMAGE095
；
Figure 156818DEST_PATH_IMAGE096
；
Figure 450396DEST_PATH_IMAGE097
为
Figure 38503DEST_PATH_IMAGE075
与AU的真实标签框
Figure 24914DEST_PATH_IMAGE098
的交并比，
Figure 829796DEST_PATH_IMAGE099
表示
Figure 927065DEST_PATH_IMAGE100
中心点与AU的真实标签框的中心点的欧氏距离，代表能够同时包含预测框和真实框的最小闭包区域的对角线距离。
Figure 369679DEST_PATH_IMAGE101
为AU的In框的中心点。
Figure 526991DEST_PATH_IMAGE102
为能够同时包含In框和真实标签框的最小闭包区域的对角线距离。
在其中一个实施例中，S3之前，方法还包括：
获得多个人脸图像，将各个人脸图像上的各个ROI对应的Iu和In作为各个ROI各自对应的AU关键点区域的初始区域。
基于初始区域将多个人脸图像各自对应的特征图fc作为AU关键点区域样本集对面部AU识别模型进行训练。AU关键点区域样本集的属性信息包括：AU关键点区域的真实框和AU分类标签。
在其中一个实施例中，面部AU识别模型训练过程的损失函数为：
Figure 320635DEST_PATH_IMAGE103
其中，
Figure 956015DEST_PATH_IMAGE104
为AU分类损失函数，
Figure 784294DEST_PATH_IMAGE105
为AU分类损失的权重，
Figure 846928DEST_PATH_IMAGE106
为Iu的DIoU损失的权重，
Figure 626403DEST_PATH_IMAGE107
为
Figure 206420DEST_PATH_IMAGE045
的DIoU 损失函数，
Figure 748260DEST_PATH_IMAGE108
为In的DIoU损失的权重，
Figure 122740DEST_PATH_IMAGE109
为
Figure 750031DEST_PATH_IMAGE110
的DIoU 损失函数。
在其中一个实施例中，S2中对人脸图像进行特征提取的到特征图f，包括：
将人脸图片输入公共特征提取模块，提取人脸的浅层特征生成特征图f，浅层特征至少包括纹理特征和边缘特征。
按照本发明的另一方面，提供了一种面部表情识别的装置，包括：
预处理模块，用于将多个面部肌肉关键点划分为多个感兴趣区域ROI并获取各个ROI对应的最小外接矩形。将多个ROI对应的最小外接矩形并集的最小外接区域得到Iu。将多个ROI对应的最小外接矩形的交集的最小外接区域得到In。
提取模块，用于对人脸图像进行特征提取的到特征图f，从特征图f中确定出区域Iu对应的特征图fu和区域In对应的特征图fn。将特征图fu和特征图fn分别进行下采样得到特征图
Figure 602580DEST_PATH_IMAGE111
和特征图
Figure 264506DEST_PATH_IMAGE112
，将特征图
Figure 308423DEST_PATH_IMAGE113
和特征图
Figure 423009DEST_PATH_IMAGE114
进行信道拼接得到特征图fc。
识别模块，用于将特征图fc输入训练好的面部AU识别模型中，使其输出AU分类及其对应的AU关键点区域。对AU关键点区域对应的最大外接区域Iu和最小外接区域In进行回归迭代直至Iu=In，从而得到最佳AU关键点区域。
按照本发明的另一方面，提供了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现面部表情识别方法的步骤。
按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现面部表情识别方法的步骤。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面部表情识别的方法，其特征在于，包括：
S1：根据多个面部肌肉关键点将已完成人脸矫正的人脸区域划分为多个感兴趣区域ROI，多个ROI对应多个ROI组，每个所述ROI组对应一个AU关键点区域；将各个所述AU关键点区域各自对应的多个ROI最小外接矩形进行并集以获得其最小外接矩形区域Iu；将各个所述AU关键点区域各自对应的多个ROI最小外接矩形进行交集以获得其最小外接矩形区域In；
S2：对人脸图像进行特征提取得到特征图f，从所述特征图f中确定出Iu对应的特征图fu和In对应的特征图fn；将所述特征图fu进行下采样得到特征图
Figure 21103DEST_PATH_IMAGE001
，将所述特征图fn进行上采样得到特征图
Figure 765943DEST_PATH_IMAGE002
，将所述特征图
Figure 777761DEST_PATH_IMAGE003
和所述特征图
Figure 476727DEST_PATH_IMAGE004
进行信道拼接得到特征图fc；
S3：将所述特征图fc输入对应的训练好的面部AU识别模型中，使其输出对应的AU关键点区域及其置信度；将所述AU关键点区域对应Iu和In进行回归迭代直至Iu=In，从而得到最佳AU关键点区域；
S4：基于预设表情映射关系和各个AU关键点区域对应的最佳AU关键点区域，获取所述人脸图像对应的面部表情信息。
2.如权利要求1所述的面部表情识别的方法，其特征在于，所述S3包括：
S31：将所述特征图fc输入对应的训练好的面部AU识别模型中，使其输出对应的AU关键点区域及其置信度；其中，AU关键点区域为最高置信度对应的区域；
S32：对各个所述AU关键点区域对应的Iu和In进行回归迭代直至Iu=In，从而获取所述AU关键点区域到最接近于真实AU关键点区域的映射关系，进而得到最佳AU关键点区域，所述最佳AU关键点区域用于表征最接近于真实AU关键点区域。
3.如权利要求2所述的面部表情识别的方法，其特征在于，所述置信度对应的AU分类损失函数为：
Figure 864983DEST_PATH_IMAGE005
其中，
Figure 965794DEST_PATH_IMAGE006
为AU关键点区域的真实标签，
Figure 148513DEST_PATH_IMAGE007
为AU关键点区域的预测标签，i为样本序号，N为样本总数。
4.如权利要求2所述的面部表情识别的方法，其特征在于，
所述S31中
Figure 600354DEST_PATH_IMAGE008
的DIoU 损失函数
Figure 526722DEST_PATH_IMAGE009
为：
Figure 980575DEST_PATH_IMAGE010
；
其中，
Figure 599775DEST_PATH_IMAGE011
，
Figure 273333DEST_PATH_IMAGE012
为Iu与AU的真实标签框Ig的交并比，
Figure 737813DEST_PATH_IMAGE013
表示
Figure 547637DEST_PATH_IMAGE014
中心点与AU的真实标签框
Figure 337738DEST_PATH_IMAGE015
中心点的欧氏距离，
Figure 233013DEST_PATH_IMAGE016
为AU的Iu框的中心点；
Figure 766762DEST_PATH_IMAGE017
为AU的真实标签框的中心点；
Figure 195208DEST_PATH_IMAGE018
为能够同时包含Iu框和真实标签框的最小闭包区域的对角线距离；
所述S32中
Figure 890631DEST_PATH_IMAGE019
的DIoU 损失函数
Figure 538781DEST_PATH_IMAGE020
为：
Figure 876222DEST_PATH_IMAGE021
；
Figure 395059DEST_PATH_IMAGE022
；
Figure 526963DEST_PATH_IMAGE023
为
Figure 396830DEST_PATH_IMAGE024
与AU的真实标签框
Figure 272382DEST_PATH_IMAGE025
的交并比，
Figure 675419DEST_PATH_IMAGE026
表示
Figure 712645DEST_PATH_IMAGE027
中心点与AU的真实标签框的中心点的欧氏距离；
Figure 335388DEST_PATH_IMAGE028
为AU的In框的中心点；
Figure 749052DEST_PATH_IMAGE029
为能够同时包含In框和真实标签框的最小闭包区域的对角线距离。
5.如权利要求1-4任一项所述的面部表情识别的方法，其特征在于，所述S3之前，所述方法还包括：
获得多个人脸图像，将各个所述人脸图像上的各个ROI对应的Iu和In作为各个ROI各自对应的AU关键点区域的初始区域；
基于所述初始区域将多个人脸图像各自对应的特征图fc作为AU关键点区域样本集对面部AU识别模型进行训练；所述AU关键点区域样本集的属性信息包括：AU关键点区域的真实框和AU分类标签；
其中，所述面部AU识别模型训练过程的损失函数为：
Figure 508060DEST_PATH_IMAGE030
其中，
Figure 716188DEST_PATH_IMAGE031
为AU分类损失函数，
Figure 560647DEST_PATH_IMAGE032
为AU分类损失的权重，
Figure 778002DEST_PATH_IMAGE033
为Iu的DIoU损失的权重，
Figure 890052DEST_PATH_IMAGE034
为
Figure 534660DEST_PATH_IMAGE035
的DIoU 损失函数，
Figure 866415DEST_PATH_IMAGE036
为In的DIoU损失的权重，
Figure 621881DEST_PATH_IMAGE037
为
Figure 355482DEST_PATH_IMAGE038
的DIoU 损失函数。
6.如权利要求1-4任一项所述的面部表情识别的方法，其特征在于，S4包括：
将一个或多个AU关键点区域各自对应的最佳AU关键点区域作为表情区域；
在所述预设表情映射关系中查找所述表情出去与对应的面部表情信息，所述预设表情映射关系用于表征表情区域与面部表情信息的映射关系。
7.如权利要求1-4任一项所述的面部表情识别的方法，其特征在于，S2中对人脸图像进行特征提取的到特征图f，包括：
将人脸图片输入公共特征提取模块，提取人脸的浅层特征生成特征图f，所述浅层特征至少包括纹理特征和边缘特征。
8.一种面部表情识别的装置，其特征在于，包括：
预处理模块，用于将多个面部肌肉关键点划分为多个感兴趣区域ROI并获取各个ROI对应的最小外接矩形；将多个所述ROI对应的最小外接矩形并集的最小外接区域得到Iu；将多个所述ROI对应的最小外接矩形的交集的最小外接区域得到In；
提取模块，用于对人脸图像进行特征提取的到特征图f，从所述特征图f中确定出区域Iu对应的特征图fu和区域In对应的特征图fn；将所述特征图fu和所述特征图fn分别进行下采样得到特征图
Figure 905412DEST_PATH_IMAGE039
和特征图
Figure 724464DEST_PATH_IMAGE040
，将所述特征图
Figure 18042DEST_PATH_IMAGE041
和所述特征图
Figure 730783DEST_PATH_IMAGE042
进行信道拼接得到特征图fc；
识别模块，用于将所述特征图fc输入训练好的面部AU识别模型中，使其输出AU分类及其对应的AU关键点区域；对所述AU关键点区域对应的最大外接区域Iu和最小外接区域In进行回归迭代直至Iu=In，从而得到最佳AU关键点区域；
分析模块，用于基于预设表情映射关系和各个AU关键点区域对应的最佳AU关键点区域，获取所述人脸图像对应的面部表情信息。
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202111309957.0A 2021-11-08 2021-11-08 一种面部表情识别的方法、装置和电子设备 Active CN113743389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111309957.0A CN113743389B (zh) 2021-11-08 2021-11-08 一种面部表情识别的方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111309957.0A CN113743389B (zh) 2021-11-08 2021-11-08 一种面部表情识别的方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN113743389A true CN113743389A (zh) 2021-12-03
CN113743389B CN113743389B (zh) 2022-02-15

Family

ID=78727527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111309957.0A Active CN113743389B (zh) 2021-11-08 2021-11-08 一种面部表情识别的方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113743389B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882578A (zh) * 2022-07-12 2022-08-09 华中科技大学 一种多域对抗学习的小样本条件下复合表情识别方法
CN117653042A (zh) * 2024-01-31 2024-03-08 中船凌久高科(武汉)有限公司 基于多模态的被看护人员疼痛级别判定方法及测试装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190138096A1 (en) * 2017-08-22 2019-05-09 Silicon Algebra Inc. Method for detecting facial expressions and emotions of users
CN109934173A (zh) * 2019-03-14 2019-06-25 腾讯科技（深圳）有限公司 表情识别方法、装置及电子设备
CN109961054A (zh) * 2019-03-29 2019-07-02 山东大学 一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法
CN110119702A (zh) * 2019-04-30 2019-08-13 西安理工大学 基于深度学习先验的人脸表情识别方法
KR20200063347A (ko) * 2018-11-22 2020-06-05 연세대학교 산학협력단 사용자 표정을 비인간 아바타로 재생하는 시스템 및 방법
CN112651363A (zh) * 2020-12-31 2021-04-13 沈阳康泰电子科技股份有限公司 基于多特征点的微表情拟合方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190138096A1 (en) * 2017-08-22 2019-05-09 Silicon Algebra Inc. Method for detecting facial expressions and emotions of users
KR20200063347A (ko) * 2018-11-22 2020-06-05 연세대학교 산학협력단 사용자 표정을 비인간 아바타로 재생하는 시스템 및 방법
CN109934173A (zh) * 2019-03-14 2019-06-25 腾讯科技（深圳）有限公司 表情识别方法、装置及电子设备
CN109961054A (zh) * 2019-03-29 2019-07-02 山东大学 一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法
CN110119702A (zh) * 2019-04-30 2019-08-13 西安理工大学 基于深度学习先验的人脸表情识别方法
CN112651363A (zh) * 2020-12-31 2021-04-13 沈阳康泰电子科技股份有限公司 基于多特征点的微表情拟合方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882578A (zh) * 2022-07-12 2022-08-09 华中科技大学 一种多域对抗学习的小样本条件下复合表情识别方法
CN114882578B (zh) * 2022-07-12 2022-09-06 华中科技大学 一种多域对抗学习的小样本条件下复合表情识别方法
CN117653042A (zh) * 2024-01-31 2024-03-08 中船凌久高科(武汉)有限公司 基于多模态的被看护人员疼痛级别判定方法及测试装置
CN117653042B (zh) * 2024-01-31 2024-04-26 中船凌久高科(武汉)有限公司 基于多模态的被看护人员疼痛级别判定方法及测试装置

Also Published As

Publication number Publication date
CN113743389B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
Kamal et al. Automatic traffic sign detection and recognition using SegU-Net and a modified Tversky loss function with L1-constraint
WO2019192397A1 (zh) 一种任意形状的场景文本端到端识别方法
Yang et al. Layered object models for image segmentation
James et al. Emotion based music recommendation system
CN103824052A (zh) 一种基于多层次语义特征的人脸特征提取方法及识别方法
CN108830237B (zh) 一种人脸表情的识别方法
CN113743389B (zh) 一种面部表情识别的方法、装置和电子设备
CN102103690A (zh) 一种自动的头发区域分割方法
CN110188708A (zh) 一种基于卷积神经网络的人脸表情识别方法
Yang et al. Handwriting text recognition based on faster R-CNN
Baraheem et al. Image synthesis: a review of methods, datasets, evaluation metrics, and future outlook
CN113298018A (zh) 基于光流场和脸部肌肉运动的假脸视频检测方法及装置
Chun et al. YOLOv3: face detection in complex environments
CN117115817A (zh) 基于多模态融合的细胞形态学识别方法及装置
CN114898290A (zh) 一种海上船舶实时检测方法及系统
Ye et al. Facial expression features extraction based on gabor wavelet transformation
Kumar et al. Bird species classification from images using deep learning
Quiroga et al. A study of convolutional architectures for handshape recognition applied to sign language
Xin et al. Random part localization model for fine grained image classification
CN113537187A (zh) 文本识别方法、装置、电子设备及可读存储介质
Dong et al. A supervised dictionary learning and discriminative weighting model for action recognition
Zerrouki et al. Exploiting deep learning-based LSTM classification for improving hand gesture recognition to enhance visitors’ museum experiences
CN113743388B (zh) 一种面部au关键点检测的方法、装置和电子设备
CN117079313A (zh) 图像处理方法、装置、设备及存储介质
Luo et al. Interactive image segmentation based on samples reconstruction and FLDA

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant