CN112381061B - 一种面部表情识别方法及系统 - Google Patents

一种面部表情识别方法及系统 Download PDF

Info

Publication number
CN112381061B
CN112381061B CN202011409778.XA CN202011409778A CN112381061B CN 112381061 B CN112381061 B CN 112381061B CN 202011409778 A CN202011409778 A CN 202011409778A CN 112381061 B CN112381061 B CN 112381061B
Authority
CN
China
Prior art keywords
face
layer
module
convolution
expression recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011409778.XA
Other languages
English (en)
Other versions
CN112381061A (zh
Inventor
薛健
王聪
吕科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Chinese Academy of Sciences
Original Assignee
University of Chinese Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Chinese Academy of Sciences filed Critical University of Chinese Academy of Sciences
Priority to CN202011409778.XA priority Critical patent/CN112381061B/zh
Publication of CN112381061A publication Critical patent/CN112381061A/zh
Application granted granted Critical
Publication of CN112381061B publication Critical patent/CN112381061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种面部表情识别方法及系统，其包括：采集人脸视频，针对每一帧视频检测是否有人脸区域，有则进入下一步，没有则跳过并进入下一帧图像的处理；在人脸区域内检测出预先设定数量的人脸特征点；基于人脸特征点的坐标位置，计算并裁剪面部区域图像；将裁剪后的面部区域图像进行缩放，输入训练好的轻量化空间注意力模块嵌入的面部表情识别网络模型，获得每个情感类别的预测概率值，概率最大的类别作为表情识别结果并输出。本发明能够识别人类面部7类基本表情和1个中立表情，可在少量注意力模块嵌入的基础上，能够提高非受控环境下面部表情的识别精度；能广泛在计算机视觉技术领域中应用。

Description

一种面部表情识别方法及系统
技术领域
本发明涉及一种计算机视觉技术领域，特别是关于一种基于轻量化空间注意力模块嵌入的面部表情识别方法及系统。
背景技术
情感作为人类在交流沟通过程中传递的一类重要信息，可以帮助我们获得除语言文字内容以外的辅助信息，从而进行更为充分有效的交流。面部表情识别作为近年来情感分析中应用广泛的技术之一，通常采用的步骤是采集面部图像或视频序列，依次进行人脸检测(或跟踪定位)、特征提取，最终完成表情的预测。当前对于实验室可控场景下采集的人脸表情图像可达到比较好的识别效果，例如在CK+数据集上目前多数模型都可达到95％以上的准确率。但是，在实际应用场景下，数据采集环境多种多样，难以像实验室环境下对光照、头部姿态的变化控制在较小范围之内，甚至面部的遮挡也是难以避免的。
发明内容
针对上述问题，本发明的目的是提供一种面部表情识别方法及系统，其能有效解决非受控场景下由于光照不同、姿态差异、遮挡多样化等导致的人脸表情识别准确率不高的问题。
为实现上述目的，本发明采取以下技术方案：一种面部表情识别方法，其包括：步骤S1、采集人脸视频，针对每一帧视频检测是否有人脸区域，有则进入下一步，没有则跳过并进入下一帧图像的处理；步骤S2、在人脸区域内检测出预先设定数量的人脸特征点；步骤S3、基于人脸特征点的坐标位置，计算并裁剪面部区域图像；步骤S4、将裁剪后的面部区域图像进行缩放，输入训练好的轻量化空间注意力模块嵌入的面部表情识别网络模型，获得每个情感类别的预测概率值，概率最大的类别作为表情识别结果并输出。
进一步，所述步骤S2中，预先设定数量为68组人脸特征点。
进一步，所述步骤S1中，人脸检测器采用OpenCV提供的基于ResNet10的深度神经网络进行人脸的检测和定位，首先将提取的视频帧缩放为300*300的尺寸，然后输入到读取的人脸检测网络模型中，输出结果为检测到人脸区域的左上角和右下角坐标，以及相应的置信度，根据置信度确定是否有人脸区域。
进一步，当置信度大于0.4时，则认为该区域内包含人脸图像。
进一步，基于68组人脸特征点的位置坐标计算面部区域范围，包括：
S31、初始化面部的大致范围；
S32、根据左右眼的特征点坐标估算出双眼眼距L，采用该眼距L对面部范围初始值进行修正；
S33、计算修正后的上下范围高度H，并计算初始化大致范围的左右宽度W，将左右范围分别扩充(H-W)/2的距离，如果超出图像范围，则对上下范围进行收缩，确保最终W和H相等，最终裁剪的面部范围为正方形。
进一步，所述步骤S31中，所述大致范围由第1和第17个特征点的x坐标、第9个特征点的y坐标，以及20和25特征点的y坐标中值确定。
进一步，所述步骤S32中，修正方法为：将初始化范围向上扩充L*3/4的距离，向下扩充L*1/2的距离，同时确保不超出采集图像的范围。
进一步，所述步骤S4中，基于轻量化空间注意力模块嵌入的面部表情识别网络模型包含低层特征提取卷积层、四组残差模块、空间注意力模块和分类层；
所述低层特征提取卷积层由一个5*5的卷积层，两个3*3的卷积层和一个3*3的最大池化层组成，其中每个卷积层均由卷积、归一化和Relu激活函数的固定结构组成；
每组所述残差模块都包括2个基本残差结构，每个所述基本残差结构由两个3*3的卷积层、跳连接和一个步长为2的1*1小卷积组成；
所述空间注意力模块具有两种结构SA_a和SA_b，其中SA_a结构嵌入到第1～3组残差模块，SA_b结构嵌入到第4组残差模块；
所述分类层包括一个7*7的全局平均池化层和8维输出的全联接层；表情分类计算出的结果为浮点值，最终的类别通过SoftMax归一化方法对该结果进行处理获得每一类表情的概率值，其中概率最大的表情类别为识别结果。
进一步，所述两种结构SA_a和SA_b对应的注意力图MSA_a和MSA_b分别为：
Figure BDA0002816148010000021
Figure BDA0002816148010000022
其中，AvgPool为通道维度的平均池化；
Figure BDA0002816148010000023
为包括5*5的卷积层，步长为2的maxpooling层，以及一个3*3的卷积层；
Figure BDA0002816148010000024
包含一个7*7的卷积层；σ表示Sigmoid激活函数，Upsample表示上采样；x为上一个残差模块的输出特征图。
一种面部表情识别系统，其包括：采集模块、特征点检测模块、裁剪模块和识别及输出模块；所述采集模块用于采集人脸视频，针对每一帧视频检测是否有人脸区域，有则进入下一步，没有则跳过并进入下一帧图像的处理；所述特征点检测模块在人脸区域内检测出预先设定数量的人脸特征点；所述裁剪模块基于人脸特征点的坐标位置，计算并裁剪面部区域图像；所述识别及输出模块将裁剪后的面部区域图像进行缩放，输入训练好的轻量化空间注意力模块嵌入的面部表情识别网络模型，获得每个情感类别的预测概率值，概率最大的类别作为表情识别结果并输出。
本发明由于采取以上技术方案，其具有以下优点：本发明通过在残差模块之间而不是在残差模块内部嵌入空间注意力模块，少量的注意力模块嵌入可达到比较好的表情识别效果。本发明针对高层级和低层级的特征提取构建了不同的空间注意力模块结构，由于低层级计算的特征图具有更大的尺寸，为增加更多非线性，在构建时加入了降维和升维的处理过程。最终通过嵌入的空间注意力模块可以帮助模型在实际应用场景下提升表情相关区域的特征权重，以达到提高面部表情识别的精度的目的。
附图说明
图1是本发明实施例中识别方法的流程示意图。
图2是本发明实施例中模型训练流程示意图。
图3是本发明实施例中采用的68组人脸特征点位置示意图。
图4是本发明实施例中构建的轻量化空间注意力模块嵌入的面部表情识别模型结构图。
图5是本发明实施例中构建的两种空间注意力模块结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本发明能够识别人类面部7类基本表情和1个中立表情。首先视频中提取每一帧图像，对每帧图像进行人脸检测和定位。接下来将裁剪后的人脸图像输入基于空间注意力模块和残差神经网络构建的面部表情识别网络进行表情的分类。该模型从低到高的神经网络层包括：低层特征提取卷积层、四组残差模块和空间注意力模块、全连接分类层。其中空间注意力模块有两种结构，分别用于低层和高层特征图的注意力加权。该方法可在少量注意力模块嵌入的基础上，能够提高非受控环境下面部表情的识别精度。
在本发明的第一实施方式中，如图1所示，提供一种基于轻量化空间注意力模块嵌入的面部表情识别方法，其包括：
步骤S1、采集人脸视频，针对每一帧视频检测是否有人脸区域，有则进入下一步，没有则跳过并进入下一帧图像的处理；
在本实施例中，可以采用普通RGB摄像进行人脸视频采集；
步骤S2、在人脸区域内检测出预先设定数量的人脸特征点；
在本实施例中，预先设定数量为68组人脸特征点；
步骤S3、基于人脸特征点的坐标位置，计算并裁剪面部区域图像；
步骤S4、将裁剪后的面部区域图像进行缩放，输入训练好的轻量化空间注意力模块嵌入的面部表情识别网络模型，获得每个情感类别的预测概率值，概率最大的类别作为表情识别结果并输出；
在本实施例中，需要将面部区域图像缩放至面部表情识别网络模型要求的尺寸。
上述步骤S1中，人脸检测器采用OpenCV提供的基于ResNet10的深度神经网络进行人脸的检测和定位，首先将提取的视频帧缩放为300*300的尺寸，然后输入到读取的人脸检测网络模型中，输出结果为检测到人脸区域的左上角和右下角坐标，以及相应的置信度(0-1的浮点数)，根据置信度确定是否有人脸区域。在本实施例中，设定当置信度大于0.4时，则认为该区域内包含人脸图像。
上述步骤S2中，采用Dlib提供的人脸特征点检测器进行68组面部特征点的坐标定位。由于一帧图像中可能拍摄到多个人脸，本实施例中仅对检测到的人脸面积最大的区域进行特征点检测和最后的表情识别。
上述步骤S3中，如图3所示，基于68组人脸特征点的位置坐标计算面部区域范围，具体方法包括：
S31、初始化面部的大致范围；
具体的，该大致范围由第1和第17个特征点的x坐标、第9个特征点的y坐标，以及20和25特征点的y坐标中值确定。
S32、根据左右眼的特征点坐标估算出双眼眼距L，采用该眼距L对面部范围初始值进行修正；
具体修正方法为：将初始化范围向上扩充L*3/4的距离，向下扩充L*1/2的距离，同时确保不超出采集图像的范围。
S33、计算修正后的上下范围高度H，并计算初始化大致范围的左右宽度W，将左右范围分别扩充(H-W)/2的距离，如果超出图像范围，则对上下范围进行收缩，确保最终W和H相等，即最终裁剪的面部范围为正方形。
通过上述步骤S31～S33的处理，可以获得较大范围的人脸区域图像信息，有效避免了裁剪人脸范围只包含较小的面部区域，而缺少头部、下巴等其他脸部边缘可能被遮挡的部位。
上述步骤S4中，基于轻量化空间注意力模块嵌入的面部表情识别网络模型包含低层特征提取卷积层、四组残差模块、空间注意力模块和分类层，如图4所示。其中：
低层特征提取卷积层由一个5*5的卷积层(步长为2)，两个3*3的卷积层(步长为1)和一个3*3的最大池化层(步长为2)组成，其中每个卷积层均由卷积、归一化和Relu激活函数的固定结构组成。
每组残差模块都包括2个基本残差结构，每个基本残差结构由两个3*3的卷积层、跳连接和一个步长为2的1*1小卷积组成。
空间注意力模块具有两种结构SA_a和SA_b(如图5所示)，其中SA_a结构嵌入到第1～3组残差模块，SA_b结构嵌入到第4组残差模块，分别用于提取不同层级的空间注意力大小，对计算后的特征图进行注意力加权，帮助模型提高对表情相关区域特征的关注度。
两种结构SA_a和SA_b对应的注意力图MSA_a和MSA_b分别为：
Figure BDA0002816148010000051
Figure BDA0002816148010000052
其中，AvgPool为通道维度的平均池化，即将输入特征图压缩为单通道的二维矩阵；
Figure BDA0002816148010000053
为一系列计算过程，包括5*5的卷积层，步长为2的max pooling层，以及一个3*3的卷积层；
Figure BDA0002816148010000054
仅包含一个7*7的卷积层。σ表示Sigmoid激活函数，Upsample表示上采样。
注意力图MSA_a和MSA_b的不同在于注意力图MSA_a在卷积之后多了一个上采样过程(Upsample)，其目的是恢复输出注意力特征图的空间大小为输入特征图的空间大小。最终获得的注意力掩膜为二维矩阵，具体为：
Figure BDA0002816148010000055
其中，FSA代表空间注意力模块的加权计算过程，MSA代表计算获得的二维空间注意力图，用于对人脸的不同区域进行注意力加权，x为上一个残差模块的输出特征图。
分类层包括一个7*7的全局平均池化层和8维输出的全联接层。表情分类计算出的结果为浮点值，最终的类别通过SoftMax归一化方法对该结果进行处理获得每一类表情的概率值，其中概率最大的表情类别即为识别结果。
上述步骤S4中，如图2所示，基于轻量化空间注意力模块嵌入的面部表情识别网络模型训练采用交叉墒损失函数进行参数优化。用于模型训练的面部表情数据集来自目前规模最大的非实验室条件下采集的人脸表情数据集AffectNet。其中表情标签为7类基本表情和1个中立表情(Neutral)。7类基本表情包括高兴(Happy)、伤心(Sad)、惊讶(Surprise)、恐惧(Fear),恶心(Disgust)、生气(Anger)以及蔑视(Contempt)。最终用于模型训练的训练集包括287651张图片，验证集包括4000张图片。训练结束后可获得相应的模型参数，最后通过输入裁剪并缩放至224*224尺寸后的面部图像，可输出8个表情类别的计算结果。
在本发明的第二实施方式中，提供一种面部表情识别系统，其包括：采集模块、特征点检测模块、裁剪模块和识别及输出模块；
采集模块用于采集人脸视频，针对每一帧视频检测是否有人脸区域，有则进入下一步，没有则跳过并进入下一帧图像的处理；
特征点检测模块在人脸区域内检测出预先设定数量的人脸特征点；
裁剪模块基于人脸特征点的坐标位置，计算并裁剪面部区域图像；
识别及输出模块将裁剪后的面部区域图像进行缩放，输入训练好的轻量化空间注意力模块嵌入的面部表情识别网络模型，获得每个情感类别的预测概率值，概率最大的类别作为表情识别结果并输出。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (8)

1.一种面部表情识别方法，其特征在于，包括：
步骤S1、采集人脸视频，针对每一帧视频检测是否有人脸区域，有则进入下一步，没有则跳过并进入下一帧图像的处理；
步骤S2、在人脸区域内检测出预先设定数量的人脸特征点；
步骤S3、基于人脸特征点的坐标位置，计算并裁剪面部区域图像；
步骤S4、将裁剪后的面部区域图像进行缩放，输入训练好的轻量化空间注意力模块嵌入的面部表情识别网络模型，获得每个情感类别的预测概率值，概率最大的类别作为表情识别结果并输出；
所述步骤S4中，基于轻量化空间注意力模块嵌入的面部表情识别网络模型包含低层特征提取卷积层、四组残差模块、空间注意力模块和分类层；
所述低层特征提取卷积层由一个5*5的卷积层，两个3*3的卷积层和一个3*3的最大池化层组成，其中每个卷积层均由卷积、归一化和Relu激活函数的固定结构组成；
每组所述残差模块都包括2个基本残差结构，每个所述基本残差结构由两个3*3的卷积层、跳连接和一个步长为2的1*1小卷积组成；
所述空间注意力模块具有两种结构SA_a和SA_b，其中SA_a结构嵌入到第1～3组残差模块，SA_b结构嵌入到第4组残差模块；
所述分类层包括一个7*7的全局平均池化层和8维输出的全联接层；表情分类计算出的结果为浮点值，最终的类别通过SoftMax归一化方法对该结果进行处理获得每一类表情的概率值，其中概率最大的表情类别为识别结果；
所述两种结构SA_a和SA_b对应的注意力图MSA_a和MSA_b分别为：
Figure FDA0003630087250000011
Figure FDA0003630087250000012
其中，AvgPool为通道维度的平均池化；
Figure FDA0003630087250000013
为包括5*5的卷积层，步长为2的maxpooling层，以及一个3*3的卷积层；
Figure FDA0003630087250000014
包含一个7*7的卷积层；σ表示Sigmoid激活函数，Upsample表示上采样；x为上一个残差模块的输出特征图。
2.如权利要求1所述识别方法，其特征在于，所述步骤S2中，预先设定数量为68组人脸特征点。
3.如权利要求1所述识别方法，其特征在于，所述步骤S1中，人脸检测器采用OpenCV提供的基于ResNet10的深度神经网络进行人脸的检测和定位，首先将提取的视频帧缩放为300*300的尺寸，然后输入到读取的人脸检测网络模型中，输出结果为检测到人脸区域的左上角和右下角坐标，以及相应的置信度，根据置信度确定是否有人脸区域。
4.如权利要求3所述识别方法，其特征在于，当置信度大于0.4时，则认为该区域内包含人脸图像。
5.如权利要求2所述识别方法，其特征在于，基于68组人脸特征点的位置坐标计算面部区域范围，包括：
S31、初始化面部的大致范围；
S32、根据左右眼的特征点坐标估算出双眼眼距L，采用该眼距L对面部范围初始值进行修正；
S33、计算修正后的上下范围高度H，并计算初始化大致范围的左右宽度W，将左右范围分别扩充(H-W)/2的距离，如果超出图像范围，则对上下范围进行收缩，确保最终W和H相等，最终裁剪的面部范围为正方形。
6.如权利要求5所述识别方法，其特征在于，所述步骤S31中，所述大致范围由第1和第17个特征点的x坐标、第9个特征点的y坐标，以及20和25特征点的y坐标中值确定。
7.如权利要求5所述识别方法，其特征在于，所述步骤S32中，修正方法为：将初始化范围向上扩充L*3/4的距离，向下扩充L*1/2的距离，同时确保不超出采集图像的范围。
8.一种面部表情识别系统，其特征在于，包括：采集模块、特征点检测模块、裁剪模块和识别及输出模块；
所述采集模块用于采集人脸视频，针对每一帧视频检测是否有人脸区域，有则进入下一步，没有则跳过并进入下一帧图像的处理；
所述特征点检测模块在人脸区域内检测出预先设定数量的人脸特征点；
所述裁剪模块基于人脸特征点的坐标位置，计算并裁剪面部区域图像；
所述识别及输出模块将裁剪后的面部区域图像进行缩放，输入训练好的轻量化空间注意力模块嵌入的面部表情识别网络模型，获得每个情感类别的预测概率值，概率最大的类别作为表情识别结果并输出；
所述识别及输出模块中，基于轻量化空间注意力模块嵌入的面部表情识别网络模型包含低层特征提取卷积层、四组残差模块、空间注意力模块和分类层；
所述低层特征提取卷积层由一个5*5的卷积层，两个3*3的卷积层和一个3*3的最大池化层组成，其中每个卷积层均由卷积、归一化和Relu激活函数的固定结构组成；
每组所述残差模块都包括2个基本残差结构，每个所述基本残差结构由两个3*3的卷积层、跳连接和一个步长为2的1*1小卷积组成；
所述空间注意力模块具有两种结构SA_a和SA_b，其中SA_a结构嵌入到第1～3组残差模块，SA_b结构嵌入到第4组残差模块；
所述分类层包括一个7*7的全局平均池化层和8维输出的全联接层；表情分类计算出的结果为浮点值，最终的类别通过SoftMax归一化方法对该结果进行处理获得每一类表情的概率值，其中概率最大的表情类别为识别结果；
所述两种结构SA_a和SA_b对应的注意力图MSA_a和MSA_b分别为：
Figure FDA0003630087250000031
Figure FDA0003630087250000032
其中，AvgPool为通道维度的平均池化；
Figure FDA0003630087250000033
为包括5*5的卷积层，步长为2的maxpooling层，以及一个3*3的卷积层；
Figure FDA0003630087250000034
包含一个7*7的卷积层；σ表示Sigmoid激活函数，Upsample表示上采样；x为上一个残差模块的输出特征图。
CN202011409778.XA 2020-12-04 2020-12-04 一种面部表情识别方法及系统 Active CN112381061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011409778.XA CN112381061B (zh) 2020-12-04 2020-12-04 一种面部表情识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011409778.XA CN112381061B (zh) 2020-12-04 2020-12-04 一种面部表情识别方法及系统

Publications (2)

Publication Number Publication Date
CN112381061A CN112381061A (zh) 2021-02-19
CN112381061B true CN112381061B (zh) 2022-07-12

Family

ID=74590556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011409778.XA Active CN112381061B (zh) 2020-12-04 2020-12-04 一种面部表情识别方法及系统

Country Status (1)

Country Link
CN (1) CN112381061B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052064B (zh) * 2021-03-23 2024-04-02 北京思图场景数据科技服务有限公司 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法
CN113723165B (zh) * 2021-03-25 2022-06-07 山东大学 基于深度学习的待检测人员危险表情检测方法及系统
CN113743379B (zh) * 2021-11-03 2022-07-12 杭州魔点科技有限公司 一种多模态特征的轻量活体识别方法、系统、装置和介质
CN114918935B (zh) * 2022-05-17 2024-04-02 上海理工大学 基于网络推理与电机驱动的表情识别与模拟系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291670A (zh) * 2020-01-23 2020-06-16 天津大学 基于注意力机制和网络集成的小目标人脸表情识别方法
CN111563417A (zh) * 2020-04-13 2020-08-21 华南理工大学 一种基于金字塔结构卷积神经网络的人脸表情识别方法
CN111652236A (zh) * 2020-04-21 2020-09-11 东南大学 弱监督场景下跨层特征交互的轻量级细粒度图像识别方法
CN111797683A (zh) * 2020-05-21 2020-10-20 台州学院 一种基于深度残差注意力网络的视频表情识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291670A (zh) * 2020-01-23 2020-06-16 天津大学 基于注意力机制和网络集成的小目标人脸表情识别方法
CN111563417A (zh) * 2020-04-13 2020-08-21 华南理工大学 一种基于金字塔结构卷积神经网络的人脸表情识别方法
CN111652236A (zh) * 2020-04-21 2020-09-11 东南大学 弱监督场景下跨层特征交互的轻量级细粒度图像识别方法
CN111797683A (zh) * 2020-05-21 2020-10-20 台州学院 一种基于深度残差注意力网络的视频表情识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《Can Positive Emotion Benefit to Leader-Member Exchange? The Role of Leader Identification》;Chongrui Liu et al.;《IEEE Xplore》;20200901;全文 *
基于注意力机制的卷积神经网络人脸表情识别;亢洁等;《陕西科技大学学报》;20200728(第04期);全文 *
基于混合注意力机制的表情识别研究;高健等;《信息技术与网络安全》;20200110(第01期);全文 *
深度残差网络和LSTM结合的图像序列表情识别;马玉环等;《重庆邮电大学学报(自然科学版)》;20201015(第05期);全文 *

Also Published As

Publication number Publication date
CN112381061A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN112381061B (zh) 一种面部表情识别方法及系统
CN110738101B (zh) 行为识别方法、装置及计算机可读存储介质
CN110532984B (zh) 关键点检测方法、手势识别方法、装置及系统
CN111160269A (zh) 一种人脸关键点检测方法及装置
CN111274977B (zh) 多任务卷积神经网络模型及使用方法、装置和存储介质
EP2864933B1 (en) Method, apparatus and computer program product for human-face features extraction
CN108304820B (zh) 一种人脸检测方法、装置及终端设备
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN108121931B (zh) 二维码数据处理方法、装置及移动终端
CN111199230B (zh) 目标检测的方法、装置、电子设备及计算机可读存储介质
CN112270249A (zh) 一种融合rgb-d视觉特征的目标位姿估计方法
CN112633144A (zh) 人脸遮挡检测方法、系统、设备及存储介质
CN104866805B (zh) 人脸实时跟踪的方法和装置
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN112614136A (zh) 一种红外小目标实时实例分割方法及装置
CN112800955A (zh) 基于加权双向特征金字塔的遥感影像旋转目标检测方法及系统
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN112949440A (zh) 一种提取行人的步态特征的方法、步态识别方法及系统
CN111951283A (zh) 一种基于深度学习的医学图像识别方法及系统
CN113591763A (zh) 人脸脸型的分类识别方法、装置、存储介质及计算机设备
CN111723688B (zh) 人体动作识别结果的评价方法、装置和电子设备
CN110598647B (zh) 一种基于图像识别的头部姿态识别方法
JP7414902B2 (ja) 顔生体検出方法、装置、電子機器及び記憶媒体
CN112084874B (zh) 一种物体检测方法、装置及终端设备
CN112949498B (zh) 一种基于异构卷积神经网络的目标关键点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant