CN112784763B - 基于局部与整体特征自适应融合的表情识别方法及系统 - Google Patents

基于局部与整体特征自适应融合的表情识别方法及系统 Download PDF

Info

Publication number
CN112784763B
CN112784763B CN202110107709.1A CN202110107709A CN112784763B CN 112784763 B CN112784763 B CN 112784763B CN 202110107709 A CN202110107709 A CN 202110107709A CN 112784763 B CN112784763 B CN 112784763B
Authority
CN
China
Prior art keywords
feature
expression
image
module
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110107709.1A
Other languages
English (en)
Other versions
CN112784763A (zh
Inventor
卢官明
张法鹏
卢峻禾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110107709.1A priority Critical patent/CN112784763B/zh
Publication of CN112784763A publication Critical patent/CN112784763A/zh
Application granted granted Critical
Publication of CN112784763B publication Critical patent/CN112784763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明公开了一种基于局部与整体特征自适应融合的表情识别方法及系统。该方法首先获取表情图像集，对表情图像集中的图像进行人脸检测、裁剪和对齐处理；然后构建一种表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层，其中，特征融合模块使用注意力机制学习人脸整体图像及其多个局部区域图像特征的注意力权重，并基于注意力权重自适应选择重要特征进行加权融合；再使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练；最后利用训练好的表情识别模型对新输入的测试图像进行表情分类识别。本发明可自适应地融合来自整个人脸及未被遮挡的重要区域的表情特征，有效解决遮挡和姿态变化环境下的表情识别问题。

Description

基于局部与整体特征自适应融合的表情识别方法及系统
技术领域
本发明涉及一种基于局部与整体特征自适应融合的表情识别方法及系统，属于计算机视觉和模式识别领域。
背景技术
人脸表情是人际交往中信息传递的重要途径，在察觉说话人情绪、领悟言语含义和捕捉情感细节上起到非常重要的作用。据心理学家Mehrabiadu的研究表明，在人类的日常交流中，通过人脸表情传递的信息高达信息总量的55％。随着信息技术和计算机科学的快速发展，人们对机器的“智能”也提出了更高的要求，人脸表情识别作为情感计算的一个研究方向，是实现人机交互的基础，在人工智能领域扮演了重要的角色，在疲劳驾驶检测、服务机器人、医疗监控、虚拟现实等领域有着广阔的应用前景。
在过去十年里，研究人员大多集中于研究受控环境(实验室环境)下的表情识别，针对背景简单、无遮挡、姿态端正、无光照变化的人脸图像，采用基于深度学习的表情识别方法取得了突破性的进展。然而，在真实环境(非受控环境)下，由于存在背景复杂、遮挡、头部姿态多变、光照变化等因素，给人脸表情识别带来了巨大挑战，如何提高人脸表情识别准确率、增强表情识别方法对各种外部干扰的鲁棒性和面对环境变化的适应性是亟待解决的关键问题。
中国专利申请“一种基于AU共生关系约束的自然场景下的面部表情识别方法”(专利申请号CN201811263258.5，公开号CN109492557A)，先将人脸表情图像进行特征点定位并且根据人脸特征点分割出人脸运动单元(AU)，根据AU当作训练数据训练网络得到分类结果，并且利用AU间共生关系调整识别损失。该方法使用AU作为训练数据进行训练，但是在人脸被遮挡或者姿势变化角度较大的时候，会有一些AU无法进行提取或者提取错误，对模型的识别率造成负面影响。
中国专利申请“一种人脸表情识别方法、装置及设备”(专利申请号CN201910389191.8，公开号CN110110672A)，该方法认为每个人脸分区均具有以所述人脸区域的纵向中心线为对称线互相对称的另一人脸分区，首先基于特征点匹配算法确定包含被遮挡区域的人脸分区，然后利用与被遮挡区域的人脸分区互相对称的人脸分区进行水平镜像得到的图像替换被遮挡区域的人脸分区，最后对所述人脸区域进行表情识别。该方法使用镜像对称的方法替换原被遮挡的区域，但是当有些特定表情，比如轻蔑表情一般会出现单侧嘴角的上扬，而另一侧没有变化，这样进行镜像对称可能就变成双侧嘴角上扬，从而影响模型的泛化性能。
发明内容
发明目的：针对真实场景下表情识别模型存在识别准确率低、鲁棒性差等问题，本发明的目的是提供一种基于局部与整体特征自适应融合的表情识别方法及系统，使用注意力机制学习人脸整体图像及其多个局部区域图像特征的注意力权重，然后对权重较大的重要特征进行加权融合，自适应地融合来自整个人脸及未被遮挡的重要区域的表情特征，抑制或排除遮挡和不相关区域对表情识别带来的不利影响，有效解决遮挡和姿态变化环境下的表情识别问题。
技术方案：本发明为实现上述发明目的采用以下技术方案：
一种基于局部与整体特征自适应融合的表情识别方法，包含以下步骤：
(1)获取包含类别标签的表情图像集；
(2)对表情图像集中的图像进行人脸检测、裁剪和对齐处理；
(3)构建表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层；
所述数据处理模块，使用滑动的采样窗口对输入的人脸整体图像进行K次采样，得到K个人脸局部区域图像，并对K个人脸局部区域图像的大小进行归一化，统一调整到与输入的人脸整体图像相同的大小，其中，采样窗口的滑动步长是固定或随机的，采样窗口的大小介于人脸整体图像大小的1/4到3/4之间，K的取值介于4到16之间的整数；
所述特征提取模块，用于提取人脸整体图像及其K个人脸局部区域图像的特征向量，该模块包含(K+1)个相同结构的特征提取单元，人脸整体图像及其K个人脸局部区域图像并行输入到(K+1)个特征提取单元中，同时提取到(K+1)个特征向量；
所述特征融合模块，用于将特征提取模块输出的(K+1)个特征向量根据注意力权重自适应融合，该模块包括注意力机制模块、特征选择单元和累加器，其中注意力机制模块用于确定(K+1)个特征向量的注意力权重；特征选择单元用于筛选保留权重较大的重要特征向量；累加器用于将保留的重要特征向量进行加权融合，得到融合特征向量；
所述分类层，用于对特征融合模块输出的表情特征向量进行分类识别，得到表情类别；
(4)使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练，通过误差反向传播算法调整表情识别模型的参数至最优；
(5)利用训练好的表情识别模型对新输入的测试图像进行表情分类识别。
进一步地，所述步骤(4)中的训练过程，包括以下子步骤：
(4.1)将预处理后的人脸整体图像输入到表情识别模型的数据处理模块，得到K个大小归一化后的人脸局部区域图像；
(4.2)将人脸整体图像及其K个人脸局部区域图像并行输入到特征提取模块的(K+1)个特征提取单元中，分别输出(K+1)个特征向量；
(4.3)在每轮训练中，调整注意力机制模块的参数，计算出(K+1)个特征向量的注意力权重；特征选择单元以人脸整体图像特征向量的注意力权重作为设定阈值，保留注意力权重大于或等于设定阈值的特征向量，剔除注意力权重小于设定阈值的特征向量；累加器将注意力权重大于或等于设定阈值的特征向量进行加权融合，输出融合特征向量；
(4.4)分类层对特征融合模块输出的融合特征向量进行分类，分类层损失函数是在交叉熵损失函数的基础上加入基于注意力权重的约束项，通过误差反向传播算法调整表情识别模型的参数，使用表情图像集中的图像作为训练样本，不断迭代训练过程直至模型参数达到最优。
进一步地，所述步骤(4.3)包括以下子步骤：
(4.3.1)将人脸整体图像的特征向量表示为F0，将第k个人脸局部区域图像的特征向量表示为Fk，其中k＝1，2，…，K，运用注意力机制得到第j个特征向量Fj的注意力权重为：
μj＝σ(Fj·q0)
其中，q0为查询向量，σ(·)为Sigmoid函数，j＝0，1，2，…，K；
(4.3.2)在每轮训练中，设训练得到人脸整体图像特征向量的注意力权重为μ0，特征选择单元以μ0作为设定阈值，将第k个人脸局部区域图像特征向量的注意力权重μk与μ0进行比较，如果μk大于或等于μ0，则特征选择单元保留相应的特征向量Fk参与后续的特征融合；如果μk小于μ0，则特征选择单元剔除相应的特征向量Fk，令μk＝0，Fk不参与后续的特征融合；
(4.3.3)设所有大于或等于μ0的注意力权重的集合为：
{μm|μm≥μ0，0≤m≤K}
定义
Figure BDA0002918124460000045
为所有大于或等于μ0的注意力权重的均值，即
Figure BDA0002918124460000041
将注意力权重大于或等于μ0的所有特征向量进行加权融合，得到融合特征向量F为：
Figure BDA0002918124460000042
其中0≤m≤K。
进一步地，所述步骤(4.4)中分类层损失函数的定义为：
Figure BDA0002918124460000043
其中，第一项为交叉熵损失函数，c为表情类别标签，c∈[1，n]，n为表情类别总数，qc表示训练样本属于第c类表情的真实概率，pc表示训练样本被预测为第c类表情的预测概率；第二项为基于注意力权重的约束项，用于强制表情识别模型更加关注未被遮挡且比人脸整体图像更有鉴别力的人脸局部区域图像的特征，μ0为人脸整体图像特征向量的注意力权重，
Figure BDA0002918124460000044
为所有大于或等于μ0的注意力权重的均值，β为人为设定的超参数，在0.02至0.2之间取值。
基于相同的发明构思，本发明提供的一种基于局部与整体特征自适应融合的表情识别系统，包括：
预处理模块，用于获取包含类别标签的表情图像集，对表情图像集中的图像进行人脸检测、裁剪和对齐处理；
网络模型构建模块，用于构建表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层；
所述数据处理模块，使用滑动的采样窗口对输入的人脸整体图像进行K次采样，得到K个人脸局部区域图像，并对K个人脸局部区域图像的大小进行归一化，统一调整到与输入的人脸整体图像相同的大小，其中，采样窗口的滑动步长是固定或随机的，采样窗口的大小介于人脸整体图像大小的1/4到3/4之间，K的取值介于4到16之间的整数；
所述特征提取模块，用于提取人脸整体图像及其K个人脸局部区域图像的特征向量，该模块包含(K+1)个相同结构的特征提取单元，人脸整体图像及其K个人脸局部区域图像并行输入到(K+1)个特征提取单元中，同时提取到(K+1)个特征向量；
所述特征融合模块，用于将特征提取模块输出的(K+1)个特征向量根据注意力权重自适应融合，该模块包括注意力机制模块、特征选择单元和累加器，其中注意力机制模块用于确定(K+1)个特征向量的注意力权重；特征选择单元用于筛选保留权重较大的重要特征向量；累加器用于将保留的重要特征向量进行加权融合，得到融合特征向量；
所述分类层，用于对特征融合模块输出的表情特征向量进行分类识别，得到表情类别；
网络训练模块，用于使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练，通过误差反向传播算法调整表情识别模型的参数至最优；
以及，表情识别模块，用于利用训练好的表情识别模型对新输入的测试图像进行表情分类识别。
基于相同的发明构思，本发明提供的一种基于局部与整体特征自适应融合的表情识别系统，包括至少一台计算设备，所述计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的一种基于局部与整体特征自适应融合的表情识别方法。
有益效果：与现有技术相比，本发明具有以下技术效果：
(1)在真实环境(非受控环境)下，人脸时常会被遮挡或发生姿态变化，会产生不可见的人脸区域，这对表情识别带来巨大挑战。现有的方法尝试首先检测出遮挡区域然后再删除遮挡区域的特征来解决有遮挡的人脸表情识别问题，然而删除遮挡区域的办法是不切实际的，因为在真实场景下遮挡区域本身就比较难以被检测出来。而本发明使用滑动的采样窗口对输入的人脸整体图像进行若干次采样，得到若干个人脸局部区域图像，而在采样得到的若干个人脸局部区域图像中，极有可能包含未被遮挡的人脸重要区域图像，而利用这些重要区域图像会比只使用被遮挡的人脸整体图像更有利于表情识别，可以抑制或排除遮挡和不相关区域对表情识别带来的不利影响，能有效解决遮挡和姿态变化环境下的表情识别问题。
(2)本发明提供的局部与整体特征自适应融合方法不同于其他方法，本发明首先运用注意力机制学习人脸整体图像特征向量和局部区域图像特征向量的注意力权重，然后以人脸整体图像特征向量的注意力权重作为设定阈值，保留注意力权重大于或等于设定阈值的特征向量，更加关注那些未被遮挡的人脸重要区域图像所起的关键作用，剔除注意力权重小于设定阈值的特征向量，并令其注意力权重为0，不让其参与后续的特征融合，自适应地融合来自整个人脸及未被遮挡的重要区域的表情特征，从而有效地抑制或排除了遮挡和不相关区域对表情识别带来的不利影响。而一般的局部与整体特征融合方法首先将人脸整体图像分割成眼睛、嘴巴、鼻子等部件，然后再分别提取眼睛、嘴巴、鼻子等局部区域及人脸整体图像的特征，并对它们进行特征融合。然而，这些方法的难点在于无法精确地分割出眼睛、嘴巴、鼻子等部件，尤其在真实场景下被遮挡或有姿态偏转的眼睛、嘴巴、鼻子难以被检测出来。
(3)本发明使用滑动的采样窗口对输入的人脸整体图像进行若干次采样，得到若干个人脸局部区域图像，还有两个辅助的作用：一方面，采样得到的若干个人脸局部区域图像对样本数量的扩充有一定的积极作用，起到了数据扩增的效果；另一方面，将采样得到的人脸局部区域图像放大到跟人脸整体图像相同的大小，可以增强表情识别模型对图像尺度的鲁棒性。
(4)本发明在表情识别模型分类层定义的损失函数是在交叉熵损失函数的基础上加入了基于注意力权重的约束项，可强制表情识别模型更加关注未被遮挡且比人脸整体图像更有鉴别力的人脸局部区域图像的特征，能够有效提升表情识别的准确率和鲁棒性。
附图说明
图1是本发明实施例的方法流程图。
图2是本发明实施例中构建的表情识别模型结构图。
图3是图2中的数据处理模块结构图。
图4是图2中的特征提取模块结构图。
图5是图2中的特征融合模块结构图。
具体实施方式
下面将结合附图和优选实施例，对本发明的技术方案进行清楚、完整地描述。
如图1所示，本发明实施例公开的一种基于局部与整体特征自适应融合的表情识别方法，主要包含以下步骤：
步骤1：获取包含类别标签的表情图像集。在本实施例中，采用非受控环境下的人脸表情图像集SFEW2.0中的人脸图像作为训练样本。SFEW(Static Facial Expressions inthe Wild)图像集上的人脸图像选自AFEW(Acted Facial Expressions in the Wild)视频集上的单帧图像。AFEW视频集自2013年起作为EmotiW(Emotion Recognition In TheWild)竞赛的官方数据集，其样本采集自不同电影素材中具有自发表情人物的画面。SFEW是通过基于面部点聚类计算关键帧从AFEW视频集中选择静态帧图像而创建的，与传统的实验室条件下采集的人脸表情图像集相比，SFEW图像集图像更贴近实际的自然场景，相当于是在不受限制的自然环境下拍摄的人脸图像，因此不同的头部姿态、不同的年龄段、各种现实中的遮挡、分辨率和光照变化都在该数据集上得到充分的体现。SFEW2.0图像集包含1766幅720×576像素的人脸表情图像，已被划分为训练集(958个样本)、验证集(436个样本)和测试集(372个样本)三个子集。每幅人脸图像都标注了7种表情中的一种：愤怒、厌恶、恐惧、中性、高兴、悲伤和惊讶。由于测试集用于竞赛，其标签是不公开的，所以，本实施例采用SFEW2.0图像集的训练集和验证集的1394个样本作为训练样本。
步骤2：对表情图像集中的图像进行人脸检测、裁剪和对齐处理。在本实施例中，采用dilb工具包对表情图像集中的图像进行人脸检测、裁剪和对齐处理：
(1)使用Python导入dilb工具包，读取图像，运用dilb对每次读取的图像进行人脸检测；
(2)将检测到的人脸部分裁剪出来，剔除复杂的背景；
(3)将裁剪好的图像用dilb打点工具进行人脸关键点标记，计算两眼连线与水平线的夹角，然后根据此夹角将图像旋转至水平。
步骤3：构建如图2所示的表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层。
数据处理模块的结构如图3所示，使用滑动的采样窗口对输入的人脸整体图像进行K次采样，得到K个人脸局部区域图像，并对K个人脸局部区域图像的大小进行归一化，统一调整到与输入的人脸整体图像相同的大小，其中，采样窗口的滑动步长可以是固定或随机的，采样窗口的大小介于人脸整体图像大小的1/4到3/4之间，K的取值介于4到16之间的整数。在本实施例中，K的取值为9，采样窗口的大小为人脸整体图像大小的3/4。
特征提取模块的结构如图4所示，用于提取人脸整体图像及其K个人脸局部区域图像的特征向量，该模块包含(K+1)个相同结构的特征提取单元，人脸整体图像及其K个人脸局部区域图像并行输入到这(K+1)个特征提取单元中，可同时提取到(K+1)个特征向量。在本实施例中，特征提取模块模块包含10个相同结构的特征提取单元，人脸整体图像及其9个人脸局部区域图像并行输入到10个相同结构的特征提取单元中，同时提取到10个特征向量。作为优选，在本实施例中，采用预训练好的VGG-16基础网络作为特征提取单元，由5个卷积层、池化层以及一个全连接层构成，输出1个512维的特征向量。
特征融合模块，用于将特征提取模块输出的10个特征向量进行融合，该模块包括1个注意力模块，1个特征选择单元和1个累加器，其中注意力机制模块的参数是可训练的，用于确定10个特征向量的注意力权重；特征选择单元以人脸整体图像特征向量的注意力权重作为设定阈值，保留注意力权重大于等于设定阈值的特征向量，剔除注意力权重小于设定阈值的特征向量；累加器用于将注意力权重大于等于设定阈值的特征向量进行加权融合，得到融合特征向量；
分类层，用于对特征融合模块输出的表情特征向量进行分类识别，得到表情类别；
步骤4：使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练，通过误差反向传播算法调整表情识别模型的参数至最优，训练过程包含以下子步骤：
(4.1)将预处理后的人脸整体图像输入到表情识别模型的数据处理模块，该模块使用滑动的采样窗口对输入的人脸整体图像进行9次采样，得到9个人脸局部区域图像，并对9个人脸局部区域图像的大小进行归一化，统一调整到与输入的人脸整体图像相同的大小，其中，采样窗口的滑动步长可以是固定或随机的，采样窗口的大小为人脸整体图像大小的3/4。
(4.2)将人脸整体图像及其9个人脸局部区域图像并行输入到特征提取模块的10个特征提取单元中，分别输出10个特征向量。作为优选，在本实施例中，采用预训练好的VGG-16基础网络作为特征提取单元，每个特征提取单元输出1个512维的特征向量。
(4.3)在每轮训练中，调整注意力机制模块的参数，计算出10个特征向量的注意力权重；特征选择单元以人脸整体图像特征向量的注意力权重作为设定阈值，保留注意力权重大于或等于设定阈值的特征向量，剔除注意力权重小于设定阈值的特征向量；累加器将注意力权重大于或等于设定阈值的特征向量进行加权融合，输出融合特征向量；每轮训练中的特征融合包括以下子步骤：
(4.3.1)将人脸整体图像的特征向量表示为F0，将第k个人脸局部区域图像的特征向量表示为Fk，其中k＝1，2，…，9，运用注意力机制得到第j个特征向量Fj的注意力权重为：
μj＝σ(Fj·q0)
其中，q0为查询向量，σ(·)为Sigmoid函数，j＝0，1，2，…，9；
(4.3.2)在每轮训练中，设训练得到人脸整体图像特征向量的注意力权重为μ0，特征选择单元以μ0作为设定阈值，将第k个人脸局部区域图像特征向量的注意力权重μk与μ0进行比较，如果μk大于或等于μ0，则特征选择单元保留相应的特征向量Fk参与后续的特征融合；如果μk小于μ0，则特征选择单元剔除相应的特征向量Fk，令μk＝0，Fk不参与后续的特征融合；
(4.3.3)设所有大于或等于μ0的注意力权重的集合为：
{μm|μm≥μ0，0≤m≤9}
定义
Figure BDA0002918124460000091
为所有大于或等于μ0的注意力权重的均值，即
Figure BDA0002918124460000101
将注意力权重大于或等于μ0的所有特征向量进行加权融合，得到融合特征向量F为：
Figure BDA0002918124460000102
其中0≤m≤9。
(4.4)分类层对特征融合模块输出的融合特征向量进行分类，分类层损失函数是在交叉熵损失函数的基础上加入基于注意力权重的约束项，通过误差反向传播算法调整表情识别模型的参数，使用表情图像集中的图像作为训练样本，不断迭代训练过程直至模型参数达到最优。分类层损失函数的定义为：
Figure BDA0002918124460000103
其中，第一项为交叉熵损失函数，c为表情类别标签，c∈[1，7]，qc表示训练样本属于第c类表情的真实概率，pc表示训练样本被预测为第c类表情的预测概率；第二项为基于注意力权重的约束项，用于强制表情识别模型更加关注未被遮挡且比人脸整体图像更有鉴别力的人脸局部区域图像的特征，μ0为人脸整体图像特征向量的注意力权重，
Figure BDA0002918124460000104
为所有大于或等于μ0的注意力权重的均值，β为人为设定的超参数，可在0.02至0.2之间取值，在本实施例中令β＝0.05。
步骤5：利用训练好的表情识别模型对新输入的测试图像进行表情分类识别。
基于相同的发明构思，本发明实施例提供的一种基于局部与整体特征自适应融合的表情识别系统，包括：预处理模块，用于获取包含类别标签的表情图像集，对表情图像集中的图像进行人脸检测、裁剪和对齐处理；网络模型构建模块，用于构建表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层；具体模块各模块的结构和功能参考上述方法实施例；网络训练模块，用于使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练，通过误差反向传播算法调整表情识别模型的参数至最优；以及，表情识别模块，用于利用训练好的表情识别模型对新输入的测试图像进行表情分类识别。
基于相同的发明构思，本发明实施例提供的一种基于局部与整体特征自适应融合的表情识别系统，包括至少一台计算设备，该计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现上述的一种基于局部与整体特征自适应融合的表情识别方法。

Claims (5)

1.一种基于局部与整体特征自适应融合的表情识别方法，其特征在于，该方法包含以下步骤：
(1)获取包含类别标签的表情图像集；
(2)对表情图像集中的图像进行人脸检测、裁剪和对齐处理；
(3)构建表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层；
所述数据处理模块，使用滑动的采样窗口对输入的人脸整体图像进行K次采样，得到K个人脸局部区域图像，并对K个人脸局部区域图像的大小进行归一化，统一调整到与输入的人脸整体图像相同的大小，其中，采样窗口的滑动步长是固定或随机的，采样窗口的大小介于人脸整体图像大小的1/4到3/4之间，K的取值介于4到16之间的整数；
所述特征提取模块，用于提取人脸整体图像及其K个人脸局部区域图像的特征向量，该模块包含(K+1)个相同结构的特征提取单元，人脸整体图像及其K个人脸局部区域图像并行输入到(K+1)个特征提取单元中，同时提取到(K+1)个特征向量；
所述特征融合模块，用于将特征提取模块输出的(K+1)个特征向量根据注意力权重自适应融合，该模块包括注意力机制模块、特征选择单元和累加器，其中注意力机制模块用于确定(K+1)个特征向量的注意力权重；特征选择单元用于筛选保留权重较大的重要特征向量；累加器用于将保留的重要特征向量进行加权融合，得到融合特征向量；
所述分类层，用于对特征融合模块输出的表情特征向量进行分类识别，得到表情类别；
(4)使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练，通过误差反向传播算法调整表情识别模型的参数至最优；
(5)利用训练好的表情识别模型对新输入的测试图像进行表情分类识别；
所述步骤(4)中的训练过程，包括以下子步骤：
(4.1)将预处理后的人脸整体图像输入到表情识别模型的数据处理模块，得到K个大小归一化后的人脸局部区域图像；
(4.2)将人脸整体图像及其K个人脸局部区域图像并行输入到特征提取模块的(K+1)个特征提取单元中，分别输出(K+1)个特征向量；
(4.3)在每轮训练中，调整注意力机制模块的参数，计算出(K+1)个特征向量的注意力权重；特征选择单元以人脸整体图像特征向量的注意力权重作为设定阈值，保留注意力权重大于或等于设定阈值的特征向量，剔除注意力权重小于设定阈值的特征向量；累加器将注意力权重大于或等于设定阈值的特征向量进行加权融合，输出融合特征向量；
(4.4)分类层对特征融合模块输出的融合特征向量进行分类，分类层损失函数是在交叉熵损失函数的基础上加入基于注意力权重的约束项，通过误差反向传播算法调整表情识别模型的参数，使用表情图像集中的图像作为训练样本，不断迭代训练过程直至模型参数达到最优。
2.根据权利要求1所述的基于局部与整体特征自适应融合的表情识别方法，其特征在于，所述步骤(4.3)包括以下子步骤：
(4.3.1)将人脸整体图像的特征向量表示为F0，将第k个人脸局部区域图像的特征向量表示为Fk，其中k＝1，2，…，K，运用注意力机制得到第j个特征向量Fj的注意力权重为：
μj＝σ(Fj·q0)
其中，q0为查询向量，σ(·)为Sigmoid函数，j＝0，1，2，…，K；
(4.3.2)在每轮训练中，设训练得到人脸整体图像特征向量的注意力权重为μ0，特征选择单元以μ0作为设定阈值，将第k个人脸局部区域图像特征向量的注意力权重μk与μ0进行比较，如果μk大于或等于μ0，则特征选择单元保留相应的特征向量Fk参与后续的特征融合；如果μk小于μ0，则特征选择单元剔除相应的特征向量Fk，令μk＝0，Fk不参与后续的特征融合；
(4.3.3)设所有大于或等于μ0的注意力权重的集合为：
{μm|μm≥μ0，0≤m≤K}
定义
Figure FDA0003684111700000031
为所有大于或等于μ0的注意力权重的均值，即
Figure FDA0003684111700000032
将注意力权重大于或等于μ0的所有特征向量进行加权融合，得到融合特征向量F为：
Figure FDA0003684111700000033
其中0≤m≤K。
3.根据权利要求1所述的基于局部与整体特征自适应融合的表情识别方法，其特征在于，所述步骤(4.4)中分类层损失函数的定义为：
Figure FDA0003684111700000034
其中，第一项为交叉熵损失函数，c为表情类别标签，c∈[1，n]，n为表情类别总数，qc表示训练样本属于第c类表情的真实概率，pc表示训练样本被预测为第c类表情的预测概率；第二项为基于注意力权重的约束项，用于强制表情识别模型更加关注未被遮挡且比人脸整体图像更有鉴别力的人脸局部区域图像的特征，μ0为人脸整体图像特征向量的注意力权重，
Figure FDA0003684111700000035
为所有大于或等于μ0的注意力权重的均值，β为人为设定的超参数，在0.02至0.2之间取值。
4.一种基于局部与整体特征自适应融合的表情识别系统，其特征在于，包括：
预处理模块，用于获取包含类别标签的表情图像集，对表情图像集中的图像进行人脸检测、裁剪和对齐处理；
网络模型构建模块，用于构建表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层；
所述数据处理模块，使用滑动的采样窗口对输入的人脸整体图像进行K次采样，得到K个人脸局部区域图像，并对K个人脸局部区域图像的大小进行归一化，统一调整到与输入的人脸整体图像相同的大小，其中，采样窗口的滑动步长是固定或随机的，采样窗口的大小介于人脸整体图像大小的1/4到3/4之间，K的取值介于4到16之间的整数；
所述特征提取模块，用于提取人脸整体图像及其K个人脸局部区域图像的特征向量，该模块包含(K+1)个相同结构的特征提取单元，人脸整体图像及其K个人脸局部区域图像并行输入到(K+1)个特征提取单元中，同时提取到(K+1)个特征向量；
所述特征融合模块，用于将特征提取模块输出的(K+1)个特征向量根据注意力权重自适应融合，该模块包括注意力机制模块、特征选择单元和累加器，其中注意力机制模块用于确定(K+1)个特征向量的注意力权重；特征选择单元用于筛选保留权重较大的重要特征向量；累加器用于将保留的重要特征向量进行加权融合，得到融合特征向量；
所述分类层，用于对特征融合模块输出的表情特征向量进行分类识别，得到表情类别；
网络训练模块，用于使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练，通过误差反向传播算法调整表情识别模型的参数至最优；所述网络训练模块的训练过程，包括：将预处理后的人脸整体图像输入到表情识别模型的数据处理模块，得到K个大小归一化后的人脸局部区域图像；将人脸整体图像及其K个人脸局部区域图像并行输入到特征提取模块的(K+1)个特征提取单元中，分别输出(K+1)个特征向量；在每轮训练中，调整注意力机制模块的参数，计算出(K+1)个特征向量的注意力权重；特征选择单元以人脸整体图像特征向量的注意力权重作为设定阈值，保留注意力权重大于或等于设定阈值的特征向量，剔除注意力权重小于设定阈值的特征向量；累加器将注意力权重大于或等于设定阈值的特征向量进行加权融合，输出融合特征向量；分类层对特征融合模块输出的融合特征向量进行分类，分类层损失函数是在交叉熵损失函数的基础上加入基于注意力权重的约束项，通过误差反向传播算法调整表情识别模型的参数，使用表情图像集中的图像作为训练样本，不断迭代训练过程直至模型参数达到最优；
以及，表情识别模块，用于利用训练好的表情识别模型对新输入的测试图像进行表情分类识别。
5.一种计算机系统，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现根据权利要求1-3任一项所述的一种基于局部与整体特征自适应融合的表情识别方法。
CN202110107709.1A 2021-01-27 2021-01-27 基于局部与整体特征自适应融合的表情识别方法及系统 Active CN112784763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110107709.1A CN112784763B (zh) 2021-01-27 2021-01-27 基于局部与整体特征自适应融合的表情识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110107709.1A CN112784763B (zh) 2021-01-27 2021-01-27 基于局部与整体特征自适应融合的表情识别方法及系统

Publications (2)

Publication Number Publication Date
CN112784763A CN112784763A (zh) 2021-05-11
CN112784763B true CN112784763B (zh) 2022-07-29

Family

ID=75757947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110107709.1A Active CN112784763B (zh) 2021-01-27 2021-01-27 基于局部与整体特征自适应融合的表情识别方法及系统

Country Status (1)

Country Link
CN (1) CN112784763B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221922B (zh) * 2021-05-31 2023-02-03 深圳市商汤科技有限公司 图像处理方法及相关装置
CN113392766A (zh) * 2021-06-16 2021-09-14 哈尔滨理工大学 一种基于注意力机制的人脸表情识别方法
CN113705328A (zh) * 2021-07-06 2021-11-26 合肥工业大学 基于面部特征点与面部运动单元的抑郁检测方法和系统
CN114821699B (zh) * 2022-03-02 2024-03-08 西北工业大学 一种基于抑制模糊度自训练的人脸表情识别方法
CN114648803B (zh) * 2022-05-20 2022-09-06 中国科学技术大学 自然场景下人脸表情识别方法、系统、设备及存储介质
CN115457643B (zh) * 2022-11-09 2023-04-07 暨南大学 一种基于增量技术和注意力机制的公平人脸表情识别方法
CN115861684B (zh) * 2022-11-18 2024-04-09 百度在线网络技术（北京）有限公司 图像分类模型的训练方法、图像分类方法及装置
CN116740795B (zh) * 2023-08-16 2023-11-24 天津师范大学 基于注意力机制的表情识别方法、模型及模型训练方法
CN116912924B (zh) * 2023-09-12 2024-01-05 深圳须弥云图空间科技有限公司 一种目标图像识别方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492529A (zh) * 2018-10-08 2019-03-19 中国矿业大学 一种多尺度特征提取及全局特征融合的人脸表情识别方法
CN110188615A (zh) * 2019-04-30 2019-08-30 中国科学院计算技术研究所 一种人脸表情识别方法、装置、介质及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492529A (zh) * 2018-10-08 2019-03-19 中国矿业大学 一种多尺度特征提取及全局特征融合的人脸表情识别方法
CN110188615A (zh) * 2019-04-30 2019-08-30 中国科学院计算技术研究所 一种人脸表情识别方法、装置、介质及系统

Also Published As

Publication number Publication date
CN112784763A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN112784763B (zh) 基于局部与整体特征自适应融合的表情识别方法及系统
Mane et al. A survey on supervised convolutional neural network and its major applications
CN106919903B (zh) 一种鲁棒的基于深度学习的连续情绪跟踪方法
Chen et al. Convolution neural network for automatic facial expression recognition
CN112800903B (zh) 一种基于时空图卷积神经网络的动态表情识别方法及系统
CN108427740B (zh) 一种基于深度度量学习的图像情感分类与检索算法
CN109815920A (zh) 基于卷积神经网络和对抗卷积神经网络的手势识别方法
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN109063626A (zh) 动态人脸识别方法和装置
Borgalli et al. Deep learning for facial emotion recognition using custom CNN architecture
CN113780249B (zh) 表情识别模型的处理方法、装置、设备、介质和程序产品
CN113298018A (zh) 基于光流场和脸部肌肉运动的假脸视频检测方法及装置
Yulin et al. Face recognition system based on CNN and LBP features for classifier optimization and fusion
Sumalakshmi et al. Fused deep learning based Facial Expression Recognition of students in online learning mode
De Croon et al. Adaptive gaze control for object detection
CN115862120A (zh) 可分离变分自编码器解耦的面部动作单元识别方法及设备
CN114998966A (zh) 基于特征融合的人脸表情识别方法
CN111553202B (zh) 进行活体检测的神经网络的训练方法、检测方法及装置
Moran Classifying emotion using convolutional neural networks
Srininvas et al. A framework to recognize the sign language system for deaf and dumb using mining techniques
CN108197593A (zh) 基于三点定位方法的多尺寸人脸表情识别方法及装置
Devi et al. Face Emotion Classification using AMSER with Artificial Neural Networks
CN111898473A (zh) 一种基于深度学习的司机状态实时监测方法
Gowda et al. Facial Expression Analysis and Estimation Based on Facial Salient Points and Action Unit (AUs)
Du et al. A novel multilevel stacked SqueezeNet model for handwritten Chinese character recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant