CN110263673B - 面部表情识别方法、装置、计算机设备及存储介质 - Google Patents

面部表情识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110263673B
CN110263673B CN201910469723.9A CN201910469723A CN110263673B CN 110263673 B CN110263673 B CN 110263673B CN 201910469723 A CN201910469723 A CN 201910469723A CN 110263673 B CN110263673 B CN 110263673B
Authority
CN
China
Prior art keywords
feature data
data
feature
face image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910469723.9A
Other languages
English (en)
Other versions
CN110263673A (zh
Inventor
方宝富
王浩
魏森炳
栗永泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201910469723.9A priority Critical patent/CN110263673B/zh
Publication of CN110263673A publication Critical patent/CN110263673A/zh
Application granted granted Critical
Publication of CN110263673B publication Critical patent/CN110263673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种面部表情识别方法、装置、计算机设备及存储介质，所述方法包括：获取初始人脸图像，并进行人脸检测，得到目标人脸图像，再通过人脸对齐提取目标人脸图像中的局部特征点，同时，将目标人脸图像输入到面部注意力机制的卷积神经网络模型中，该网络模型包括对象网络、注意力网络，采用对象网络，提取目标人脸图像中的整体面部特征数据，采用注意力网络，提取局部特征点区域的特征数据，作为局部特征数据，将整体面部特征数据和局部特征数据进行加权识别，得到面部表情识别结果，采用对面部特征数据和局部特征数据综合识别的方式，提升了面部表情识别的准确率，同时，使用神经网络的方式进行识别，有利于提高识别效率。

Description

面部表情识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及图像识别领域，尤其涉及一种面部表情识别方法、装置、计 算机设备及存储介质。
背景技术
随着安全入口控制和金融贸易方面应用需要的快速增长，生物统计识别 技术的到了新的重视。目前，微电子和视觉系统方面取得的新进展，使该领 域中高性能自动识别技术的实现代价降低到了可以接受的程度。而人脸识别 是所有的生物识别方法中应用最广泛的技术之一，人脸识别技术是一项近年 来兴起的，但不大为人所知的新技术。在国外，人脸识别技术早已被大量使 用在国家重要部门以及军警等安防部门。在国内，对于人脸识别技术的研究 始于上世纪90年代，目前主要应用在公安、金融、网络安全、物业管理以及考勤等领域。
在人脸识别技术的应用中，快速进行识别人脸图像中的面部表情，对进 行人脸分析和情绪识别方面具有重要作用，当前，主要通过模式匹配的方式 来进行人脸图像的面部表情识别，也即，通过计算人脸图像中数据特征矩阵 与不同模板的数据特征矩阵的相似度，将相似度值最大的模板对应的面部表 情作为识别结果，但该方式准确度较低，无法满足实际应用需求。
发明内容
本发明实施例提供一种面部表情识别方法、装置、计算机设备和存储介 质，以解决当前对人脸图像进行面部表情识别准确度低的问题。
一种面部表情识别方法，包括：
获取初始人脸图像，并对所述初始人脸图像进行人脸检测，得到目标人 脸图像；
采用预设人脸对齐方法，提取所述目标人脸图像中的局部特征点；
将所述目标人脸图像输入到面部注意力机制的卷积神经网络模型中，其 中，所述面部注意力机制的卷积神经网络模型包括对象网络和注意力网络， 所述对象网络和所述注意力网络均为卷积神经网络；
采用所述对象网络，提取所述目标人脸图像中的整体面部特征数据；
采用所述注意力网络，提取所述局部特征点区域对应的特征数据，作为 局部特征数据；
对所述整体面部特征数据和所述局部特征数据进行加权识别，得到面部 表情识别结果。
一种面部表情识别装置，包括：
图像获取模块，用于获取初始人脸图像，并对所述初始人脸图像进行人 脸检测，得到目标人脸图像；
特征点提取模块，用于采用预设人脸对齐方法，提取所述目标人脸图像 中的局部特征点；
图像输入模块，用于将所述目标人脸图像输入到面部注意力机制的卷积 神经网络模型中，其中，所述面部注意力机制的卷积神经网络模型包括对象 网络和注意力网络，所述对象网络和所述注意力网络均为卷积神经网络；
第一特征提取模块，用于采用所述对象网络，提取所述目标人脸图像中 的整体面部特征数据；
第二特征提取模块，用于采用所述注意力网络，提取所述局部特征点区 域对应的特征数据，作为局部特征数据；
表情识别模块，用于对所述面部特征数据和所述局部特征数据进行加权 识别，得到面部表情识别结果。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在 所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上 述面部表情识别方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序， 所述计算机程序被处理器执行时实现上述面部表情识别方法的步骤。
本发明实施例提供的面部表情识别方法、装置、计算机设备及存储介质， 获取初始人脸图像，并对初始人脸图像进行人脸检测，得到目标人脸图像， 再采用预设人脸对齐方法，提取目标人脸图像中的局部特征点，同时，将目 标人脸图像输入到面部注意力机制的卷积神经网络模型中，其中，面部注意 力机制的卷积神经网络模型包括对象网络和注意力网络，对象网络和注意力 网络均为卷积神经网络，采用对象网络，提取目标人脸图像中的整体面部特 征数据，采用注意力网络，提取局部特征点区域对应的特征数据，作为局部特征数据，通过对面部特征数据和局部特征数据进行加权识别，得到面部表 情识别结果，采用对面部特征数据和局部特征数据进行加权后识别的方式， 提升了面部表情识别的准确率，同时，使用神经网络的方式进行识别，有利 于提高识别效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的 描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅 仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性 劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的面部表情识别方法的实现流程图；
图2是本发明实施例提供的面部表情识别方法中步骤S20的实现流程图；
图3是本发明实施例提供的面部表情识别方法中步骤S50的实现流程图；
图4是本发明实施例提供的面部表情识别方法中步骤S60的实现流程图；
图5是本发明实施例提供的面部表情识别装置的示意图；
图6是本发明实施例提供的计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创 造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1示出本发明实施例提供的一种面部表情识别方法，详述 如下：
S10：获取初始人脸图像，并对初始人脸图像进行人脸检测，得到目标人 脸图像。
具体地，获取初始人脸图像，并对初始人脸图像进行图像预处理，并在 图像预处理之后进行人脸检测，得到目标人脸图像。
其中，图像预处理包括但不限于：灰度化、人脸边缘检测和倾斜校正等。
由于内容图像可能会存在不同程度的倾斜，影响模型识别结果，因此， 需对内容图像进行透视变换即将内容图像投影到一个新的视平面的过程，获 取矫正后的图像，也即，实现图像预处理中的图像变换。本案中，透视变换 的的处理方法包括但不限于采用OpenCv中的perspectiveTransform()函数进 行透视变换处理。OpenCV是一个包含大量开源API(Application Programming Interface，应用程序编程接口)的跨平台计算机视觉库，同时提供了Python、 Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通 用算法。
其中，人脸检测方法包括但不限于：Adaboost人脸检测算法、基于局部 约束模型的人脸检测、不变特征方法、模板匹配方法以及统计模型方法等。
S20：采用预设人脸对齐方法，提取目标人脸图像中的局部特征点。
具体地，采用预设人脸对齐方法，对目标人脸图像进行特征点提取，并 将提取到的特征点按照预设条件筛选，得到局部特征点。
其中，预设的人脸对齐方法，具体可以是模板匹配的方式。
优选的，本实施例采用K-means聚类算法对人脸对齐后的面部特征点进 行聚类，挑选目标人脸图像中的局部特征点，具体描述可参考步骤S21至步 骤S25，为避免重复，此处不再赘诉。
需要说的是，局部特征点为两个或两个以上。
S30：将目标人脸图像输入到面部注意力机制的卷积神经网络模型中，其 中，面部注意力机制的卷积神经网络模型包括对象网络和注意力网络，对象 网络和注意力网络均为卷积神经网络。
具体地，将目标人脸图像输入到面部注意力机制的卷积神经网络模型中， 以便后续通过面部注意力机制的卷积神经网络模型对目标人脸图像进行表情 识别。
其中，面部注意力机制的卷积神经网络模型包括对象网络和注意力网络， 对象网络用于识别目标人脸图像中的全部数据特征，注意力网络用于提取目 标人脸图像中，与表情相关的部件的特征，例如眼睛、嘴巴和鼻子等，本实 施例中的对象网络和注意力网络均通过卷积神经网络来实现。
其中，卷积神经网络(Convolutional Neural Networks，CNN)是一类包 含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)， 卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结 构对输入信息进行平移不变分类(shift-invariant classification)。
优选地，本实施例中的对象网络采用的VGG16网络，VGG16网络(Visual GeometryGroup NET)模型是一种深度神经网络模型，其网络结构包含：13 个卷积层、5个池化层和3个全连接层。
优选地，本实施例中地部件注意力采用的基于注意力机制的卷积神经网 络，该基于注意力机制的卷积神经网络包括输入层、卷积层和特征裁剪层和 全连接层，特征裁剪层用于对特征图进行裁剪。
S40：采用对象网络，提取目标人脸图像中的面部特征数据。
具体地，通过对象网络，对目标人脸图像进行特征提取，得到目标人脸 图像中地面部特征数据。
S50：采用注意力网络，提取局部特征点区域对应的特征数据，作为局部 特征数据。
具体地，采用注意力网络的输入层和卷积层，提取目标人脸图像的卷积 数据，同时，将局部特征点对应的位置映射到卷积数据对应的特征图上，得 到局部特征点在特征图上对应的中心位置，进而按照预设大小的邻域和得到 的中心位置，对特征图进行裁剪，将裁剪出的卷积数据，作为局部特征数据。
容易理解地，局部特征点区域对应的特征为对面部表情影响较大的面部 特征，例如：眼睛、鼻子等，本实施例裁剪出独立的局部特征点区域对应的 局部特征数据，有利于提高通过使用局部特征数据参与面部表情识别时的准 确率。
需要说明的是，步骤S30至步骤S40，与步骤S20之间，没有必须的先 后顺序，其也可以是并列关系，此处不做限制。
S60：对面部特征数据和局部特征数据进行加权识别，得到面部表情识别 结果。
具体地，通过对面部特征数据和局部特征数据进行加权，得到加权后的 综合数据特征，并使用全连接的分类器对综合数据特征进行分类识别，得到 面部表情识别结果。
在本实施例中，获取初始人脸图像，并对初始人脸图像进行人脸检测， 得到目标人脸图像，再采用预设人脸对齐方法，提取目标人脸图像中的局部 特征点，同时，将目标人脸图像输入到面部注意力机制的卷积神经网络模型 中，其中，面部注意力机制的卷积神经网络模型包括对象网络和注意力网络， 对象网络和注意力网络均为卷积神经网络，采用对象网络，提取目标人脸图 像中的面部特征数据，采用注意力网络，提取局部特征点对应的特征数据， 作为局部特征数据，通过对面部特征数据和局部特征数据进行加权识别，得 到面部表情识别结果，采用对面部特征数据和局部特征数据进行加权后识别 的方式，提升了面部表情识别的准确率，同时，使用神经网络的方式进行识 别，有利于提高识别效率。
在图1对应的实施例的基础之上，下面通过一个具体的实施例来对步骤 S20中所提及的采用预设人脸对齐方法，提取目标人脸图像中的局部特征点的 具体实现方法进行详细说明。
请参阅图2，图2示出了本发明实施例提供的步骤S20的具体实现流程， 详述如下：
S21：从目标人脸图像中进行面部特征数据点提取，得到特征数据集，并 从特征数据集中随机选取m个特征数据作为聚类中心，其中，m为正整数。
具体地，m为根据需要预设的聚类中心个数，从目标人脸图像中进行特 征数据提取，得到特征数据集，并从特征数据集中随机选取m个特征数据作 为聚类中心。
S22：针对特征数据集中的每个特征数据，计算该特征数据与每个聚类中 心之间的第一距离，将该特征数据放入最小第一距离对应的聚类中心所在的 聚类中，得到m个临时聚类。
具体地，针对每个特征数据，计算该特征数据与每个聚类中心之间的空 间距离，作为第一距离，得到m个第一距离，并从该m个第一距离中获取最 小值作为做小第一距离，将该特征数据与最小第一距离对应的聚类中心放入 同一个聚类中，依照这个方法，得到m个临时聚类。
例如，在一具体实施方式中，存在8个特征数据，预设的聚类中心个数 为3个，在随机生成三个聚类中心之后，分别计算得到每个特征数据分别到 三个聚类中心的第一距离如表一所示：
表一
聚类中心1 聚类中心2 聚类中心3
特征数据1 0.5 1.9 0.7
特征数据2 2.5 0.2 0.9
特征数据3 1.3 0.1 0.8
特征数据4 1.6 0.1 0.7
特征数据5 1.8 0.9 0.2
特征数据6 0.6 0.8 1.6
特征数据7 0.7 0.8 0.2
特征数据8 1.1 0.3 0.9
根据计算出的这些第一距离，很容易得到各特征数据到三个聚类中心的 最小第一距离，例如，特征数据1到三个聚类中心的最小第一距离为0.5，因 此将特征数据1放入聚类中心1所在的聚类中，按照这个方法，得到的三个 临时聚类分别为：临时聚类1(特征数据1，特征数据6)、临时聚类2(特 征数据2，特征数据3，特征数据4，特征数据8)和临时聚类3(特征数据5， 特征数据7)。
S23：按照预设公式，对m个临时聚类重新生成聚类中心。
具体地，根据预设公式，重新计算聚类中心，生成m个聚类中心。
其中，预设公式可以根据实际需要进行设置，优选的，本实施例采用的 预设公式为：
Figure RE-GDA0002140242110000091
其中，μj为新的聚类中心，Cj为更新前的聚 类中心。
S24：返回执行针对特征数据集中的每个特征数据，计算该特征数据与每 个聚类中心之间的第一距离，将该特征数据放入最小第一距离对应的聚类中 心所在的聚类中，得到m个临时聚类的步骤，直到迭代次数达到预设次数。
具体地，在每次更新聚类中心后，统计聚类中心更新的次数，在聚类中 心更新次数小于预设次数时，返回步骤S22继续执行，在更新次数达到预设 次数时，终止该过程，并执行步骤S25。
S25：将得到的m个临时聚类作为目标人脸图像中的局部特征点。
具体地，将达到预设次数时的m个临时聚类，作为目标人脸图像中的局 部特征点。
进一步地，在得到目标人脸图像中的局部特征点后，使用 Calinski-Harabasz指标对得到的局部特征点进行评价，选取Calinski-Harabasz 指标评价后达到预设条件的局部特征点，作为最终的局部特征点，参与后续 局部特征数据的提取。
其中，Calinski-Harabasz指标是一种针对K-Means聚类的评价方法，通过 计算聚类中心与簇内各个特征数据之间的协方差，得到聚类的综合评分，评 分越高，证明聚类效果越好。
其中，预设条件具体可以是预设的评分分值。
在本实施例中，从目标人脸图像中进行特征数据提取，得到特征数据集， 并从特征数据集中随机选取m个特征数据作为聚类中心，针对特征数据集中 的每个特征数据，计算该特征数据与每个聚类中心之间的第一距离，将该特 征数据放入最小第一距离对应的聚类中心所在的聚类中，得到m个临时聚类， 按照预设公式，对m个临时聚类重新生成聚类中心，返回执行针对特征数据 集中的每个特征数据，计算该特征数据与每个聚类中心之间的第一距离，将 该特征数据放入最小第一距离对应的聚类中心所在的聚类中，得到m个临时 聚类的步骤，直到迭代次数达到预设次数，将得到的m个临时聚类作为目标 人脸图像中的局部特征点，通过训练的方式，智能化获取表征人脸主要特征 的局部特征点，提高局部特征点获取的准确率。
在图1对应的实施例的基础之上，下面通过一个具体的实施例来对步骤 S50中所提及的采用注意力网络，提取局部特征点对应的特征数据，作为局部 特征数据的具体实现方法进行详细说明。
请参阅图3，图3示出了本发明实施例提供的步骤S50的具体实现流程， 详述如下：
S51：通过注意力网络的输入层获取目标人脸图像的多通道数据。
具体地，通过注意力网络的输入层提取目标人脸图像中的多通道数据， 并将多通道数据传递给卷积层。
其中，多通道数据是指每个通道的数据，通道个数可根据实际情况进行 设置，此处不作具体限制，优选地，本发明实施例通道个数设置为3。
S52：通过注意力网络的卷积层对多通道数据进行卷积处理，得到卷积数 据。
具体地，通过注意力网络的卷积层对多通道数据进行卷积处理，得到多 通道数据进行卷积处理后的卷积数据，用以后续的特征提取。
其中，卷积层(Convolutional layer)由若干卷积单元组成，每个卷积单 元的参数都是通过反向传播算法最佳化得到的。卷积处理的目的是得到表示 不同特征的卷积数据，即方便后续提取输入的不同特征，第一层卷积层可能 只能提取一些低级的特征如边缘、线条和角等层级，越深层级的网路能从低 级特征中迭代提取更复杂的特征。
值得说明的是，在本发明实施例中，存在预设层数的卷积层，具体预设 的数量可根据实际情况进行确定，作为一种优选方式，本发明实施例预设的 卷积层为13层，同时，本实施例中的注意力网络还包括特征裁剪层，该特征 裁剪层在第10层卷积层和第11层卷积层之间，用于提取卷积数据中与面部 表情相关的特征数据。
S53：采用注意力网络的特征裁剪层，获取局部特征点区域对应的卷积数 据，并对局部特征点区域对应的卷积数据卷积和池化处理，得到局部特征数 据。
具体地，根据局部特征点对应的相对位置，获取每个局部特征点对应的 特征图位置中心，并根据预设大小的邻域，对步骤S52中得到的卷积数据进 行裁剪，得到局部特征点对应的卷积数据，在得到卷积数据后，再对该卷积 数据进行特征提取，保留需要的重要特征，摒弃掉无关紧要的信息，从而得 到可以用于后续面部表情预测的特征数据。
其中，在本发明实施例中，特征提取是通过池化层来实现，池化层紧跟 在卷积层之后，用于压缩数据和参数的量，使得对面部表情预测无关的信息 和重复的信息被去掉，同时，池化层还可以减小过拟合，有利于提高识别精 度。
需要说明的是，本实施例对部件注意网络中裁减部分的特征图形式进行 了转变，转变特征图的尺寸，以便更好参与卷积运算，在一具体实施方式中， 局部特征点的个数为N，批尺寸为B，通道数为C，特征图的高度为H，宽度 为W，则裁剪后的特征图尺寸为B×C×H×W×N，进而对特征图尺寸进行处理， 转变为(B×N)×C×H×W，相当于将批尺寸扩大了N倍，进而将转变后的每 一张部件特征图作为独立的图像进行训练，减少运算量，提高处理效率。
在本实施例中，通过注意力网络的输入层对目标人脸图像的多通道数据， 并通过注意力网络的卷积层对多通道数据进行卷积处理，得到卷积数据，进 而采用注意力网络的特征裁剪层，获取局部特征点对应的卷积数据，并对局 部特征点对应的卷积数据卷积和池化处理，得到局部特征数据，使得得到的 局部特征数据为面部特征点对应的卷积数据，有利于后续通过该卷积数据进 行面部表情识别。
在图1对应的实施例的基础之上，下面通过一个具体的实施例来对步骤 S60中所提及的通过全连接层对面部特征数据和局部特征数据进行加权识别， 得到面部表情识别结果的具体实现方法进行详细说明。
请参阅图4，图4示出了本发明实施例提供的步骤S60的具体实现流程， 详述如下：
S61：获取预设的第一加权系数和预设的第二加权系数。
具体地，获取预设好的第一加权系数和第二加权系数。
在本实施例中，面部特征数据和局部特征数据是从不同角度体现人脸面 部特征，本实施例预先设置有第一加权系数和第二加权系数，该第一加权系 数和第二加权系数用于对面部特征数据和局部特征数据进行加权，以便面部 特征数据和局部特征数据更为准确体现面部特征。
其中，第一加权系数和第二加权系数可以根据实际需要进行设置，例如， 第一加权系数和第二加权系数分别设置为0.7和0.6，此处不做限制。
S62：使用预设的第一加权系数对面部特征数据进行加权，得到第一加权 数据，使用设的第二加权系数对局部特征数据进行加权，得到第二加权数据， 并将第一加权数据和第二加权数据进行综合，得到综合特征数据。
具体地，使用预设的第一加权系数对面部特征数据进行加权，得到第一 加权数据，使用设的第二加权系数对局部特征数据进行加权，得到第二加权 数据，并将第一加权数据和第二加权数据进行综合，得到综合特征数据。
在一具体实施方式中，通过以下公式进行加权和综合，得到综合特征数 据：
F＝argmax(kX1+X2)
其中，F为综合特征数据，X1为面部特征数据，X2为局部特征数据，k为 第一加权系数与第二加权系数的比值。
S63：使用全连接层的n个预设分类器对综合特征数据进行相似度计算， 得到综合特征数据属于该分类器对应的行为类别的概率，共得到n个概率， 其中，每个分类器对应一种面部表情类别。
具体地，在全连接层预设有n个训练好的分类器，将每个分类器均与特 征数据进行相似度计算，得到综合特征数据属于该分类器对应的行为类别的 概率，共得到n个概率，每个概率对应一种人脸面部表情的概率。
其中，分类器对应的面部表情类别可根据实际需要进行训练，分类器的 数量n也可根据需要进行设置，此处不作具体限制，例如，n设置为7，即包 括7种面部表情。
其中，分类器实现方法包括但不限于：逻辑回归(Logistic Regression， LR)、支持向量机((Support Vector Machine，SVM)、交叉熵(Corss Entropy) 和softmax回归等。
优选地，本发明实施例采用softmax回归来实现多个分类器的分类识别。
其中，面部表情类型包括但不限于：微笑、愤怒、恐惧和紧张等，具体 可依据实现情况进行设置，此处不作限制。
S64：从n个概率中，选取概率最大的面部表情类别作为目标数据对应的 面部表情识别结果。
具体地，在步骤S63得到n个概率中，选取值最大的概率对应的面部表 情类别作为目标人脸图像对应的面部表情识别结果。
在本实施例中，通过获取预设的第一加权系数和预设的第二加权系数， 并使用预设的第一加权系数对面部特征数据进行加权，得到第一加权数据， 使用设的第二加权系数对局部特征数据进行加权，得到第二加权数据，进而 将第一加权数据和第二加权数据进行综合，得到综合特征数据，再使用n个 预设分类器对综合特征数据进行相似度计算，得到综合特征数据属于该分类 器对应的行为类别的概率，共得到n个概率，从n个概率中，选取概率最大 的面部表情类别作为目标数据对应的面部表情识别结果，采用对面部特征数 据和局部特征数据进行加权后再得到综合数据特征并识别的方式，提高了面 部表情识别准确率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后， 各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实 施过程构成任何限定。
图5示出与上述实施例面部表情识别方法一一对应的面部表情识别装置 的原理框图。如图5所示，该面部表情识别装置包括图像获取模块10、特征 点提取模块20、图像输入模块30、第一特征提取模块40、第二特征提取模块 50和表情识别模块60。各功能模块详细说明如下：
图像获取模块10，用于获取初始人脸图像，并对初始人脸图像进行人脸 检测，得到目标人脸图像；
特征点提取模块20，用于采用预设人脸对齐方法，提取目标人脸图像中 的局部特征点；
图像输入模块30，用于将目标人脸图像输入到面部注意力机制的卷积神 经网络模型中，其中，面部注意力机制的卷积神经网络模型包括对象网络和 注意力网络，对象网络和注意力网络均为卷积神经网络；
第一特征提取模块40，用于采用对象网络，提取目标人脸图像中的整体 面部特征数据；
第二特征提取模块50，用于采用注意力网络，提取局部特征点区域对应 的特征数据，作为局部特征数据；
表情识别模块60，用于对面部特征数据和局部特征数据进行加权识别， 得到面部表情识别结果。
进一步，特征点提取模块20包括：
初始聚类中心选取单元，用于从目标人脸图像中进行特征数据提取，得 到特征数据集，并从特征数据集中随机选取m个特征数据作为聚类中心，其 中，m为正整数；
临时聚类单元，用于针对特征数据集中的每个特征数据，计算该特征数 据与每个聚类中心之间的第一距离，将该特征数据放入最小第一距离对应的 聚类中心所在的聚类中，得到m个临时聚类；
聚类中心生成单元，用于按照预设公式，对m个临时聚类重新生成聚类 中心；
循环迭代单元，用于返回执行针对特征数据集中的每个特征数据，计算 该特征数据与每个聚类中心之间的第一距离，将该特征数据放入最小第一距 离对应的聚类中心所在的聚类中，得到m个临时聚类的步骤，直到迭代次数 达到预设次数；
局部特征点确定单元，用于将得到的m个临时聚类结果作为目标人脸图 像中的局部特征点。
进一步地，第二特征提取模块50包括：
多通道数据提取单元，用于通过注意力网络的输入层获取目标人脸图像 的多通道数据；
数据卷积单元，用于通过注意力网络的卷积层对多通道数据进行卷积处 理，得到卷积数据；
数据裁剪单元，用于采用注意力网络的特征裁剪层，获取局部特征点对 应的卷积数据，并对局部特征点对应的卷积数据卷积和池化处理，得到局部 特征数据。
进一步地，表情识别模块60包括：
系数获取单元，用于获取预设的第一加权系数和预设的第二加权系数；
数据综合单元，用于使用预设的第一加权系数对面部特征数据进行加权， 得到第一加权数据，使用设的第二加权系数对局部特征数据进行加权，得到 第二加权数据，并将第一加权数据和第二加权数据进行综合，得到综合特征 数据：
概率计算单元，用于使用n个预设分类器对综合特征数据进行相似度计 算，得到综合特征数据属于该分类器对应的行为类别的概率，共得到n个概 率，其中，每个分类器对应一种面部表情类别；
结果确定单元，用于从n个概率中，选取概率最大的面部表情类别作为 目标数据对应的面部表情识别结果。
关于面部表情识别装置的具体限定可以参见上文中对于面部表情识别方 法的限定，在此不再赘述。上述面部表情识别装置中的各个模块可全部或部 分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立 于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储 器中，以便于处理器调用执行以上各个模块对应的操作。
图6是本发明一实施例提供的计算机设备的示意图。该计算机设备可以 是服务端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线 连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器 用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、 内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该 内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。 该计算机设备的数据库用于存储面部注意力机制的卷积神经网络模型。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被 处理器执行时以实现一种面部表情识别方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储 在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实 现上述实施例面部表情识别方法的步骤，例如图1所示的步骤S10至步骤S60。 或者，处理器执行计算机程序时实现上述实施例面部表情识别装置的各模块/ 单元的功能，例如图5所示的模块10至模块60的功能。为避免重复，这里 不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以 上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而 将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划 分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
在一实施例中，提供一计算机可读存储介质，该计算机可读存储介质上 存储有计算机程序，该计算机程序被处理器执行时实现上述实施例面部表情 识别方法的步骤，或者，该计算机程序被处理器执行时实现上述实施例面部 表情识别装置中各模块/单元的功能。为避免重复，这里不再赘述。
可以理解地，所述计算机可读存储介质可以包括：能够携带所述计算机 程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计 算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器 (Random Access Memory，RAM)、电载波信号和电信信号等。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参 照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解： 其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技 术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱 离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之 内。

Claims (10)

1.一种面部表情识别方法，其特征在于，所述面部表情识别方法包括：
获取初始人脸图像，并对所述初始人脸图像进行人脸检测，得到目标人脸图像；
采用预设人脸对齐方法，提取所述目标人脸图像中的局部特征点；
将所述目标人脸图像输入到面部注意力机制的卷积神经网络模型中，其中，所述面部注意力机制的卷积神经网络模型包括对象网络和注意力网络，所述对象网络和所述注意力网络均为卷积神经网络；
采用所述对象网络，提取所述目标人脸图像中的整体面部特征数据；
采用所述注意力网络，提取所述局部特征点区域的特征数据，作为局部特征数据；
对所述整体面部特征数据和所述局部特征数据进行加权识别，得到面部表情识别结果。
2.如权利要求1所述的面部表情识别方法，其特征在于，所述采用预设人脸对齐方法，提取所述目标人脸图像中的局部特征点包括：
从所述目标人脸图像中进行特征数据提取，得到特征数据集，并从所述特征数据集中随机选取m个特征数据作为聚类中心，其中，所述m为正整数；
针对所述特征数据集中的每个特征数据，计算该特征数据与每个所述聚类中心之间的第一距离，将该特征数据放入最小第一距离对应的聚类中心所在的聚类中，得到m个临时聚类；
按照预设公式，对m个临时聚类重新生成聚类中心；
返回执行所述针对所述特征数据集中的每个特征数据，计算该特征数据与每个所述聚类中心之间的第一距离，将该特征数据放入最小第一距离对应的聚类中心所在的聚类中，得到m个临时聚类的步骤，直到迭代次数达到预设次数；
将得到的m个所述临时聚类结果作为所述目标人脸图像中的局部特征点。
3.如权利要求1所述的面部表情识别方法，其特征在于，所述对象网络为VGG16网络，所述注意力网络为基于注意力机制的卷积神经网络，其中，所述基于注意力机制的卷积神经网络包括输入层、卷积层和特征裁剪层和全连接层，所述特征裁剪层用于对特征图进行裁剪。
4.如权利要求3所述的面部表情识别方法，所述采用所述注意力网络，提取所述局部特征点区域的特征数据，作为局部特征数据包括：
通过所述注意力网络的输入层获取所述目标人脸图像的多通道数据；
通过所述注意力网络的卷积层对所述多通道数据进行卷积处理，得到卷积数据；
采用所述注意力网络的特征裁剪层，获取所述局部特征点对应的卷积数据，并对所述局部特征点对应的卷积数据进行卷积和池化处理，得到所述局部特征数据。
5.如权利要求1所述的面部表情识别方法，其特征在于，所述对所述整体面部特征数据和所述局部特征数据进行加权识别，得到面部表情识别结果包括：
获取预设的第一加权系数和预设的第二加权系数；
使用所述预设的第一加权系数对所述整体面部特征数据进行加权，得到第一加权数据，使用所述设的第二加权系数对所述局部特征数据进行加权，得到第二加权数据，并将所述第一加权数据和所述第二加权数据进行综合，得到综合特征数据：
使用n个预设分类器对所述综合特征数据进行相似度计算，得到所述综合特征数据属于该分类器对应的行为类别的概率，共得到n个所述概率，其中，每个分类器对应一种面部表情类别；
从n个所述概率中，选取概率最大的面部表情类别作为所述目标数据对应的面部表情识别结果。
6.一种面部表情识别装置，其特征在于，所述面部表情识别装置包括：
图像获取模块，用于获取初始人脸图像，并对所述初始人脸图像进行人脸检测，得到目标人脸图像；
特征点提取模块，用于采用预设人脸对齐方法，提取所述目标人脸图像中的局部特征点；
图像输入模块，用于将所述目标人脸图像输入到面部注意力机制的卷积神经网络模型中，其中，所述面部注意力机制的卷积神经网络模型包括对象网络和注意力网络，所述对象网络和所述注意力网络均为卷积神经网络；
第一特征提取模块，用于采用所述对象网络，提取所述目标人脸图像中的整体面部特征数据；
第二特征提取模块，用于采用所述注意力网络，提取所述局部特征点对应的特征数据，作为局部特征数据；
表情识别模块，用于对所述面部特征数据和所述局部特征数据进行加权识别，得到面部表情识别结果。
7.如权利要求6所述的面部表情识别装置，其特征在于，所述特征点提取模块包括：
初始聚类中心选取单元，用于从所述目标人脸图像中进行特征数据提取，得到特征数据集，并从所述特征数据集中随机选取m个特征数据作为聚类中心，其中，所述m为正整数；
临时聚类单元，用于针对所述特征数据集中的每个特征数据，计算该特征数据与每个所述聚类中心之间的第一距离，将该特征数据放入最小第一距离对应的聚类中心所在的聚类中，得到m个临时聚类；
聚类中心生成单元，用于按照预设公式，对m个临时聚类重新生成聚类中心；
循环迭代单元，用于返回执行所述针对所述特征数据集中的每个特征数据，计算该特征数据与每个所述聚类中心之间的第一距离，将该特征数据放入最小第一距离对应的聚类中心所在的聚类中，得到m个临时聚类的步骤，直到迭代次数达到预设次数；
局部特征点确定单元，用于将得到的m个所述临时聚类结果作为所述目标人脸图像中的局部特征点。
8.如权利要求6所述的面部表情识别装置，其特征在于，所述第二特征提取模块包括：
多通道数据提取单元，用于通过所述注意力网络的输入层获取所述目标人脸图像的多通道数据；
数据卷积单元，用于通过所述注意力网络的卷积层对所述多通道数据进行卷积处理，得到卷积数据；
数据裁剪单元，用于采用所述注意力网络的特征裁剪层，获取所述局部特征点对应的卷积数据，并对所述局部特征点区域对应的卷积数据卷积和池化处理，得到所述局部特征数据。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的面部表情识别方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的面部表情识别方法。
CN201910469723.9A 2019-05-31 2019-05-31 面部表情识别方法、装置、计算机设备及存储介质 Active CN110263673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910469723.9A CN110263673B (zh) 2019-05-31 2019-05-31 面部表情识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910469723.9A CN110263673B (zh) 2019-05-31 2019-05-31 面部表情识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110263673A CN110263673A (zh) 2019-09-20
CN110263673B true CN110263673B (zh) 2022-10-14

Family

ID=67916344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910469723.9A Active CN110263673B (zh) 2019-05-31 2019-05-31 面部表情识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110263673B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889325B (zh) * 2019-10-12 2023-05-23 平安科技（深圳）有限公司 多任务面部动作识别模型训练和多任务面部动作识别方法
CN110781828A (zh) * 2019-10-28 2020-02-11 北方工业大学 一种基于微表情的疲劳状态检测方法
CN110827129B (zh) * 2019-11-27 2022-11-11 中国联合网络通信集团有限公司 一种商品推荐方法及装置
CN111108508B (zh) * 2019-12-23 2023-10-13 深圳市优必选科技股份有限公司 脸部情感识别方法、智能装置和计算机可读存储介质
CN113128309A (zh) * 2020-01-10 2021-07-16 中移(上海)信息通信科技有限公司 人脸表情识别方法、装置、设备及介质
CN111274916B (zh) * 2020-01-16 2024-02-02 华为技术有限公司 人脸识别方法和人脸识别装置
CN111597884A (zh) * 2020-04-03 2020-08-28 平安科技（深圳）有限公司 面部动作单元识别方法、装置、电子设备及存储介质
CN111626113A (zh) * 2020-04-20 2020-09-04 北京市西城区培智中心学校 一种基于面部动作单元的面部表情识别方法和装置
CN111950362B (zh) * 2020-07-07 2024-04-16 西北大学 一种金丝猴面部图像识别方法、装置、设备及存储介质
CN112215066A (zh) * 2020-09-08 2021-01-12 北京农业信息技术研究中心 家畜脸部图像识别方法及装置
CN112329683B (zh) * 2020-11-16 2024-01-26 常州大学 一种多通道卷积神经网络人脸表情识别方法
CN113159039A (zh) * 2021-02-09 2021-07-23 北京市商汤科技开发有限公司 图像识别方法及装置、电子设备和存储介质
CN113159002B (zh) * 2021-05-26 2023-04-07 重庆大学 一种基于自注意力权重辅助模块的人脸表情识别方法
CN114220142B (zh) * 2021-11-24 2022-08-23 慧之安信息技术股份有限公司 一种深度学习算法的人脸特征识别方法
CN114612987B (zh) * 2022-03-17 2024-09-06 深圳须弥云图空间科技有限公司 一种表情识别方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657582A (zh) * 2018-12-10 2019-04-19 平安科技（深圳）有限公司 人脸情绪的识别方法、装置、计算机设备及存储介质
WO2019095571A1 (zh) * 2017-11-15 2019-05-23 平安科技（深圳）有限公司 人物情绪分析方法、装置及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019095571A1 (zh) * 2017-11-15 2019-05-23 平安科技（深圳）有限公司 人物情绪分析方法、装置及存储介质
CN109657582A (zh) * 2018-12-10 2019-04-19 平安科技（深圳）有限公司 人脸情绪的识别方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于LBP与卷积神经网络的人脸识别;王大伟等;《天津理工大学学报》;20171215(第06期);全文 *

Also Published As

Publication number Publication date
CN110263673A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN110263673B (zh) 面部表情识别方法、装置、计算机设备及存储介质
CN110084173B (zh) 人头检测方法及装置
CN110362677B (zh) 文本数据类别的识别方法及装置、存储介质、计算机设备
CN108921019B (zh) 一种基于GEI和TripletLoss-DenseNet的步态识别方法
Fu Sequential methods in pattern recognition and machine learning
CN103605972B (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
JP2022141931A (ja) 生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN110909618B (zh) 一种宠物身份的识别方法及装置
CN110046634B (zh) 聚类结果的解释方法和装置
CN105138993A (zh) 建立人脸识别模型的方法及装置
CN109033978B (zh) 一种基于纠错策略的cnn-svm混合模型手势识别方法
WO2006078265A2 (en) Efficient classification of three dimensional face models for human identification and other applications
CN110826618A (zh) 一种基于随机森林的个人信用风险评估方法
Wang et al. An unequal deep learning approach for 3-D point cloud segmentation
CN102622610A (zh) 一种基于分类器集成的手写维文字符识别方法
Oveisi et al. Tree-structured feature extraction using mutual information
CN113706502B (zh) 一种人脸图像质量评估方法及装置
KR102593835B1 (ko) 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술
CN111401145A (zh) 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN101968852A (zh) 基于熵排序的半监督谱聚类确定聚类数的方法
CN104484650B (zh) 素描人脸识别的方法和装置
CN114067915A (zh) 一种基于深度对抗变分自编码器的scRNA-seq数据降维方法
CN115344693B (zh) 一种基于传统算法和神经网络算法融合的聚类方法
CN111723749A (zh) 一种安全帽佩戴识别方法、系统及设备
CN117690451B (zh) 一种基于集成学习的神经网络噪声源分类的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant