CN115035566A - 表情识别方法、装置、计算机设备和计算机可读存储介质 - Google Patents

表情识别方法、装置、计算机设备和计算机可读存储介质 Download PDF

Info

Publication number
CN115035566A
CN115035566A CN202210492682.7A CN202210492682A CN115035566A CN 115035566 A CN115035566 A CN 115035566A CN 202210492682 A CN202210492682 A CN 202210492682A CN 115035566 A CN115035566 A CN 115035566A
Authority
CN
China
Prior art keywords
eye
feature
image
mouth
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210492682.7A
Other languages
English (en)
Other versions
CN115035566B (zh
Inventor
吴雅林
石宇
胡阿珍
张勤俭
闫林杨
尉明华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Hospital
Original Assignee
Peking University Shenzhen Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Hospital filed Critical Peking University Shenzhen Hospital
Priority to CN202210492682.7A priority Critical patent/CN115035566B/zh
Publication of CN115035566A publication Critical patent/CN115035566A/zh
Application granted granted Critical
Publication of CN115035566B publication Critical patent/CN115035566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及图像识别领域，提供了一种表情识别方法、装置、计算机设备和计算机可读存储介质。所述方法包括：获取多个表征人脸表情的人脸图像；识别每个所述人脸图像的眼部区域和嘴部区域，得到对应人脸图像的眼部区域图和嘴部区域图；对每个所述人脸图像进行全局特征提取，得到对应的全局特征向量；对每个所述人脸图像对应的所述眼部区域图和所述嘴部区域图分别进行部分特征提取，得到对应的眼部特征向量和嘴部特征向量；基于所述全局特征向量、所述眼部特征向量以及所述嘴部特征向量对所述人脸图像进行表情识别，得到对应所述人脸图像的表情类别。采用本方法能够在实时识别中提供较高的识别率，同时能有效的降低计算机的计算量。

Description

表情识别方法、装置、计算机设备和计算机可读存储介质
技术领域
本申请涉及图像处理领域，特别是涉及一种表情识别方法、装置、计算机设备和计算机可读存储介质。
背景技术
表情识别就是识别出当前人脸的面部表情，这些不同的面部表情表达了用户不同的情绪状态以及当前的生理心理反应，它是人类身体语言的一部分，也是向外界传递当前个体状态的一种方式。
现有的人脸表情识别方法主要包括基于几何特征的方法。基于几何特征的方法主要是对用户不同面部五官的几何位置和形状进行编码，以此得到表征用户人脸表情的特征，从而根据编码后的人脸表情特征进行人脸表情识别。然而该方法在复杂的光线和多变的面部运动下识别率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够在识别率不降低的情况下，降低计算量并保障实时识别的表情识别方法、装置、计算机设备和计算机可读存储介质。
本申请实施例提供了一种表情像识别方法，所述方法包括：
获取多个表征人脸表情的人脸图像；
识别每个所述人脸图像的眼部区域和嘴部区域，得到对应人脸图像的眼部区域图和嘴部区域图；
对每个所述人脸图像进行全局特征提取，得到对应的全局特征向量；
对每个所述人脸图像对应的所述眼部区域图和所述嘴部区域图分别进行部分特征提取，得到对应的眼部特征向量和嘴部特征向量；
基于所述全局特征向量、所述眼部特征向量以及所述嘴部特征向量对所述人脸图像进行表情识别，得到对应所述人脸图像的表情类别。
在一个实施例中，所述获取多个表征人脸表情的人脸图像包括：
获取摄像组件拍摄的实时人脸表情图像；
将所述实时人脸表情图像和历史人脸表情图像合并，形成人脸表情图像集；所述人脸表情图像集包括多个表征人脸表情并包含图像背景的初始人脸图像；
通过人脸特征点法识别所述初始人脸图像中的人脸，得到所述人脸表情图像集对应的多个人脸图像。
在一个实施例中，所述对每个所述人脸图像对应的所述眼部区域图和所述嘴部区域图分别进行部分特征提取，得到对应的眼部特征向量和嘴部特征向量包括：
将每个所述人脸图像对应的所述眼部区域图和所述嘴部区域图转化为灰度图，得到对应的眼部区域灰度图和嘴部区域灰度图；
对所述眼部区域灰度图和所述嘴部区域灰度图，通过预设窗口按照预设滑动距离进行特征提取，得到对应的多个眼部特征图和多个嘴部特征图；
通过掩膜对每个所述眼部特征图和对应的所述嘴部特征图分别进行卷积处理，得到卷积后的多个眼部掩膜特征图和多个嘴部掩膜特征图；
基于多个所述眼部特征图和多个所述眼部掩膜特征图，生成对应所述人脸图像的眼部特征向量；
基于多个所述嘴部特征图和多个所述嘴部掩膜特征图，生成对应所述人脸图像的嘴部特征向量。
在一个实施例中，所述掩膜包括Kirsch算子和二阶导数高斯算子；所述通过掩膜对每个所述眼部特征图进行卷积处理，得到卷积后的多个眼部掩膜特征图包括：
通过所述Kirsch算子对每个所述眼部特征图进行卷积处理，得到对应的边缘特征；
通过所述二阶导数高斯算子对每个眼部特征图进行卷积处理，得到对应的中心特征；
将所述边缘特征和所述中心特征组合，形成卷积后的眼部掩膜特征图。
在一个实施例中，所述基于多个所述眼部特征图和多个所述眼部掩膜特征图，生成对应所述人脸图像的眼部特征向量包括：
根据每个所述眼部特征图的像素值，计算所述眼部特征图的平均特征值；
基于所述眼部特征图的平均特征值和各个像素值，以及与所述眼部特征图对应的所述眼部掩膜特征图的各个像素值，计算得到所述人脸图像的眼部特征向量。
在一个实施例中，所述眼部特征向量包括眼部三元模式向量；所述像素值包括中心像素值和边缘像素值；所述基于每个所述眼部特征图的平均特征值和各个像素值，以及与所述眼部特征图对应的所述眼部掩膜特征图的各个像素值，计算得到所述人脸图像的眼部特征向量包括：
基于每个所述眼部特征图的平均特征值、中心像素值和边缘像素值，以及与所述眼部特征图对应的所述眼部掩膜特征图的中心像素值和边缘像素值，通过局部方向三元模式公式计算得到所述人脸图像的眼部三元模式向量；
Figure BDA0003632122690000031
其中，ELDTPp为所述眼部三元模式向量，μ为所述平均特征值，SIc、SIp分别为所述眼部特征图的中心像素值和边缘像素值，ERc、ERp分别为所述眼部掩膜特征图的中心像素值和边缘像素值，σ是条件函数。
在一个实施例中，所述眼部三元模式向量包括眼部上三元模式向量和眼部下三元模式向量；所述通过局部方向三元模式公式计算得到所述人脸图像的眼部三元模式向量包括：
当
Figure BDA0003632122690000032
时，通过所述局部方向三元模式公式计算得到所述人脸图像的眼部下三元模式向量；
当
Figure BDA0003632122690000033
时，通过所述局部方向三元模式公式计算得到所述人脸图像的眼部上三元模式向量。
一种表情识别装置，所述装置包括：
人脸图像获取模块，用于获取多个表征人脸表情的人脸图像；
区域图像识别模块，用于识别每个所述人脸图像的眼部区域和嘴部区域，得到对应人脸图像的眼部区域图和嘴部区域图；
全局特征提取模块，用于对每个所述人脸图像进行全局特征提取，得到对应的全局特征向量；
部分特征提取模块，用于对每个所述人脸图像对应的所述眼部区域图和所述嘴部区域图分别进行部分特征提取，得到对应的眼部特征向量和嘴部特征向量；
表情识别模块，用于基于所述全局特征向量、所述眼部特征向量以及所述嘴部特征向量对所述人脸图像进行表情识别，得到对应所述人脸图像的表情类别。
本申请实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请任意实施例所提供的表情识别方法的步骤。
本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请任意实施例所提供的表情识别方法的步骤。
本申请实施例所提供的表情识别方法、装置、计算机设备和计算机可读存储介质，基于获取到的多个表征人脸表情的人脸图像，由于人脸图像中对表情识别贡献最大的区域包括眼部区域和嘴部区域，因此识别每个人脸图像中的眼部区域和嘴部区域，由此得到对应人脸图像的眼部区域图和嘴部区域图；进一步，对每个人脸图像进行全局特征提取，得到每个人脸图像对应的全局特征向量；再对每个人脸图像的眼部区域图和嘴部区域图分别进行部分特征提取，以此得到每个人脸图像对应的眼部特征向量和嘴部特征向量；进而基于全局特征向量、眼部特征向量和嘴部特征向量对人脸图像进行表情识别，得到对应的表情类别。本方案通过人脸图像的全局特征向量和局部特征向量共同来识别人脸图像的表情类别，采用多特征融合来识别人脸表情，不需要大量的样本数据，同时也不受到环境的影响，而且也不会因为单一特征导致识别率较低。因此本方案的方法能够在实时识别中提供较高的识别率，同时能有效的降低计算机的计算量。
附图说明
图1为一个实施例中表情识别方法的流程示意图；
图2为一个实施例中表情识别方法中人脸图像的表情类别的示意图；
图3为一个实施例中表情识别方法的人脸特征点法的示意图；
图4A为一个实施例中表情识别方法中Kirsch算子示意图；
图4B为一个实施例中表情识别方法中二阶导数高斯算子示意图；
图4C为一个实施例中表情识别方法中眼部特征图的示意图；
图4D为一个实施例中表情识别方法中生成眼部掩膜特征图的示意图；
图5为一个实施例中表情识别装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种表情识别方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤102，获取多个表征人脸表情的人脸图像。
其中，人脸图像是表征人脸表情的图像。人脸图像可以是剔除图像背景后，只包括人脸区域的人脸图像。如图2所示，人脸图像的表情类别主要包括人类的7种基本表情，即平静、高兴、悲伤、惊讶、恐惧、愤怒和厌恶。
在其中一个实施例中，取多个表征人脸表情的人脸图像包括：获取摄像组件拍摄的实时人脸表情图像；将实时人脸表情图像和历史人脸表情图像合并，形成人脸表情图像集；人脸表情图像集包括多个表征人脸表情并包含图像背景的初始人脸图像；通过人脸特征点法识别初始人脸图像中的人脸，得到人脸表情图像集对应的多个人脸图像。其中，摄像组件是依据光学原理对目标物体进行感光成像的组件，比如摄像头。
在其中一个实施例中，如图3所示，可以采用68人脸特征点法，识别人脸图像中的人脸区域并剔除人脸图像中的背景区域。
步骤104，识别每个人脸图像的眼部区域和嘴部区域，得到对应人脸图像的眼部区域图和嘴部区域图。
其中，眼部区域包括眉毛、眼睛以及鼻梁所在的区域。嘴部区域包括鼻孔和嘴巴所在的区域。具体地，终端通过图像识别方法识别每个人脸图像中的眼部区域和嘴部区域，得到每个人脸图像所对应的眼部区域图和嘴部区域图。图像识别方法可以是人脸特征点法，比如68人脸特征点法。
步骤106，对每个人脸图像进行全局特征提取，得到对应的全局特征向量。
具体地，终端可以采用主成分分析方法(PCA)对每个人脸图像进行全局特征提取得到对应的特征向量，进一步提取该特征向量的前31维特征形成对应人脸图像的全局特征向量。
步骤108，对每个人脸图像对应的眼部区域图和嘴部区域图分别进行部分特征提取，得到对应的眼部特征向量和嘴部特征向量。
具体地，在得到每个人脸图像的眼部区域图和嘴部区域图之后，终端进一步对眼部区域图和嘴部区域图进行部分特征提取，得到每个人脸图像对应的眼部特征向量和嘴部特征向量。
步骤110，基于全局特征向量、眼部特征向量以及嘴部特征向量对人脸图像进行表情识别，得到对应人脸图像的表情类别。
具体地，终端基于全局特征向量、眼部特征向量以及嘴部特征向量进行多特征融合，得到对应人脸图像的融合特征向量；进一步将每个人脸图像的融合特征向量输入到支持向量机(SVM)分类器中进行表情识别，得到对应人脸图像的表情类别。
在本实施例中，基于获取到的多个表征人脸表情的人脸图像，由于人脸图像中对表情识别贡献最大的区域包括眼部区域和嘴部区域，因此识别每个人脸图像中的眼部区域和嘴部区域，由此得到对应人脸图像的眼部区域图和嘴部区域图；进一步，对每个人脸图像进行全局特征提取，得到每个人脸图像对应的全局特征向量；再对每个人脸图像的眼部区域图和嘴部区域图分别进行部分特征提取，以此得到每个人脸图像对应的眼部特征向量和嘴部特征向量；进而基于全局特征向量、眼部特征向量和嘴部特征向量对人脸图像进行表情识别，得到对应的表情类别。本方案通过人脸图像的全局特征向量和局部特征向量共同来识别人脸图像的表情类别，采用多特征融合来识别人脸表情，不需要大量的样本数据，同时也不受到环境的影响，而且也不会因为单一特征导致识别率较低。因此本方案的方法能够在实时识别中提供较高的识别率，同时能有效的降低计算机的计算量。
在一个实施例中，对每个人脸图像对应的眼部区域图和嘴部区域图分别进行部分特征提取，得到对应的眼部特征向量和嘴部特征向量包括：将每个人脸图像对应的眼部区域图和嘴部区域图转化为灰度图，得到对应的眼部区域灰度图和嘴部区域灰度图；对眼部区域灰度图和嘴部区域灰度图，通过预设窗口按照预设滑动距离进行特征提取，得到对应的多个眼部特征图和多个嘴部特征图；通过掩膜对每个眼部特征图和对应的嘴部特征图分别进行卷积处理，得到卷积后的多个眼部掩膜特征图和多个嘴部掩膜特征图；基于多个眼部特征图和多个眼部掩膜特征图，生成对应人脸图像的眼部特征向量；基于多个嘴部特征图和多个嘴部掩膜特征图，生成对应人脸图像的嘴部特征向量。
其中，预设窗口可以是3x3的像素块，预设滑动距离的取值范围包括[1，灰度图的长度)，可以是一个像素。
具体地，在得到眼部区域图和嘴部区域图后，终端进一步将得到的区域图转化为灰度图，得到每个人脸图像对应的眼部区域灰度图和嘴部区域灰度图。然后采用预设窗口按照预设滑动距离对灰度图进行特征提取，得到每个人脸图像对应的多个眼部特征图和多个嘴部特征图，其中每个人脸图像的眼部特征图与嘴部特征图是一一对应的。然后，对于每个人脸图像，终端采用掩模对每个眼部特征图进行卷积处理得到对应的眼部掩膜特征图，并且终端采用同样的掩膜对于该眼部特征图对应的嘴部特征图也进行卷积处理得到对应的嘴部掩膜特征图。最后，终端基于多个眼部特征图和多个眼部掩膜特征图，生成对应人脸图像的眼部特征向量；基于多个嘴部特征图和多个嘴部掩膜特征图，生成对应人脸图像的嘴部特征向量。
在其中一个实施例中，掩膜包括Kirsch算子和二阶导数高斯算子；通过掩膜对每个眼部特征图进行卷积处理，得到卷积后的多个眼部掩膜特征图包括：通过Kirsch算子对每个眼部特征图进行卷积处理，得到对应的边缘特征；通过二阶导数高斯算子对每个眼部特征图进行卷积处理，得到对应的中心特征；将边缘特征和中心特征组合，形成卷积后的眼部掩膜特征图。
其中，中心特征是指特征图中位于中间位置的像素值。边缘特征是指特征图中除了中心特征之外的其他像素值。
具体地，针对每个人脸图像的每个眼部特征图，终端将Kirsch算子中的每个掩膜特征图分别与眼部特征图进行卷积，得到与掩膜特征图对应的Kirsch卷积特征；并将得到的多个Kirsch卷积特征，按照Kirsch卷积特征对应的掩膜特征图在Kirsch算子中的预设方位将眼部特征图中的特征进行替换，得到眼部特征进行掩膜处理后对应的边缘特征。同样的，针对每个人脸图像的每个眼部特征图，终端通过二阶导数高斯算子与眼部特征图进行卷积得到高斯卷积特征；将眼部特征图中的中心特征替换为高斯卷积特征，得到眼部特征进行掩膜处理后对应的中心特征。最后，终端将更新后的眼部特征图作为卷积后的眼部掩膜特征图。
例如，如图4A所示的Kirsch算子示意图，Kirsch算子包括KM0～KM7的8个3x3的掩膜特征图，其中KM0到KM7是按照逆时针方向且在预设方位分布的掩膜特征图；其中预设方位包括东、南、西、北、东南、东北、西北以及西南。如图4B所示的二阶导数高斯算子示意图，该算子包括一个3x3的掩膜特征图FGMc。
如图4C所示的一个眼部特征图的示意图，该特征图SI为3x3的特征图，其中，中心特征为SIc，边缘特征为SIi(i＝0:7)。
如图4D所示，通过公式1计算得到Kirsch卷积特征ERp，通过公式2计算得到高斯卷积特征ERc，
Figure BDA0003632122690000091
Figure BDA0003632122690000092
在一个实施例中，基于多个眼部特征图和多个眼部掩膜特征图，生成对应人脸图像的眼部特征向量包括：根据每个眼部特征图的像素值，计算眼部特征图的平均特征值；基于眼部特征图的平均特征值和各个像素值，以及与眼部特征图对应的眼部掩膜特征图的各个像素值，计算得到人脸图像的眼部特征向量。
在一个实施例中，眼部特征向量包括眼部三元模式向量；像素值包括中心像素值和边缘像素值；基于每个眼部特征图的平均特征值和各个像素值，以及与眼部特征图对应的眼部掩膜特征图的各个像素值，计算得到人脸图像的眼部特征向量包括：基于每个眼部特征图的平均特征值、中心像素值和边缘像素值，以及与眼部特征图对应的眼部掩膜特征图的中心像素值和边缘像素值，通过局部方向三元模式公式计算得到人脸图像的眼部三元模式向量；
Figure BDA0003632122690000093
其中，ELDTPp为眼部三元模式向量，μ为平均特征值，SIc、SIp分别为眼部特征图的中心像素值和边缘像素值，ERc、ERp分别为眼部掩膜特征图的中心像素值和边缘像素值，σ是条件函数。
其中，平均特征值是通过公式4计算得到，公式4如下所示：
Figure BDA0003632122690000094
在其中一个实施例中，眼部三元模式向量包括眼部上三元模式向量和眼部下三元模式向量；通过局部方向三元模式公式计算得到人脸图像的眼部三元模式向量包括：
当
Figure BDA0003632122690000101
时，通过局部方向三元模式公式计算得到人脸图像的眼部下三元模式向量。
当
Figure BDA0003632122690000102
时，通过局部方向三元模式公式计算得到人脸图像的眼部上三元模式向量。
其中，T为预设阈值，经过多次反复试验，根据经验确定预设阈值的取值。在本实施例中，T可以为5。
同理，通过掩膜对每个眼部特征图对应的嘴部特征图进行卷积处理，得到卷积后的多个嘴部掩膜特征图包括：通过Kirsch算子对每个嘴部特征图进行卷积处理，得到嘴部特征图对应的边缘特征；通过二阶导数高斯算子对每个眼部特征图进行卷积处理，得到嘴部特征图对应的中心特征；将嘴部特征图对应的边缘特征和中心特征组合，形成卷积后的眼部掩膜特征图。
在一个实施例中，基于多个嘴部特征图和多个嘴部掩膜特征图，生成对应人脸图像的嘴部特征向量包括：根据每个嘴部特征图的像素值，计算嘴部特征图的平均特征值；基于嘴部特征图的平均特征值和各个像素值，以及与嘴部特征图对应的嘴部掩膜特征图的各个像素值，计算得到人脸图像的嘴部特征向量。
在一个实施例中，嘴部特征向量包括嘴部三元模式向量；像素值包括中心像素值和边缘像素值；基于每个嘴部特征图的平均特征值和各个像素值，以及与嘴部特征图对应的嘴部掩膜特征图的各个像素值，计算得到人脸图像的嘴部特征向量包括：
基于每个嘴部特征图的平均特征值、中心像素值和边缘像素值，以及与嘴部特征图对应的嘴部掩膜特征图的中心像素值和边缘像素值，通过局部方向三元模式公式计算得到人脸图像的嘴部三元模式向量；
Figure BDA0003632122690000103
其中，
Figure BDA0003632122690000104
为嘴部三元模式向量，
Figure BDA0003632122690000105
为嘴部特征图的平均特征值，
Figure BDA0003632122690000106
Figure BDA0003632122690000111
分别为嘴部特征图的中心像素值和边缘像素值，
Figure BDA0003632122690000112
分别为嘴部掩膜特征图的中心像素值和边缘像素值，
Figure BDA0003632122690000113
是条件函数。在本实施例中，
Figure BDA0003632122690000114
与σ的函数表达式一样。
在一个实施例中，嘴部三元模式向量包括嘴部上三元模式向量和嘴部下三元模式向量；通过局部方向三元模式公式计算得到人脸图像的嘴部三元模式向量包括：
当
Figure BDA0003632122690000115
时，通过局部方向三元模式公式计算得到人脸图像的嘴部下三元模式向量。
当
Figure BDA0003632122690000116
时，通过局部方向三元模式公式计算得到人脸图像的嘴部上三元模式向量。
进一步，在得到每个人脸图像的全局特征向量、眼部上三元模式向量、眼部下三元模式向量、嘴部上三元模式向量和嘴部下三元模式向量后，将得到的特征向量进行归一化处理，进一步将归一化后的各个特征向量进行特征融合，生成融合特征向量。
在一个实施例中，归一化处理方法可以是：计算各个特征向量的标准偏差值，将每个特征向量与对应的标准偏差值相除得到归一化后的特征向量。
在本实施例中，通过对人脸图像的眼部特征图和对应的嘴部特征图分别提取上三元模式向量和下三元模式向量，从而得到每个人脸图像的全局特征向量、眼部上三元模式向量、眼部下三元模式向量、嘴部上三元模式向量和嘴部下三元模式向量；通过多维度特征向量来表征人脸图像，针对单一特征提取方法能获得更为丰富的信息，更好的表达人脸图像。进一步，本方案采用PCA提取全局特征向量，虽然PCA被用于融合局部特征的降维，但在光照不均匀的情况下，PCA特征提取的鲁棒性较低；但是本方案还采用局部方向三元模式ELDTP进行部分特征提取，提高了非单调光照的鲁棒性和编码的识别能力，有效的弥补了PCA在光照不均匀的情况下的鲁棒性较低的问题。
应该理解的是，虽然图1-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种表情识别装置500，包括：人脸图像获取模块502、区域图像识别模块504、全局特征提取模块506、部分特征提取模块508和表情识别模块510，其中：
人脸图像获取模块502，用于获取多个表征人脸表情的人脸图像。
区域图像识别模块504，用于识别每个人脸图像的眼部区域和嘴部区域，得到对应人脸图像的眼部区域图和嘴部区域图。
全局特征提取模块506，用于对每个人脸图像进行全局特征提取，得到对应的全局特征向量。
部分特征提取模块508，用于对每个人脸图像对应的眼部区域图和嘴部区域图分别进行部分特征提取，得到对应的眼部特征向量和嘴部特征向量。
表情识别模块510，用于基于全局特征向量、眼部特征向量以及嘴部特征向量对人脸图像进行表情识别，得到对应人脸图像的表情类别。
在一个实施例中，人脸图像获取模块还用于获取摄像组件拍摄的实时人脸表情图像；将实时人脸表情图像和历史人脸表情图像合并，形成人脸表情图像集；人脸表情图像集包括多个表征人脸表情并包含图像背景的初始人脸图像；通过人脸特征点法识别初始人脸图像中的人脸，得到人脸表情图像集对应的多个人脸图像。
在一个实施例中，部分特征提取模块还用于将每个人脸图像对应的眼部区域图和嘴部区域图转化为灰度图，得到对应的眼部区域灰度图和嘴部区域灰度图；对眼部区域灰度图和嘴部区域灰度图，通过预设窗口按照预设滑动距离进行特征提取，得到对应的多个眼部特征图和多个嘴部特征图；通过掩膜对每个眼部特征图和对应的嘴部特征图分别进行卷积处理，得到卷积后的多个眼部掩膜特征图和多个嘴部掩膜特征图；基于多个眼部特征图和多个眼部掩膜特征图，生成对应人脸图像的眼部特征向量；基于多个嘴部特征图和多个嘴部掩膜特征图，生成对应人脸图像的嘴部特征向量。
在一个实施例中，部分特征提取模块还用于通过Kirsch算子对每个眼部特征图进行卷积处理，得到对应的边缘特征；通过二阶导数高斯算子对每个眼部特征图进行卷积处理，得到对应的中心特征；将边缘特征和中心特征组合，形成卷积后的眼部掩膜特征图。
在一个实施例中，部分特征提取模块还用于根据每个眼部特征图的像素值，计算眼部特征图的平均特征值；基于眼部特征图的平均特征值和各个像素值，以及与眼部特征图对应的眼部掩膜特征图的各个像素值，计算得到人脸图像的眼部特征向量。
在一个实施例中，部分特征提取模块还用于基于每个眼部特征图的平均特征值、中心像素值和边缘像素值，以及与眼部特征图对应的眼部掩膜特征图的中心像素值和边缘像素值，通过局部方向三元模式公式计算得到人脸图像的眼部三元模式向量；
Figure BDA0003632122690000131
其中，ELDTPp为眼部三元模式向量，μ为平均特征值，SIc、SIp分别为眼部特征图的中心像素值和边缘像素值，ERc、ERp分别为眼部掩膜特征图的中心像素值和边缘像素值，σ是条件函数。
在一个实施例中，部分特征提取模块还用于：
当
Figure BDA0003632122690000132
时，通过局部方向三元模式公式计算得到人脸图像的眼部下三元模式向量；其中，T为预设阈值。
当
Figure BDA0003632122690000133
时，通过局部方向三元模式公式计算得到人脸图像的眼部上三元模式向量。
本实施例中，基于获取到的多个表征人脸表情的人脸图像，由于人脸图像中对表情识别贡献最大的区域包括眼部区域和嘴部区域，因此识别每个人脸图像中的眼部区域和嘴部区域，由此得到对应人脸图像的眼部区域图和嘴部区域图；进一步，对每个人脸图像进行全局特征提取，得到每个人脸图像对应的全局特征向量；再对每个人脸图像的眼部区域图和嘴部区域图分别进行部分特征提取，以此得到每个人脸图像对应的眼部特征向量和嘴部特征向量；进而基于全局特征向量、眼部特征向量和嘴部特征向量对人脸图像进行表情识别，得到对应的表情类别。本方案通过人脸图像的全局特征向量和局部特征向量共同来识别人脸图像的表情类别，采用多特征融合来识别人脸表情，不需要大量的样本数据，同时也不受到环境的影响，而且也不会因为单一特征导致识别率较低。因此本方案的方法能够在实时识别中提供较高的识别率，同时能有效的降低计算机的计算量。
关于表情识别装置的具体限定可以参见上文中对于表情识别方法的限定，在此不再赘述。上述表情识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该计算机程序被处理器执行时以实现一种表情识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取多个表征人脸表情的人脸图像；识别每个人脸图像的眼部区域和嘴部区域，得到对应人脸图像的眼部区域图和嘴部区域图；对每个人脸图像进行全局特征提取，得到对应的全局特征向量；对每个人脸图像对应的眼部区域图和嘴部区域图分别进行部分特征提取，得到对应的眼部特征向量和嘴部特征向量；基于全局特征向量、眼部特征向量以及嘴部特征向量对人脸图像进行表情识别，得到对应人脸图像的表情类别。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取多个表征人脸表情的人脸图像包括：获取摄像组件拍摄的实时人脸表情图像；将实时人脸表情图像和历史人脸表情图像合并，形成人脸表情图像集；人脸表情图像集包括多个表征人脸表情并包含图像背景的初始人脸图像；通过人脸特征点法识别初始人脸图像中的人脸，得到人脸表情图像集对应的多个人脸图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对每个人脸图像对应的眼部区域图和嘴部区域图分别进行部分特征提取，得到对应的眼部特征向量和嘴部特征向量包括：将每个人脸图像对应的眼部区域图和嘴部区域图转化为灰度图，得到对应的眼部区域灰度图和嘴部区域灰度图；对眼部区域灰度图和嘴部区域灰度图，通过预设窗口按照预设滑动距离进行特征提取，得到对应的多个眼部特征图和多个嘴部特征图；通过掩膜对每个眼部特征图和对应的嘴部特征图分别进行卷积处理，得到卷积后的多个眼部掩膜特征图和多个嘴部掩膜特征图；基于多个眼部特征图和多个眼部掩膜特征图，生成对应人脸图像的眼部特征向量；基于多个嘴部特征图和多个嘴部掩膜特征图，生成对应人脸图像的嘴部特征向量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：掩膜包括Kirsch算子和二阶导数高斯算子；通过掩膜对每个眼部特征图进行卷积处理，得到卷积后的多个眼部掩膜特征图包括：通过Kirsch算子对每个眼部特征图进行卷积处理，得到对应的边缘特征；通过二阶导数高斯算子对每个眼部特征图进行卷积处理，得到对应的中心特征；将边缘特征和中心特征组合，形成卷积后的眼部掩膜特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于多个眼部特征图和多个眼部掩膜特征图，生成对应人脸图像的眼部特征向量包括：根据每个眼部特征图的像素值，计算眼部特征图的平均特征值；基于眼部特征图的平均特征值和各个像素值，以及与眼部特征图对应的眼部掩膜特征图的各个像素值，计算得到人脸图像的眼部特征向量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：眼部特征向量包括眼部三元模式向量；像素值包括中心像素值和边缘像素值；基于每个眼部特征图的平均特征值和各个像素值，以及与眼部特征图对应的眼部掩膜特征图的各个像素值，计算得到人脸图像的眼部特征向量包括：基于每个眼部特征图的平均特征值、中心像素值和边缘像素值，以及与眼部特征图对应的眼部掩膜特征图的中心像素值和边缘像素值，通过局部方向三元模式公式计算得到人脸图像的眼部三元模式向量；
Figure BDA0003632122690000161
其中，ELDTPp为眼部三元模式向量，μ为平均特征值，SIc、SIp分别为眼部特征图的中心像素值和边缘像素值，ERc、ERp分别为眼部掩膜特征图的中心像素值和边缘像素值，σ是条件函数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：眼部三元模式向量包括眼部上三元模式向量和眼部下三元模式向量；通过局部方向三元模式公式计算得到人脸图像的眼部三元模式向量包括：
当
Figure BDA0003632122690000162
时，通过局部方向三元模式公式计算得到人脸图像的眼部下三元模式向量；其中，T为预设阈值。
当
Figure BDA0003632122690000171
时，通过局部方向三元模式公式计算得到人脸图像的眼部上三元模式向量。
本实施例中，基于获取到的多个表征人脸表情的人脸图像，由于人脸图像中对表情识别贡献最大的区域包括眼部区域和嘴部区域，因此识别每个人脸图像中的眼部区域和嘴部区域，由此得到对应人脸图像的眼部区域图和嘴部区域图；进一步，对每个人脸图像进行全局特征提取，得到每个人脸图像对应的全局特征向量；再对每个人脸图像的眼部区域图和嘴部区域图分别进行部分特征提取，以此得到每个人脸图像对应的眼部特征向量和嘴部特征向量；进而基于全局特征向量、眼部特征向量和嘴部特征向量对人脸图像进行表情识别，得到对应的表情类别。本方案通过人脸图像的全局特征向量和局部特征向量共同来识别人脸图像的表情类别，采用多特征融合来识别人脸表情，不需要大量的样本数据，同时也不受到环境的影响，而且也不会因为单一特征导致识别率较低。因此本方案的方法能够在实时识别中提供较高的识别率，同时能有效的降低计算机的计算量。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取多个表征人脸表情的人脸图像；识别每个人脸图像的眼部区域和嘴部区域，得到对应人脸图像的眼部区域图和嘴部区域图；对每个人脸图像进行全局特征提取，得到对应的全局特征向量；对每个人脸图像对应的眼部区域图和嘴部区域图分别进行部分特征提取，得到对应的眼部特征向量和嘴部特征向量；基于全局特征向量、眼部特征向量以及嘴部特征向量对人脸图像进行表情识别，得到对应人脸图像的表情类别。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取多个表征人脸表情的人脸图像包括：获取摄像组件拍摄的实时人脸表情图像；将实时人脸表情图像和历史人脸表情图像合并，形成人脸表情图像集；人脸表情图像集包括多个表征人脸表情并包含图像背景的初始人脸图像；通过人脸特征点法识别初始人脸图像中的人脸，得到人脸表情图像集对应的多个人脸图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对每个人脸图像对应的眼部区域图和嘴部区域图分别进行部分特征提取，得到对应的眼部特征向量和嘴部特征向量包括：将每个人脸图像对应的眼部区域图和嘴部区域图转化为灰度图，得到对应的眼部区域灰度图和嘴部区域灰度图；对眼部区域灰度图和嘴部区域灰度图，通过预设窗口按照预设滑动距离进行特征提取，得到对应的多个眼部特征图和多个嘴部特征图；通过掩膜对每个眼部特征图和对应的嘴部特征图分别进行卷积处理，得到卷积后的多个眼部掩膜特征图和多个嘴部掩膜特征图；基于多个眼部特征图和多个眼部掩膜特征图，生成对应人脸图像的眼部特征向量；基于多个嘴部特征图和多个嘴部掩膜特征图，生成对应人脸图像的嘴部特征向量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：掩膜包括Kirsch算子和二阶导数高斯算子；通过掩膜对每个眼部特征图进行卷积处理，得到卷积后的多个眼部掩膜特征图包括：通过Kirsch算子对每个眼部特征图进行卷积处理，得到对应的边缘特征；通过二阶导数高斯算子对每个眼部特征图进行卷积处理，得到对应的中心特征；将边缘特征和中心特征组合，形成卷积后的眼部掩膜特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于多个眼部特征图和多个眼部掩膜特征图，生成对应人脸图像的眼部特征向量包括：根据每个眼部特征图的像素值，计算眼部特征图的平均特征值；基于眼部特征图的平均特征值和各个像素值，以及与眼部特征图对应的眼部掩膜特征图的各个像素值，计算得到人脸图像的眼部特征向量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：眼部特征向量包括眼部三元模式向量；像素值包括中心像素值和边缘像素值；基于每个眼部特征图的平均特征值和各个像素值，以及与眼部特征图对应的眼部掩膜特征图的各个像素值，计算得到人脸图像的眼部特征向量包括：基于每个眼部特征图的平均特征值、中心像素值和边缘像素值，以及与眼部特征图对应的眼部掩膜特征图的中心像素值和边缘像素值，通过局部方向三元模式公式计算得到人脸图像的眼部三元模式向量；
Figure BDA0003632122690000191
其中，ELDTPp为眼部三元模式向量，μ为平均特征值，SIc、SIp分别为眼部特征图的中心像素值和边缘像素值，ERc、ERp分别为眼部掩膜特征图的中心像素值和边缘像素值，σ是条件函数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：眼部三元模式向量包括眼部上三元模式向量和眼部下三元模式向量；通过局部方向三元模式公式计算得到人脸图像的眼部三元模式向量包括：
当
Figure BDA0003632122690000192
时，通过局部方向三元模式公式计算得到人脸图像的眼部下三元模式向量；其中，T为预设阈值。
当
Figure BDA0003632122690000193
时，通过局部方向三元模式公式计算得到人脸图像的眼部上三元模式向量。
本实施例中，基于获取到的多个表征人脸表情的人脸图像，由于人脸图像中对表情识别贡献最大的区域包括眼部区域和嘴部区域，因此识别每个人脸图像中的眼部区域和嘴部区域，由此得到对应人脸图像的眼部区域图和嘴部区域图；进一步，对每个人脸图像进行全局特征提取，得到每个人脸图像对应的全局特征向量；再对每个人脸图像的眼部区域图和嘴部区域图分别进行部分特征提取，以此得到每个人脸图像对应的眼部特征向量和嘴部特征向量；进而基于全局特征向量、眼部特征向量和嘴部特征向量对人脸图像进行表情识别，得到对应的表情类别。本方案通过人脸图像的全局特征向量和局部特征向量共同来识别人脸图像的表情类别，采用多特征融合来识别人脸表情，不需要大量的样本数据，同时也不受到环境的影响，而且也不会因为单一特征导致识别率较低。因此本方案的方法能够在实时识别中提供较高的识别率，同时能有效的降低计算机的计算量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(RandomAccess Memory，RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，比如静态随机存取存储器(StaticRandomAccessMemory，SRAM)和动态随机存取存储器(DynamicRandomAccessMemory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种表情识别方法，所述方法包括：
获取多个表征人脸表情的人脸图像；
识别每个所述人脸图像的眼部区域和嘴部区域，得到对应人脸图像的眼部区域图和嘴部区域图；
对每个所述人脸图像进行全局特征提取，得到对应的全局特征向量；
对每个所述人脸图像对应的所述眼部区域图和所述嘴部区域图分别进行部分特征提取，得到对应的眼部特征向量和嘴部特征向量；
基于所述全局特征向量、所述眼部特征向量以及所述嘴部特征向量对所述人脸图像进行表情识别，得到对应所述人脸图像的表情类别。
2.根据权利要求1所述的方法，其特征在于，所述获取多个表征人脸表情的人脸图像包括：
获取摄像组件拍摄的实时人脸表情图像；
将所述实时人脸表情图像和历史人脸表情图像合并，形成人脸表情图像集；所述人脸表情图像集包括多个表征人脸表情并包含图像背景的初始人脸图像；
通过人脸特征点法识别所述初始人脸图像中的人脸，得到所述人脸表情图像集对应的多个人脸图像。
3.根据权利要求1所述的方法，其特征在于，所述对每个所述人脸图像对应的所述眼部区域图和所述嘴部区域图分别进行部分特征提取，得到对应的眼部特征向量和嘴部特征向量包括：
将每个所述人脸图像对应的所述眼部区域图和所述嘴部区域图转化为灰度图，得到对应的眼部区域灰度图和嘴部区域灰度图；
对所述眼部区域灰度图和所述嘴部区域灰度图，通过预设窗口按照预设滑动距离进行特征提取，得到对应的多个眼部特征图和多个嘴部特征图；
通过掩膜对每个所述眼部特征图和对应的所述嘴部特征图分别进行卷积处理，得到卷积后的多个眼部掩膜特征图和多个嘴部掩膜特征图；
基于多个所述眼部特征图和多个所述眼部掩膜特征图，生成对应所述人脸图像的眼部特征向量；
基于多个所述嘴部特征图和多个所述嘴部掩膜特征图，生成对应所述人脸图像的嘴部特征向量。
4.根据权利要求3所述的方法，其特征在于，所述掩膜包括Kirsch算子和二阶导数高斯算子；所述通过掩膜对每个所述眼部特征图进行卷积处理，得到卷积后的多个眼部掩膜特征图包括：
通过所述Kirsch算子对每个所述眼部特征图进行卷积处理，得到对应的边缘特征；
通过所述二阶导数高斯算子对每个眼部特征图进行卷积处理，得到对应的中心特征；
将所述边缘特征和所述中心特征组合，形成卷积后的眼部掩膜特征图。
5.根据权利要求3所述的方法，其特征在于，所述基于多个所述眼部特征图和多个所述眼部掩膜特征图，生成对应所述人脸图像的眼部特征向量包括：
根据每个所述眼部特征图的像素值，计算所述眼部特征图的平均特征值；
基于所述眼部特征图的平均特征值和各个像素值，以及与所述眼部特征图对应的所述眼部掩膜特征图的各个像素值，计算得到所述人脸图像的眼部特征向量。
6.根据权利要求5所述的方法，其特征在于，所述眼部特征向量包括眼部三元模式向量；所述像素值包括中心像素值和边缘像素值；所述基于每个所述眼部特征图的平均特征值和各个像素值，以及与所述眼部特征图对应的所述眼部掩膜特征图的各个像素值，计算得到所述人脸图像的眼部特征向量包括：
基于每个所述眼部特征图的平均特征值、中心像素值和边缘像素值，以及与所述眼部特征图对应的所述眼部掩膜特征图的中心像素值和边缘像素值，通过局部方向三元模式公式计算得到所述人脸图像的眼部三元模式向量；
Figure FDA0003632122680000021
其中，ELDTPp为所述眼部三元模式向量，μ为所述平均特征值，SIc、SIp分别为所述眼部特征图的中心像素值和边缘像素值，ERc、ERp分别为所述眼部掩膜特征图的中心像素值和边缘像素值，σ是条件函数。
7.根据权利要求6所述的方法，其特征在于，所述眼部三元模式向量包括眼部上三元模式向量和眼部下三元模式向量；所述通过局部方向三元模式公式计算得到所述人脸图像的眼部三元模式向量包括：
当
Figure FDA0003632122680000031
时，通过所述局部方向三元模式公式计算得到所述人脸图像的眼部下三元模式向量；其中，T为预设阈值；
当
Figure FDA0003632122680000032
时，通过所述局部方向三元模式公式计算得到所述人脸图像的眼部上三元模式向量。
8.一种表情识别装置，所述装置包括：
人脸图像获取模块，用于获取多个表征人脸表情的人脸图像；
区域图像识别模块，用于识别每个所述人脸图像的眼部区域和嘴部区域，得到对应人脸图像的眼部区域图和嘴部区域图；
全局特征提取模块，用于对每个所述人脸图像进行全局特征提取，得到对应的全局特征向量；
部分特征提取模块，用于对每个所述人脸图像对应的所述眼部区域图和所述嘴部区域图分别进行部分特征提取，得到对应的眼部特征向量和嘴部特征向量；
表情识别模块，用于基于所述全局特征向量、所述眼部特征向量以及所述嘴部特征向量对所述人脸图像进行表情识别，得到对应所述人脸图像的表情类别。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210492682.7A 2022-05-07 2022-05-07 表情识别方法、装置、计算机设备和计算机可读存储介质 Active CN115035566B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210492682.7A CN115035566B (zh) 2022-05-07 2022-05-07 表情识别方法、装置、计算机设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210492682.7A CN115035566B (zh) 2022-05-07 2022-05-07 表情识别方法、装置、计算机设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN115035566A true CN115035566A (zh) 2022-09-09
CN115035566B CN115035566B (zh) 2023-07-04

Family

ID=83118857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210492682.7A Active CN115035566B (zh) 2022-05-07 2022-05-07 表情识别方法、装置、计算机设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115035566B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452741A (zh) * 2023-04-20 2023-07-18 北京百度网讯科技有限公司 对象重建方法、对象重建模型的训练方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299653A (zh) * 2018-08-06 2019-02-01 重庆邮电大学 一种基于改进完备局部三值模式的人脸表情特征提取方法
CN112131978A (zh) * 2020-09-09 2020-12-25 腾讯科技（深圳）有限公司 一种视频分类方法、装置、电子设备和存储介质
CN112446322A (zh) * 2020-11-24 2021-03-05 杭州网易云音乐科技有限公司 眼球特征检测方法、装置、设备及计算机可读存储介质
CN112614213A (zh) * 2020-12-14 2021-04-06 杭州网易云音乐科技有限公司 人脸表情确定方法、表情参数确定模型、介质及设备
CN112613414A (zh) * 2020-12-25 2021-04-06 中用科技有限公司 融合眼部识别模型的局部遮挡人脸识别方法、系统、设备
CN112990016A (zh) * 2021-03-16 2021-06-18 中国平安人寿保险股份有限公司 表情特征提取方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299653A (zh) * 2018-08-06 2019-02-01 重庆邮电大学 一种基于改进完备局部三值模式的人脸表情特征提取方法
CN112131978A (zh) * 2020-09-09 2020-12-25 腾讯科技（深圳）有限公司 一种视频分类方法、装置、电子设备和存储介质
CN112446322A (zh) * 2020-11-24 2021-03-05 杭州网易云音乐科技有限公司 眼球特征检测方法、装置、设备及计算机可读存储介质
CN112614213A (zh) * 2020-12-14 2021-04-06 杭州网易云音乐科技有限公司 人脸表情确定方法、表情参数确定模型、介质及设备
CN112613414A (zh) * 2020-12-25 2021-04-06 中用科技有限公司 融合眼部识别模型的局部遮挡人脸识别方法、系统、设备
CN112990016A (zh) * 2021-03-16 2021-06-18 中国平安人寿保险股份有限公司 表情特征提取方法、装置、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452741A (zh) * 2023-04-20 2023-07-18 北京百度网讯科技有限公司 对象重建方法、对象重建模型的训练方法、装置及设备
CN116452741B (zh) * 2023-04-20 2024-03-01 北京百度网讯科技有限公司 对象重建方法、对象重建模型的训练方法、装置及设备

Also Published As

Publication number Publication date
CN115035566B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN109815850B (zh) 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN112800903B (zh) 一种基于时空图卷积神经网络的动态表情识别方法及系统
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
US9443325B2 (en) Image processing apparatus, image processing method, and computer program
WO2021139475A1 (zh) 一种表情识别方法及装置、设备、计算机可读存储介质、计算机程序产品
JP6207210B2 (ja) 情報処理装置およびその方法
Miah et al. Rotation, Translation and Scale Invariant Sign Word Recognition Using Deep Learning.
KR20210060554A (ko) 얼굴 랜드마크 검출 방법과 장치, 컴퓨터 장치, 및 저장 매체
CN111598038B (zh) 脸部特征点检测方法、装置、设备及存储介质
CN111539911B (zh) 一种口呼吸面容识别方法、设备和存储介质
JP2022546643A (ja) 不確実性を有するランドマーク位置推定のための画像処理システムおよび方法
KR20190116052A (ko) 딥 러닝 기반 퍼스널 컬러 진단 및 가상 메이크업 방법 및 장치
CN113034514A (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN112115790A (zh) 人脸识别方法、装置、可读存储介质和电子设备
CN112270747A (zh) 一种人脸识别方法、装置及电子设备
CN115035566B (zh) 表情识别方法、装置、计算机设备和计算机可读存储介质
CN114519401B (zh) 一种图像分类方法及装置、电子设备、存储介质
CN115205933A (zh) 面部表情识别方法、装置、设备及可读存储介质
CN110147740B (zh) 人脸识别方法、装置、设备和存储介质
JP7107380B2 (ja) 推定装置、推定方法、およびプログラム
WO2024000233A1 (zh) 面部表情识别方法、装置、设备及可读存储介质
CN113724237B (zh) 齿痕识别方法、装置、计算机设备及存储介质
CN115205943A (zh) 图像处理方法、装置、电子设备及存储介质
JP2005266981A (ja) 人種推定装置
CN112560725A (zh) 关键点检测模型及其检测方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant