CN115100712A - 表情识别方法、装置、电子设备及存储介质 - Google Patents

表情识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115100712A
CN115100712A CN202210734275.2A CN202210734275A CN115100712A CN 115100712 A CN115100712 A CN 115100712A CN 202210734275 A CN202210734275 A CN 202210734275A CN 115100712 A CN115100712 A CN 115100712A
Authority
CN
China
Prior art keywords
image
region
feature
face
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210734275.2A
Other languages
English (en)
Inventor
韦燕华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Wentai Information Technology Co ltd
Original Assignee
Wuxi Wentai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Wentai Information Technology Co ltd filed Critical Wuxi Wentai Information Technology Co ltd
Priority to CN202210734275.2A priority Critical patent/CN115100712A/zh
Publication of CN115100712A publication Critical patent/CN115100712A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种表情识别方法、装置、电子设备及存储介质，该方法包括：提取人脸图像对应的全局特征向量；从人脸图像中提取N个人脸区域图像；对各个人脸区域图像进行特征提取，得到各个人脸区域图像对应的区域特征图；生成各个区域特征图对应的区域掩膜图；根据各个人脸区域对应的区域特征图及各个区域特征图对应的区域掩膜图，确定各个人脸区域图像对应的局部特征向量；将全局特征向量和各个局部特征向量融合，得到融合特征向量；根据融合特征向量确定人脸图像对应的人脸表情。实施本申请实施例，能够提高表情识别的准确性。

Description

表情识别方法、装置、电子设备及存储介质
技术领域
本申请涉及图像识别技术领域，尤其涉及一种表情识别方法、装置、电子设备及存储介质。
背景技术
当前电子设备中的应用软件或在线网站需要获取实时人脸表情以提供相对应的服务，但在相关技术中，各种表情识别方法的准确性较低。
发明内容
本申请实施例公开了一种表情识别方法、装置、电子设备及存储介质，能够提高表情识别的准确性。
本申请实施例公开了一种表情识别方法，所述方法包括：
提取人脸图像对应的全局特征向量；
从所述人脸图像中提取N个人脸区域图像，所述N为正整数；
对各个所述人脸区域图像进行特征提取，得到各个所述人脸区域图像对应的区域特征图；
根据各个所述人脸区域图像对应的区域特征图，生成各个所述区域特征图对应的区域掩膜图；
根据各个所述人脸区域图像对应的区域特征图及各个所述区域特征图对应的区域掩膜图，确定各个所述人脸区域图像对应的局部特征向量；
将所述全局特征向量和各个所述人脸区域图像对应的局部特征向量融合，得到融合特征向量；
根据所述融合特征向量确定所述人脸图像对应的人脸表情。
在一个实施例中，所述对各个所述人脸区域图像进行特征提取，得到各个所述人脸区域图像对应的区域特征图，包括：
通过滑动窗口，按照预设滑动距离在第一人脸区域图像中进行多次滑动，并对所述滑动窗口每次滑动到达的图像位置进行特征提取，得到所述第一人脸区域图像对应的多个第一区域特征图；其中，所述第一人脸区域图像为任一所述人脸区域图像。
在一个实施例中，第一人脸区域图像对应有M个第一区域特征图，所述M为正整数，所述第一人脸区域图像为任一所述人脸区域图像；所述根据各个所述人脸区域图像对应的区域特征图生成各个所述区域特征图对应的区域掩膜图，包括：
对所述第一人脸区域图像对应的每个所述第一区域特征图进行卷积处理，得到每个所述第一区域特征图对应的边缘特征和中心特征；
根据每个所述第一区域特征图对应的边缘特征和中心特征，生成每个所述第一区域特征图对应的区域掩膜图。
在一个实施例中，所述局部特征向量包括局部方向下三元向量以及局部方向上三元模式向量，第一人脸区域图像对应有M个第一区域特征图，所述第一人脸区域图像为任一所述人脸区域图像，所述M为正整数；
所述根据各个所述人脸区域图像对应的区域特征图及各个所述区域特征图对应的区域掩膜图，确定各个所述人脸区域图像对应的局部特征向量，包括：
获取目标第一区域特征图的多个第一目标像素值，以及获取所述目标第一区域特征图对应的目标第一区域掩膜图的多个第二目标像素值；所述目标第一区域特征图为任一所述第一区域特征图，所述多个第一目标像素值包括所述目标第一区域特征图的平均像素值、第一中心像素值以及多个第一边缘像素值，所述多个第二目标像素值包括所述目标第一区域掩膜图中与所述第一中心像素值对应的第二中心像素值以及与所述多个第一边缘像素值分别对应的多个第二边缘像素值；
根据所述多个第一目标像素值以及所述多个第二目标像素值，确定所述目标第一区域特征图对应的局部方向下三元模式值以及局部方向上三元模式值；
根据所述M个第一区域特征图分别对应的局部方向下三元模式值以及局部方向上三元模式值，确定所述第一人脸区域图像对应的局部方向下三元向量以及局部方向上三元模式向量。
在一个实施例中，所述根据所述多个第一目标像素值以及所述多个第二目标像素值，确定所述目标第一区域特征图对应的局部方向下三元模式值以及局部方向上三元模式值，包括：
将所述平均像素值减去所述第一中心像素值，得到第一差值，以及将各个所述第一边缘像素值减去所述第一中心像素值，得到各个所述第一边缘像素值对应的第二差值；
将所述第一差值与预设阈值进行比较，以及将所述第二中心像素值与所述预设阈值进行比较，得到第一综合比较结果；
将各个所述第一边缘像素值对应的第二差值与所述预设阈值进行比较，以及将各个所述第一边缘像素值对应的第二边缘像素值与所述预设阈值进行比较，得到各个所述第一边缘像素值对应的第二综合比较结果；
根据所述第一综合比较结果和各个所述第一边缘像素值对应的第二综合比较结果，确定所述目标第一区域特征图对应的局部方向下三元模式值以及局部方向上三元模式值。
在一个实施例中，所述将所述全局特征向量和各个所述人脸区域图像对应的局部特征向量融合，得到融合特征向量，包括：
计算所述全局特征向量、各个所述人脸区域图像对应的局部方向下三元模式向量以及局部方向上三元模式向量分别对应的多个标准偏差值；
根据所述多个标准偏差值对所述全局特征向量、各个所述人脸区域图像对应的局部方向下三元模式向量以及局部方向上三元模式向量进行归一化处理，得到融合特征向量。
在一个实施例中，在所述根据所述融合特征向量确定所述人脸图像对应的人脸表情之后，所述方法还包括：
根据所述人脸表情确定表情图像，所述表情图像包括与所述人脸表情对应的表情包图像、与所述人脸表情对立的表情包图像、与所述人脸表情对应的人脸局部图像、与所述人脸表情对立的人脸局部图像中的一种或多种；
在所述人脸图像中确定所述表情图像对应的显示区域；
在所述人脸图像的所述显示区域叠加所述表情图像，并显示叠加后的人脸图像。
本申请实施例公开了一种表情识别装置，所述装置包括：
全局特征提取模块，用于提取人脸图像对应的全局特征向量；
区域图像提取模块，用于从所述人脸图像中提取N个人脸区域图像，所述N为正整数；
特征图像确定模块，用于对各个所述人脸区域图像进行特征提取，得到各个所述人脸区域图像对应的区域特征图；
掩膜图像确定模块，用于根据各个所述人脸区域图像对应的区域特征图生成各个所述区域特征图对应的区域掩膜图；
局部特征确定模块，用于根据各个所述人脸区域图像对应的区域特征图及各个所述区域特征图对应的区域掩膜图，确定各个所述人脸区域图像对应的局部特征向量；
特征融合模块，用于将所述全局特征向量和各个所述人脸区域图像对应的局部特征向量融合，得到融合特征向量；
表情确定模块，用于根据所述融合特征向量确定所述人脸图像对应的人脸表情。
在一个实施例中，特征图像确定模块，还用于通过滑动窗口，按照预设滑动距离在第一人脸区域图像中进行多次滑动，并对所述滑动窗口每次滑动到达的图像位置进行特征提取，得到所述第一人脸区域图像对应的多个第一区域特征图；其中，所述第一人脸区域图像为任一所述人脸区域图像。
在一个实施例中，第一人脸区域图像对应有M个第一区域特征图，所述M为正整数，所述第一人脸区域图像为任一所述人脸区域图像；掩膜图像确定模块，还用于对所述第一人脸区域图像对应的每个所述第一区域特征图进行卷积处理，得到每个所述第一区域特征图对应的边缘特征和中心特征；根据每个所述第一区域特征图对应的边缘特征和中心特征，生成每个所述第一区域特征图对应的区域掩膜图。
在一个实施例中，所述局部特征向量包括局部方向下三元向量以及局部方向上三元模式向量，第一人脸区域图像对应有M个第一区域特征图，所述第一人脸区域图像为任一人脸区域图像，所述M为正整数；
局部特征确定模块，包括像素值获取单元、特征值确定单元及向量确定单元；
所述像素值获取单元，用于获取目标第一区域特征图的多个第一目标像素值，以及获取所述目标第一区域特征图对应的目标第一区域掩膜图的多个第二目标像素值；所述目标第一区域特征图为任一所述第一区域特征图，所述多个第一目标像素值包括所述目标第一区域特征图的平均像素值、第一中心像素值以及多个第一边缘像素值，所述多个第二目标像素值包括所述目标第一区域掩膜图中与所述第一中心像素值对应的第二中心像素值以及与所述多个第一边缘像素值分别对应的多个第二边缘像素值；
所述特征值确定单元，用于根据所述多个第一目标像素值以及所述多个第二目标像素值，确定所述目标第一区域特征图对应的局部方向下三元模式值以及局部方向上三元模式值；
所述向量确定单元，用于根据所述M个第一区域特征图分别对应的局部方向下三元模式值以及局部方向上三元模式值，确定所述第一人脸区域图像对应的局部方向下三元向量以及局部方向上三元模式向量。
在一个实施例中，所述特征值确定单元，还用于将所述平均像素值减去所述第一中心像素值，得到第一差值，以及将各个所述第一边缘像素值减去所述第一中心像素值，得到各个所述第一边缘像素值对应的第二差值；将所述第一差值与预设阈值进行比较，以及将所述第二中心像素值与所述预设阈值进行比较，得到第一综合比较结果；将各个所述第一边缘像素值对应的第二差值与所述预设阈值进行比较，以及将各个所述第一边缘像素值对应的第二边缘像素值与所述预设阈值进行比较，得到各个所述第一边缘像素值对应的第二综合比较结果；根据所述第一综合比较结果和各个所述第一边缘像素值对应的第二综合比较结果，确定所述目标第一区域特征图对应的局部方向下三元模式值以及局部方向上三元模式值。
在一个实施例中，特征融合模块，还用于计算所述全局特征向量、各个所述人脸区域图像对应的局部方向下三元模式向量以及局部方向上三元模式向量分别对应的多个标准偏差值；根据所述多个标准偏差值对所述全局特征向量、各个所述人脸区域图像对应的局部方向下三元模式向量以及局部方向上三元模式向量进行归一化处理，得到融合特征向量。
在一个实施例中，所述表情识别装置还包括显示模块，显示模块，用于根据所述人脸表情确定表情图像，所述表情图像包括与所述人脸表情对应的表情包图像、与所述人脸表情对立的表情包图像、与所述人脸表情对应的人脸局部图像、与所述人脸表情对立的人脸局部图像中的一种或多种；在所述人脸图像中确定所述表情图像对应的显示区域；在所述人脸图像的所述显示区域叠加所述表情图像，并显示叠加后的人脸图像。
本申请实施例公开了一种电子设备，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行上述任一实施例所述的方法。
本申请实施例公开了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序在被处理器执行时，使得所述处理器执行上述任一实施例所述的方法。
通过实施本申请实施例，电子设备可以从人脸图像中提取全局特征向量，并从人脸图像中提取人脸区域图像，再从人脸区域图像中提取区域特征图，根据人脸区域图像对应的区域特征图，生成区域特征图对应的区域掩膜图，根据各个人脸区域图像对应的区域特征图和各个区域特征图对应的区域掩膜图共同确定人脸区域图像对应的局部特征向量，再将全局特征向量和各个人脸区域图像对应的局部特征向量融合，得到融合特征向量，根据该融合特征向量确定人脸图像对应的人脸表情。在本申请实施例中，可根据人脸图像中的人脸区域图像对应的区域特征图和区域特征图对应的区域掩膜图，共同确定人脸区域图像对应的局部特征向量，再将全局特征向量和各个人脸区域图像对应的局部特征向量进行融合，能够提高局部特征向量的准确性，进而提高由全局特征向量和局部特征向量融合得到的融合特征向量的准确性，从而提高表情识别的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图进行简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例公开的一种表情识别方法的应用场景示意图；
图2是本申请实施例提供的一种表情识别方法的流程示意图；
图3是本申请实施例公开的人脸68关键点的示意图；
图4是本申请实施例公开的一种通过滑动窗口提取区域特征图的示意图；
图5是本申请实施例公开的得到融合特征向量的流程示意图；
图6是本申请实施例公开的根据人脸表情确定表情图像并显示在人脸图像中的流程示意图；
图7是本申请实施例公开的一种表情识别装置的模块化示意图；
图8是本申请实施例公开的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一目标像素值称为第二目标像素值，且类似地，可将第二目标像素值称为第一目标像素值。第一目标像素值和第二目标像素值两者都是目标像素值，但其不是同一目标像素值。
本申请实施例公开了一种表情识别方法、装置、电子设备及存储介质，能够提高表情识别的准确性。
以下将结合附图进行详细描述。
请参考图1，图1是本申请实施例公开的一种表情识别方法的应用场景示意图，该应用场景下可包括电子设备10。电子设备10可包括但不限于手机、平板电脑、可穿戴设备、笔记本电脑、PC(Personal Computer，个人计算机)等。此外，电子设备10的操作系统可包括但不限于Android(安卓)操作系统、IOS操作系统、Symbian(塞班)操作系统、BlackBerry(黑莓)操作系统、Windows Phone8操作系统等，本申请实施例不作限定。
其中，电子设备10可以获取人脸图像，该人脸图像可以是电子设备10通过摄像头拍摄的人脸图像，或者是电子设备10中存储的人脸图像，也可以是其它电子设备发送给电子设备10的人脸图像。电子设备10可以提取人脸图像对应的全局特征向量，并从人脸图像中提取N个人脸区域图像，N为正整数。对各个人脸区域图像进行特征提取，得到各个人脸区域图像对应的区域特征图，一个人脸区域图像对应的区域特征图可以为一个或多个，根据各个人脸区域图像对应的区域特征图，生成各个区域特征图对应的区域掩膜图，区域特征图与区域掩膜图之间一一对应。再根据各个人脸区域图像对应的区域特征图及各个区域特征图对应的区域掩膜图，确定各个人脸区域图像对应的局部特征向量，将全局特征向量和各个人脸区域图像对应的局部特征向量融合，得到融合特征向量，从而可以根据融合特征向量确定人脸图像对应的人脸表情。
如图2所示，图2是本申请实施例提供的一种表情识别方法的流程示意图，该表情识别方法可以应用于上述的电子设备，该表情识别方法包括以下步骤：
步骤210，提取人脸图像对应的全局特征向量。
电子设备可以获取人脸图像，该人脸图像可以是电子设备实时拍摄到包含人脸的图像，也可以是接收到的其它电子设备发送的图像，还可以是从互联网中获取到的图像，本申请实施例对此不做限制。在获取到任一图像时，电子设备可以先检测图像是否包括人脸，以确定当前检测的图像是否为人脸图像，若当前检测到的图像为人脸图像，则可以提取人脸图像对应的全局特征向量。
可选的，检测图像是否为人脸图像的方法可以是通过检测人脸关键点的人脸识别方法，也可以是通过几何特征的人脸识别方法，还可以是通过神经网络的人脸识别方法，对此不做作限制。作为一种可选的实施方式，电子设备可以检测图像中的人脸关键点，若检测到对应的人脸区域关键点，则确定当前检测的图像为人脸图像。例如，电子设备检测到图像中存在眼部关键点和嘴部关键点，则可以确定当前检测的图像为人脸图像。其中，关键点检测的方法可以包括但不限于人脸68关键点检测法、人脸108关键点检测法等。
在一个具体实施例中，电子设备可以通过主成分分析法提取人脸图像对应的全局特征向量，全局特征向量可用于描述人脸图像的全局特征，人脸图像的全局特征可包括整个人脸图像的颜色特征、纹理特征以及形状特征等特征。电子设备可以将人脸图像各个像素点的像素值转换为像素矩阵的形式，再提取该像素矩阵的特征值和特征向量，其中，特征值与特征向量一一对应，将特征值按照从大到小的顺序进行排序，将前X个的特征值对应的特征向量分别作为列向量，组成全局特征向量。例如，电子设备提取到64个特征值和64个特征向量，X为31，将64个特征值进行排序，可以提取前31个特征值对应的特征向量分别作为列向量，组成全局特征向量。
步骤220，从人脸图像中提取N个人脸区域图像，N为正整数。
在一个实施例中，电子设备可以对人脸图像进行关键点检测，得到人脸区域关键点，并根据该人脸区域关键点在人脸图像中所处的位置，划分出N个人脸区域图像，N为正整数，该人脸区域图像可以包括但不限于眼部区域图像、嘴部区域图像等。可选的，提取到的人脸区域图像的形状可以包括但不限于矩形、正方形、菱形以及圆形，对此不作限制。例如，电子设备可以检测到眼部区域关键点，根据眼部区域关键点划分出矩形的眼部区域图像。
如图3所示，图3是本申请实施例公开的人脸68关键点的示意图，其中，电子设备对人脸图像进行人脸关键点检测，得到68个人脸关键点，再根据68个人脸关键点从人脸图像中确定各个人脸区域图像。例如，可根据眼部区域的人脸关键点(如在眉毛上的关键点17～26，在眼睛上的关键点36～47等)确定眼部区域图像310，可根据嘴部区域的人脸关键点(如在嘴唇上的关键点48～67等)确定嘴部区域图像320。
步骤230，对各个人脸区域图像进行特征提取，得到各个人脸区域图像对应的区域特征图。
在一些实施例中，在对人脸区域图像进行特征提取之前，电子设备可以先对各个人脸区域图像进行灰度处理，从而得到各个人脸区域图像对应的区域灰度图，再对人脸区域图像对应的区域灰度图进行特征提取，得到各个人脸区域图像对应的区域特征图。例如，电子设备对眼部区域图像进行灰度处理，得到眼部灰度图。
每个人脸区域图像可以对应多个区域特征图，每个区域特征图可以由多个像素点组成，且每个区域特征图中的像素点数量相等，以一个包含3×3的像素点的眼部特征图为例，该眼部特征图包括9个像素点，各个像素点的像素值为该眼部特征图的特征值，如式(1)所示，
Figure BDA0003714673250000101
其中，该眼部特征图的中心像素值为62，边缘像素值为60、50、54、42、40、70、51、62，该中心像素值为位于图像中间位置的像素点的像素值，该边缘像素值为位于图像边缘位置的像素点的像素值。
在一个实施例中，电子设备通过滑动窗口，按照预设滑动距离在第一人脸区域图像中进行多次滑动，并对滑动窗口每次滑动到达的图像位置进行特征提取，得到第一人脸区域图像对应的多个第一区域特征图；其中，第一人脸区域图像为任一人脸区域图像。
其中，电子设备可以将滑动窗口的尺寸限定为固定值，例如像素点3×3的窗口，电子设备也可以根据预设窗口比例确定滑动窗口的尺寸，预设窗口比例指的是滑动窗口和人脸区域图像之间的比例。可选的，滑动窗口的形状可以为矩形，预设窗口比例可以包括窗口长度比例以及窗口宽度比例，该窗口长度比例与窗口宽度比例均可以是大于0且不大于1的值。电子设备将窗口长度比例乘以人脸区域图像的长度，得到滑动窗口的长度，以及将窗口宽度比例乘以人脸区域图像的宽度，得到滑动窗口的宽度，即可以通过长度和宽度确定滑动窗口的尺寸。作为另一种可选的，滑动窗口的形状还可以为正方形，预设窗口比例可以为一个大于0且不大于1的值，电子设备将预设窗口比例与人脸区域图像的宽度相乘，得到滑动窗口的边长。
电子设备可以按照预设滑动距离将滑动窗口遍历第一人脸区域图像。电子设备可以获取滑动窗口的初始位置，该初始位置可以包括但不限于第一人脸区域图像的左上角、右上角、左下角以及右下角，按照预设滑动距离，将该滑动窗口从初始位置滑动到与初始位置对立的位置，例如，初始位置为左上角，与初始位置对立的位置包括右上角、左下角以及右下角。其中，电子设备可以根据预设滑动距离、滑动窗口的尺寸以及第一人脸区域图像的尺寸确定滑动的次数以及提取到的第一区域特征图的数量，如图4所示，图4是本申请实施例公开的一种通过滑动窗口提取特征图的示意图，以包含5×5的像素点的眼部区域图像为例，滑动窗口可以是包含3×3的像素点的尺寸，获取到的滑动窗口的初始位置为左上角，即为图4(a)，预设滑动距离为1，电子设备可以将滑动窗口从左上角向下滑动2次，到达图4(b)所示的位置，再向右滑动1次，到达图4(c)所示的位置，再向上滑动2次，到达图4(d)所示的位置，再向右滑动1次，到达图4(e)所示的位置，再向下滑动2次，到达右下角，即图4(f)所示的位置，滑动的次数为8次，提取的眼部特征图的数量为9张。
实施该实施例，电子设备可以通过滑动窗口对第一人脸区域图像进行多次滑动，得到第一人脸区域图像对应的多个区域特征图，能够将人脸区域图像再次划分，获取比人脸区域图像尺寸更小的特征图，从而提高特征提取的精确度。
步骤240，根据各个人脸区域图像对应的区域特征图，生成各个区域特征图对应的区域掩膜图。
电子设备可以根据各个人脸区域图像对应的区域特征图，确定各个区域特征图中包含的特征，通过各个区域特征图中包含的特征生成各个区域特征图对应的区域掩膜图，区域掩膜图为保留特征的图像。
在一个实施例中，以第一人脸区域图像为例，第一人脸区域图像为任一人脸区域图像，电子设备可以对第一人脸图像对应的每个第一区域特征图进行卷积处理，得到每个第一区域特征图对应的边缘特征和中心特征，根据每个第一区域特征图对应的边缘特征和中心特征，生成每个第一区域特征图对应的区域掩膜图。
其中，第一人脸区域可以对应有M个第一区域特征图，M为正整数。电子设备可以通过不同的算子分别对第一人脸图像对应的每个第一区域特征图进行卷积处理，得到第一区域特征图对应的边缘特征和中心特征，边缘特征为图像中像素值变化不连续的区域的特征，中心特征可以为图像中心区域的特征。具体的，电子设备可以通过第一算子对第一人脸图像对应的每个第一区域特征图进行卷积处理，得到每个第一区域特征图对应的边缘特征，第一算子包括Kirsch算子；电子设备可以通过第二算子对第一人脸图像对应的每个第一区域特征图进行卷积处理，每个得到第一区域特征图对应的中心特征，第二算子包括二阶导数高斯算子。电子设备将每个第一区域特征图对应的边缘特征和中心特征进行组合，得到每个第一区域特征图对应的区域掩膜图。其中，提取边缘特征可以在提取中心特征之前，也可以在提取中心特征之后，还可以是同时提取边缘特征和中心特征，对此顺序不作限制。
在一个具体实施例中，电子设备可以通过Kirsch算子中的8个模板对第一区域特征图的每个像素点进行卷积处理，并将每个像素的8个卷积结果中最大的卷积结果作为每个像素的卷积结果，以得到第一区域特征图对应的边缘特征，8个模板分别代表8个方向，该8个模板如式(2)所示，
Figure BDA0003714673250000131
按照从左到右的方向，该8个模板依次对应各个像素点的上方、右上方、右方、右下方、下方、左下方、左方以及左上方。电子设备可以通过二阶导数高斯算子对第一区域特征图的每个像素进行卷积处理，得到第一区域特征图对应的中心特征，该二阶导数高斯算子如式(3)所示，
Figure BDA0003714673250000132
实施该实施例，电子设备通过多种算子分别提取区域特征图的边缘特征和中心特征，并根据边缘特征和中心特征生成区域特征图对应的区域掩膜图，可以提高区域眼膜图中的特征种类的丰富性，从而进一步提高局部特征向量的准确性。
步骤250，根据各个人脸区域图像对应的区域特征图及各个区域特征图对应的区域掩膜图，确定各个人脸区域图像对应的局部特征向量。
电子设备可以根据各个人脸区域图像对应的区域特征图及各个区域特征图对应的区域掩膜图，确定各个人脸区域图像对应的局部特征向量，其中，区域特征图和区域掩膜图为一一对应。例如，眼部区域图像可以对应3个眼部特征图，该3个眼部特征图分别对应3个眼部掩膜图，则电子设备可以根据3个眼部特征图和3个区域掩膜图，确定眼部区域图像对应的局部特征向量。
步骤260，将全局特征向量和各个人脸区域图像对应的局部特征向量融合，得到融合特征向量。
其中，各个人脸区域图像对应的局部特征向量的维度均与全局特征向量的维度相同。电子设备可以对全局特征向量和各个人脸区域图像对应的局部特征向量进行归一化处理，从而得到融合特征向量。
步骤270，根据融合特征向量确定人脸图像对应的人脸表情。
电子设备可以通过分类器对融合特征向量进行分类，从而得到人脸图像对应的人脸表情，人脸表情可以包括但不限于开心、愤怒、难过等，对此不作限制。其中，分类器可以包括但不限于SVM(SupportVectorMachine，支持向量机)、多分类器，对此不作限制。可选的，电子设备可以通过分类器对融合特征向量进行分类，得到各个人脸表情对应的概率，并将概率最高的人脸表情确定为人脸图像对应的人脸表情。
在本申请实施例中，可根据人脸图像中的人脸区域图像对应的区域特征图和区域特征图对应的区域掩膜图，共同确定人脸区域图像对应的局部特征向量，再将全局特征向量和各个人脸区域图像对应的局部特征向量进行融合，能够提高局部特征向量的准确性，进而提高由全局特征向量和局部特征向量融合得到的融合特征向量的准确性，从而提高表情识别的准确性。
如图5所示，图5是本申请实施例公开的一种得到融合特征向量的流程示意图。步骤根据各个人脸区域图像对应的区域特征图及各个区域特征图对应的区域掩膜图，确定各个人脸区域图像对应的局部特征向量可包括步骤510～530，步骤将全局特征向量和各个人脸区域图像对应的局部特征向量融合，得到融合特征向量可包括步骤540～550：
步骤510，获取目标第一区域特征图的多个第一目标像素值，以及获取第一目标区域特征图对应的目标第一区域掩膜图的多个第二目标像素值。
其中，目标第一区域特征图为任一第一区域特征图，多个第一目标像素值包括目标第一区域特征图的平均像素值、第一中心像素值以及多个第一边缘像素值，多个第二目标像素值包括在目标第一区域掩膜图中与第一中心像素值对应的第二中心像素值以及与多个第一边缘像素值分别对应的多个第二边缘像素值。
可选的，一个人脸图像可以对应多个人脸区域图像，一个人脸区域图像可以对应一个或多个区域特征图，区域特征图与区域掩膜图一一对应。其中，目标第一区域特征图为第一人脸区域图像对应的M个第一区域特征图中的任一第一区域特征图，第一人脸区域图像为任一人脸区域图像，M为正整数。
电子设备可以获取目标第一区域特征图的多个第一目标像素值，该多个第一目标像素值可以包括目标第一区域特征图的平均像素值、第一中心像素值以及多个第一边缘像素值，以式(1)作为目标第一区域特征图为例，目标第一区域特征图的平均像素值约等于54.67，目标第一区域特征图的第一中心像素值为62，目标第一区域特征图的多个第一边缘像素值分别为60、50、54、42、40、70、51、62。
电子设备可以获取目标第一区域特征图对应的目标第一区域掩膜图的多个第二目标像素值，目标第一区域掩膜图由目标第一区域特征图对应得到，目标第一区域掩膜图的像素点与目标第一区域特征图的像素点也一一对应，该多个第二目标像素值可以包括在目标第一区域掩膜图中与第一中心像素值对应的第二中心像素值，以及与多个第一边缘像素值分别对应的多个第二边缘像素值。再以式(1)作为目标第一区域特征图，式(1)对应的目标第一区域掩膜图的像素值如式(4)所示，
Figure BDA0003714673250000151
目标第一区域掩膜图的第二中心像素值为36，36与式(1)中的62对应，目标第一区域掩膜图的多个第二边缘像素值分别为89、25、-119、-199、-71、1、177、97，分别对应于式(1)中的第一边缘像素值60、50、54、42、40、70、51、62。
步骤520，根据多个第一目标像素值以及多个第二目标像素值，确定目标第一区域特征图对应的局部方向下三元模式值以及局部方向上三元模式值。
局部特征向量可包括局部方向下三元模式向量和局部方向上三元模式向量。可先计算人脸区域图像对应的每个区域特征图对应的局部方向下三元模式值以及局部方向上三元模式值，再根据人脸区域图像对应的每个区域特征图对应的局部方向下三元模式值以及局部方向上三元模式值，确定该人脸区域图像对应的局部方向下三元模式向量及局部方向上三元模式向量。
电子设备可以将多个第一目标像素值以及多个第二目标像素值分别与预设阈值进行比较，通过比较结果确定多个0与1，将多个0与1进行组合得到局部方向下三元模式值对应的第一二进制序列以及局部方向上三元模式值对应的第二二进制序列，根据第一二进制序列确定目标第一区域特征图对应的局部方向下三元模式值，以及根据第二二进制序列确定目标第一区域特征图对应的局部方向上三元模式值。其中，预设阈值可以是通过对训练数据进行多次训练得到的。
在一个实施例中，电子设备将目标第一区域特征图的平均像素值减去第一中心像素值，得到第一差值，以及将各个第一边缘像素值减去第一中心像素值，得到各个第一边缘像素值对应的第二差值；将第一差值与预设阈值进行比较，以及将第二中心像素值与预设阈值进行比较，得到第一综合比较结果；将各个第一边缘像素值对应的第二差值与预设阈值进行比较，以及将各个第一边缘像素值对应的第二边缘像素值与预设阈值进行比较，得到各个第一边缘像素值对应的第二综合比较结果；根据第一综合比较结果和各个第一边缘像素值对应的第二综合比较结果，确定目标第一区域特征图对应的局部方向下三元模式值以及局部方向上三元模式值。
其中，电子设备可以根据第一综合比较结果和多个第二综合比较结果确定局部方向下三元模式值对应的第一二进制序列以及局部方向上三元模式值对应的第二二进制序列，通过第一综合比较结果确定第一二进制序列和第二二进制序列的最高位，电子设备还可以对各个第一边缘像素值根据各个像素点的位置进行排序，以式(1)为例，可以逆时针排序依次为60、50、54、42、40、70、51、62，按照顺序通过各个第一边缘像素值对应的第二综合比较结果依次确定第一二进制序列和第二二进制序列的其它位。
电子设备将第一二进制序列的最高位和第一二进制序列其它位组合，得到第一二进制序列，将第二二进制序列的最高位和第二二进制序列的其它位组合，得到第二二进制序列，将第一二进制序列转化为十进制数，得到目标第一区域特征图对应的局部方向下三元模式值，以及将第二二进制序列转化为十进制数，得到目标第一区域特征图对应的局部方向上三元模式值。
在一个具体实施例中，电子设备可以通过第一综合比较结果确定第一二进制序列的最高位和第二二进制序列的最高位。若第一综合比较结果表征第一差值大于或等于预设阈值且第二中心像素值大于或等于预设阈值，则确定第一二进制序列的最高位为1，若第一综合比较结果表征第一差值小于预设阈值或第二中心像素值小于预设阈值，则确定第一二进制序列的最高位为0。若第一综合比较结果表征第一差值小于或等于预设阈值且第二中心像素值小于或等于预设阈值，则确定第二二进制序列的最高位为1，若第一综合比较结果表征第一差值大于预设阈值或第二中心像素值大于预设阈值，则确定第二二进制序列的最高位为0。
并且，电子设备还可以对各个第一边缘像素值进行排序，按照顺序通过各个第一边缘像素值对应的第二综合比较结果依次确定第一二进制序列和第二二进制序列的其它位。以式(1)为例，对第一边缘像素值排序可以为60、50、54、42、40、70、51、62。以目标第一边缘像素值为例，目标第一边缘像素值为任一第一边缘像素值，若目标第一边缘像素值对应的第二综合比较结果表征目标第一边缘像素值对应的第二差值大于或等于预设阈值且目标第一边缘像素值对应的第二边缘像素值大于或等于预设阈值，则目标第一边缘像素值对应的第一二进制序列的其它位的值为1，若目标第一边缘像素值对应的第二综合比较结果表征目标第一边缘像素值对应的第二差值小于预设阈值或目标第一边缘像素值对应的第二边缘像素值小于预设阈值，则目标第一边缘像素值对应的第一二进制序列的其它位的值为0，若目标第一边缘像素值对应的第二综合比较结果表征目标第一边缘像素值对应的第二差值小于或等于预设阈值且目标第一边缘像素值对应的第二边缘像素值小于或等于预设阈值，则目标第一边缘像素值对应的第二二进制序列的其它位的值为1，若目标第一边缘像素值对应的第二综合比较结果表征目标第一边缘像素值对应的第二差值大于预设阈值或目标第一边缘像素值对应的第二边缘像素值大于预设阈值，则目标第一边缘像素值对应的第二二进制序列的其它位的值为0。例如，8个第一边缘像素值对应的第一二进制序列的其它位的值排序可以为10101110，对应的第二二进制的其它位的值排序可以为01010000。
具体的，可通过式(5)计算目标第一区域特征图对应的局部方向下三元模式值，可通过式(6)计算目标第一区域特征图对应的局部方向上三元模式值，
Figure BDA0003714673250000181
Figure BDA0003714673250000182
其中，ELDTP1为局部方向下三元模式值，ELDTP2为局部方向上三元模式值，μ为平均像素值，SIc为第一中心像素值，ERc为第二中心像素值，SIp为各个第一边缘像素值，ERp为各个第二边缘像素值，σ(x,y)为第一条件函数，
Figure BDA0003714673250000183
为第二条件函数，x和y表示变量，T为预设阈值。将μ-SIc与T进行比较，以及将ERc与T进行比较，得到第一比较结果，将SIp-SIc与T进行比较，以及将ERp与T进行比较，得到第二比较结果。再根据σ(x,y)和
Figure BDA0003714673250000184
可以得到第一二进制序列和第二二进制序列，并将第一二进制序列转化为十进制得到ELDTP1，以及将第二二进制序列转化为十进制得到ELDTP2。
实施该实施例，电子设备可以将区域特征图和区域掩膜图中的像素值与预设阈值进行比较，可以得到多种特征的比较结果，避免了噪声干扰，提高了表情识别方法的鲁班性和准确性，并且，相比较相关技术中使用深度学习的表情识别技术，本申请实施例中获取局部方向下三元模式值和局部方向上三元模式值的方法，能够降低电子设备的计算量，从而在实时表情识别时，改善表情识别的响应速度和识别准确率。
步骤530，根据M个第一区域特征图分别对应的局部方向下三元模式值以及局部方向上三元模式值，确定第一人脸区域图像对应的局部方向下三元向量以及局部方向上三元模式向量。
电子设备将M个第一区域特征图分别对应的局部方向下三元模式值组合，得到局部方向下三元向量，将M个第一区域特征图分别对应的局部方向上三元模式值组合，得到局部方向上三元向量。
步骤540，计算全局特征向量、各个人脸区域图像对应的局部方向下三元模式向量以及局部方向上三元模式向量分别对应的多个标准偏差值。
在一个实施例中，以第一人脸区域图像为例，电子设备根据全局特征向量中的各个值计算全局特征向量的标准偏差值，根据第一人脸区域图像对应的局部方向下三元模式向量中的多个局部方向下三元模式值计算局部方向下三元模式向量对应的标准偏差值，根据第一人脸区域图像对应的局部方向上三元模式向量中的多个局部方向下三元模式值计算局部方向上三元模式向量对应的标准偏差值。可选的，所述标准偏差值可以为样本标准偏差值，也可以为总体标准偏差值。以计算局部方向上三元模式向量对应的样本标准偏差值为例，电子设备可以将多个局部方向下三元模式值分别减去多个局部方向下三元模式值对应的平均值，得到多个模式值差值，将各个模式值差值的平均值的平方相加，得到模式值平方和，将局部方向下三元模式值的数量减一，得到样本数量，再将模式值平方和除以样本数量，得到局部方向上三元模式向量对应的样本标准偏差值。
步骤550，根据多个标准偏差值对全局特征向量、各个人脸区域图像对应的局部方向下三元模式向量以及局部方向上三元模式向量进行归一化处理，得到融合特征向量。
电子设备可以将全局特征向量除以全局特征向量对应的标准偏差值，以第一人脸区域图像为例，将第一人脸区域图像对应的局部方向下三元模式向量除以局部方向下三元模式向量对应的标准偏差值，将第一人脸区域图像对应的局部方向上三元模式向量除以局部方向上三元模式向量对应的标准偏差值，从而完成归一化处理。
例如，电子设备可以将全局特征向量、眼部区域图像对应的局部方向下三元模式向量和局部方向上三元模式向量、眼部区域图像对应的局部方向下三元模式向量和局部方向上三元模式向量进行归一化处理，得到融合特征向量，如式(7)所示，
Figure BDA0003714673250000201
其中，Z为融合特征向量，XG为全局特征向量，σ1为XG对应的标准偏差值，YEL为眼部区域图像对应的局部方向下三元模式向量，YEU为眼部区域图像对应的局部方向上三元模式向量，σ2为YEL对应的标准偏差值，σ3为YEU对应的标准偏差值，YML为嘴部区域图像对应的局部方向下三元模式向量，YMU为嘴部区域图像对应的局部方向上三元模式向量，σ4为YML对应的标准偏差值，σ5为YMU对应的标准偏差值。
在本申请实施例中，电子设备可以获取目标第一区域特征图的多个第一目标像素值，以及获取目标第一区域掩膜图的多个第二目标像素值，根据该多个第一目标像素值和多个第二目标像素值确定目标第一区域特征图对应的局部方向下三元模式值以及局部方向上三元模式值，通过该方法将边缘特征和中心特征融合在局部方向下三元模式值和局部方向上三元模式值中，从而提高局部方向下三元模式向量和局部方向上三元模式向量的数据准确性，使得融合全局特征向量和多个局部特征向量的融合特征向量的准确性提高，最终提高表情识别的准确性。
如图6所示，图6是本申请实施例公开的一种根据人脸表情确定表情图像并显示在人脸图像中的流程示意图，包括：
步骤610，根据人脸表情确定表情图像，表情图像包括与人脸表情对应的表情包图像、与人脸表情对立的表情包图像、与人脸表情对应的人脸局部图像、与人脸表情对立的人脸局部图像中的一种或多种。
电子设备可以根据人脸表情确定表情图像，其中，人脸表情可以是分类好的表情标签，例如开心、愤怒、难过等。可选的，电子设备根据该人脸表情，可以确定与人脸表情对应的表情包图像，例如，与开心对应的表情包图像，也可以确定与人脸表情对立的表情包图像，例如，与开心对立，即难过的表情包图像，还可以确定与人脸表情对应的人脸局部图像，例如，与开心对应的眼部图像，并可以确定与人脸表情对应的人脸局部图像，例如，与开心对立，即难过的眼部图像，对此不作限制。
作为一种可选的实施方式，电子设备可以根据人脸表情确定多个表情图像，并确定各个表情图像与人脸表情的相关度，按照相关度从高到低的顺序将各个表情图像进行预览显示，并在检测到切换操作时，将当前正在显示的表情图像切换为排列在下一张的表情图像，该切换操作可以包括但不限于滑动操作、点击操作以及语音操作。电子设备还可以在检测到确定操作时，将确定操作对应的表情图像确定为目标表情图像，可以将目标表情图像与人脸图像结合显示，该确定操作也可以包括但不限于滑动操作、点击操作以及语音操作。实施该实施方式，可以增加与用户之间的交互性。
作为一种可选的实施方式，电子设备可以将人脸图像对应的各个人脸区域图像保存，作为数据库中与人脸表情对应的人脸局部图像，也可以作为数据库中与人脸表情对立的人脸局部图像。实施该实施方式，可以根据人脸区域和人脸表情保存图像，在下一次使用时提高便捷性。
步骤620，在人脸图像中确定表情图像对应的显示区域。
电子设备可以在人脸图像中确定表情图像对应的显示区域。其中，表情图像可以对应有显示区域，该显示区域与表情图像的类型存在对应关系，例如，与开心对应的眼部区域图像对应的显示区域为人脸图像的眼部区域。
作为一种可选的实施方式，电子设备可以根据人脸关键确定表情图像对应的显示区域。可选的，电子设备可以识别表情图像中的人脸关键点，从而确定表情图像对应的人脸区域，从而根据该表情图像的人脸区域确定在人脸图像中的显示区域。可选的，电子设备也可以根据人脸图像的人脸关键点确定表情图像对应的显示区域，可以确定显示区域与各个人脸关键点之间的距离，从而确定显示区域的位置。实施该实施方式，电子设备可以通过多种方法确定表情图像在人脸图像中的显示区域，从而提高表情图像与人脸图像的适配性。
步骤630，在人脸图像的显示区域叠加表情图像，并显示叠加后的人脸图像。
电子设备可以在人脸图像的显示区域叠加表情图像，并显示叠加后的人脸图像。例如，电子设备在人脸图像的眼部区域叠加显示与人脸表情对应的眼部图像，则将与人脸表情对应的眼部图像覆盖人脸图像中的眼部区域图像。
在一个具体实施例中，电子设备可以打开具有拍摄功能的应用程序，摄像头开启，通过摄像头获取到拍摄预览图像，并将该拍摄预览图像在拍摄预览界面中进行显示，若检测到拍摄预览图像为人脸图像，则通过上述实施例中的表情识别方法确定人脸表情，以及根据人脸图像确定多个表情图像，并在拍摄预览界面中显示叠加后的人脸图像，根据切换操作切换表情图像，即切换在拍摄预览界面中显示的叠加后的人脸图像，根据确定操作确定表情图像，即确定该表情图像对应的叠加后的人脸图像为目标人脸图像。实施该实施例，电子设备能够通过该表情识别方法对拍摄预览图像进行实时人脸表情识别，并确定与人脸表情对应的表情图像，将表情图像叠加在拍摄预览图像中，最后通过用户的操作确定目标人脸图像，能够根据用户的人脸表情实时与用户进行交互，提高了人脸拍摄的乐趣性。
在本申请实施例中，电子设备可以根据人脸表情确定表情图像，并确定表情图像在人脸图像中的显示区域，再在显示区域中叠加该表情图像，显示叠加后的人脸图像，通过准确性更高的人脸表情确定的表情图像能够提高用户的满意度，并且由于该表情识别方法的计算量小，能够实时对用户的人脸表情进行反馈，减少了响应时间，进一步的提高了用户的满意度。
如图7所示，图7是本申请实施例公开的一种表情识别装置的模块化示意图，该表情识别装置700包括全局特征提取模块710、区域图像提取模块720、特征图像确定模块730、掩膜图像确定模块740、局部特征确定模块750、特征融合模块760以及表情确定模块770，其中：
全局特征提取模块710，用于提取人脸图像对应的全局特征向量。
区域图像提取模块720，用于从人脸图像中提取N个人脸区域图像，N为正整数。
特征图像确定模块730，用于对各个人脸区域图像进行特征提取，得到各个人脸区域图像对应的区域特征图。
掩膜图像确定模块740，用于根据各个人脸区域图像对应的区域特征图生成各个区域特征图对应的区域掩膜图。
局部特征确定模块750，用于根据各个人脸区域图像对应的区域特征图及各个区域特征图对应的区域掩膜图，确定各个人脸区域图像对应的局部特征向量。
特征融合模块760，用于将全局特征向量和各个人脸区域图像对应的局部特征向量融合，得到融合特征向量。
表情确定模块770，用于根据融合特征向量确定人脸图像对应的人脸表情。
在一个实施例中，特征图像确定模块730，还用于通过滑动窗口，按照预设滑动距离在第一人脸区域图像中进行多次滑动，并对滑动窗口每次滑动到达的图像位置进行特征提取，得到第一人脸区域图像对应的多个第一区域特征图；其中，第一人脸区域图像为任一人脸区域图像。
在一个实施例中，第一人脸区域图像对应有M个第一区域特征图，M为正整数，第一人脸区域图像为任一人脸区域图像；掩膜图像确定模块740，还用于对第一人脸区域图像对应的每个第一区域特征图进行卷积处理，得到每个第一区域特征图对应的边缘特征和中心特征；根据每个第一区域特征图对应的边缘特征和中心特征，生成每个第一区域特征图对应的区域掩膜图。
在一个实施例中，局部特征向量包括局部方向下三元向量以及局部方向上三元模式向量，第一人脸区域图像对应有M个第一区域特征图，第一人脸区域图像为任一人脸区域图像，M为正整数；局部特征确定模块750，包括像素值获取单元、特征值确定单元及向量确定单元；
像素值获取单元，用于获取目标第一区域特征图的多个第一目标像素值，以及获取目标第一区域特征图对应的目标第一区域掩膜图的多个第二目标像素值；目标第一区域特征图为任一第一区域特征图，多个第一目标像素值包括目标第一区域特征图的平均像素值、第一中心像素值以及多个第一边缘像素值，多个第二目标像素值包括在目标第一区域掩膜图中与第一中心像素值对应的第二中心像素值以及与多个第一边缘像素值分别对应的多个第二边缘像素值；
特征值确定单元，用于根据多个第一目标像素值以及多个第二目标像素值，确定目标第一区域特征图对应的局部方向下三元模式值以及局部方向上三元模式值；
向量确定单元，用于根据M个第一区域特征图分别对应的局部方向下三元模式值以及局部方向上三元模式值，确定第一人脸区域图像对应的局部方向下三元向量以及局部方向上三元模式向量。
在一个实施例中，特征值确定单元还用于将平均像素值减去第一中心像素值，得到第一差值，以及将各个第一边缘像素值减去第一中心像素值，得到各个第一边缘像素值对应的第二差值；将第一差值与预设阈值进行比较，以及将第二中心像素值与预设阈值进行比较，得到第一综合比较结果；将各个第一边缘像素值对应的第二差值与预设阈值进行比较，以及将各个第一边缘像素值对应的第二边缘像素值与预设阈值进行比较，得到各个第一边缘像素值对应的第二综合比较结果；根据第一综合比较结果和各个第一边缘像素值对应的第二综合比较结果，确定目标第一区域特征图对应的局部方向下三元模式值以及局部方向上三元模式值。
在一个实施例中，特征融合模块760，还用于计算全局特征向量、各个人脸区域图像对应的局部方向下三元模式向量以及局部方向上三元模式向量分别对应的多个标准偏差值；根据多个标准偏差值对全局特征向量、各个人脸区域图像对应的局部方向下三元模式向量以及局部方向上三元模式向量进行归一化处理，得到融合特征向量。
在一个实施例中，表情识别装置还包括显示模块，显示模块，用于根据人脸表情确定表情图像，表情图像包括与人脸表情对应的表情包图像、与人脸表情对立的表情包图像、与人脸表情对应的人脸局部图像、与人脸表情对立的人脸局部图像中的一种或多种；在人脸图像中确定表情图像对应的显示区域；在人脸图像的显示区域叠加表情图像，并显示叠加后的人脸图像。
在本申请实施例中，可根据人脸图像中的人脸区域图像对应的区域特征图和区域特征图对应的区域掩膜图，共同确定人脸区域图像对应的局部特征向量，再将全局特征向量和各个人脸区域图像对应的局部特征向量进行融合，能够提高局部特征向量的准确性，进而提高由全局特征向量和局部特征向量融合得到的融合特征向量的准确性，从而提高表情识别的准确性。
如图8所示，在一个实施例中，提供一种电子设备，该电子设备可以包括：存储有可执行程序代码的存储器810；
与存储器810耦合的处理器820；
处理器820调用存储器810中存储的可执行程序代码，可实现如上述各实施例中提供的表情识别方法。
存储器810可以包括随机存储器(RandomAccess Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器810可用于存储指令、程序、代码、代码集或指令集。存储器810可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备在使用中所创建的数据等。
处理器820可以包括一个或者多个处理核。处理器820利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器810内的指令、程序、代码集或指令集，以及调用存储在存储器810内的数据，执行电子设备的各种功能和处理数据。可选地，处理器820可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器820可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器820中，单独通过一块通信芯片进行实现。
可以理解地，电子设备可包括比上述结构框图中更多或更少的结构元件，例如，包括电源模块、物理按键、WiFi(Wireless Fidelity，无线保真)模块、扬声器、蓝牙模块、传感器等，还可在此不进行限定。
本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行上述各实施例中所描述的方法。
此外，本申请实施例进一步公开一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机可以执行上述实施例所描述的任意一种表情识别方法中的全部或部分步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(RandomAccess Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-OnlyMemory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本申请实施例公开的一种表情识别方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种表情识别方法，其特征在于，所述方法包括：
提取人脸图像对应的全局特征向量；
从所述人脸图像中提取N个人脸区域图像，所述N为正整数；
对各个所述人脸区域图像进行特征提取，得到各个所述人脸区域图像对应的区域特征图；
根据各个所述人脸区域图像对应的区域特征图，生成各个所述区域特征图对应的区域掩膜图；
根据各个所述人脸区域图像对应的区域特征图及各个所述区域特征图对应的区域掩膜图，确定各个所述人脸区域图像对应的局部特征向量；
将所述全局特征向量和各个所述人脸区域图像对应的局部特征向量融合，得到融合特征向量；
根据所述融合特征向量确定所述人脸图像对应的人脸表情。
2.根据权利要求1所述的方法，其特征在于，所述对各个所述人脸区域图像进行特征提取，得到各个所述人脸区域图像对应的区域特征图，包括：
通过滑动窗口，按照预设滑动距离在第一人脸区域图像中进行多次滑动，并对所述滑动窗口每次滑动到达的图像位置进行特征提取，得到所述第一人脸区域图像对应的多个第一区域特征图；其中，所述第一人脸区域图像为任一所述人脸区域图像。
3.根据权利要求1所述的方法，其特征在于，第一人脸区域图像对应有M个第一区域特征图，所述M为正整数，所述第一人脸区域图像为任一所述人脸区域图像；
所述根据各个所述人脸区域图像对应的区域特征图生成各个所述区域特征图对应的区域掩膜图，包括：
对所述第一人脸区域图像对应的每个所述第一区域特征图进行卷积处理，得到每个所述第一区域特征图对应的边缘特征和中心特征；
根据每个所述第一区域特征图对应的边缘特征和中心特征，生成每个所述第一区域特征图对应的区域掩膜图。
4.根据权利要求1所述的方法，其特征在于，所述局部特征向量包括局部方向下三元向量以及局部方向上三元模式向量，第一人脸区域图像对应有M个第一区域特征图，所述第一人脸区域图像为任一所述人脸区域图像，所述M为正整数；
所述根据各个所述人脸区域图像对应的区域特征图及各个所述区域特征图对应的区域掩膜图，确定各个所述人脸区域图像对应的局部特征向量，包括：
获取目标第一区域特征图的多个第一目标像素值，以及获取所述目标第一区域特征图对应的目标第一区域掩膜图的多个第二目标像素值；所述目标第一区域特征图为任一所述第一区域特征图，所述多个第一目标像素值包括所述目标第一区域特征图的平均像素值、第一中心像素值以及多个第一边缘像素值，所述多个第二目标像素值包括所述目标第一区域掩膜图中与所述第一中心像素值对应的第二中心像素值以及与所述多个第一边缘像素值分别对应的多个第二边缘像素值；
根据所述多个第一目标像素值以及所述多个第二目标像素值，确定所述目标第一区域特征图对应的局部方向下三元模式值以及局部方向上三元模式值；
根据所述M个第一区域特征图分别对应的局部方向下三元模式值以及局部方向上三元模式值，确定所述第一人脸区域图像对应的局部方向下三元向量以及局部方向上三元模式向量。
5.根据权利要求4所述的方法，其特征在于，所述根据所述多个第一目标像素值以及所述多个第二目标像素值，确定所述目标第一区域特征图对应的局部方向下三元模式值以及局部方向上三元模式值，包括：
将所述平均像素值减去所述第一中心像素值，得到第一差值，以及将各个所述第一边缘像素值减去所述第一中心像素值，得到各个所述第一边缘像素值对应的第二差值；
将所述第一差值与预设阈值进行比较，以及将所述第二中心像素值与所述预设阈值进行比较，得到第一综合比较结果；
将各个所述第一边缘像素值对应的第二差值与所述预设阈值进行比较，以及将各个所述第一边缘像素值对应的第二边缘像素值与所述预设阈值进行比较，得到各个所述第一边缘像素值对应的第二综合比较结果；
根据所述第一综合比较结果和各个所述第一边缘像素值对应的第二综合比较结果，确定所述目标第一区域特征图对应的局部方向下三元模式值以及局部方向上三元模式值。
6.根据权利要求4所述的方法，其特征在于，所述将所述全局特征向量和各个所述人脸区域图像对应的局部特征向量融合，得到融合特征向量，包括：
计算所述全局特征向量、各个所述人脸区域图像对应的局部方向下三元模式向量以及局部方向上三元模式向量分别对应的多个标准偏差值；
根据所述多个标准偏差值对所述全局特征向量、各个所述人脸区域图像对应的局部方向下三元模式向量以及局部方向上三元模式向量进行归一化处理，得到融合特征向量。
7.根据权利要求1～6任一所述的方法，其特征在于，在所述根据所述融合特征向量确定所述人脸图像对应的人脸表情之后，所述方法还包括：
根据所述人脸表情确定表情图像，所述表情图像包括与所述人脸表情对应的表情包图像、与所述人脸表情对立的表情包图像、与所述人脸表情对应的人脸局部图像、与所述人脸表情对立的人脸局部图像中的一种或多种；
在所述人脸图像中确定所述表情图像对应的显示区域；
在所述人脸图像的所述显示区域叠加所述表情图像，并显示叠加后的人脸图像。
8.一种表情识别装置，其特征在于，所述装置包括：
全局特征提取模块，用于提取人脸图像对应的全局特征向量；
区域图像提取模块，用于从所述人脸图像中提取N个人脸区域图像，所述N为正整数；
特征图像确定模块，用于对各个所述人脸区域图像进行特征提取，得到各个所述人脸区域图像对应的区域特征图；
掩膜图像确定模块，用于根据各个所述人脸区域图像对应的区域特征图生成各个所述区域特征图对应的区域掩膜图；
局部特征确定模块，用于根据各个所述人脸区域图像对应的区域特征图及各个所述区域特征图对应的区域掩膜图，确定各个所述人脸区域图像对应的局部特征向量；
特征融合模块，用于将所述全局特征向量和各个所述人脸区域图像对应的局部特征向量融合，得到融合特征向量；
表情确定模块，用于根据所述融合特征向量确定所述人脸图像对应的人脸表情。
9.一种电子设备，其特征在于，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行权利要求1～7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序在被处理器执行时，使得所述处理器执行权利要求1～7任一项所述的方法。
CN202210734275.2A 2022-06-27 2022-06-27 表情识别方法、装置、电子设备及存储介质 Pending CN115100712A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210734275.2A CN115100712A (zh) 2022-06-27 2022-06-27 表情识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210734275.2A CN115100712A (zh) 2022-06-27 2022-06-27 表情识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115100712A true CN115100712A (zh) 2022-09-23

Family

ID=83292584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210734275.2A Pending CN115100712A (zh) 2022-06-27 2022-06-27 表情识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115100712A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601821A (zh) * 2022-12-05 2023-01-13 中国汽车技术研究中心有限公司（Cn） 基于表情识别的交互方法
CN115938023A (zh) * 2023-03-15 2023-04-07 深圳市皇家金盾智能科技有限公司 智能门锁人脸识别解锁方法、装置、介质及智能门锁

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601821A (zh) * 2022-12-05 2023-01-13 中国汽车技术研究中心有限公司（Cn） 基于表情识别的交互方法
CN115938023A (zh) * 2023-03-15 2023-04-07 深圳市皇家金盾智能科技有限公司 智能门锁人脸识别解锁方法、装置、介质及智能门锁
CN115938023B (zh) * 2023-03-15 2023-05-02 深圳市皇家金盾智能科技有限公司 智能门锁人脸识别解锁方法、装置、介质及智能门锁

Similar Documents

Publication Publication Date Title
CN111476306B (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
CN110738101B (zh) 行为识别方法、装置及计算机可读存储介质
EP2864933B1 (en) Method, apparatus and computer program product for human-face features extraction
CN108525305B (zh) 图像处理方法、装置、存储介质及电子设备
CN115100712A (zh) 表情识别方法、装置、电子设备及存储介质
CN108932053B (zh) 基于手势的绘图方法、装置、存储介质和计算机设备
WO2018161906A1 (zh) 动作识别方法、装置、系统以及存储介质
CN108762505B (zh) 基于手势的虚拟对象控制方法、装置、存储介质和设备
CN110688929B (zh) 一种人体骨架关节点定位方法及装置
KR101510798B1 (ko) 휴대용 얼굴 표정 연습 장치와 그 방법.
CN109348277B (zh) 运动像素视频特效添加方法、装置、终端设备及存储介质
CN109886223B (zh) 人脸识别方法、底库录入方法、装置及电子设备
CN112784810A (zh) 手势识别方法、装置、计算机设备和存储介质
CN108197585A (zh) 脸部识别方法和装置
CN111862116A (zh) 动漫人像的生成方法及装置、存储介质、计算机设备
CN107220614A (zh) 图像识别方法、装置及计算机可读存储介质
CN113505707A (zh) 吸烟行为检测方法、电子设备及可读存储介质
TW202303526A (zh) 特效展示方法、電腦設備及電腦可讀儲存媒體
CN115035581A (zh) 面部表情识别方法、终端设备及存储介质
CN109753883A (zh) 视频定位方法、装置、存储介质和电子设备
CN112632349A (zh) 展区指示方法、装置、电子设备及存储介质
KR20140124087A (ko) 사용자 단말기를 이용한 개인 스타일 추천 시스템과 방법 및 그 방법을 컴퓨터로 실행시키기 위한 프로그램 코드를 저장한 기록매체
CN112973122A (zh) 游戏角色上妆方法、装置及电子设备
KR101439190B1 (ko) 이미지 처리 기반의 모바일 기기 구동 방법, 모바일 기기의 이미지 처리 방법 및 이를 이용하는 모바일 기기
CN111722717A (zh) 手势识别方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination