CN112990016B - 表情特征提取方法、装置、计算机设备及存储介质 - Google Patents

表情特征提取方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112990016B
CN112990016B CN202110281876.8A CN202110281876A CN112990016B CN 112990016 B CN112990016 B CN 112990016B CN 202110281876 A CN202110281876 A CN 202110281876A CN 112990016 B CN112990016 B CN 112990016B
Authority
CN
China
Prior art keywords
expression
image
gray level
face
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110281876.8A
Other languages
English (en)
Other versions
CN112990016A (zh
Inventor
刘钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202110281876.8A priority Critical patent/CN112990016B/zh
Publication of CN112990016A publication Critical patent/CN112990016A/zh
Application granted granted Critical
Publication of CN112990016B publication Critical patent/CN112990016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了表情特征提取方法、装置、计算机设备及存储介质，方法包括：对视频数据集中的视频信息进行序列化得到人脸图像序列并获取人脸图像序列中每一灰度图像的表情类别，根据标准图像对应的表情类别计算得到每一表情类别的表情掩膜并进行降噪处理得到降噪表情图像，对多张连续灰度图像进行插值卷积及表情分类得到对应的表情时序特征向量，将表情时序特征向量与对应的动作单元强度进行组合得到多张连续灰度图像的表情特征。本发明基于微表情识别技术，属于生物识别技术领域，通过上述方法，基于动态平均脸及动作单元强度分类结果从多张连续灰度图像中提取得到对应表情特征，可从不同用户的各种面部表情视频中精确获取表情特征。

Description

表情特征提取方法、装置、计算机设备及存储介质
技术领域
本发明涉及生物识别技术领域，属于智慧城市中对用户图像的表情特征进行提取的应用场景，尤其涉及一种表情特征提取方法、装置、计算机设备及存储介质。
背景技术
基于用户的面部图像进行表情识别能够得到用户当前的情绪，企业可结合用户当前的情绪对相应消息进行推送，以提高消息推送的效率及准确性。然而实际应用过程中，不同用户的面部图像存在较大个体差异，同一用户的各种面部表情也存在细节差异，由于表情识别算法进行表情识别的标准无法适用于具有较大个体差异的用户，导致从具有较大个体差异的用户所提取得到的表情特征不准确，基于提取得到的表情特征对具有较大个体差异的用户精确地进行表情识别十分困难，导致对部分用户进行表情识别所得到的情绪准确性不足。因此，现有技术方法中存在无法准确获取用户表情特征的问题。
发明内容
本发明实施例提供了一种表情特征提取方法、装置、计算机设备及存储介质，旨在解决现有技术方法中所存在的无法准确获取用户表情特征的问题。
第一方面，本发明实施例提供了一种表情特征提取方法，其包括：
若接收到用户输入的视频数据集，根据预置的序列化规则对所述视频数据集中的视频信息进行序列化处理得到对应的人脸图像序列；
根据预置的表情分类模型对所述人脸图像序列中的每一灰度图像进行分类得到与每一所述灰度图像对应的表情类别；
根据所述视频信息中每一标准图像对应的表情类别计算得到每一所述表情类别的表情掩膜；
根据预置的轮廓提取模型、所述视频数据集及中性表情平均脸对每一所述表情掩膜进行降噪处理，得到每一所述表情类别的降噪表情图像；
根据所述表情分类模型及预置的插值卷积规则对所述降噪表情图像及所述人脸图像序列的多张连续灰度图像进行插值卷积，并进行表情分类得到与所述多张连续灰度图像对应的表情时序特征向量；
将所述表情时序特征向量与所述多张连续灰度图像的动作单元强度进行组合得到对应的表情特征。
第二方面，本发明实施例提供了一种表情特征提取装置，其包括：
序列化处理单元，用于若接收到用户输入的视频数据集，根据预置的序列化规则对所述视频数据集中的视频信息进行序列化处理得到对应的人脸图像序列；
图像分类单元，用于根据预置的表情分类模型对所述人脸图像序列中的每一灰度图像进行分类得到与每一所述灰度图像对应的表情类别；
表情掩膜获取单元，用于根据所述视频信息中每一标准图像对应的表情类别计算得到每一所述表情类别的表情掩膜；
降噪表情图像获取单元，用于根据预置的轮廓提取模型、所述视频数据集及中性表情平均脸对每一所述表情掩膜进行降噪处理，得到每一所述表情类别的降噪表情图像；
表情时序特征向量获取单元，用于根据所述表情分类模型及预置的插值卷积规则对所述降噪表情图像及所述人脸图像序列的多张连续灰度图像进行插值卷积，并进行表情分类得到与所述多张连续灰度图像对应的表情时序特征向量；
特征组合单元，用于将所述表情时序特征向量与所述多张连续灰度图像的动作单元强度进行组合得到对应的表情特征。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的表情特征提取方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的表情特征提取方法。
本发明实施例提供了一种表情特征提取方法、装置、计算机可读存储介质。对视频数据集中的视频信息进行序列化得到人脸图像序列并获取人脸图像序列中每一灰度图像的表情类别，根据标准图像对应的表情类别计算得到每一表情类别的表情掩膜并进行降噪处理得到降噪表情图像，对多张连续灰度图像进行插值卷积及表情分类得到对应的表情时序特征向量，将表情时序特征向量与对应的动作单元强度进行组合得到多张连续灰度图像的表情特征。通过上述方法，基于动态平均脸及动作单元强度分类结果从多张连续灰度图像中提取得到对应表情特征，可从不同用户的各种面部表情视频中精确获取表情特征，以此提高基于表情特征进行表情识别的准确性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的表情特征提取方法的流程示意图；
图2为本发明实施例提供的表情特征提取方法的子流程示意图；
图3为本发明实施例提供的表情特征提取方法的另一子流程示意图；
图4为本发明实施例提供的表情特征提取方法的另一子流程示意图；
图5为本发明实施例提供的表情特征提取方法的另一子流程示意图；
图6为本发明实施例提供的表情特征提取方法的另一子流程示意图；
图7为本发明实施例提供的表情特征提取方法的另一子流程示意图；
图8为本发明实施例提供的表情特征提取方法的效果示意图；
图9为本发明实施例提供的表情特征提取装置的示意性框图；
图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1是本发明实施例提供的表情特征提取方法的流程示意图；该表情特征提取方法应用于管理服务器中，该表情特征提取方法通过安装于管理服务器中的应用软件进行执行，管理服务器可获取管理员或其他终端所输入的视频信息进行表情特征提取的服务器端，管理服务器可以是企业或政府机关所配置的用于进行表情特征提取或表情识别的服务器。如图1所示，该方法包括步骤S110～S160。
S110、若接收到用户输入的视频数据集，根据预置的序列化规则对所述视频数据集中的视频信息进行序列化处理得到对应的人脸图像序列。
若接收到用户输入的视频数据集，根据预置的序列化规则对所述视频数据集中的视频信息进行序列化处理得到对应的人脸图像序列。其中，视频数据集中包括多人的人脸视频，每人的人脸视频中包含至少一段视频信息，每一段视频信息均对应一种预设表情。序列化规则即是用于对初始图像进行序列化处理的具体规则，可根据序列化规则对每一视频信息中包含的初始图像进行序列化所得到与视频数据集对应的人脸图像序列，人脸图像序列中包含多张灰度图像。
在一实施例中，如图2所示，步骤S110包括子步骤S111和S112。
S111、根据所述序列化规则中的标准人脸特征对所述视频数据集中每一视频信息的每一初始图像进行人脸对齐，得到与每一所述初始图像对应的标准图像。
具体的，序列化规则包括标准人脸特征，标准人脸特征可以由标准人脸的多个面部特征点所组成，可从每一初始图像中获取与每一面部特征点对应的特征坐标值，根据面部特征点与特征坐标值的对应关系对相应初始图像进行旋转、缩放、裁剪处理以进行人脸对齐，将进行人脸对其操作后的初始图像作为对应的标准图像。具体的，标准人脸特征中包括左眼中心特征点、右眼中心特征点、嘴唇中心特征点、标准距离值及标准图像尺寸，可从一张初始图像中分别截取得到左眼图像、右眼图像及嘴唇图像，并依次获取左眼图像、右眼图像及嘴唇图像的中心点坐标值作为与左眼中心特征点、右眼中心特征点及嘴唇中心特征点分别对应的三个特征坐标值，根据左眼中心特征点及右眼中心特征点的特征坐标值的纵坐标对该初始图像进行旋转处理，以使左眼中心特征点及右眼中心特征点的特征坐标值的纵坐标相等，根据左眼中心特征点及右眼中心特征点的连线与嘴唇中心特征点的特征坐标值之间的纵向差值，以及标准人脸特征中的标准距离值对旋转处理后的初始图像进行缩放处理，以使纵向差值与标准距离值相等；根据标准图像尺寸对缩放处理后的图像进行裁剪，以使图像尺寸保持一致，最终经过裁剪处理得到的图像即为与该初始图像对应的标准图像。
S112、对每一所述标准图像进行灰度化处理得到对应的灰度图像作为所述人脸图像序列。
对标准图像进行灰度化处理，即可得到与每一标准图像对应的灰度图像，获取所有灰度图像即可得到人脸图像序列。具体的，标准图像中每一像素点均对应一个RGB值(目标像素点在红、绿、蓝三个通道分别对应的像素值)，将一张标准图像的所有像素点的RGB值转换为灰度通道对应的灰度值后，即可得到一张灰度图像。
S120、根据预置的表情分类模型对所述人脸图像序列中的每一灰度图像进行分类得到与每一所述灰度图像对应的表情类别。
根据预置的表情分类模型对所述人脸图像序列中的每一灰度图像进行分类得到与每一所述灰度图像对应的表情类别。具体的，表情分类模型中包括卷积神经网络、动作分类网络以及动作组合信息表，卷积神经网络即为对图像进行卷积处理的神经网络，动作分类网络即为对图像特征进行动作分类的智能神经网络，动作组合信息表中包含多种动作组合与表情类别之间的对应关系，可根据卷积神经网络对人脸图像序列中的每一灰度图像进行卷积处理得到图像卷积特征，根据动作分类网络获取每一图像卷积特征的动作单元强度，根据动作组合信息表及动作单元强度获取每一灰度图像的表情类别。
在一实施例中，如图3所示，步骤S120包括子步骤S121、S122和S123。
S121、根据所述卷积神经网络对每一所述灰度图像进行卷积处理得到与每一所述灰度图像对应的图像卷积特征。
卷积神经网络中包含多个卷积层，每一卷积层可对图像进行一次卷积处理，可通过卷积神经网络中的多个卷积层对一张灰度图像进行卷积处理，得到对应的图像卷积特征，例如，灰度图像的分辨率均为300(像素)×300(像素)，卷积神经网络中包含五个卷积层，通过五个卷积层依次对灰度图像中每一像素点的灰度值进行卷积处理后，将该灰度图像转换为一个1×128维的图像卷积特征，其中每一维度数值的取值范围均为[0,1]，也即是采用向量形式体现对该灰度图像的特征。
S122、根据所述动作分类网络获取与每一所述图像卷积特征对应的动作单元强度。
具体的，表情分类模型可由多个输入节点、多个输出节点及多个中间层组成，每一输出节点对应图像卷积特征与一种表情动作的匹配概率，每一输入节点均与图像卷积特征中一个维度的数值相对应，则若图像卷积特征为一个1×128维的向量，则表情分类模型对应包含128个输入节点，输入层与中间层之间、中间层与其他相邻的中间层之间、中间层与输出层之间均通过关联公式进行关联。将一个图像卷积特征输入表情分类模型进行计算后得到该图像卷积特征与每一种表情动作对应的匹配概率，与每一表情动作对应的匹配概率的取值范围均为[0,1]，根据表情动作对应的匹配概率获取大于概率阈值的表情动作作为图像卷积特征的动作单元强度。
例如，表情动作可表示为AUk，k∈{1,2,4,5,6,9,12,15,26}，则表情分类模型对应包含9个输出节点；若对某一图像卷积特征进行计算后得到表情动作AU9和AU15的匹配概率大于概率阈值0.5，则确定该图像卷积特征的动作单元强度为AU9和AU15。
S123、根据所述动作组合信息表获取与每一所述灰度图像的动作单元强度相匹配的表情类别。
具体的，动作组合信息表中所包括的动作组合与表情类别之间的对应关系可采用表1进行表示。
表情类别 动作组合
开心 AU<sub>6</sub>+AU<sub>12</sub>
悲伤 AU<sub>1</sub>+AU<sub>4</sub>+AU<sub>5</sub>
惊讶 AU<sub>1</sub>+AU<sub>2</sub>+AU<sub>5</sub>+AU<sub>26</sub>
害怕 AU<sub>1</sub>+AU<sub>2</sub>+AU<sub>4</sub>+AU<sub>5</sub>+AU<sub>26</sub>
生气 AU<sub>4</sub>+AU<sub>5</sub>+AU<sub>9</sub>
厌恶 AU<sub>9</sub>+AU<sub>15</sub>
轻蔑 AU<sub>12</sub>+AU<sub>15</sub>
中性 其他组合
表1
例如，某一图像卷积特征的动作单元强度为AU9和AU15，根据上述动作组合信息表即可确定该图像卷积特征的表情类别为厌恶，也即是与该图像卷积特征对应灰度图像的表情类别为厌恶。
S130、根据所述视频信息中每一标准图像对应的表情类别计算得到每一所述表情类别的表情掩膜。
根据所述视频信息中每一标准图像对应的表情类别计算得到每一所述表情类别的表情掩膜。可将每一灰度图像的表情类别作为标签添加至与灰度图像对应的标准图像中，基于每一标准图像的标签对标准图像进行分类，得到与每一表情类别相对应的多张标准图像，并进一步计算得到每一表情类别的表情掩膜。
在一实施例中，如图4所示，步骤S130包括子步骤S131、S132和S133。
S131、根据所述视频信息中每一标准图像对应的表情类别对每一所述表情类别对应的多张标准图像进行平均计算，得到与每一所述表情类别对应的表情平均脸。
具体的，获取每一表情类别相对应的多张标准图像并进行平均计算即可得到对应的表情平均脸，也即是，获取一种表情类别所属的多张标准图像，获取每一个像素点位置在该表情类别所属多张标准图像的多个像素值进行平均计算，得到每一像素点位置的像素平均值作为该表情类别的表情平均脸。依据上述方法即可计算得到每一表情类别对应的表情平均脸。具体的，根据上述动作组合信息表可将标准图像分为八类，并对应计算得到八种表情类别对应的表情平均脸。
S132、获取所述表情类别为中性表情的表情平均脸作为中性表情平均脸；S133、计算每一所述表情类别的表情平均脸与中性表情平均脸之间的差值，得到每一所述表情类别的表情掩膜。
将每一表情类别的表情平均脸减去中性表情平均脸，即可得到每一表情类别的表情掩膜，则中性表情对应的表情掩膜中的数值为零。表情掩膜可表示为一个数字矩阵，此时得到的表情掩膜中可能包含许多噪声。
S140、根据预置的轮廓提取模型、所述视频数据集及中性表情平均脸对每一所述表情掩膜进行降噪处理，得到每一所述表情类别的降噪表情图像。
根据预置的轮廓提取模型、所述视频数据集及中性表情平均脸对每一所述表情掩膜进行降噪处理，得到每一所述表情类别的降噪表情图像。由于计算得到的每一所述表情掩膜中包含噪声，为避免噪声对后续进行表情识别产生影响，可根据轮廓提取模型从每一灰度图像中获取初始人脸轮廓，轮廓提取模型可从图像中提取得到包含脸部特征的人脸轮廓，对每一表情类别的多个初始人脸轮廓进行二值化并叠加得到对应的轮廓掩膜，基于轮廓掩膜及中性表情平均脸对表情掩膜进行矩阵计算即可得到与每一表情掩膜对应的降噪表情图像。
在一实施例中，如图5所示，步骤S140包括子步骤S141、S142、S143和S144。
S141、根据所述轮廓提取模型获取所述视频数据集中每一灰度图像的初始人脸轮廓。
具体的，可通过轮廓提取模型获取每一灰度图像的初始人脸轮廓，其中，所述轮廓提取模型包括像素对比度获取规则、像素溶解比例值。像素对比度获取规则即为获取灰度图像中每一像素点的对比度的具体规则，可根据像素对比度获取规则获取灰度图像中每一像素点与周围若干个像素点之间的对比度，像素溶解比例值即为根据像素点的对比度进行像素溶解以得到轮廓信息的比例值，通过像素对比度结合像素溶解的方法可获取得到每一张灰度图像对应的初始人脸轮廓。
在一实施例中，如图6所示，步骤S141包括子步骤S1411和S1412。
S1411、根据所述像素对比度获取规则获取每一所述灰度图像的像素对比度信息。
具体的，获取一张灰度图像并确定其中的一个像素点为目标像素点，可获取目标像素点外围第一层的八个像素点及外围第二层的十六个像素点，获取目标像素点的RGB值，以及外围第一层的八个像素点及外围第二层的十六个像素点分别对应的RGB值，计算外围第一层的八个像素点的RGB值与目标像素点之间的第一差值，计算外围第二层的十六个像素点的RGB值与目标像素点之间的第二差值，根据对比度获取规则对第一差值及第二差值进行加权相加得到该目标像素点的对比度，根据上述获取规则可依次获取一张灰度图像中每一像素点的对比度作为该灰度图像的像素对比度信息。
例如，根据像素对比度获取规则，某一目标像素点的对比度可采用以下公式计算得到：
Figure GDA0003736651450000081
其中，c1为第一差值的加权值，c2为第二差值的加权值，c1及c2的取值范围均为[0,1]，Ru为外围第一层中的第u个像素点的RGB值，R'v为外围第二层中的第v个像素点的RGB值，R0为目标像素点的RGB值。
S1412、根据每一所述张灰度图像的像素对比度信息及所述像素溶解比例值对每一所述张灰度图像进行像素溶解以获取初始人脸轮廓。
具体的，根据像素对比度信息中与某一灰度图像相匹配的对比度信息，对该灰度图像中每一像素点的对比度进行排序，获取排序结果中与像素溶解比例值相匹配的排序靠前的像素点作为该灰度图像的溶解像素点，根据溶解像素点对该灰度图像进行像素溶解，得到该灰度图像的初始人脸轮廓。其中，每一张灰度图像的初始人脸轮廓中均包括左眼轮廓、右眼轮廓、左眉毛轮廓、右眉毛轮廓、嘴唇轮廓、鼻子轮廓及外部脸型轮廓。例如，在对嘴唇轮廓进行提取时，由于嘴唇与面部的结合处像素的差异最大，也即是嘴唇与面部的结合处像素点的对比度值较大，根据像素溶解比例将像素对比度较小的区域依次进行像素溶解，最终剩余对比度最大的一部分像素即为嘴唇轮廓。图8为本发明实施例提供的表情特征提取方法的效果示意图，对三种表情对应的灰度图像分别进行初始人脸轮廓提取，所得到的初始人脸轮廓图如图8中左侧三幅图片所示。
S142、对每一所述初始人脸轮廓进行二值化处理后进行叠加处理，将叠加处理得到的二值化位置矩阵作为对应的轮廓掩膜。
初始人脸轮廓中未被溶解的像素点的像素值不为零，被溶解的像素点的像素值为零，则可根据每一像素点的像素值对应进行二值化处理，将像素值不为零的像素点对应数值确定为“1”，将像素值为零的像素点对应数值确定为“0”，对一个初始人脸轮廓进行二值化后即可得到一个二值化图像。将所得到的所有初始人脸轮廓对应的多个二值化图像进行叠加，也即是计算多个二值化图像在每一图像位置数值的平均值，即可得到一个二值化位置矩阵。
S143、将每一所述表情掩膜分别与所述轮廓掩膜进行矩阵相乘计算得到与每一所述表情掩膜对应的目标表情掩膜。S144、将每一所述目标表情掩膜分别与所述中性表情平均脸进行矩阵相乘计算得到与每一所述表情类别对应的降噪表情图像。
具体的，表情掩膜可表示为
Figure GDA0003736651450000091
其中H即为表情掩膜的横向维度数，W即为表情掩膜的纵向维度数，其中，e为开心、悲伤、惊讶、害怕、生气、厌恶、轻蔑或中性；轮廓掩膜可表示为
Figure GDA0003736651450000092
由于表情掩膜与轮廓掩膜均是基于对灰度图像进行处理得到的，也即是表情掩膜与轮廓掩膜的尺寸相同，将每一表情掩膜分别与轮廓掩膜对应位置的数值逐个进行相乘，即可得到每一表情掩膜对应的目标表情掩膜，将每一目标表情掩膜与中性表情平均脸对应位置的数值逐个进行相乘，即可得到与每一表情类别对应的降噪表情图像，最终得到的降噪表情图像如8中右侧三幅图片所示，降噪表情图像也即是相当于与相应表情类别对应的表情热力图，表情热力图中的深色区域为对应的活跃区域，浅色区域为对应的不活跃区域。
S150、根据所述表情分类模型及预置的插值卷积规则对所述降噪表情图像及所述人脸图像序列的多张连续灰度图像进行插值卷积，并进行表情分类得到与所述多张连续灰度图像对应的表情时序特征向量。
根据所述表情分类模型及预置的插值卷积规则对所述降噪表情图像及所述人脸图像序列的多张连续灰度图像进行插值卷积，并进行表情分类得到与所述多张连续灰度图像对应的表情时序特征向量。可根据差值卷积规则对降噪表情图像及多张连续灰度图像进行差值卷积处理，将进行差值卷积处理得到的结果进行表情分类即可得到对应的表情时序特征向量。其中，多张连续灰度图像为从一段视频信息对应的多张灰度图像中所获取到的部分连续的灰度图像，例如，某一段视频信息对应包含50张灰度图像，可从中获取第4张至第13张灰度图像作为连续的10帧灰度图像进行处理。通过差值卷积处理可更精准地获取到多张连续灰度图像的特征。多张连续灰度图像也可以是从一段待进行表情识别的视频信息中所获取到的。
在一实施例中，如图7所示，步骤S150包括子步骤S151、S152、S153、S154和S155。
S151、根据所述表情分类模型中的卷积神经网络层分别获取所述张连续灰度图像中的一张灰度图像及与所述灰度图像的表情类别对应降噪表情图像的中间层图像。
具体的，卷积神经网络层中包含多个卷积层，可获取多个卷积层中的某一中间卷积层分别对一张灰度图像及降噪表情图像进行处理得到的结果作为相应两个中间层图像。
例如，若卷积神经网络层中包含五个卷积层，可获取其中第一层卷积层、第二次卷积层及第三个卷积层对一张灰度图像进行处理得到的一张中间层图像，并通过第三个卷积层第一层卷积层、第二次卷积层及第三个卷积层对降噪表情图像进行处理得到的另一张中间层图像。
S152、根据所述插值卷积规则计算得到所述降噪表情图像的中间层图像与所述灰度图像的中间层图像的图像差值。
根据差值卷积规则计算得到两个中间层图像的图像差值，具体的，可对中间层图像对应位置的数值逐个进行相减后取绝对值，将计算所得到的多个位置的绝对值作为对应图像差值。
S153、将所述图像差值插入所述灰度图像的图像卷积特征中得到所述灰度图像的插值卷积特征。
具体的，基于卷积神经网络层中后续的卷积层对图像差值继续进行卷积处理后得到对应的一个多维向量，灰度图像的图像卷积特征也为一个多维向量，且两个向量的维度数量相等，将该多维向量与图像卷积特征对应位置的数值进行相加作为与该灰度无需对应的插值卷积特征。
S154、根据所述表情分类模型中的动作分类网络及所述动作组合信息表对所述插值卷积特征进行表情分类以得到对应的特征类别。
具体的，获取与插值卷积特征对应的动作单元强度的具体过程，与获取图像卷积特征的动作单元强度的具体过程相同；通过动作组合信息表获取对应特征类别的具体过程，与获取灰度图像的动作单元强度的表情类别的具体过程也相同，在此不作赘述。
S155、获取所述多张连续灰度图像的多个特征类别进行组合得到所述多张连续灰度图像对应的表情时序特征向量。
依据上述方法，获取每一灰度图像的特征类别并进行组合，即可得到对应的表情时序特征向量，则表情时序特征向量中的维度数量与多张连续灰度图像中灰度图像的数量相等。
S160、将所述表情时序特征向量与所述多张连续灰度图像的动作单元强度进行组合得到对应的表情特征。
将所述表情时序特征向量与所述多张连续灰度图像的动作单元强度进行组合得到对应的表情特征。将表情时序特征向量与多张连续灰度图像中每一灰度图像的动作单元强度进行组合，得到一个多维向量作为对应的表情特征，由于所得到的表情特征从一段视频信息的多张连续灰度图像中获取得到，通过表情特征即可对该视频信息所包含的与表情相关的特征信息进行精确、全面的体现。
在一实施例中，步骤S160之后还包括步骤S170。
S170、将多个所述表情特征及与每一所述表情特征对应的预设表情进行组合得到训练数据集，并对预设的表情识别模型进行训练得到训练后的表情识别模型。
将多个所述表情特征及与每一所述表情特征对应的预设表情进行组合得到训练数据集，并对预设的表情识别模型进行训练得到训练后的表情识别模型。可根据上述方法获取得到多段视频信息对应的多个表情特征，并获取每一段视频信息的预设表情与相应的表情特征进行组合，得到一个训练数据集，依据训练数据集对表情识别模型进行训练，具体的，表情识别模型可由三层感知神经网络(MLP)构成，训练过程可基于梯度下降训练规则进行。通过训练后得到的表情识别模型即可对视频信息进行精确表情识别，也即是通过上述方法获取与一段待进行表情识别的视频信息对应的表情特征输入训练后的表情识别模型，即可对该视频信息进行表情识别。
本申请中的技术方法可应用于智慧政务/智慧城管/智慧社区/智慧安防/智慧物流/智慧医疗/智慧教育/智慧环保/智慧交通等包含对用户图像的表情特征进行提取的应用场景中，从而推动智慧城市的建设。
在本发明实施例所提供的表情特征提取方法中，对视频数据集中的视频信息进行序列化得到人脸图像序列并获取人脸图像序列中每一灰度图像的表情类别，根据标准图像对应的表情类别计算得到每一表情类别的表情掩膜并进行降噪处理得到降噪表情图像，对多张连续灰度图像进行插值卷积及表情分类得到对应的表情时序特征向量，将表情时序特征向量与对应的动作单元强度进行组合得到多张连续灰度图像的表情特征。通过上述方法，基于动态平均脸及动作单元强度分类结果从多张连续灰度图像中提取得到对应表情特征，可从不同用户的各种面部表情视频中精确获取表情特征，以此提高基于表情特征进行表情识别的准确性。
本发明实施例还提供一种表情特征提取装置，该表情特征提取装置可配置于管理服务器中，该表情特征提取装置用于执行前述的表情特征提取方法的任一实施例。具体地，请参阅图9，图9为本发明实施例提供的表情特征提取装置的示意性框图。
如图9所示，表情特征提取装置100包括序列化处理单元110、图像分类单元120、表情掩膜获取单元130、降噪表情图像获取单元140、表情时序特征向量获取单元150和特征组合单元160。
序列化处理单元110，用于若接收到用户输入的视频数据集，根据预置的序列化规则对所述视频数据集中的视频信息进行序列化处理得到对应的人脸图像序列。
在一实施例中，所述序列化处理单元110包括子单元：标准图像获取单元，用于根据所述序列化规则中的标准人脸特征对所述视频数据集中每一视频信息的每一初始图像进行人脸对齐，得到与每一所述初始图像对应的标准图像；灰度化处理单元，用于对每一所述标准图像进行灰度化处理得到对应的灰度图像作为所述人脸图像序列。
图像分类单元120，用于根据预置的表情分类模型对所述人脸图像序列中的每一灰度图像进行分类得到与每一所述灰度图像对应的表情类别。
在一实施例中，所述图像分类单元120包括子单元：图像卷积特征获取单元，用于根据所述卷积神经网络对每一所述灰度图像进行卷积处理得到与每一所述灰度图像对应的图像卷积特征；动作单元强度获取单元，用于根据所述动作分类网络获取与每一所述图像卷积特征对应的动作单元强度；类别匹配单元，用于根据所述动作组合信息表获取与每一所述灰度图像的动作单元强度相匹配的表情类别。
表情掩膜获取单元130，用于根据所述视频信息中每一标准图像对应的表情类别计算得到每一所述表情类别的表情掩膜。
在一实施例中，所述表情掩膜获取单元130包括子单元：表情平均脸获取单元，用于根据所述视频信息中每一标准图像对应的表情类别对每一所述表情类别对应的多张标准图像进行平均计算，得到与每一所述表情类别对应的表情平均脸；中性表情平均脸确定单元，用于获取所述表情类别为中性表情的表情平均脸作为中性表情平均脸；差值计算单元，用于计算每一所述表情类别的表情平均脸与中性表情平均脸之间的差值，得到每一所述表情类别的表情掩膜。
降噪表情图像获取单元140，用于根据预置的轮廓提取模型、所述视频数据集及中性表情平均脸对每一所述表情掩膜进行降噪处理，得到每一所述表情类别的降噪表情图像。
在一实施例中，所述降噪表情图像获取单元140包括子单元：初始人脸轮廓获取单元，用于根据所述轮廓提取模型获取所述视频数据集中每一灰度图像的初始人脸轮廓；轮廓掩膜获取单元，用于对每一所述初始人脸轮廓进行二值化处理后进行叠加处理，将叠加处理得到的二值化位置矩阵作为对应的轮廓掩膜；第一矩阵计算单元，用于将每一所述表情掩膜分别与所述轮廓掩膜进行矩阵相乘计算得到与每一所述表情掩膜对应的目标表情掩膜；第二矩阵计算单元，用于将每一所述目标表情掩膜分别与所述中性表情平均脸进行矩阵相乘计算得到与每一所述表情类别对应的降噪表情图像。
在一实施例中，所述初始人脸轮廓获取单元包括子单元：像素对比度信息获取单元，用于根据所述像素对比度获取规则获取每一所述灰度图像的像素对比度信息；像素溶解处理单元，用于根据每一所述张灰度图像的像素对比度信息及所述像素溶解比例值对每一所述张灰度图像进行像素溶解以获取初始人脸轮廓。
表情时序特征向量获取单元150，用于根据所述表情分类模型及预置的插值卷积规则对所述降噪表情图像及所述人脸图像序列的多张连续灰度图像进行插值卷积，并进行表情分类得到与所述多张连续灰度图像对应的表情时序特征向量。
在一实施例中，所述表情时序特征向量获取单元150包括子单元：中间层图像获取单元，用于根据所述表情分类模型中的卷积神经网络层分别获取所述张连续灰度图像中的一张灰度图像及与所述灰度图像的表情类别对应降噪表情图像的中间层图像；图像差值获取单元，用于根据所述插值卷积规则计算得到所述降噪表情图像的中间层图像与所述灰度图像的中间层图像的图像差值；插值卷积特征获取单元，用于将所述图像差值插入所述灰度图像的图像卷积特征中得到所述灰度图像的插值卷积特征；特征类别获取单元，用于根据所述表情分类模型中的动作分类网络及所述动作组合信息表对所述插值卷积特征进行表情分类以得到对应的特征类别；特征类别组合单元，用于获取所述多张连续灰度图像的多个特征类别进行组合得到所述多张连续灰度图像对应的表情时序特征向量。
特征组合单元160，用于将所述表情时序特征向量与所述多张连续灰度图像的动作单元强度进行组合得到对应的表情特征。
在本发明实施例所提供的表情特征提取装置应用上述表情特征提取方法，对视频数据集中的视频信息进行序列化得到人脸图像序列并获取人脸图像序列中每一灰度图像的表情类别，根据标准图像对应的表情类别计算得到每一表情类别的表情掩膜并进行降噪处理得到降噪表情图像，对多张连续灰度图像进行插值卷积及表情分类得到对应的表情时序特征向量，将表情时序特征向量与对应的动作单元强度进行组合得到多张连续灰度图像的表情特征。通过上述方法，基于动态平均脸及动作单元强度分类结果从多张连续灰度图像中提取得到对应表情特征，可从不同用户的各种面部表情视频中精确获取表情特征，以此提高基于表情特征进行表情识别的准确性。
上述表情特征提取装置可以实现为计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10，图10是本发明实施例提供的计算机设备的示意性框图。该计算机设备可以是用于执行表情特征提取方法以对用户图像的表情特征进行提取的管理服务器。
参阅图10，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。
该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行表情特征提取方法，其中，存储介质503可以为易失性的存储介质或非易失性的存储介质。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行表情特征提取方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图10中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现上述的表情特征提取方法中对应的功能。
本领域技术人员可以理解，图10中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图10所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为易失性或非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现上述的表情特征提取方法中所包含的步骤。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种表情特征提取方法，其特征在于，所述方法包括：
若接收到用户输入的视频数据集，根据预置的序列化规则对所述视频数据集中的视频信息进行序列化处理得到对应的人脸图像序列；
根据预置的表情分类模型对所述人脸图像序列中的每一灰度图像进行分类得到与每一所述灰度图像对应的表情类别；
根据所述视频信息中每一标准图像对应的表情类别计算得到每一所述表情类别的表情掩膜；
根据预置的轮廓提取模型、所述视频数据集及中性表情平均脸对每一所述表情掩膜进行降噪处理，得到每一所述表情类别的降噪表情图像；
根据所述表情分类模型及预置的插值卷积规则对所述降噪表情图像及所述人脸图像序列的多张连续灰度图像进行插值卷积，并进行表情分类得到与所述多张连续灰度图像对应的表情时序特征向量；
将所述表情时序特征向量与所述多张连续灰度图像的动作单元强度进行组合得到对应的表情特征；
所述根据所述视频信息中每一标准图像对应的表情类别计算得到每一所述表情类别的表情掩膜，包括：
根据所述视频信息中每一标准图像对应的表情类别对每一所述表情类别对应的多张标准图像进行平均计算，得到与每一所述表情类别对应的表情平均脸；
获取所述表情类别为中性表情的表情平均脸作为中性表情平均脸；
计算每一所述表情类别的表情平均脸与中性表情平均脸之间的差值，得到每一所述表情类别的表情掩膜。
2.根据权利要求1所述的表情特征提取方法，其特征在于，所述根据预置的序列化规则对所述视频数据集中的视频信息进行序列化处理得到对应的人脸图像序列，包括：
根据所述序列化规则中的标准人脸特征对所述视频数据集中每一视频信息的每一初始图像进行人脸对齐，得到与每一所述初始图像对应的标准图像；
对每一所述标准图像进行灰度化处理得到对应的灰度图像作为所述人脸图像序列。
3.根据权利要求1所述的表情特征提取方法，其特征在于，所述表情分类模型包括卷积神经网络、动作分类网络及动作组合信息表，所述根据预置的表情分类模型对所述人脸图像序列中的每一灰度图像进行分类得到与每一所述灰度图像对应的表情类别，包括：
根据所述卷积神经网络对每一所述灰度图像进行卷积处理得到与每一所述灰度图像对应的图像卷积特征；
根据所述动作分类网络获取与每一所述图像卷积特征对应的动作单元强度；
根据所述动作组合信息表获取与每一所述灰度图像的动作单元强度相匹配的表情类别。
4.根据权利要求1所述的表情特征提取方法，其特征在于，所述根据预置的轮廓提取模型、所述视频数据集及中性表情平均脸对每一所述表情掩膜进行降噪处理，得到每一所述表情类别的降噪表情图像，包括：
根据所述轮廓提取模型获取所述视频数据集中每一灰度图像的初始人脸轮廓；
对每一所述初始人脸轮廓进行二值化处理后进行叠加处理，将叠加处理得到的二值化位置矩阵作为对应的轮廓掩膜；
将每一所述表情掩膜分别与所述轮廓掩膜进行矩阵相乘计算得到与每一所述表情掩膜对应的目标表情掩膜；
将每一所述目标表情掩膜分别与所述中性表情平均脸进行矩阵相乘计算得到与每一所述表情类别对应的降噪表情图像。
5.根据权利要求4所述的表情特征提取方法，其特征在于，所述轮廓提取模型包括像素对比度获取规则及像素溶解比例值，所述根据所述轮廓提取模型获取所述视频数据集中每一灰度图像的初始人脸轮廓，包括：
根据所述像素对比度获取规则获取每一所述灰度图像的像素对比度信息；
根据每一所述灰度图像的像素对比度信息及所述像素溶解比例值对每一所述灰度图像进行像素溶解以获取初始人脸轮廓。
6.根据权利要求3所述的表情特征提取方法，其特征在于，所述根据所述表情分类模型及预置的插值卷积规则对所述降噪表情图像及所述人脸图像序列的多张连续灰度图像进行插值卷积，并进行表情分类得到与所述多张连续灰度图像对应的表情时序特征向量，包括：
根据所述表情分类模型中的卷积神经网络层分别获取所述多 张连续灰度图像中的一张灰度图像及与所述灰度图像的表情类别对应降噪表情图像的中间层图像；
根据所述插值卷积规则计算得到所述降噪表情图像的中间层图像与所述灰度图像的中间层图像的图像差值；
将所述图像差值插入所述灰度图像的图像卷积特征中得到所述灰度图像的插值卷积特征；
根据所述表情分类模型中的动作分类网络及所述动作组合信息表对所述插值卷积特征进行表情分类以得到对应的特征类别；
获取所述多张连续灰度图像的多个特征类别进行组合得到所述多张连续灰度图像对应的表情时序特征向量。
7.一种表情特征提取装置，其特征在于，所述装置包括：
序列化处理单元，用于若接收到用户输入的视频数据集，根据预置的序列化规则对所述视频数据集中的视频信息进行序列化处理得到对应的人脸图像序列；
图像分类单元，用于根据预置的表情分类模型对所述人脸图像序列中的每一灰度图像进行分类得到与每一所述灰度图像对应的表情类别；
表情掩膜获取单元，用于根据所述视频信息中每一标准图像对应的表情类别计算得到每一所述表情类别的表情掩膜；
降噪表情图像获取单元，用于根据预置的轮廓提取模型、所述视频数据集及中性表情平均脸对每一所述表情掩膜进行降噪处理，得到每一所述表情类别的降噪表情图像；
表情时序特征向量获取单元，用于根据所述表情分类模型及预置的插值卷积规则对所述降噪表情图像及所述人脸图像序列的多张连续灰度图像进行插值卷积，并进行表情分类得到与所述多张连续灰度图像对应的表情时序特征向量；
特征组合单元，用于将所述表情时序特征向量与所述多张连续灰度图像的动作单元强度进行组合得到对应的表情特征；
所述表情掩膜获取单元包括子单元：表情平均脸获取单元，用于根据所述视频信息中每一标准图像对应的表情类别对每一所述表情类别对应的多张标准图像进行平均计算，得到与每一所述表情类别对应的表情平均脸；中性表情平均脸确定单元，用于获取所述表情类别为中性表情的表情平均脸作为中性表情平均脸；差值计算单元，用于计算每一所述表情类别的表情平均脸与中性表情平均脸之间的差值，得到每一所述表情类别的表情掩膜。
8.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的表情特征提取方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的表情特征提取方法。
CN202110281876.8A 2021-03-16 2021-03-16 表情特征提取方法、装置、计算机设备及存储介质 Active CN112990016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110281876.8A CN112990016B (zh) 2021-03-16 2021-03-16 表情特征提取方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110281876.8A CN112990016B (zh) 2021-03-16 2021-03-16 表情特征提取方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112990016A CN112990016A (zh) 2021-06-18
CN112990016B true CN112990016B (zh) 2022-09-02

Family

ID=76335906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110281876.8A Active CN112990016B (zh) 2021-03-16 2021-03-16 表情特征提取方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112990016B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837932A (zh) * 2021-09-28 2021-12-24 深圳市商汤科技有限公司 人脸生成方法、人脸识别方法及装置
CN113920571A (zh) * 2021-11-06 2022-01-11 北京九州安华信息安全技术有限公司 基于多运动特征融合的微表情识别方法及装置
CN115035566B (zh) * 2022-05-07 2023-07-04 北京大学深圳医院 表情识别方法、装置、计算机设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105139039A (zh) * 2015-09-29 2015-12-09 河北工业大学 视频序列中人脸微表情的识别方法
CN109325422A (zh) * 2018-08-28 2019-02-12 深圳壹账通智能科技有限公司 表情识别方法、装置、终端及计算机可读存储介质
CN110287801A (zh) * 2019-05-29 2019-09-27 中国电子科技集团公司电子科学研究院 一种微表情识别算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105139039A (zh) * 2015-09-29 2015-12-09 河北工业大学 视频序列中人脸微表情的识别方法
CN109325422A (zh) * 2018-08-28 2019-02-12 深圳壹账通智能科技有限公司 表情识别方法、装置、终端及计算机可读存储介质
CN110287801A (zh) * 2019-05-29 2019-09-27 中国电子科技集团公司电子科学研究院 一种微表情识别算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
图像特技动画人脸面部细微表情的生成方法;廖雪清;《蚌埠学院学报》;20200420(第02期);全文 *

Also Published As

Publication number Publication date
CN112990016A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112990016B (zh) 表情特征提取方法、装置、计算机设备及存储介质
Mirjalili et al. PrivacyNet: Semi-adversarial networks for multi-attribute face privacy
Babaee et al. Person identification from partial gait cycle using fully convolutional neural networks
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
WO2022022154A1 (zh) 脸部图像处理方法、装置、设备及存储介质
KR101198322B1 (ko) 얼굴 표정 인식 방법 및 시스템
CN110163111B (zh) 基于人脸识别的叫号方法、装置、电子设备及存储介质
Zhang et al. Opinion-unaware blind quality assessment of multiply and singly distorted images via distortion parameter estimation
CN111783629B (zh) 一种面向对抗样本攻击的人脸活体检测方法及装置
KR20210025020A (ko) 의사 이미지들을 이용한 얼굴 이미지 인식
CN112581370A (zh) 人脸图像的超分辨率重建模型的训练及重建方法
CN110728196A (zh) 一种人脸识别的方法、装置及终端设备
CN108875623B (zh) 一种基于图像特征融合对比技术的人脸识别方法
JP2015099563A (ja) 画像処理装置、画像処理方法及びプログラム
JP7282474B2 (ja) 暗号化マスク確定方法、暗号化マスク確定装置、電子機器、記憶媒体およびコンピュータプログラム
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
Hu et al. Face hallucination from low quality images using definition-scalable inference
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN111814682A (zh) 人脸活体检测方法及装置
CN113781488A (zh) 舌象图像的分割方法、装置及介质
CN113392791A (zh) 一种皮肤预测处理方法、装置、设备及存储介质
CN114743241A (zh) 一种人脸表情识别方法、装置、电子设备及存储介质
CN116912604B (zh) 模型训练方法、图像识别方法、装置以及计算机存储介质
Yang et al. No-reference image quality assessment focusing on human facial region
CN112818774A (zh) 一种活体检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant