CN112800951A - 基于局部基特征的微表情识别方法、系统、装置及介质 - Google Patents

基于局部基特征的微表情识别方法、系统、装置及介质 Download PDF

Info

Publication number
CN112800951A
CN112800951A CN202110109736.2A CN202110109736A CN112800951A CN 112800951 A CN112800951 A CN 112800951A CN 202110109736 A CN202110109736 A CN 202110109736A CN 112800951 A CN112800951 A CN 112800951A
Authority
CN
China
Prior art keywords
local
micro
expression
features
base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110109736.2A
Other languages
English (en)
Other versions
CN112800951B (zh
Inventor
周智恒
宋雨庭
李波
彭永坚
汪壮雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Video Star Intelligent Co ltd
South China University of Technology SCUT
Original Assignee
Guangzhou Video Star Intelligent Co ltd
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Video Star Intelligent Co ltd, South China University of Technology SCUT filed Critical Guangzhou Video Star Intelligent Co ltd
Priority to CN202110109736.2A priority Critical patent/CN112800951B/zh
Publication of CN112800951A publication Critical patent/CN112800951A/zh
Application granted granted Critical
Publication of CN112800951B publication Critical patent/CN112800951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于局部基特征的微表情识别方法、系统、装置及介质，其中方法包括以下步骤：获取微表情视频；将所述微表情视频转换为微表情图像序列，对所述微表情图像序列进行预处理，获得灰度人脸图像；提取所述灰度人脸图像的局部基特征，局部基包括左眼、右眼和嘴巴，局部基特征包括动态特征和静态特征；将所述局部基特征输入训练好的分类器进行识别，获得微表情识别结果。本发明提出一种新颖的特征提取框架，可有效识别各种强度范围内的表情，以及对帧速率几乎不敏感。本发明可广泛应用于图像处理技术领域。

Description

基于局部基特征的微表情识别方法、系统、装置及介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于局部基特征的微表情识别方法、系统、装置及介质。
背景技术
面部表情可以在日常生活中的社交交流中提供丰富的情感信息来源。通常，面部表情(宏)会持续约4到5秒，并且易于人类感知。但是，某些情绪会表现为微表情，这种表情非常快(仅持续1/3至1/25秒)并且具有非自发性。这些微表情让我们对一个人的真实情绪/感受有一瞥或洞察，即使他/她试图通过虚假的宏表情来隐藏真实的情绪。
情绪心理学领域最著名的专家之一保罗·埃克曼透露，从面部表情的角度来看，任何文化背景的人都以同样的方式表达自己的感情和情绪。在这一领域进行的大量研究表明，人类无法控制自己的微表情，也无法抑制它们。埃克曼把情绪分为六大类：愤怒、厌恶、恐惧、高兴、悲伤和惊讶。此外，他开发了面部动作编码系统识别(FACS)和微表情训练工具(METT)来标准化自动面部表情识别(FER)系统。根据肌肉运动将面部图像分成小单元，并将其归类为动作单元(AUs)。
由于微表情发生在几分之一秒内并且强度很低，因此很难通过人类的努力来检测它们。只有经过专业培训的人员才能发现和识别这些表达。即使人类经过专业培训，文献中也仅有47％的识别准确度。
自动微表情识别由于其在各个领域的广泛应用而引起了越来越多的关注：警察询问，临床诊断，抑郁分析，测谎，商务谈判，教学协助，执法等。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于局部基特征的微表情识别方法、系统、装置及介质。
本发明所采用的技术方案是：
一种基于局部基特征的微表情识别方法，包括以下步骤：
获取微表情视频；
将所述微表情视频转换为微表情图像序列，对所述微表情图像序列进行预处理，获得灰度人脸图像；
提取所述灰度人脸图像的局部基特征，局部基包括左眼、右眼和嘴巴，局部基特征包括动态特征和静态特征；
将所述局部基特征输入训练好的分类器进行识别，获得微表情识别结果。
进一步，还所述基于局部基特征的微表情识别方法还包括训练分类器的步骤，包括：
获取微表情训练集，所述微表情训练集包括训练视频以及与所述训练视频对应的微表情类别标签；
将所述训练视频转换为微表情图像序列，对所述微表情图像序列进行预处理，获得灰度人脸图像；
提取所述灰度人脸图像的局部基特征；
根据所述局部基特征获取运动系数的特征，根据所述运动系数的特征训练分类器。
进一步，所述提取所述灰度人脸图像的局部基特征的步骤包括获取局部基的步骤，包括：
从所述灰度人脸图像中裁剪出矩形的人脸图像并进行缩放，获得多帧人脸图像；
利用SDM技术对所述人脸图像进行中心定位，对所述人脸图像中的左眼、右眼和嘴巴部分进行裁剪，获取左眼方框、右眼方框和嘴部方框作为局部基。
进一步，所述提取所述灰度人脸图像的局部基特征，还包括：
采用Gabor小波来推断局部运动；
学习生成线性模型，根据局部运动来重构整个面部活动；
学习局部动态基以及局部静态基，获取动态特征和静态特征作为局部基特征。
进一步，所述根据所述局部基特征获取运动系数的特征，包括：
根据所述局部动态基A和所述局部静态基B获取微表情图像序列I的动态系数u和静态系数v；
从所述动态系数u和所述静态系数v中提取特征；
将所述动态系数u提取的特征和所述静态系数v中提取的特征串联起来，获得所述微表情数据集的特征向量Φ，作为用于训练分类器的运动系数的特征。
进一步，所述采用Gabor小波来推断局部运动，包括：
采用Gabor小波来推断局部运动，其中D复Gabor系数向量分解为相位和幅值分量；
从D复Gabor小波
Figure BDA0002918773040000021
中恢复帧It:
Figure BDA0002918773040000022
其中，
Figure BDA0002918773040000023
是参数的实部，*表示共轭，zt＝(zt,1,zt,2,…,zt,D)是复Gabor系数的向量，每个zt,d都可以分解为相位φt,d和幅值ρt,d，表达式为：
Figure BDA0002918773040000031
利用一组多个小波
Figure BDA0002918773040000032
的相移
Figure BDA0002918773040000033
得到一个完整的运动表达。
进一步，所述线性模型的表达式为：
Figure BDA0002918773040000034
其中
Figure BDA0002918773040000035
为包含该线性变换的KA个动态基向量的集合；ut,k为动态基系数，与运动强度成正比；
Figure BDA0002918773040000036
为圆形正态分布是模型的误差项。
本发明所采用的另一技术方案是：
一种基于局部基特征的微表情识别系统，包括：
数据获取模块，用于获取微表情视频；
预处理模块，用于将所述微表情视频转换为微表情图像序列，对所述微表情图像序列进行预处理，获得灰度人脸图像；
特征提取模块，用于提取所述灰度人脸图像的局部基特征，局部基包括左眼、右眼和嘴巴，局部基特征包括动态特征和静态特征；
分类识别模块，用于将所述局部基特征输入训练好的分类器进行识别，获得微表情识别结果。
本发明所采用的另一技术方案是：
一种基于局部基特征的微表情识别装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明提出一种新颖的特征提取框架，可有效识别各种强度范围内的表情，以及对帧速率几乎不敏感。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种基于局部基特征的微表情识别方法的步骤流程图；
图2是本发明实施例中SDM技术获取局部基的示意图；
图3是本发明实施例中局部基的学习过程和特征提取的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
局部基是指人脸的局部，我选取了人的左眼、右眼、嘴巴作为基，提取它们的动态特征、静态特征汇合称为局部基特征。本实施例将人脸分割成为左眼、右眼、嘴巴，然后通过D复Gabor小波推断其运动，将运动分为相位和幅值，然后学习相位和幅值的线性模型。此线性模型包含两个重要部分，一个是局部基，一个是运动系数。对于基的生成学习，本实验认为生成的基最接近原样本最优，且在一段视频中面部表情只占一部分，所以具有稀疏性，根据此特性为基施加运动系数的先验分布和基的稀疏约束，最大化学习过程得到动态基A和静态基B。得到A、B之后，多次迭代逼近原样本以此得到运动系数u、v，然后提取运动系数的特征，得到特征就可以学习分类器，用于表情的分类。
如图1所示，本实施例提供一种基于局部基特征的微表情识别方法，包括但不限于以下步骤：
S1、获取微表情数据集，数据集中包含有若干微表情视频和对应的微表情类别标签。
S2、将训练数据库和测试数据库中的微表情视频转换为微表情图像序列，并从中提取出灰度人脸图像，在序列的每一帧中裁剪左眼、右眼和嘴部组件为相同尺寸的正方形。
其中，步骤S2具体包括步骤S21-S25：
S21、将训练数据库和测试数据库中的每个微表情视频转换为微表情图像序列；
S22、将所述微表情图像序列进行灰度化处理；
S23、从灰度化处理的微表情图像序列中裁剪出矩形人脸图像并进行缩放；
S24、微表情数据集中，表情的顶点是未知的，故使用所有帧。对于微表情数据集，在学习基函数时通过时间插值将训练序列的大小调整为10帧；
S25、利用SDM技术对序列的每个帧进行中心定位后，如图2，对序列的每一帧中的左眼、右眼和嘴巴部分进行裁剪(SDM技术提供了左眼、右眼和嘴巴的角点。计算这些分量的中心，作为主体位置的平均值。)将每个组件裁剪为32×32像素的正方形，并避免不同组件之间的重叠。
S3、学习特征提取框架，该框架将面部表情变化表示为局部基函数的线性组合，其系数与运动强度成正比。通过使用由面部视频计算出的Gabor相移数据训练稀疏性线性模型来学习与局部面部活动相对应的基函数。
其中，步骤S3具体包括步骤S31-S35：
S31、为了编码局部运动而不需要显式地计算运动矢量，采用Gabor小波来推断局部运动。其中D复Gabor系数向量每个都可以分解为相位和幅值分量。可以从D复Gabor小波
Figure BDA0002918773040000051
中恢复帧It:
Figure BDA0002918773040000052
其中，
Figure BDA0002918773040000053
是参数的实部，*表示共轭，zt＝(zt,1,zt,2,…,zt,D)是复Gabor系数的向量，每个zt,d都可以分解为相位φt,d和幅值ρt,d，表达式为：
Figure BDA0002918773040000054
利用一组多个小波
Figure BDA0002918773040000055
的相移
Figure BDA0002918773040000056
得到一个完整的运动表达。
S32、本实施例旨在学习一种生成线性模型，可以根据局部运动来重构整个面部活动，故本实施例的目标是学习一个可以代表任何表情引起的相移模式
Figure BDA0002918773040000061
的生成线性模型:
Figure BDA0002918773040000062
其中
Figure BDA0002918773040000063
为包含该变换的KA个基础向量的集合，基系数ut,k与运动强度成正比，例如，如果基向量Ak对应于一个扬眉，那么一个小的(大)值应表示对于一个相移
Figure BDA0002918773040000064
包含一个小(大)的眉毛运动。模型的误差项
Figure BDA0002918773040000065
为圆形正态分布，其随机变量
Figure BDA0002918773040000066
彼此独立，建模为：
Figure BDA0002918773040000067
其中是κ集中度参数。
这种线性变换具有两个优点：(i)通过系数的大小可以分离出微表情和宏表情；(ii)可以独立于视频帧速率使用基数
Figure BDA0002918773040000068
因为视频帧速率(即视觉运动速度)的变化仅导致系数ut,k随时间变化的速率发生变化，所以帧速率对于表情识别没有影响。
S33、学习局部动态基。在生成学习中，最能描述给定的N个独立同分布样本
Figure BDA0002918773040000069
的基(即A)是使似然值最大的样本：
Figure BDA00029187730400000610
模型通过对基系数ut,k上使用先验分布并在局部基Ak上施加约束来最大化学习过程，以此产生基A，具体步骤：
S331、面部表情通常只占面部的一小部分，因此，只有一小部分系数必须具有较大的值，而其余系数必须为零或相对很小。所以对基系数ut,k上使用先验分布来强制执行,该分布有利于ut,k为零且具有高峰：
Figure BDA00029187730400000611
其中λu和βu分别是柯西分布和高斯分布的比例参数和精度参数，而Zu是确保分布总和为1的归一化系数。
S332、对于局部化基Ak，其大部分元素必须为零，而非零元素应该属于空间上邻近的区域。通过强制执行以下稀疏度量来产生局部基：
Figure BDA00029187730400000612
其中‖·‖1和‖·‖2分别表示L1、L2范数，Ak越稀疏，ξ(Ak)值越大。通过预定义稀疏率SA并强制在优化过程中所有基都遵循该比率以此获得稀疏的局部基，即ξ(Ak)＝SA。
S34、学习局部静态基。当一个序列中没有表情变化时，就没有运动，相移φt为零。因此，模型必须能够从面部结构分析表情。这可以通过学习静态基来实现，就像学习动态基一样。动态基可以从相移φt中学习，而静态基可以从幅值中学习:ρt＝(ρt,1,ρt,2,…,ρt,D)，动态基与局部面部运动有关(例如抬起眉毛)，而静态基则描述在空间中局部的特定面部配置(例如抬高的眉毛)。具体步骤：
S341、学习一个能够表示任何面部配置生成的幅度模式ρt的生成线性模型。使用对数幅度，因为对数线性化了量级之间的相关性：
Figure BDA0002918773040000071
其中
Figure BDA0002918773040000072
是静态基数，vt,k是静态系数，
Figure BDA0002918773040000073
是从正态分布得出的噪声项，即
Figure BDA0002918773040000074
S342、在学习过程中，施加与动态基相似的先验和约束。
先验P(vt,k|vt-1,k)与(5)相同但其参数不同；柯西分布的尺度、高斯函数的精度和正规化系数分别用λv、βv和Zv表示。
S35、将静态和动态基的学习公式化为以下优化问题：
给出相移数据集
Figure BDA0002918773040000075
和幅值数据集
Figure BDA0002918773040000076
动态和静态基数KA和KB，稀疏比SA和SB，找到满足以下条件的
Figure BDA0002918773040000077
和
Figure BDA0002918773040000078
流程如图3。
Figure BDA0002918773040000079
Figure BDA00029187730400000710
约束条件：
ξ(Ak)＝SA ξ(Bk)＝SB (10)
S4、利用所学习的基用于提取特征以识别序列I中的面部表情；特征用作从一组序列中训练的多类分类器的输入。
其中，步骤S4具体包括以下步骤：
S41、利用动态基A和静态基B，求出序列I的系数u和v：
Figure BDA00029187730400000711
Figure BDA0002918773040000081
S42、从动态系数u＝(u1,u2,…,uT)和静态系数v＝(v1,v2,…,vT)中提取特征，具体步骤：
S421、为了从动态系数u中提取特征，首先将系数随时间分成TA切片
Figure BDA0002918773040000087
其中每个uτ是一个包含
Figure BDA0002918773040000082
系数向量的集合，即：
Figure BDA0002918773040000083
然后为每个uτ计算直方图：
Figure BDA0002918773040000084
其中hist(·)是计算其输入集的直方图的运算符，在实验中使用直方图池，然后再将为所有τ＝1,2,…,TA和k＝1,2,…,KA计算的直方图连接起来。串联直方图的长度为HA×KA×TA。
S422、以类似的方式从静态系数v中提取特征，即通过将v随时间(v1,v2,…,vTB)分成TB切片。在这种情况下，使用均值和标准偏差池，它们的维度比直方图池的维数低，并且在实验中通常可以达到与直方图池相当的性能。静态特征的向量是通过将所有τ＝1,2,…,TB和k＝1,2,…,KB的池输出串联在一起而获得的，该向量的长度为2×KB×TB。
S43、最后，通过将动态系数和静态系数的合并输出串联起来，获得I的特征向量Φ，以此作为分类器的输入。
S5、使用多项式内核SVM，并且在测试时也使用该内核。具体实施方法：
SMIC中的基线方法采用多项式内核SVM，并在SMIC上进行了测试。本发明使用相同的内核参数，通过跨数据库验证学习SMIC上的C参数。
S6、在所有测试中均使用分类准确性作为评估指标，输出结果。具体实施方法：
作为评估指标，本发明在所有测试中均使用分类准确性：
Figure BDA0002918773040000085
其中|·|表示集合的基数，N是测试序列的数量，yn和
Figure BDA0002918773040000086
分别是第n个序列的基本事实和预测。
综上所述，本实施例的方法相对于现有技术，具有如下有益效果：通过本实施例的设计，学习表示可以有效地识别各种强度范围内的面部表情，并且对帧速率几乎不敏感。重要的是，与其他学习的表示方式不同，在学习特征时，所提出的方法无需使用训练序列的表达标签即可达到最好的性能。
本实施例还提供一种基于局部基特征的微表情识别方法，包括：
数据获取模块，用于获取微表情视频；
预处理模块，用于将所述微表情视频转换为微表情图像序列，对所述微表情图像序列进行预处理，获得灰度人脸图像；
特征提取模块，用于提取所述灰度人脸图像的局部基特征，局部基包括左眼、右眼和嘴巴，局部基特征包括动态特征和静态特征；
分类识别模块，用于将所述局部基特征输入训练好的分类器进行识别，获得微表情识别结果。
本实施例的一种基于局部基特征的微表情识别系统，可执行本发明方法实施例所提供的一种基于局部基特征的微表情识别方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供一种基于局部基特征的微表情识别装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本实施例的一种基于局部基特征的微表情识别装置，可执行本发明方法实施例所提供的一种基于局部基特征的微表情识别方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种基于局部基特征的微表情识别方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于局部基特征的微表情识别方法，其特征在于，包括以下步骤：
获取微表情视频；
将所述微表情视频转换为微表情图像序列，对所述微表情图像序列进行预处理，获得灰度人脸图像；
提取所述灰度人脸图像的局部基特征，局部基包括左眼、右眼和嘴巴，局部基特征包括动态特征和静态特征；
将所述局部基特征输入训练好的分类器进行识别，获得微表情识别结果。
2.根据权利要求1所述的一种基于局部基特征的微表情识别方法，其特征在于，还所述基于局部基特征的微表情识别方法还包括训练分类器的步骤，包括：
获取微表情训练集，所述微表情训练集包括训练视频以及与所述训练视频对应的微表情类别标签；
将所述训练视频转换为微表情图像序列，对所述微表情图像序列进行预处理，获得灰度人脸图像；
提取所述灰度人脸图像的局部基特征；
根据所述局部基特征获取运动系数的特征，根据所述运动系数的特征训练分类器。
3.根据权利要求1或2所述的一种基于局部基特征的微表情识别方法，其特征在于，所述提取所述灰度人脸图像的局部基特征的步骤包括获取局部基的步骤，包括：
从所述灰度人脸图像中裁剪出矩形的人脸图像并进行缩放，获得多帧人脸图像；
利用SDM技术对所述人脸图像进行中心定位，对所述人脸图像中的左眼、右眼和嘴巴部分进行裁剪，获取左眼方框、右眼方框和嘴部方框作为局部基。
4.根据权利要求3所述的一种基于局部基特征的微表情识别方法，其特征在于，所述提取所述灰度人脸图像的局部基特征，还包括：
采用Gabor小波来推断局部运动；
学习生成线性模型，根据局部运动来重构整个面部活动；
学习局部动态基以及局部静态基，获取动态特征和静态特征作为局部基特征。
5.根据权利要求4所述的一种基于局部基特征的微表情识别方法，其特征在于，所述根据所述局部基特征获取运动系数的特征，包括：
根据所述局部动态基A和所述局部静态基B获取微表情图像序列I的动态系数u和静态系数v；
从所述动态系数u和所述静态系数v中提取特征；
将所述动态系数u提取的特征和所述静态系数v中提取的特征串联起来，获得所述微表情数据集的特征向量Φ，作为用于训练分类器的运动系数的特征。
6.根据权利要求4所述的一种基于局部基特征的微表情识别方法，其特征在于，所述采用Gabor小波来推断局部运动，包括：
采用Gabor小波来推断局部运动，其中D复Gabor系数向量分解为相位和幅值分量；
从D复Gabor小波
Figure FDA0002918773030000021
中恢复帧It:
Figure FDA0002918773030000022
其中，
Figure FDA0002918773030000023
是参数的实部，*表示共轭，zt＝(zt,1,zt,2,…,zt,D)是复Gabor系数的向量，每个zt,d都可以分解为相位φt,d和幅值ρt,d，表达式为：
Figure FDA0002918773030000024
利用一组多个小波
Figure FDA0002918773030000025
的相移
Figure FDA0002918773030000026
得到一个完整的运动表达。
7.根据权利要求4所述的一种基于局部基特征的微表情识别方法，其特征在于，所述线性模型的表达式为：
Figure FDA0002918773030000027
其中，
Figure FDA0002918773030000028
为包含该线性变换的KA个动态基向量的集合；ut,k为动态基系数，与运动强度成正比；
Figure FDA0002918773030000029
为圆形正态分布是模型的误差项。
8.一种基于局部基特征的微表情识别系统，其特征在于，包括：
数据获取模块，用于获取微表情视频；
预处理模块，用于将所述微表情视频转换为微表情图像序列，对所述微表情图像序列进行预处理，获得灰度人脸图像；
特征提取模块，用于提取所述灰度人脸图像的局部基特征，局部基包括左眼、右眼和嘴巴，局部基特征包括动态特征和静态特征；
分类识别模块，用于将所述局部基特征输入训练好的分类器进行识别，获得微表情识别结果。
9.一种基于局部基特征的微表情识别装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述的一种基于局部基特征的微表情识别方法。
10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。
CN202110109736.2A 2021-01-27 2021-01-27 基于局部基特征的微表情识别方法、系统、装置及介质 Active CN112800951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110109736.2A CN112800951B (zh) 2021-01-27 2021-01-27 基于局部基特征的微表情识别方法、系统、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110109736.2A CN112800951B (zh) 2021-01-27 2021-01-27 基于局部基特征的微表情识别方法、系统、装置及介质

Publications (2)

Publication Number Publication Date
CN112800951A true CN112800951A (zh) 2021-05-14
CN112800951B CN112800951B (zh) 2023-08-08

Family

ID=75812027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110109736.2A Active CN112800951B (zh) 2021-01-27 2021-01-27 基于局部基特征的微表情识别方法、系统、装置及介质

Country Status (1)

Country Link
CN (1) CN112800951B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258204A (zh) * 2012-02-21 2013-08-21 中国科学院心理研究所 一种基于Gabor和EOH特征的自动微表情识别方法
CN106548149A (zh) * 2016-10-26 2017-03-29 河北工业大学 监控视频序列中人脸微表情图像序列的识别方法
CN110427881A (zh) * 2019-08-01 2019-11-08 东南大学 基于人脸局部区域特征学习的跨数据库微表情识别方法及装置
CN111259759A (zh) * 2020-01-13 2020-06-09 东南大学 基于域选择迁移回归的跨数据库微表情识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258204A (zh) * 2012-02-21 2013-08-21 中国科学院心理研究所 一种基于Gabor和EOH特征的自动微表情识别方法
CN106548149A (zh) * 2016-10-26 2017-03-29 河北工业大学 监控视频序列中人脸微表情图像序列的识别方法
CN110427881A (zh) * 2019-08-01 2019-11-08 东南大学 基于人脸局部区域特征学习的跨数据库微表情识别方法及装置
CN111259759A (zh) * 2020-01-13 2020-06-09 东南大学 基于域选择迁移回归的跨数据库微表情识别方法及装置

Also Published As

Publication number Publication date
CN112800951B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
Canal et al. A survey on facial emotion recognition techniques: A state-of-the-art literature review
CN109492662B (zh) 一种基于对抗自编码器模型的零样本图像分类方法
CN109919252B (zh) 利用少数标注图像生成分类器的方法
CN113782190B (zh) 基于多级时空特征和混合注意力网络的图像处理方法
CN113283336A (zh) 一种文本识别方法与系统
CN110705490A (zh) 视觉情感识别方法
Khayyat et al. A deep learning based prediction of arabic manuscripts handwriting style.
Singh et al. Age, gender prediction and emotion recognition using convolutional neural network
Ezerceli et al. Convolutional neural network (cnn) algorithm based facial emotion recognition (fer) system for fer-2013 dataset
Boutin et al. Diffusion models as artists: are we closing the gap between humans and machines?
Sakshi et al. CNN-based handwritten mathematical symbol recognition model
Pakulich et al. Age recognition from facial images using convolutional neural networks
Santra et al. Facial expression recognition using convolutional neural network
Wang et al. Intelligent painting identification based on image perception in multimedia enterprise
Nistor Multi-staged training of deep neural networks for micro-expression recognition
CN112800951B (zh) 基于局部基特征的微表情识别方法、系统、装置及介质
Kousalya et al. Prediction of Best Optimizer for Facial Expression Detection using Convolutional Neural Network
CN114973362A (zh) 一种应用于社交机器人的动态延长编码微表情识别方法
CN111931665A (zh) 一种基于类内变化字典建模的欠采样人脸识别方法
Hiremani et al. Quantifying apt of RNN and CNN in Image Classification
Nayak et al. Facial Expression Recognition based on Feature Enhancement and Improved Alexnet
Fibriani et al. Detection of Kinship through Microexpression Using Colour Features and Extreme Learning Machine
Qian Enhancing Automatic Emotion Recognition for Clinical Applications: A Multimodal, Personalized Approach and Quantification of Emotional Reaction Intensity with Transformers
Roman-Rangel et al. Transferring neural representations for low-dimensional indexing of Maya hieroglyphic art
Pernuš et al. ChildNet: Structural Kinship Face Synthesis Model With Appearance Control Mechanisms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant