CN106548149B - 监控视频序列中人脸微表情图像序列的识别方法 - Google Patents

监控视频序列中人脸微表情图像序列的识别方法 Download PDF

Info

Publication number
CN106548149B
CN106548149B CN201610948208.5A CN201610948208A CN106548149B CN 106548149 B CN106548149 B CN 106548149B CN 201610948208 A CN201610948208 A CN 201610948208A CN 106548149 B CN106548149 B CN 106548149B
Authority
CN
China
Prior art keywords
face micro
plane
smtctp
expression
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610948208.5A
Other languages
English (en)
Other versions
CN106548149A (zh
Inventor
于明
张津
于洋
刘依
张婷婷
郭迎春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN201610948208.5A priority Critical patent/CN106548149B/zh
Publication of CN106548149A publication Critical patent/CN106548149A/zh
Application granted granted Critical
Publication of CN106548149B publication Critical patent/CN106548149B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明监控视频序列中人脸微表情图像序列的识别方法，涉及应用电子设备进行识别图形的方法，步骤是：监控视频人脸微表情图像序列欧拉放大；监控视频人脸微表情图像预处理；利用SMTCTP‑WTOP算子提取人脸微表情图像序列的动态时空纹理特征；使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别。本发明克服了现有技术中人脸微表情图像的识别受到光照、遮挡物和噪声的影响，导致识别率较低的缺陷。

Description

监控视频序列中人脸微表情图像序列的识别方法
技术领域
本发明的技术方案涉及应用电子设备进行识别图形的方法，具体地说是监控视频序列中人脸微表情图像序列的识别方法。
背景技术
人脸微表情不同于普通表情，是一种持续时间很短并且非常快速的表情，持续约1/25秒至1/5秒，是人类试图压抑或者隐藏真实情感时泄露的不能自主控制，不易被察觉的面部表情。通过分析人脸微表情，可以发现人试图隐藏的真实情感，在临床、司法、国家安全和审讯等中都有很多潜在的应用价值。在日常生活中，了解人脸微表情，也是识别谎言的有效的途径之一。
1966年,Haggard和Isaaes首先发现了一种快速且不易被察觉的面部表情(micromomentary facial expressions),认为其与自我防御机制有关，且表达了被压抑的情绪。1969年,Ekman和Friesen也在抑郁症患者的访谈录像中发现了这种面部表情,并将其命名为人脸微表情。Ekman等将跨越不同民族和文化群体的面部表情分成6个主要类别:快乐、悲伤、惊讶、恐惧、愤怒和厌恶。人脸微表情的识别分为两个阶段，一是人工识别人脸微表情阶段，二是人脸微表情自动识别阶段。在人脸微表情早期研究中，即人工识别人脸微表情阶段，研究者的主要任务是编制各种人脸微表情训练工具以达到训练或者提高人脸微表情的识别能力。自Ekman于2002年首先研制出人脸微表情自动识别能力的工具即METT(人脸微表情训练工具)后,人脸微表情自动识别的应用研究在近年来不断涌现，并引起社会媒体和科学界的广泛关注。一些早期的人脸微表情自动识别的应用研究主要集中在一些合成的面部人脸微表情，后来的研究发现，相比于合成的人脸微表情，自发的人脸微表情可以揭示人们内心的真实情感，但更具挑战性，因而更加引起研究人员的关注。目前，自发的人脸微表情识别率很低。美国的Ekman团队、Matsumoto团队和Shreve团队，日本的Polikovsky团队,芬兰的赵国英团队,中国的傅小兰团队等在开展人脸微表情研究。在目前的研究进展中，芬兰奥卢大学的赵国英团队用时间差值模型和LBP-TOP(Local Binary Pattern fromThree Orthogonal Planes)算法对于人脸微表情识别是最简单有效的，是公认的人脸微表情识别方法。由于LBP-TOP对噪声、光照等鲁棒性较差，故Nanni等提出了LTP-TOP(基于三维正交平面的局部三值模式)算法，该算法把LBP算子的二值模式扩展为三值模式LTP算子，但该方法对有遮挡物的人脸微表情难以识别。马来西亚的Wang等人使用六个交叉点的局部二值模式(LBP-SIP，Local Binary Pattern with Six Intersection Points)，减少了LBP-TOP的冗余信息，识别率提高为65.99％，但其提取的特征数较少，丢失了较多人脸微表情纹理特征信息。芬兰学者Huang等人在LBP-TOP基础上提出STCLQP(Spatio TemporalCompleted Local Quantization Patterns)算法，利用3个组件，即符号、大小和方向，形成一个高效的矢量量化和编码来识别人脸微表情，在CASME数据库上识别率达到为68.93％，但识别率并没有达到理想的结果。中国专利CN 103440509 A提出了一种基于张量空间采用张量表达的判别分析方法，最小化同一种人脸微表情的类内距离，最大化不同类人脸微表情的类间距离，实现对数据降维，并且将特征数据按照类判别能力降低的顺序进行向量化排序，但该方法计算复杂，易受到噪声的影响，并且识别率也不高。CN 103617436A提出了一种基于差分切片能量图和Gabor变换的人脸微表情识别方法，该方法主要是将差分切片能量图进行Gabor变换的特征提取，提取后的特征再下采样，再使用线性判别分析作进一步特征提取，但该方法时间复杂度高，且Gabor表征全局的能力较弱，而识别性能低于人们的期望。
发明内容
本发明所要解决的技术问题是：提供监控视频序列中人脸微表情图像序列的识别方法，是一种利用SMTCTP-WTOP算子提取监控视频微表情序列的动态时空纹理特征的人脸微表情的识别方法，本发明克服了现有技术中人脸微表情图像的识别受到光照、遮挡物和噪声的影响，导致识别率较低的缺陷。
上述SMTCTP-WTOP是Symmetry Magnitude Twice Centered Ternary PatternsWeighted Three Orthogonal Planes的缩写。
本发明解决该技术问题所采用的技术方案是：监控视频序列中人脸微表情图像序列的识别方法，是一种利用SMTCTP-WTOP算子提取监控视频微表情序列的动态时空纹理特征的人脸微表情的识别方法，具体步骤如下：
第一步，监控视频人脸微表情图像序列欧拉放大：
利用计算机USB口输入监控视频中包含人脸微表情的图像序列为L帧，采用欧拉影像放大算法对人脸图像序列进行放大；
第二步，监控视频人脸微表情图像序列预处理：
利用中值滤波算法对上述第一步中得到的放大的监控视频人脸微表情图像序列去噪，然后用Adaboost算法检测该去噪后的图像序列中的人脸，并进行裁剪，采用双线性插值算法实现图像的尺寸归一化，完成监控视频人脸微表情图像预处理，得到预处理后的监控视频人脸微表情图像的大小为N×N个像素；
第三步，利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征：
(3.1)计算XY、XT、YT平面上每个像素点的CTP和SMTP特征：
对上述第二步预处理后得到人脸微表情图像序列，分别在XY、XT、YT平面上遍历人脸微表情图像序列中的每一个像素点Gc，在以Gc为中心，R为半径的环形近邻点上提取Gc的CTP特征和SMTP特征，其中像素点Gc的CTP特征由公式(1)提取，
Figure GDA0002190521060000021
这里，s(p)为三值函数，公式如下：
Figure GDA0002190521060000031
公式(1)中，gc是中心像素点Gc的灰度值，R是以Gc为中心的环的半径，n是分布在环上的像素点个数即近邻像素点个数，gd，d＝0,1,…,n-1，是近邻像素点Gd的灰度值，t是阈值；
像素点Gc的SMTP特征定义如下：
Figure GDA0002190521060000032
这里k(p)是二值函数，公式如下：
Figure GDA0002190521060000033
公式(3)中，
Figure GDA0002190521060000034
公式(4)中取t＝M；
由此计算出XY、XT、YT平面上每个像素点的CTP和SMTP特征；
(3.2)提取SMTCTP-TOP特征统计直方图：
对于第二步得到的图像的尺寸归一化的人脸微表情图像序列，大小为N×N×L,需要分别在XY、XT、YT平面上统计公式(3)和公式(4)得到的每个像素点的CTP特征和SMTP特征，并采用公式(5)分别计算三个平面的CTP和SMTP统计直方图，每个平面的CTP统计直方图定义如下：
Figure GDA0002190521060000035
公式(5)中，j的值为0、1、2，分别表示XY、XT、YT平面，f表示CTP特征值，CTPj(n,R,gc(x,y,t))表示中心像素点Gc在第j个平面CTP特征值，(x,y,t)为Gc的坐标，nj为CTP特征在第j个平面产生的最大的十进制数，二值函数I(e)如下所示：
Figure GDA0002190521060000036
同理，每个平面j＝0、1、2的SMTP特征统计直方图定义如公式(7)：
Figure GDA0002190521060000037
XY、XT、YT三个平面的SMTCTP特征统计直方图是由两个CTP特征统计直方图和一个SMTP特征统计直方图组成，即：
Hj＝[HCTP,j HCTP,j HSMTP,j]j＝0,1,2 (8),
将每个平面得到的统计直方图标准化如下：
Figure GDA0002190521060000041
公式(9)中，把XY、XT、YT三个平面的统计直方图总和加起来作为分母，分子为各个平面的统计直方图，最后得出标准化后的统计直方图，再进行统计直方图的串联，得到SMTCTP-TOP特征统计直方图H，如公式(10)所示，
Figure GDA0002190521060000042
由此提取出SMTCTP-TOP特征统计直方图；
(3.3)确定XY、XT和YT平面统计直方图的权值，得到SMTCTP-WTOP特征统计直方图：
对XY、XT和YT每个平面赋予不同平面统计直方图的权值，且三个平面统计直方图的权值之和为1，从而构成SMTCTP-WTOP算子，具体方法如下：设XY平面统计直方图所占权值为a，XT平面统计直方图所占权值为b，则YT平面统计直方图所占权值为(1-a-b)，权值向量W为：
W＝[a b 1-a-b] (11)，
则构成加权的SMTCTP-TOP即SMTCTP-WTOP算子如下：
Figure GDA0002190521060000043
由此得到SMTCTP-WTOP特征统计直方图，并利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征，即SMTCTP-WTOP特征；
第四步，使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别：
在上述第三步利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征之后，利用SVM分类器进行多类分类，具体的操作过程如下：
(4.1)将第二步人脸微表情图像预处理完成后的人脸微表情序列进行分类：
将人脸微表情分成五类：厌恶、压抑、高兴、惊讶和紧张；
(4.2)分类训练集和测试集：
将上述(4.1)步中五类人脸微表情各自随机选取一部分序列作为训练集，另一部分作为测试集，训练集和测试集的比例为3∶1；
(4.3)使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别：
对上述(4.2)步中的训练集中的人脸微表情依据上述第三步中提取的SMTCTP-WTOP特征，得到上述五类人脸微表情中的每一类人脸微表情的SVM训练模型，将五类人脸微表情的SVM分类器训练模型组合成一个整体的SVM人脸微表情分类器，对上述(4.2)步中的测试集的人脸微表情依据上述第三步中提取的SMTCTP-WTOP特征，利用训练好的SVM分类器进行预测，区分属于哪类人脸微表情，最终完成监控视频序列中人脸微表情图像序列的识别。
上述监控视频人脸微表情图像序列的识别方法，所述N×N像素中，N取值为256。
上述监控视频人脸微表情图像序列的识别方法，所述利用计算机USB口输入监控视频中包含人脸微表情的图像序列为L帧，其中L≥20。
上述监控视频人脸微表情图像序列的识别方法，所述使用SVM分类器进行训练和预测，其中所使用的分类器SVM的类型为默认设置C-SVC，核函数类型为RBF。
上述监控视频人脸微表情序列的识别方法，所述欧拉影像放大算法、Adaboost算法和SVM分类器都是公知的。
本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：
(1)本发明方法利用中心像素点及其对称近邻的幅值进行CTP和SMTP特征提取，进一步利用SMTCTP-WTOP算子提取人脸微表情序列特征，显著降低了直方图的维度，并克服了输入的人脸微表情图像序列中光照、遮挡物、噪音对识别结果的影响。
(2)本发明方法分别在三个平面提取SMTCTP特征统计直方图，并根据各平面反映的信息不同进行加权，构成SMTCTP-WTOP算子，并利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征，即SMTCTP-WTOP特征，提高了人脸微表情识别率。
(3)本发明方法计算简单，时间复杂度低。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明方法的流程示意框图。
图2是本发明中每个像素点Gc的CTP特征示意图。
图3是本发明中每个像素点Gc的SMTP特征示意图。
图4是本发明中确定XY、XT和YT平面直方图的权值，得到SMTCTP-WTOP特征统计直方图的过程示意图，其中：
图4(a)是设立人脸微表情图像序列的XY、XT和YT三个平面图的示意图；
图4(b)是提取出每个平面的SMTCTP-TOP特征统计直方图的示意图；
图4(c)是得到SMTCTP-WTOP特征统计直方图的示意图。
图5是本发明中的不同CTP阈值t条件下分别在CASME和CASMEII两个数据库中的识别率的比较示意图。
图6是不同的人脸微表情序列的识别方法在CASME和CASMEII数据库中的识别率的实验比较示意图。
具体实施方式
图1所示实施例表明，本发明方法的流程是：监控视频人脸微表情图像序列欧拉放大→监控视频人脸微表情图像预处理→利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征→使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别。
图2所示实施例表明，本发明中每个像素点gc的CTP特征由下面的公式(1’)提取，
Figure GDA0002190521060000061
这里，s(p)为三值函数，公式如下：
Figure GDA0002190521060000062
式(1’)中，gc是中心像素点Gc的灰度值，R是以Gc为中心的环的半径，n是分布在环上的像素点个数即近邻像素点个数，gd，d＝0,1,…,n-1，是近邻像素点Gd的灰度值，t是阈值；
图3所示实施例表明，本发明中每个像素点Gc的SMTP特征定义如下公式(3’)：
Figure GDA0002190521060000063
这里k(p)是二值函数，公式如下：
Figure GDA0002190521060000064
公式(3’)中，
Figure GDA0002190521060000065
公式(4)中取t＝M；
图4所示实施例表明，本发明中确定XY、XT和YT平面统计直方图的权值，得到SMTCTP-WTOP特征统计直方图的过程如下：
(1)如图4(a)所示，设立人脸微表情图像序列的XY、XT和YT三个平面图。针对微表情视频图像序列，此序列可以看成是XY平面在T轴的堆叠，同理也可看成XT平面在Y轴上的堆叠和YT平面在X轴上的堆叠；人脸微表情序列中的每一幅处于中间部分的图像上的每个像素点，都可以看做是XY、XT和YT三个正交平面的交点。
(2)如图4(b)所示，提取出每个平面的SMTCTP-TOP特征统计直方图的定义如下：
对于得到的图像的尺寸归一化的人脸微表情图像序列，大小为N×N×L＝256*256*20,需要分别在XY、XT、YT平面上统计上述公式(1’)和公式(3’)得到的每个像素点的CTP特征和SMTP特征，并采用下式(5)分别计算三个平面的CTP和SMTP统计直方图，每个平面的CTP特征统计直方图定义如下：
Figure GDA0002190521060000066
公式(5)中，j的值为0、1、2，分别表示XY、XT、YT平面，f表示CTP特征值，CTPj(n,R,gc(x,y,t))表示中心像素点Gc在第j个平面CTP特征值，(x,y,t)为Gc的坐标，nj为CTP特征在第j个平面产生的最大的十进制数，二值函数I(e)如下所示：
Figure GDA0002190521060000071
同理，每个平面j＝0、1、2的SMTP特征统计直方图定义如公式(7)：
Figure GDA0002190521060000072
XY、XT、YT三个平面的SMTCTP特征统计直方图是由两个CTP特征统计直方图和一个SMTP特征统计直方图组成，即：
Hj＝[HCTP,j HCTP,j HSMTP,j]j＝0,1,2 (8),
将每个平面得到的统计直方图标准化如下：
Figure GDA0002190521060000073
式(9)中，把XY、XT、YT三个平面的统计直方图总和加起来作为分母，分子为各个平面的统计直方图，最后得出标准化后的统计直方图，再进行统计直方图的串联，得到SMTCTP-TOP特征统计直方图H，如公式(10)所示，
Figure GDA0002190521060000074
由此提取出每个平面的SMTCTP-TOP特征统计直方图。
(3)如图4(c)所示，得到SMTCTP-WTOP特征统计直方图的过程如下：
XY、XT、YT各个平面所要表达的微表情信息不同，重要程度也不同，对每个平面赋予不同的平面统计直方图权值，且三个平面统计直方图的权值之和为1，构成SMTCTP-WTOP算子，可以突出微表情信息丰富的平面，削弱微表情信息少平面的影响，提高最终识别率。设XY平面统计直方图所占权值为a，XT平面统计直方图所占权值为b，则YT平面统计直方图所占权值为(1-a-b)，权值向量W为：
W＝[a b 1-a-b] (11)，
则构成加权的SMTCTP-TOP即SMTCTP-WTOP算子如下：
Figure GDA0002190521060000075
对上面得到的各个平面的特征统计直方图分别赋予不同的权值，因为每个平面所要表达的微表情信息不同及多少不同，所以给每个平面赋予不同的权值，以达到微表情信息重要的突出，次要的忽略的目的。经实验证明，最后XY、XT、YT三个平面特征统计直方图权值比为0.3:0.3:0.4时，识别效果最好，最后将每个赋予不同权值的平面特征统计直方图串联起来，由此得到SMTCTP-WTOP特征统计直方图。
图5显示了本发明中的不同CTP阈值t条件下分别在CASME和CASMEII两个数据库中的识别率的比较情况，可知本发明方法在数据库CASMEII中整体识别率较好，且在CASME和CASMEII两个数据库中从t＝1开始，随着t的增大，两个数据库的识别率都一直在减少，可知得到的最优阈值t具有一定的通用性。图5所示实施例表明，在本发明中，当CTP特征提取中的阈值t＝1时，效果最好，识别率能够达到69.25％。实验基础是P＝8,R＝1，该图中横坐标表示阈值大小，纵坐标表示对应的算法识别率(％)。
图6显示了不同的人脸微表情序列的识别方法在CASME和CASMEII数据库中的识别率的实验比较情况，即分别用张量独立颜色空间(TICS)、主要方向平均光流(MDMO)、基于判别式分析的独立张量子空间(DTSA3)、STCLQP(Spatio Temporal Completed LocalQuantization Patterns)、DTCM(Delaunay-Based Temporal Coding Model)、Gabor、LBP-TOP(Local Binary Pattern from Three Orthogonal Planes)、VLBP(Volume LocalBinary Pattern)、HLBP-TOP(Haar Local Binary Pattern from Three OrthogonalPlanes)方法与本发明方法SMTCTP-WTOP作对比，可知各种方法在CASNEII数据库中整体识别率较高，且可以看出本专利发明方法识别率明显优于其他对比方法，体现了本发明方法的优越性。该实验比较的基础是，CTP特征提取中的阈值t＝1，P＝8，R＝1，及XY、XT、YT各平面权重之比为0.3:0.3:0.4。图6中，横坐标表示不同方法，纵坐标表示对应不同阈值的识别率(％)。图6所示实施例表明，结果是：本发明方法提取SMTCTP-WTOP特征的识别方法明显优于其他特征算法的识别方法，识别率达到76.27％。
实施例
本实施例的监控视频序列中人脸微表情图像序列的识别方法，是一种利用SMTCTP-WTOP算子提取监控视频微表情序列的动态时空纹理特征的人脸微表情的识别方法，具体步骤如下：
第一步，监控视频人脸微表情图像序列欧拉放大：
利用计算机USB口输入监控视频中包含人脸微表情的图像序列为L帧，其中L≥20，采用欧拉影像放大算法对人脸图像序列进行放大；
第二步，监控视频人脸微表情图像序列预处理：
利用中值滤波算法对上述第一步中得到的放大的监控视频人脸微表情图像序列去噪，然后用Adaboost算法检测该去噪后的图像序列中的人脸，并进行裁剪，采用双线性插值算法实现图像的尺寸归一化，完成监控视频人脸微表情图像预处理，得到预处理后的监控视频人脸微表情图像的大小为N×N个像素，N取值为256。
第三步，利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征：
(3.1)计算XY、XT、YT平面上每个像素点的CTP和SMTP特征：
对上述第二步预处理后得到人脸微表情图像序列，分别在XY、XT、YT平面上遍历人脸微表情图像序列中的每一个像素点Gc，在以Gc为中心，R为半径的环形近邻点上提取Gc的CTP特征和SMTP特征，其中像素点Gc的CTP特征由公式(1)提取，
Figure GDA0002190521060000081
这里，s(p)为三值函数，公式如下：
Figure GDA0002190521060000091
公式(1)中，gc是中心像素点Gc的灰度值，R是以Gc为中心的环的半径，n是分布在环上的像素点个数即近邻像素点个数，gd，d＝0,1,…,n-1，是近邻像素点Gd的灰度值，t是阈值；
中心像素点Gc的SMTP特征定义如下：
Figure GDA0002190521060000092
这里k(p)是二值函数，公式如下：
Figure GDA0002190521060000093
公式(3)中，
Figure GDA0002190521060000094
公式(4)中取t＝M；
由此计算出XY、XT、YT平面上每个像素点的CTP和SMTP特征；
(3.2)提取SMTCTP-TOP特征统计直方图：
对于第二步得到的图像的尺寸归一化的人脸微表情图像序列，大小为N×N×L,需要分别在XY、XT、YT平面上统计公式(3)和公式(4)得到的每个像素点的CTP特征和SMTP特征，并采用公式(5)分别计算三个平面的CTP和SMTP统计直方图，每个平面的CTP统计直方图定义如下：
Figure GDA0002190521060000095
公式(5)中，j的值为0、1、2，分别表示XY、XT、YT平面，f表示CTP特征值，CTPj(n,R,gc(x,y,t))表示中心像素点Gc在第j个平面CTP特征值，(x,y,t)为Gc的坐标，nj为CTP特征在第j个平面产生的最大的十进制数，二值函数I(e)如下所示：
Figure GDA0002190521060000096
同理，每个平面j＝0、1、2的SMTP特征统计直方图定义如公式(7)：
Figure GDA0002190521060000097
XY、XT、YT三个平面的SMTCTP特征统计直方图是由两个CTP特征统计直方图和一个SMTP特征统计直方图组成，即：
Hj＝[HCTP,j HCTP,j HSMTP,j]j＝0,1,2 (8),
将每个平面得到的统计直方图标准化如下：
Figure GDA0002190521060000101
公式(9)中，把XY、XT、YT三个平面的统计直方图总和加起来作为分母，分子为各个平面的统计直方图，最后得出标准化后的统计直方图，再进行统计直方图的串联，得到SMTCTP-TOP特征统计直方图H，如公式(10)所示，
Figure GDA0002190521060000102
由此提取出SMTCTP-TOP特征统计直方图；
(3.3)确定XY、XT和YT平面统计直方图的权值，得到SMTCTP-WTOP特征统计直方图：
对XY、XT和YT每个平面赋予不同平面统计直方图的权值，且三个平面统计直方图的权值之和为1，从而构成SMTCTP-WTOP算子，具体方法如下：设XY平面统计直方图所占权值为a，XT平面统计直方图所占权值为b，则YT平面统计直方图所占权值为(1-a-b)，权值向量W为：
W＝[a b 1-a-b] (11)，
则构成加权的SMTCTP-TOP即SMTCTP-WTOP算子如下：
Figure GDA0002190521060000103
由此得到SMTCTP-WTOP特征统计直方图，并利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征，即SMTCTP-WTOP特征；
第四步，使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别：
在上述第三步利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征之后，利用SVM分类器进行多类分类，具体的操作过程如下：
(4.1)将第二步人脸微表情图像预处理完成后的人脸微表情序列进行分类：
将人脸微表情分成五类：厌恶、压抑、高兴、惊讶和紧张；
(4.2)分类训练集和测试集：
将上述(4.1)步中五类人脸微表情各自随机选取一部分序列作为训练集，另一部分作为测试集，训练集和测试集的比例为3∶1；
(4.3)使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别：
对上述(4.2)步中的训练集中的人脸微表情依据上述第三步中提取的SMTCTP-WTOP特征，得到上述五类人脸微表情中的每一类人脸微表情的SVM训练模型，将五类人脸微表情的SVM训练模型组合成一个整体的SVM人脸微表情分类器，对上述(4.2)步中的测试集的人脸微表情依据上述第三步中提取的SMTCTP-WTOP特征，利用训练好的SVM分类器进行预测，区分属于哪类人脸微表情，最终完成监控视频序列中人脸微表情图像序列的识别，上述使用SVM分类器进行训练和预测，其中所使用的分类器SVM的类型为默认设置C-SVC，核函数类型为RBF。
本实施例在CASME和CASMEII人脸微表情数据库进行实验如下：
CASME数据库中包含195个自发的监控视频序列中人脸微表情视频序列，帧率为60fps。在后期对该数据库进行处理：人脸微表情样本的起始帧、峰值帧、结束帧都被标记和编码，且每个人脸微表情都有其固定的属性。参与拍摄的成员有35人，其中男生有22人，女生13人，平均年龄为22岁。这些人脸微表情图像序列被分为：厌恶(disgust)、高兴(happiness)、压抑(repression)、惊讶(surprise)、紧张(tense)，实验时，其中75％作为训练样本，25％作为测试样本。
CASMEII数据库是对CASME数据库不足的改进，相比于CASME数据库有更高的帧率200fms。在拍摄过程中，各种实验条件都得到很好的控制，并且采用合适的光照。3000个拍摄的视频中，选择247序列作为最终的人脸微表情图像序列，并对他们进行运动单元编码(AUs)和标记。实验时，其中75％作为训练样本，25％作为测试样本。
以上CASME和CASMEII数据库中，每个人脸微表情图像序列包含20帧，实验中这些人脸微表情图像序列被分为：厌恶(disgust)、高兴(happiness)、压抑(repression)、惊讶(surprise)、紧张(tense)，分别包含60，43，25,16，40个人脸微表情图像序列，共3660幅图像。本发明是在Windows 7环境下的MATLAB R2014a平台上运行完成。
本实施例在确定CTP特征提取中的阈值t后，在t＝1的情况下，中心像素点环形领域内，近邻点的个数及半径也需要确定。如表1所示，显示了在不同的邻域点和半径下SMTCTP-TOP的识别率。实验结果表明，当邻域点数为8，各个平面半径为1，即P＝8,R＝1,识别效果最好，这里PXY、PXT、PYT分别代表在XY、XT、YT平面上取得的邻域点个数，RX、RY、RT分别代表在X、Y、T轴的半径大小，由表1可知，当RX、RY、RT越大时，在各个数据库中的识别率越低，表明半径越大会丢失更多的人脸微表情纹理特征信息，所以为使最终识别率较高，各个方向上的半径都选最小1，而PXY、PXT、PYT的值在取8的时候识别率最高。
表1在CASME和CASMEII中各平面半径及邻域点数取不同值时的识别率
Figure GDA0002190521060000111
由于每个平面所表现的人脸微表情纹理特征信息不一样，重要程度不一样，故给每个平面赋予不同的权重，以达到突出重要的忽略次要的之目的。实验基础是CTP特征提取中的阈值t＝1，P＝8，R＝1，如表2所示，展现了SMTCTP-WTOP的识别率。
表2在CASME和CASMEII中权重的选取不同时的识别率(％)
Figure GDA0002190521060000121
由表2可知，当XY、XT、YT各平面权重之比为0.3:0.3:0.4时，SMTCTP-WTOP的识别率最高，之所以YT平面所占的人脸微表情纹理特征信息多是因为在这个平面人脸微表情的动作信息变化幅度较大，就能更好的识别人脸微表情。
本实施例中，所述欧拉影像放大算法、Adaboost算法和SVM分类器都是公知的。

Claims (4)

1.监控视频序列中人脸微表情图像序列的识别方法，其特征在于：是一种利用SMTCTP-WTOP算子提取监控视频微表情序列的动态时空纹理特征的人脸微表情的识别方法，具体步骤如下：
第一步，监控视频人脸微表情图像序列欧拉放大：
利用计算机USB口输入监控视频中包含人脸微表情的图像序列为L帧，采用欧拉影像放大算法对人脸图像序列进行放大；
第二步，监控视频人脸微表情图像序列预处理：
利用中值滤波算法对上述第一步中得到的放大的监控视频人脸微表情图像序列去噪，然后用Adaboost算法检测该去噪后的图像序列中的人脸，并进行裁剪，采用双线性插值算法实现图像的尺寸归一化，完成监控视频人脸微表情图像预处理，得到预处理后的监控视频人脸微表情图像的大小为N×N个像素；
第三步，利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征：
(3.1)计算XY、XT、YT平面上每个像素点的CTP和SMTP特征：
对上述第二步预处理后得到人脸微表情图像序列，分别在XY、XT、YT平面上遍历人脸微表情图像序列中的每一个像素点Gc，在以Gc为中心，R为半径的环形近邻点上提取Gc的CTP特征和SMTP特征，其中像素点Gc的CTP特征由公式(1)提取，
Figure FDA0002293927270000011
这里，s(p)为三值函数，公式如下：
Figure FDA0002293927270000012
公式(1)中，gc是中心像素点Gc的灰度值，R是以Gc为中心的环的半径，n是分布在环上的像素点个数即近邻像素点个数，gd，d＝0,1,…,n-1，是近邻像素点Gd的灰度值，t是阈值；
像素点Gc的SMTP特征定义如下：
Figure FDA0002293927270000013
这里k(p)是二值函数，公式如下：
Figure FDA0002293927270000014
公式(3)中，
Figure FDA0002293927270000015
公式(4)中取t＝M；
由此计算出XY、XT、YT平面上每个像素点的CTP和SMTP特征；
(3.2)提取SMTCTP-TOP特征统计直方图：
对于第二步得到的图像的尺寸归一化的人脸微表情图像序列，大小为N×N×L,需要分别在XY、XT、YT平面上统计公式(3)和公式(4)得到的每个像素点的CTP特征和SMTP特征，并采用公式(5)分别计算三个平面的CTP和SMTP统计直方图，每个平面的CTP统计直方图定义如下：
Figure FDA0002293927270000021
公式(5)中，j的值为0、1、2，分别表示XY、XT、YT平面，f表示CTP特征值，CTPj(n,R,gc(x,y,t))表示中心像素点Gc在第j个平面CTP特征值，(x,y,t)为Gc的坐标，nj为CTP特征在第j个平面产生的最大的十进制数，二值函数I(e)如下所示：
Figure FDA0002293927270000022
同理，每个平面j＝0、1、2的SMTP特征统计直方图定义如公式(7)：
Figure FDA0002293927270000023
XY、XT、YT三个平面的SMTCTP特征统计直方图是由两个CTP特征统计直方图和一个SMTP特征统计直方图组成，即：
Hj＝[HCTP,j HCTP,j HSMTP,j] j＝0,1,2 (8),
将每个平面得到的统计直方图标准化如下：
Figure FDA0002293927270000024
公式(9)中，把XY、XT、YT三个平面的统计直方图总和加起来作为分母，分子为各个平面的统计直方图，最后得出标准化后的统计直方图，再进行统计直方图的串联，得到SMTCTP-TOP特征统计直方图H，如公式(10)所示，
Figure FDA0002293927270000025
由此提取出SMTCTP-TOP特征统计直方图；
(3.3)确定XY、XT和YT平面统计直方图的权值，得到SMTCTP-WTOP特征统计直方图：
对XY、XT和YT每个平面赋予不同平面统计直方图的权值，且三个平面统计直方图的权值之和为1，从而构成SMTCTP-WTOP算子，具体方法如下：设XY平面统计直方图所占权值为a，XT平面统计直方图所占权值为b，则YT平面统计直方图所占权值为(1-a-b)，权值向量W为：
W＝[a b 1-a-b] (11)，
则构成加权的SMTCTP-TOP即SMTCTP-WTOP算子如下：
Figure FDA0002293927270000031
由此得到SMTCTP-WTOP特征统计直方图，并利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征，即SMTCTP-WTOP特征；
第四步，使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别：
在上述第三步利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征之后，利用SVM分类器进行多类分类，具体的操作过程如下：
(4.1)将第二步人脸微表情图像预处理完成后的人脸微表情序列进行分类：
将人脸微表情分成五类：厌恶、压抑、高兴、惊讶和紧张；
(4.2)分类训练集和测试集：
将上述(4.1)步中五类人脸微表情各自随机选取一部分序列作为训练集，另一部分作为测试集，训练集和测试集的比例为3∶1；
(4.3)使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别：
对上述(4.2)步中的训练集中的人脸微表情依据上述第三步中提取的SMTCTP-WTOP特征，得到上述五类人脸微表情中的每一类人脸微表情的SVM训练模型，将五类人脸微表情的SVM训练模型组合成一个整体的SVM人脸微表情分类器，对上述(4.2)步中的测试集的人脸微表情依据上述第三步中提取的SMTCTP-WTOP特征，利用训练好的SVM分类器进行预测，区分属于哪类人脸微表情，最终完成监控视频序列中人脸微表情图像序列的识别。
2.根据权利要求1所述监控视频序列中人脸微表情图像序列的识别方法，其特征在于：所述N×N像素中，N取值为256。
3.根据权利要求1所述监控视频序列中人脸微表情图像序列的识别方法，其特征在于：所述利用计算机USB口输入监控视频中包含人脸微表情的图像序列为L帧，其中L≥20。
4.根据权利要求1所述监控视频序列中人脸微表情图像序列的识别方法，其特征在于：所述使用SVM分类器进行训练和预测，其中所使用的分类器SVM的类型为默认设置C-SVC，核函数类型为RBF。
CN201610948208.5A 2016-10-26 2016-10-26 监控视频序列中人脸微表情图像序列的识别方法 Active CN106548149B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610948208.5A CN106548149B (zh) 2016-10-26 2016-10-26 监控视频序列中人脸微表情图像序列的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610948208.5A CN106548149B (zh) 2016-10-26 2016-10-26 监控视频序列中人脸微表情图像序列的识别方法

Publications (2)

Publication Number Publication Date
CN106548149A CN106548149A (zh) 2017-03-29
CN106548149B true CN106548149B (zh) 2020-04-03

Family

ID=58392619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610948208.5A Active CN106548149B (zh) 2016-10-26 2016-10-26 监控视频序列中人脸微表情图像序列的识别方法

Country Status (1)

Country Link
CN (1) CN106548149B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403142B (zh) * 2017-07-05 2018-08-21 山东中磁视讯股份有限公司 一种微表情的检测方法
CN108830233B (zh) * 2018-06-20 2021-08-27 深圳市科迈爱康科技有限公司 基于欧拉视频算法的监控系统、方法及可读存储介质
CN109034143A (zh) * 2018-11-01 2018-12-18 云南大学 基于视频放大和深度学习的人脸微表情识别方法
CN109657554B (zh) * 2018-11-21 2022-12-20 腾讯科技（深圳）有限公司 一种基于微表情的图像识别方法、装置以及相关设备
CN109376711A (zh) * 2018-12-06 2019-02-22 深圳市淘米科技有限公司 一种基于iltp的人脸情绪预判方法
CN109800771B (zh) * 2019-01-30 2021-03-05 杭州电子科技大学 混合时空平面局部二值模式的自发微表情定位方法
CN109977769B (zh) * 2019-02-21 2023-04-18 西北大学 一种低分辨率环境下微表情识别的方法
CN110175526A (zh) * 2019-04-28 2019-08-27 平安科技（深圳）有限公司 狗情绪识别模型训练方法、装置、计算机设备及存储介质
CN112597914B (zh) * 2020-12-26 2024-04-16 中国农业银行股份有限公司 一种图像处理方法及装置
CN112800951B (zh) * 2021-01-27 2023-08-08 华南理工大学 基于局部基特征的微表情识别方法、系统、装置及介质
CN112818957B (zh) * 2021-03-22 2024-04-23 东南大学 基于运动能量识别眼睑痉挛的方法
CN115831352B (zh) * 2022-12-05 2023-08-08 湖南工商大学 一种基于动态纹理特征和时间分片权重网络的检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105139039A (zh) * 2015-09-29 2015-12-09 河北工业大学 视频序列中人脸微表情的识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7035467B2 (en) * 2002-01-09 2006-04-25 Eastman Kodak Company Method and system for processing images for themed imaging services

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105139039A (zh) * 2015-09-29 2015-12-09 河北工业大学 视频序列中人脸微表情的识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Real time facial expression recognition in video using support vector machines;Philipp Michel等;《International Conference on Multimodal Interfaces》;20031107;第258-264页 *
基于MG-LTP与ELM的微表情识别;唐红梅 等;《电视技术》;20150202;第39卷(第3期);第123-126、135页 *

Also Published As

Publication number Publication date
CN106548149A (zh) 2017-03-29

Similar Documents

Publication Publication Date Title
CN106548149B (zh) 监控视频序列中人脸微表情图像序列的识别方法
Liu et al. Facial expression recognition using hybrid features of pixel and geometry
CN111523462B (zh) 基于自注意增强cnn的视频序列表情识别系统及方法
Mou et al. Group-level arousal and valence recognition in static images: Face, body and context
Gosavi et al. Facial expression recognition using principal component analysis
Mady et al. Face recognition and detection using Random forest and combination of LBP and HOG features
Ilyas et al. Facial expression recognition based on DWT feature for deep CNN
Durmuşoğlu et al. Facial expression recognition using geometric features
Cornejo et al. Recognition of occluded facial expressions based on CENTRIST features
CN111199212A (zh) 基于注意力模型的行人属性识别方法
Thepade et al. Face gender recognition using multi layer perceptron with OTSU segmentation
Le et al. Dynamic image for micro-expression recognition on region-based framework
Abinaya et al. A novel biometric approach for facial image recognition using deep learning techniques
Saeed A framework for recognition of facial expression using HOG features
Lu et al. Automatic gender recognition based on pixel-pattern-based texture feature
Dumitrescu et al. Combining deep learning technologies with multi-level Gabor features for facial recognition in biometric automated systems
CN117095471B (zh) 基于多尺度特征的人脸伪造溯源方法
Amani et al. A new approach for face image enhancement and recognition
Kazmi et al. Wavelets based facial expression recognition using a bank of neural networks
Lakshmiprabha Face image analysis using aam, gabor, lbp and wd features for gender, age, expression and ethnicity classification
Caroppo et al. Facial Expression Recognition in Older Adults using Deep Machine Learning.
Dujaili Survey on facial expressions recognition: databases, features and classification schemes
Jagadeesh et al. DBC based Face Recognition using DWT
Kartheek et al. Windmill graph based feature descriptors for facial expression recognition
Najah et al. Emotion estimation from facial images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant