CN106548149A - 监控视频序列中人脸微表情图像序列的识别方法 - Google Patents

监控视频序列中人脸微表情图像序列的识别方法 Download PDF

Info

Publication number
CN106548149A
CN106548149A CN201610948208.5A CN201610948208A CN106548149A CN 106548149 A CN106548149 A CN 106548149A CN 201610948208 A CN201610948208 A CN 201610948208A CN 106548149 A CN106548149 A CN 106548149A
Authority
CN
China
Prior art keywords
micro
face
facial expression
smtctp
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610948208.5A
Other languages
English (en)
Other versions
CN106548149B (zh
Inventor
于明
张津
于洋
刘依
张婷婷
郭迎春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN201610948208.5A priority Critical patent/CN106548149B/zh
Publication of CN106548149A publication Critical patent/CN106548149A/zh
Application granted granted Critical
Publication of CN106548149B publication Critical patent/CN106548149B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明监控视频序列中人脸微表情图像序列的识别方法，涉及应用电子设备进行识别图形的方法，步骤是：监控视频人脸微表情图像序列欧拉放大；监控视频人脸微表情图像预处理；利用SMTCTP‑WTOP算子提取人脸微表情图像序列的动态时空纹理特征；使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别。本发明克服了现有技术中人脸微表情图像的识别受到光照、遮挡物和噪声的影响，导致识别率较低的缺陷。

Description

监控视频序列中人脸微表情图像序列的识别方法
技术领域
本发明的技术方案涉及应用电子设备进行识别图形的方法，具体地说是监控视频序列中人脸微表情图像序列的识别方法。
背景技术
人脸微表情不同于普通表情，是一种持续时间很短并且非常快速的表情，持续约1/25秒至1/5秒，是人类试图压抑或者隐藏真实情感时泄露的不能自主控制，不易被察觉的面部表情。通过分析人脸微表情，可以发现人试图隐藏的真实情感，在临床、司法、国家安全和审讯等中都有很多潜在的应用价值。在日常生活中，了解人脸微表情，也是识别谎言的有效的途径之一。
1966年,Haggard和Isaaes首先发现了一种快速且不易被察觉的面部表情(micromomentary facial expressions),认为其与自我防御机制有关，且表达了被压抑的情绪。1969年,Ekman和Friesen也在抑郁症患者的访谈录像中发现了这种面部表情,并将其命名为人脸微表情。Ekman等将跨越不同民族和文化群体的面部表情分成6个主要类别:快乐、悲伤、惊讶、恐惧、愤怒和厌恶。人脸微表情的识别分为两个阶段，一是人工识别人脸微表情阶段，二是人脸微表情自动识别阶段。在人脸微表情早期研究中，即人工识别人脸微表情阶段，研究者的主要任务是编制各种人脸微表情训练工具以达到训练或者提高人脸微表情的识别能力。自Ekman于2002年首先研制出人脸微表情自动识别能力的工具即METT(人脸微表情训练工具)后,人脸微表情自动识别的应用研究在近年来不断涌现，并引起社会媒体和科学界的广泛关注。一些早期的人脸微表情自动识别的应用研究主要集中在一些合成的面部人脸微表情，后来的研究发现，相比于合成的人脸微表情，自发的人脸微表情可以揭示人们内心的真实情感，但更具挑战性，因而更加引起研究人员的关注。目前，自发的人脸微表情识别率很低。美国的Ekman团队、Matsumoto团队和Shreve团队，日本的Polikovsky团队,芬兰的赵国英团队,中国的傅小兰团队等在开展人脸微表情研究。在目前的研究进展中，芬兰奥卢大学的赵国英团队用时间差值模型和LBP-TOP(Local Binary Pattern fromThree Orthogonal Planes)算法对于人脸微表情识别是最简单有效的，是公认的人脸微表情识别方法。由于LBP-TOP对噪声、光照等鲁棒性较差，故Nanni等提出了LTP-TOP(基于三维正交平面的局部三值模式)算法，该算法把LBP算子的二值模式扩展为三值模式LTP算子，但该方法对有遮挡物的人脸微表情难以识别。马来西亚的Wang等人使用六个交叉点的局部二值模式(LBP-SIP，Local Binary Pattern with Six Intersection Points)，减少了LBP-TOP的冗余信息，识别率提高为65.99％，但其提取的特征数较少，丢失了较多人脸微表情纹理特征信息。芬兰学者Huang等人在LBP-TOP基础上提出STCLQP(Spatio TemporalCompleted Local Quantization Patterns)算法，利用3个组件，即符号、大小和方向，形成一个高效的矢量量化和编码来识别人脸微表情，在CASME数据库上识别率达到为68.93％，但识别率并没有达到理想的结果。中国专利CN 103440509A提出了一种基于张量空间采用张量表达的判别分析方法，最小化同一种人脸微表情的类内距离，最大化不同类人脸微表情的类间距离，实现对数据降维，并且将特征数据按照类判别能力降低的顺序进行向量化排序，但该方法计算复杂，易受到噪声的影响，并且识别率也不高。CN 103617436A提出了一种基于差分切片能量图和Gabor变换的人脸微表情识别方法，该方法主要是将差分切片能量图进行Gabor变换的特征提取，提取后的特征再下采样，再使用线性判别分析作进一步特征提取，但该方法时间复杂度高，且Gabor表征全局的能力较弱，而识别性能低于人们的期望。
发明内容
本发明所要解决的技术问题是：提供监控视频序列中人脸微表情图像序列的识别方法，是一种利用SMTCTP-WTOP算子提取监控视频微表情序列的动态时空纹理特征的人脸微表情的识别方法，本发明克服了现有技术中人脸微表情图像的识别受到光照、遮挡物和噪声的影响，导致识别率较低的缺陷。
上述SMTCTP-WTOP是Symmetry Magnitude Twice Centered Ternary PatternsWeighted Three Orthogonal Planes的缩写。
本发明解决该技术问题所采用的技术方案是：监控视频序列中人脸微表情图像序列的识别方法，是一种利用SMTCTP-WTOP算子提取监控视频微表情序列的动态时空纹理特征的人脸微表情的识别方法，具体步骤如下：
第一步，监控视频人脸微表情图像序列欧拉放大：
利用计算机USB口输入监控视频中包含人脸微表情的图像序列为L帧，采用欧拉影像放大算法对人脸图像序列进行放大；
第二步，监控视频人脸微表情图像序列预处理：
利用中值滤波算法对上述第一步中得到的放大的监控视频人脸微表情图像序列去噪，然后用Adaboost算法检测该去噪后的图像序列中的人脸，并进行裁剪，采用双线性插值算法实现图像的尺寸归一化，完成监控视频人脸微表情图像预处理，得到预处理后的监控视频人脸微表情图像的大小为N×N个像素；
第三步，利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征：
(3.1)计算XY、XT、YT平面上每个像素点的CTP和SMTP特征：
对上述第二步预处理后得到人脸微表情图像序列，分别在XY、XT、YT平面上遍历人脸微表情图像序列中的每一个像素点gc，在以gc为中心，R为半径的环形近邻点上提取gc的CTP特征和SMTP特征，其中像素点gc的CTP特征由公式(1)提取，
这里，s(x)为三值函数，公式如下：
上述式(1)中，gc是中心像素点的灰度值，R是以gc为中心的环的半径，n是分布在环上的像素点个数即近邻像素点个数，gi，i＝0,1,…,n-1，是近邻像素点的灰度值，t是阈值；
像素点gc的SMTP特征定义如下：
这里k(x)是二值函数，公式如下：
上述式(3)中，上述式(4)中取t＝M；
由此计算出XY、XT、YT平面上每个像素点的CTP和SMTP特征；
(3.2)提取SMTCTP-TOP特征统计直方图：
对于第二步得到的图像的尺寸归一化的人脸微表情图像序列，大小为N×N×L,需要分别在XY、XT、YT平面上统计上述式(3)和式(4)得到的每个像素点的CTP特征和SMTP特征，并采用下式(5)分别计算三个平面的CTP和SMTP统计直方图，每个平面的CTP统计直方图定义如下：
上述式(5)中，j的值为0、1、2，分别表示XY、XT、YT平面，i表示CTP特征值，CTPj(n,R,gc(x,y,t))表示中心像素点gc(x,y,t)在第j个平面CTP特征值，(x,y,t)为gc的坐标，nj为CTP特征在第j个平面产生的最大的十进制数，二值函数I(x)如下所示：
同理，每个平面j＝0、1、2的SMTP特征统计直方图定义如式(7)：
XY、XT、YT三个平面的SMTCTP特征统计直方图是由两个CTP特征统计直方图和一个SMTP特征统计直方图组成，即：
Hj＝[HCTP,j HCTP,j HSMTP,j] j＝0,1,2 (8),
将每个平面得到的统计直方图标准化如下：
式(9)中，把XY、XT、YT三个平面的统计直方图总和加起来作为分母，分子为各个平面的统计直方图，最后得出标准化后的统计直方图，再进行统计直方图的串联，得到SMTCTP-TOP特征统计直方图H，如公式(10)所示，
由此提取出SMTCTP-TOP特征统计直方图；
(3.3)确定XY、XT和YT平面直方图的权值，得到SMTCTP-WTOP特征统计直方图：
对XY、XT和YT每个平面赋予不同平面统计直方图的权值，且三个平面统计直方图的权重之和为1，从而构成SMTCTP-WTOP算子，具体方法如下：设XY平面所占权重为a，XT所占权重为b，则YT平面权重为(1-a-b)，权重向量W为：
W＝(a b 1-a-b) (11)，
则构成加权的SMTCTP-TOP即SMTCTP-WTOP算子如下：
SMTCTP-WTOP＝W·HT＝[aH0 bH1 (1-a-b)H2] (12)，
由此得到SMTCTP-WTOP特征统计直方图，并利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征，即SMTCTP-WTOP特征；
第四步，使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别：
在上述第三步利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征之后，利用SVM分类器进行多类分类，具体的操作过程如下：
(4.1)将第二步人脸微表情图像预处理完成后的人脸微表情序列进行分类：
将人脸微表情分成五类：厌恶、压抑、高兴、惊讶和紧张；
(4.2)分类训练集和测试集：
将上述(4.1)步中五类人脸微表情各自随机选取一部分序列作为训练集，另一部分作为测试集，训练集和测试集的比例为3∶1；
(4.3)使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别：
对上述(4.2)步中的训练集中的人脸微表情依据上述第三步中提取的SMTCTP-WTOP特征，得到上述五类人脸微表情中的每一类人脸微表情的SVM训练模型，将五类人脸微表情的SVM训练模型组合成一个整体的SVM人脸微表情分类器，对上述(4.2)步中的测试集的人脸微表情依据上述第三步中提取的SMTCTP-WTOP特征，利用训练好的SVM分类器进行预测，区分属于哪类人脸微表情，最终完成监控视频序列中人脸微表情图像序列的识别。
上述监控视频人脸微表情图像序列的识别方法，所述N×N像素中，N取值为256。
上述监控视频人脸微表情图像序列的识别方法，所述利用计算机USB口输入监控视频中包含人脸微表情的图像序列为L帧，其中L≥20。
上述监控视频人脸微表情图像序列的识别方法，所述使用的分类器SVM的类型为默认设置C-SVC，核函数类型为RBF。
上述监控视频人脸微表情序列的识别方法，所述欧拉影像放大算法、Adaboost算法和SVM分类器都是公知的。
本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：
(1)本发明方法利用中心像素点及其对称近邻的幅值进行CTP和SMTP特征提取，进一步利用SMTCTP-WTOP算子提取人脸微表情序列特征，显著降低了直方图的维度，并克服了输入的人脸微表情图像序列中光照、遮挡物、噪音对识别结果的影响。
(2)本发明方法分别在三个平面提取SMTCTP特征统计直方图，并根据各平面反映的信息不同进行加权，构成SMTCTP-WTOP算子，并利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征，即SMTCTP-WTOP特征，提高了人脸微表情识别率。
(3)本发明方法计算简单，时间复杂度低。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明方法的流程示意框图。
图2是本发明中每个像素点gc的CTP特征示意图。
图3是本发明中每个像素点gc的SMTP特征示意图。
图4是本发明中确定XY、XT和YT平面直方图的权值，得到SMTCTP-WTOP特征统计直方图的过程示意图，其中：
图4(a)是设立人脸微表情图像序列的XY、XT和YT三个平面图的示意图；
图4(b)是提取出每个平面的SMTCTP-TOP特征统计直方图的示意图；
图4(c)是得到SMTCTP-WTOP特征统计直方图的示意图。
图5是本发明中的不同CTP阈值t条件下分别在CASME和CASMEII两个数据库中的识别率的比较示意图。
图6是不同的人脸微表情序列的识别方法在CASME和CASMEII数据库中的识别率的实验比较示意图。
具体实施方式
图1所示实施例表明，本发明方法的流程是：监控视频人脸微表情图像序列欧拉放大→监控视频人脸微表情图像预处理→利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征→使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别。
图2所示实施例表明，本发明中每个像素点gc的CTP特征由下面的公式(1’)提取，
这里，s(x)为三值函数，公式如下：
式(2)中，gc是中心像素点的灰度值，R是以gc为中心的环的半径，n是分布在环上的像素点个数,即近邻像素点个数，gi，i＝0,1,…,n-1是近邻像素点的灰度值，t是阈值；
图3所示实施例表明，本发明中每个像素点gc的SMTP特征定义如下公式(3’)：
这里k(x)是二值函数，公式如下：
式(3’)中，式(4)中t＝M；
图4所示实施例表明，本发明中确定XY、XT和YT平面统计直方图的权值，得到SMTCTP-WTOP特征统计直方图的过程如下：
(1)如图4(a)所示，设立人脸微表情图像序列的XY、XT和YT三个平面图。针对微表情视频图像序列，此序列可以看成是XY平面在T轴的堆叠，同理也可看成XT平面在Y轴上的堆叠和YT平面在X轴上的堆叠；人脸微表情序列中的每一幅处于中间部分的图像上的每个像素点，都可以看做是XY、XT和YT三个正交平面的交点。
(2)如图4(b)所示，提取出每个平面的SMTCTP-TOP特征统计直方图的定义如下：
对于得到的图像的尺寸归一化的人脸微表情图像序列，大小为N×N×L＝256*256*20,需要分别在XY、XT、YT平面上统计上述式(1’)和式(3’)得到的每个像素点的CTP特征和SMTP特征，并采用下式(5)分别计算三个平面的CTP和SMTP统计直方图，每个平面的CTP特征统计直方图定义如下：
上述式(5)中，j的值为0、1、2，分别表示XY、XT、YT平面，i表示CTP特征值，CTPj(n,R,gc(x,y,t))表示中心像素点gc(x,y,t)在第j个平面CTP特征值，(x,y,t)为gc的坐标，nj为CTP特征在第j个平面产生的最大的十进制数，二值函数I(x)如下所示：
同理，每个平面j＝0、1、2的SMTP特征统计直方图定义如式(7)：
XY、XT、YT三个平面的SMTCTP特征统计直方图是由两个CTP特征统计直方图和一个SMTP特征统计直方图组成，即：
Hj＝[HCTP,j HCTP,j HSMTP,j] j＝0,1,2 (8),
将每个平面得到的统计直方图标准化如下：
式(9)中，把XY、XT、YT三个平面的统计直方图总和加起来作为分母，分子为各个平面的统计直方图，最后得出标准化后的统计直方图，再进行统计直方图的串联，得到SMTCTP-TOP特征统计直方图H，如公式(10)所示，
由此提取出每个平面的SMTCTP-TOP特征统计直方图。
(3)如图4(c)所示，得到SMTCTP-WTOP特征统计直方图的过程如下：
XY、XT、YT各个平面所要表达的微表情信息不同，重要程度也不同，对每个平面赋予不同的权值，且三个平面的权重之和为1，构成SMTCTP-WTOP算子，可以突出微表情信息丰富的平面，削弱微表情信息少平面的影响，提高最终识别率。设XY平面所占权重为a，XT所占权重为b，则YT平面权重为(1-a-b)，权重向量W为：
W＝(a b 1-a-b) (11)，
则构成加权的SMTCTP-TOP即SMTCTP-WTOP算子如下：
SMTCTP-WTOP＝W·HT＝[aH0 bH1 (1-a-b)H2] (12)，
对上面得到的各个平面的特征统计直方图分别赋予不同的权重，因为每个平面所要表达的微表情信息不同及多少不同，所以给每个平面赋予不同的权重，以达到微表情信息重要的突出，次要的忽略的目的。经实验证明，最后XY、XT、YT三个平面权重值比为0.3:0.3:0.4时，识别效果最好，最后将每个赋予不同权重的平面特征统计直方图串联起来，由此得到SMTCTP-WTOP特征统计直方图。
图5显示了本发明中的不同CTP阈值t条件下分别在CASME和CASMEII两个数据库中的识别率的比较情况，可知本发明方法在数据库CASMEII中整体识别率较好，且在CASME和CASMEII两个数据库中从t＝1开始，随着t的增大，两个数据库的识别率都一直在减少，可知得到的最优阈值t具有一定的通用性。图5所示实施例表明，在本发明中，当CTP特征提取中的阈值t＝1时，效果最好，识别率能够达到69.25％。实验基础是P＝8,R＝1，该图中横坐标表示阈值大小，纵坐标表示对应的算法识别率(％)。
图6显示了不同的人脸微表情序列的识别方法在CASME和CASMEII数据库中的识别率的实验比较情况，即分别用张量独立颜色空间(TICS)、主要方向平均光流(MDMO)、基于判别式分析的独立张量子空间(DTSA3)、STCLQP(Spatio Temporal Completed LocalQuantization Patterns)、DTCM(Delaunay-Based Temporal Coding Model)、Gabor、LBP-TOP(Local Binary Pattern from Three Orthogonal Planes)、VLBP(Volume LocalBinary Pattern)、HLBP-TOP(Haar Local Binary Pattern from Three OrthogonalPlanes)方法与本发明方法SMTCTP-WTOP作对比，可知各种方法在CASNEII数据库中整体识别率较高，且可以看出本专利发明方法识别率明显优于其他对比方法，体现了本发明方法的优越性。该实验比较的基础是，CTP特征提取中的阈值t＝1，P＝8，R＝1，及XY、XT、YT各平面权重之比为0.3:0.3:0.4。图6中，横坐标表示不同方法，纵坐标表示对应不同阈值的识别率(％)。图6所示实施例表明，结果是：本发明方法提取SMTCTP-WTOP特征的识别方法明显优于其他特征算法的识别方法，识别率达到76.27％。
实施例
本实施例的监控视频序列中人脸微表情图像序列的识别方法，是一种利用SMTCTP-WTOP算子提取监控视频微表情序列的动态时空纹理特征的人脸微表情的识别方法，具体步骤如下：
第一步，监控视频人脸微表情图像序列欧拉放大：
利用计算机USB口输入监控视频中包含人脸微表情的图像序列为L帧，其中L≥20，采用欧拉影像放大算法对人脸图像序列进行放大；
第二步，监控视频人脸微表情图像序列预处理：
利用中值滤波算法对上述第一步中得到的放大的监控视频人脸微表情图像序列去噪，然后用Adaboost算法检测该去噪后的图像序列中的人脸，并进行裁剪，采用双线性插值算法实现图像的尺寸归一化，完成监控视频人脸微表情图像预处理，得到预处理后的监控视频人脸微表情图像的大小为N×N个像素，N取值为256。
第三步，利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征：
(3.1)计算XY、XT、YT平面上每个像素点的CTP和SMTP特征：
对上述第二步预处理后得到人脸微表情图像序列，分别在XY、XT、YT平面上遍历人脸微表情图像序列中的每一个像素点gc，在以gc为中心，R为半径的环形近邻点上提取gc的CTP特征和SMTP特征，其中像素点gc的CTP特征由公式(1)提取，
这里，s(x)为三值函数，公式如下：
上述式(1)中，gc是中心像素点的灰度值，R是以gc为中心的环的半径，n是分布在环上的像素点个数即近邻像素点个数，gi，i＝0,1,…,n-1，是近邻像素点的灰度值，t是阈值；
像素点gc的SMTP特征定义如下：
这里k(x)是二值函数，公式如下：
上述式(3)中，上述式(4)中取t＝M；
由此计算出XY、XT、YT平面上每个像素点的CTP和SMTP特征；
(3.2)提取SMTCTP-TOP特征统计直方图：
对于第二步得到的图像的尺寸归一化的人脸微表情图像序列，大小为N×N×L,需要分别在XY、XT、YT平面上统计上述式(3)和式(4)得到的每个像素点的CTP特征和SMTP特征，并采用下式(5)分别计算三个平面的CTP和SMTP统计直方图，每个平面的CTP统计直方图定义如下：
上述式(5)中，j的值为0、1、2，分别表示XY、XT、YT平面，i表示CTP特征值，CTPj(n,R,gc(x,y,t))表示中心像素点gc(x,y,t)在第j个平面CTP特征值，(x,y,t)为gc的坐标，nj为CTP特征在第j个平面产生的最大的十进制数，二值函数I(x)如下所示：
同理，每个平面j＝0、1、2的SMTP特征统计直方图定义如式(7)：
XY、XT、YT三个平面的SMTCTP特征统计直方图是由两个CTP特征统计直方图和一个SMTP特征统计直方图组成，即：
Hj＝[HCTP,j HCTP,j HSMTP,j] j＝0,1,2 (8),
将每个平面得到的统计直方图标准化如下：
式(9)中，把XY、XT、YT三个平面的统计直方图总和加起来作为分母，分子为各个平面的统计直方图，最后得出标准化后的统计直方图，再进行统计直方图的串联，得到SMTCTP-TOP特征统计直方图H，如公式(10)所示，
由此提取出SMTCTP-TOP特征统计直方图；
(3.3)确定XY、XT和YT平面直方图的权值，得到SMTCTP-WTOP特征统计直方图：
对XY、XT和YT每个平面赋予不同平面统计直方图的权值，且三个平面统计直方图的权重之和为1，从而构成SMTCTP-WTOP算子，具体方法如下：设XY平面所占权重为a，XT所占权重为b，则YT平面权重为(1-a-b)，权重向量W为：
W＝(a b 1-a-b) (11)，
则构成加权的SMTCTP-TOP即SMTCTP-WTOP算子如下：
SMTCTP-WTOP＝W·HT＝[aH0 bH1 (1-a-b)H2] (12)，
由此得到SMTCTP-WTOP特征统计直方图，并利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征，即SMTCTP-WTOP特征；
第四步，使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别：
在上述第三步利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征之后，利用SVM分类器进行多类分类，具体的操作过程如下：
(4.1)将第二步人脸微表情图像预处理完成后的人脸微表情序列进行分类：
将人脸微表情分成五类：厌恶、压抑、高兴、惊讶和紧张；
(4.2)分类训练集和测试集：
将上述(4.1)步中五类人脸微表情各自随机选取一部分序列作为训练集，另一部分作为测试集，训练集和测试集的比例为3∶1；
(4.3)使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别：
对上述(4.2)步中的训练集中的人脸微表情依据上述第三步中提取的SMTCTP-WTOP特征，得到上述五类人脸微表情中的每一类人脸微表情的SVM训练模型，将五类人脸微表情的SVM训练模型组合成一个整体的SVM人脸微表情分类器，对上述(4.2)步中的测试集的人脸微表情依据上述第三步中提取的SMTCTP-WTOP特征，利用训练好的SVM分类器进行预测，区分属于哪类人脸微表情，最终完成监控视频序列中人脸微表情图像序列的识别，上述使用的分类器SVM的类型为默认设置C-SVC，核函数类型为RBF。
本实施例在CASME和CASMEII人脸微表情数据库进行实验如下：
CASME数据库中包含195个自发的监控视频序列中人脸微表情视频序列，帧率为60fps。在后期对该数据库进行处理：人脸微表情样本的起始帧、峰值帧、结束帧都被标记和编码，且每个人脸微表情都有其固定的属性。参与拍摄的成员有35人，其中男生有22人，女生13人，平均年龄为22岁。这些人脸微表情图像序列被分为：厌恶(disgust)、高兴(happiness)、压抑(repression)、惊讶(surprise)、紧张(tense)，实验时，其中75％作为训练样本，25％作为测试样本。
CASMEII数据库是对CASME数据库不足的改进，相比于CASME数据库有更高的帧率200fms。在拍摄过程中，各种实验条件都得到很好的控制，并且采用合适的光照。3000个拍摄的视频中，选择247序列作为最终的人脸微表情图像序列，并对他们进行运动单元编码(AUs)和标记。实验时，其中75％作为训练样本，25％作为测试样本。
以上CASME和CASMEII数据库中，每个人脸微表情图像序列包含20帧，实验中这些人脸微表情图像序列被分为：厌恶(disgust)、高兴(happiness)、压抑(repression)、惊讶(surprise)、紧张(tense)，分别包含60,43,25,16,40个人脸微表情图像序列，共3660幅图像。本发明是在Windows 7环境下的MATLAB R2014a平台上运行完成。
本实施例在确定CTP特征提取中的阈值t后，在t＝1的情况下，中心像素点环形领域内，近邻点的个数及半径也需要确定。如表1所示，显示了在不同的邻域点和半径下
SMTCTP-TOP的识别率。实验结果表明，当邻域点数为8，各个平面半径为1，即P＝8,R＝1,识别效果最好，这里PXY、PXT、PYT分别代表在XY、XT、YT平面上取得的邻域点个数，RX、RY、RT分别代表在X、Y、T轴的半径大小，由表1可知，当RX、RY、RT越大时，在各个数据库中的识别率越低，表明半径越大会丢失更多的人脸微表情纹理特征信息，所以为使最终识别率较高，各个方向上的半径都选最小1，而PXY、PXT、PYT的值在取8的时候识别率最高。
表1 在CASME和CASMEII中各平面半径及邻域点数取不同值时的识别率
由于每个平面所表现的人脸微表情纹理特征信息不一样，重要程度不一样，故给每个平面赋予不同的权重，以达到突出重要的忽略次要的之目的。实验基础是CTP特征提取中的阈值t＝1，P＝8,R＝1，如表2所示，展现了SMTCTP-WTOP的识别率。
表2 在CASME和CASMEII中权重的选取不同时的识别率(％)
由表2可知，当XY、XT、YT各平面权重之比为0.3:0.3:0.4时，SMTCTP-WTOP的识别率最高，之所以YT平面所占的人脸微表情纹理特征信息多是因为在这个平面人脸微表情的动作信息变化幅度较大，就能更好的识别人脸微表情。
本实施例中，所述欧拉影像放大算法、Adaboost算法和SVM分类器都是公知的。

Claims (4)

1.监控视频序列中人脸微表情图像序列的识别方法，其特征在于：是一种利用SMTCTP-WTOP算子提取监控视频微表情序列的动态时空纹理特征的人脸微表情的识别方法，具体步骤如下：
第一步，监控视频人脸微表情图像序列欧拉放大：
利用计算机USB口输入监控视频中包含人脸微表情的图像序列为L帧，采用欧拉影像放大算法对人脸图像序列进行放大；
第二步，监控视频人脸微表情图像序列预处理：
利用中值滤波算法对上述第一步中得到的放大的监控视频人脸微表情图像序列去噪，然后用Adaboost算法检测该去噪后的图像序列中的人脸，并进行裁剪，采用双线性插值算法实现图像的尺寸归一化，完成监控视频人脸微表情图像预处理，得到预处理后的监控视频人脸微表情图像的大小为N×N个像素；
第三步，利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征：
(3.1)计算XY、XT、YT平面上每个像素点的CTP和SMTP特征：
对上述第二步预处理后得到人脸微表情图像序列，分别在XY、XT、YT平面上遍历人脸微表情图像序列中的每一个像素点gc，在以gc为中心，R为半径的环形近邻点上提取gc的CTP特征和SMTP特征，其中像素点gc的CTP特征由公式(1)提取，
C T P ( n , R , g c ) = Σ i = 0 n / 2 - 1 s ( g i - g i + n / 2 ) 3 i + s ( g c - 1 n + 1 ( Σ i = 0 n - 1 g i + g c ) ) 3 n / 2 - - - ( 1 ) ,
这里，s(x)为三值函数，公式如下：
s ( x ) = 2 , x > t 1 , | x | &le; t 0 , x < - t - - - ( 2 ) ,
上述式(1)中，gc是中心像素点的灰度值，R是以gc为中心的环的半径，n是分布在环上的像素点个数即近邻像素点个数，gi，i＝0,1,…,n-1，是近邻像素点的灰度值，t是阈值；
像素点gc的SMTP特征定义如下：
S M T P ( n , R , g c ) = &Sigma; i = 0 n - 1 k ( | g i - g i + n / 2 | ) 3 n / 2 + i + k ( | g c - M | ) 3 n - - - ( 3 ) ,
这里k(x)是二值函数，公式如下：
上述式(3)中，上述式(4)中取t＝M；
由此计算出XY、XT、YT平面上每个像素点的CTP和SMTP特征；
(3.2)提取SMTCTP-TOP特征统计直方图：
对于第二步得到的图像的尺寸归一化的人脸微表情图像序列，大小为N×N×L,需要分别在XY、XT、YT平面上统计上述式(3)和式(4)得到的每个像素点的CTP特征和SMTP特征，并采用下式(5)分别计算三个平面的CTP和SMTP统计直方图，每个平面的CTP统计直方图定义如下：
H C T P , j = &lsqb; &Sigma; x , y , t I ( CTP j ( n , R , g c ( x , y , t ) ) = i ) , i = 0 , ... , n j &rsqb; - - - ( 5 ) ,
上述式(5)中，j的值为0、1、2，分别表示XY、XT、YT平面，i表示CTP特征值，CTPj(n,R,gc(x,y,t))表示中心像素点gc(x,y,t)在第j个平面CTP特征值，(x,y,t)为gc的坐标，nj为CTP特征在第j个平面产生的最大的十进制数，二值函数I(x)如下所示：
同理，每个平面j＝0、1、2的SMTP特征统计直方图定义如式(7)：
H S M T P , j = &lsqb; &Sigma; x , y , t I ( SMTP j ( n , R , g c ( x , y , t ) ) = i ) , i = 0 , ... , n j , &rsqb; - - - ( 7 ) ,
XY、XT、YT三个平面的SMTCTP特征统计直方图是由两个CTP特征统计直方图和一个SMTP特征统计直方图组成，即：
Hj＝[HCTP,j HCTP,j HSMTP,j] j＝0,1,2 (8),
将每个平面得到的统计直方图标准化如下：
H &OverBar; j = H j / &Sigma; j = 0 2 H j - - - ( 9 ) ,
式(9)中，把XY、XT、YT三个平面的统计直方图总和加起来作为分母，分子为各个平面的统计直方图，最后得出标准化后的统计直方图，再进行统计直方图的串联，得到SMTCTP-TOP特征统计直方图H，如公式(10)所示，
H = &lsqb; H 0 &OverBar; H 1 &OverBar; H 2 &OverBar; &rsqb; - - - ( 10 ) ,
由此提取出SMTCTP-TOP特征统计直方图；
(3.3)确定XY、XT和YT平面直方图的权值，得到SMTCTP-WTOP特征统计直方图：
对XY、XT和YT每个平面赋予不同平面统计直方图的权值，且三个平面统计直方图的权重之和为1，从而构成SMTCTP-WTOP算子，具体方法如下：设XY平面所占权重为a，XT所占权重为b，则YT平面权重为(1-a-b)，权重向量W为：
W＝(a b 1-a-b) (11)，
则构成加权的SMTCTP-TOP即SMTCTP-WTOP算子如下：
SMTCTP-WTOP＝W·HT＝[aH0 bH1 (1-a-b)H2] (12)，
由此得到SMTCTP-WTOP特征统计直方图，并利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征，即SMTCTP-WTOP特征；
第四步，使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别：
在上述第三步利用SMTCTP-WTOP算子提取人脸微表情图像序列的动态时空纹理特征之后，利用SVM分类器进行多类分类，具体的操作过程如下：
(4.1)将第二步人脸微表情图像预处理完成后的人脸微表情序列进行分类：
将人脸微表情分成五类：厌恶、压抑、高兴、惊讶和紧张；
(4.2)分类训练集和测试集：
将上述(4.1)步中五类人脸微表情各自随机选取一部分序列作为训练集，另一部分作为测试集，训练集和测试集的比例为3∶1；
(4.3)使用SVM分类器进行训练和预测，完成监控视频序列中人脸微表情图像序列的识别：
对上述(4.2)步中的训练集中的人脸微表情依据上述第三步中提取的SMTCTP-WTOP特征，得到上述五类人脸微表情中的每一类人脸微表情的SVM训练模型，将五类人脸微表情的SVM训练模型组合成一个整体的SVM人脸微表情分类器，对上述(4.2)步中的测试集的人脸微表情依据上述第三步中提取的SMTCTP-WTOP特征，利用训练好的SVM分类器进行预测，区分属于哪类人脸微表情，最终完成监控视频序列中人脸微表情图像序列的识别。
2.根据权利要求1所述监控视频序列中人脸微表情图像序列的识别方法，其特征在于：所述N×N像素中，N取值为256。
3.根据权利要求1所述监控视频序列中人脸微表情图像序列的识别方法，其特征在于：所述利用计算机USB口输入监控视频中包含人脸微表情的图像序列为L帧，其中L≥20。
4.根据权利要求1所述监控视频序列中人脸微表情图像序列的识别方法，其特征在于：所述使用的分类器SVM的类型为默认设置C-SVC，核函数类型为RBF。
CN201610948208.5A 2016-10-26 2016-10-26 监控视频序列中人脸微表情图像序列的识别方法 Active CN106548149B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610948208.5A CN106548149B (zh) 2016-10-26 2016-10-26 监控视频序列中人脸微表情图像序列的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610948208.5A CN106548149B (zh) 2016-10-26 2016-10-26 监控视频序列中人脸微表情图像序列的识别方法

Publications (2)

Publication Number Publication Date
CN106548149A true CN106548149A (zh) 2017-03-29
CN106548149B CN106548149B (zh) 2020-04-03

Family

ID=58392619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610948208.5A Active CN106548149B (zh) 2016-10-26 2016-10-26 监控视频序列中人脸微表情图像序列的识别方法

Country Status (1)

Country Link
CN (1) CN106548149B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403142A (zh) * 2017-07-05 2017-11-28 山东中磁视讯股份有限公司 一种微表情的检测方法
CN108830233A (zh) * 2018-06-20 2018-11-16 深圳市科迈爱康科技有限公司 基于欧拉视频算法的监控系统、方法及可读存储介质
CN109034143A (zh) * 2018-11-01 2018-12-18 云南大学 基于视频放大和深度学习的人脸微表情识别方法
CN109376711A (zh) * 2018-12-06 2019-02-22 深圳市淘米科技有限公司 一种基于iltp的人脸情绪预判方法
CN109657554A (zh) * 2018-11-21 2019-04-19 腾讯科技（深圳）有限公司 一种基于微表情的图像识别方法、装置以及相关设备
CN109800771A (zh) * 2019-01-30 2019-05-24 杭州电子科技大学 混合时空平面局部二值模式的自发微表情定位方法
CN109977769A (zh) * 2019-02-21 2019-07-05 西北大学 一种低分辨率环境下微表情识别的方法
CN110175526A (zh) * 2019-04-28 2019-08-27 平安科技（深圳）有限公司 狗情绪识别模型训练方法、装置、计算机设备及存储介质
CN112597914A (zh) * 2020-12-26 2021-04-02 中国农业银行股份有限公司 一种图像处理方法及装置
CN112800951A (zh) * 2021-01-27 2021-05-14 华南理工大学 基于局部基特征的微表情识别方法、系统、装置及介质
CN112818957A (zh) * 2021-03-22 2021-05-18 东南大学 基于运动能量识别眼睑痉挛的方法
CN115831352A (zh) * 2022-12-05 2023-03-21 湖南工商大学 一种基于动态纹理特征和时间分片权重网络的检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030128877A1 (en) * 2002-01-09 2003-07-10 Eastman Kodak Company Method and system for processing images for themed imaging services
CN105139039A (zh) * 2015-09-29 2015-12-09 河北工业大学 视频序列中人脸微表情的识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030128877A1 (en) * 2002-01-09 2003-07-10 Eastman Kodak Company Method and system for processing images for themed imaging services
CN105139039A (zh) * 2015-09-29 2015-12-09 河北工业大学 视频序列中人脸微表情的识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PHILIPP MICHEL等: "Real time facial expression recognition in video using support vector machines", 《INTERNATIONAL CONFERENCE ON MULTIMODAL INTERFACES》 *
唐红梅 等: "基于MG-LTP与ELM的微表情识别", 《电视技术》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403142B (zh) * 2017-07-05 2018-08-21 山东中磁视讯股份有限公司 一种微表情的检测方法
CN107403142A (zh) * 2017-07-05 2017-11-28 山东中磁视讯股份有限公司 一种微表情的检测方法
CN108830233B (zh) * 2018-06-20 2021-08-27 深圳市科迈爱康科技有限公司 基于欧拉视频算法的监控系统、方法及可读存储介质
CN108830233A (zh) * 2018-06-20 2018-11-16 深圳市科迈爱康科技有限公司 基于欧拉视频算法的监控系统、方法及可读存储介质
CN109034143A (zh) * 2018-11-01 2018-12-18 云南大学 基于视频放大和深度学习的人脸微表情识别方法
CN109657554A (zh) * 2018-11-21 2019-04-19 腾讯科技（深圳）有限公司 一种基于微表情的图像识别方法、装置以及相关设备
CN109376711A (zh) * 2018-12-06 2019-02-22 深圳市淘米科技有限公司 一种基于iltp的人脸情绪预判方法
CN109800771A (zh) * 2019-01-30 2019-05-24 杭州电子科技大学 混合时空平面局部二值模式的自发微表情定位方法
CN109800771B (zh) * 2019-01-30 2021-03-05 杭州电子科技大学 混合时空平面局部二值模式的自发微表情定位方法
CN109977769A (zh) * 2019-02-21 2019-07-05 西北大学 一种低分辨率环境下微表情识别的方法
CN110175526A (zh) * 2019-04-28 2019-08-27 平安科技（深圳）有限公司 狗情绪识别模型训练方法、装置、计算机设备及存储介质
CN112597914A (zh) * 2020-12-26 2021-04-02 中国农业银行股份有限公司 一种图像处理方法及装置
CN112597914B (zh) * 2020-12-26 2024-04-16 中国农业银行股份有限公司 一种图像处理方法及装置
CN112800951A (zh) * 2021-01-27 2021-05-14 华南理工大学 基于局部基特征的微表情识别方法、系统、装置及介质
CN112800951B (zh) * 2021-01-27 2023-08-08 华南理工大学 基于局部基特征的微表情识别方法、系统、装置及介质
CN112818957A (zh) * 2021-03-22 2021-05-18 东南大学 基于运动能量识别眼睑痉挛的方法
CN112818957B (zh) * 2021-03-22 2024-04-23 东南大学 基于运动能量识别眼睑痉挛的方法
CN115831352A (zh) * 2022-12-05 2023-03-21 湖南工商大学 一种基于动态纹理特征和时间分片权重网络的检测方法
CN115831352B (zh) * 2022-12-05 2023-08-08 湖南工商大学 一种基于动态纹理特征和时间分片权重网络的检测方法

Also Published As

Publication number Publication date
CN106548149B (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN106548149A (zh) 监控视频序列中人脸微表情图像序列的识别方法
CN105139039B (zh) 视频序列中人脸微表情的识别方法
CN107808146B (zh) 一种多模态情感识别分类方法
CN107844795B (zh) 基于主成分分析的卷积神经网络特征提取方法
Zeng et al. Multi-stage contextual deep learning for pedestrian detection
CN104239856B (zh) 基于Gabor特征和自适应线性回归的人脸识别方法
CN104933414A (zh) 一种基于wld-top的活体人脸检测方法
CN103854016B (zh) 基于方向性共同发生特征的人体行为分类识别方法及系统
Aghamaleki et al. Multi-stream CNN for facial expression recognition in limited training data
CN103618918A (zh) 一种智能电视的显示控制方法及装置
Zhang et al. Facial expression recognition using LBP and LPQ based on Gabor wavelet transform
CN106709419B (zh) 一种基于显著轨迹空间信息的视频人体行为识别方法
CN106529504A (zh) 一种复合时空特征的双模态视频情感识别方法
CN109815920A (zh) 基于卷积神经网络和对抗卷积神经网络的手势识别方法
Sharif et al. Intelligent human action recognition: A framework of optimal features selection based on Euclidean distance and strong correlation
Verma et al. Pedestrian detection via mixture of CNN experts and thresholded aggregated channel features
Cornejo et al. Recognition of occluded facial expressions based on CENTRIST features
CN103577804B (zh) 基于sift流和隐条件随机场的人群异常行为识别方法
Khalid et al. DFGNN: An interpretable and generalized graph neural network for deepfakes detection
Farhan et al. A new model for pattern recognition
Sun et al. Action disambiguation analysis using normalized google-like distance correlogram
CN108052867A (zh) 一种基于词袋模型的单样本人脸识别方法
CN111597864A (zh) 基于累积光流加权特征的微表情识别方法
Megahed et al. Face2face manipulation detection based on histogram of oriented gradients
Xu et al. Car detection using deformable part models with composite features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant