CN105139039B - 视频序列中人脸微表情的识别方法 - Google Patents
视频序列中人脸微表情的识别方法 Download PDFInfo
- Publication number
- CN105139039B CN105139039B CN201510631089.6A CN201510631089A CN105139039B CN 105139039 B CN105139039 B CN 105139039B CN 201510631089 A CN201510631089 A CN 201510631089A CN 105139039 B CN105139039 B CN 105139039B
- Authority
- CN
- China
- Prior art keywords
- micro
- face
- expression
- sequence
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 184
- 238000000034 method Methods 0.000 title claims abstract description 94
- 230000008921 facial expression Effects 0.000 claims abstract description 52
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 230000008859 change Effects 0.000 claims abstract description 13
- 230000003321 amplification Effects 0.000 claims abstract description 10
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 75
- 102100028971 HLA class I histocompatibility antigen, C alpha chain Human genes 0.000 claims description 35
- 101100395312 Homo sapiens HLA-C gene Proteins 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 10
- 238000011017 operating method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000004069 differentiation Effects 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001943 fluorescence-activated cell sorting Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明视频序列中人脸微表情的识别方法,涉及用于识别图形的记录载体的处理,是一种利用HLACLF‑TOP算法提取人脸微表情序列的动态时空纹理特征方法,步骤是:人脸微表情视频欧拉放大;人脸微表情图像预处理;利用HLACLF‑TOP算法提取人脸微表情序列的动态时空纹理特征;利用ELM分类器进行训练和预测。本发明方法克服了现有技术中由于人脸微表情变化幅度小造成微表情难以识别的缺陷。
Description
技术领域
本发明的技术方案涉及用于识别图形的记录载体的处理,具体地说是视频序列中人脸微表情的识别方法。
背景技术
微表情(micro-expression)是人类试图压抑或隐藏真实情感时泄露的非常短暂的不能自主控制的面部表情,Ekman等人对微表情开展了一系列研究,其结果表明微表情是识别谎言的有效线索,可以被广泛地应用于安全、司法、临床和法律领域。但是微表情持续时间短且难以识别,即使是受过良好训练的人,进行微表情识别时,准确率仅在40%左右。因此,研发自动微表情识别系统,实现计算机自动识别微表情,无论对于开展微表情识别的机理研究,还是对于进行微表情识别的实际应用都是非常必要的。
目前,国内外很多团队都在开展微表情研究。Ekman和Friesen于1969首次发现微表情的重要性,并且一直是微表情研究的主要力量之一,但他们的大部分研究工作成果至今并未见到公开发表。中科院王甦菁提出了一种基于判别式分析的独立张量子空间(DTSA)和极限学习机的微表情识别算法,但是该方法计算复杂,而且识别效率只有50%左右。后来,王甦菁对颜色信息加以考虑,因为颜色信息R、G、B三个成分有较大的相关,所以考虑利用独立成分分析(ICA),对张量的第四阶(颜色)去相关性,建立了TICS模型,并且在对CASME数据库进行分类的时候,提出将紧张和压抑这两个非常相似的微表情归为一类,将识别率提高到了61.8%。日本筑波大学Polikovsky团队利用3D梯度直方图方法进行微表情的检测识别,对200fps的视频序列进行处理,首先将人脸表情按照特定区域进行分块,然后在每一个区域提取3D直方图特征描述运动方向,在检测到微表情之后,根据一些给定的规则诸如FACS编码进行分类,该方法利用的数据库是研究人员自己构建的,参与人员被要求以尽可能低的表情强度、尽可能快的速度做出面部表情,论文并没有给出最终的识别率,该方法的人脸跟踪效果不好,没有足够的测试集进行测试,分类算法无法适应复杂的人脸变化。美国南佛罗里达大学Shreveport团队把光流法用于微表情研究,该方法利用应变模式处理连续的、不断变化的长视频,对面部表情的自动分割,通过对面部划分成的8个兴趣区域计算得到的光学应力与训练等得到的某一阈值进行比较,实现了对表情和微表情的分割。虽然该方法对光照不均匀和大量移动问题是鲁棒性的,但较为依赖于面部皮肤中形变的大小。芬兰奥卢大学的赵国英团队利用时间差值模型和LBP-TOP算法提取微表情序列的特征,通过提取序列图像或视频在时域和空域方向上的动态LBP纹理特征进行微表情的识别,算法测试库样本量相对较小,识别率较低。CN 103258204A公开了一种基于Gabor和EOH特征的自动微表情识别方法,利用Gabor和EOH特征进行微表情特征提取,但Gabor和EOH表征全局的能力较弱,且需要结合改进后的GentleSVM分类器才能进行微表情的分类识别,所需的硬件设备性能要求较高,而识别性能低于人们的期望。CN104298981A提出了基于CBP-TOP特征的自动微表情识别方法,使用ELM分类器进行分类,该方法在计算每一个像素的CBP值的时候都涉及到了乘和幂运算,相比于本发明方法,计算复杂度高,而且提取的微表情信息不够完整。现有人脸微表情的识别方法主要存在提取的微表情序列信息单一,没有从多个频率和方向考虑,因而识别性能低的缺陷。
发明内容
本发明所要解决的技术问题是:提供视频序列中人脸微表情的识别方法,是在对人脸微表情视频利用欧拉影像放大技术进行放大之后,对人脸微表情图像序列进行预处理,再利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征,最后利用分类器进行训练和预测,该方法克服了现有技术中由于人脸微表情变化幅度小造成微表情难以识别的缺陷。
上述HLACLF-TOP是Higher-order Local Auto-Correlation Like Featuresfrom Three Orthogonal Panels的缩写,中文意思为基于三个正交平面的类似高阶局部自相关特征。
本发明解决该技术问题所采用的技术方案是:视频序列中人脸微表情的识别方法,是一种利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征方法,具体步骤如下:
第一步,人脸微表情视频欧拉放大:
利用欧拉影像放大算法对人脸微表情视频进行放大,将放大后的人脸微表情视频转为人脸微表情图像序列;
第二步,人脸微表情图像预处理:
利用高斯滤波器对第一步得到的人脸微表情图像序列进行去噪处理,利用Adaboost算法检测该微表情图像中的人脸并进行裁剪,采用双线性插值算法实现图像的尺寸归一化,经过如此人脸微表情图像预处理后的人脸微表情图像大小为M×M像素,即人脸微表情图像的宽度和高度均为M个像素;
第三步,利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征:
以下将HLACLF-TOP算法提取的人脸微表情序列的动态时空纹理特征简称为HLACLF-TOP特征,
通过将HLAC掩膜作用在图像序列上来计算HLACLF-TOP特征,具体步骤为:
(1)计算XY平面的HLACLF向量:
人脸微表情图像序列在XY平面的HLACLF向量是将HLAC掩膜作用于人脸微表情序列中的每一帧,得到一个HLACLF向量,将这些特征向量串联起来,得到该序列在当前平面的特征向量(f11,f12,...,f1m,f21,f22,...,f2m,...,fn1,fn2,...,fnm),操作方法是:
首先将HLAC掩膜作用在第二步提取的单帧人脸微表情图像的左上角3×3区域,将掩膜各位置的值作为所对应的像素的权值,进行相乘再相加,得到该区域的特征值,然后将HLAC掩膜向右滑动3个像素,与前面的区域无重叠,进行掩膜操作,得到该3×3区域特征值,继续向右滑动,直到该行的最右端,将这一行每个3×3区域得到的特征值相加得到该行的向量值f11;
将HLAC掩膜向下滑动3个像素,按上述操作方法,继续从左到右扫描该图像进行掩膜操作,得到该行的向量值f12;
重复上述操作,直到扫描完整个图像,得到该图像在该掩膜下得到的HLACLF向量(f11,f12,f13,...,f1m),其中m=M/3,当前图像大小为M×M像素,即图像的宽度和高度均为M个像素;
HLAC掩膜包含25个0到2阶的3×3掩膜,0-阶掩膜即在3×3的窗口中只有中心位置为1,其他位置为0;1-阶掩膜是在3×3的窗口中有两个位置为1,其他为0;2-阶掩膜是在3×3的窗口中有三个位置为1,其他为0;将25个3×3经典HLAC掩膜作用在XY平面,即按照上述方法,每个掩膜提取一个HLACLF向量,最后每个序列在XY平面上得到25个向量,记为,
其中字符n为每个微表情序列中帧的个数,字符a代表人脸微表情图像序列中第a帧,字符b代表每帧人脸微表情图像中的第b个向量元素,b取值范围为1,…,m,字符k表示是第k个掩膜;
(2)计算XT平面和YT平面的HLACLF向量:
XT平面和YT平面中的T轴是时间轴,分别与Y轴和X轴垂直,
将HLAC掩膜改进为6个1×3的掩膜,这6个掩膜分别包含了三个0-阶和三个1-阶的掩膜,0-阶掩膜即只有一个位置为1,1-阶掩膜为两个位置为1,在XT和YT平面上采用这6个1×3的掩膜进行特征提取,操作方法是:
将6个1×3的掩膜分别作用于XT平面和YT平面,XT与YT平面大小为均为M×n,其中,图像序列中每帧图像的宽为M个像素,n为每个微表情序列中帧的个数,对于XT平面和YT平面分别在在Y轴与X轴上,以3为步长按照上述XY平面上掩膜的扫描方法,将1×3的掩膜在XT和YT平面上进行扫描,在每个平面上提取一个1×n的向量,最后,每个序列在XT及YT平面上得到的向量的大小均为n×m,其中m=M/3,与XY平面得到的向量大小一致,记为,
其中,字符n表示每个微表情序列中帧的个数,字符c代表在Y轴或X轴上取到的第c个平面,c取值为1,…,m,字符d代表该平面上的第d个向量元素,d取值为1,…,n,字符k表示当前为第k个掩膜;
(3)计算整个人脸微表情图像序列的HLACLF-TOP特征向量:
将上述步骤(1)和步骤(2)获得的XY、XT和YT平面的特征向量进行串联,得到25+6+6个长度为m×n的向量,作为每个人脸微表情视频序列的HLACLF-TOP特征向量,即将37个向量串联,作为每个人脸微表情视频序列的HLACLF-TOP特征,由此利用HLACLF-TOP算法提取到人脸微表情序列的动态时空纹理特征;
第四步,利用ELM分类器进行训练和预测:
利用ELM分类器进行训练和预测,用以验证HLACLF-TOP算法的有效性,同时对人脸微表情序列的特征进行分类识别,判断提取的HLACLF-TOP特征究竟属于哪类人脸微表情,具体操作步骤如下:
(1)将第二步人脸微表情图像预处理完成的人脸微表情序列进行分类:
将人脸微表情分成四类:消极、积极、惊讶和模棱两可;
(2)分类训练集和测试集:
将上述步骤(1)中四类人脸微表情各自随机选取一部分序列作为训练集,另一部分作为测试集,训练集和测试集的比例为3∶2;
(3)确定各平面的权值:
对第三步中得到的HLACLF特征向量计算出单个平面XY、XT和YT的之间的识别率之比,XY及XT平面的贡献率比YT平面的要高,将XY和XT平面权值初始化为0.35,将YT平面权值从0到0.34变化,相应地,XT和YT平面的权值从0.50到0.33变化,当XY∶XT∶YT的权值比值为0.40∶0.40∶0.20的时候,视频序列中人脸微表情的识别率最高;
(4)构造ELM分类器:
对上述步骤(2)中的训练集提取HLACLF-TOP特征,得到每一种人脸微表情的ELM训练模型,将所有人脸微表情的ELM训练模型组合成ELM人脸微表情分类器;对上述步骤(2)中的测试集提取HLACLF-TOP特征,利用训练好的ELM分类器进行预测,区分属于哪种人脸微表情,选用Sigmoidal函数作为ELM的分类函数。
上述人脸微表情的识别方法,所述M×M像素中,M取值为60。
上述人脸微表情的识别方法,所述单个平面XY、XT和YT的之间的识别率之比为XY∶XT∶YT为0.35∶0.35∶0.30。
上述人脸微表情的识别方法,所述“HLAC掩膜、欧拉影像放大算法、高斯滤波器、Adaboost算法和ELM分类器”都是公知的。
本发明的有益效果是:与现有技术相比,本发明的突出的实质性特点和显著进步如下:
(1)本发明方法提出HLACLF-TOP算法提取人脸微表情序列特征,在XY平面上利用25个不同的掩膜,同时XT和YT平面上分别利用6个不同掩膜,从不同的频率和方向上提取人脸微表情序列的动态时空纹理特征,同时,根据三个平面的不同,三个平面上采用的掩膜个数不一样,能够更接近地分解人脸微表情图像;而早先的CN104298981A提出的基于CBP-TOP特征的自动微表情识别方法没有从多频率多方向提取特征,相比于本发明中的方法,提取的特征较为单一;
(2)本发明方法中只涉及简单的加法运算,计算复杂度低;CN104298981A人脸微表情的识别方法中涉及到了乘和幂运算,相比于本发明方法,计算复杂度高;
(3)本发明方法中提取的是人脸的全局特征,由于微表情本身的变化幅度小的特点,需要结合面部多处的细微变化信息进行分析,所以提取人脸全局特征,能够很好的表达微表情;而CN104298981A人脸微表情的识别方法中对人脸进行了分块,考虑到了局部的变化信息,但同时也会损失一部分信息;
(4)本发明方法采用ELM分类器进行人脸微表情的训练和预测,ELM可以直接应用于回归分析和多分类应用,对于数据量非常大的人脸微表情图像序列和多类分类问题,ELM的处理速度和准确率显著高于现有的SVM分类器;
(5)本发明方法同时提取人脸微表情序列的不同的频率和方向信息,提高了人脸微表情的识别率和准确性,以及训练的速度和效率,使得人脸微表情识别进入可应用的领域。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明方法的流程示意框图。
图2是本发明方法中人脸微表情视频欧拉放大前后的对比示意图,其中:
图2(a)是人脸微表情视频在欧拉放大前的图像序列图像。
图2(b)是人脸微表情视频在欧拉放大后的图像序列图像。
图3是本发明方法中人脸微表情视频欧拉放大后人脸微表情图像预处理前后的对比示意图,其中:
图3(a)是人脸微表情预处理前的图像。
图3(b)是利用Adaboost算法多个弱分类器的叠加进行人脸区域的检测图像。
图3(c)是人脸微表情预处理后的图像。
图4是本发明方法中一段人脸微表情变化序列效果示意图,其中:
图4(a)是人脸微表情序列的开始帧图像。
图4(b)是图4(a)到图4(c)之间的过渡人脸微表情图像。
图4(c)是人脸微表情出现的第一帧图像。
图4(d)是人脸微表情持续帧图像。
图4(e)是人脸微表情持续帧图像。
图4(f)是人脸微表情持续帧图像。
图4(g)是人脸微表情结束的最后一帧图像。
图4(h)是人脸微表情序列的结束帧图像。
图5是本发明方法中HLACLF特征的掩膜过程示意图,其中:
图5(a)为作用在XY平面上的25个HLAC掩膜的示意图。
图5(b)为改进的HALC作用在XT和YT平面上的6个掩膜的示意图。
图6是本发明中HLAC掩膜及改进的HLAC掩模分别作用于XY及XT和YT平面的计算过程示意图,其中:
图6(a)为将25个3×3的掩膜作用在XY平面的示意图。
图6(b)为将6个1×3的掩膜作用在XT平面的示意图。
图6(c)为将6个1×3的掩膜作用在YT平面的示意图。
图7为不同的人脸微表情识别方法在四分类的CASME数据库上实验结果图。
具体实施方式
图1所示实施例表明,本发明视频序列中人脸微表情的识别方法的流程是:人脸微表情视频欧拉放大→人脸微表情图像预处理→利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征→利用ELM分类器进行训练和预测。
图2所示实施例表明,在本发明方法中,人脸微表情视频欧拉放大前后对比如下:图2(a)是人脸微表情视频在欧拉放大前的图像序列的效果,图2(b)是人脸微表情视频在欧拉放大后的图像序列的效果,主要过程是将原始人脸微表情视频输入,利用欧拉影像放大算法进行放大,放大后的人脸微表情的动作幅度明显变大。
图3所示实施例表明,在本发明方法中,人脸微表情视频欧拉放大后人脸微表情图像预处理前后的对比如下:图3(a)是人脸微表情预处理前的图像,图3(b)是利用Adaboost算法多个弱分类器的叠加进行人脸区域的检测图像,图3(c)是人脸微表情最终处理后的图像,主要过程是对裁剪后的人脸区域,利用双线性插值算法进行图像的尺寸归一化,经过处理后的人脸微表情图像大小为60×60像素。
图4所示实施例显示了本发明方法中的一段人脸微表情变化序列。其中,图4(a)是人脸微表情序列的开始帧,此时人脸微表情处于中性;图4(b)是图4(a)到图4(c)之间的过渡人脸微表情图,人脸微表情即将开始;图4(c)是人脸微表情出现的第一帧;图4(d)、图4(e)和4(f)是人脸微表情持续帧;图4(g)是人脸微表情结束的最后一帧;图4(h)是人脸微表情序列的结束帧。
图5所示实施例显示了本发明方法中HALC及改进的HALC掩膜过程,其中,图5(a)表明作用在XY平面上的25个HLAC掩膜,分别包含了0-阶、1-阶和2-阶掩膜;图5(b)表明改进的HALC作用在XT和YT平面上的6个1×3的掩膜,分别包含了0-阶和1-阶掩膜。
图6所示实施例显示了本发明方法中将各个HLAC掩膜作用于XY、XT和YT平面的计算过程,视频序列随着帧数的不同,XY和XT、YT平面大小不一样,作用在XY平面上的25个3×3的经典HLAC掩膜不能应用于XT和YT平面,在XT和YT平面上采用的改进的HALC是6个1×3的掩膜。其中,图6(a)展示的是将25个3×3HLAC掩膜作用在XY平面的过程,即按照上述第三步所述方法,每个掩膜提取一个HLACLF向量,最后每个序列在XY平面上得到25个向量,记为
其中字符n为每个微表情序列中帧的个数,字符a代表图像序列中第a帧,字符b代表每帧图像中的第b个向量元素,b取值为1,…,m,字符k表示是第k个掩膜;
图6(b)和图6(c)展示的分别是将6个1×3改进的HLAC掩膜作用在XT和YT平面的过程,XT与YT平面大小为均为M×n,其中,图像序列中每帧图像的宽为M个像素,n为每个微表情序列中帧的个数,为了与XY平面中得到的向量保持一致,对于XT平面和YT平面分别在Y轴与X轴上,以3为步长取一个平面,在每个平面上提取一个1×n的向量,最后,每个序列在XT及YT平面上得到的向量的大小均为n×m,其中m=M/3,与XY平面得到的向量大小一致,记为,
其中,字符n表示每个微表情序列中帧的个数,由于在XT和YT平面上,掩膜大小为1×3,每个切面大小为M×n,所以在每个平面得到的向量元素个数为n,字符c代表在Y轴或X轴上取到的第c个平面,c取值为1,…,m,字符d代表该平面上的第d个向量元素,d取值为1,…,n;字符k表示为第k个掩膜;
串联三个平面的特征得到25+6+6个长度为m×n的向量,作为每个微表情视频序列的HLACLF特征向量;
利用不同的HLAC掩膜作用于视频序列上,得到不同的方向和频率的信息,XY平面获得形变信息,XT和YT平面获得水平、垂直方向的运动信息,同时,采用从0-阶到2-阶的不同阶的掩膜,得到不同频率的图像信息,而且每个掩膜中1的分布位置不一样,在一定程度上体现了不同方向上的信息。
图7所示实施例表明,采用不同的人脸微表情识别方法在四分类的CASME数据库上进行实验,得到的平均识别率的对比,图中横坐标表示不同的方法,纵坐标表示不同方法的识别率(%)。具体数据见表2。
实施例1
本实施例的视频序列中人脸微表情的识别方法,是一种利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征方法,具体步骤如下:
第一步,人脸微表情视频欧拉放大:
利用欧拉影像放大算法对人脸微表情视频进行放大,将放大后的人脸微表情视频转为人脸微表情图像序列;该步人脸微表情视频放大前后的效果如图2实施例所示;
第二步,人脸微表情图像预处理:
利用高斯滤波器对第一步得到的人脸微表情图像序列进行去噪处理,利用Adaboost算法检测该微表情图像中的人脸并进行裁剪,采用双线性插值算法实现图像的尺寸归一化,经过如此人脸微表情图像预处理后的人脸微表情图像大小为M×M像素,即人脸微表情图像的宽度和高度均为M个像素;这里M取值为60,该步人脸微表情图像预处理的结果如上述图3实施例所示;
第三步,利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征:
以下将HLACLF-TOP算法提取的人脸微表情序列的动态时空纹理特征简称为HLACLF-TOP特征,
通过将HLAC掩膜作用在图像序列上来计算HLACLF-TOP特征,具体步骤为:
(1)计算XY平面的HLACLF向量:
人脸微表情图像序列在XY平面的HLACLF向量是将HLAC掩膜作用于人脸微表情序列中的每一帧,得到一个HLACLF向量,将这些特征向量串联起来,得到该序列在当前平面的特征向量(f11,f12,...,f1m,f21,f22,...,f2m,...,fn1,fn2,...,fnm),操作方法是:
首先将HLAC掩膜作用在第二步提取的单帧人脸微表情图像的左上角3×3区域,将掩膜各位置的值作为所对应的像素的权值,进行相乘再相加,得到该区域的特征值,然后将HLAC掩膜向右滑动3个像素,与前面的区域无重叠,进行掩膜操作,得到该3×3区域特征值,继续向右滑动,直到该行的最右端,将这一行每个3×3区域得到的特征值相加得到该行的向量值f11;
将HLAC掩膜向下滑动3个像素,按上述操作方法,继续从左到右扫描该图像进行掩膜操作,得到该行的向量值f12;
重复上述操作,直到扫描完整个图像,得到该图像在该掩膜下得到的HLACLF向量(f11,f12,f13,...,f1m),其中m=M/3,当前图像大小为M×M像素,即图像的宽度和高度均为M个像素;
HLAC掩膜包含25个0到2阶的3×3掩膜,0-阶掩膜即在3×3的窗口中只有中心位置为1,其他位置为0;1-阶掩膜是在3×3的窗口中有两个位置为1,其他为0;2-阶掩膜是在3×3的窗口中有三个位置为1,其他为0;将25个3×3经典HLAC掩膜作用在XY平面,即按照上述方法,每个掩膜提取一个HLACLF向量,最后每个序列在XY平面上得到25个向量,记为,
其中n为每个微表情序列中帧的个数,字符a代表人脸微表情图像序列中第a帧,字符b代表每帧人脸微表情图像中的第b个向量元素,b取值范围为1,…,m,字符k表示是第k个掩膜;
(2)计算XT和YT平面的HLACLF向量:
XT平面和YT平面中的T轴是时间轴,分别与Y轴和X轴垂直,
由于人脸微表情序列的特殊性,XY与XT、YT平面大小不一样,作用在XY平面上的25个3×3的经典HLAC掩膜作用不适用于XT和YT平面,将HLAC掩膜改进为6个1×3的掩膜,这6个掩膜分别包含了三个0-阶和三个1-阶的掩膜,0-阶掩膜即只有一个位置为1,1-阶掩膜为两个位置为1,在XT和YT平面上采用这6个1×3的掩膜进行特征提取,操作方法是:
将6个1×3的掩膜分别作用于XT平面和YT平面,XT与YT平面大小为均为M×n,其中,图像序列中每帧图像的宽为M个像素,n为每个微表情序列中帧的个数,对于XT平面和YT平面分别在在Y轴与X轴上,以3为步长按照上述XY平面上掩膜的扫描方法,将1×3的掩膜在XT和YT平面上进行扫描,在每个平面上提取一个1×n的向量,最后,每个序列在XT及YT平面上得到的向量的大小均为n×m,其中m=M/3,与XY平面得到的向量大小一致,记为,
其中,字符n表示每个微表情序列中帧的个数,字符c代表在Y轴或X轴上取到的第c个平面,c取值为1,…,m,字符d代表该平面上的第d个向量元素,d取值为1,…,n,字符k表示当前为第k个掩膜;
(3)计算整个人脸微表情图像序列的HLACLF-TOP特征向量:
将上述步骤(1)和步骤(2)获得的XY、XT和YT平面的特征向量进行串联,得到25+6+6个长度为m×n的向量,作为每个人脸微表情视频序列的HLACLF-TOP特征向量,即将37个向量串联,作为每个人脸微表情视频序列的HLACLF-TOP特征,由此利用HLACLF-TOP算法提取到人脸微表情序列的动态时空纹理特征;
在XY、XT和YT平面分别采用不同阶的掩膜得到不同频率的信息,而且每个掩膜中1的分布位置不一样,在一定程度上体现了不同方向上的信息;利用不同的HLAC掩膜作用于视频序列上,提取人脸微表情序列的不同频率和方向的动态纹理信息,即获取人脸微表情序列在XY平面的形变信息,以及在XT平面和YT平面的运动信息;
该步利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征,包括人脸微表情序列的频率和方向信息的结果如上述图5-图6实施例所示;
第四步,利用ELM分类器进行训练和预测:
利用ELM分类器进行训练和预测,用以验证HLACLF-TOP算法的有效性,同时对人脸微表情序列的特征进行分类识别,判断提取的HLACLF-TOP特征究竟属于哪类人脸微表情,具体操作步骤如下:
(1)将第二步人脸微表情图像预处理完成的人脸微表情序列进行分类:
将人脸微表情分成四类:消极、积极、惊讶和模棱两可;
(2)分类训练集和测试集:
将上述步骤(1)中四类人脸微表情各自随机选取一部分序列作为训练集,另一部分作为测试集,训练集和测试集的比例为3:2;
(3)确定各平面的权值:
对第三步中得到的HLACLF特征向量计算出单个平面XY、XT和YT的之间的识别率之比,本实施例中单个平面XY、XT和YT的之间的识别率之比为XY∶XT∶YT为0.35∶0.35∶0.30,XY及XT平面的贡献率比YT平面的要高,将XY和XT平面权值初始化为0.35,将YT平面权值从0到0.34变化,相应地,XT和YT平面的权值从0.50到0.33变化,当XY∶XT∶YT的权值比值为0.40∶0.40∶0.20的时候,视频序列中人脸微表情的识别率最高;
(4)构造ELM分类器:
对上述步骤(2)中的训练集提取HLACLF-TOP特征,得到每一种人脸微表情的ELM训练模型,将所有人脸微表情的ELM训练模型组合成ELM人脸微表情分类器;对上述步骤(2)中的测试集提取HLACLF-TOP特征,利用训练好的ELM分类器进行预测,区分属于哪种人脸微表情,选用Sigmoidal函数作为ELM的分类函数。
本实施例是在CASME人脸微表情数据库进行实验。从CASME库中,选取136个图像序列进行实验,这些人脸微表情序列总周期小于500ms或者人脸微表情启动时间(从开始帧到最大帧)小于250ms。原始CASME数据库中,将人脸微表情序列分为四类∶消极、积极、惊讶和模棱两可,分别包含31、8、17和80个图像序列,其中消极包含了厌恶和悲伤,因为悲伤样本数特别少,而且与厌恶很相似,积极包含了高兴的微表情,模棱两可包含紧张和压抑,每个图像序列包含20帧,共2720幅图像。本发明是在Windows 7环境下的MATLAB R2012a平台上运行完成。
实验中分别计算单个平面时候的识别率,即分别计算只提取XY平面,只提取XT平面和只提取YT平面的特征进行分类,计算各自的识别率,通过计算得到识别率之比为XY∶XT∶YT为0.35∶0.35∶0.30,XY和XT平面的识别率比YT平面稍高,以0.35为基准,将YT平面权值从0到0.34变化,相应地,XY和XT平面权值从0.50到0.33变化,当YT平面权值为0.20的时候平均识别率最高,达到了91.1%,表1是三个平面取不同权值时候的识别率之比。
表1.三个平面赋予不同权值时的平均识别率(%)
表2是将CASME数据库进行四分类,采用不同的人脸微表情识别方法作用在该数据库上得到的识别率的对比,其中TICS+ElM方法是王甦菁等人提出的基于独立张量颜色空间的方法,采用ELM分类器,识别率在61.56%;LBP-TOP+ELM方法是在XY、XT和YT平面上分别提取LBP特征,用ELM进行分类;HLBP-TOP+ELM方法是LBP-TOP方法的一个改进,HLBP特征是Haar型特征结合了LBP重新编码的思想来进行描述的,分别从三平面提取HLBP特征,作为HLBP-TOP特征,然后用进行分类;DTCM+RF方法,DTCM即Delaunay-Based Temporal CodingModel,基于德劳内三角的编码,将AAM(Active Appearance Model主动外观模型)所确定的68个人脸关键点连接成德劳内三角,相邻两帧相应位置的德劳内三角进行相减,设定阈值对差值三角进行时间编码,把编码结果作为所提取的特征,用随机森林进行分类;将本发明方法与以上几种方法进行对比,本发明方法明显优于其他的方法。
表2.在CASME数据库上不同方法的平均识别率(%)
表3是统计本发明方法与上述LBP-TOP方法、HLBP-TOP方法以及CN104298981A中提出的CBP-TOP方法在四分类CASME上不同微表情识别率的对比,更加体现出本发明方法的优越性。其中,CN104298981A中将表情分为厌恶、高兴、压抑、惊讶和紧张五类,为了充分突出本发明方法的优越性,将CN104298981A中用到的几种微表情按照本发明方法进行四分类,其中厌恶归类到消极,高兴归类到积极,惊讶仍为惊讶一类,紧张和压抑归类为模棱两可。
表3.在CAMSE数据库上不同微表情的识别率对比
Claims (3)
1.视频序列中人脸微表情的识别方法,其特征在于:是一种利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征方法,具体步骤如下:
第一步,人脸微表情视频欧拉放大:
利用欧拉影像放大算法对人脸微表情视频进行放大,将放大后的人脸微表情视频转为人脸微表情图像序列;
第二步,人脸微表情图像预处理:
利用高斯滤波器对第一步得到的人脸微表情图像序列进行去噪处理,利用Adaboost算法检测该微表情图像中的人脸并进行裁剪,采用双线性插值算法实现图像的尺寸归一化,经过如此人脸微表情图像预处理后的人脸微表情图像大小为M×M像素,即人脸微表情图像的宽度和高度均为M个像素;
第三步,利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征:
以下将HLACLF-TOP算法提取的人脸微表情序列的动态时空纹理特征简称为HLACLF-TOP特征,
通过将HLAC掩膜作用在图像序列上来计算HLACLF-TOP特征,具体步骤为:
(1)计算XY平面的HLACLF向量:
人脸微表情图像序列在XY平面的HLACLF向量是将HLAC掩膜作用于人脸微表情序列中的每一帧,得到一个HLACLF向量,将这些特征向量串联起来,得到该序列在当前平面的特征向量(f11,f12,...,f1m,f21,f22,...,f2m,...,fn1,fn2,...,fnm),操作方法是:
首先将HLAC掩膜作用在第二步提取的单帧人脸微表情图像的左上角3×3区域,将掩膜各位置的值作为所对应的像素的权值,进行相乘再相加,得到该区域的特征值,然后将HLAC掩膜向右滑动3个像素,与前面的区域无重叠,进行掩膜操作,得到该3×3区域特征值,继续向右滑动,直到该行的最右端,将这一行每个3×3区域得到的特征值相加得到该行的向量值f11;
将HLAC掩膜向下滑动3个像素,按上述操作方法,继续从左到右扫描该图像进行掩膜操作,得到该行的向量值f12;
重复上述操作,直到扫描完整个图像,得到该图像在该掩膜下得到的HLACLF向量(f11,f12,f13,...,f1m),其中m=M/3,当前图像大小为M×M像素,即图像的宽度和高度均为M个像素;
HLAC掩膜包含25个0到2阶的3×3掩膜,0-阶掩膜即在3×3的窗口中只有中心位置为1,其他位置为0;1-阶掩膜是在3×3的窗口中有两个位置为1,其他为0;2-阶掩膜是在3×3的窗口中有三个位置为1,其他为0;将25个3×3经典HLAC掩膜作用在XY平面,即按照上述方法,每个掩膜提取一个HLACLF向量,最后每个序列在XY平面上得到25个向量,记为,
<mrow>
<msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>f</mi>
<mn>11</mn>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>f</mi>
<mn>12</mn>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msubsup>
<mi>f</mi>
<mrow>
<mn>1</mn>
<mi>m</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msubsup>
<mi>f</mi>
<mrow>
<mi>a</mi>
<mi>b</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msubsup>
<mi>f</mi>
<mrow>
<mi>n</mi>
<mi>m</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mi>X</mi>
<mi>Y</mi>
</mrow>
</msub>
<mo>,</mo>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mn>25</mn>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中字符n为每个微表情序列中帧的个数,字符a代表人脸微表情图像序列中第a帧,字符b代表每帧人脸微表情图像中的第b个向量元素,b取值范围为1,…,m,字符k表示是第k个掩膜;
(2)计算XT平面和YT平面的HLACLF向量:
XT平面和YT平面中的T轴是时间轴,分别与Y轴和X轴垂直,
将HLAC掩膜改进为6个1×3的掩膜,这6个掩膜分别包含了三个0-阶和三个1-阶的掩膜,0-阶掩膜即只有一个位置为1,1-阶掩膜为两个位置为1,在XT和YT平面上采用这6个1×3的掩膜进行特征提取,操作方法是:
将6个1×3的掩膜分别作用于XT平面和YT平面,XT与YT平面大小为均为M×n,其中,图像序列中每帧图像的宽为M个像素,n为每个微表情序列中帧的个数,对于XT平面和YT平面分别在在Y轴与X轴上,以3为步长按照上述XY平面上掩膜的扫描方法,将1×3的掩膜在XT和YT平面上进行扫描,在每个平面上提取一个1×n的向量,最后,每个序列在XT及YT平面上得到的向量的大小均为n×m,其中m=M/3,与XY平面得到的向量大小一致,记为,
<mrow>
<msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>f</mi>
<mn>11</mn>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>f</mi>
<mn>12</mn>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msubsup>
<mi>f</mi>
<mrow>
<mn>1</mn>
<mi>n</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mn>.....</mn>
<mo>,</mo>
<msubsup>
<mi>f</mi>
<mrow>
<mi>c</mi>
<mi>d</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msubsup>
<mi>f</mi>
<mrow>
<mi>m</mi>
<mi>n</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mi>X</mi>
<mi>T</mi>
<mo>/</mo>
<mi>Y</mi>
<mi>T</mi>
</mrow>
</msub>
<mo>,</mo>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mn>6</mn>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中,字符n表示每个微表情序列中帧的个数,字符c代表在Y轴或X轴上取到的第c个平面,c取值为1,…,m,字符d代表该平面上的第d个向量元素,d取值为1,…,n,字符k表示当前为第k个掩膜;
(3)计算整个人脸微表情图像序列的HLACLF-TOP特征向量:
将上述步骤(1)和步骤(2)获得的XY、XT和YT平面的特征向量进行串联,得到25+6+6个长度为m×n的向量,作为每个人脸微表情视频序列的HLACLF-TOP特征向量,即将37个向量串联,作为每个人脸微表情视频序列的HLACLF-TOP特征,由此利用HLACLF-TOP算法提取到人脸微表情序列的动态时空纹理特征;
第四步,利用ELM分类器进行训练和预测:
利用ELM分类器进行训练和预测,用以验证HLACLF-TOP算法的有效性,同时对人脸微表情序列的特征进行分类识别,判断提取的HLACLF-TOP特征究竟属于哪类人脸微表情,具体操作步骤如下:
(1)将第二步人脸微表情图像预处理完成的人脸微表情序列进行分类:
将人脸微表情分成四类:消极、积极、惊讶和模棱两可;
(2)分类训练集和测试集:
将上述步骤(1)中四类人脸微表情各自随机选取一部分序列作为训练集,另一部分作为测试集,训练集和测试集的比例为3∶2;
(3)确定各平面的权值:
对第三步中得到的HLACLF特征向量计算出单个平面XY、XT和YT的之间的识别率之比,XY及XT平面的贡献率比YT平面的要高,将XY和XT平面权值初始化为0.35,将YT平面权值从0到0.34变化,相应地,XT和YT平面的权值从0.50到0.33变化,当XY∶XT∶YT的权值比值为0.40∶0.40∶0.20的时候,视频序列中人脸微表情的识别率最高;
(4)构造ELM分类器:
对上述步骤(2)中的训练集提取HLACLF-TOP特征,得到每一种人脸微表情的ELM训练模型,将所有人脸微表情的ELM训练模型组合成ELM人脸微表情分类器;对上述步骤(2)中的测试集提取HLACLF-TOP特征,利用训练好的ELM分类器进行预测,区分属于哪种人脸微表情,选用Sigmoidal函数作为ELM的分类函数。
2.根据权利要求1所述视频序列中人脸微表情的识别方法,其特征在于:所述M×M像素中,M取值为60。
3.根据权利要求1所述视频序列中人脸微表情的识别方法,其特征在于:所述单个平面XY、XT和YT的之间的识别率之比为XY∶XT∶YT为0.35∶0.35∶0.30。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510631089.6A CN105139039B (zh) | 2015-09-29 | 2015-09-29 | 视频序列中人脸微表情的识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510631089.6A CN105139039B (zh) | 2015-09-29 | 2015-09-29 | 视频序列中人脸微表情的识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105139039A CN105139039A (zh) | 2015-12-09 |
CN105139039B true CN105139039B (zh) | 2018-05-29 |
Family
ID=54724382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510631089.6A Expired - Fee Related CN105139039B (zh) | 2015-09-29 | 2015-09-29 | 视频序列中人脸微表情的识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105139039B (zh) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105608440B (zh) * | 2016-01-03 | 2019-05-31 | 复旦大学 | 基于最小化误差的面部微表情序列特征抽取方法 |
CN106548149B (zh) * | 2016-10-26 | 2020-04-03 | 河北工业大学 | 监控视频序列中人脸微表情图像序列的识别方法 |
CN107423685A (zh) * | 2017-06-13 | 2017-12-01 | 重庆大学 | 表情情绪识别方法 |
CN107403142B (zh) * | 2017-07-05 | 2018-08-21 | 山东中磁视讯股份有限公司 | 一种微表情的检测方法 |
CN107480622A (zh) * | 2017-08-07 | 2017-12-15 | 深圳市科迈爱康科技有限公司 | 微表情识别方法、装置及存储介质 |
CN107392193A (zh) * | 2017-09-21 | 2017-11-24 | 天津呼噜互娱科技有限公司 | 人脸表情识别方法及装置 |
CN107832691B (zh) * | 2017-10-30 | 2021-10-26 | 北京小米移动软件有限公司 | 微表情识别方法及装置 |
CN107909020A (zh) * | 2017-11-09 | 2018-04-13 | 东南大学 | 一种基于滤波器设计的光流向量微表情发生阶段检测方法 |
CN108229552B (zh) * | 2017-12-29 | 2021-07-09 | 咪咕文化科技有限公司 | 一种模型处理方法、装置及存储介质 |
CN110569795B (zh) * | 2018-03-13 | 2022-10-14 | 腾讯科技(深圳)有限公司 | 一种图像识别方法、装置以及相关设备 |
WO2020024210A1 (zh) * | 2018-08-02 | 2020-02-06 | 深圳大学 | 集成核密度估计器窗口参数优化方法、装置及终端设备 |
CN109034143A (zh) * | 2018-11-01 | 2018-12-18 | 云南大学 | 基于视频放大和深度学习的人脸微表情识别方法 |
CN109522861A (zh) * | 2018-11-28 | 2019-03-26 | 西南石油大学 | 一种人脸多类微表情识别方法 |
CN109614927B (zh) * | 2018-12-10 | 2022-11-08 | 河南理工大学 | 基于前后帧差异及特征降维的微表情识别 |
CN109784175A (zh) * | 2018-12-14 | 2019-05-21 | 深圳壹账通智能科技有限公司 | 基于微表情识别的异常行为人识别方法、设备和存储介质 |
CN109508706B (zh) * | 2019-01-04 | 2020-05-05 | 江苏正赫通信息科技有限公司 | 一种基于微表情识别和无感人脸识别的静默活体检测方法 |
CN109840499B (zh) * | 2019-01-31 | 2021-03-02 | 闽江学院 | 一种快速检测印刷品打印及装订质量的方法 |
CN109977769B (zh) * | 2019-02-21 | 2023-04-18 | 西北大学 | 一种低分辨率环境下微表情识别的方法 |
CN110191320B (zh) * | 2019-05-29 | 2021-03-16 | 合肥学院 | 基于像素时序运动分析的视频抖动与冻结检测方法及装置 |
CN110363187B (zh) * | 2019-08-29 | 2020-12-25 | 上海云从汇临人工智能科技有限公司 | 一种人脸识别方法、装置、机器可读介质及设备 |
CN110532950B (zh) * | 2019-08-29 | 2021-08-13 | 中国科学院自动化研究所 | 基于微表情视频的视频特征提取方法、微表情识别方法 |
CN111783621B (zh) * | 2020-06-29 | 2024-01-23 | 北京百度网讯科技有限公司 | 人脸表情识别及模型训练的方法、装置、设备及存储介质 |
CN111784669B (zh) * | 2020-06-30 | 2024-04-02 | 长沙理工大学 | 一种胶囊内镜图像多病灶检测方法 |
CN112990016B (zh) * | 2021-03-16 | 2022-09-02 | 中国平安人寿保险股份有限公司 | 表情特征提取方法、装置、计算机设备及存储介质 |
CN113221639B (zh) * | 2021-04-01 | 2022-07-29 | 山东大学 | 一种基于多任务学习的代表性au区域提取的微表情识别方法 |
CN113486867B (zh) * | 2021-09-07 | 2021-12-14 | 北京世纪好未来教育科技有限公司 | 人脸微表情识别方法、装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104298981A (zh) * | 2014-11-05 | 2015-01-21 | 河北工业大学 | 人脸微表情的识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010058514A1 (ja) * | 2008-11-19 | 2010-05-27 | 日本電気株式会社 | 認証システム、装置、認証方法及びプログラムが格納された記憶媒体 |
-
2015
- 2015-09-29 CN CN201510631089.6A patent/CN105139039B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104298981A (zh) * | 2014-11-05 | 2015-01-21 | 河北工业大学 | 人脸微表情的识别方法 |
Non-Patent Citations (2)
Title |
---|
Real time facial expression recognition in video using support vector machines;Philipp Michel等;《International Conference on Multimodal Interfaces》;20031107;第258-264页 * |
基于HLACLF的人脸表情识别方法研究;李倩;《黑龙江科技信息》;20131115(第32期);第148和160页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105139039A (zh) | 2015-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105139039B (zh) | 视频序列中人脸微表情的识别方法 | |
Rekha et al. | Shape, texture and local movement hand gesture features for indian sign language recognition | |
Abbas et al. | Region-based object detection and classification using faster R-CNN | |
CN104318558B (zh) | 复杂场景下基于多信息融合的手势分割方法 | |
Goh et al. | Micro-expression recognition: an updated review of current trends, challenges and solutions | |
CN103632132B (zh) | 一种基于肤色分割和模板匹配的人脸检测与识别方法 | |
CN103810490B (zh) | 一种确定人脸图像的属性的方法和设备 | |
CN106548149B (zh) | 监控视频序列中人脸微表情图像序列的识别方法 | |
CN105205449B (zh) | 基于深度学习的手语识别方法 | |
CN106570480B (zh) | 一种基于姿势识别的人体动作分类方法 | |
CN103618918A (zh) | 一种智能电视的显示控制方法及装置 | |
CN106127196A (zh) | 基于动态纹理特征的人脸表情的分类与识别方法 | |
CN105469034A (zh) | 基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法 | |
Li et al. | Dynamic Hand Gesture Recognition Using Multi-direction 3D Convolutional Neural Networks. | |
CN108647625A (zh) | 一种表情识别方法及装置 | |
CN104778457A (zh) | 基于多示例学习的视频人脸识别算法 | |
CN101615245A (zh) | 基于avr和增强lbp的表情识别方法 | |
CN103020614B (zh) | 基于时空兴趣点检测的人体运动识别方法 | |
CN112001241A (zh) | 基于通道注意力机制的微表情识别方法及系统 | |
CN104778472B (zh) | 人脸表情特征提取方法 | |
Mahmood et al. | A Comparative study of a new hand recognition model based on line of features and other techniques | |
Yadav et al. | An improved illumination normalization and robust feature extraction technique for face recognition under varying illuminations | |
CN112836651A (zh) | 基于动态融合机制的手势图像特征提取方法 | |
Hasan et al. | Real time fingers and palm locating using dynamic circle templates | |
CN106022310B (zh) | 基于htg-hog和stg特征的人体行为识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180529 |