CN109711378A - 人脸表情自动识别方法 - Google Patents
人脸表情自动识别方法 Download PDFInfo
- Publication number
- CN109711378A CN109711378A CN201910000813.3A CN201910000813A CN109711378A CN 109711378 A CN109711378 A CN 109711378A CN 201910000813 A CN201910000813 A CN 201910000813A CN 109711378 A CN109711378 A CN 109711378A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- formula
- value
- pixel
- neighborhood
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000001788 irregular Effects 0.000 claims abstract description 78
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 28
- 230000004927 fusion Effects 0.000 claims description 22
- 238000010606 normalization Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 10
- 210000004709 eyebrow Anatomy 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 6
- 238000005452 bending Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 238000002790 cross-validation Methods 0.000 claims description 3
- 206010003671 Atrioventricular Block Diseases 0.000 claims 1
- 238000005286 illumination Methods 0.000 abstract description 11
- 230000007547 defect Effects 0.000 abstract description 10
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 230000001815 facial effect Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 102100035971 Molybdopterin molybdenumtransferase Human genes 0.000 description 2
- 101710119577 Molybdopterin molybdenumtransferase Proteins 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明人脸表情自动识别方法，涉及用于识别图形的图像特征或特性的抽取的图像预处理，步骤是：人脸表情图像预处理→对人脸表情图像的关键特征点进行自动定位标记→将人脸表情图像的关键特征点形成特征块→获得各个不规则的多边形特征块的PD‑LDN特征直方图；获得各个不规则的多边形特征块的七阶矩特征→将PD‑LDN特征直方图和七阶矩特征融合起来，得到融合的人脸表情特征数据→采用SVM分类器进行人脸表情的训练和预测，实现人脸表情自动识别。本发明方法克服了现有的人脸表情识别方法存在对光照噪声的干扰鲁棒性差，对局部信息的提取不充分，计算复杂，导致人脸表情识别率低并且计算时间过长的缺陷。
Description
技术领域
本发明的技术方案涉及用于识别图形的图像特征或特性的抽取的图像预处理，具体地说是人脸表情自动识别方法。
背景技术
人脸表情识别属于情感识别的一类，是指对给定的人脸图像指定一个所属的情感类别，包括开心、悲伤、恐惧、惊讶、愤怒或厌恶的情感类别。人脸表情自动识别是计算机视觉领域研究的重点。
人脸表情自动识别方法涉及到的技术包括人脸表情图像获取、人脸图像预处理、人脸图像特征提取和人脸表情分类，其中人脸图像特征提取是人脸表情自动识别过程中的一个重要的环节，其有效性决定了人脸表情自动识别的准确率。现有的人脸图像特征提取方法包括基于纹理特征提取和基于几何特征提取两类方法。纹理特征表示人脸脸部皮肤纹理的信息，如皱眉和皱纹，纹理特征提取是针对整个人脸脸部图像，或者是针对脸部图像中的某一个特定区域进行的，其方法有Gabor滤波器、局部二值模式(以下简称LBP)算法和方向梯度直方图(以下简称HOG)算法。几何特征表示人脸脸部五官的形状和位置，几何特征提取方法有活动外观模型(以下简称AAM)算法和七阶矩算法。以上人脸表情特征提取方法中，由于LBP算法能够很好地提取局部特征而得到了广泛的应用，但LBP算法本身也存在着过于依赖中心像素和对光照敏感的缺点，针对这些缺点，He等在“Multi-structure localbinary patterns for texture classification”一文中提出了多结构局部二值模式(简称MS-LBP)方法，通过多种结构的邻域选择，提取出人脸图像的多种局部信息，该方法存在特征维度大，计算复杂度高的问题。CN107045621A公开了一种结合LBP和LDA的人脸表情识别方法，该方法通过LDA算法对提取出的LBP特征进行降维，存在对光照和遮挡的鲁棒性低而导致的识别率低下的缺陷。CN106599854A公开了一种基于多特征融合的人脸表情自动识别方法，该方法对人脸表情图像进行分割并提取ACILBP和Gabor特征，存在对图像进行多尺度特征提取造成的计算复杂度高因而计算耗时过长的缺陷。CN103971095A公开了一种基于多尺度LBP和稀疏编码的人脸表情识别方法，该方法需要大量的样本进行训练，因而存在方法操作复杂可实施性差的缺陷。CN105005765A公开了一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法，该方法提取的两种特征都属于纹理特征，存在着特征冗余导致计算复杂度高并且对光照的影响敏感的缺陷。CN105844221A公开了一种加入特征点检测的人脸表情识别方法，该方法采用规则的矩形分块不能很好地将不规则的人脸五官划分出来，因而存在对局部信息利用不充分而导致识别率低下的缺陷。CN105913053A公开了一种基于稀疏融合的单演多特征的人脸表情识别方法，该方法存在仅使用单演特征而使得方法对光照环境变化敏感的缺陷。
总之，现有的人脸表情识别方法存在对光照噪声的干扰鲁棒性差，对局部信息的提取不充分，计算复杂，导致人脸表情识别率低并且计算时间过长的缺陷。因此有必要提出一种新的人脸表情自动识别方法技术方案，克服上述现有技术存在的缺陷。
发明内容
本发明所要解决的技术问题是：提供人脸表情自动识别方法，是一种基于人脸特征部位不规则分块和多特征融合的人脸表情自动识别方法，本发明方法克服了现有的人脸表情识别方法存在对光照噪声的干扰鲁棒性差，对局部信息的提取不充分，计算复杂，导致人脸表情识别率低并且计算时间过长的缺陷。
本发明解决该技术问题所采用的技术方案是：人脸表情自动识别方法，是一种基于人脸特征部位不规则分块和多特征融合的人脸表情自动识别方法，具体步骤如下：
第一步，人脸表情图像预处理：
采用如下的公式(1)，将从计算机USB接口采集的人脸表情图像由RGB空间转化到灰度空间，然后对图像进行尺寸归一化，得到人脸表情灰度图像Igray，
Igray＝0.299R+0.587G+0.114B (1)，
公式(1)中，R、G和B分别为红色、绿色和蓝色通道的分量，
由此完成人脸表情图像预处理；
第二步，对人脸表情图像的关键特征点进行自动定位标记：
用AAM算法对上述第一步得到的人脸表情灰度图像Igray的特征点进行自动定位标记，根据人脸不同部位的特征，依次得到六十八个人脸关键特征点的标记坐标，形成坐标集如下公式(2)所示：
L＝{sl|l＝1,2,...,k；sl＝(xl,yl)} (2)，
公式(2)中，L为所有标记点的集合，sl为每个标记的人脸关键特征点，k为标记的人脸关键特征点的个数，k＝68，xl为标记的人脸关键特征点的横坐标，yl为标记的人脸关键特征点的纵坐标，各个标记的人脸关键特征点的含义及定位标记如下：
对人脸面部轮廓定位标记，得到编号为0～16的十七个标记的人脸关键特征点标记坐标；对人脸眉毛的位置以及弧度进行定位标记，得到编号为17～26的十个标记的人脸关键特征点标记坐标，其中编号17～21的五个标记的人脸关键特征点标记坐标定位左眼眉毛，编号22～26的五个标记的人脸关键特征点标记坐标定位右眼眉毛；对人脸鼻子的位置和轮廓进行定位标记，得到编号为27～35的九个标记的人脸关键特征点标记坐标；对人脸眼睛的位置和轮廓进行定位标记，得到编号为36～47的十二个标记的人脸关键特征点标记坐标，其中编号36～41的六个标记的人脸关键特征点标记坐标是对左眼进行定位，编号42～47的六个标记的人脸关键特征点标记坐标是对右眼进行定位；最后对人脸嘴部的位置和轮廓进行定位标记，得到编号为48～67的二十个标记的人脸关键特征点标记坐标，
由此完成对人脸表情图像的关键特征点进行自动定位标记；
第三步，将人脸表情图像的关键特征点形成特征块：
根据上述第二步得到的68个人脸表情图像的关键特征点的标记坐标，将人脸表情图像的人脸各部位的关键特征点按照人脸各部位的形状进行连线，形成十五个封闭的不规则的多边形特征块如下公式(3)所示：
Q＝{ct|t＝1,2,...,n} (3)，
公式(3)中，Q为十五个封闭的不规则的多边形特征块的集合，ct为各单个不规则的多边形特征块，n为不规则的多边形特征块的个数，n＝15，
由此完成将人脸表情图像的关键特征点形成特征块；
第四步，获得各个不规则的多边形特征块的PD-LDN特征直方图：
利用PD-LDN算子提取上述第三步中的各个不规则的多边形特征块的PD-LDN特征直方图，具体步骤如下：
第4.1步，计算边缘响应值：
将上述第三步中的单个不规则的多边形特征块中的每一个像素点置于3×3的邻域G的中心处，邻域G如下公式(4)所示：
公式(4)中，g0、g1、g2、g3、g4、g5、g6、g7分别为邻域G内8个位置上的像素值，g8为邻域G的中心像素值；
然后将邻域G和四个方向的Robinson算子计算卷积{M0,M1,M2,M3}，其计算公式(5)如下：
公式(5)中，M0、M1、M2、M3分别为Robinson算子在东、东北、北和西北四个方向上的模板矩阵，
由如下公式(6)得出上述四个方向的边缘响应值{R0,R1,R2,R3}，
Ri＝Mi*G,0≤i≤3 (6)，
公式(6)中，Mi为Robinson算子的模板矩阵，G为3×3的邻域，Ri为边缘响应值，i为方向编号，Ri是由Mi和G经过卷积计算得到；
第4.2步，计算两个方向编码值：
根据上述第4.1步计算出的边缘响应值，取其绝对值最大的两个方向作为编码方向，得到两个方向编码值d1和d2，如下公式(7)所示：
公式(7)中，Ri为上述第4.1步中得到的边缘响应值，i为方向编号，j为对边缘响应绝对值进行降序排序得到的顺序编号，取边缘响应绝对值最大的两个方向，故此处j的值取1和2；
由算子对上述第4.1步计算出的边缘响应绝对值进行降序排序，得到d1和d2两个方向编码值；
第4.3步，计算阈值：
通过阈值自适应的方式计算出上述第4.1步中的3×3的邻域G内的阈值δ，计算步骤如下公式(8)-(11)所示：
先计算上述第4.1步中的3×3的邻域G内的像素均值
公式(8)中，gv为邻域G内各像素点的像素值，T为邻域G内的像素点个数，此处T的值为9，v为邻域G内像素点的下标；
再将该邻域内的各个像素值分别和均值相减，得到对比度值Δgv：
公式(9)中，gv为邻域G内各像素点的像素值，T为邻域G内的像素点个数，此处T的值为9，为由公式(8)计算得到的邻域G内的像素均值，v为邻域G内像素点的下标；
然后统计该邻域对比度值，求其均值
公式(10)中，为邻域G对比度的均值，Δgv为由公式(9)计算得到的对比度值，T为邻域G内的像素点个数，此处T的值为9，v为邻域G内像素点的下标；
最后根据对比度值及其均值，计算阈值δ：
公式(11)中，Δgv为由公式(9)计算得到的对比度值，为由公式(10)计算得出的邻域G对比度的均值，T为邻域G内像素点的总个数，此处T的值为9，v为邻域G内像素点的下标；
第4.4步，计算二值模式：
通过上述第4.3步计算得到的阈值，将上述第4.2步中的d1和d2两个编码方向上的像素值进行二值化计算，得出两个二值模式b1和b2，计算公式如下公式(12)所示：
公式(12)中，d1和d2为上述第4.2步中的两个方向编码值，gd1为邻域G内d1位置上的像素值，gd2为邻域G内d2位置上的像素值，b1和b2分别为gd1和gd2的二值模式，g8是邻域G的中心像素值，δ为上述第4.3步计算得到的阈值；
第4.5步，计算PD-LDN编码值进而获得PD-LDN特征直方图：
把上述第4.2步计算得到的两个方向编码值d1和d2和上述第4.4步中的两个二值模式b1和b2进行组合，采用公式(13)转换为十进制数得到该窗口中心像素点的PD-LDN编码值，计算公式(13)如下：
CV＝16d1+8b1+2d2+b2 (13)，
公式(13)中，CV为PD-LDN编码值，d1和d2为上述第4.2步计算得到的两个方向编码值，b1和b2为上述第4.4步中的两个二值模式，
最后通过对PD-LDN编码值进行统计获得PD-LDN特征直方图；
第五步，获得各个不规则的多边形特征块的七阶矩特征：
提取上述第三步中的十五个不规则的多边形特征块的七阶矩特征，具体步骤如下：
第5.1步，计算几何矩
计算上述第三步中的十五个不规则的多边形特征块中每个特征块的0阶几何矩和1阶几何矩，m00，m01和m10，其中，m00为0阶几何矩，m01和m10为1阶几何矩，计算公式如下公式(14)所示，
公式(14)中，mpq为每个特征块的几何矩，x和y分别为每个不规则特征块内像素点的横坐标和纵坐标，p和q分别为每个不规则特征块内像素点横坐标和纵坐标的阶次，Z和N分别表示每个不规则特征块形成的像素矩阵的行数和列数，f(x,y)为不规则特征块内(x,y)点的像素值；
第5.2步，计算质心坐标
根据上述第5.1步计算出来的0阶和1阶几何矩，计算上述第三步中的十五个不规则的多边形特征块中每个不规则特征块的质心坐标，计算公式如下公式(15)所示，
公式(15)中，和分别为质心的横坐标和纵坐标，m00为上述第5.1步中的0阶几何矩，m01和m10为上述第5.1步中的1阶几何矩；
第5.3步，计算中心矩：
计算上述第三步中的十五个不规则的多边形特征块中每个不规则特征块的0～3阶中心矩，即μ00，μ01，μ10，μ11，μ02，μ20，μ03和μ30，计算公式如下公式(16)所示，
公式(16)中，μab表示每个不规则特征块的中心矩，x和y分别为每个不规则特征块内像素点的横坐标和纵坐标，a和b分别为每个不规则特征块内像素点横坐标和纵坐标的阶次，R和W分别表示每个不规则特征块形成的像素矩阵的行数和列数，f(x,y)为不规则特征块内(x,y)点的像素值；
第5.4步，计算规格化中心矩
将上述第5.3步中得到的中心矩μab进行规格化，计算出上述第三步中的十五个不规则的多边形特征块中每个不规则特征块的2阶和3阶规格化中心矩，计算公式如下公式(17)所示：
公式(17)中，ηαβ为上述第三步中的十五个不规则的多边形特征块中每个不规则特征块的规格化中心矩，α和β分别为每个不规则特征块内像素点横坐标和纵坐标的阶次，μαβ为上述第5.3步中的中心矩，γ为中心矩的阶次；
第5.5步，计算七阶矩
根据上述第5.4步中得到的上述第三步中的十五个不规则的多边形特征块中每个不规则特征块的2阶和3阶规格化中心矩，计算出七个不变矩，即七阶矩，计算公式如下(18)-(24)所示，
Φ1＝η20+η02 (18)，
Φ3＝(η20-3η12)2+3(η21-η03)2 (20)，
Φ4＝(η30+η12)2+(η21+η03)2 (21)，
Φ6＝(η20-η02)[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03) (23)，
公式(18)-(24)中，Φ1，Φ2，Φ3，Φ4，Φ5，Φ6，Φ7为上述第三步中的十五个不规则的多边形特征块中每个特征块的七个不变矩，η20、η02、η11为上述第5.4步中计算得到的2阶规格化中心矩，η12、η21、η30、η03为上述第5.4步中计算得到的3阶规格化中心矩；
由此最终得到上述第三步中的十五个不规则的多边形特征块的七阶矩特征，完成获得各个不规则的多边形特征块的七阶矩特征；
第六步，将PD-LDN特征直方图和七阶矩特征融合起来，得到融合的人脸表情特征数据：
将上述第四步中各个不规则的多边形特征块的PD-LDN特征直方图和上述第五步中的各个不规则的多边形特征块的七阶矩特征融合起来，得到融合的人脸表情特征数据，具体地说是将上述第四步中通过对PD-LDN编码值进行统计获得的所有PD-LDN特征直方图串联，形成整张人脸表情图像的PD-LDN直方图；将上述第五步获得的所有各个不规则的多边形特征块的七阶矩特征串联起来，形成整张人脸表情图像的七阶矩特征，最后将整张人脸表情图像的PD-LDN直方图和整张人脸表情图像的七阶矩特征融合起来，得到融合的人脸表情特征数据；
第七步，采用SVM分类器进行人脸表情的训练和预测，实现人脸表情自动识别：
将上述第一步中的全部人脸表情图像分为训练集和测试集两个部分，将这两部分分别按照上述第一步到第六步的顺序处理后，得到训练集和测试集的人脸表情特征值，将训练集的人脸表情特征输入到分类器中进行训练得到SVM分类器的支持向量，再将测试集人脸表情图像的特征和训练好的SVM分类器的支持向量送入到SVM分类器中进行预测，SVM分类器采用自定义核函数，利用交叉验证选择最佳参数，拉格朗日因子c＝600，g＝1.7，实现人脸表情自动识别。
上述人脸表情自动识别方法，其中所述PD-LDN算子的英文为pixel difference-local directional number pattern，中文意为像素差局部方向数值模式。
上述人脸表情自动识别方法，其中所述AAM算法，LBP算法，七阶矩算法，SVM分类器都是本领域公知的。
本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：
(1)本发明方法将人脸表情图像的关键特征点形成特征块，利用所提出的PD-LDN算子提取上述第三步中的各个不规则的多边形特征块的PD-LDN特征直方图，然后提取各个不规则的多边形特征块的七阶矩特征，进而将PD-LDN直方图和七阶矩特征融合起来，得到融合的人脸表情特征数据。基于人脸表情图像特征部位的不规则特征块，能够针对人脸五官的形状进行局部信息提取，纹理特征和几何特征融合的方法提高了特征的鲁棒性，方法的低维度特征降低了整个计算的复杂度。与现有的局部方向数值模式(以下简称LDN)算子相比，本发明的PD-LDN算子采用对称的Robinson算子进行卷积计算，只需进行四个方向的计算即可求出边缘响应值，比传统LDN算法计算8个方向的边缘响应值降低了计算复杂度，节省了计算时间。
(2)本发明采用基于人脸特征部位的不规则分块，不仅能够将人脸五官图像区域更好的提取出来，还能够把人脸五官的形状变化反映出来，所以较传统的网格分块更能充分提取人脸表情的局部信息，因此能更好的对不同的面部表情加以区分，提高了人脸表情的自动识别率。
(3)本发明提出的PD-LDN算子还将中心像素点的灰度值和最大响应方向的灰度值差异信息作为特征，并且采用了阈值自适应的方式进行二值化计算，充分利用局部信息，比现有的LDN算子更具鲁棒性。
(4)本发明方法融合了人脸表情图像的纹理特征和几何特征，使得表情特征的辨识度更高，并且受其它因素的干扰更小。本方法克服了现有的人脸表情识别方法存在对光照噪声的干扰鲁棒性差，对局部信息的提取不充分，计算复杂，导致人脸表情识别率低并且计算时间长的缺陷。
(5)本发明与CN105844221A相比：CN105844221A中通过对面部关键点定位，然后使用规则的矩形对人脸表情图像进行子块提取，而本发明使用的是能够更好贴合人脸五官形状的不规则分块，能将人脸五官的特征提取的更加完整，对局部信息利用更加充分；在特征提取方面，CN105844221A使用的是LBP特征，LBP特征抗噪能力差，而本发明提出的PD-LDN特征能够对局部的信息进行细致的提取，并且对光照噪声不敏感，所以对人脸表情的识别效果好。本发明的显著进步是采用符合五官外形的不规则分块充分利用了局部信息，提取的特征抗噪能力强，所以识别率高。
(6)本发明与CN107045621A相比：CN107045621A中提取特征使用的是LBP算子，所以提取的特征辨识度低，抗噪能力差，本发明提出的PD-LDN算子，使用Robinson算子对局部邻域像素块进行卷积计算，得到边缘响应值，选取边缘响应值中绝对值最大的方向进行像素值的二值化计算，在二值化的过程中采用了阈值自适应的方式，因此本方法不仅提取到局部邻域的方向信息，还获得了邻域内像素的灰度值与中心像素的灰度值差异信息，使得对局部特征的提取更加完整，对局部信息的利用更加全面，提取的特征有更强的抗噪能力，所以识别率更高。本发明的显著进步是使用PD-LDN算子对局部信息进行更好地提取，对光照噪声的鲁棒性更强，所以识别率更高。
(7)本发明与CN103971095A相比：CN103971095A中首先需要建立大规模的人脸表情数据库，然后对这些表情图像提取多尺度LBP特征，数量庞大的数据库不仅给方法实施带来了难度，还给方法的训练和识别过程增加了时间消耗，并且多尺度LBP特征维度高，而且对光照噪声敏感，所以此方法识别率低，计算复杂度高，耗时太长。本发明提出的PD-LDN算子比CN103971095A中使用的LBP算子有更好的鲁棒性和抗干扰性，不仅提高了识别率，而且由于特征维度低，所以计算时间短，并且CN103971095A需要建立大规模的人脸表情数据库，增加了方法实施的难度，而本发明仅需少量样本即可，实施方法简便，所以在表情识别准确率和实施难度方面，本发明有一定的优势。本发明的显著进步是不需要大量的人脸表情图像样本所以方法操作简便，可实施性好，训练和识别速度快。
(8)本发明与CN105005765A相比：CN105005765A中使用的特征是Gabor特征和灰度共生矩阵，这两种特征都对光照敏感，所以这种方法抗干扰能力差，而本发明方法提出的PD-LDN特征，对光照噪声具有鲁棒性，并且七阶矩几何特征能将人脸五官的外形和大小变化更好的表现出来，最后将纹理和几何特征进行融合，所以本发明方法能取得更高的识别率并且有抗干扰能力。CN105005765A提取的两种特征属于纹理特征，造成了特征冗余，本发明的显著进步是提取了纹理和几何两种不同的种类的特征，使得特征对光照影响有鲁棒性。
(9)本发明与CN106599854A相比：CN106599854A中人脸图像特征提取的区域为规则的矩形，造成了局部信息的损失，并且在多尺度空间进行特征提取，使得特征维度变高，而本发明采用的是符合人脸五官形状的不规则分块，完整地提取局部信息，本发明提出的PD-LDN算子提取的纹理特征辨识度高，并且结合低维度的七阶矩几何特征，使得本发明的方法在保持高识别率的同时，特征维度小，耗时少。CN106599854A提取了多尺度的特征，而本发明仅需在单尺度空间中进行特征提取，所以特征维度小，操作简便。
(10)本发明与CN105913053A相比：CN105913053A中采用均匀分块对人脸表情图像进行分割，对人脸表情图像的信息造成了损失，CN105913053A提取的多尺度特征，使得特征维度变高，所以计算时间长。本发明的PD-LDN算法提取的特征辨识度高，并且特征维度小，加上基于五官形状的不规则分块和低维度七阶矩几何特征，使得本发明提取的特征鲁棒性强，所以识别率高。CN105913053A仅提取了单演特征，因而对光照噪声的干扰敏感，本发明将纹理和几何特征进行了融合，所以抗干扰性强，对环境的变化敏感度小。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明方法的流程示意图。
图2是本发明方法中人脸表情图像特征点标记的示意图。
图3是本发明方法中人脸表情图像特征部位分块的示意图。
图4为本发明方法中人脸表情图像纹理特征和几何特征提取并融合的过程示意图。
具体实施方式
图1所示实施例表明，本发明方法的流程为：人脸表情图像预处理→对人脸表情图像的关键特征点进行自动定位标记→将人脸表情图像的关键特征点形成特征块→获得各个不规则的多边形特征块的PD-LDN特征直方图；获得各个不规则的多边形特征块的七阶矩特征→将PD-LDN特征直方图和七阶矩特征融合起来，得到融合的人脸表情特征数据→采用SVM分类器进行人脸表情的训练和预测，实现人脸表情自动识别。
图2所示实施例表明，用AAM算法对人脸进行特征点标定，共标记了68个特征点，具体分布为：脸部轮廓用七个标记点进行标记，眼眉用10个标记点进行标记，眼睛用12个标记点进行标记，鼻子用9个标记点进行标记，嘴部用20个标记点进行标记。标记点详细位置如图2所示。
图3所示实施例表明，本发明采用人脸表情图像特征部位分块的方式，将人脸表情图像分割为十五个不规则的多边形特征块。
图4所示实施例表明，本发明方法采用特征融合方法，在将人脸表情图像进行特征部位分块之后，对每个小块分别提取PD-LDN特征直方图和七阶矩特征，最后将PD-LDN特征直方图和七阶矩特征串联起来，组成融合的人脸表情特征。
实施例1
本实施例是一种基于人脸特征部位不规则分块和多特征融合的人脸表情自动识别方法，具体步骤如下：
第一步，人脸表情图像预处理：
采用如下的公式(1)，将从计算机USB接口采集的人脸表情图像由RGB空间转化到灰度空间，然后对图像进行尺寸归一化，得到人脸表情灰度图像Igray，
Igray＝0.299R+0.587G+0.114B (1)，
公式(1)中，R、G和B分别为红色、绿色和蓝色通道的分量，
由此完成人脸表情图像预处理；
第二步，对人脸表情图像的关键特征点进行自动定位标记：
用AAM算法对上述第一步得到的人脸表情灰度图像Igray的特征点进行自动定位标记，根据人脸不同部位的特征，依次得到六十八个人脸关键特征点的标记坐标，形成坐标集如下公式(2)所示：
L＝{sl|l＝1,2,...,k；sl＝(xl,yl)} (2)，
公式(2)中，L为所有标记点的集合，sl为每个标记的人脸关键特征点，k为标记的人脸关键特征点的个数，k＝68，xl为标记的人脸关键特征点的横坐标，yl为标记的人脸关键特征点的纵坐标，各个标记的人脸关键特征点的含义及定位标记如下：
对人脸面部轮廓定位标记，得到编号为0～16的十七个标记的人脸关键特征点标记坐标；对人脸眉毛的位置以及弧度进行定位标记，得到编号为17～26的十个标记的人脸关键特征点标记坐标，其中编号17～21的五个标记的人脸关键特征点标记坐标定位左眼眉毛，编号22～26的五个标记的人脸关键特征点标记坐标定位右眼眉毛；对人脸鼻子的位置和轮廓进行定位标记，得到编号为27～35的九个标记的人脸关键特征点标记坐标；对人脸眼睛的位置和轮廓进行定位标记，得到编号为36～47的十二个标记的人脸关键特征点标记坐标，其中编号36～41的六个标记的人脸关键特征点标记坐标是对左眼进行定位，编号42～47的六个标记的人脸关键特征点标记坐标是对右眼进行定位；最后对人脸嘴部的位置和轮廓进行定位标记，得到编号为48～67的二十个标记的人脸关键特征点标记坐标，
由此完成对人脸表情图像的关键特征点进行自动定位标记；
第三步，将人脸表情图像的关键特征点形成特征块：
根据上述第二步得到的68个人脸表情图像的关键特征点的标记坐标，将人脸表情图像的人脸各部位的关键特征点按照人脸各部位的形状进行连线，形成十五个封闭的不规则的多边形特征块如下公式(3)所示：
Q＝{ct|t＝1,2,...,n} (3)，
公式(3)中，Q为十五个封闭的不规则的多边形特征块的集合，ct为各单个不规则的多边形特征块，n为不规则的多边形特征块的个数，n＝15，
由此完成将人脸表情图像的关键特征点形成特征块；
第四步，获得各个不规则的多边形特征块的PD-LDN特征直方图：
利用PD-LDN算子提取上述第三步中的各个不规则的多边形特征块的PD-LDN特征直方图，具体步骤如下：
第4.1步，计算边缘响应值：
将上述第三步中的单个不规则的多边形特征块中的每一个像素点置于3×3的邻域G的中心处，邻域G如下公式(4)所示：
公式(4)中，g0、g1、g2、g3、g4、g5、g6、g7分别为邻域G内8个位置上的像素值，g8为邻域G的中心像素值；
然后将邻域G和四个方向的Robinson算子计算卷积{M0,M1,M2,M3}，其计算公式(5)如下：
公式(5)中，M0、M1、M2、M3分别为Robinson算子在东、东北、北和西北四个方向上的模板矩阵，
由如下公式(6)得出上述四个方向的边缘响应值{R0,R1,R2,R3}，
Ri＝Mi*G,0≤i≤3 (6)，
公式(6)中，Mi为Robinson算子的模板矩阵，G为3×3的邻域，Ri为边缘响应值，i为方向编号，Ri是由Mi和G经过卷积计算得到；
第4.2步，计算两个方向编码值：
根据上述第4.1步计算出的边缘响应值，取其绝对值最大的两个方向作为编码方向，得到两个方向编码值d1和d2，如下公式(7)所示：
公式(7)中，Ri为上述第4.1步中得到的边缘响应值，i为方向编号，j为对边缘响应绝对值进行降序排序得到的顺序编号，取边缘响应绝对值最大的两个方向，故此处j的值取1和2；
由算子对上述第4.1步计算出的边缘响应绝对值进行降序排序，得到d1和d2两个方向编码值；
第4.3步，计算阈值：
通过阈值自适应的方式计算出上述第4.1步中的3×3的邻域G内的阈值δ，计算步骤如下公式(8)-(11)所示：
先计算上述第4.1步中的3×3的邻域G内的像素均值
公式(8)中，gv为邻域G内各像素点的像素值，T为邻域G内的像素点个数，此处T的值为9，v为邻域G内像素点的下标；
再将该邻域内的各个像素值分别和均值相减，得到对比度值Δgv：
公式(9)中，gv为邻域G内各像素点的像素值，T为邻域G内的像素点个数，此处T的值为9，为由公式(8)计算得到的邻域G内的像素均值，v为邻域G内像素点的下标；
然后统计该邻域对比度值，求其均值
公式(10)中，为邻域G对比度的均值，Δgv为由公式(9)计算得到的对比度值，T为邻域G内的像素点个数，此处T的值为9，v为邻域G内像素点的下标；
最后根据对比度值及其均值，计算阈值δ：
公式(11)中，Δgv为由公式(9)计算得到的对比度值，为由公式(10)计算得出的邻域G对比度的均值，T为邻域G内像素点的总个数，此处T的值为9，v为邻域G内像素点的下标；
第4.4步，计算二值模式：
通过上述第4.3步计算得到的阈值，将上述第4.2步中的d1和d2两个编码方向上的像素值进行二值化计算，得出两个二值模式b1和b2，计算公式如下公式(12)所示：
公式(12)中，d1和d2为上述第4.2步中的两个方向编码值，gd1为邻域G内d1位置上的像素值，gd2为邻域G内d2位置上的像素值，b1和b2分别为gd1和gd2的二值模式，g8是邻域G的中心像素值，δ为上述第4.3步计算得到的阈值；
第4.5步，计算PD-LDN编码值进而获得PD-LDN特征直方图：
把上述第4.2步计算得到的两个方向编码值d1和d2和上述第4.4步中的两个二值模式b1和b2进行组合，采用公式(13)转换为十进制数得到该窗口中心像素点的PD-LDN编码值，计算公式(13)如下：
CV＝16d1+8b1+2d2+b2 (13)，
公式(13)中，CV为PD-LDN编码值，d1和d2为上述第4.2步计算得到的两个方向编码值，b1和b2为上述第4.4步中的两个二值模式，
最后通过对PD-LDN编码值进行统计获得PD-LDN特征直方图；
第五步，获得各个不规则的多边形特征块的七阶矩特征：
提取上述第三步中的十五个不规则的多边形特征块的七阶矩特征，具体步骤如下：
第5.1步，计算几何矩
计算上述第三步中的十五个不规则的多边形特征块中每个特征块的0阶几何矩和1阶几何矩，m00，m01和m10，其中，m00为0阶几何矩，m01和m10为1阶几何矩，计算公式如下公式(14)所示，
公式(14)中，mpq为每个特征块的几何矩，x和y分别为每个不规则特征块内像素点的横坐标和纵坐标，p和q分别为每个不规则特征块内像素点横坐标和纵坐标的阶次，Z和N分别表示每个不规则特征块形成的像素矩阵的行数和列数，f(x,y)为不规则特征块内(x,y)点的像素值；
第5.2步，计算质心坐标
根据上述第5.1步计算出来的0阶和1阶几何矩，计算上述第三步中的十五个不规则的多边形特征块中每个不规则特征块的质心坐标，计算公式如下公式(15)所示，
公式(15)中，和分别为质心的横坐标和纵坐标，m00为上述第5.1步中的0阶几何矩，m01和m10为上述第5.1步中的1阶几何矩；
第5.3步，计算中心矩：
计算上述第三步中的十五个不规则的多边形特征块中每个不规则特征块的0～3阶中心矩，即μ00，μ01，μ10，μ11，μ02，μ20，μ03和μ30，计算公式如下公式(16)所示，
公式(16)中，μab表示每个不规则特征块的中心矩，x和y分别为每个不规则特征块内像素点的横坐标和纵坐标，a和b分别为每个不规则特征块内像素点横坐标和纵坐标的阶次，R和W分别表示每个不规则特征块形成的像素矩阵的行数和列数，f(x,y)为不规则特征块内(x,y)点的像素值；
第5.4步，计算规格化中心矩
将上述第5.3步中得到的中心矩μab进行规格化，计算出上述第三步中的十五个不规则的多边形特征块中每个不规则特征块的2阶和3阶规格化中心矩，计算公式如下公式(17)所示：
公式(17)中，ηαβ为上述第三步中的十五个不规则的多边形特征块中每个不规则特征块的规格化中心矩，α和β分别为每个不规则特征块内像素点横坐标和纵坐标的阶次，μαβ为上述第5.3步中的中心矩，γ为中心矩的阶次；
第5.5步，计算七阶矩
根据上述第5.4步中得到的上述第三步中的十五个不规则的多边形特征块中每个不规则特征块的2阶和3阶规格化中心矩，计算出七个不变矩，即七阶矩，计算公式如下(18)-(24)所示，
Φ1＝η20+η02 (18)，
Φ3＝(η20-3η12)2+3(η21-η03)2 (20)，
Φ4＝(η30+η12)2+(η21+η03)2 (21)，
Φ6＝(η20-η02)[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03) (23)，
公式(18)-(24)中，Φ1，Φ2，Φ3，Φ4，Φ5，Φ6，Φ7为上述第三步中的十五个不规则的多边形特征块中每个特征块的七个不变矩，η20、η02、η11为上述第5.4步中计算得到的2阶规格化中心矩，η12、η21、η30、η03为上述第5.4步中计算得到的3阶规格化中心矩；
由此最终得到上述第三步中的十五个不规则的多边形特征块的七阶矩特征，完成获得各个不规则的多边形特征块的七阶矩特征；
第六步，将PD-LDN特征直方图和七阶矩特征融合起来，得到融合的人脸表情特征数据：
将上述第四步中各个不规则的多边形特征块的PD-LDN特征直方图和上述第五步中的各个不规则的多边形特征块的七阶矩特征融合起来，得到融合的人脸表情特征数据，具体地说是将上述第四步中通过对PD-LDN编码值进行统计获得的所有PD-LDN特征直方图串联，形成整张人脸表情图像的PD-LDN直方图；将上述第五步获得的所有各个不规则的多边形特征块的七阶矩特征串联起来，形成整张人脸表情图像的七阶矩特征，最后将整张人脸表情图像的PD-LDN直方图和整张人脸表情图像的七阶矩特征融合起来，得到融合的人脸表情特征数据；
第七步，采用SVM分类器进行人脸表情的训练和预测，实现人脸表情自动识别：
将上述第一步中的全部人脸表情图像分为训练集和测试集两个部分，将这两部分分别按照上述第一步到第六步的顺序处理后，得到训练集和测试集的人脸表情特征值，将训练集的人脸表情特征输入到分类器中进行训练得到SVM分类器的支持向量，再将测试集人脸表情图像的特征和训练好的SVM分类器的支持向量送入到SVM分类器中进行预测，SVM分类器采用自定义核函数，利用交叉验证选择最佳参数，拉格朗日因子c＝600，g＝1.7，实现人脸表情自动识别。
实施例2
本实施例是对本发明所采用的一种基于人脸特征部位不规则分块和多特征融合的人脸表情自动识别方法所进行的实验验证。
本实施例在JAFFE人脸表情数据库和CK+人脸表情数据库上进行了实验。其中，JAFFE数据库共有213张人脸表情图像，由十个女性的七种人脸表情包括中性、高兴、悲伤、愤怒、惊奇、恐惧和厌恶所组成。选取JAFFE数据库中的137张人脸表情图像作为训练数据，其余的76张人脸表情图像用于测试。CK+人脸表情数据库包含了不同国家不同地区参与者123人，共593个人脸表情序列，每个人脸表情序列都是从中性人脸表情开始，以人脸表情的峰值帧结束。选取CK+数据库中每个人脸表情序列的峰值帧共1716张人脸表情图像作为实验数据，选取862张人脸表情图像作为训练数据，854张人脸表情图像作为测试数据。本实验在Windows7环境下的MATLAB R2016a平台上进行。本实施例在JAFFE数据库和CK+数据库上实验的准确率分别为98.68％和97.16％。表1和表2分别列出了本实施例中的不同人脸表情自动识别方法在两个数据库中的识别率。
表1 JAFFE和CK+数据库中不同分块方式的测试结果
从表1可以看出，相比于现有的网格分块方法，本发明方法一种基于人脸特征部位不规则分块和多特征融合的人脸表情自动识别方法在识别率上有明显的优势。
表2不同的特征提取方法在JAFFE和CK+数据库上的测试结果
表2列出了本发明方法即该表中的人脸表情自动识别的“PD-LDN”特征提取方法与现有技术中的人脸表情自动识别的特征提取方法在人脸表情图像上的识别率，结果表明，本发明方法在JAFFE和CK+数据库中人脸表情识别率都高于其他几种方法，可见本发明方法在人脸表情自动识别上的效果显著。
上述实施例中所述PD-LDN算子的英文为pixel difference-local directionalnumber pattern，中文意为像素差局部方向数值模式；其中所述AAM算法，LBP算法，七阶矩算法，SVM分类器都是本领域公知的。
Claims (1)
1.人脸表情自动识别方法，其特征在于：是一种基于人脸特征部位不规则分块和多特征融合的人脸表情自动识别方法，具体步骤如下：
第一步，人脸表情图像预处理：
采用如下的公式(1)，将从计算机USB接口采集的人脸表情图像由RGB空间转化到灰度空间，然后对图像进行尺寸归一化，得到人脸表情灰度图像Igray，
Igray＝0.299R+0.587G+0.114B (1)，
公式(1)中，R、G和B分别为红色、绿色和蓝色通道的分量，
由此完成人脸表情图像预处理；
第二步，对人脸表情图像的关键特征点进行自动定位标记：
用AAM算法对上述第一步得到的人脸表情灰度图像Igray的特征点进行自动定位标记，根据人脸不同部位的特征，依次得到六十八个人脸关键特征点的标记坐标，形成坐标集如下公式(2)所示：
L＝{sl|l＝1,2,...,k；sl＝(xl,yl)} (2)，
公式(2)中，L为所有标记点的集合，sl为每个标记的人脸关键特征点，k为标记的人脸关键特征点的个数，k＝68，xl为标记的人脸关键特征点的横坐标，yl为标记的人脸关键特征点的纵坐标，各个标记的人脸关键特征点的含义及定位标记如下：
对人脸面部轮廓定位标记，得到编号为0～16的十七个标记的人脸关键特征点标记坐标；对人脸眉毛的位置以及弧度进行定位标记，得到编号为17～26的十个标记的人脸关键特征点标记坐标，其中编号17～21的五个标记的人脸关键特征点标记坐标定位左眼眉毛，编号22～26的五个标记的人脸关键特征点标记坐标定位右眼眉毛；对人脸鼻子的位置和轮廓进行定位标记，得到编号为27～35的九个标记的人脸关键特征点标记坐标；对人脸眼睛的位置和轮廓进行定位标记，得到编号为36～47的十二个标记的人脸关键特征点标记坐标，其中编号36～41的六个标记的人脸关键特征点标记坐标是对左眼进行定位，编号42～47的六个标记的人脸关键特征点标记坐标是对右眼进行定位；最后对人脸嘴部的位置和轮廓进行定位标记，得到编号为48～67的二十个标记的人脸关键特征点标记坐标，
由此完成对人脸表情图像的关键特征点进行自动定位标记；
第三步，将人脸表情图像的关键特征点形成特征块：
根据上述第二步得到的68个人脸表情图像的关键特征点的标记坐标，将人脸表情图像的人脸各部位的关键特征点按照人脸各部位的形状进行连线，形成十五个封闭的不规则的多边形特征块如下公式(3)所示：
Q＝{ct|t＝1,2,...,n} (3)，
公式(3)中，Q为十五个封闭的不规则的多边形特征块的集合，ct为各单个不规则的多边形特征块，n为不规则的多边形特征块的个数，n＝15，
由此完成将人脸表情图像的关键特征点形成特征块；
第四步，获得各个不规则的多边形特征块的PD-LDN特征直方图：
利用PD-LDN算子提取上述第三步中的各个不规则的多边形特征块的PD-LDN特征直方图，具体步骤如下：
第4.1步，计算边缘响应值：
将上述第三步中的单个不规则的多边形特征块中的每一个像素点置于3×3的邻域G的中心处，邻域G如下公式(4)所示：
公式(4)中，g0、g1、g2、g3、g4、g5、g6、g7分别为邻域G内8个位置上的像素值，g8为邻域G的中心像素值；
然后将邻域G和四个方向的Robinson算子计算卷积{M0,M1,M2,M3}，其计算公式(5)如下：
公式(5)中，M0、M1、M2、M3分别为Robinson算子在东、东北、北和西北四个方向上的模板矩阵，
由如下公式(6)得出上述四个方向的边缘响应值{R0,R1,R2,R3}，
Ri＝Mi*G,0≤i≤3 (6)，
公式(6)中，Mi为Robinson算子的模板矩阵，G为3×3的邻域，Ri为边缘响应值，i为方向编号，Ri是由Mi和G经过卷积计算得到；
第4.2步，计算两个方向编码值：
根据上述第4.1步计算出的边缘响应值，取其绝对值最大的两个方向作为编码方向，得到两个方向编码值d1和d2，如下公式(7)所示：
公式(7)中，Ri为上述第4.1步中得到的边缘响应值，i为方向编号，j为对边缘响应绝对值进行降序排序得到的顺序编号，取边缘响应绝对值最大的两个方向，故此处j的值取1和2；
由算子对上述第4.1步计算出的边缘响应绝对值值进行排序，得到d1和d2两个方向编码值；
第4.3步，计算阈值：
通过阈值自适应的方式计算出上述第4.1步中的3×3的邻域G内的阈值δ，计算步骤如下公式(8)-(11)所示：
先计算上述第4.1步中的3×3的邻域G内的像素均值
公式(8)中，gv为邻域G内各像素点的像素值，T为邻域G内的像素点个数，此处T的值为9，v为邻域G内像素点的下标；
再将该邻域内的各个像素值分别和均值相减，得到对比度值Δgv：
公式(9)中，gv为邻域G内各像素点的像素值，T为邻域G内的像素点个数，此处T的值为9，为由公式(8)计算得到的邻域G内的像素均值，v为邻域G内像素点的下标；
然后统计该邻域对比度值，求其均值
公式(10)中，为邻域G对比度的均值，Δgv为由公式(9)计算得到的对比度值，T为邻域G内的像素点个数，此处T的值为9，v为邻域G内像素点的下标；
最后根据对比度值及其均值，计算阈值δ：
公式(11)中，Δgv为由公式(9)计算得到的对比度值，为由公式(10)计算得出的邻域G对比度的均值，T为邻域G内像素点的总个数，此处T的值为9，v为邻域G内像素点的下标；
第4.4步，计算二值模式：
通过上述第4.3步计算得到的阈值，将上述第4.2步中的d1和d2两个编码方向上的像素值进行二值化计算，得出两个二值模式b1和b2，计算公式如下公式(12)所示：
公式(12)中，d1和d2为上述第4.2步中的两个方向编码值，为邻域G内d1位置上的像素值，为邻域G内d2位置上的像素值，b1和b2分别为和的二值模式，g8是邻域G的中心像素值，δ为上述第4.3步计算得到的阈值；
第4.5步，计算PD-LDN编码值进而获得PD-LDN特征直方图：
把上述第4.2步计算得到的两个方向编码值d1和d2和上述第4.4步中的两个二值模式b1和b2进行组合，采用公式(13)转换为十进制数得到该窗口中心像素点的PD-LDN编码值，计算公式(13)如下：
CV＝16d1+8b1+2d2+b2 (13)，
公式(13)中，CV为PD-LDN编码值，d1和d2为上述第4.2步计算得到的两个方向编码值，b1和b2为上述第4.4步中的两个二值模式，
最后通过对PD-LDN编码值进行统计获得PD-LDN特征直方图；
第五步，获得各个不规则的多边形特征块的七阶矩特征：
提取上述第三步中的十五个不规则的多边形特征块的七阶矩特征，具体步骤如下：
第5.1步，计算几何矩
计算上述第三步中的十五个不规则的多边形特征块中每个特征块的0阶几何矩和1阶几何矩，m00，m01和m10，其中，m00为0阶几何矩，m01和m10为1阶几何矩，计算公式如下公式(14)所示，
公式(14)中，mpq为每个特征块的几何矩，x和y分别为每个不规则特征块内像素点的横坐标和纵坐标，p和q分别为每个不规则特征块内像素点横坐标和纵坐标的阶次，Z和N分别表示每个不规则特征块形成的像素矩阵的行数和列数，f(x,y)为不规则特征块内(x,y)点的像素值；
第5.2步，计算质心坐标
根据上述第5.1步计算出来的0阶和1阶几何矩，计算上述第三步中的十五个不规则的多边形特征块中每个不规则特征块的质心坐标，计算公式如下公式(15)所示，
公式(15)中，和分别为质心的横坐标和纵坐标，m00为上述第5.1步中的0阶几何矩，m01和m10为上述第5.1步中的1阶几何矩；
第5.3步，计算中心矩：
计算上述第三步中的十五个不规则的多边形特征块中每个不规则特征块的0～3阶中心矩，即μ00，μ01，μ10，μ11，μ02，μ20，μ03和μ30，计算公式如下公式(16)所示，
公式(16)中，μab表示每个不规则特征块的中心矩，x和y分别为每个不规则特征块内像素点的横坐标和纵坐标，a和b分别为每个不规则特征块内像素点横坐标和纵坐标的阶次，R和W分别表示每个不规则特征块形成的像素矩阵的行数和列数，f(x,y)为不规则特征块内(x,y)点的像素值；
第5.4步，计算规格化中心矩
将上述第5.3步中得到的中心矩μab进行规格化，计算出上述第三步中的十五个不规则的多边形特征块中每个不规则特征块的2阶和3阶规格化中心矩，计算公式如下公式(17)所示：
公式(17)中，ηαβ为上述第三步中的十五个不规则的多边形特征块中每个不规则特征块的规格化中心矩，α和β分别为每个不规则特征块内像素点横坐标和纵坐标的阶次，μαβ为上述第5.3步中的中心矩，γ为中心矩的阶次；
第5.5步，计算七阶矩
根据上述第5.4步中得到的上述第三步中的十五个不规则的多边形特征块中每个不规则特征块的2阶和3阶规格化中心矩，计算出七个不变矩，即七阶矩，计算公式如下(18)-(24)所示，
Φ1＝η20+η02 (18)，
Φ3＝(η20-3η12)2+3(η21-η03)2 (20)，
Φ4＝(η30+η12)2+(η21+η03)2 (21)，
Φ6＝(η20-η02)[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03)(23)，
公式(18)-(24)中，Φ1，Φ2，Φ3，Φ4，Φ5，Φ6，Φ7为上述第三步中的十五个不规则的多边形特征块中每个特征块的七个不变矩，η20、η02、η11为上述第5.4步中计算得到的2阶规格化中心矩，η12、η21、η30、η03为上述第5.4步中计算得到的3阶规格化中心矩；
由此最终得到上述第三步中的十五个不规则的多边形特征块的七阶矩特征，完成获得各个不规则的多边形特征块的七阶矩特征；
第六步，将PD-LDN特征直方图和七阶矩特征融合起来，得到融合的人脸表情特征数据：
将上述第四步中各个不规则的多边形特征块的PD-LDN特征直方图和上述第五步中的各个不规则的多边形特征块的七阶矩特征融合起来，得到融合的人脸表情特征数据，具体地说是将上述第四步中通过对PD-LDN编码值进行统计获得的所有PD-LDN特征直方图串联，形成整张人脸表情图像的PD-LDN直方图；将上述第五步获得的所有各个不规则的多边形特征块的七阶矩特征串联起来，形成整张人脸表情图像的七阶矩特征，最后将整张人脸表情图像的PD-LDN直方图和整张人脸表情图像的七阶矩特征融合起来，得到融合的人脸表情特征数据；
第七步，采用SVM分类器进行人脸表情的训练和预测，实现人脸表情自动识别：
将上述第一步中的全部人脸表情图像分为训练集和测试集两个部分，将这两部分分别按照上述第一步到第六步的顺序处理后，得到训练集和测试集的人脸表情特征值，将训练集的人脸表情特征输入到分类器中进行训练得到SVM分类器的支持向量，再将测试集人脸表情图像的特征和训练好的SVM分类器的支持向量送入到SVM分类器中进行预测，SVM分类器采用自定义核函数，利用交叉验证选择最佳参数，拉格朗日因子c＝600，g＝1.7，实现人脸表情自动识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910000813.3A CN109711378B (zh) | 2019-01-02 | 2019-01-02 | 人脸表情自动识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910000813.3A CN109711378B (zh) | 2019-01-02 | 2019-01-02 | 人脸表情自动识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109711378A true CN109711378A (zh) | 2019-05-03 |
| CN109711378B CN109711378B (zh) | 2020-12-22 |
Family
ID=66259903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910000813.3A Expired - Fee Related CN109711378B (zh) | 2019-01-02 | 2019-01-02 | 人脸表情自动识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109711378B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310798A (zh) * | 2020-01-19 | 2020-06-19 | 浙江大学 | 基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法 |
| WO2020244434A1 (zh) * | 2019-06-03 | 2020-12-10 | 腾讯科技（深圳）有限公司 | 面部表情的识别方法、装置、电子设备及存储介质 |
| CN112396573A (zh) * | 2019-07-30 | 2021-02-23 | 纵横在线(广州)网络科技有限公司 | 基于图像识别的面部皮肤分析方法及系统 |
| CN112488211A (zh) * | 2020-12-03 | 2021-03-12 | 浙江理工大学 | 一种织物图像瑕疵分类方法 |
| CN112801002A (zh) * | 2021-02-05 | 2021-05-14 | 黑龙江迅锐科技有限公司 | 基于复杂场景下的人脸表情识别方法、装置及电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110170784A1 (en) * | 2008-06-10 | 2011-07-14 | Tokyo Institute Of Technology | Image registration processing apparatus, region expansion processing apparatus, and image quality improvement processing apparatus |
| CN102163283A (zh) * | 2011-05-25 | 2011-08-24 | 电子科技大学 | 一种基于局部三值模式的人脸特征提取方法 |
| CN103400105A (zh) * | 2013-06-26 | 2013-11-20 | 东南大学 | 基于姿态归一化的非正面人脸表情识别方法 |
| CN103942822A (zh) * | 2014-04-11 | 2014-07-23 | 浙江大学 | 一种基于单视频摄像机的面部特征点跟踪和人脸动画方法 |
| CN103984919A (zh) * | 2014-04-24 | 2014-08-13 | 上海优思通信科技有限公司 | 基于粗糙集与混合特征的人脸表情识别方法 |
| CN104376333A (zh) * | 2014-09-25 | 2015-02-25 | 电子科技大学 | 基于随机森林的人脸表情识别方法 |
| CN106127196A (zh) * | 2016-09-14 | 2016-11-16 | 河北工业大学 | 基于动态纹理特征的人脸表情的分类与识别方法 |
| CN107729835A (zh) * | 2017-10-10 | 2018-02-23 | 浙江大学 | 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法 |
-
2019
- 2019-01-02 CN CN201910000813.3A patent/CN109711378B/zh not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110170784A1 (en) * | 2008-06-10 | 2011-07-14 | Tokyo Institute Of Technology | Image registration processing apparatus, region expansion processing apparatus, and image quality improvement processing apparatus |
| CN102163283A (zh) * | 2011-05-25 | 2011-08-24 | 电子科技大学 | 一种基于局部三值模式的人脸特征提取方法 |
| CN103400105A (zh) * | 2013-06-26 | 2013-11-20 | 东南大学 | 基于姿态归一化的非正面人脸表情识别方法 |
| CN103942822A (zh) * | 2014-04-11 | 2014-07-23 | 浙江大学 | 一种基于单视频摄像机的面部特征点跟踪和人脸动画方法 |
| CN103984919A (zh) * | 2014-04-24 | 2014-08-13 | 上海优思通信科技有限公司 | 基于粗糙集与混合特征的人脸表情识别方法 |
| CN104376333A (zh) * | 2014-09-25 | 2015-02-25 | 电子科技大学 | 基于随机森林的人脸表情识别方法 |
| CN106127196A (zh) * | 2016-09-14 | 2016-11-16 | 河北工业大学 | 基于动态纹理特征的人脸表情的分类与识别方法 |
| CN107729835A (zh) * | 2017-10-10 | 2018-02-23 | 浙江大学 | 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| N.S. LAKSHMIPRABHA: "Face Image Analysis using AAM，Gabor，LBP and WD features for Gender，Age，Expression and Ethnicity Classification", 《ARXIV》 * |
| SUJONO等: "Face Expression Detection on Kinect using Active Appearance Model and Fuzzy Logic", 《SCIENCEDIRECT》 * |
| 李月龙等: "人脸特征点提取方法综述", 《计算机学报》 * |
| 王高峰: "基于AAM的人脸识别与表情分析", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020244434A1 (zh) * | 2019-06-03 | 2020-12-10 | 腾讯科技（深圳）有限公司 | 面部表情的识别方法、装置、电子设备及存储介质 |
| CN112396573A (zh) * | 2019-07-30 | 2021-02-23 | 纵横在线(广州)网络科技有限公司 | 基于图像识别的面部皮肤分析方法及系统 |
| CN111310798A (zh) * | 2020-01-19 | 2020-06-19 | 浙江大学 | 基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法 |
| CN111310798B (zh) * | 2020-01-19 | 2023-05-16 | 浙江大学 | 基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法 |
| CN112488211A (zh) * | 2020-12-03 | 2021-03-12 | 浙江理工大学 | 一种织物图像瑕疵分类方法 |
| CN112801002A (zh) * | 2021-02-05 | 2021-05-14 | 黑龙江迅锐科技有限公司 | 基于复杂场景下的人脸表情识别方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109711378B (zh) | 2020-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109711378A (zh) | 人脸表情自动识别方法 | |
| CN106023220B (zh) | 一种基于深度学习的车辆外观部件图像分割方法 | |
| CN106599854B (zh) | 基于多特征融合的人脸表情自动识别方法 | |
| CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
| CN108520216B (zh) | 一种基于步态图像的身份识别方法 | |
| CN105139004B (zh) | 基于视频序列的人脸表情识别方法 | |
| CN104392463B (zh) | 一种基于联合稀疏多尺度融合的图像显著区域检测方法 | |
| CN108229458A (zh) | 一种基于运动检测和多特征提取的火焰智能识别方法 | |
| CN104182763B (zh) | 一种基于花朵特征的植物种类识别系统 | |
| CN104850825A (zh) | 一种基于卷积神经网络的人脸图像颜值计算方法 | |
| CN109165674A (zh) | 一种基于多标签深度卷积网络的证件照分类方法 | |
| CN106250874A (zh) | 一种服饰及随身物品的识别方法和装置 | |
| CN105095880B (zh) | 一种基于lgbp编码的手指多模态特征融合方法 | |
| CN107066972B (zh) | 基于多通道极值区域的自然场景文本检测方法 | |
| CN108280397A (zh) | 基于深度卷积神经网络的人体图像头发检测方法 | |
| CN106529504B (zh) | 一种复合时空特征的双模态视频情感识别方法 | |
| CN106778474A (zh) | 3d人体识别方法及设备 | |
| CN109753950A (zh) | 动态人脸表情识别方法 | |
| CN109360170A (zh) | 基于高级特征的人脸修复方法 | |
| CN106897669A (zh) | 一种基于一致迭代多视角迁移学习的行人再辨识方法 | |
| CN108710916A (zh) | 图片分类的方法及装置 | |
| CN104778472B (zh) | 人脸表情特征提取方法 | |
| CN105117707A (zh) | 一种基于区域图像的人脸表情识别方法 | |
| CN109389033A (zh) | 一种新型的瞳孔快速定位方法 | |
| CN109635726A (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201222 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |