CN109948541A - 一种面部情感识别方法与系统 - Google Patents
一种面部情感识别方法与系统 Download PDFInfo
- Publication number
- CN109948541A CN109948541A CN201910210027.6A CN201910210027A CN109948541A CN 109948541 A CN109948541 A CN 109948541A CN 201910210027 A CN201910210027 A CN 201910210027A CN 109948541 A CN109948541 A CN 109948541A
- Authority
- CN
- China
- Prior art keywords
- image
- classifier
- expression
- human
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000001815 facial effect Effects 0.000 title claims abstract description 36
- 230000008909 emotion recognition Effects 0.000 title abstract description 3
- 230000008921 facial expression Effects 0.000 claims abstract description 60
- 238000010606 normalization Methods 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 210000001508 eye Anatomy 0.000 claims description 64
- 230000014509 gene expression Effects 0.000 claims description 50
- 238000003708 edge detection Methods 0.000 claims description 15
- 210000004709 eyebrow Anatomy 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 7
- 238000013461 design Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 210000000214 mouth Anatomy 0.000 claims 2
- 210000001331 nose Anatomy 0.000 claims 2
- 210000005252 bulbus oculi Anatomy 0.000 claims 1
- 238000012706 support-vector machine Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种面部表情识别方法与系统，其中该方法包括：首先对人脸图像进行预处理，包括图像归一化和灰度规范化。其次，使用混合改进的主动形状模型和主动表观模型实现表情特征提取；最后使用一对一组合的二叉树思想构建由多个SVM组成的面部情感识别分类器来对提取的面部表情特征进行分类。本发明方法使用混合改进的主动形状模型ASM和主动表观模型AAM实现表情特征提取，从而提高了面部表情识别的精度和效率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种面部表情识别方法与系统。
背景技术
人脸表情识别技术是计算机根据人类在情感方面的先验知识，通过情感计算判定人脸面部表情，分析人心理活动。与人脸识别技术一样，处理对象都是人脸图像，两者联系很紧密，表情变化对人脸识别影响很大。表情识别可分为读取图像、图像预处理、表情特征提取以及表情分类四个部分。其中，如何提高面部表情的识别速度和精度，是人脸表情识别技术研究需要不断突破的地方。
发明内容
本发明的目的在于提供一种识别速度和精度更优的面部表情识别方法与系统。
一种面部表情识别方法，包括以下步骤：
步骤1：对人脸图像进行预处理，完成图像的归一化；
步骤2：利用归一化后的图像进行表情特征提取，从而确定代表人脸表情特征的形状参数和表观参数；
步骤3：构造表情分类器；
步骤4：利用设计的分类器实现表情特征分类；
其特征在于，步骤2中表情特征提取的方法为：使用ASM模型利用二维局部灰度信息来定位人脸轮廓近而确定形状参数；利用独立的AAM算法对人脸眼睛、鼻子、嘴巴、眉毛定位来确定表观参数；
其中，ASM模型使用下面函数作为度量函数
其中为第x个特征点局部灰度信息区域第i行j列像素点的灰度值，为x特征点区域内像素点，它的局部灰度信息区域第i行j列像素点的灰度值。
进一步地，如上所述的面部表情识别方法，步骤3中所述构造分类器包括：表情分类器的初始化以及表情分类器的训练；
所述表情分类器的初始化包括利用所述形状参数对表情分类器进行初始化；
所述表情分类器的训练包括利用所述表观参数对表情分类器进行训练；
构造表情分类器采用SVM作为分类器，并将表情分类转化为二次规划问题，基于二叉树思想组合多个二类向量机实现多类分类器，实现对面部特征的分类。
进一步地，如上所述的面部表情识别方法，对于眼睛、眉毛周围特征点定位时，相似性度量函数如下：
其中g为第i个关键特征点的灰度值，gi为更新第i个关键点时的纹理向量，为训练集样本平均纹理向量，为协方差矩阵，g为第i个关键点更新位置的灰度值；
对于嘴巴和鼻子周围特征点定位时，相似性度量函数如下：
其中，e为第i个关键点的边缘信息。
进一步地，如上所述的面部表情识别方法，步骤1中对人脸图像进行预处理包括以下步骤：
(1)使用Canny算子对图像进行边缘检测；
(2)在边缘检测图像中进行人眼定位，定位的方法为：截取人脸边缘图像上半部分，从水平中间位置将其分为左右两部分，对左右眼边缘图像分别进行水平和垂直灰度投影，来确定人眼位置信息；
(3)用人眼位置信息对图像进行表情图像规范化；
在步骤(1)之前，先通过高斯平滑滤波器对图像噪声进行平滑，然后使用Canny算子对人脸图像进行边缘检测。
进一步地，如上所述的面部表情识别方法，所述步骤(3)包括：用人眼位置信息对图像进行角度和尺寸校正、再采用直方图均衡化的方法消除光照对表情图像带来的影响，最终实现表情图像规范化。
一种面部表情识别系统，包括：
预处理模块，用于对人脸图像进行预处理，完成图像的归一化；
特征提取模块，用于利用归一化后的图像进行表情特征提取，从而确定代表人脸表情特征的形状参数和表观参数；
分类器构造模块，用于构造表情分类器来对所述形状参数和表观参数进行分类；
输出模块，用于根据构造的分类器实现表情特征分类；
其特征在于，
所述特征提取模块包括：ASM模型单元和AAM算法单元；
所述ASM模型单元用于利用二维局部灰度信息来定位人脸轮廓近而确定形状参数；并且ASM模型使用下面函数作为度量函数
其中为第x个特征点局部灰度信息区域第i行j列像素点的灰度值，为x特征点区域内像素点，它的局部灰度信息区域第i行j列像素点的灰度值；
所述AAM算法单元包括4个独立的AAM算法单元，用于分别对人脸眼睛、鼻子、嘴巴、眉毛进行定位来确定表观参数。
进一步地，如上所述的面部表情识别系统，所述分类器构造模块包括：表情分类器初始化模块以及表情分类器训练模块；
所述表情分类器初始化模块用于利用所述形状参数对表情分类器进行初始化；
所述表情分类器训练用于利用所述表观参数对表情分类器进行训练。
进一步地，如上所述的面部表情识别系统，所述所述ASM模型单元对眼睛、眉毛周围特征点进行定位时，相似性度量函数如下：
其中g为第i个关键特征点的灰度值，gi为更新第i个关键点时的纹理向量，为训练集样本平均纹理向量，为协方差矩阵，g为第i个关键点更新位置的灰度值；
对于嘴巴和鼻子周围特征点定位时，相似性度量函数如下：
其中，e为第i个关键点的边缘信息。
进一步地，如上所述的面部表情识别系统，所述预处理模块包括：高斯平滑滤波器、边缘检测单元、人眼定位单元、表情图像规范化单元；
所述高斯平滑滤波器用于对图像噪声进行平滑；
所述边缘检测单元用于使用Canny算子对人脸的边缘图像进行检测；
所述人眼定位单元用于根据边缘检测图像确定人眼位置信息；
所述表情图像规范化单元用于根据人眼位置信息对图像进行表情图像规范化。
进一步地，如上所述的面部表情识别系统，所述述表情图像规范化单元包括：旋转归一化单元、尺寸归一化单元、灰度规范化单元。
有益效果：
本发明提供的方法，使用混合改进的主动形状模型ASM和主动表观模型AAM实现表情特征提取，从而提高了面部表情识别的精度和效率。
附图说明
图1为本发明面部表情识别系统结构图；
图2(a)为边缘检测原图像序列；
图2(b)为边缘检测结果；
图3为人眼定位过程与结果，其中，(a)原图像；(b)左眼投影；(c)右眼投影；(d)定位结果；
图4为人眼位置时图像裁剪示意图；
图5为旋转归一化时旋转示意图；
图6为人脸图像灰度直方图均衡化示意图；
图7为基于支持向量机的层次支持向量机构造示意图；
图8为混合改进的ASM与AAM算法特征点定位结果；其中，(a)模型初始化；(b)迭代20次；(c)迭代30次。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的面部表情识别系统要完成的功能为输入一幅完成预处理的照片，经过表情特征点定位和表情特征信息分类识别，最终输出该人脸图像的表情，在这个过程中，重点内容为特征点提取和分类器的设计，这决定了系统的准确率，另一方面还要考虑系统的执行速度，因此本发明提供的面部表情识别系统在设计实现过程中要综合考虑这三个因素。
1)表情特征提取。表情识别的根本是使用分类器对表情特征进行分类，那么系统功能实现的第一个重要问题就是表情特征提取，有效的表情信息才能有内部关键点定位，其中ASM用于人脸轮廓定位，对于人脸内部关键点，包括眼睛、鼻子、嘴巴、眉毛四个部分，使用独立的AAM算法进行定位。为了提高特征提取的准确性，本发明在使用特征点二维局部灰度信息作为ASM特征点位置更新依据，为人脸内部五个部分分别建立独立的AAM模型，减少相互之间的干扰。在定位过程中，首先要完成的是ASM和AAM模型初始化，初始化位置与正确位置的距离直接决定了特征提取的结果，因此在模型初始化时，参考了人眼中心位置。特征提取的输出结果为两个模型对应的形状参数和表观参数，代表了人脸表情特征。
2)分类器设计。如何将特征提取输出的形状参数和表观参数进行分类，是分类器要解决的问题。表情识别是小样本非线性分类问题，因此本发明使用支持向量机作为分类器。同时支持向量机是两类分类器，人脸基本表情有六种，因此需要对两类支持向量机进行扩展。为了提高表情识别的准确率，本发明采用一对一的组合方法。对于六种基本表情，要构造的表情分类器需要的支持向量机的个数为6*(6-1)/2＝15。
3)系统执行速度。使用ASM和AAM进行表情特征提取时，定位过程使用一个迭代算法来实现，特征提取的速度很大程度上取决于迭代过程的快慢。迭代过程终止表示特征点定位已完成，使用度量函数的值作为终止判断依据。本发明在使用ASM定位时，使用了二维局部灰度信息，如果用传统的马氏函数作为度量函数，那么会带来较大的计算量。在计算机中加减法的执行复杂度低于乘除法，因此本发明使用了差值求和的方法来判断ASM迭代算法是否收敛。在AAM算法定位时，将特征点的灰度值和边缘信息加入到度量函数中，放大了度量函数的判断结果，加快了算法的收敛速度。
基于以上考虑，本发明提供的面部表情识别系统结构图如图1所示，该方法为首先对图片进行预处理，完成图片的归一化，消除噪声影响，在此基础上提取人脸表情特征，确定形状参数和表观参数，最后使用一对一组合的方法设计分类器，实现表情特征分类。
人脸表情图像预处理
为了减少外界因素对识别结果的影响，提高人脸表情识别的准确率，需要在识别之前先对图像进行预处理。最基本的图像预处理是图像的尺寸和旋转归一化。在面部图像中，人眼不易受表情、遮挡物和光照影响，左右两眼水平位置基本一致，且双眼间距离和人脸尺寸存在较好的正比关系，因此可使用双眼位置信息进行尺寸和旋转归一化。同时，本发明选择的ASM和AAM特征提取算法对于模型初始化位置比较敏感，如可以用眼睛坐标作为参考来初始化模型，可提高模板匹配的速度和准确度。以目前常用的图像预处理技术为基础，本发明图像预处理方法为在边缘检测基础上进行人眼定位，依据人眼坐标对图像进行尺寸归一化和旋转归一化。
选择Canny算子对面部表情图像进行边缘检测，使用灰度的水平投影和垂直投影来定位人眼位置，确定人眼坐标和两眼距离，根据这两个数据及人脸数据库中人脸比例的先验知识，对图像进行裁剪，以去除与表情无关的信息。再根据左右眼距离和左右眼轴线与水平线的夹角对图像进行旋转和尺寸校正，使用双线性插值法将图像统一规范为90*100像素。最后对图像灰度进行规范化，使用灰度直方图均衡化的方法增加图像的对比度，减少光照因素的影响，使得人脸表情特征更加容易提取。
边缘检测
使用Canny算子在进行边缘检测时，包含滤波，增强，检测等多个阶段，为了提高检测的准确性，在检测之前先对图像噪声进行平滑，这时通过高斯平滑滤波器来实现的，再采用一阶偏导的有限差分来计算梯度幅值和方向，经过非极大值抑制，采用两个阈值将图像像素灰度二值化，最后将灰度相同的像素点进行连接，形成图像的边缘。边缘检测实验结果如图2(a)、图2(b)所示。
人眼定位
截取人脸边缘图像上半部分，从水平中间位置将其分为左右两部分，对左右眼边缘图像分别进行水平和垂直灰度投影，减少旋转和其他器官对投影结果的影响，在边缘检测图像中进行人眼定位，其定位过程与结果如图3所示。
表情图像规范化
用人眼位置信息对图像进行角度和尺寸校正。在进行预处理前，先根据人眼位置信息对图像进行裁剪，减少头发、耳朵和装饰物等其他因素对识别结果的影响，裁剪方法如图4所示。
将几个主要人脸数据库中图像作为考察对象，记录瞳孔距离与目标裁剪尺寸的比例，再计算其期望值，作为本发明图像尺寸规范化的参考。根据先验知识，设xl和xr分别是左右眼横坐标，ye是左右眼纵坐标，d是两眼距离，则假设xl＝(xr-xl)/2是左眼横坐标，w＝2(xr-xl)是裁剪后相片宽度，再假设ye＝2.6c，将裁剪后图片的高度设置为h＝1.8ye/1.3，即h＝ye+c，其中c为引入的一个辅助变量。经过这样的裁剪，使得图像只保留了面部信息，在不丢失表情信息的情况下，去除了与表情识别无关的头发、耳朵等多余的信息。
旋转归一化
由于部分面部图像有明显的倾斜，可能会对特征提取过程造成较大影响，因此需要对明显倾斜的图像进行旋转校正。校正的依据是两眼连线与水平的夹角，示意图如图5所示。
其中L(xl,yl)和R(xr,yr)分别是左右眼瞳孔坐标，θ是两只眼睛瞳孔连线与水平线的夹角。图6中是当右眼高于左眼的示意图，当左眼高于右眼时，则θ角度值为负。当获取左右眼坐标时，使用式(1)计算θ角度值。
θ＝arctan[(yr-yl)/(xr-xl)] (1)
根据左右两眼坐标以及裁剪图片尺寸，可计算出图像中心位置O(xo,yo)坐标，式2为横坐标，式3为纵坐标。在计算纵坐标的时候，将人眼纵坐标计算为左右两眼纵坐标的均值。
xo＝xl+(xr-yr)/2 (2)
yo＝1.3d (3)
假设旋转前人脸图像中点坐标为(x,y)，旋转校正后的坐标为(x',y')，旋转前后灰度值不变，点(x',y')坐标可使用式4和5计算：
x'＝xo+(x-xo)cosθ+(y-yo)sinθ (4)
y'＝yo+(y-yo)cosθ+(x-xo)sinθ (5)
尺寸归一化
面部图像经过裁剪、旋转之后，对于每一个图像，它的尺寸与该图像所显示的人眼距离成比例，由于不同人脸图像中人眼距离不一致，造成裁剪后的面部图像大小不一，在特征提取时，会使用一个训练好的模板进行特征点初始化，如果图像大小不一，会延长搜索时间，增加搜索难度。裁剪后的图像长宽比例不一，尺寸归一化会造成图像拉伸，但是这并不影响表情信息的提取，因此图像预处理时应使用算法将待识别表情的面部图像的尺寸归一化，即使所有待识别图像尺寸相同。以人脸数据库中图像人脸有效部分尺寸作为先验知识，最终将所有图像尺寸统一缩放为90*100像素。缩放比例α＝90/4d，β＝100/1.8d，则原图像点(x,y)变化后的坐标(x',y')为：x'＝90(x/d)，y'＝100(x/1.3d)。
对于尺寸归一化后，(x',y')点的灰度值参考原图像中对应点(x,y)周围像素点的灰度值确定。由于双线性插值是最近邻插值和高阶插值的折衷，即避免了最邻近插值的锯齿效应，又减少了高阶插值的大计算量，所以使用双线性插值法计算(x',y')的灰度值，此处选择点(x,y)的2×2邻域，在水平和垂直方向，依据上下左右四个像素点灰度值做线性内插，令xi＝int(x')，yi＝int(y')，a＝x'-x，b＝y'-y，计算表达式为6式：
灰度规范化
为了消除光照对表情图像带来的影响，采用直方图均衡化的方法来改善图像质量。灰度直方图均衡化时，采用s＝T(k)来完成变换，这个时候应考虑灰度值离散和连续两种情况。当灰度值离散时，概率分布函数如式7所示：
其中，k＝0,1,...,L-1，k表示灰度值，L表示图像灰度级数，pr(rk)表示第k级灰度值在图像中出现的频率，nk表示灰度值为k的像素点的个数，N表示图像中总像素个数。因此，对于离散情况，直方图均衡化的变换函数定义为：
其中，k＝0,1,...,L
当连续时，设灰度级数随机变量r∈[0,1]，使用的变换函数T(r)应是单调递增函数，且变换变量s∈[0,1]时，变换函数值范围也为[0,1]。设r和s的概率密度函数分别为Pr(r)和Ps(s)，且Ps(s)＝P'r(r)，即ds＝Pr(r)，dr＝dT(r)，对两边积分后可得灰度直方图均衡化变换函数：
选取JAFFE中一副人脸图像为实验对象，均衡化前与均衡化后的原图和直方图如图6所示，从图中可以看出，经过灰度直方图均衡化，直方图中灰度级的分布比原图更均衡一点，灰度图像中边缘更加清晰，使得表情特征更加明显。
混合改进的ASM与AAM特征定位方法
使用二维局部灰度信息作为ASM算法特征点位置更新的启发信息，并使用独立AAM模型完成特征点定位。
使用二维ASM获取人脸边缘特征点
当使用二维局部灰度信息更新特征点的位置，假设当前需要更新的是第x个特征点，则以x特征点为中心，建立一个边长为m的正方形局部灰度信息，正方形两条边平行于该点的法线方向，依据该正方形区域内各点的灰度信息更新特征点位置，将x点二维局部特征定义为这个正方形区域内m×m个像素点灰度值的均值。使用一维局部灰度信息更新特征点位置，使用马氏距离作为相似性度量函数，对于二维局部灰度信息，考虑到运算的复杂性，使用下面函数作为度量函数
其中为第x个特征点局部灰度信息区域第i行j列像素点的灰度值，为x特征点区域内像素点，它的局部灰度信息区域第i行j列像素点的灰度值。这样虽然计算像素点较一维灰度信息的多，但是相似度度量函数只涉及到加减法运算，这样也增加了特征点更新的运算速度。
独立AAM建模
通常情况下，人脸图像不同区域的光照不同，为了减少光照对关键特征点定位的影响，缩小AAM的搜索范围以提高AAM定位的精度和算法收敛速度，本发明提出了一种针对人脸不同区域，分别使用AAM定位关键特征点的方法，即对于人脸主要表情特征区域，如眉毛、眼睛、鼻子、嘴巴，对这些关键区域建立独立的AAM模型，即五官器官独立AAM模型。这样可减少相互之间干扰。
依据AAM搜索算法可知，判断搜索算法收敛时，需要使用相似性度量函数计算纹理向量差值。由于各部分纹理差异，本发明针对不同的AAM模型，修改马氏距离来作为相似性度量函数，以期得到更加快速的收敛速度。对于眉毛和眼睛周围的特征点，由于其灰度值较低，而其他位置的像素灰度值较高，于是可将特征点灰度值加入到马氏距离中，如果特征点定位正确，可缩小度量函数值，反之会增大度量函数值，这样便可加速搜索算法收敛速度，因而对于眼睛、眉毛周围特征点定位时，相似性度量函数如下：
其中g为第i个关键特征点的灰度值，gi为更新第i个关键点时的纹理向量，为训练集样本平均纹理向量，为协方差矩阵，g为第i个关键点更新位置的灰度值。
嘴巴和鼻子周围特征点由于是在边缘上，边缘上的像素具有较大的边缘灰度值，于是可将边缘灰度值加入马氏函数，将第i个关键点的边缘信息记作e，使用如下函数作为新的相似性度量函数：
多分类支持向量机识别面部情感
人脸面部表情识别是一个小样本非线性分类问题，采用SVM作为分类器，并将表情分类转化为二次规划问题，基于二叉树思想组合多个二类向量机实现多类分类器，实现对面部特征的分类。基于支持向量机的层次支持向量机构造示意图如图7所示，由图中可以看出，二叉树的叶子节点个数就是所分类样本的所有类别数目，而构造的支持向量机个数是所有非叶子节点的数目，小于样本类别数目。基于这种思想构造的多类别支持向量机训练时间少，对样本进行分类时，识别过程就是从根节点到所属类别的叶子节点之间的距离，因此与组合思想构造的支持向量机相比，分类时计算量大大减少，提高了分类速度。
多分类支持向量机有三种构造方法，在选择时应结合实际问题和各构造方法的特点来进行。对于一对一组合方法建立的支持向量机由于数目较多，因此具有较高的识别正确率，识别误差较小，因此在待分类数目较小时，选择这种方法，将提高识别正确率，减少实际风险。如果带识别样本的种类较多，采用一对多方法建立的支持向量机的识别过程时，将将输入样本输入到每个支持向量机中，计算出值最大的向量机对应的类别作为输入样本的分类，这时其他向量机同时也保留了该样本信息，但并没有其他用途，因此有很大的信息冗余，因此在样本类别较多时，可以采用层次支持向量机减少信息冗余的同时，也可以减少构造支持向量机的个数，每个分类器针对两个类别，因此不仅减少了计算量，提高了分类速度，有减少了错误率。
实验例：
根据本发明方法，采用日本JAFFEP人连数据库图片作为实验对象，将混合改进的ASM与AAM定位算法与传统的ASM与AAM算法分别应用于特征点定位，将混合改进的ASM与AAM定位算法不同迭代次数的定位结果如图8所示，三种定位算法算法收敛的迭代次数以及定位误差显示如表1所示。
表1改进算法与原始ASM、AAM算法定位结果对比
从图8可以看出，模型初始化时，人脸轮廓严重偏离正确位置，混合改进的ASM与AAM算法扩大了特征点位合改进的AS置更新范围，经过搜索算法20次迭代之后，基本收敛到了正确位置。对于内部关键点定位，独立的AAM模型和不同的度量函数，取得了较好的定位结果。综合三种算法的性能，混合改进的ASM与AAM算法和原始ASM和AAM定位相比，迭代次数分别减少了15次和5次，精确度分别提高了14％和6％。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种面部表情识别方法，包括以下步骤：
步骤1：对人脸图像进行预处理，完成图像的归一化；
步骤2：利用归一化后的图像进行表情特征提取，从而确定代表人脸表情特征的形状参数和表观参数；
步骤3：构造表情分类器；
步骤4：利用设计的分类器实现表情特征分类；
其特征在于，步骤2中表情特征提取的方法为：使用ASM模型利用二维局部灰度信息来定位人脸轮廓近而确定形状参数；利用独立的AAM算法对人脸眼睛、鼻子、嘴巴、眉毛定位来确定表观参数；
其中，ASM模型使用下面函数作为度量函数
其中为第x个特征点局部灰度信息区域第i行j列像素点的灰度值，为x特征点区域内像素点，它的局部灰度信息区域第i行j列像素点的灰度值。
2.根据权利要求1所述的面部表情识别方法，其特征在于，步骤3中所述构造分类器包括：表情分类器的初始化以及表情分类器的训练；
所述表情分类器的初始化包括利用所述形状参数对表情分类器进行初始化；
所述表情分类器的训练包括利用所述表观参数对表情分类器进行训练；
构造表情分类器采用SVM作为分类器，并将表情分类转化为二次规划问题，基于二叉树思想组合多个二类向量机实现多类分类器，实现对面部特征的分类。
3.根据权利要求1所述的面部表情识别方法，其特征在于，对于眼睛、眉毛周围特征点定位时，相似性度量函数如下：
其中g为第i个关键特征点的灰度值，gi为更新第i个关键点时的纹理向量，为训练集样本平均纹理向量，为协方差矩阵，g为第i个关键点更新位置的灰度值；
对于嘴巴和鼻子周围特征点定位时，相似性度量函数如下：
其中，e为第i个关键点的边缘信息。
4.根据权利要求1所述的面部表情识别方法，其特征在于，步骤1中对人脸图像进行预处理包括以下步骤：
(1)使用Canny算子对图像进行边缘检测；
(2)在边缘检测图像中进行人眼定位，定位的方法为：截取人脸边缘图像上半部分，从水平中间位置将其分为左右两部分，对左右眼边缘图像分别进行水平和垂直灰度投影，来确定人眼位置信息；
(3)用人眼位置信息对图像进行表情图像规范化；
在步骤(1)之前，先通过高斯平滑滤波器对图像噪声进行平滑，然后使用Canny算子对人脸图像进行边缘检测。
5.根据权利要求4所述的面部表情识别方法，其特征在于，所述步骤(3)包括：用人眼位置信息对图像进行角度和尺寸校正、再采用直方图均衡化的方法消除光照对表情图像带来的影响，最终实现表情图像规范化。
6.一种面部表情识别系统，包括：
预处理模块，用于对人脸图像进行预处理，完成图像的归一化；
特征提取模块，用于利用归一化后的图像进行表情特征提取，从而确定代表人脸表情特征的形状参数和表观参数；
分类器构造模块，用于构造表情分类器来对所述形状参数和表观参数进行分类；
输出模块，用于根据构造的分类器实现表情特征分类；
其特征在于，
所述特征提取模块包括：ASM模型单元和AAM算法单元；
所述ASM模型单元用于利用二维局部灰度信息来定位人脸轮廓近而确定形状参数；并且ASM模型使用下面函数作为度量函数
其中为第x个特征点局部灰度信息区域第i行j列像素点的灰度值，为x特征点区域内像素点，它的局部灰度信息区域第i行j列像素点的灰度值；
所述AAM算法单元包括4个独立的AAM算法单元，用于分别对人脸眼睛、鼻子、嘴巴、眉毛进行定位来确定表观参数。
7.根据权利要求6所述的面部表情识别系统，其特征在于，所述分类器构造模块包括：表情分类器初始化模块以及表情分类器训练模块；
所述表情分类器初始化模块用于利用所述形状参数对表情分类器进行初始化；
所述表情分类器训练用于利用所述表观参数对表情分类器进行训练。
8.根据权利要求6所述的面部表情识别系统，其特征在于，所述所述ASM模型单元对眼睛、眉毛周围特征点进行定位时，相似性度量函数如下：
其中g为第i个关键特征点的灰度值，gi为更新第i个关键点时的纹理向量，为训练集样本平均纹理向量，为协方差矩阵，g为第i个关键点更新位置的灰度值；
对于嘴巴和鼻子周围特征点定位时，相似性度量函数如下：
其中，e为第i个关键点的边缘信息。
9.根据权利要求6所述的面部表情识别系统，其特征在于，所述预处理模块包括：高斯平滑滤波器、边缘检测单元、人眼定位单元、表情图像规范化单元；
所述高斯平滑滤波器用于对图像噪声进行平滑；
所述边缘检测单元用于使用Canny算子对人脸的边缘图像进行检测；
所述人眼定位单元用于根据边缘检测图像确定人眼位置信息；
所述表情图像规范化单元用于根据人眼位置信息对图像进行表情图像规范化。
10.根据权利要求9所述的面部表情识别方法，其特征在于，所述述表情图像规范化单元包括：旋转归一化单元、尺寸归一化单元、灰度规范化单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910210027.6A CN109948541A (zh) | 2019-03-19 | 2019-03-19 | 一种面部情感识别方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910210027.6A CN109948541A (zh) | 2019-03-19 | 2019-03-19 | 一种面部情感识别方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109948541A true CN109948541A (zh) | 2019-06-28 |
Family
ID=67010403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910210027.6A Pending CN109948541A (zh) | 2019-03-19 | 2019-03-19 | 一种面部情感识别方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109948541A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111568388A (zh) * | 2020-04-30 | 2020-08-25 | 清华大学 | 一种非接触式口呼吸检测装置、方法及存储介质 |
| CN112101293A (zh) * | 2020-09-27 | 2020-12-18 | 深圳市灼华网络科技有限公司 | 人脸表情的识别方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101198322B1 (ko) * | 2011-09-23 | 2012-11-06 | (주) 어펙트로닉스 | 얼굴 표정 인식 방법 및 시스템 |
| CN108108677A (zh) * | 2017-12-12 | 2018-06-01 | 重庆邮电大学 | 一种基于改进的cnn人脸表情识别方法 |
| CN108268838A (zh) * | 2018-01-02 | 2018-07-10 | 中国科学院福建物质结构研究所 | 人脸表情识别方法及人脸表情识别系统 |
-
2019
- 2019-03-19 CN CN201910210027.6A patent/CN109948541A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101198322B1 (ko) * | 2011-09-23 | 2012-11-06 | (주) 어펙트로닉스 | 얼굴 표정 인식 방법 및 시스템 |
| CN108108677A (zh) * | 2017-12-12 | 2018-06-01 | 重庆邮电大学 | 一种基于改进的cnn人脸表情识别方法 |
| CN108268838A (zh) * | 2018-01-02 | 2018-07-10 | 中国科学院福建物质结构研究所 | 人脸表情识别方法及人脸表情识别系统 |
Non-Patent Citations (3)
| Title |
|---|
| 屈美娟: "面部情感特征描述及识别方法研究", 《中国优秀硕士学位论文全文数据库》 * |
| 王晔等: "基于改进主动形状模型的人脸表情识别", 《计算机工程与应用》 * |
| 祝长生等: "表情识别的图像预处理和特征提取方法研究", 《小型微型计算机系统》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111568388A (zh) * | 2020-04-30 | 2020-08-25 | 清华大学 | 一种非接触式口呼吸检测装置、方法及存储介质 |
| CN111568388B (zh) * | 2020-04-30 | 2021-09-07 | 清华大学 | 一种非接触式口呼吸检测装置、方法及存储介质 |
| CN112101293A (zh) * | 2020-09-27 | 2020-12-18 | 深圳市灼华网络科技有限公司 | 人脸表情的识别方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827213B (zh) | 一种基于生成式对抗网络的超分辨率图像修复方法 | |
| US10891511B1 (en) | Human hairstyle generation method based on multi-feature retrieval and deformation | |
| CN110807448B (zh) | 人脸关键点数据增强方法 | |
| CN104834898B (zh) | 一种人物摄影图像的质量分类方法 | |
| JP2022173399A (ja) | 画像処理装置、画像処理方法 | |
| CN103810490B (zh) | 一种确定人脸图像的属性的方法和设备 | |
| JP4414401B2 (ja) | 顔特徴点検出方法および装置並びにプログラム | |
| CN109033940B (zh) | 一种图像识别方法、装置、计算设备及存储介质 | |
| US20070154095A1 (en) | Face detection on mobile devices | |
| CN111401145B (zh) | 一种基于深度学习与ds证据理论的可见光虹膜识别方法 | |
| JP2003108981A (ja) | 顔の特徴を位置確認するための方法及びコンピュータープログラム製品 | |
| CN103971112B (zh) | 图像特征提取方法及装置 | |
| CN105069774B (zh) | 基于多示例学习与图割优化的目标分割方法 | |
| CN109711268B (zh) | 一种人脸图像筛选方法及设备 | |
| CN108629336A (zh) | 基于人脸特征点识别的颜值计算方法 | |
| CN107862267A (zh) | 基于完全对称局部韦伯描述子的人脸识别特征提取算法 | |
| CN111339930A (zh) | 一种联合口罩属性损失函数的人脸识别方法 | |
| CN108108760A (zh) | 一种快速人脸识别方法 | |
| CN106570475B (zh) | 一种紫砂壶印章检索方法 | |
| CN112052772A (zh) | 一种人脸遮挡检测算法 | |
| CN109214298A (zh) | 一种基于深度卷积网络的亚洲女性颜值评分模型方法 | |
| CN111754538B (zh) | Usb表面缺陷检测的阈值分割方法 | |
| CN109726725A (zh) | 一种基于大间隔类间互异性多核学习的油画作者识别方法 | |
| CN104794693A (zh) | 一种人脸关键区域自动检测蒙版的人像优化方法 | |
| CN106127735A (zh) | 一种设施蔬菜边缘清晰类叶面病斑分割方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190628 |