CN106599854B - 基于多特征融合的人脸表情自动识别方法 - Google Patents

基于多特征融合的人脸表情自动识别方法 Download PDF

Info

Publication number
CN106599854B
CN106599854B CN201611174690.8A CN201611174690A CN106599854B CN 106599854 B CN106599854 B CN 106599854B CN 201611174690 A CN201611174690 A CN 201611174690A CN 106599854 B CN106599854 B CN 106599854B
Authority
CN
China
Prior art keywords
facial expression
image
histogram
acilbp
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201611174690.8A
Other languages
English (en)
Other versions
CN106599854A (zh
Inventor
刘教民
司浩强
师硕
刘依
于洋
阎刚
郭迎春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN201611174690.8A priority Critical patent/CN106599854B/zh
Publication of CN106599854A publication Critical patent/CN106599854A/zh
Application granted granted Critical
Publication of CN106599854B publication Critical patent/CN106599854B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明基于多特征融合的人脸表情自动识别方法，涉及识别图形的方法，是一种融合人脸表情图像和人脸表情重要区域图像的Gabor特征以及多尺度ACILBP特征直方图的方法，步骤是：人脸表情图像及人脸表情重要区域图像预处理；对人脸表情图像和人脸表情重要区域图像分别提取Gabor特征，并赋予不同权值，融合得到两层人脸表情图像的Gabor特征；利用ACILBP算子提取多尺度ACILBP特征直方图；特征融合得到人脸表情特征数据；采用SVM分类器进行人脸表情的训练和预测，实现人脸表情自动识别。本发明克服了现有技术普遍存在对光照和噪声的鲁棒性差，没有考虑局部信息与整体信息的充分利用因而识别率低下的缺陷。

Description

基于多特征融合的人脸表情自动识别方法
技术领域
本发明的技术方案涉及识别图形的方法，具体地说是基于多特征融合的人脸表情自动识别方法。
背景技术
人类的语言分为自然语言和形体语言两类，面部表情是形体语言的一部分。心理学家研究发现在人类进行会话交流时：语言内容占7％；说话时的语调占38％；而说话人的表情占55％。所以人脸表情在人类交往活动中起到了重要的作用。与之相对应的表情识别一直是模式识别与计算机视觉领域中十分活跃的热点。随着人工智能和模式识别的发展，人脸表情识别受到的关注日益提高，在人机交互中的地位越发重要。
现今，国内外有很多团队对人脸表情识别进行研究，国内有清华大学、中国科技大学和中科院自动化研究所等，国外有麻省理工学院(MIT)、东京大学、卡耐基梅隆大学(CMU)机器人研究所和日本国际电信技术研究所(ATR)等。人脸表情识别的过程主要包括：图像预处理、特征提取和分类识别，其中特征提取是人脸表情分类的难点与重点。常用特征提取方法分为基于统计特征提取方法和基于频域特征提取方法。基于统计特征提取方法有：线性判别分析方法、主成分分析方法和独立成分分析方法；基于频域特征提取方法有：Gabor特征方法和局部二值模式(以下简称LBP)方法，其中Gabor特征方法可有效提取多尺度多方向人脸表情特征，且其对光照变化和噪声鲁棒性较强，缺点是计算量较大；LBP方法能描述图像局部信息，且具有灰度不变性优点，但仍然存在不足之处：(1)LBP方法过于依赖中心像素点的阈值作用，忽略周围邻近像素点间关系，从而使得LBP对于噪声和光照的鲁棒性有待加强；(2)局部信息和整体信息的平衡性有待加强，在统计LBP特征直方图时，若对图像分块过少，则会忽略局部信息，若对图像分块过多，则忽略整体信息。针对LBP方法的不足，Liao等在“Dominant local binary patterns for texture classification”一文中提出了显性二值局部模式(简称DLBP)方法，该方法对于图像的旋转以及噪声、光照有良好的适应性,但数据维度较大，计算复杂度高，不能很好地兼顾局部信息和整体信息关系。CN103971095A公开了一种基于多尺度LBP和稀疏编码的大规模人脸表情识别方法，该方法首先建立人脸表情数据库，使用随机抽样技术生成训练数据库与测试数据库，之后使用多尺度的LBP特征表示人脸表情特征，进而生成稀疏编码方法所需要的字典，通过对新的人脸表情样本求解最优稀疏系数，并累加不同人脸表情的稀疏系数来识别人脸表情样本。但该方法并没有解决LBP过于依赖中心像素点的阈值作用，忽略周围邻近像素点间关系和局部信息、整体信息的平衡性有待加强的不足,识别率不高。CN105005765A公开了一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法，该方法首先通过手工分割的方法提取出表情图像中的“纯脸”区域，并进行预处理；然后通过分块提取Gabor特征统计量，并融合灰度共生矩阵进行表情识别，该方法不能克服光照以及噪声的影响，且没有充分利用面部重要区域纹理信息。
总之，现有的人脸表情识别方法普遍存在对光照和噪声的鲁棒性差，没有考虑局部信息与整体信息的充分利用因而识别率低下的缺陷。
发明内容
本发明所要解决的技术问题是：提供基于多特征融合的人脸表情自动识别方法，是一种融合人脸表情图像和人脸表情重要区域图像的Gabor特征以及多尺度ACILBP特征直方图的方法，克服了现有的人脸表情识别方法普遍存在对光照和噪声的鲁棒性差，没有考虑局部信息与整体信息的充分利用因而识别率低下的缺陷。
上述ACILBP是Around Center Instable Local Binary Pattern的缩写，中文含义是中心稳定局部二值模式。
本发明解决该技术问题所采用的技术方案是：基于多特征融合的人脸表情自动识别方法，是一种融合人脸表情图像和人脸表情重要区域图像的Gabor特征以及多尺度ACILBP特征直方图的方法，具体步骤如下：
第一步，人脸表情图像及人脸表情重要区域图像预处理：
(1.1)人脸表情图像几何归一化：
通过USB接口输入人脸的RGB图像到计算机中，利用公式(1)将其转换为灰度图像O，
O(x,y)＝0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y) (1)，
其中R、G和B分别为红色、绿色和蓝色三个通道，(x,y)是图像的像素点坐标，对得到的灰度图像O采用DMF_Meanshift算法进行人脸关键点检测，定位眼睛、鼻子和嘴巴的中心点，并根据面部特征点和几何模型裁剪出人脸表情图像I，将人脸表情图像I几何归一化到M×M’个像素，并将该人脸的双眼矩形区域归一化为U×U’个像素，该人脸的鼻子归一化为V×V’个像素，该人脸的嘴部归一化为W×W’个像素，双眼、鼻子和嘴这三部分构成该人脸表情重要区域图像F，由此完成人脸表情图像几何归一化；
(1.2)人脸表情图像直方图的均衡化和人脸表情重要区域图像直方图的均衡化：
计算上述(1.1)步人脸表情图像I的直方图，然后根据直方图计算累计分布函数，对人脸表情图像I的概率密度函数做映射变换，得到直方图均衡化的人脸表情图像I’，即完成对人脸表情图像直方图的均衡化；
计算上述(1.1)步人脸表情重要区域图像F的直方图，然后根据直方图计算累计分布函数，对人脸表情重要区域图像F的概率密度函数做映射变换，得到直方图均衡化的人脸表情重要区域图像F’，即完成对人脸表情重要区域图像直方图的均衡化；
(1.3)直方图均衡化的人脸表情图像的归一化和直方图均衡化的人脸表情重要区域图像灰度的归一化：
对上述(1.2)步直方图均衡化的人脸表情图像I’进行灰度归一化，利用公式(2)将直方图均衡化的人脸表情图像I’转换为灰度归一化的人脸表情图像J，
J(x,y)＝I'(x,y)/I'av*I(x,y) (2)，
式(2)中，I’av是灰度归一化的人脸表情图像J的像素平均值；
对上述(1.2)步直方图均衡化的人脸表情重要区域图像F’进行灰度归一化，利用公式(3)将直方图均衡化的人脸表情重要区域图像F’转换为灰度归一化的人脸表情重要区域图像K，
K(x,y)＝F'(x,y)/F'av*F(x,y) (3)，
式(3)中，F′av是灰度归一化的人脸表情重要区域图像K的像素平均值；
至此完成预处理，得到预处理后的人脸表情图像J及人脸表情重要区域图像K，以下简称为人脸表情图像J及人脸表情重要区域图像K；
第二步，对人脸表情图像和人脸表情重要区域图像分别提取Gabor特征，并赋予不同权值，融合得到两层人脸表情图像的Gabor特征：
将上述第一步得到的人脸表情重要区域图像K作为第一层人脸表情图像，将人脸表情图像J作为第二层人脸表情图像，分别提取Gabor特征，选用5尺度8方向的Gabor滤波器，所用的Gabor滤波器的表达形式如下：
Figure GDA0001984820240000031
其中(x0,y0)为Gabor滤波后的坐标，x0＝xcosθ+ysinθ,y0＝-xsinθ+ycosθ，θ是Gabor滤波器的方向，ω0是中心频率，σ为沿X轴和Y轴方向的标准偏差，σ＝π/ω0，其中，ω0分别为
Figure GDA0001984820240000032
对应于每一个ω0，θ相应取值0、π/8、π/4、3π/8、π/2、5π/8、3π/4、7π/8；
提取出的人脸表情重要区域图像K的Gabor特征矩阵记为Gb1，提取出的人脸表情图像J的Gabor特征矩阵记为Gb2，Gb1和Gb2分别乘以不同权重w1和w2得到总的Gabor特征矩阵记为Gt，w1和w2是经验值，具体公式如下，
Gt＝[w1Gb1 w2Gb2] (4)，
由此融合人脸表情图像的Gabor特征和人脸表情重要区域图像的Gabor特征，得到两层人脸表情图像的Gabor特征；
第三步，利用ACILBP算子提取多尺度ACILBP特征直方图：
对上述第一步得到的人脸表情图像J利用ACILBP算子提取多尺度ACILBP特征直方图，过程是：首先，对第一步得到的人脸表情图像J细化为N个尺度，即在第m个尺度将人脸表情图像划分为Lm×Lm个子区域，m＝1,…,N，其次，在人脸表情图像J的每一个尺度的每个子区域上统计ACILBP特征直方图的分布序列，将每一尺度的每个子区域ACILBP特征直方图串联作为当前尺度的ACILBP特征直方图，最后串联N个尺度的ACILBP特征直方图作为N尺度的ACILBP特征直方图；
由此完成对上述第一步得到的人脸表情图像J利用ACILBP算子提取多尺度ACILBP特征直方图；
第四步，特征融合得到人脸表情特征数据：
将上述第二步融合得到两层人脸表情图像的Gabor特征矩阵Gt与第三步提取的多尺度ACILBP特征直方图进行串联融合，得到人脸表情特征数据；
第五步，采用SVM分类器进行人脸表情的训练和预测，实现人脸表情自动识别：
将上述第一步中输入的全部人脸的RGB图像，取其中一半作为训练集，另一半作为测试集，分别经过上述第一步到第四步的处理后，得到训练集的人脸表情特征数据和测试集的人脸表情数据，将训练集的人脸表情特征数据输入到SVM分类器中进行人脸表情的训练得到支持向量，再将待测试人脸表情图像的人脸表情特征数据和上述得到的支持向量送入到SVM支持矢量机的svmpredict函数中进行预测，SVM分类器采用自定义核函数，利用交叉验证选择最佳参数c与g，拉格朗日因子c＝820，g＝2.8，由此实现人脸表情自动识别。
上述基于多特征融合的人脸表情自动识别方法，所述人脸表情图像I几何归一化到M×M’个像素，并将该人脸的双眼矩形区域归一化为U×U’个像素，该人脸的鼻子归一化为V×V’个像素，该人脸的嘴部归一化为W×W’个像素，双眼、鼻子和嘴这三部分构成该人脸表情重要区域图像F，其中M＝76，M'＝93，U＝70，U'＝21，V＝30，V'＝35，W＝56，W'＝30。
上述基于多特征融合的人脸表情自动识别方法，所述ACILBP算子是在LBP算子的基础上，增加了邻域的像素差值的影响，ACILBP算子采用“0”和“1”表示两种稳定状态，z表示待定状态，z的状态根据中心像素点与周围像素点之间关系以及相邻周围像素点之间关系而定，LBP邻域的左上角设置为g0，由顺时针方向，根据采样半径R以及周围像素点个数P依次命名周围像素点为g0,g1,g2,…,gP-1，ACILBP算子的具体计算方法如下：
步骤1，根据公式(5)计算出P位二进制LBP值，
Figure GDA0001984820240000041
其中
Figure GDA0001984820240000042
上述式(5)中，(xc,yc)为中心像素的坐标，gc为中心像素的像素值，gi为其周围像素值；
步骤2，根据公式(7)计算以(xc,yc)为中心像素的P位相邻周围像素关系二进制值，
Figure GDA0001984820240000043
其中
Figure GDA0001984820240000044
且当i＝0时，gi-1的值为gP-1的值；
步骤3，比较以(xc,yc)为中心像素的P位二进制LBP值与P位相邻周围像素关系二进制值ZLBP值，若LBP值与ZLBP值对应位置的数值相等，则ACILBP对应位置取该值，若不相等，则计算LBP值中对应位置周围像素点与中心像素点差值的绝对值，并同时计算ZLBP值中对应位置周围像素点与前一位置周围像素点差值的绝对值，取二者中绝对值大的对应位置二进制值作为ACILBP对应位置二进制值，如公式(9)，
Figure GDA0001984820240000051
其中，
Figure GDA0001984820240000052
上述式(10)中，当i＝0时，gi-1的值为gP-1的值。
上述基于多特征融合的人脸表情自动识别方法，所述直方图均衡化、灰度归一化、Gabor滤波器、DMF_Meanshift算法、DCT、LBP、和SVM分类器都是本领域公知的。
本发明的有益效果是：与现有技术相比，本发明的突出的实质性的特点和显著进步如下：
(1)本发明方法在预处理后的人脸表情图像及人脸表情重要区域图像上分别提取Gabor特征，并对提取出的两个特征矩阵分配不同的权值进行融合，兼顾人脸表情整体图像与反映表情变化的重要区域图像特征，提高了人脸表情识别率。
(2)本发明方法在LBP算子基础上改进得到ACILBP算子，并对人脸表情图像进行多尺度ACILBP特征直方图提取，克服了LBP算子对噪声、光照的敏感性，多尺度ACILBP特征直方图能够有效提取图像的整体和细节的特征，提高了人脸表情自动识别的准确性，使得人脸表情自动识别进入可应用的领域。
(3)本发明方法融合了人脸表情图像和人脸表情重要区域图像的Gabor特征以及多尺度ACILBP特征直方图，克服了现有的人脸表情识别方法普遍存在对光照和噪声的鲁棒性差，没有考虑局部信息与整体信息的充分利用因而识别率低下的缺陷。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明方法的流程图。
图2为本发明方法预处理部分中的面部特征点和几何模型。
图3为本发明方法中按人脸表情图像及人脸表情重要区域图像分层提取Gabor特征的示意图。
图4为本发明人方法中ACILBP算子的计算过程的示意图。
图5为本发明方法中使用ACILBP算子提取多尺度ACILBP特征直方图过程的示意图。
具体实施方式
图1所示实施例表明，本发明方法的流程是：人脸表情图像及人脸表情重要区域图像预处理→对人脸表情图像和人脸表情重要区域图像分别提取Gabor特征，并赋予不同权值，融合得到两层人脸表情图像的Gabor特征；利用ACILBP算子提取多尺度ACILBP特征直方图→特征融合得到人脸表情特征数据→采用SVM分类器进行人脸表情的训练和预测，实现人脸表情自动识别。
图2所示实施例显示本发明方法预处理部分中，对得到的灰度图像O采用DMF_Meanshift算法进行人脸关键点检测，定位眼睛、鼻子和嘴巴的中心点，并根据面部特征点和几何模型剪裁得到裁剪后人脸表情图像，图中的Cl和Cr是两眼中心位置，两者间距为d，O点是Cl与Cr的中点，矩形高为2.2d，宽为1.8d，O点固定于(0.6d,0.9d)处。
图3所示实施例表明，本发明方法中按人脸表情图像及人脸表情重要区域图像分层提取Gabor特征的过程是：表情变化时反应较为明显的眼睛、鼻子、嘴三部分矩形区域这些灰度归一化的人脸表情重要区域图像K作为第一层人脸表情图像，将灰度归一化的裁剪后的人脸表情图像J作为第二层人脸表情图像，对两层图像分别提取Gabor特征并融合，得到两层人脸表情图像的Gabor特征。
图4所示实施例表明，本发明人方法中ACILBP算子的计算过程是：首先计算LBP值，由于86-90<0，85-90<0，65-90<0，86-90<0，94-90>0，96-90>0，95-90>0，90-90≥0，故LBP值为00001111。其次，计算ZLBP值，由于86-90<0，85-86<0，65-85<0，86-65>0，94-85>0，96-94>0，95-96<0，90-95<0，故ZLBP值为00011100。比较LBP值00001111与ZLBP值00011100对应位置数字是否相等，相等则取相等值，不等则记为待定位xi，得到待定位编码000x111x2x3，由于|86-65|>|86-90|，|95-96|<|95-90|，|90-95|>|90-90|，故x1＝1，x2＝1，x3＝0，最终ACILBP编码为00011110。
图5所示实施例表明，本发明方法中使用ACILBP算子提取多尺度ACILBP特征直方图过程是：将人脸表情图像细化为两个尺度，将其中的第一个尺度分为3×3个子区域，共9个子区域，在每个子区域上统计ACILBP算子特征直方图，之后串联融合这9个子区域特征直方图。其次，将其中的第二个尺度分为2×2个子区域，共4个子区域，在每个子区域上统计ACILBP算子特征直方图，之后串联融合这4个子区域特征直方图。最后，将第一个尺度串联融合后的9个子区域特征直方图和第二个尺度串联融合后的4个子区域特征直方图串联融合得到多尺度ACILBP特征直方图。
实施例1
本实施例的基于多特征融合的人脸表情自动识别方法，是一种融合人脸表情图像和人脸表情重要区域图像的Gabor特征以及多尺度ACILBP特征直方图的方法，具体步骤如下：
第一步，人脸表情图像及人脸表情重要区域图像预处理：
(1.1)人脸表情图像几何归一化：
通过USB接口输入人脸的RGB图像到计算机中，利用公式(1)将其转换为灰度图像O，
O(x,y)＝0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y) (1)，
其中R、G和B分别为红色、绿色和蓝色三个通道，(x,y)是图像的像素点坐标，对得到的灰度图像O采用DMF_Meanshift算法进行人脸关键点检测，定位眼睛、鼻子和嘴巴的中心点，并根据面部特征点和几何模型裁剪出人脸表情图像I，将人脸表情图像I几何归一化到M×M’个像素，并将该人脸的双眼矩形区域归一化为U×U’个像素，该人脸的鼻子归一化为V×V’个像素，该人脸的嘴部归一化为W×W’个像素，双眼、鼻子和嘴这三部分构成该人脸表情重要区域图像F，由此完成人脸表情图像几何归一化，其中M＝76，M'＝93，U＝70，U'＝21，V＝30，V'＝35，W＝56，W'＝30；
(1.2)人脸表情图像直方图的均衡化和人脸表情重要区域图像直方图的均衡化：
计算上述(1.1)步人脸表情图像I的直方图，然后根据直方图计算累计分布函数，对人脸表情图像I的概率密度函数做映射变换，得到直方图均衡化的人脸表情图像I’，即完成对人脸表情图像直方图的均衡化；
计算上述(1.1)步人脸表情重要区域图像F的直方图，然后根据直方图计算累计分布函数，对人脸表情重要区域图像F的概率密度函数做映射变换，得到直方图均衡化的人脸表情重要区域图像F’，即完成对人脸表情重要区域图像直方图的均衡化；
(1.3)直方图均衡化的人脸表情图像的归一化和直方图均衡化的人脸表情重要区域图像灰度的归一化：
对上述(1.2)步直方图均衡化的人脸表情图像I’进行灰度归一化，利用公式(2)将直方图均衡化的人脸表情图像I’转换为灰度归一化的人脸表情图像J，
J(x,y)＝I'(x,y)/I'av*I(x,y) (2)，
式(2)中，I’av是灰度归一化的人脸表情图像J的像素平均值；
对上述(1.2)步直方图均衡化的人脸表情重要区域图像F’进行灰度归一化，利用公式(3)将直方图均衡化的人脸表情重要区域图像F’转换为灰度归一化的人脸表情重要区域图像K，
K(x,y)＝F'(x,y)/F'av*F(x,y) (3)，
式(3)中，F′av是灰度归一化的人脸表情重要区域图像K的像素平均值；
至此完成预处理，得到预处理后的人脸表情图像J及人脸表情重要区域图像K，以下简称为人脸表情图像J及人脸表情重要区域图像K；
第二步，对人脸表情图像和人脸表情重要区域图像分层分别提取Gabor特征，并赋予不同权值，融合得到两层人脸表情图像的Gabor特征：
将上述第一步得到的人脸表情重要区域图像K作为第一层人脸表情图像，将人脸表情图像J作为第二层人脸表情图像，分别提取Gabor特征，选用5尺度8方向的Gabor滤波器，所用的Gabor滤波器的表达形式如下：
Figure GDA0001984820240000071
其中(x0,y0)为Gabor滤波后的坐标，x0＝xcosθ+ysinθ,y0＝-xsinθ+ycosθ，θ是Gabor滤波器的方向，ω0是中心频率，σ为沿X轴和Y轴方向的标准偏差，σ＝π/ω0，其中，ω0分别为
Figure GDA0001984820240000072
对应于每一个ω0，θ相应取值0、π/8、π/4、3π/8、π/2、5π/8、3π/4、7π/8；
提取出的人脸表情重要区域图像K的Gabor特征矩阵记为Gb1，提取出的人脸表情图像J的Gabor特征矩阵记为Gb2，Gb1和Gb2分别乘以不同权重w1和w2得到总的Gabor特征矩阵记为Gt，w1和w2是经验值，具体公式如下，
Gt＝[w1Gb1w2Gb2] (4)，
由此融合人脸表情图像的Gabor特征和人脸表情重要区域图像的Gabor特征，得到两层人脸表情图像的Gabor特征；
第三步，利用ACILBP算子提取多尺度ACILBP特征直方图：
对上述第一步得到的人脸表情图像J利用ACILBP算子提取多尺度ACILBP特征直方图，过程是：首先，对第一步得到的人脸表情图像J细化为N个尺度，即在第m个尺度将人脸表情图像划分为Lm×Lm个子区域，m＝1,…,N，其次，在人脸表情图像J的每一个尺度的每个子区域上统计ACILBP特征直方图的分布序列，将每一尺度的每个子区域ACILBP特征直方图串联作为当前尺度的ACILBP特征直方图，最后串联N个尺度的ACILBP特征直方图作为N尺度的ACILBP特征直方图；本实施例对第一步得到的人脸表情图像J细化为2个尺度，在第1个尺度将人脸表情图像划分为L1×L1个子区域，L1＝4，经过ACILBP算子提取后得到特征直方图
Figure GDA0001984820240000081
在第2个尺度将人脸表情图像划分为L2×L2个子块，L2＝6，经过ACILBP算子提取后得到特征直方图
Figure GDA0001984820240000082
最后串联H1和H2得到2尺度的ACILBP特征直方图H＝[H1,H2]；
由此完成对上述第一步得到的人脸表情图像J利用ACILBP算子提取多尺度ACILBP特征直方图；
所述ACILBP算子是在LBP算子的基础上，增加了邻域的像素差值的影响，ACILBP算子采用“0”和“1”表示两种稳定状态，z表示待定状态，z的状态根据中心像素点与周围像素点之间关系以及相邻周围像素点之间关系而定，LBP邻域的左上角设置为g0，由顺时针方向，根据采样半径R以及周围像素点个数P依次命名周围像素点为g0,g1,g2,…,gP-1，ACILBP算子的具体计算方法如下：
步骤1，根据公式(5)计算出P位二进制LBP值，
Figure GDA0001984820240000083
其中
Figure GDA0001984820240000084
上述式(5)中，(xc,yc)为中心像素的坐标，gc为中心像素的像素值，gi为其周围像素值；
步骤2，根据公式(7)计算以(xc,yc)为中心像素的P位相邻周围像素关系二进制值，
Figure GDA0001984820240000085
其中
Figure GDA0001984820240000086
且当i＝0时，gi-1的值为gP-1的值；
步骤3，比较以(xc,yc)为中心像素的P位二进制LBP值与P位相邻周围像素关系二进制值ZLBP值，若LBP值与ZLBP值对应位置的数值相等，则ACILBP对应位置取该值，若不相等，则计算LBP值中对应位置周围像素点与中心像素点差值的绝对值，并同时计算ZLBP值中对应位置周围像素点与前一位置周围像素点差值的绝对值，取二者中绝对值大的对应位置二进制值作为ACILBP对应位置二进制值，如公式(9)，
Figure GDA0001984820240000091
其中，
Figure GDA0001984820240000092
上述式(10)中，当i＝0时，gi-1的值为gP-1的值。
第四步，特征融合得到人脸表情特征数据：
将上述第二步融合得到两层人脸表情图像的Gabor特征矩阵Gt与第三步提取的多尺度ACILBP特征直方图进行串联融合，得到人脸表情特征数据；
第五步，采用SVM分类器进行人脸表情的训练和预测，实现人脸表情自动识别：
将上述第一步中输入的全部人脸的RGB图像，取其中一半作为训练集，另一半作为测试集，分别经过上述第一步到第四步的处理后，得到训练集的人脸表情特征数据和测试集的人脸表情数据，将训练集的人脸表情特征数据输入到SVM分类器中进行人脸表情的训练得到支持向量，再将待测试人脸表情图像的人脸表情特征数据和上述得到的支持向量送入到SVM支持矢量机的svmpredict函数中进行预测，SVM分类器采用自定义核函数，利用交叉验证选择最佳参数c与g，拉格朗日因子c＝820，g＝2.8，由此实现人脸表情自动识别。
本实施例在CK数据库和JAFFE数据库两个人脸表情数据库上进行了实验。其中JAFFE数据库中包含了213幅日本女性表情图像，共有10个人，每个人有7种表情(中性脸、高兴、悲伤、惊奇、愤怒、厌恶、恐惧)的不同数量图像。CK数据库包含了不同国家不同地区参与者的人脸表情，百分之三为女性，百分之十五为非裔美国人，三分之二为亚裔或者拉丁美洲人，其中每种表情包含10张表情序列，选取数据库中315个表情，每个表情包含4张表情序列图像，共1260张图像。在Windows7环境下的MATLAB R2014a平台上进行实验。本实施例的准确率分别为93.51％和97.37％。表1和表2列出了本实施例的实验的结果。
表1.对人脸表情图像和人脸表情重要区域图像分别提取Gabor特征，并赋予不同权值，融合得到两层人脸表情图像的Gabor特征所得到的人脸表情识别率(％)
Figure GDA0001984820240000101
表1表明，对人脸表情图像和人脸表情重要区域图像分别提取Gabor特征，并赋予不同权值的情况下，融合得到两层人脸表情图像的Gabor特征后进行分类识别，表中数据显示当w1＝1，w2＝1时，人脸表情自动识别效果最好。
表2.利用ACILBP算子提取多尺度ACILBP特征直方图，将融合得到两层人脸表情图像的Gabor特征t与多尺度ACILBP特征直方图进行串联融合后进行分类识别，其中两尺度不同分块取值对的人脸表情识别率的影响(％)
Figure GDA0001984820240000102
表2表明了在对人脸表情图像和人脸表情重要区域图像分别提取Gabor特征，并赋予不同权值，并分配w1＝1,w2＝1的最优权值情况下，利用ACILBP算子提取多尺度ACILBP特征直方图，将融合得到两层人脸表情图像的Gabor特征t与多尺度ACILBP特征直方图进行串联融合后进行分类识别，其中多尺度在L1＝4,L2＝6情况下，人脸表情识别效果最好。
实施例2
为了验证本发明方法在人脸表情自动识别率上的优势，本实施例选取目前使用较为广泛的六种人脸表情识别方法与本发明的基于多特征融合的人脸表情自动识别方法进行对比，六种人脸表情识别方法分别为：正交局部二值模式(Orthogonal Combination OfLocal Binary Patterns，OCLBP)、对称局部图结构(Symmetric Local Graph Structure，SLGS)、抗噪局部二值模式(Noise-resistant Local Binary Patterns，NRLBP)、强鲁棒性局部二值模式(Completed Robust Local Binary Pattern，CRLBP)、局部网格模式(LocalMesh Patterns，LMep)、联合局部二元模式(Joint Local Binary Patterns，JLBP)。
利用SVM分类器在JAFFE和CK数据库上进行对比实验，其中训练样本的选择方式为随机选择，本实施例在JAFFE数据库中选择其中的137张图像进行训练，76张用于测试，在CK数据库中238个表情的952张图像用于训练，77个表情的308张图像用于测试，保证了训练与测试样本不重复出现，且每种方法中相同参数保持一致，保证了各个方法之间的公平性，最终结果体现普遍性和正确性。
上述六种人脸表情识别方法与本发明的基于多特征融合的人脸表情自动识别方法进行对比的结果见表3。
表3.不同方法在两个数据库上的人脸表情识别率的比较(％)
Figure GDA0001984820240000111
表3对比了本方法与目前常用人脸表情识别方法的对比情况，结果表明本发明方法在CK和JAFFE数据库上均超过了其它表情识别方法的人脸表情识别率。
上述实施例中，所述直方图均衡化、灰度归一化、Gabor滤波器、DMF_Meanshift算法、DCT、LBP、和SVM分类器都是本领域公知的。

Claims (2)

1.基于多特征融合的人脸表情自动识别方法，其特征在于：是一种融合人脸表情图像和人脸表情重要区域图像的Gabor特征以及多尺度ACILBP特征直方图的方法，具体步骤如下：
第一步，人脸表情图像及人脸表情重要区域图像预处理：
(1.1)人脸表情图像几何归一化：
通过USB接口输入人脸的RGB图像到计算机中，利用公式(1)将其转换为灰度图像O，
O(x,y)＝0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y) (1)，
其中R、G和B分别为红色、绿色和蓝色三个通道，(x,y)是图像的像素点坐标，对得到的灰度图像O采用DMF_Meanshift算法进行人脸关键点检测，定位眼睛、鼻子和嘴巴的中心点，并根据面部特征点和几何模型裁剪出人脸表情图像I，将人脸表情图像I几何归一化到M×M’个像素，并将该人脸的双眼矩形区域归一化为U×U’个像素，该人脸的鼻子归一化为V×V’个像素，该人脸的嘴部归一化为W×W’个像素，双眼、鼻子和嘴这三部分构成该人脸表情重要区域图像F，由此完成人脸表情图像几何归一化；
(1.2)人脸表情图像直方图的均衡化和人脸表情重要区域图像直方图的均衡化：
计算上述(1.1)步人脸表情图像I的直方图，然后根据直方图计算累计分布函数，对人脸表情图像I的概率密度函数做映射变换，得到直方图均衡化的人脸表情图像I’，即完成对人脸表情图像直方图的均衡化；
计算上述(1.1)步人脸表情重要区域图像F的直方图，然后根据直方图计算累计分布函数，对人脸表情重要区域图像F的概率密度函数做映射变换，得到直方图均衡化的人脸表情重要区域图像F’，即完成对人脸表情重要区域图像直方图的均衡化；
(1.3)直方图均衡化的人脸表情图像的归一化和直方图均衡化的人脸表情重要区域图像灰度的归一化：
对上述(1.2)步直方图均衡化的人脸表情图像I’进行灰度归一化，利用公式(2)将直方图均衡化的人脸表情图像I’转换为灰度归一化的人脸表情图像J，
J(x,y)＝I'(x,y)/I'av*I(x,y) (2)，
式(2)中，I’av是灰度归一化的人脸表情图像J的像素平均值；
对上述(1.2)步直方图均衡化的人脸表情重要区域图像F’进行灰度归一化，利用公式(3)将直方图均衡化的人脸表情重要区域图像F’转换为灰度归一化的人脸表情重要区域图像K，K(x,y)＝F'(x,y)/F′av*F(x,y) (3)，
式(3)中，F′av是灰度归一化的人脸表情重要区域图像K的像素平均值；
至此完成预处理，得到预处理后的人脸表情图像J及人脸表情重要区域图像K，以下简称为人脸表情图像J及人脸表情重要区域图像K；
第二步，对人脸表情图像和人脸表情重要区域图像分别提取Gabor特征，并赋予不同权值，融合得到两层人脸表情图像的Gabor特征：
将上述第一步得到的人脸表情重要区域图像K作为第一层人脸表情图像，将人脸表情图像J作为第二层人脸表情图像，分别提取Gabor特征，选用5尺度8方向的Gabor滤波器，所用的Gabor滤波器的表达形式如下：
Figure FDA0002293635540000021
其中(x0,y0)为Gabor滤波后的坐标，x0＝x cosθ+y sinθ,y0＝-x sinθ+y cosθ，θ是Gabor滤波器的方向，ω0是中心频率，σ为沿X轴和Y轴方向的标准偏差，σ＝π/ω0，其中，ω0分别为
Figure FDA0002293635540000022
对应于每一个ω0，θ相应取值0、π/8、π/4、3π/8、π/2、5π/8、3π/4、7π/8；
提取出的人脸表情重要区域图像K的Gabor特征矩阵记为Gb1，提取出的人脸表情图像J的Gabor特征矩阵记为Gb2，Gb1和Gb2分别乘以不同权重w1和w2得到总的Gabor特征矩阵记为Gt，w1和w2是经验值，具体公式如下，
Gt＝[w1Gb1 w2Gb2] (4)，
由此融合人脸表情图像的Gabor特征和人脸表情重要区域图像的Gabor特征，得到两层人脸表情图像的Gabor特征；
第三步，利用ACILBP算子提取多尺度ACILBP特征直方图：
对上述第一步得到的人脸表情图像J利用ACILBP算子提取多尺度ACILBP特征直方图，过程是：首先，对第一步得到的人脸表情图像J细化为N个尺度，即在第m个尺度将人脸表情图像划分为Lm×Lm个子区域，m＝1,…,N，其次，在人脸表情图像J的每一个尺度的每个子区域上统计ACILBP特征直方图的分布序列，将每一尺度的每个子区域ACILBP特征直方图串联作为当前尺度的ACILBP特征直方图，最后串联N个尺度的ACILBP特征直方图作为N尺度的ACILBP特征直方图；
所述ACILBP算子是在LBP算子的基础上，增加了邻域的像素差值的影响，ACILBP算子采用“0”和“1”表示两种稳定状态，z表示待定状态，z的状态根据中心像素点与周围像素点之间关系以及相邻周围像素点之间关系而定，LBP邻域的左上角设置为g0，由顺时针方向，根据采样半径R以及周围像素点个数P依次命名周围像素点为g0,g1,g2,…,gP-1，ACILBP算子的具体计算方法如下：
步骤1，根据公式(5)计算出P位二进制LBP值，
Figure FDA0002293635540000023
其中
Figure FDA0002293635540000024
上述式(5)中，(xc,yc)为中心像素的坐标，gc为中心像素的像素值，gi为其周围像素值；
步骤2，根据公式(7)计算以(xc,yc)为中心像素的P位相邻周围像素关系二进制值，
Figure FDA0002293635540000031
其中
Figure FDA0002293635540000032
且当i＝0时，gi-1的值为gP-1的值；
步骤3，比较以(xc,yc)为中心像素的P位二进制LBP值与P位相邻周围像素关系二进制值ZLBP值，若LBP值与ZLBP值对应位置的数值相等，则ACILBP对应位置取该值，若不相等，则计算LBP值中对应位置周围像素点与中心像素点差值的绝对值，并同时计算ZLBP值中对应位置周围像素点与前一位置周围像素点差值的绝对值，取二者中绝对值大的对应位置二进制值作为ACILBP对应位置二进制值，如公式(9)，
Figure FDA0002293635540000033
其中，
Figure FDA0002293635540000034
上述式(10)中，当i＝0时，gi-1的值为gP-1的值；
由此完成对上述第一步得到的人脸表情图像J利用ACILBP算子提取多尺度ACILBP特征直方图；
第四步，特征融合得到人脸表情特征数据：
将上述第二步融合得到两层人脸表情图像的Gabor特征矩阵Gt与第三步提取的多尺度ACILBP特征直方图进行串联融合，得到人脸表情特征数据；
第五步，采用SVM分类器进行人脸表情的训练和预测，实现人脸表情自动识别：
将上述第一步中输入的全部人脸的RGB图像，取其中一半作为训练集，另一半作为测试集，分别经过上述第一步到第四步的处理后，得到训练集的人脸表情特征数据和测试集的人脸表情数据，将训练集的人脸表情特征数据输入到SVM分类器中进行人脸表情的训练得到支持向量，再将待测试人脸表情图像的人脸表情特征数据和上述得到的支持向量送入到SVM支持向量机的svmpredict函数中进行预测，SVM分类器采用自定义核函数，利用交叉验证选择最佳参数c与g，拉格朗日因子c＝820，g＝2.8，由此实现人脸表情自动识别。
2.根据权利要求1所述基于多特征融合的人脸表情自动识别方法，其特征在于：所述将人脸表情图像I几何归一化到M×M’个像素，并将该人脸的双眼矩形区域归一化为U×U’个像素，该人脸的鼻子归一化为V×V’个像素，该人脸的嘴部归一化为W×W’个像素，双眼、鼻子和嘴这三部分构成该人脸表情重要区域图像F，其中M＝76，M'＝93，U＝70，U'＝21，V＝30，V'＝35，W＝56，W'＝30。
CN201611174690.8A 2016-12-19 2016-12-19 基于多特征融合的人脸表情自动识别方法 Expired - Fee Related CN106599854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611174690.8A CN106599854B (zh) 2016-12-19 2016-12-19 基于多特征融合的人脸表情自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611174690.8A CN106599854B (zh) 2016-12-19 2016-12-19 基于多特征融合的人脸表情自动识别方法

Publications (2)

Publication Number Publication Date
CN106599854A CN106599854A (zh) 2017-04-26
CN106599854B true CN106599854B (zh) 2020-03-27

Family

ID=58601128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611174690.8A Expired - Fee Related CN106599854B (zh) 2016-12-19 2016-12-19 基于多特征融合的人脸表情自动识别方法

Country Status (1)

Country Link
CN (1) CN106599854B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107230193B (zh) * 2017-06-09 2020-11-13 西安煤航遥感信息有限公司 一种航空数码相机图像亮度均衡化方法
CN107273845B (zh) * 2017-06-12 2020-10-02 大连海事大学 一种基于置信区域和多特征加权融合的人脸表情识别方法
CN107392105B (zh) * 2017-06-23 2020-10-16 广东工业大学 一种基于反向协同显著区域特征的表情识别方法
CN107729835B (zh) * 2017-10-10 2020-10-16 浙江大学 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法
CN108074336A (zh) * 2017-11-29 2018-05-25 重庆邮电大学 一种智能语音交互的人脸识别情绪小面机器人
CN108229552B (zh) * 2017-12-29 2021-07-09 咪咕文化科技有限公司 一种模型处理方法、装置及存储介质
CN108537194A (zh) * 2018-04-17 2018-09-14 谭红春 一种基于深度学习和svm的肝豆状核变性患者的表情识别方法
CN110008920A (zh) * 2019-04-09 2019-07-12 南京工业大学 一种人脸表情识别方法研究
CN110046587B (zh) * 2019-04-22 2022-11-25 安徽理工大学 基于Gabor差分权重的人脸表情特征提取方法
CN110826408B (zh) * 2019-10-09 2023-03-28 西安工程大学 一种分区域特征提取人脸识别方法
CN110728252B (zh) * 2019-10-22 2023-08-04 山西省信息产业技术研究院有限公司 一种应用于区域人员运动轨迹监控的人脸检测方法
CN112487891B (zh) * 2020-11-17 2023-07-18 云南电网有限责任公司 一种应用于电力作业现场的视觉智能动态识别模型构建方法
CN112766112B (zh) * 2021-01-08 2023-01-17 山东大学 基于时空多特征融合的动态表情识别方法及系统
CN113642503B (zh) * 2021-08-23 2024-03-15 国网山东省电力公司金乡县供电公司 基于图像和语音识别的窗口服务评分方法及系统
CN116403270B (zh) * 2023-06-07 2023-09-05 南昌航空大学 一种基于多特征融合的人脸表情识别方法及系统
CN116957524B (zh) * 2023-09-21 2024-01-05 青岛阿斯顿工程技术转移有限公司 一种技术转移过程中人才信息智能管理方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127196A (zh) * 2016-09-14 2016-11-16 河北工业大学 基于动态纹理特征的人脸表情的分类与识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100745981B1 (ko) * 2006-01-13 2007-08-06 삼성전자주식회사 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127196A (zh) * 2016-09-14 2016-11-16 河北工业大学 基于动态纹理特征的人脸表情的分类与识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Real time facial expression recognition in video using support vector machines;Philipp Michel等;《International Conference on Multimodal Interfaces》;20031107;第258-264页 *
基于LGBP特征和稀疏表示的人脸表情识别;于明 等;《计算机工程与设计》;20130516;第34卷(第5期);第1787-1791页 *

Also Published As

Publication number Publication date
CN106599854A (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
CN106599854B (zh) 基于多特征融合的人脸表情自动识别方法
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN106023220B (zh) 一种基于深度学习的车辆外观部件图像分割方法
CN111401372B (zh) 一种扫描文档图文信息提取与鉴别的方法
CN106960202B (zh) 一种基于可见光与红外图像融合的笑脸识别方法
CN112580590B (zh) 一种基于多语义特征融合网络的指静脉识别方法
CN109033954B (zh) 一种基于机器视觉的空中手写识别系统及方法
CN113221639B (zh) 一种基于多任务学习的代表性au区域提取的微表情识别方法
CN1894703B (zh) 模式识别方法和设备
CN109684959B (zh) 基于肤色检测和深度学习的视频手势的识别方法及装置
CN110084108A (zh) 基于gan神经网络的行人重识别系统及方法
CN111126240B (zh) 一种三通道特征融合人脸识别方法
CN108229458A (zh) 一种基于运动检测和多特征提取的火焰智能识别方法
CN105574550A (zh) 一种车辆识别方法及装置
CN111680706A (zh) 一种基于编码和解码结构的双通道输出轮廓检测方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN111414862A (zh) 基于神经网络融合关键点角度变化的表情识别方法
CN108681737B (zh) 一种复杂光照下图像特征提取方法
CN107862267A (zh) 基于完全对称局部韦伯描述子的人脸识别特征提取算法
CN110991389A (zh) 判断目标行人在非重叠相机视角中出现的匹配方法
CN109753950A (zh) 动态人脸表情识别方法
CN109815967A (zh) 基于特征融合的cnn舰船目标识别系统及方法
CN110633727A (zh) 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN111339932B (zh) 一种掌纹图像预处理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200327

Termination date: 20211219