CN105893941B - 一种基于区域图像的人脸表情识别方法 - Google Patents

一种基于区域图像的人脸表情识别方法 Download PDF

Info

Publication number
CN105893941B
CN105893941B CN201610186414.7A CN201610186414A CN105893941B CN 105893941 B CN105893941 B CN 105893941B CN 201610186414 A CN201610186414 A CN 201610186414A CN 105893941 B CN105893941 B CN 105893941B
Authority
CN
China
Prior art keywords
image
classifier
coding
training
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610186414.7A
Other languages
English (en)
Other versions
CN105893941A (zh
Inventor
解梅
张锐
朱倩
周扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Houpu Clean Energy Group Co ltd
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201610186414.7A priority Critical patent/CN105893941B/zh
Publication of CN105893941A publication Critical patent/CN105893941A/zh
Application granted granted Critical
Publication of CN105893941B publication Critical patent/CN105893941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本发明属于数字图像处理技术领域，特别涉及一种基于区域图像的人脸表情识别方法。本发明通过改进LDP的原始编码模式，首先利用最大两位和最小两位响应值做差，与一个参考门限值作对比，将差值作为编码值进行编码；其次利用最大响应值所在方向来确定一个目标像素，利用周围像素的明暗信息所代表的方向性进行编码以排除部分偶然重合的情况；最后，所得的编码为最大响应值所在方向的三位编码和两组差值的四位编码。本发明改进了LDP的方法，相较于常用的LDP和PCA方法，提高了精确度；利用区域分割之后进行直方图均衡化的方法，并在PLDP中加入门限，提高了对噪声的干扰能力。

Description

一种基于区域图像的人脸表情识别方法
技术领域
本发明属于数字图像处理技术领域，特别涉及人工智能、机器学习、计算机视觉等相关理论知识。
背景技术
表情是人类用来表达情绪的一种基本方式，是非语言交流中的一种有效手段。人们可通过表情准确而微妙地表达自己的思想感情，也可通过表情辨认对方的态度和内心世界。人脸表情识别所要研究的就是如何自动、可靠、高效地利用人脸表情所传达的信息。人脸表情可以分为6种基本情感类别：惊奇、恐惧、厌恶、愤怒、高兴、悲伤，和一种最为普遍的表情类别：中性。其中中性是人脸表情进行转换的中间过程和所有人一般状态下所表现出来的最为普遍的表情类别。一个人脸表情识别系统(FER)一般包括3个环节,即人脸检测、特征提取、表情分类。其中人脸检测目前已经成为了一个单独的研究方向，现有的研究已经在该方面上研究出了一些成果。表情特征提取是FER系统中最重要的部分，有效的表情特征提取工作将使识别的性能大大提高。
在近年来，人机交互(Human to Computer Interface，HCI)技术日益成为人工智能领域中研究的热点，人与计算机之间感情交流问题开始受到广泛的关注。如果计算机和机器人能够像人类那样具有理解和表达情感的能力，来帮助人完成各项任务，那将使计算机能够更好地为人类服务。目前的各种面部表情识别算法中，常在单一数据库中进行验证，并不具有普遍性和说服力。由于不同人种和各国文化背景的差异，不同民族不同国家的人其面部表情的表现形式并不相同。
目前常用的人脸面部表情识别算法有：
(1)基于人脸动作编码系统FACS和运动单元AU的算法。J.Hamm,C.G.Kohler,R.C.Gur,and R.Verma,“Automated facial action coding system for dynamicanalysis of facialexpressions in neuropsychiatric disorders,”Journal ofNeuroscience Methods,vol.200,no.2,pp.237-256,2011.
(2)基于主成分分析PCA的算法。Yong C Y,Sudirman R,Chew K M.FacialExpressionMonitoring System UsingPCA-Bayes Classifier[C].Future ComputerSciences and Application(ICFCSA),2011International Conference on.IEEE,2011:187-191.
(3)基于LDP的算法。T.Jabid,M.H.Kabir,and O.Chae,“Robust facialexpressionrecognition based on local directional pattern,”ETRI Journal,vol.32,no.5,pp.784-794,2010.
上述人脸面部表情提取方法都在一定程度上存在问题。方法1需要准确的五官定位及面部追踪才可以获得较好的效果，且对于噪声光照敏感，易受到干扰。方法2虽然拥有较小的计算量和特征维度，但是会忽略局部特征，局部特征在识别过程中也是非常重要的部分，因此对于识别精度有一定的影响。方法3虽然较方法1,2有所改进，但是随着所取最大值个数的提升，其编码组合数目会大幅增加，用于区域图像分块处理之后，其整幅图像的特征维度会急剧增加；且LDP也仅是用周围像素与中心像素进行比较，直接取周围像素的最大运算值进行编码，非理想条件下，对噪声也不具有一定的抗力。
LDP编码由如下公式计算而得：
其中mi，i＝0,1,......,7表示经过Kirsch算子运算后的八方向的响应值的绝对值，k表示取最大值的个数，mk表示mi最大的第k个值。随着K的增大其特征维度会急剧增大，且抗干扰的能力不高。该方法还可能会出现完全不同像素成为了同一种编码的情况。
发明内容
针对上述存在问题或不足，本发明提供了一种基于区域图像的人脸表情识别方法，能够有效的提取有用信息并减少计算量，提高抗干扰能力。
该基于区域图像的人脸表情识别方法，流程示意如图1所示，包含下述步骤：
步骤1、人脸检测及图像预处理
步骤1.1人脸检测
对待检测图像进行人脸检测与定位，采用Adaboost方法。利用含有人脸和不含有人脸的图像对分类器进行训练，其中含有人脸的图像为正样本，不含有人脸的图像为负样本。
步骤1.2图像预处理
通过步骤1.1得到人脸图像后，进行尺度归一化，扩大或缩小到256*256的尺寸大小，若是彩色图像则需要先进行图像二值化获得灰度图像；得到统一大小的灰度图像之后，进行区域分割，分为3*3的等大小图像区域，得到每一块区域图像，并计算每一个小区域的直方图，按顺序进行首尾相连，之后进行直方图均衡，得到最终的待检测图像，直方图均衡的计算方法如下：
其中L是图像中灰度值总数，rk为原始直方图分布中的第k种灰度值，nj是灰度为rk的像素数目，n为总像素个数，Pr(rk)为rk的概率密度函数，Sk是rk经过变化后的灰度值；
步骤2、表情特征提取
对图像进行PLDP编码，其计算方式如下：
PLDP＝16Max+4C1+C2
其中，Max表示经过Kirsch算子运算后得到的八个方向的响应值中，最大的响应值所在位置的二进制编码，即从000到111，D表示两组响应值的差值，C1表示最大两位响应值差值对照门限的编码，C2表示最小两位响应值做差值对照门限的编码。用Max作为高位，C1C2顺次连接作为低位组成七位的编码值，最后取编码的十进制值作为中心像素最终的结果值。其编码的示意图如图2所示。
步骤3表情分类
首先，将步骤2中获得的特征信息随机分为10份，其中9份作为训练图像，1份作为检测图像。然后将9份训练图像输入SVM进行训练，得到一个SVM分类器，之后采用十折交叉验证法，对样本进行其他9次训练，将所获得的10个SVM分类器级联成为一个强分类器；最后用已经训练好的SVM支持向量机对特征进行分类。即用强分类器对其他所有人脸表情图像进行识别分类。
所述步骤1.1中分类器进行训练具体为：首先求取训练样本的四种Harr-Like特征，形成特征集；然后训练弱分类器，训练弱分类器的目的是为了确定阈值，使得对所有训练样本的分类误差最低；最后级联弱分类器形成强分类器。
本发明通过改进LDP的原始编码模式，首先，不直接使用所计算出来的响应值进行编码，而是利用最大两位和最小两位响应值做差，与一个参考门限值作对比，将差值作为编码值进行编码，排除了部分噪声对于系统性能的影响，提高了提取方法的抗干扰能力；其次因为对于中心像素而言，其八方向的响应值并不具有同等的地位，从而才会产生各个方向不同的响应值，最大响应值具有最大的能量，因此可以利用最大响应值所在方向来确定一个目标像素，这比直接选取最大三个响应值进行编码的LDP方法更加精确，利用周围像素的明暗信息所代表的方向性进行编码以排除部分偶然重合的情况，提高编码准确度，如图3所示；最后，所得的编码为最大响应值所在方向的三位编码和两组差值的四位编码，从而将原来八位的二进制编码缩减为七位的二进制编码值，降低了特征维度和后续识别的运算时间。
综上所述，本发明具有以下有益效果：1、改进了LDP的方法，简化特征维度和计算量，且降低了部分不同像素使用同一种编码值出现的频率，相较于常用的LDP，PCA方法，提高了精确度；2、利用区域分割之后进行直方图均衡化的方法，并在PLDP中加入门限，提高了对噪声的干扰能力。
附图说明
图1：人脸表情识别整体流程示意图；
图2：PLDP编码示意图；
图3：PLDP与LDP编码对比示意图。
具体实施方式
采用本发明的方法在VS2010环境中实现。
在训练阶段，对于所有训练图像,首先按步骤1对其进行直方图均衡；
然后，将均衡后图像进行PLDP编码操作，将提取的特征向量保存用于SVM分类器的训练，得到相应的强分类器。
在测试阶段，对于一副测试图像，首先按步骤1进行直方图均衡。
然后，将均衡后的图像进行PLDP编码，得到特征向量，送入SVM分类器进行识别操作，输出最后的结果。
利用本发明提供的人脸表情特征提取方法，相较于LDP在Cohn-Kanade和JAFFE数据库上，在识别精度小幅波动的基础上大幅减小了运算时间，充分验证了本发明的有效性。

Claims (2)

1.一种基于区域图像的人脸表情识别方法，包含下述步骤：
步骤1、人脸检测及图像预处理
步骤1.1人脸检测
对待检测图像进行人脸检测与定位，采用Adaboost方法；利用含有人脸和不含有人脸的图像对分类器进行训练，其中含有人脸的图像为正样本，不含有人脸的图像为负样本；
步骤1.2图像预处理
通过步骤1.1得到人脸图像后，进行尺度归一化，扩大或缩小到256*256的尺寸大小，若是彩色图像则需要先进行图像二值化获得灰度图像；得到统一大小的灰度图像之后，进行区域分割，分为3*3的等大小图像区域，得到每一块区域图像，并计算每一个小区域的直方图，按顺序进行首尾相连，之后进行直方图均衡，得到最终的待检测图像，直方图均衡的计算方法如下：
其中L是图像中灰度值总数，rk为原始直方图分布中的第k种灰度值，nj是灰度为rk的像素数目，n为总像素个数，Pr(rk)为rk的概率密度函数，Sk是rk经过变化后的灰度值；
步骤2、表情特征提取
对图像进行PLDP编码，其计算方式如下：
PLDP＝16Max+4C1+C2
其中，Max表示经过Kirsch算子运算后得到的八个方向的响应值中，最大的响应值所在位置的二进制编码，即从000到111，D表示两组响应值的差值，C1表示最大两位响应值差值对照门限的编码，C2表示最小两位响应值做差值对照门限的编码；用Max作为高位，C1C2顺次连接作为低位组成七位的编码值，最后取编码的十进制值作为中心像素最终的结果值；
步骤3表情分类
首先，将步骤2中获得的特征信息随机分为10份，其中9份作为训练图像，1份作为检测图像；然后将9份训练图像输入SVM进行训练，得到一个SVM分类器，之后采用十折交叉验证法，对样本进行其他9次训练，将所获得的10个SVM分类器级联成为一个强分类器；最后用已经训练好的SVM支持向量机对特征进行分类，即用强分类器对其他所有人脸表情图像进行识别分类。
2.如权利要求1所述基于区域图像的人脸表情识别方法，其特征在于：
所述步骤1.1中分类器进行训练具体为：首先求取训练样本的四种Harr-Like特征，形成特征集；然后训练弱分类器，训练弱分类器的目的是为了确定阈值，使得对所有训练样本的分类误差最低；最后级联弱分类器形成强分类器。
CN201610186414.7A 2016-03-28 2016-03-28 一种基于区域图像的人脸表情识别方法 Active CN105893941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610186414.7A CN105893941B (zh) 2016-03-28 2016-03-28 一种基于区域图像的人脸表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610186414.7A CN105893941B (zh) 2016-03-28 2016-03-28 一种基于区域图像的人脸表情识别方法

Publications (2)

Publication Number Publication Date
CN105893941A CN105893941A (zh) 2016-08-24
CN105893941B true CN105893941B (zh) 2019-03-05

Family

ID=57014038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610186414.7A Active CN105893941B (zh) 2016-03-28 2016-03-28 一种基于区域图像的人脸表情识别方法

Country Status (1)

Country Link
CN (1) CN105893941B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971168A (zh) * 2017-03-31 2017-07-21 南京邮电大学 基于人脸结构特征的多方向多层次双交叉鲁棒性识别方法
CN107334469A (zh) * 2017-07-24 2017-11-10 北京理工大学 基于支持向量机的非接触多人心率测量方法及装置
CN108197529B (zh) * 2017-11-27 2021-09-10 重庆邮电大学 一种融合DLDP与sobel的表情特征提取方法
CN108234770B (zh) * 2018-01-03 2020-11-03 京东方科技集团股份有限公司 一种辅助化妆系统、辅助化妆方法、辅助化妆装置
CN114612983A (zh) * 2022-03-15 2022-06-10 北京拙河科技有限公司 一种基于弹性图和svm的人脸识别方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306290B (zh) * 2011-10-14 2013-10-30 刘伟华 一种基于视频的人脸跟踪识别方法
JP5891409B2 (ja) * 2012-01-12 2016-03-23 パナソニックＩｐマネジメント株式会社 特徴抽出装置、特徴抽出方法、および特徴抽出プログラム
CN105117707A (zh) * 2015-08-29 2015-12-02 电子科技大学 一种基于区域图像的人脸表情识别方法
CN105205460B (zh) * 2015-09-17 2019-02-15 电子科技大学 基于最大方向编码的人脸表情特征提取及识别方法

Also Published As

Publication number Publication date
CN105893941A (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
CN110084156B (zh) 一种步态特征提取方法及基于步态特征的行人身份识别方法
Rao et al. Selfie video based continuous Indian sign language recognition system
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN108520216B (zh) 一种基于步态图像的身份识别方法
CN105893941B (zh) 一种基于区域图像的人脸表情识别方法
CN109389074B (zh) 一种基于人脸特征点提取的表情识别方法
CN108268859A (zh) 一种基于深度学习的人脸表情识别方法
CN105718889B (zh) 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法
CN105205460B (zh) 基于最大方向编码的人脸表情特征提取及识别方法
Wang et al. Traffic sign detection using a cascade method with fast feature extraction and saliency test
CN111401145B (zh) 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN104298981A (zh) 人脸微表情的识别方法
CN104021375A (zh) 一种基于机器学习的车型识别方法
CN105117707A (zh) 一种基于区域图像的人脸表情识别方法
Cai et al. Traffic sign recognition algorithm based on shape signature and dual-tree complex wavelet transform
CN111611849A (zh) 一种用于门禁设备的人脸识别系统
Guo et al. Real-time hand detection based on multi-stage HOG-SVM classifier
CN103714340A (zh) 基于图像分块的自适应特征提取方法
CN103942572A (zh) 一种基于双向压缩数据空间维度缩减的面部表情特征提取方法和装置
Minhas et al. Accurate pixel-wise skin segmentation using shallow fully convolutional neural network
Elbaşi Fuzzy logic-based scenario recognition from video sequences
CN113887509B (zh) 一种基于图像集合的快速多模态视频人脸识别方法
Karungaru et al. Face recognition in colour images using neural networks and genetic algorithms
Curran et al. The use of neural networks in real-time face detection
Lin et al. Face detection algorithm based on multi-orientation gabor filters and feature fusion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210512

Address after: No.3, 11th floor, building 6, no.599, shijicheng South Road, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan 610041

Patentee after: Houpu clean energy Co.,Ltd.

Address before: 611731, No. 2006, West Avenue, Chengdu hi tech Zone (West District, Sichuan)

Patentee before: University of Electronic Science and Technology of China

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: No.3, 11th floor, building 6, no.599, shijicheng South Road, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan 610041

Patentee after: Houpu clean energy (Group) Co.,Ltd.

Address before: No.3, 11th floor, building 6, no.599, shijicheng South Road, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan 610041

Patentee before: Houpu clean energy Co.,Ltd.