CN110008920A - 一种人脸表情识别方法研究 - Google Patents
一种人脸表情识别方法研究 Download PDFInfo
- Publication number
- CN110008920A CN110008920A CN201910291646.2A CN201910291646A CN110008920A CN 110008920 A CN110008920 A CN 110008920A CN 201910291646 A CN201910291646 A CN 201910291646A CN 110008920 A CN110008920 A CN 110008920A
- Authority
- CN
- China
- Prior art keywords
- gradient
- image
- facial expression
- local
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000011160 research Methods 0.000 title description 4
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000012706 support-vector machine Methods 0.000 claims abstract description 13
- 238000009499 grossing Methods 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 claims abstract description 7
- 238000013459 approach Methods 0.000 claims abstract description 3
- 238000000605 extraction Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000001815 facial effect Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 3
- 238000012512 characterization method Methods 0.000 abstract 1
- 230000007812 deficiency Effects 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明针对局部二值模式(LBP)、中心对称局部二值模式(CS‑LBP)和梯度方向直方图(HOG)的不足进行改进，提出中心对称局部平滑二值模式(CS‑LSBP)和绝对梯度方向直方图(HOAG)，并提出一种融合局部纹理特征和局部形状特征的人脸表情识别方法。该方法首先采用CS‑LSBP算子和HOAG算子分别提取人脸表情图像的局部纹理特征和局部形状特征，然后使用典型线性分析法(CCA)进行特征融合，最后利用支持向量机(SVM)进行表情分类。在JAFFE人脸表情库上的实验结果表明，改进的特征提取方法能更加完整、精确地提取图像的细节信息，基于CCA的特征融合方法能充分发挥特征的表征能力，该文所提人脸表情识别方法取得了较好的分类识别效果。
Description
技术领域
本发明属于图像分类技术，特别涉及一种基于CS-LSBP与HOAG特征融合的人脸表情识别方法。
背景技术
表情是人际交往中传递情感的重要方式之一，人脸表情识别是指利用计算机对检测到的人脸进行面部表情特征提取，使计算机能够按照人的思维认识对人脸表情进行相应的理解处理，并能够根据人们的需求做出响应，建立友好的、智能化的人机交互环境。该项研究是图像处理，模式识别，心理学，情感计算以及计算机视觉等多学科交叉研究的前沿热点。
人脸表情识别主要由三部分组成：人脸检测、表情特征提取和表情特征分类识别。其中，表情特征提取是人脸识别过程中一个非常重要的技术环节，提取具有鉴别性和区分性的表情特征，对后续分类有重要的影响。基于纹理的表情特征提取方法是找到一种能够反映纹理特征的度量，通过各种分析计算从图像中提取有效特征，主要有Gabor小波，LBP算子等。另外，基于表情形状信息提取方法，如HOG特征，该方法是计算和统计图像局部区域的梯度方向直方图来构成特征，通过划分图像块和设置图像块不同的重叠率，可以很好的描述人脸图像局部目标的形状(例如嘴，眼等部位)边缘的方向密度分布，具有计算简单，抗干扰能力强的优点。
然而，单一的特征提取方式，如Gabor小波，虽然能从不同尺度不同方向提取图像的纹理特征，但是特征提取的维数非常高，容易造成维数过大而导致的小样本问题。传统的LBP统一模式，将所有非统一模式下的特征化为一类模式处理，而这种处理方式忽略了很多有用的纹理信息。
发明内容
本发明所要解决的技术问题在于针对采用单一特征提取效果不明显的情况，改进了两种特征提取方法，并结合CCA在特征融合方面的优势，将提取到的两种改进特征进行特征融合，并利用SVM应用在人脸表情识别中。再表情识别方面表现出一定的优越性。
本发明具体采用以下技术方案。人脸表情识别方法，其特征在于，该方法包括以下步骤：
A)输入人脸图像样本并进行几何校正、尺寸归一化和滤波的预处理；
B)用中心对称局部平滑二值模式(CS-LSBP)对人脸表情图像进行纹理特征提取；
C)用绝对梯度方向直方图(HOAG)对人脸表情图像进行局部形状特征提取；
D)用典型线性分析法(CCA)将人脸表情图像的局部纹理特征和局部形状特征进行特征融合；
E)最后利用支持向量机(SVM)进行表情分类。
附图说明
图1是本发明的算法流程图
图2是JAFFE人脸表情库图像示例；
图3是人脸图像预处理；
图4是CS-LBP(1，8)算子；
图5是本发明改进的CS-LSBP特征提取图。
图6是本发明改进的HOAG特征提取图
具体实施方式
下面结合附图和实施例对本发明的技术方案进行详细说明。
图1为基于CS-LSBP与HOAG特征融合的表情识别方法算法流程图，主要包括：
1、利用Haar-like和Adaboost检测图像中人眼位置，利用两眼坐标位置对人脸进行几何变换，以减少姿态变化对表情识别的影响。
2、检测并截取人脸感兴趣区域，将尺寸归一化为64×96。
3、为了减弱噪声对图片的影响，提高识别精度，对截取的表情图像进行滤波处理。
4、对预处理后的人脸表情图像进行CS-LSBP特征提取。
5、LBP算子是通过比较中心像素点c与邻域像素点灰度值的大小对图像进行编码，具体编码方式如下：
其中，P表示邻域像素点的个数(P＝8)，xi表示像素点i(i＝0，1，…，7)的灰度值。
6、CS-LBP算子是通过计算4个梯度方向上处于中心对称的两像素点灰度值的差异来对图像进行编码，具体编码方式如下：
其中：R表示图4中圆形区域的半径(R＝1)，N表示邻域像素点的个数(N＝8)，Pc表示中心像素点c的灰度值，Pi表示邻域像素点i(i＝0，1，...，(N/2)-1)的灰度值，T为阈值。
由于LBP算子只比较了中心像素点与其邻域像素点灰度值的大小，未考虑邻域像素点相互间的灰度值差异，而CS-LBP算子只考虑了4个梯度方向上处于对称位置的像素点灰度值的变化，忽略了中心像素点的作用，且阈值难以在理论上寻找出最优值，只能通过实验获得。基于此，本文提出一种局部平滑二值模式(LSBP)，并将其与CS-LBP算子相结合，提出中心对称局部平滑二值模式(CS-LSBP)。LSBP算子是通过判定中心像素点灰度值是否在各梯度方向上两邻域的灰度值范围之内来对图像进行编码，如果在这个范围内，标记为1，否则标记为0。LSBP算子能较好地度量图像的局部纹理平滑程度，具体编码方式如下：
将CS-LBP的阈值设为0，并串联LSBP算子组成CS-LSBP。表1为LSBP和CS-LBP的不同取值相结合时，pi，pc和pi+(N/2)之间的关系。由表1可以看出，CS-LSBP能很好地表示出梯度方向上3个像素点灰度值之间的相互关系，即它不但能反映出中心对称的两像素点灰度值之间的大小关系，也能反映出中心像素点与其周围邻域灰度值之间的大小关系，具有较强的纹理表征能力。
表1
梯度方向直方图(HOG)算法的基本思想是通过统计不同梯度方向上的梯度幅值分布来描述图像的局部形状信息。但是这种梯度计算方法忽略了中心像素点的作用，即中心像素点c的像素值变化时，其梯度仍不改变。所以对HOG中梯度计算方法进行改进，并提出了绝对梯度方向直方图(HOAG)。该方法在符号不变的基础上，通过计算梯度方向上中心像素点与其邻域两像素点像素值变化量的绝对值之和来表示梯度的大小。具体计算方式如下：
V(i，j)＝|xi-xc|+|xc-xj| (9)
改进的计算方法考虑了中心像素点像素值的作用，即当中心像素点的像素值在其两邻域像素值范围内时，两种梯度计算方法求的梯度相同，而当中心像素点的像素值不在这个范围内时，改进后的梯度计算方法所得的梯度值比改进前大，且会随着中心像素点像素值的改变而改变。得到水平梯度和垂直梯度后，再由如下公式，可以得到改进后图像中每个像素点的梯度幅值和梯度方向。
将图像划分为若干个单元(cell)和块(block)，其中单元由8×8个像素点构成，块由4个相邻的单元组成。将梯度方向量化为N个区间(bin)，把每个单元内具有相同梯度方向的像素点的梯度幅值按权重累加，组成该单元的梯度直方图。级联每个块中4个单元的直方图，再级联所有块的直方图，归一化后得到最终的HOAG特征。
典型相关分析是一种反映两组变量之间的相关关系的多元统计分析方法，假设X和Y分别代表人脸表情图像的局部纹理特征矩阵和局部形状特征矩阵，则CCA的目的就是求取投影方向a和b，使得X*＝aTX和Y*＝bTY之间的相关系数Corr(X*，Y*)最大。
其中，SXX与SYY分别表示X与Y的协方差矩阵，SXY表示XY之间的互协方差矩阵。令利用奇异值分解定理分解为其中是G1＝HTH与G2＝HHT的非零特征值，ui和vi分别是G1和G2关于的单位正交的特征矢量。则X与Y的第i对典型投影矢量 最终的融合特征Z＝aTX+bTY。由于人脸表情识别是高维小样本问题，SXX与SYY常常是奇异的，与推导过程中的假设不符，因此在融合前先采用PCA降维。
采用SVM对融合特征进行分类。选用多项式核函数作为SVM核函数，并利用SVM自动训练函数确定其最优参数，在JAFFE数据库的实验结果(如表2所示)。
表2
| AN | DI | FE | HA | SA | SU | |
| AN | 89.93 | 4.00 | 0.32 | 0.58 | 3.02 | 2.15 |
| DI | 5.56 | 86.67 | 3.22 | 2.3 | 1.44 | 0.81 |
| FE | 0.83 | 2.50 | 92.50 | 0.83 | 1.76 | 1.58 |
| HA | 0 | 0.35 | 0.91 | 93.64 | 3.64 | 1.46 |
| SA | 2.27 | 0.85 | 5.91 | 3.45 | 87.27 | 0.25 |
| SU | 0 | 0 | 9.05 | 1.64 | 6.09 | 83.22 |
其中：表格的行表示各个表情类的分类结果，例如，生气表情类别所在的一行，生气表情(AN)正确分类精度为89.93％，其他的数据为错误分到其它类别的精度。如上所述，厌恶表情(DI)正确分类精度为86.67％、害怕表情(FE)正确分类精度为92.50％、高兴表情(HA)正确分类精度为93.64％、悲伤表情(SA)正确分类精度为87.27％和惊奇表情(SU)正确分类精度为83.22％。
Claims (5)
1.人脸表情识别方法，其特征在于，该方法包括以下步骤：
A)输入人脸图像样本并进行几何校正和尺寸归一化的预处理；
B)用中心对称局部平滑二值模式(CS-LSBP)对人脸表情图像进行纹理特征提取；
C)用绝对梯度方向直方图(HOAG)对人脸表情图像进行局部形状特征提取；
D)用典型线性分析法(CCA)将人脸表情图像的局部纹理特征和局部形状特征进行特征融合；
E)最后利用支持向量机(SVM)进行表情分类。
2.根据权利要求1所述的人脸表情识别系统，其特征在于，所述中心对称局部平滑二值模式(CS-LSBP)的具体内容如下：
由于LBP算子只比较了中心像素点与其邻域像素点灰度值的大小，未考虑邻域像素点相互间的灰度值差异，而CS-LBP算子只考虑了4个梯度方向上处于对称位置的像素点灰度值的变化，忽略了中心像素点的作用，且阈值难以在理论上寻找出最优值，只能通过实验获得。基于此，提出一种局部平滑二值模式(LSBP)，并将其与CS-LBP算子相结合，提出中心对称局部平滑二值模式(CS-LSBP)。LSBP算子是通过判定中心像素点灰度值是否在各梯度方向上两邻域的灰度值范围之内来对图像进行编码，如果在这个范围内，标记为1，否则标记为0。LSBP算子能较好地度量图像的局部纹理平滑程度。
3.根据权利要求1所述的人脸表情识别系统，其特征在于，所述绝对梯度方向直方图(HOAG)的具体内容如下：
梯度方向直方图(HOG)算法的基本思想是通过统计不同梯度方向上的梯度幅值分布来描述图像的局部形状信息。由于图像在计算机内是以离散的数字信号存储，图像的梯度一般使用差分(即像素值的变化量)来表示。因此，传统HOG算子中梯度信息是由处于中心对称位置的两像素点像素值的变化量求得，但是这种梯度计算方法忽略了中心像素点的作用，即中心像素点c的像素值变化时，其梯度仍不改变。所以对HOG中梯度计算方法进行改进，并提出了绝对梯度方向直方图(HOAG)。该方法在符号不变的基础上，通过计算梯度方向上中心像素点与其邻域两像素点像素值变化量的绝对值之和来表示梯度的大小。
4.根据权利要求1所述的人脸表情识别系统，其特征在于，利用CCA对所提取特征进行融合。首先对人脸表情图像提取的CS-LSBP特征和HOAG特征PCA降维并归一化，然后使用CCA对两者进行融合，得到图像最终的融合特征。
5.根据权利要求1所述的人脸表情识别系统，其特征在于，采用SVM对融合特征进行分类。选用多项式核函数作为SVM核函数，并利用SVM自动训练函数确定其最优参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910291646.2A CN110008920A (zh) | 2019-04-09 | 2019-04-09 | 一种人脸表情识别方法研究 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910291646.2A CN110008920A (zh) | 2019-04-09 | 2019-04-09 | 一种人脸表情识别方法研究 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110008920A true CN110008920A (zh) | 2019-07-12 |
Family
ID=67171277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910291646.2A Pending CN110008920A (zh) | 2019-04-09 | 2019-04-09 | 一种人脸表情识别方法研究 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110008920A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111079587A (zh) * | 2019-12-03 | 2020-04-28 | 北京迈格威科技有限公司 | 人脸的识别方法、装置、计算机设备及可读存储介质 |
| CN112070041A (zh) * | 2020-09-14 | 2020-12-11 | 北京印刷学院 | 一种基于cnn深度学习模型的活体人脸检测方法和装置 |
| CN113239839A (zh) * | 2021-05-24 | 2021-08-10 | 电子科技大学成都学院 | 基于dca人脸特征融合的表情识别方法 |
| CN114463813A (zh) * | 2022-01-21 | 2022-05-10 | 苏州浪潮智能科技有限公司 | 一种基于hog特征的表情识别方法、系统及相关装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012098842A1 (ja) * | 2011-01-20 | 2012-07-26 | パナソニック株式会社 | 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および、画像処理装置 |
| CN106599854A (zh) * | 2016-12-19 | 2017-04-26 | 河北工业大学 | 基于多特征融合的人脸表情自动识别方法 |
| CN107563312A (zh) * | 2017-08-17 | 2018-01-09 | 南昌航空大学 | 人脸表情识别方法 |
-
2019
- 2019-04-09 CN CN201910291646.2A patent/CN110008920A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012098842A1 (ja) * | 2011-01-20 | 2012-07-26 | パナソニック株式会社 | 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および、画像処理装置 |
| CN106599854A (zh) * | 2016-12-19 | 2017-04-26 | 河北工业大学 | 基于多特征融合的人脸表情自动识别方法 |
| CN107563312A (zh) * | 2017-08-17 | 2018-01-09 | 南昌航空大学 | 人脸表情识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 胡敏: "融合局部纹理和形状特征的人脸表情识别", 《电子与信息学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111079587A (zh) * | 2019-12-03 | 2020-04-28 | 北京迈格威科技有限公司 | 人脸的识别方法、装置、计算机设备及可读存储介质 |
| CN111079587B (zh) * | 2019-12-03 | 2023-09-22 | 北京迈格威科技有限公司 | 人脸的识别方法、装置、计算机设备及可读存储介质 |
| CN112070041A (zh) * | 2020-09-14 | 2020-12-11 | 北京印刷学院 | 一种基于cnn深度学习模型的活体人脸检测方法和装置 |
| CN113239839A (zh) * | 2021-05-24 | 2021-08-10 | 电子科技大学成都学院 | 基于dca人脸特征融合的表情识别方法 |
| CN114463813A (zh) * | 2022-01-21 | 2022-05-10 | 苏州浪潮智能科技有限公司 | 一种基于hog特征的表情识别方法、系统及相关装置 |
| CN114463813B (zh) * | 2022-01-21 | 2024-02-13 | 苏州浪潮智能科技有限公司 | 一种基于hog特征的表情识别方法、系统及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110008920A (zh) | 一种人脸表情识别方法研究 | |
| WO2018072233A1 (zh) | 一种基于选择性搜索算法的车标检测识别方法及系统 | |
| CN106683076B (zh) | 基于纹理特征聚类的机车轮对踏面损伤检测的方法 | |
| Gunay et al. | Automatic age classification with LBP | |
| CN104636721B (zh) | 一种基于轮廓与边缘纹理特征融合的掌纹识别方法 | |
| CN105825183B (zh) | 基于部分遮挡图像的人脸表情识别方法 | |
| CN107563312A (zh) | 人脸表情识别方法 | |
| CN106295124B (zh) | 多种图像检测技术综合分析基因子图相似概率量的方法 | |
| CN106778468B (zh) | 3d人脸识别方法及设备 | |
| Li et al. | Expression-robust 3D face recognition via weighted sparse representation of multi-scale and multi-component local normal patterns | |
| Wang et al. | Feature representation for facial expression recognition based on FACS and LBP | |
| CN106778474A (zh) | 3d人体识别方法及设备 | |
| Mantecon et al. | Depth-based face recognition using local quantized patterns adapted for range data | |
| CN109409298A (zh) | 一种基于视频处理的视线追踪方法 | |
| CN101540000A (zh) | 基于纹理基元统计特性分析的虹膜分类方法 | |
| CN110826408B (zh) | 一种分区域特征提取人脸识别方法 | |
| Xie et al. | Fabric defect detection method combing image pyramid and direction template | |
| CN106611158A (zh) | 人体3d特征信息的获取方法及设备 | |
| CN109993213A (zh) | 一种用于服装部件图的自动识别方法 | |
| CN106778491B (zh) | 人脸3d特征信息的获取方法及设备 | |
| Sulistianingsih et al. | Classification of batik image using grey level co-occurrence matrix feature extraction and correlation based feature selection | |
| CN104573722A (zh) | 基于三维点云的三维人脸种族分类装置和方法 | |
| CN112541884A (zh) | 缺陷检测方法及设备、计算机可读存储介质 | |
| Alsawwaf et al. | In your face: person identification through ratios and distances between facial features | |
| CN106485202A (zh) | 非约束人脸识别系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190712 |
|
| WD01 | Invention patent application deemed withdrawn after publication |