CN105005765B - 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 - Google Patents
一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 Download PDFInfo
- Publication number
- CN105005765B CN105005765B CN201510370315.XA CN201510370315A CN105005765B CN 105005765 B CN105005765 B CN 105005765B CN 201510370315 A CN201510370315 A CN 201510370315A CN 105005765 B CN105005765 B CN 105005765B
- Authority
- CN
- China
- Prior art keywords
- gabor
- image
- extraction
- characteristic
- facial expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000014509 gene expression Effects 0.000 claims abstract description 64
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000010606 normalization Methods 0.000 claims abstract description 17
- 230000007812 deficiency Effects 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 85
- 238000000605 extraction Methods 0.000 claims description 67
- 238000011194 good manufacturing practice Methods 0.000 claims description 38
- 238000012360 testing method Methods 0.000 claims description 23
- 230000001815 facial effect Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 13
- 238000002474 experimental method Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 210000000056 organ Anatomy 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000002790 cross-validation Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000007635 classification algorithm Methods 0.000 claims description 2
- 230000031068 symbiosis, encompassing mutualism through parasitism Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000013095 identification testing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法，该方法首先通过手工分割的方法提取出表情图像中的“纯脸”区域，并进行彩色图像灰度化、直方图均衡化以及尺度归一化处理；然后通过一种分块提取Gabor特征统计量的方法，大大降低了传统Gabor特征的数据冗余，并首次将反映图像纹理特征的灰度共生矩阵引入到表情识别领域，以此来弥补Gabor特征分块处理造成的像素空间相关性缺失的不足；最终生成了一组用于特征表达的低维特征向量，在保证较高表情识别率的前提下，大大提高了表情识别速率。
Description
技术领域
本发明涉及人脸表情识别领域，设计并实现了一种基于Gabor小波和灰度共生矩阵的人脸表情识别算法。
背景技术
人脸表情蕴含着丰富的个人情感信息，是人类进行情感表达的重要方式。计算机通过对人脸表情进行识别，可以了解到人类对应的心理状态，从而更好的服务于人类生活的各个方面，如人机交互、智能安防、医疗监护、心理分析等。目前，多数的表情识别算法主要针对正面无遮挡的人脸表情图像进行实验，一定程度上保留了完整的表情信息。但在现实生活中，表情被遮挡的情况时有发生，头发、墨镜、口罩、手势等产生的遮挡均会造成表情信息的缺失，致使算法的识别率与鲁棒性下降。因此，针对局部遮挡的人脸表情图像，提出更为鲁棒的人脸表情识别算法，已经成为计算机智能化应用领域的研究热点。
人脸表情识别一般包括以下三个环节：人脸检测与图像预处理、表情特征提取以及表情分类。其中，表情特征提取是决定人脸表情识别过程是否精准有效的重要环节，也是表情识别研究的核心内容。局部遮挡的存在会造成部分表情信息的缺失，给表情特征提取带来一定的阻碍。针对这一问题，众多学者展开了相应研究，主要形成了两类处理面部遮挡的方法：一类是舍弃法，即舍弃遮挡区域的表情信息，利用未遮挡区域的表情信息来完成特征提取工作；另一类是重建法，即先对遮挡区域进行重建恢复，然后再进行表情特征提取。鉴于重建法必须以无遮挡时的表情图像作为参考，无形中加大了图像处理的工作量，且重建效果的好坏会受到算法性能、遮挡面积等因素的影响，所以多数研究者选用舍弃法来完成局部遮挡条件下的表情特征提取。
在众多局部遮挡条件下的表情特征提取算法中，Gabor小波被广泛的应用。Gabor小波可以提取图像不同尺度、不同方向下的表情特征，它被证实在图像局部特征提取上具有明显的优势，对遮挡条件下的表情识别具有良好效果。因此，诸多研究者围绕着Gabor小波在局部遮挡的人脸表情识别上的效果展开深入研究，形成了各种基于Gabor小波或是基于Gabor小波与其他算法相结合的表情特征提取算法。例如，2012年，澳大利亚昆士兰科技大学的Zhang强调了Gabor滤波器在局部纹理信息提取方面的重要作用，以及对遮挡条件下表情识别的有效性。同年，Azmi在20th伊朗电子工程会议(ICEE)上提出将局部Gabor二元模式直方图序列(Local Gabor Binary Pattern Histogram Sequence,LGBPHS)引入到表情识别领域，证明了LBP和直方图的引入对Gabor特征起到了降维作用，同时组合算法的识别率也优于单一算法的识别率。在此基础上，吉林大学的刘帅师提出了Gabor多尺度特征融合与LGBPHS相结合的算法，进一步降低了Gabor特征的维数。这些算法取得了较好的识别效果，推动着鲁棒人脸表情识别技术的发展。
但是，由于Gabor小波提取的表情特征往往具有较高的维度，这使得各种结合了Gabor小波的特征提取算法都存在计算量大、复杂度高的缺点，导致整个表情识别过程耗时较长，不利于表情识别从实验仿真走向实际应用。因此，如何在保证局部遮挡表情识别准确率不下降的前提下，降低特征维数、减少计算量，从而提高表情识别速率，成为本发明亟待解决的问题。
发明内容
在保证局部遮挡条件下表情识别准确率不下降的前提下，为了进一步降低特征向量的数据冗余，减少算法耗时，本发明提出了一种基于Gabor小波和灰度共生矩阵的人脸表情识别算法。该算法首先设计了一种分块提取Gabor特征统计量的方法，生成一个低维Gabor特征向量，大大降低了Gabor特征的数据冗余，并保留了人脸器官的空间特征；然后，该算法首次将反映图像纹理特征的灰度共生矩阵引入到表情识别领域，以此来弥补Gabor特征分块处理造成的像素空间相关性缺失的不足；最后，将提取的Gabor特征统计量和灰度共生矩阵纹理特征进行线性叠加，生成一组用于特征表达的低维特征向量。实验结果表明，本发明提出的表情特征提取算法对于局部遮挡条件下的人脸表情识别，具有鲁棒性强、特征向量维数低、分类耗时短、识别速率高的特点。
一种基于Gabor小波和灰度共生矩阵的表情识别方法，其特征在于，步骤如下：
步骤(1)，采集样本
采集若干个人的N张局部遮挡的正面人脸表情静态图像，每张图像对应的表情类别即为该图像的样本标记，所有表情图像及其对应的样本标记构成实验样本。采用交叉验证中的10折交叉验证法，将实验样本划分成10等份，轮流将其中9份作为训练集X，剩余的1份作为测试集S，最后取10次实验结果正确率的平均值作为对算法识别准确率的估计；
步骤(2)，样本预处理
处理对象是训练集X和测试集S内的所有表情图像，具体的预处理过程如下：
步骤(2.1)，以双眼位置为基准获取人脸位置，并手工分割出“纯脸”区域；
步骤(2.2)，采用加权平均法将彩色图像转换为灰度图像；
步骤(2.3)，采用直方图均衡化方法降低光照变化对图像造成的影响；
步骤(2.4)，对图像进行尺度归一化处理；
步骤(3)，特征提取
采用基于Gabor小波和灰度共生矩阵的特征提取算法分别对预处理后的X和S内的每幅图像进行表情特征提取，该算法过程分为三部分：低维Gabor特征统计量的提取、灰度共生矩阵特征的提取、高斯归一化，算法流程如图1所示。具体的过程描述如下：
步骤(3.1)，低维Gabor特征统计量的提取
低维Gabor特征的提取是在传统Gabor特征提取的基础上，对Gabor滤波后生成的Gabor幅度图(Gabor Magnitude Pictures,GMPs)进行分块处理，再求取每个子块的特征统计量实现的，具体分为以下两个步骤：
步骤(3.1.1)，传统Gabor特征的提取：将预处理后的训练集X和测试集S分别与二维Gabor小波函数作卷积，本方法选用5个尺度、8个方向，共40个Gabor滤波器与表情图像进行卷积，并且仅选用变换相对平稳的Gabor幅度信息作为有效信息，即每幅表情图像转化为40张GMPs，每幅GMPs对应的Gabor系数值即为所提取的Gabor特征；
步骤(3.1.2)，分块的Gabor特征统计量的提取：利用传统算法提取图像Gabor特征时，一幅图像经过Gabor滤波后，其特征维数会扩大40倍，而且表情图像本身就属于高维数据，所以采用传统的Gabor特征提取方法可能会造成所谓的“维数灾难”，导致整个表情识别过程耗时较长。因此，本方法针对传统Gabor特征提取算法的不足，设计实现了一种分块的Gabor特征统计量的提取算法：
为了更有效表征人脸，依据面部主要器官的分布特性对人脸进行分块处理。具体的分块处理方法，是对每幅GMP在垂直方向按照图像高度进行上、中、下三等分，然后将最上面一部分按照图像宽度进行二等分，最终形成了4个子块：R0、R1、R2、R3，四个子块分别对应包含左眼、右眼、鼻子和嘴四类主要器官。单幅GMP图像经过分块处理后的结果图如图2所示。
一幅表情图像经过传统的Gabor特征提取后生成40张GMPs，每张GMP经过分块处理被划分为4个子块，即一幅图像经过分块的Gabor特征提取后，会形成40×4＝160个局部子块。对GMP图像进行分块处理，只是在提取的特征中加入了面部的空间信息，并没有从根本上降低Gabor特征的维数。所以本方法继续对分块的Gabor特征进行处理：在统计工作中，均值和标准差是描述数据集中趋势和离散程度的两个最重要的统计量，能够反映出数据的本质特征。因此本方法选用均值μu,v和标准差σu,v来统计每个GMP局部子块的数据，用于表示每个GMP的特 征。两个统计量的计算公式如下：
式(1)、(2)中，GMu,v(x,y)是指第u个尺度、第v个方向下的GMP子块，m×n是指相应子块的大小。
最后将每幅GMP的每个子块提取的2维特征统计量串联在一起，形成一个40×4×2＝320维的特征向量，即为所求的低维Gabor特征统计量。
步骤(3.2)，灰度共生矩阵特征的提取
步骤(3.2.1)求取灰度共生矩阵时，方向角θ选取0°、45°、90°和135°四个方向，距离分差值d＝1，灰度级G从256级压缩至16级；
步骤(3.2.2)，灰度共生矩阵无法直接进行特征表达，需要对其进行特征统计量的计算，本方法选取对比度、差熵、能量和相关4个特征统计量作为灰度共生矩阵的特征表达；
最后，求取4个统计量的均值和标准差作为纹理特征量，既一幅表情图像最终形成一个8维的灰度共生矩阵特征向量。
步骤(3.3)，高斯归一化
将步骤(3.1)和步骤(3.2)中提取的图像特征进行线性组合，生成一组328维的低维特征向量；对该特征向量进行内部向量的高斯归一化处理，使各分量具有相同的权重，以提高图像判别的速度和成功率，即一幅表情图像最终由一组328维的特征向量进行表达；
步骤(4)，样本分类
输入：通过以上步骤提取到的训练集X的表情特征集合X'及其对应的样本标记，以及提取到的测试集S的表情特征集合S'及其对应的样本标记；
输出：测试集S的人脸表情识别结果；
表情分类算法选用KNN(k-Nearest Neighbor，k-最近邻)分类算法，它的核心思想是在训练集样本中找到测试样本的k个最邻近样本，然后根据这k个最邻近样本的类别来判定待测样本的类别；通过10折交叉验证法，取10次实验结果的平均值作为算法的表情识别率，最终完成局部遮挡条件下的人脸表情识别。
本发明提出的低维Gabor特征提取方法相对于传统的Gabor特征提取方法，具有以下优势：
(1)对GMPs的分块处理，一方面增加了脸部的空间位置信息，为表情的识别提供了更多的参考依据；另一方面，可在一定程度上，成功地将未被遮挡的 区域和遮挡区域分离开来；
(2)对分块的GMP进行均值和标准差两个统计量的计算，实质上是将一个多像素点的图像子块用两个统计量数值进行表示，极大地降低了特征向量的维数，简化了后续表情识别过程的计算量，对加快表情识别的速度起到了积极作用。
有益效果
本发明针对局部遮挡条件下的人脸表情识别，提出一种新的基于Gabor小波和灰度共生矩阵的人脸表情识别算法。该算法一改传统Gabor特征维数较高的缺点，设计了一种分块提取Gabor特征统计量的算法，在保留了人脸空间特征的同时降低了Gabor特征维数；同时，考虑到Gabor特征的分块处理会造成像素空间相关性的缺失，该算法将反映像素间位置分布特性的灰度共生矩阵引入到表情识别领域，增强了像素点间的相互联系，弥补了Gabor特征分块处理产生的不足；最后，将提取的Gabor特征统计量和灰度共生矩阵纹理特征进行线性叠加，生成一组用于特征表达的低维特征向量，实现了表情特征的融合与有效降维，能够在保证较高表情识别率的前提下，大大提高识表情别速率。与传统的基于Gabor小波的人脸表情识别算法相比，本发明在JAFFE和RaFD数据库上都取得了较高的识别率和较快的识别速率，最高识别率分别为90.90％和87.73％，最快的识别速率分别为0.2981秒和0.7442秒。整体的算法流程如图3所示。
附图说明
图1、基于Gabor小波和灰度共生矩阵的表情特征提取流程图
图2、单幅GMP图像进过分块处理后的结果图
图3、整体算法流程图
图4、对JAFFE和RaFD数据库图像进行遮挡处理的示意图
图5 JAFFE数据库上各算法的表情识别率
图6 RaFD数据库上各算法的表情识别率
图7 JAFFE和RaFD数据库上各算法的平均分类时间
具体实施方式
本发明采取的技术方案为：
一种基于Gabor小波和灰度共生矩阵的人脸表情识别算法。该方法首先通过手工分割的方法提取出表情图像中的“纯脸”区域，并进行彩色图像灰度化、直方图均衡化以及尺度归一化处理；然后提出了一种新的基于Gabor小波和灰度共生矩阵的表情特征提取算法，通过一种分块提取Gabor特征统计量的方法，大大降低了传统Gabor特征的数据冗余，并首次将反映图像纹理特征的灰度共生矩阵引入到表情识别领域，以此来弥补Gabor特征分块处理造成的像素空间相关性缺失的不足；最终生成了一组用于特征表达的低维特征向量，在保证较高表情识别 率的前提下，大大提高了表情识别速率。实验结果表明，与传统的基于Gabor小波的人脸表情识别算法相比，该方法在JAFFE数据库和RaFD数据库上都取得了较高的识别率和较快的识别速率，最高识别率分别为90.90％和87.73％，最快的识别速率分别为0.2981秒和0.7442秒。
本发明具体步骤如下：
步骤(1)，采集样本
本发明选择JAFFE数据库和RaFD数据库作为实验样本，前者选取了该库中所有10个人的213幅表情图像，包含6种基本表情和中性表情，每种表情图像的数量均在30幅左右；后者选取了17个不同种族、不同年龄、不同性别的人的6种基本表情和中性表情的正面人脸图像，共计353幅图像作为实验样本，并保证了每种表情图像数量相当。
本发明研究的是局部遮挡条件下的人脸表情识别算法，但是由于目前尚没有一个通用的局部遮挡条件下的人脸表情库可供使用，所以本发明按照多数研究者采取的方法，即在常用的人脸表情库上进行遮挡处理以获取实验数据。本发明在以上选取的JAFFE和RaFD数据库上用黑色矩形框分别进行了眼遮挡、嘴遮挡、上脸遮挡、下脸遮挡、左脸遮挡和右脸遮挡，共6种不同形式的遮挡，以此来模拟现实生活中出现的各类遮挡情况。JAFFE和RaFD两个数据库中的图像经过6种遮挡处理的示意图如图4所示。
本发明的目的是识别测试集中的图像对应的表情类别，按照识别的正确与否，得到本发明的人脸表情识别率。
步骤(2)，样本预处理
步骤(2.1)，人脸检测
为了排除背景、头发等噪声干扰，实验依靠图像处理软件，以双眼位置为基准获取人脸位置，并通过手工分割的方法获得图像中的“纯脸”区域；
步骤(2.2)，彩色图像灰度化
彩色图像对光源十分敏感，受光照影响较大，因此，多数的人脸表情识别方法都是将彩色图转化为灰度图，以灰度图为基础进行运算。本发明采用加权平均法将彩色图像转换为灰度图像；
步骤(2.3)，直方图均衡化
在图像采集过程中，光照的变化容易导致图像呈现不同的明暗程度，不利于表情特征的提取。因此本发明采用直方图均衡化方法降低光照变化对图像造成的影响，此外直方图均衡化还可以消除不同种族个体之间肤色的差异；
步骤(2.4)，尺度归一化
经过人脸检测获得的表情图像往往大小不一，不能形成统一的规格，这样不 利于后续的特征提取和表情分类工作。本发明采用尺度归一化方法将以上步骤分割得到的“纯脸”图像归一化到80×70大小；
步骤(3)，特征提取
采用基于Gabor小波和灰度共生矩阵的特征提取算法分别对预处理后的X和S内的每幅图像进行表情特征提取，该算法过程分为三部分：低维Gabor特征统计量的提取、灰度共生矩阵特征的提取、高斯归一化。具体的过程描述如下：
步骤(3.1)，低维Gabor特征统计量的提取
低维Gabor特征的提取是在传统Gabor特征提取的基础上，对Gabor滤波后生成的Gabor幅度图(Gabor Magnitude Pictures,GMPs)进行分块处理，再求取每个子块的特征统计量实现的，具体分为以下两个步骤：
步骤(3.1.1)，传统Gabor特征的提取：将预处理后的训练集X和测试集S分别与二维Gabor小波函数作卷积，本发明选用5个尺度、8个方向，共40个Gabor滤波器与表情图像进行卷积，并且仅选用变换相对平稳的Gabor幅度信息作为有效信息，即每幅表情图像转化为40张GMPs，每幅GMPs对应的Gabor系数值即为所提取的Gabor特征；
步骤(3.1.2)，分块的Gabor特征统计量的提取：利用传统算法提取图像Gabor特征时，一幅图像经过Gabor滤波后，其特征维数会扩大40倍，而且表情图像本身就属于高维数据，所以采用传统的Gabor特征提取方法可能会造成所谓的“维数灾难”，导致整个表情识别过程耗时较长。因此，本发明针对传统Gabor特征提取算法的不足，设计实现了一种分块的Gabor特征统计量的提取算法：
为了更有效表征人脸，依据面部主要器官的分布特性对人脸进行分块处理。具体的分块处理方法，是对每幅GMP在垂直方向按照图像高度进行上、中、下三等分，然后将最上面一部分按照图像宽度进行二等分，最终形成了4个子块：R0、R1、R2、R3，四个子块分别对应包含左眼、右眼、鼻子和嘴四类主要器官。单幅GMP图像经过分块处理后的结果图如图2所示。
一幅表情图像经过传统的Gabor特征提取后生成40张GMPs，每张GMP经过分块处理被划分为4个子块，即一幅图像经过分块的Gabor特征提取后，会形成40×4＝160个局部子块。对GMP图像进行分块处理，只是在提取的特征中加入了面部的空间信息，并没有从根本上降低Gabor特征的维数。所以本发明继续对分块的Gabor特征进行处理：在统计工作中，均值和标准差是描述数据集中趋势和离散程度的两个最重要的统计量，能够反映出数据的本质特征。因此本发明选用均值μu,v和标准差σu,v来统计每个GMP局部子块的数据，用于表示每个GMP的特征。两个统计量的计算公式如下：
式(1)、(2)中，GMu,v(x,y)是指第u个尺度、第v方向下的GMP子块，m×n是指相应子块的大小。
最后将每幅GMP的每个子块提取的2维特征统计量串联在一起，形成一个40×4×2＝320维的特征向量，即为所求的低维Gabor特征统计量。
步骤(3.2)，灰度共生矩阵特征的提取
步骤(3.2.1)求取灰度共生矩阵时，方向角θ选取0°、45°、90°和135°四个方向，距离分差值d＝1，灰度级G从256级压缩至16级；
步骤(3.2.2)，灰度共生矩阵无法直接进行特征表达，需要对其进行特征统计量的计算，本发明选取对比度、差熵、能量和相关4个特征统计量作为灰度共生矩阵的特征表达；
最后，求取4个统计量的均值和标准差作为纹理特征量，既一幅表情图像最终形成一个8维的灰度共生矩阵特征向量。
步骤(3.3)，高斯归一化
将步骤(3.1)和步骤(3.2)中提取的图像特征进行线性组合，生成一组328维的低维特征向量；对该特征向量进行内部向量的高斯归一化处理，使各分量具有相同的权重，以提高图像判别的速度和成功率，即一幅表情图像最终由一组328维的特征向量进行表达；
步骤(4)，对测试集样本进行表情识别，输出样本对应的表情类别
输入：通过以上步骤提取到的训练集X的表情特征集合X'及其对应的样本标记，以及提取到的测试集S的表情特征集合S'及其对应的样本标记；
输出：测试集S的人脸表情识别结果；
本发明选用KNN分类算法进行测试样本的表情分类，K取值为1，并通过10折交叉验证法，取10次实验结果的平均值作为算法的表情识别率，最终完成局部遮挡条件下的人脸表情识别。
因为人脸表情识别通常以测试集的人脸表情识别率为识别结果(即测试集中正确分类的样本占测试集中样本总数的比例)，因此本发明在得到了测试集样本对应的标记后，将其与测试集样本的真实标记相比较，从而得到了测试集样本的人脸表情识别率。
为了检验本发明所提出的算法的性能，分别在JAFFE数据库和RaFD数据库上进行了实验。将每个数据库中图像分为10组，轮流将其中的9组作为训练 集，剩余的1组作为测试集，取10此实验得到的人脸表情识别率的平均值作为算法识别率。表情类别为：生气、厌恶、悲伤、高兴、恐惧、惊奇以及中性。基本分类器采用k近邻分类器。对比算法采用传统的Gabor算法和Gabor多尺度特征融合与LGBPHS相结合算法(F-LGBPHS)。这两种算法都是基于Gabor的局部遮挡条件下的特征提取算法，且这两种算法的特征提取性能较为优越，均为近三年的较新算法。实验结果如表1和表2所示。
表1 JAFFE数据库上各算法的表情识别率
表2 RaFD数据库上各算法的表情识别率
表1和表2中的实验结果表明：一方面，本发明算法在JAFFE和RaFD数据库上都达到了较高的识别率，优于传统Gabor算法和F-LGBPHS算法：
在JAFFE数据库上，无遮挡的情况下，各个算法均达到了较高的识别率，本文算法取得了最高的91.13％的识别率。在遮挡情况下，各个算法的识别率都有所损失。在面部不同区域、不同程度被遮挡时，本发明算法的识别率均高于传统Gabor算法和F-LGBPHS算法，说明本发明算法具有较强的鲁棒性。
在RaFD数据库上，各个算法的识别率均低于JAFFE数据库上的识别率。这是由于JAFFE数据库中的表情样本均取自于日本女性，民族和性别相对单一；而RaFD数据库内包含不同民族、不同年龄、不同性别的表情样本，不同个体的表情强度和外貌存在较大差异，易造成算法对表情的误判。在表情个体存在较大差异的RaFD数据库上，本发明算法仍然优于传统的Gabor算法和F-LGBPHS算法，保持了较高的识别率，这充分说明了本发明算法在一定程度上能够避免个体差异对表情特征的影响，降低了错误分类的风险，进一步说明了本发明算法具有较强的鲁棒性。
另一方面，由于本发明算法在提取Gabor特征时，没有沿用传统Gabor算法的高维特征数据，而是对每个尺度每个方向下的GMP进行了分块提取均值和标 准差两个统计量。一方面保留了人脸器官的空间特征，另一方面大大降低了Gabor特征维数。最后结合了低维的灰度共生矩阵特征向量，高斯归一化后生成了用于特征表达的低维特征向量。正是将这低维特征向量输入分类器，大大减少了特征分类阶段的计算量，使得本发明算法在两个数据库上的平均分类时间分别达到0.2981秒和0.7442秒，相对于其他两种基线算法，分类速率大大提高，增强了表情识别的实时性。
综上所述，本发明算法能够在多数据库的条件下，克服表情个体差异性带来的负面影响，对人脸不同区域、不同程度遮挡的表情保持较高的识别率，算法具有较强的鲁棒性和较快的识别速率。
Claims (1)
1.一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法，其特征在于,
步骤如下：
步骤(1)，采集样本
采集若干个人的N张局部遮挡的正面人脸表情静态图像，每张图像对应的表情类别即为该图像的样本标记，所有表情图像及其对应的样本标记构成实验样本；采用交叉验证中的10折交叉验证法，将实验样本划分成10等份，轮流将其中9份作为训练集X，剩余的1份作为测试集S，最后取10次实验结果正确率的平均值作为对算法识别准确率的估计；
步骤(2)，样本预处理
处理对象是训练集X和测试集S内的所有表情图像，具体的预处理过程如下：
步骤(2.1)，以双眼位置为基准获取人脸位置，并手工分割出“纯脸”区域；
步骤(2.2)，采用加权平均法将彩色图像转换为灰度图像；
步骤(2.3)，采用直方图均衡化方法降低光照变化对图像造成的影响；
步骤(2.4)，对图像进行尺度归一化处理；
步骤(3)，特征提取；
采用基于Gabor小波和灰度共生矩阵的特征提取算法分别对预处理后的X和S内的每幅图像进行表情特征提取，该算法过程分为三部分：低维Gabor特征统计量的提取、灰度共生矩阵特征的提取、高斯归一化；具体的过程描述如下：
步骤(3.1)，低维Gabor特征统计量的提取
低维Gabor特征的提取是在传统Gabor特征提取的基础上，对Gabor滤波后生成的Gabor幅度图进行分块处理，再求取每个子块的特征统计量实现的，具体分为以下两个步骤：
步骤(3.1.1)，传统Gabor特征的提取：将预处理后的训练集X和测试集S分别与二维Gabor小波函数作卷积，本方法选用5个尺度、8个方向，共40个Gabor滤波器与表情图像进行卷积，并且仅选用变换相对平稳的Gabor幅度信息作为有效信息，即每幅表情图像转化为40张GMPs，每幅GMPs对应的Gabor系数值即为所提取的Gabor特征；
步骤(3.1.2)，分块的Gabor特征统计量的提取：利用传统算法提取图像Gabor特征时，一幅图像经过Gabor滤波后，其特征维数会扩大40倍，而且表情图像本身就属于高维数据，所以采用传统的Gabor特征提取方法可能会造成所谓的“维数灾难”，导致整个表情识别过程耗时较长；因此，本方法针对传统Gabor特征提取算法的不足，设计实现了一种分块的Gabor特征统计量的提取算法：
为了更有效表征人脸，依据面部主要器官的分布特性对人脸进行分块处理；具体的分块处理方法，是对每幅GMP在垂直方向按照图像高度进行上、中、下三等分，然后将最上面一部分按照图像宽度进行二等分，最终形成了4个子块：R0、R1、R2、R3，四个子块分别对应包含左眼、右眼、鼻子和嘴四类主要器官；
一幅表情图像经过传统的Gabor特征提取后生成40张GMPs，每张GMP经过分块处理被划分为4个子块，即一幅图像经过分块的Gabor特征提取后，会形成40×4＝160个局部子块；对GMP图像进行分块处理，只是在提取的特征中加入了面部的空间信息，并没有从根本上降低Gabor特征的维数；所以继续对分块的Gabor特征进行处理：在统计工作中，均值和标准差是描述数据集中趋势和离散程度的两个最重要的统计量，能够反映出数据的本质特征；因此选用均值μu,v和标准差σu,v来统计每个GMP局部子块的数据，用于表示每个GMP的特征；两个统计量的计算公式如下：
式(1)、(2)中，GMu,v(x,y)是指第u个尺度、第v个方向下的GMP子块，m×n是指相应子块的大小；
最后将每幅GMP的每个子块提取的2维特征统计量串联在一起，形成一个40×4×2＝320维的特征向量，即为所求的低维Gabor特征统计量；
步骤(3.2)，灰度共生矩阵特征的提取；
步骤(3.2.1)求取灰度共生矩阵时，方向角θ选取0°、45°、90°和135°四个方向，距离分差值d＝1，灰度级G从256级压缩至16级；
步骤(3.2.2)，灰度共生矩阵无法直接进行特征表达，需要对其进行特征统计量的计算，选取对比度、差熵、能量和自相关4个特征统计量作为灰度共生矩阵的特征表达；
最后，求取4个特征统计量的均值和标准差作为纹理特征量，既一幅表情图像最终形成一个8维的灰度共生矩阵特征向量；
步骤(3.3)，高斯归一化
将步骤(3.1)和步骤(3.2)中提取的图像特征进行线性组合，生成一组328维的低维特征向量；对该特征向量进行内部向量的高斯归一化处理，使各分量具有相同的权重，以提高图像判别的速度和成功率，即一幅表情图像最终由一组328维的特征向量进行表达；
步骤(4)，样本分类
输入：通过以上步骤提取到的训练集X的表情特征集合X'及其对应的样本标记，以及提取到的测试集S的表情特征集合S'及其对应的样本标记；
输出：测试集S的人脸表情识别结果；
表情分类算法选用KNN分类算法，其核心思想是在训练集样本中找到测试样本的k个最邻近样本，然后根据这k个最邻近样本的类别来判定待测样本的类别；通过10折交叉验证法，取10次实验结果的平均值作为算法的表情识别率，最终完成局部遮挡条件下的人脸表情识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510370315.XA CN105005765B (zh) | 2015-06-29 | 2015-06-29 | 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510370315.XA CN105005765B (zh) | 2015-06-29 | 2015-06-29 | 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105005765A CN105005765A (zh) | 2015-10-28 |
| CN105005765B true CN105005765B (zh) | 2018-08-28 |
Family
ID=54378430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510370315.XA Active CN105005765B (zh) | 2015-06-29 | 2015-06-29 | 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105005765B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488461A (zh) * | 2015-11-24 | 2016-04-13 | 苏州铭冠软件科技有限公司 | 基于Gabor特征的人脸检测方法 |
| CN106991385A (zh) * | 2017-03-21 | 2017-07-28 | 南京航空航天大学 | 一种基于特征融合的人脸表情识别方法 |
| CN107133590B (zh) * | 2017-05-04 | 2018-09-21 | 上海天使印记信息科技有限公司 | 一种基于人脸图像的身份识别系统 |
| CN107358180B (zh) * | 2017-06-28 | 2021-08-03 | 江苏爱朋医疗科技股份有限公司 | 一种人脸表情的疼痛评估方法 |
| CN107832740B (zh) * | 2017-11-28 | 2020-08-25 | 中国地质大学（武汉） | 一种远程教学的教学质量评估方法及系统 |
| CN108596872B (zh) * | 2018-03-08 | 2021-09-28 | 北京交通大学 | 基于Gabor小波和SVM的钢轨病害的检测方法 |
| CN110309692B (zh) * | 2018-03-27 | 2023-06-02 | 杭州海康威视数字技术股份有限公司 | 人脸识别方法、装置及系统、模型训练方法及装置 |
| CN108695000B (zh) * | 2018-05-11 | 2022-07-01 | 哈尔滨工业大学 | 基于超声图像的甲状腺弥漫性疾病智能诊断系统 |
| CN109159129A (zh) * | 2018-08-03 | 2019-01-08 | 深圳市益鑫智能科技有限公司 | 一种基于人脸表情识别的智能陪伴机器人 |
| CN109492557B (zh) * | 2018-10-28 | 2021-09-10 | 北京工业大学 | 一种基于au共生关系约束的自然场景下面部表情识别方法 |
| CN109711297A (zh) * | 2018-12-14 | 2019-05-03 | 深圳壹账通智能科技有限公司 | 基于面部图片的风险识别方法、装置、计算机设备及存储介质 |
| CN109846649A (zh) * | 2019-01-08 | 2019-06-07 | 张典文 | 自动化医疗器械授权系统 |
| CN109635789B (zh) * | 2019-01-23 | 2020-11-03 | 西安电子科技大学 | 基于强度比和空间结构特征提取的高分辨sar图像分类方法 |
| CN110852291A (zh) * | 2019-11-15 | 2020-02-28 | 太原科技大学 | 一种采用Gabor变换和分块降维的腭皱识别方法 |
| CN113630608B (zh) * | 2020-05-06 | 2024-05-28 | 北京君正集成电路股份有限公司 | 一种频域去噪滤波的方法 |
| CN111652166B (zh) * | 2020-06-08 | 2022-08-30 | 重庆科技学院 | 基于细胞神经网络异联想记忆模型的掌纹和人脸识别方法 |
| CN112084888A (zh) * | 2020-08-19 | 2020-12-15 | 北京影谱科技股份有限公司 | 一种基于Gabor小波的人脸表情识别方法及装置 |
| CN115439938B (zh) * | 2022-09-09 | 2023-09-19 | 湖南智警公共安全技术研究院有限公司 | 一种防分裂的人脸档案数据归并处理方法及系统 |
| CN117253279A (zh) * | 2023-11-17 | 2023-12-19 | 蓝色火焰科技成都有限公司 | 基于车载信息服务单元的车辆远程控制方法、装置及介质 |
| CN117765656A (zh) * | 2024-02-21 | 2024-03-26 | 四川省肿瘤医院 | 住院部各病区闸机的控制方法和控制系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103116765A (zh) * | 2013-03-18 | 2013-05-22 | 山东大学 | 一种奇、偶分组的局部二元模式的人脸表情识别方法 |
| CN103646234A (zh) * | 2013-11-15 | 2014-03-19 | 天津天地伟业数码科技有限公司 | 基于lgbph特征的人脸识别方法 |
| CN103778434A (zh) * | 2014-01-16 | 2014-05-07 | 重庆邮电大学 | 一种基于多分辨率多阈值局部二值模式的人脸识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8331698B2 (en) * | 2010-04-07 | 2012-12-11 | Seiko Epson Corporation | Ethnicity classification using multiple features |
-
2015
- 2015-06-29 CN CN201510370315.XA patent/CN105005765B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103116765A (zh) * | 2013-03-18 | 2013-05-22 | 山东大学 | 一种奇、偶分组的局部二元模式的人脸表情识别方法 |
| CN103646234A (zh) * | 2013-11-15 | 2014-03-19 | 天津天地伟业数码科技有限公司 | 基于lgbph特征的人脸识别方法 |
| CN103778434A (zh) * | 2014-01-16 | 2014-05-07 | 重庆邮电大学 | 一种基于多分辨率多阈值局部二值模式的人脸识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种用于表情识别的局部判别分量分析算法;蒋斌 等;《电子学报》;20140131(第1期);第155-159页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105005765A (zh) | 2015-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105005765B (zh) | 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 | |
| CN107273845B (zh) | 一种基于置信区域和多特征加权融合的人脸表情识别方法 | |
| CN104866829B (zh) | 一种基于特征学习的跨年龄人脸验证方法 | |
| CN103324944B (zh) | 一种基于svm和稀疏表示的假指纹检测方法 | |
| US8472681B2 (en) | Iris and ocular recognition system using trace transforms | |
| CN108491077A (zh) | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 | |
| CN105389593A (zh) | 基于surf特征的图像物体识别方法 | |
| CN111126240B (zh) | 一种三通道特征融合人脸识别方法 | |
| CN108122008A (zh) | 基于稀疏表示和多特征决策级融合的sar图像识别方法 | |
| Liu et al. | Finger vein recognition with superpixel-based features | |
| CN105956570B (zh) | 基于唇部特征和深度学习的笑脸识别方法 | |
| CN104008375A (zh) | 基于特征融合的集成人脸识别方法 | |
| CN104156690B (zh) | 一种基于图像空间金字塔特征包的手势识别方法 | |
| CN109544564A (zh) | 一种医疗图像分割方法 | |
| CN108288048A (zh) | 基于改进头脑风暴优化算法的面部情绪识别特征选择方法 | |
| CN109284781A (zh) | 基于流形学习的图像分类算法和系统 | |
| CN110222660B (zh) | 一种基于动态与静态特征融合的签名鉴伪方法及系统 | |
| Yuan et al. | Fingerprint liveness detection using histogram of oriented gradient based texture feature | |
| CN109523484B (zh) | 一种基于分形特征的手指静脉血管网络修复方法 | |
| CN110866547A (zh) | 基于多特征和随机森林的中药饮片自动分类系统及方法 | |
| CN108280417A (zh) | 一种手指静脉快速识别方法 | |
| CN109344779A (zh) | 一种基于卷积神经网络的匝道场景下的人脸检测方法 | |
| Bilang et al. | Cactaceae detection using MobileNet architecture | |
| Hafeez et al. | Image processing approach for segmentation of WBC nuclei based on K-Means clustering | |
| GB2471192A (en) | Iris and Ocular Recognition using Trace Transforms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240206 Address after: 073099 Room 309, 3rd Floor, Commercial and Residential Building B, Xinhai Science and Technology Plaza, East Side of Beimen Street and South Side of Beimen Street Market, Dingzhou City, Baoding City, Hebei Province Patentee after: HEBEI HONGYI ENVIRONMENTAL PROTECTION TECHNOLOGY Co.,Ltd. Country or region after: China Address before: 100124 No. 100 Chaoyang District Ping Tian Park, Beijing Patentee before: Beijing University of Technology Country or region before: China |