CN105117708A - 人脸表情识别的方法和装置 - Google Patents

人脸表情识别的方法和装置 Download PDF

Info

Publication number
CN105117708A
CN105117708A CN201510567836.4A CN201510567836A CN105117708A CN 105117708 A CN105117708 A CN 105117708A CN 201510567836 A CN201510567836 A CN 201510567836A CN 105117708 A CN105117708 A CN 105117708A
Authority
CN
China
Prior art keywords
gabor
matrix
facial expression
vector
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510567836.4A
Other languages
English (en)
Inventor
孔令美
陆小军
张祥德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Techshino Technology Co Ltd
Original Assignee
Beijing Techshino Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Techshino Technology Co Ltd filed Critical Beijing Techshino Technology Co Ltd
Priority to CN201510567836.4A priority Critical patent/CN105117708A/zh
Publication of CN105117708A publication Critical patent/CN105117708A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸表情识别的方法和装置,属于人脸识别领域,所述人脸表情识别的方法包括:使用Gabor滤波器对待识别人脸表情图像进行滤波,得到待识别人脸表情图像的Gabor特征;选取若干个采样点,将采样点的Gabor特征组合成联合特征向量;通过PCA算法使用线性变换矩阵对所述联合特征向量进行降维,得到低维Gabor特征向量;通过SRC算法对所述低维Gabor特征向量进行分类,完成人脸表情识别。与现有技术相比,本发明的人脸表情识别的方法简单方便,识别准确率高,识别速度快。

Description

人脸表情识别的方法和装置
技术领域
本发明涉及人脸识别领域,特别是指一种人脸表情识别的方法和装置。
背景技术
人脸表情是人类用以表达情感,传递内心世界和态度的重要途经,人们可以运用表情表达自己的情绪。人们之间的信息传递7%源于词语,38%源于声音,而55%依赖于面部表情。这表明,面部表情在人们的交际中起着重要的作用。
人脸表情识别就是研究如何使计算机从静态图像或者视频序列中获取人脸表情并加以辨别的技术。如果计算机可以获取并且理解人脸表情,那么将在很大程度上改变人与计算机之间的关系,从而达到更好的人机交互效果。另外,人脸表情识别是一个典型的图像模式分析问题,涉及图像处理、模式识别、机器学习等多个交叉学科。人脸表情识别的深入研究,可以极大地促进这些学科的发展,通过识别出人的表情,进而可以分析人的精神状态和心理活动。
人脸表情识别方法主要包括表情特征提取和表情特征分类两个部分。现有的表情特征提取方法主要有:基于灰度特征分布的方法、基于频率特征提取方法和基于运动特征的方法等。现有的表情特征分类主要有线性分类器、人工神经网络分类器、支持向量机分类器和隐马尔科夫模型等。
现有的人脸表情识别方法普遍存在复杂度高,识别准确率低,识别速度慢的缺点。
发明内容
本发明提供一种人脸表情识别的方法和装置,该方法简单方便,识别准确率高,识别速度快。
为解决上述技术问题,本发明提供技术方案如下:
一种人脸表情识别的方法,包括:
使用Gabor滤波器对待识别人脸表情图像进行滤波,得到待识别人脸表情图像的Gabor特征;
选取若干个采样点,将采样点的Gabor特征组合成联合特征向量;
通过PCA算法使用线性变换矩阵对所述联合特征向量进行降维,得到低维Gabor特征向量;
通过SRC算法对所述低维Gabor特征向量进行分类,完成人脸表情识别。
一种人脸表情识别的装置,包括:
滤波模块,用于使用Gabor滤波器对待识别人脸表情图像进行滤波,得到待识别人脸表情图像的Gabor特征;
采样模块,用于选取若干个采样点,将采样点的Gabor特征组合成联合特征向量;
降维模块,用于通过PCA算法使用线性变换矩阵对所述联合特征向量进行降维,得到低维Gabor特征向量;
分类模块,用于通过SRC算法对所述低维Gabor特征向量进行分类,完成人脸表情识别。
本发明具有以下有益效果:
本发明中,首先使用Gabor滤波器对待识别人脸表情图像进行滤波,得到每个像素点的Gabor特征;然后选取若干个采样点,将其Gabor特征组合成联合特征向量;再通过PCA算法对联合特征向量进行降维,得到低维Gabor特征向量;最后通过SRC算法对得到的低维Gabor特征向量进行分类,完成人脸表情识别。
与现有技术相比,本发明使用Gabor滤波器提取特征,使用SRC算法进行分类识别,识别精度高,经测试,在JAFFE数据库上,取得了97.68%的识别正确率。
本发明仅使用采样点的Gabor特征,剔除了冗余信息,减少了运算量,提高了识别速度;并且本发明通过PCA算法对联合特征向量进行降维,简单方便,进一步减少了运算量,提高了识别速度。
故本发明的人脸表情识别的方法简单方便,识别准确率高,识别速度快。
附图说明
图1为本发明的人脸表情识别的方法流程图;
图2为本发明的人脸表情识别的装置示意图;
图3为本发明的人脸表情识别的方法的一个实施例的流程图;
图4为本发明中经过预处理的人脸表情图像的示例图;
图5为本发明中采样点在人脸表情图像上的分布示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
一方面,本发明提供一种人脸表情识别的方法,如图1所示,包括:
步骤S101:使用Gabor滤波器对待识别人脸表情图像进行滤波,得到待识别人脸表情图像的Gabor特征;
本发明选择不同方向,不同尺度的多个Gabor滤波器对图像进行滤波,所谓的尺度是表示Gabor滤波器的中心频率的物理量,尺度与中心频率成反比。
步骤S102:选取若干个采样点,将采样点的Gabor特征组合成联合特征向量;
Gabor特征维数很高,而相邻像素的Gabor特征相关度较高、信息冗余大,故只需稀疏的提取部分采样点上的Gabor特征即可,可以在人脸表情图像上均匀的选取若干行和若干列的采样点,采样点的选取可以根据实际情况(如人脸表情图像的大小、要求达到的识别精度等)确定。
步骤S103:通过PCA算法使用线性变换矩阵对联合特征向量进行降维,得到低维Gabor特征向量;
采样后的联合特征列向量仍然是高维特征,则需要通过组合特征来降低维数,利用PCA(主成分分析)算法对采样后的联合特征列向量进行降维,线性变换矩阵是预先训练得到的降维矩阵。
步骤S104:通过SRC算法对低维Gabor特征向量进行分类,完成人脸表情识别;使用SRC(基于稀疏表示的分类方法)进行分类。
本发明中,首先使用Gabor滤波器对待识别人脸表情图像进行滤波,得到每个像素点的Gabor特征;然后选取若干个采样点,将其Gabor特征组合成联合特征向量;再通过PCA算法对联合特征向量进行降维,得到低维Gabor特征向量;最后通过SRC算法对得到的低维Gabor特征向量进行分类,完成人脸表情识别。
与现有技术相比,本发明使用Gabor滤波器提取特征,使用SRC算法进行分类识别,识别准确率高,经测试,在JAFFE数据库上,取得了97.68%的识别正确率。
本发明仅使用采样点的Gabor特征,剔除了冗余信息,减少了运算量,提高了识别速度;并且本发明通过PCA算法对联合特征向量进行降维,简单方便,进一步减少了运算量,提高了识别速度。
故本发明的人脸表情识别的方法简单方便,识别准确率高,识别速度快。
作为本发明的人脸表情识别的方法的一种改进,使用Gabor滤波器对待识别人脸表情图像进行滤波,得到待识别人脸表情图像的Gabor特征(步骤S101)之前还需要对待识别人脸表情图像进行预处理,预处理可以包括:
步骤S1001:对待识别人脸表情图像进行光照处理和灰度归一化处理;
为减少光照噪声等因素对人脸检测和特征点定位的精度影响,首先对待识别人脸表情图像进行光照处理和灰度归一化处理,通过直方图均衡化及滤波等图像处理技术提高图像质量。
步骤S1002:通过Adaboost算法对光照处理后的人脸表情图像进行检测,定位人脸的位置;
步骤S1003:通过主动形状模型算法在人脸上定位特征点,特征点包括眼睛;
步骤S1004:根据定位到的眼睛位置对待识别人脸表情图像进行几何归一化,将各图像中的人脸变换到同一位置和大小,能够方便的提取Gabor特征。
本发明对待识别人脸表情图像进行光照以及灰度归一化处理,减少光照噪声等因素对识别的影响;几何归一化能够使提取Gabor特征更方便。
作为本发明的的人脸表情识别的方法的另一种改进,Gabor滤波器的数量可以为5尺度8方向共40个,Gabor滤波器的方向包括0,π/8,2π/8,3π/8,4π/8,5π/8,6π/8,7π/8共8个方向,每个方向上的尺度包括共5个尺度,并且本发明的采样点可以选择为8行8列规则分布的采样点;这样能够保证提取到的Gabor特征(联合特征向量)的完整性,进一步提高了识别的准确率,并且兼顾了系统运行效率。
本发明的Gabor滤波器的核函数为简化后的Gabor核函数,选取标准Gabor核函数(标准Gabor核函数见后文的公式(1))的95%能量所在的中心区域作为简化后的Gabor核函数;由于Gabor核函数的主要能量集中在中心位置,边界位置只存储了能量的一小部分,故可以选取Gabor核函数中心区域作为简化后的Gabor核函数;这样减小了Gabor核函数的大小,提高了Gabor滤波器对图像进行滤波的效率,进一步加快了识别速度。
故本发明进一步提高了识别的准确率,进一步加快了识别速度。
作为本发明的人脸表情识别的方法的再一种改进,线性变换矩阵通过以下方法得到:
将第一特征矩阵进行归一化处理,第一特征矩阵由第一训练样本集中所有样本的联合特征向量组成;
第一样本集包括多个样本,每个样本的联合特征向量(列向量)依次排列,得到第一特征矩阵,为方便后续的计算,需要对第一特征矩阵进行归一化处理。
计算归一化后的第一特征矩阵的协方差矩阵;协方差矩阵是一个矩阵,其每个元素是各个向量元素之间的协方差。
计算协方差矩阵的特征值和特征向量;
将特征值由大到小排列,选择前F个特征值,使它们的和达到所有特征值之和的85%到95%之间;优选95%(累计贡献率在85%到95%之间);
取前F个特征值对应的特征向量组成矩阵并将其转置,得到线性变换矩阵。使用线性变换矩阵与待识别人脸表情图像的联合特征向量相乘,即得到低维Gabor特征向量。本发明还可以将第一特征矩阵与线性变换矩阵相乘,使得第一训练样本集的联合特征向量降维成低维Gabor特征向量,为后续分类识别作准备(即作为后文的第二训练样本集)。
本发明通过第一训练样本集训练得到线性变换矩阵,选择累计贡献率达到85%至95%,使得降维后的低维Gabor特征向量能最大可能地还原原始数据(联合特征向量)。
作为本发明的人脸表情识别的方法的再一种改进,通过SRC算法对低维Gabor特征向量进行分类,完成人脸表情识别(步骤S104)包括:
步骤S1041:将第二特征矩阵进行归一化处理,第二特征矩阵由第二训练样本集中所有样本的低维Gabor特征向量组成,每个表情对应至少一个样本;
此处的第二练样本集可以是第一训练样本集经过降维后得到的,也可以是新的样本集。第二练样本集中包括多个样本,这些样本按照表情分为若干个类,每个类至少包含一个样本。为方便计算,本发明将第二特征矩阵的每一个列向量(即每一个低维Gabor特征向量)进行归一化处理,使得其范数相等,优选为单位范数(即单位列向量)。
步骤S1042:将待识别人脸表情图像的低维Gabor特征向量使用归一化后的第二特征矩阵稀疏表示,得到全局表示系数;
对任何一个待识别人脸表情图像的低维Gabor特征向量,都可以用第二特征矩阵的各个低维Gabor特征向量线性表示,其中各个低维Gabor特征向量的系数为全局表示系数,全局表示系数不唯一,选择范数最小的全局表示系数,将待识别人脸表情图像的低维Gabor特征向量表示出来(即稀疏表示)。
步骤S1043:计算待识别人脸表情图像的低维Gabor特征向量相对于每个表情的残差;
对每一个表情,将全局表示系数中对应该表情的样本的低维Gabor特征向量的系数保留,其他系数置零,计算待识别人脸表情图像的低维Gabor特征向量的估计值,计算估计值与实际值的差的范数,作为残差。
步骤S1044:找出残差的最小值,其对应的表情即为待识别人脸表情图像的表情。
需要注意的是,SRC算法不需要训练,本发明中的第二练样本集只是一个名字。
本发明使用SRC(基于稀疏表示的分类方法)算法,不需要训练,直接使用训练样本集完成识别,简单方便。
另一方面,本发明提供一种人脸表情识别的装置,如图2所示,包括:
滤波模块11,用于使用Gabor滤波器对待识别人脸表情图像进行滤波,得到待识别人脸表情图像的Gabor特征;
采样模块12,用于选取若干个采样点,将采样点的Gabor特征组合成联合特征向量;
降维模块13,用于通过PCA算法使用线性变换矩阵对联合特征向量进行降维,得到低维Gabor特征向量;
分类模块14,用于通过SRC算法对低维Gabor特征向量进行分类,完成人脸表情识别。
本发明的人脸表情识别的装置简单方便,识别准确率高,识别速度快。
作为本发明的人脸表情识别的装置的一种改进,滤波模块之前还包括预处理模块,所述预处理模块包括:
处理单元,用于对待识别人脸表情图像进行光照处理和灰度归一化处理;
检测单元,用于通过Adaboost算法对光照处理后的人脸表情图像进行检测,定位人脸的位置;
定位单元,用于通过主动形状模型算法在人脸上定位特征点,特征点包括眼睛;
第一归一化单元,用于根据定位到的眼睛位置对待识别人脸表情图像进行几何归一化。
本发明对待识别人脸表情图像进行光照以及灰度归一化处理,减少光照噪声等因素对识别的影响;几何归一化能够使提取Gabor特征更方便。
作为本发明的人脸表情识别的装置的另一种改进,Gabor滤波器为5尺度8方向,Gabor滤波器的方向包括0,π/8,2π/8,3π/8,4π/8,5π/8,6π/8,7π/8,每个方向上的尺度包括Gabor滤波器的核函数为简化Gabor核函数,简化Gabor核函数为标准Gabor核函数的95%能量所在的中心区域组成的函数;采样点为8行8列规则分布的采样点。
本发明进一步提高了识别的准确率,进一步加快了识别速度。
作为本发明的人脸表情识别的装置的再一种改进,线性变换矩阵通过以下单元得到:
第二归一化单元,用于将第一特征矩阵进行归一化处理,第一特征矩阵由第一训练样本集中所有样本的联合特征向量组成;
第一计算单元,用于计算归一化后的第一特征矩阵的协方差矩阵;
第二计算单元,用于计算协方差矩阵的特征值和特征向量;
第一选择单元,用于将特征值由大到小排列,选择前F个特征值,使它们的和达到所有特征值之和的85%到95%之间;
第二选择单元,用于取前F个特征值对应的特征向量组成矩阵并将其转置,得到线性变换矩阵。
本发明通过第一训练样本集训练得到线性变换矩阵,选择累计贡献率达到85%至95%,使得降维后的低维Gabor特征向量能最大可能地还原原始数据(联合特征向量)。
作为本发明的人脸表情识别的装置的再一种改进,分类模块包括:
第三归一化单元,用于将第二特征矩阵进行归一化处理,第二特征矩阵由第二训练样本集中所有样本的低维Gabor特征向量组成,每个表情对应至少一个样本;
稀疏表示单元,用于将待识别人脸表情图像的低维Gabor特征向量使用归一化后的第二特征矩阵稀疏表示,得到全局表示系数;
残差计算单元,用于计算待识别人脸表情图像的低维Gabor特征向量相对于每个表情的残差;
识别单元,用于找出残差的最小值,其对应的表情即为待识别人脸表情图像的表情。
本发明使用SRC(基于稀疏表示的分类方法)算法,不需要训练,直接使用训练样本集完成识别,简单方便。
下面以一个具体的实施例来对本发明进行解释,如图3所示:
图3表明了本实施例的基本流程。主要分为表情图像预处理、Gabor特征提取、基于稀疏表示的分类三部分。
(1)图像预处理过程:
在人脸表情识别过程中,预处理是一个非常重要的步骤。
为减少光照噪声等因素对人脸检测和特征点定位的精度影响,首先对人脸表情库中的待处理图像进行光照处理和灰度归一化处理,通过直方图均衡化及滤波等图像处理技术提高图像质量。
利用基于Adaboot算法的人脸检测方法对表情库中的图像进行检测,定位人脸位置,并结合主动形状模型(ASM)算法对表情人脸进行特征点定位,根据眼睛坐标对人脸图像进行几何归一化,将各图像中的人脸变换到同一位置和大小,本文归一化的图像大小为105×105。图4表明了经过预处理后的图像。
(2)Gabor特征提取过程
小波变换是图像的多尺度表示和分析的有力工具,作为唯一能够取得空域和频域联合测不准下限的Gabor函数经常被用作小波基函数,对图像进行各种分析。它具有局部性、方向选择性,能够精确的提取人脸图像的局部特征,具有一定的抗干扰能力,因此广泛应用于人脸的特征提取中。
二维Gabor滤波器的核函数可以表示为下式:
ψ ( x → ) = | | k → j | | 2 σ 2 exp ( - | | k → j | | 2 | | x → j | | 2 2 σ 2 ) [ exp ( i k → j x → j ) - exp ( - σ 2 ) ] - - - ( 1 )
Gabor滤波器为:
J i ( x → ) = ∫ I ( x → ′ ) ψ j ( x - x → ′ ) d 2 x → ′ - - - ( 2 )
其中:
式中,为给定位置的图像坐标;为滤波器的中心频率;φμ体现了滤波器的方向选择性。
将公式化简,以更易理解的方式表示Gabor滤波器,得到公式:
W ( x , y , θ , φ , σ , γ ) = e x ′ 2 + γ 2 y ′ 2 2 σ 2 c o s ( 2 π x ′ λ + φ ) - - - ( 3 )
其中:
x′=xcosθ+ysinθ
y′=-xsinθ+ycosθ
不同尺度体现不同的特征,尺度λ大则体现图像的全局特征,反之体现局部特征。为了保证特征信息的完整性和系统运行效率,权衡各种因素后,选择:θ∈{0,π/8,2π/8,3π/8,4π/8,5π/8,6π/8,7π/8},5个尺度(有5个尺度代表有5个中心频率,尺度越大,中心频率越小)8个方向组成40个不同的滤波器(Gabor滤波器)对图像进行滤波,同时有:φ=0,γ=1,σ=λ。
为进一步提高Gabor特征提取的系统运行速度,本文对Gabor滤波器的核函数的大小进行改进,由于Gabor核函数的主要能量集中在中心位置,边界位置只存储了能量的一小部分,故选取Gabor核函数95%能量所在的中心区域作为新的Gabor核函数(简化Gabor核函数),在减小Gabor核函数大小的同时,提高了Gabor滤波器对图像进行频域滤波的效率。
Gabor特征维数很高,而相邻像素的Gabor特征相关度较高、信息冗余大,故只需稀疏的提取部分像素点上的Gabor特征,本文采用8行8列规则分布的采样点(如图5),将每个采样点得到的Gabor特征进行特征融合得到8*8*40=2560维的联合特征列向量。
采样后的联合特征列向量仍然是高维特征,则需要通过组合特征来降低维数,利用PCA算法对采样后的联合特征列向量进行降维,假定有N个样本图像,每个样本的T维特征矢量为xi(i=1,2,...,N),则构成一个T×N的第一训练样本集X(此处以X同时表示第一训练样本集和第一特征矩阵),PCA可以得到一个线性变换矩阵将T维特征矢量映射到F维的子空间,且有F<<T。在进行PCA变换之前,首先对第一训练样本集进行标准化处理:
X = ( X - X &OverBar; ) / D - - - ( 4 )
其中X为第一训练样本集的平均特征矩阵,D为方差。第一训练样本集的主成分可以通过下式计算得到:
UT(XXT)U=Λ(5)
式中,Λ为第一特征矩阵的协方差矩阵的特征值组成的对角矩阵,U为特征值相对应的特征向量组成的正交矩阵。将特征值λ按大小排序,λ1≥λ2≥...≥λN,对应的特征向量为Ui(i=1,2,...,N),则:
取前F列特征向量即得到T×F的矩阵Wpca,转置后即为线性变换矩阵降维后的第一特征矩阵可以表示为:
X p c a = W p c a T X - - - ( 7 )
将经PCA降维处理后的特征集合Xpca作为第二训练样本集X=Xpca,用于后续的识别,将提取到的待识别人脸表情图像的联合特征向量乘以线性变换矩阵即可得到低维Gabor特征向量。由上可知,PCA算法将T维特征降为F维特征,F的大小选择关系到降维后的特征能否最大可能地还原原始数据,则F的选取可以通过累计贡献率来确定:
R = &Sigma; k = 1 F &lambda; k &Sigma; k = 1 N &lambda; k ( i = 1 , 2 , ... , N ) - - - ( 8 )
选择F使得R∈[85%,95%]。本实施例选择累计贡献率为95%。
(4)表情分类过程
随着压缩感知思想的兴起,基于稀疏表示的分类方法(SRC)也被广泛的应用于人脸识别等领域,通过充分利用特征空间的稀疏性,寻找一个不定线性方程组的唯一最稀疏解以进行分类识别。
给定k类(k类是指有k种表情)的第二训练样本集X=[X1,...,Xk]∈Rd×n,其中d是样本维数(即前文中的F),n是样本个数,表示第i类的ni个训练样本,且对于新的待测样本y∈Rd(待识别人脸表情图像的低维Gabor特征向量),判定其所属的类别。
假定每一类表情存在于一个子空间,对于未知样本y,其类别标签i未可知,考虑到噪声对数据的影响,将其写成所有训练样本X的线性表示:
y=Xα+z(9)
其中是全局表示系数,z是由噪声引起的,且||z||2≤ε。
SRC算法的具体实现步骤为:
输入:k类第二训练样本集X=[X1,...,Xk]∈Rd×n,待测表情图像y∈Rd
输出:y的预测表情类别标签i*
1)对第二训练样本集X按列进行归一化处理,使得每一列为具有单位l2范数;
2)通过3),求解范数的最小化问题,得到y在X上的稀疏表示,获得表示系数α;
3)计算残差:
ri(y)=||y-Xδi(α)||2,i=1,...,k
其中δi(α)表示只取对应于Xi的表示系数,其他分量均置为0;
4)求解预测表情类别标签
i*=argminiri(y)
根据预测值,对待识别人脸表情图像进行分类,完成识别。
本实施例的有益效果如下:
本实施例的人脸表情识别的方法简单方便,识别准确率高,识别速度快。本实施例利用图像的多尺度多方向的纹理变化对不同类别的表情进行Gabor特征提取,本实施例为进一步提高Gabor特征提取的系统运行速度,对Gabor核的大小进行改进,并结合采样点选取和PCA算法降低复杂度。在JAFFE数据库上,取得了97.68%的识别正确率。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种人脸表情识别的方法,其特征在于,包括:
使用Gabor滤波器对待识别人脸表情图像进行滤波,得到待识别人脸表情图像的Gabor特征;
选取若干个采样点,将采样点的Gabor特征组合成联合特征向量;
通过PCA算法使用线性变换矩阵对所述联合特征向量进行降维,得到低维Gabor特征向量;
通过SRC算法对所述低维Gabor特征向量进行分类,完成人脸表情识别。
2.根据权利要求1所述的人脸表情识别的方法,其特征在于,所述使用Gabor滤波器对待识别人脸表情图像进行滤波,得到待识别人脸表情图像的Gabor特征之前还需要对待识别人脸表情图像进行预处理,所述预处理包括:
对待识别人脸表情图像进行光照处理和灰度归一化处理;
通过Adaboost算法对光照处理后的人脸表情图像进行检测,定位人脸的位置;
通过主动形状模型算法在人脸上定位特征点,所述特征点包括眼睛;
根据定位到的眼睛位置对待识别人脸表情图像进行几何归一化。
3.根据权利要求1所述的人脸表情识别的方法,其特征在于,所述Gabor滤波器为5尺度8方向,所述Gabor滤波器的方向包括0,π/8,2π/8,3π/8,4π/8,5π/8,6π/8,7π/8,每个方向上的尺度包括所述Gabor滤波器的核函数为简化Gabor核函数,所述简化Gabor核函数为标准Gabor核函数的95%能量所在的中心区域组成的函数;所述采样点为8行8列规则分布的采样点。
4.根据权利要求1所述的人脸表情识别的方法,其特征在于,所述线性变换矩阵通过以下方法得到:
将第一特征矩阵进行归一化处理,所述第一特征矩阵由第一训练样本集中所有样本的联合特征向量组成;
计算归一化后的第一特征矩阵的协方差矩阵;
计算所述协方差矩阵的特征值和特征向量;
将特征值由大到小排列,选择前F个特征值,使它们的和达到所有特征值之和的85%到95%之间;
取前F个特征值对应的特征向量组成矩阵并将其转置,得到线性变换矩阵。
5.根据权利要求1所述的人脸表情识别的方法,其特征在于,所述通过SRC算法对所述低维Gabor特征向量进行分类,完成人脸表情识别包括:
将第二特征矩阵进行归一化处理,所述第二特征矩阵由第二训练样本集中所有样本的低维Gabor特征向量组成,每个表情对应至少一个样本;
将待识别人脸表情图像的低维Gabor特征向量使用归一化后的第二特征矩阵稀疏表示,得到全局表示系数;
计算待识别人脸表情图像的低维Gabor特征向量相对于每个表情的残差;
找出残差的最小值,其对应的表情即为待识别人脸表情图像的表情。
6.一种人脸表情识别的装置,其特征在于,包括:
滤波模块,用于使用Gabor滤波器对待识别人脸表情图像进行滤波,得到待识别人脸表情图像的Gabor特征;
采样模块,用于选取若干个采样点,将采样点的Gabor特征组合成联合特征向量;
降维模块,用于通过PCA算法使用线性变换矩阵对所述联合特征向量进行降维,得到低维Gabor特征向量;
分类模块,用于通过SRC算法对所述低维Gabor特征向量进行分类,完成人脸表情识别。
7.根据权利要求6所述的人脸表情识别的装置,其特征在于,所述滤波模块之前还包括预处理模块,所述预处理模块包括:
处理单元,用于对待识别人脸表情图像进行光照处理和灰度归一化处理;
检测单元,用于通过Adaboost算法对光照处理后的人脸表情图像进行检测,定位人脸的位置;
定位单元,用于通过主动形状模型算法在人脸上定位特征点,所述特征点包括眼睛;
第一归一化单元,用于根据定位到的眼睛位置对待识别人脸表情图像进行几何归一化。
8.根据权利要求6所述的人脸表情识别的装置,其特征在于,所述Gabor滤波器为5尺度8方向,所述Gabor滤波器的方向包括0,π/8,2π/8,3π/8,4π/8,5π/8,6π/8,7π/8,每个方向上的尺度包括所述Gabor滤波器的核函数为简化Gabor核函数,所述简化Gabor核函数为标准Gabor核函数的95%能量所在的中心区域组成的函数;所述采样点为8行8列规则分布的采样点。
9.根据权利要求6所述的人脸表情识别的装置,其特征在于,所述线性变换矩阵通过以下单元得到:
第二归一化单元,用于将第一特征矩阵进行归一化处理,所述第一特征矩阵由第一训练样本集中所有样本的联合特征向量组成;
第一计算单元,用于计算归一化后的第一特征矩阵的协方差矩阵;
第二计算单元,用于计算所述协方差矩阵的特征值和特征向量;
第一选择单元,用于将特征值由大到小排列,选择前F个特征值,使它们的和达到所有特征值之和的85%到95%之间;
第二选择单元,用于取前F个特征值对应的特征向量组成矩阵并将其转置,得到线性变换矩阵。
10.根据权利要求6所述的人脸表情识别的装置,其特征在于,所述分类模块包括:
第三归一化单元,用于将第二特征矩阵进行归一化处理,所述第二特征矩阵由第二训练样本集中所有样本的低维Gabor特征向量组成,每个表情对应至少一个样本;
稀疏表示单元,用于将待识别人脸表情图像的低维Gabor特征向量使用归一化后的第二特征矩阵稀疏表示,得到全局表示系数;
残差计算单元,用于计算待识别人脸表情图像的低维Gabor特征向量相对于每个表情的残差;
识别单元,用于找出残差的最小值,其对应的表情即为待识别人脸表情图像的表情。
CN201510567836.4A 2015-09-08 2015-09-08 人脸表情识别的方法和装置 Pending CN105117708A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510567836.4A CN105117708A (zh) 2015-09-08 2015-09-08 人脸表情识别的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510567836.4A CN105117708A (zh) 2015-09-08 2015-09-08 人脸表情识别的方法和装置

Publications (1)

Publication Number Publication Date
CN105117708A true CN105117708A (zh) 2015-12-02

Family

ID=54665691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510567836.4A Pending CN105117708A (zh) 2015-09-08 2015-09-08 人脸表情识别的方法和装置

Country Status (1)

Country Link
CN (1) CN105117708A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105345822A (zh) * 2015-12-17 2016-02-24 成都英博格科技有限公司 智能机器人控制方法及装置
CN105913053A (zh) * 2016-06-07 2016-08-31 合肥工业大学 一种基于稀疏融合的单演多特征的人脸表情识别方法
CN106991385A (zh) * 2017-03-21 2017-07-28 南京航空航天大学 一种基于特征融合的人脸表情识别方法
CN107169413A (zh) * 2017-04-12 2017-09-15 上海大学 一种基于特征块权重化的面部表情识别方法
CN107239732A (zh) * 2017-04-18 2017-10-10 广东工业大学 一种基于Gabor特征和稀疏表示的疲劳表情识别方法
CN107423685A (zh) * 2017-06-13 2017-12-01 重庆大学 表情情绪识别方法
CN108197609A (zh) * 2018-02-02 2018-06-22 梁纳星 一种精确人面识别系统
CN109159129A (zh) * 2018-08-03 2019-01-08 深圳市益鑫智能科技有限公司 一种基于人脸表情识别的智能陪伴机器人
CN109997131A (zh) * 2016-10-26 2019-07-09 谷歌有限责任公司 用于基于内核的机器学习的结构化正交随机特征
CN110188673A (zh) * 2019-05-29 2019-08-30 京东方科技集团股份有限公司 表情识别方法和装置
CN110210340A (zh) * 2019-05-20 2019-09-06 深圳供电局有限公司 一种人脸特征值比对方法及其系统、可读存储介质
CN113313020A (zh) * 2021-05-27 2021-08-27 成都威爱新经济技术研究院有限公司 一种基于虚拟人的无标记面部表情捕获方法及系统
US12079700B2 (en) 2017-10-25 2024-09-03 Google Llc Structured orthogonal random features for kernel-based machine learning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091151A (zh) * 2014-06-30 2014-10-08 南京信息工程大学 基于Gabor特征提取和稀疏表示的车辆识别方法
CN104239856A (zh) * 2014-09-04 2014-12-24 电子科技大学 基于Gabor特征和自适应线性回归的人脸识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091151A (zh) * 2014-06-30 2014-10-08 南京信息工程大学 基于Gabor特征提取和稀疏表示的车辆识别方法
CN104239856A (zh) * 2014-09-04 2014-12-24 电子科技大学 基于Gabor特征和自适应线性回归的人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张玲: "基于Gabor小波以及稀疏表示的新生儿疼痛表情识别", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105345822A (zh) * 2015-12-17 2016-02-24 成都英博格科技有限公司 智能机器人控制方法及装置
CN105913053B (zh) * 2016-06-07 2019-03-08 合肥工业大学 一种基于稀疏融合的单演多特征的人脸表情识别方法
CN105913053A (zh) * 2016-06-07 2016-08-31 合肥工业大学 一种基于稀疏融合的单演多特征的人脸表情识别方法
CN109997131B (zh) * 2016-10-26 2024-01-12 谷歌有限责任公司 为基于内核的机器学习系统生成输入的方法和电子装置
CN109997131A (zh) * 2016-10-26 2019-07-09 谷歌有限责任公司 用于基于内核的机器学习的结构化正交随机特征
CN106991385A (zh) * 2017-03-21 2017-07-28 南京航空航天大学 一种基于特征融合的人脸表情识别方法
CN107169413A (zh) * 2017-04-12 2017-09-15 上海大学 一种基于特征块权重化的面部表情识别方法
CN107239732A (zh) * 2017-04-18 2017-10-10 广东工业大学 一种基于Gabor特征和稀疏表示的疲劳表情识别方法
CN107423685A (zh) * 2017-06-13 2017-12-01 重庆大学 表情情绪识别方法
US12079700B2 (en) 2017-10-25 2024-09-03 Google Llc Structured orthogonal random features for kernel-based machine learning
CN108197609A (zh) * 2018-02-02 2018-06-22 梁纳星 一种精确人面识别系统
CN109159129A (zh) * 2018-08-03 2019-01-08 深圳市益鑫智能科技有限公司 一种基于人脸表情识别的智能陪伴机器人
CN110210340A (zh) * 2019-05-20 2019-09-06 深圳供电局有限公司 一种人脸特征值比对方法及其系统、可读存储介质
CN110188673A (zh) * 2019-05-29 2019-08-30 京东方科技集团股份有限公司 表情识别方法和装置
CN110188673B (zh) * 2019-05-29 2021-07-30 京东方科技集团股份有限公司 表情识别方法和装置
CN113313020A (zh) * 2021-05-27 2021-08-27 成都威爱新经济技术研究院有限公司 一种基于虚拟人的无标记面部表情捕获方法及系统

Similar Documents

Publication Publication Date Title
CN105117708A (zh) 人脸表情识别的方法和装置
William et al. Face recognition using facenet (survey, performance test, and comparison)
Zhu et al. Optimization of face recognition algorithm based on deep learning multi feature fusion driven by big data
CN102156871B (zh) 基于类别相关的码本和分类器投票策略的图像分类方法
CN108509833B (zh) 一种基于结构化分析字典的人脸识别方法、装置及设备
CN102938065B (zh) 基于大规模图像数据的人脸特征提取方法及人脸识别方法
CN103136516B (zh) 可见光与近红外信息融合的人脸识别方法及系统
CN109902590A (zh) 深度多视图特征距离学习的行人重识别方法
CN105809125A (zh) 基于多核心arm平台的人脸识别系统
CN109497990B (zh) 一种基于典型相关分析的心电信号身份识别方法及系统
CN106096517A (zh) 一种基于低秩矩阵与特征脸的人脸识别方法
CN102214299A (zh) 一种基于改进的asm算法的人脸特征定位方法
More et al. Hand gesture recognition system using image processing
Haji et al. Real time face recognition system (RTFRS)
CN106980825A (zh) 一种基于归一化像素差特征的人脸姿势分类方法
Kolouri et al. Explaining distributed neural activations via unsupervised learning
CN103745242A (zh) 一种跨设备生物特征识别方法
Tao et al. Finger‐Vein Recognition Using Bidirectional Feature Extraction and Transfer Learning
CN109034213A (zh) 基于相关熵原则的高光谱图像分类方法和系统
Wu et al. Exponential information bottleneck theory against intra-attribute variations for pedestrian attribute recognition
CN102129557A (zh) 一种基于lda子空间学习的人脸识别方法
CN103942572A (zh) 一种基于双向压缩数据空间维度缩减的面部表情特征提取方法和装置
CN112329698A (zh) 一种基于智慧黑板的人脸识别方法和系统
CN110909678B (zh) 一种基于宽度学习网络特征提取的人脸识别方法及系统
CN103942545A (zh) 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151202

RJ01 Rejection of invention patent application after publication