CN104112145A - 基于pwld和d-s证据理论的人脸表情识别方法 - Google Patents

基于pwld和d-s证据理论的人脸表情识别方法 Download PDF

Info

Publication number
CN104112145A
CN104112145A CN201410307045.3A CN201410307045A CN104112145A CN 104112145 A CN104112145 A CN 104112145A CN 201410307045 A CN201410307045 A CN 201410307045A CN 104112145 A CN104112145 A CN 104112145A
Authority
CN
China
Prior art keywords
image
marking area
expression
pwld
probability assignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410307045.3A
Other languages
English (en)
Other versions
CN104112145B (zh
Inventor
王晓华
胡敏
金超
黄伟
任福继
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201410307045.3A priority Critical patent/CN104112145B/zh
Publication of CN104112145A publication Critical patent/CN104112145A/zh
Application granted granted Critical
Publication of CN104112145B publication Critical patent/CN104112145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于PWLD和D-S证据理论的人脸表情识别方法,该方法包括如下步骤:首选选取人脸表情数据库;然后对已选取的图像进行预处理;分别提取步骤2得到的两个显著区域图像的PWLD特征;将步骤3提取的PWLD特征用D-S证据理论进行分类识别;根据D-S联合规则进行决策判断,得出最终判别结果。本发明的目的在于克服传统的WLD对于局部描述不强,表情识别率低和识别时间长的问题,具有更好的局部信息表征能力,对于图像局部纹理描述更加精确,可以更好地提取全局和局部特征。

Description

基于PWLD和D-S证据理论的人脸表情识别方法
技术领域
本发明属于模式识别技术领域,具体涉及一种基于PWLD和D-S证据理论的人脸表情识别方法。
背景技术
人脸表情识别技术就是通过分析特定人的脸部表情及变化,进而确定其内心情绪或者思想活动。WLD是基于证据心理学的韦伯定律提出来的,通过模拟人感知周围环境来提取特征,它在图像纹理提取方面非常有效,并且对光照和噪声鲁棒。将WLD特征(即韦伯局部描述特征或韦伯局部描述子)用于网络图像中识别人脸表情,先从大量的网络图像中检测到人脸,再通过主动学习去除有噪声的图像,得到一系列的人脸图像,然后对人脸图像分块加权,提取不同尺度的WLD特征。但是由于权值和分块固定,具有局限性,不能更好地提取局部细节特征。
发明内容
本发明提出一种基于PWLD和D-S证据理论的人脸表情识别方法,用于解决现有技术中WLD对于局部描述不强,表情识别率低和识别时间长的问题,具有更好的局部信息表征能力,对于图像局部纹理描述更加精确,可以更好地提取全局和局部特征。
为实现上述目的,本发明提供的一种基于PWLD和D-S证据理论的人脸表情识别方法,该方法包括如下步骤:
一种基于PWLD和D-S证据理论的人脸表情识别方法,其特征在于该方法包括如下步骤:
步骤1:选取人脸表情数据库
采用已知表情的人脸表情数据库作为训练集,并选取训练集中某一类表情的一张人脸图像作为测试集;
步骤2:对所有图像进行预处理
用AdaBoost算法检测人脸,得到只含有人脸表情的人脸图像后,用双向灰度积分投影法对检测出的人脸图像的眼睛定位,然后对人脸图像进行尺度归一化处理,将所有人脸图像尺度归一化为128×128像素,将归一化处理后的人脸图像分割出两个较小的显著区域图像,显著区域图像一为仅含有眉毛、眼睛的图像,显著区域图像二为仅含有嘴巴的图像;
步骤3:按照如下步骤分别提取步骤2中两个显著区域图像的PWLD特征
S1、将显著区域图像一分成3层,显著区域图像二分成2层,每一层图像均由方形且大小均等的图像块构成,且每层图像块的数量为4l,l为图像块所在层的层次,对于显著区域图像一,l=0,1,2;对于显著区域图像二,l=0,1;即下一层图像为由上一层图像的各图像块按宽和高等分成更小的图像块构成;
S2、对显著区域图像一和显著区域图像二,分别提取每一层每个图像块的WLD一维直方图;
S3:将每一层每个图像块的WLD一维直方图乘以一个归一化系数,与每一图像块所对应的归一化系数l为图像块所在层的层次;并把同一显著区域图像的每一层每个图像块的归一化后的WLD一维直方图级联,即得到与相应的显著区域图像的PWLD特征;
步骤4:将步骤3提取的PWLD特征用D-S证据理论进行分类
S1:按照上述步骤3的方法得到每一幅图像的每一个显著区域图像的PWLD特征后,计算测试集图像的每一个显著区域图像的PWLD特征分别与训练集中每一类表情的每一张图像的相对应的显著区域图像的PWLD特征的卡方距离D(T,S),可由下式求得:
D ( T , S ) = Σ t = 1 N ( T t - S t ) 2 / ( T t + S t )
T是测试集的联合直方图,S是训练集的联合直方图,N是直方图值的分数,Tt是测试集直方图中取t的个数,St是训练集直方图中取t的个数;
S2;选取S1计算的测试集与训练集每一类表情的每一张图像的最小卡方距离作为这一类表情的第一最终卡方距离di,j,i是表情的显著区域,i=1,2,j是表情的类别数目,j=1,2,…,N;
S3:用下式对所有的第一最终卡方距离di,j进行归一化:
d i , j = d i , j ′ Σ j = 1 N d i , j ′
上式中:i是表情的显著区域,i=1,2;
j是表情的类别数目,j=1,2,…,N;
归一化后得到的第二最终卡方距离di,j∈[0,1),将第二最终卡方距离di,j由小到大排序;
S4:构造指数函数将归一化后的最终卡方距离di,j作为x带入上述指数函数,完成归一化后的最终卡方距离di,j到基本概率分配函数的映射;
S5:定义证据i对类别μj的基本概率分配函数为mij)
m i = ( μ j ) = β × ( e - 13 ( d i , j + 0.06 ) 2 + 0.05 )
其中:β为调节系数,使得β取值范围为(0,0.8);
S6:由S5的基本概率分配函数构造的不确定性分配函数mi(θ)如下:
m i ( θ ) = 1 - Σ j = 1 N m i ( μ j )
此处i是表情的类别区域,j是表情的类别数目;
S7:将显著区域一的基本概率分配值m1j)与显著区域二的基本概率分配值m2j)用D-S合成法则融合,得到融合后的基本概率分配值m(μj),最后得到融合后的不确定性分配值m(θ);
步骤5:根据D-S联合规则进行决策判断,得出最终判别结果。
优选的,D-S联合规则如下,其中Ar是目标类别:
1)目标类别Ar的基本概率分配值m(Ar)应具有最大的基本概率分配值;
2)目标类别Ar的基本概率分配值m(Ar)与其他类别基本概率分配值应大于第一门限ε1=0.005;
3)融合后的不确定性值m(θ)必须小于第二门限ε2=0.1;
4)目标类别Ar的基本概率分配值m(Ar)必须大于不确定性m(θ)。
优选的,所述归一化后的WLD一维直方图的级联方法如下:
将任一显著区域图像的每一层中的每个图像块的归一化后的WLD一维直方图,按照此层图像块的排列顺序,每一行从左到右,相邻行则从上到下依次排列得到此层图像的相级联的WLD一维直方图,再将所有层图像的WLD一维直方图从第0层到最后一层依次排列即可。
优选的,显著区域图像一与显著区域图像二的基本概率分配函数值用D-S证据理论融合的方法如下:
假定识别框架Θ下有两个相互独立的证据源,其焦元分别是Ai和Bj,假设m1,m2是两个证据源对应的基本概率分配函数,则根据D-S证据理论的合成法则得到合成后的基本概率分配函数(BPA),记为设Ai如下式所示:
m ( C ) = m 1 ⊗ m 2 = m ( C ) , C = φ Σ A i ∩ B j = C m i ( A i ) m j ( B j ) 1 - K , C ≠ φ
式中K称为矛盾因子,它反映了每个证据之间的冲突程度,m(C)表示融合后的基本概率分配函数。
优选的,采用JAFFE人脸表情库或Cohn-Kanade人脸表情库作为训练集;JAFFE人脸表情库是由10位日本女性的213张人脸图像构成,包含有7种基本表情:生气、厌恶、恐惧、高兴、中性、悲伤、吃惊;每个人包含2~4幅不同表情的图像;Cohn-Kanade人脸表情库包含了210个对象的6种表情序列:悲伤、高兴、吃惊、恐惧、生气、厌恶。
本发明的有益效果在于:
1)PWLD表示的是Pyramid Weber Local Descriptor,中文意思为金字塔韦伯局部描述子,本发明中简称为PWLD,PWLD特征比原始WLD特征对局部信息表征能力更好,对于图像局部纹理描述地更加精确,可以很好地提取全局和局部特征。
2)PWLD特征保留了原始WLD特征对噪声和光照变化非常鲁棒的优点,简单有效,可以应用于实时系统。
3)通过D-S证据理论将来自不同显著区域的PWLD特征进行融合,可以克服单一特征的局限性,从而得到更可靠、准确的结果,同时运用数值分析中的曲线拟合构造基本概率分配函数,使得本方法在人脸表情识别中取得较好的识别效果,保证了本发明方法的有效性和容错性,进一步提高了人脸表情识别的准确率和识别速度。
附图说明
图1为本发明的流程图。
图2为本发明选取的数据库的部分样本图。
图3为本发明的显著区域分割示意图。
图4为本发明中PWLD特征的描述示意图。
图5为本发明中WLD二维直方图的提取过程示意图。
图6为本发明中WLD二维直方图转化成一维直方图的过程示意图。
图7为本发明中最小卡方计算过程示意图。
图8为本发明中构造的指数化曲线示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
本发明技术方案可采用软件技术实现自动流程运行,参照图1所示。
下面对本发明的具体实施方式进一步描述如下:
参见图2所示,步骤1选取人脸表情数据库
采用JAFFE人脸表情库或Cohn-Kanade人脸表情库分别作为训练集;JAFFE人脸表情库是由10位日本女性的213张人脸图像构成,包含有7种基本表情:生气、厌恶、恐惧、高兴、中性、悲伤、吃惊;每个人包含2~4幅不同表情的图像;Cohn-Kanade人脸表情库包含了210个对象的6种表情序列:悲伤、高兴、吃惊、恐惧、生气、厌恶;选取训练集中的一类表情的一张人脸图像作为测试集。
参见3所示,步骤2对已选取的图像进行预处理
用AdaBoost人脸检测算法检测人脸,得到只含有人脸表情的人脸图像后,用双向灰度积分投影法对检测出的人脸图像的眼睛定位,然后对人脸图像进行尺度归一化处理,将所有图像尺度归一化为128×128像素,将归一化处理后的人脸图像分割出两个较小的显著区域图像,显著区域图像一为仅含有眉毛、眼睛的图像,显著区域图像二为仅含有嘴巴的图像;
步骤3:分别提取步骤2得到的两个显著区域图像的PWLD特征
S1、根据图像大小和对局部特征提取的需要,将显著区域图像一分成3层,即第0层(含有40=1个图像块)、第1层(含有41=4个图像块)、第2层(含有42=16个图像块);显著区域图像二分成2层,即第0层(含有40=1个图像块)、第1层(含有41=4个图像块),每一层图像均由方形且大小均等的图像块构成,且下一层图像为由上一层图像的各图像块按宽和高等分成更小的图像块构成,如图4所示;
S2、分别提取每个图像块的WLD一维直方图,步骤如下:
S21:求出每个图像块的差分激励ξ(xc)和方向θ′(xc),公式如下所示:
ξ ( x c ) = arctan [ Σ i = 0 p - 1 ( x i - x c x c ) ] ,
&theta; &prime; ( x c ) = arctan 2 ( v s a , v s b ) + &pi; , arctan 2 ( v s a , v s b ) = &theta; , v s a > 0 and v s b > 0 , &pi; + &theta; , v s a > 0 and v s b < 0 , &theta; - &pi; , v s a < 0 and v s b < 0 , &theta; , v s a < 0 and v s b > 0 ,
其中:xi表示当前像素xc的第i个邻域像素的灰度值,
p是邻域像素的个数,
假设当前像素为xc,其周围8邻域像素为 x 0 x 1 x 2 x 7 x c x 3 x 6 x 5 x 4 , v s b = x 7 - x 3 ;
θ是由求得的反正切值,单位为弧度;
S22:将上一步骤S21得到的方向θ′(xc)量化到T个方向得到量化后的方向Φt,t=(0,...,T-1),量化方程如下所示:
S23:将S22求得的每个图像块的差分激励ξ(xc)和量化后的方向Φt联合,可得到相应图像块的二维直方图;
S24:二维直方图被进一步转化为WLD一维直方图,其横坐标表示方向,纵坐标表示差分激励;
具体转化过程如图6所示,对于不同层数,设置对应的Mi,Ti,Si,(i=0,...,L-1),其中Mi表示WLD二维直方图中每一个一维直方图H(t)被分成的M个段数,Ti表示求得的方向θ'(xc)被量化的空间梯度的方向数目,Si表示特征子序列Hm,t被划分的子区间数目,从而进一步细致地表征纹理信息。
步骤3中提取每个图像块的WLD一维直方图的具体算法和过程,可参见现有技术。
S3:对两个显著区域图像的每一层每个块图像的WLD一维直方图归一化,即将每一层每个图像块的WLD一维直方图乘以一个归一化系数,与每一图像块所对应的归一化系数l为图像块所在层的层次;将任一显著区域图像的每一层中的每个图像块的归一化后的WLD一维直方图,按照此层图像块的排列顺序,每一行从左到右,相邻行则从上到下依次排列得到此层图像的相级联的WLD一维直方图,再将所有层图像的WLD一维直方图从第0层到最后一层依次排列即可;
步骤4:对步骤3提取的PWLD特征用D-S证据理论进行分类
S1:参照图7所示,按照上述步骤得到测试集和训练集中每一幅图像的PWLD特征后,计算测试集的显著区域图像的PWLD特征分别与训练集的每一类表情图像的相应的显著区域图像的PWLD特征的卡方距离D(T,S),可由下式求得:
D ( T , S ) = &Sigma; t = 1 N ( T t - S t ) 2 / ( T t + S t )
T是测试集的联合直方图,S是训练集的联合直方图,N是直方图值的分数,Tt是测试集直方图中取t的个数,St是训练集直方图中取t的个数;
S2;选取测试集与训练集每一类表情图像的最小卡方距离作为最终这一类表情的最终卡方距离di,j,i是表情的显著区域,j是表情的类别数目;
S3:用下式对所有的最终卡方距离di,j进行归一化:
d i , j = d i , j &prime; &Sigma; j = 1 N d i , j &prime;
上式中:i是表情的显著区域,i=1,2;
j是表情的类别数目,j=1,2,…,N;
经过归一化后的最终卡方距离di,j∈[0,1),将归一化后的最终卡方距离di,j由小到大排序;
S4:构造指数函数将归一化后的最终卡方距离di,j作为x带入上述指数函数,完成归一化后的最终卡方距离di,j到基本概率分配函数的映射;
S5:由已构造的指数函数构造基本概率分配函数mij)如下:
m i = ( &mu; j ) = &beta; &times; ( e - 13 ( d i , j + 0.06 ) 2 + 0.05 )
其中β为调节系数,本实施例中β取值0.25,使得如果β为0,说明目标完全被噪声淹没,不确定性最大;
S6:由构造好的基本概率分配函数来计算证据i对类别μj的基本概率分配值mij),不确定性分配函数mi(θ)构造如下:
m i ( &theta; ) = 1 - &Sigma; j = 1 N m i ( &mu; j )
此处i是表情的类别区域,j是表情的类别数目;
S7:将显著区域一的基本概率分配值m1j)与显著区域二的基本概率分配值m2j)用D-S合成法则融合,得到融合后的基本概率分配值m(μj),由S4的不确定性分配函数得到融合后的不确定性分配值为m(θ);
其中将显著区域一的基本概率分配值m1j)与显著区域二的基本概率分配值m2j)的融合方法如下:
假定辨识框架Θ下有两个相互独立的证据源,其焦元分别是Ai和Bj,假设m1,m2是两个证据源对应的基本概率分配函数,则根据D-S证据理论的合成法则得到合成后的基本概率分配函数(BPA),记为设Ai如下式所示:
m ( C ) = m 1 &CircleTimes; m 2 = m ( C ) , C = &phi; &Sigma; A i &cap; B j = C m i ( A i ) m j ( B j ) 1 - K , C &NotEqual; &phi;
式中K称为矛盾因子,它反映了每个证据之间的冲突程度,m(C)表示融合后的基本概率分配函数。
步骤5:根据D-S联合规则进行决策判断,得出最终判别结果。
D-S联合规则如下,其中Ar是目标类别:
1)目标类别Ar的基本概率分配值m(Ar)应具有最大的基本概率分配值;
2)目标类别Ar的基本概率分配值m(Ar)与其他类别进本概率分配值应大于第一门限ε1=0.005;
3)融合后的不确定性分配值m(θ)必须小于第二门限ε2=0.1;
4)目标类别Ar的基本概率分配值m(Ar)必须大于融合后的不确定性分配值m(θ)。
参见图8所示,指数函数的构造构成如下所示,
存在一个点x=x0处斜率为-1,在(0,x0)区间内所有点的斜率小于-1,而在(x0,1)区间内曲线则相对平缓,经过反复试验,x0在(0.35,0.4)区间内可以取得最佳的效果,本发明方法中x0取0.37,根据曲线的特点,即在(0,x0)区间内所有点的斜率都大于-1,曲线较陡,在(x0,1)区间内曲线相对平缓,通过在坐标轴上模拟几组数据,(x,y)分别取{(0,1),(0.05,0.9),(0.1,0.75),(0.15,0.6),(0.2,0.45),(0.7,0.1),(0.8,0.08),(0.9,0.05),(1,0)},再运用数值分析中的曲线拟合,并做一些参数调整,构造出一个指数函数如下所示:
y = e - 13 ( x + 0.06 ) 2 + 0.05 .
其中,基本概率分配函数的构造如下:
由已构造好的指数函数表达式和D-S证据理论关于基本概率分配函数的定义,即在识别框架Θ中,基本概率分配函数必须满足其中m(A)反映了对A本身的信任度,定义证据i对类别μj的基本概率分配函数(BPA)mij)为:
m i = ( &mu; j ) = &beta; &times; ( e - 13 ( d i , j + 0.06 ) 2 + 0.05 )
其中β为调节系数,使得如果β为0,说明目标完全被噪声淹没,不确定性最大。
其中,基本概率分配函数用D-A证据理论融合的方法如下:
假定辨识框架Θ下有两个相互独立的证据源,其焦元分别是Ai和Bj,假设m1,m2是两个证据源对应的基本概率分配函数,则根据D-S证据理论的合成法则得到合成后的基本概率分配函数(BPA),记为设Ai如下式所示:
m ( C ) = m 1 &CircleTimes; m 2 = m ( C ) , C = &phi; &Sigma; A i &cap; B j = C m i ( A i ) m j ( B j ) 1 - K , C &NotEqual; &phi;
式中K称为矛盾因子,它反映了每个证据之间的冲突程度,m(C)表示融合后的基本概率分配函数。
将第l层的WLD直方图乘以归一化系数其中l=0,1,2,…,在本系统中,3层PWLD特征中的(Mi,Ti,Si)分别取(6,8,10),(3,8,5),(3,8,2),可以取得最佳效果;
D-S证据理论最初是由Dempster提出,Shafter对其进行完善的,又被称为D-S理论。它将两个或者多个证据体的基本信任函数通过D-S合成规则融合成一个新的基本信任函数,作为最终的决策依据,因此可以获得更高的识别率和可靠性。
结合如下的图表对本发明的对测试结果的效果做进一步描述:
表1 在JAFFE人脸库的3次实验结果
表2 在Cohn-Kanade人脸库的3次实验结果
参见表1和表2所示,本方法在同一表情库测试不同表情的正确识别率均在95%以上,本发明具有较高的识别率。
表3 不同分类器平均识别率的比较
表4 不同算法平均识别率的比较
表5 不同算法平均识别时间的比较
表3至表5中的数据表明,本方法同样在JAFFE人脸库和Cohn-Kanade人脸库上与Gabor小波、LBP和LDP等方法进行实验比较,并通过结合不同的分类器来比较他们的识别率和识别时间,本发明在较短的时间内具有较高的识别率。
表6 D-S方法的数据融合结果
表6为D-S方法的数据融合结果,厌恶表情和中性表情在单独测试每个显著区域的不确定性分配值时,其测试的结构存在偏差,但是融合后的结果可以看出本发明方法构造的基本概率分配函数的正确性以及D-S证据理论在人脸表情识别的有效性和容错性。

Claims (5)

1.一种基于PWLD和D-S证据理论的人脸表情识别方法,其特征在于该方法包括如下步骤:
步骤1:选取人脸表情数据库
采用已知表情的人脸表情数据库作为训练集,并选取训练集中某一类表情的一张人脸图像作为测试集;
步骤2:对所有图像进行预处理
用AdaBoost算法检测人脸,得到只含有人脸表情的人脸图像后,用双向灰度积分投影法对检测出的人脸图像的眼睛定位,然后对人脸图像进行尺度归一化处理,将所有人脸图像尺度归一化为128×128像素,将归一化处理后的人脸图像分割出两个较小的显著区域图像,显著区域图像一为仅含有眉毛、眼睛的图像,显著区域图像二为仅含有嘴巴的图像;
步骤3:按照如下步骤分别提取步骤2中两个显著区域图像的PWLD特征
S1、将显著区域图像一分成3层,显著区域图像二分成2层,每一层图像均由方形且大小均等的图像块构成,且每层图像块的数量为4l,l为图像块所在层的层次,对于显著区域图像一,l=0,1,2;对于显著区域图像二,l=0,1;即下一层图像为由上一层图像的各图像块按宽和高等分成更小的图像块构成;
S2、对显著区域图像一和显著区域图像二,分别提取每一层每个图像块的WLD一维直方图;
S3:将每一层每个图像块的WLD一维直方图乘以一个归一化系数,与每一图像块所对应的归一化系数l为图像块所在层的层次;并把同一显著区域图像的每一层每个图像块的归一化后的WLD一维直方图级联,即得到与相应的显著区域图像的PWLD特征;
步骤4:将步骤3提取的PWLD特征用D-S证据理论进行分类
S1:按照上述步骤3的方法得到每一幅图像的每一个显著区域图像的PWLD特征后,计算测试集图像的每一个显著区域图像的PWLD特征分别与训练集中每一类表情的每一张图像的相对应的显著区域图像的PWLD特征的卡方距离D(T,S),可由下式求得:
D ( T , S ) = &Sigma; t = 1 N ( T t - S t ) 2 / ( T t + S t )
T是测试集的联合直方图,S是训练集的联合直方图,N是直方图值的分数,Tt是测试集直方图中取t的个数,St是训练集直方图中取t的个数;
S2;选取S1计算的测试集与训练集每一类表情的每一张图像的最小卡方距离作为这一类表情的第一最终卡方距离di,j,i是表情的显著区域,i=1,2,j是表情的类别数目,j=1,2,…,N;
S3:用下式对所有的第一最终卡方距离di,j进行归一化:
d i , j = d i , j &prime; &Sigma; j = 1 N d i , j &prime;
上式中:i是表情的显著区域,i=1,2;
j是表情的类别数目,j=1,2,…,N;
归一化后得到的第二最终卡方距离di,j∈[0,1),将第二最终卡方距离di,j由小到大排序;
S4:构造指数函数将归一化后的最终卡方距离di,j作为x带入上述指数函数,完成归一化后的最终卡方距离di,j到基本概率分配函数的映射;
S5:定义证据i对类别μj的基本概率分配函数为mij)
m i = ( &mu; j ) = &beta; &times; ( e - 13 ( d i , j + 0.06 ) 2 + 0.05 )
其中:β为调节系数,使得β取值范围为(0,0.8);
S6:由S5的基本概率分配函数构造的不确定性分配函数mi(θ)如下:
m i ( &theta; ) = 1 - &Sigma; j = 1 N m i ( &mu; j )
此处i是表情的类别区域,j是表情的类别数目;
S7:将显著区域一的基本概率分配值m1j)与显著区域二的基本概率分配值m2j)用D-S合成法则融合,得到融合后的基本概率分配值m(μj),最后得到融合后的不确定性分配值m(θ);
步骤5:根据D-S联合规则进行决策判断,得出最终判别结果。
2.如权利要求1所述的基于PWLD和D-S证据理论的人脸表情识别方法,其特征在于:
D-S联合规则如下,其中Ar是目标类别:
1)目标类别Ar的基本概率分配值m(Ar)应具有最大的基本概率分配值;
2)目标类别Ar的基本概率分配值m(Ar)与其他类别基本概率分配值应大于第一门限ε1=0.005;
3)融合后的不确定性值m(θ)必须小于第二门限ε2=0.1;
4)目标类别Ar的基本概率分配值m(Ar)必须大于不确定性m(θ)。
3.如权利要求1所述的基于PWLD和D-S证据理论的人脸表情识别方法,其特征在于所述归一化后的WLD一维直方图的级联方法如下:
将任一显著区域图像的每一层中的每个图像块的归一化后的WLD一维直方图,按照此层图像块的排列顺序,每一行从左到右,相邻行则从上到下依次排列得到此层图像的相级联的WLD一维直方图,再将所有层图像的WLD一维直方图从第0层到最后一层依次排列即可。
4.如权利要求1所述的基于PWLD和D-S证据理论的人脸表情识别方法,其特征在于:
其中,显著区域图像一与显著区域图像二的基本概率分配函数值用D-S证据理论融合的方法如下:
假定识别框架Θ下有两个相互独立的证据源,其焦元分别是Ai和Bj,假设m1,m2是两个证据源对应的基本概率分配函数,则根据D-S证据理论的合成法则得到合成后的基本概率分配函数(BPA),记为设Ai如下式所示:
m ( C ) = m 1 &CircleTimes; m 2 = m ( C ) , C = &phi; &Sigma; A i &cap; B j = C m i ( A i ) m j ( B j ) 1 - K , C &NotEqual; &phi;
式中K称为矛盾因子,它反映了每个证据之间的冲突程度,m(C)表示融合后的基本概率分配函数。
5.如权利要求1至4任一项所述的基于PWLD和D-S证据理论的人脸表情识别方法,其特征在于:
采用JAFFE人脸表情库或Cohn-Kanade人脸表情库作为训练集;JAFFE人脸表情库是由10位日本女性的213张人脸图像构成,包含有7种基本表情:生气、厌恶、恐惧、高兴、中性、悲伤、吃惊;每个人包含2~4幅不同表情的图像;Cohn-Kanade人脸表情库包含了210个对象的6种表情序列:悲伤、高兴、吃惊、恐惧、生气、厌恶。
CN201410307045.3A 2014-06-30 2014-06-30 基于pwld和d‑s证据理论的人脸表情识别方法 Active CN104112145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410307045.3A CN104112145B (zh) 2014-06-30 2014-06-30 基于pwld和d‑s证据理论的人脸表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410307045.3A CN104112145B (zh) 2014-06-30 2014-06-30 基于pwld和d‑s证据理论的人脸表情识别方法

Publications (2)

Publication Number Publication Date
CN104112145A true CN104112145A (zh) 2014-10-22
CN104112145B CN104112145B (zh) 2018-01-19

Family

ID=51708929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410307045.3A Active CN104112145B (zh) 2014-06-30 2014-06-30 基于pwld和d‑s证据理论的人脸表情识别方法

Country Status (1)

Country Link
CN (1) CN104112145B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825183A (zh) * 2016-03-14 2016-08-03 合肥工业大学 基于部分遮挡图像的人脸表情识别方法
CN106529504A (zh) * 2016-12-02 2017-03-22 合肥工业大学 一种复合时空特征的双模态视频情感识别方法
WO2022036483A1 (zh) * 2020-08-17 2022-02-24 南京智导智能科技有限公司 一种面向hmd设备的面部表情识别系统
CN116524563A (zh) * 2023-04-28 2023-08-01 山东省人工智能研究院 一种基于transformer与不确定性的动态人脸表情识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521561A (zh) * 2011-11-16 2012-06-27 湖南大学 基于多尺度韦伯局部特征和分层决策融合的人脸识别方法
CN102629321A (zh) * 2012-03-29 2012-08-08 天津理工大学 基于证据理论的人脸表情识别方法
CN102722699A (zh) * 2012-05-22 2012-10-10 湖南大学 基于多尺度韦伯局部特征和核组稀疏表示的人脸识别方法
CN103745237A (zh) * 2013-12-26 2014-04-23 暨南大学 光照变化条件下的人脸识别算法
CN103761507A (zh) * 2014-01-03 2014-04-30 东南大学 一种基于韦伯法则的局部多值模式的人脸识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521561A (zh) * 2011-11-16 2012-06-27 湖南大学 基于多尺度韦伯局部特征和分层决策融合的人脸识别方法
CN102629321A (zh) * 2012-03-29 2012-08-08 天津理工大学 基于证据理论的人脸表情识别方法
CN102722699A (zh) * 2012-05-22 2012-10-10 湖南大学 基于多尺度韦伯局部特征和核组稀疏表示的人脸识别方法
CN103745237A (zh) * 2013-12-26 2014-04-23 暨南大学 光照变化条件下的人脸识别算法
CN103761507A (zh) * 2014-01-03 2014-04-30 东南大学 一种基于韦伯法则的局部多值模式的人脸识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAOHUA WANG等: ""Feature Fusion of HOG and WLD for Facial Expression Recognition"", 《PROCEEDINGS OF THE 2013 IEEE/SICE INTERNATIONAL SYMPOSIUM ON SYSTEM INTEGRATION》 *
王文成: ""基于局部特征分析的人脸表情识别问题研究"", 《中国博士学位论文全文数据库 信息科技辑》 *
郭礼华等: ""PHOG特征与聚类特征选择的笑脸识别方法"", 《模式识别与人工智能》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825183A (zh) * 2016-03-14 2016-08-03 合肥工业大学 基于部分遮挡图像的人脸表情识别方法
CN105825183B (zh) * 2016-03-14 2019-02-12 合肥工业大学 基于部分遮挡图像的人脸表情识别方法
CN106529504A (zh) * 2016-12-02 2017-03-22 合肥工业大学 一种复合时空特征的双模态视频情感识别方法
CN106529504B (zh) * 2016-12-02 2019-05-31 合肥工业大学 一种复合时空特征的双模态视频情感识别方法
WO2022036483A1 (zh) * 2020-08-17 2022-02-24 南京智导智能科技有限公司 一种面向hmd设备的面部表情识别系统
CN116524563A (zh) * 2023-04-28 2023-08-01 山东省人工智能研究院 一种基于transformer与不确定性的动态人脸表情识别方法
CN116524563B (zh) * 2023-04-28 2024-01-19 山东省人工智能研究院 一种基于transformer与不确定性的动态人脸表情识别方法

Also Published As

Publication number Publication date
CN104112145B (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
CN111091105B (zh) 基于新的边框回归损失函数的遥感图像目标检测方法
Wang et al. A random forest classifier based on pixel comparison features for urban LiDAR data
CN107451607B (zh) 一种基于深度学习的典型人物的身份识别方法
CN110766051A (zh) 一种基于神经网络的肺结节形态学分类方法
CN102496034B (zh) 基于直线单词的高空间分辨率遥感图像词袋分类方法
CN113033520B (zh) 一种基于深度学习的树木线虫病害木识别方法及系统
CN109801256A (zh) 一种基于感兴趣区域和全局特征的图像美学质量评估方法
CN105160400A (zh) 基于l21范数的提升卷积神经网络泛化能力的方法
CN105373777A (zh) 一种用于人脸识别的方法及装置
CN110879961B (zh) 利用车道模型的车道检测方法和装置
CN108108751A (zh) 一种基于卷积多特征和深度随机森林的场景识别方法
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN109558902A (zh) 一种快速目标检测方法
CN103473786A (zh) 基于多目标模糊聚类的灰度图像分割方法
CN105844602A (zh) 一种基于体元的机载lidar点云三维滤波方法
Chatterjee et al. On building classification from remote sensor imagery using deep neural networks and the relation between classification and reconstruction accuracy using border localization as proxy
CN108171119B (zh) 基于残差网络的sar图像变化检测方法
CN103971106A (zh) 多视角人脸图像性别识别方法及装置
CN104408731B (zh) 基于区域图和统计相似性编码的sar图像分割方法
CN104112145A (zh) 基于pwld和d-s证据理论的人脸表情识别方法
CN104537353A (zh) 基于三维点云的三维人脸年龄分类装置及方法
CN112950780A (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN107392254A (zh) 一种通过联合嵌入从像素中构造图像的语义分割方法
CN115984537A (zh) 图像处理方法、装置及相关设备
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant