CN104112145B - 基于pwld和d‑s证据理论的人脸表情识别方法 - Google Patents
基于pwld和d‑s证据理论的人脸表情识别方法 Download PDFInfo
- Publication number
- CN104112145B CN104112145B CN201410307045.3A CN201410307045A CN104112145B CN 104112145 B CN104112145 B CN 104112145B CN 201410307045 A CN201410307045 A CN 201410307045A CN 104112145 B CN104112145 B CN 104112145B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- image
- msubsup
- mtd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明公开一种基于PWLD和D‑S证据理论的人脸表情识别方法，该方法包括如下步骤：首选选取人脸表情数据库；然后对已选取的图像进行预处理；分别提取步骤2得到的两个显著区域图像的PWLD特征；将步骤3提取的PWLD特征用D‑S证据理论进行分类识别；根据D‑S联合规则进行决策判断，得出最终判别结果。本发明的目的在于克服传统的WLD对于局部描述不强，表情识别率低和识别时间长的问题，具有更好的局部信息表征能力，对于图像局部纹理描述更加精确，可以更好地提取全局和局部特征。
Description
技术领域
本发明属于模式识别技术领域，具体涉及一种基于PWLD和D-S证据理论的人脸表情识别方法。
背景技术
人脸表情识别技术就是通过分析特定人的脸部表情及变化，进而确定其内心情绪或者思想活动。WLD是基于证据心理学的韦伯定律提出来的，通过模拟人感知周围环境来提取特征，它在图像纹理提取方面非常有效，并且对光照和噪声鲁棒。将WLD特征(即韦伯局部描述特征或韦伯局部描述子)用于网络图像中识别人脸表情，先从大量的网络图像中检测到人脸，再通过主动学习去除有噪声的图像，得到一系列的人脸图像，然后对人脸图像分块加权，提取不同尺度的WLD特征。但是由于权值和分块固定，具有局限性，不能更好地提取局部细节特征。
发明内容
本发明提出一种基于PWLD和D-S证据理论的人脸表情识别方法，用于解决现有技术中WLD对于局部描述不强，表情识别率低和识别时间长的问题，具有更好的局部信息表征能力，对于图像局部纹理描述更加精确，可以更好地提取全局和局部特征。
为实现上述目的，本发明提供的一种基于PWLD和D-S证据理论的人脸表情识别方法，该方法包括如下步骤：
一种基于PWLD和D-S证据理论的人脸表情识别方法，其特征在于该方法包括如下步骤：
步骤1：选取人脸表情数据库
采用已知表情的人脸表情数据库作为训练集，并选取训练集中某一类表情的一张人脸图像作为测试集；
步骤2：对所有图像进行预处理
用AdaBoost算法检测人脸，得到只含有人脸表情的人脸图像后，用双向灰度积分投影法对检测出的人脸图像的眼睛定位，然后对人脸图像进行尺度归一化处理，将所有人脸图像尺度归一化为128×128像素，将归一化处理后的人脸图像分割出两个较小的显著区域图像，显著区域图像一为仅含有眉毛、眼睛的图像，显著区域图像二为仅含有嘴巴的图像；
步骤3：按照如下步骤分别提取步骤2中两个显著区域图像的PWLD特征
S1、将显著区域图像一分成3层，显著区域图像二分成2层，每一层图像均由方形且大小均等的图像块构成，且每层图像块的数量为41，l为图像块所在层的层次，对于显著区域图像一，l＝0，1，2；对于显著区域图像二，l＝0，1；即下一层图像为由上一层图像的各图像块按宽和高等分成更小的图像块构成；
S2、对显著区域图像一和显著区域图像二，分别提取每一层每个图像块的WLD一维直方图；
S3：将每一层每个图像块的WLD一维直方图乘以一个归一化系数与每一图像块所对应的归一化系数l为图像块所在层的层次；并把同一显著区域图像的每一层每个图像块的归一化后的WLD一维直方图级联，即得到与相应的显著区域图像的PWLD特征；
步骤4：将步骤3提取的PWLD特征用D-S证据理论进行分类
S1：按照上述步骤3的方法得到每一幅图像的每一个显著区域图像的PWLD特征后，计算测试集图像的每一个显著区域图像的PWLD特征分别与训练集中每一类表情的每一张图像的相对应的显著区域图像的PWLD特征的卡方距离D(T,S),可由下式求得：
T是测试集的联合直方图，S是训练集的联合直方图，N是直方图值的分数，Tt是测试集直方图中取t的个数，St是训练集直方图中取t的个数；
S2；选取S1计算的测试集与训练集每一类表情的每一张图像的最小卡方距离作为这一类表情的第一最终卡方距离di′,j，i是表情的显著区域，i＝1，2，j是表情的类别数目，j＝1，2，…,N；
S3：用下式对所有的第一最终卡方距离di′,j进行归一化：
上式中：i是表情的显著区域，i＝1，2；
j是表情的类别数目，j＝1，2,…,N；
归一化后得到的第二最终卡方距离di,j∈[0,1)，将第二最终卡方距离di,j由小到大排序；
S4：构造指数函数将归一化后的最终卡方距离di,j作为x带入上述指数函数，完成归一化后的最终卡方距离di,j到基本概率分配函数的映射；
S5：定义证据i对类别μj的基本概率分配函数为mi(μj)
其中：β为调节系数，使得β取值范围为(0，0.8)；
S6：由S5的基本概率分配函数构造的不确定性分配函数mi(θ)如下：
此处i是表情的类别区域，j是表情的类别数目；
S7：将显著区域一的基本概率分配值m1(μj)与显著区域二的基本概率分配值m2(μj)用D-S合成法则融合，得到融合后的基本概率分配值m(μj)，最后得到融合后的不确定性分配值m(θ)；
步骤5：根据D-S联合规则进行决策判断，得出最终判别结果。
优选的，D-S联合规则如下，其中Ar是目标类别：
1)目标类别Ar的基本概率分配值m(Ar)应具有最大的基本概率分配值；
2)目标类别Ar的基本概率分配值m(Ar)与其他类别基本概率分配值应大于第一门限ε1＝0.005；
3)融合后的不确定性值m(θ)必须小于第二门限ε2＝0.1；
4)目标类别Ar的基本概率分配值m(Ar)必须大于不确定性m(θ)。
优选的，所述归一化后的WLD一维直方图的级联方法如下：
将任一显著区域图像的每一层中的每个图像块的归一化后的WLD一维直方图，按照此层图像块的排列顺序，每一行从左到右，相邻行则从上到下依次排列得到此层图像的相级联的WLD一维直方图，再将所有层图像的WLD一维直方图从第0层到最后一层依次排列即可。
优选的，显著区域图像一与显著区域图像二的基本概率分配函数值用D-S证据理论融合的方法如下：
假定识别框架Θ下有两个相互独立的证据源，其焦元分别是Ai和Bj，假设m1,m2是两个证据源对应的基本概率分配函数，则根据D-S证据理论的合成法则得到合成后的基本概率分配函数(BPA)，记为设Ai如下式所示：
式中K称为矛盾因子，它反映了每个证据之间的冲突程度,m(C)表示融合后的基本概率分配函数。
优选的，采用JAFFE人脸表情库或Cohn-Kanade人脸表情库作为训练集；JAFFE人脸表情库是由10位日本女性的213张人脸图像构成，包含有7种基本表情：生气、厌恶、恐惧、高兴、中性、悲伤、吃惊；每个人包含2～4幅不同表情的图像；Cohn-Kanade人脸表情库包含了210个对象的6种表情序列：悲伤、高兴、吃惊、恐惧、生气、厌恶。
本发明的有益效果在于：
1)PWLD表示的是Pyramid Weber Local Descriptor，中文意思为金字塔韦伯局部描述子，本发明中简称为PWLD，PWLD特征比原始WLD特征对局部信息表征能力更好，对于图像局部纹理描述地更加精确，可以很好地提取全局和局部特征。
2)PWLD特征保留了原始WLD特征对噪声和光照变化非常鲁棒的优点，简单有效，可以应用于实时系统。
3)通过D-S证据理论将来自不同显著区域的PWLD特征进行融合，可以克服单一特征的局限性，从而得到更可靠、准确的结果，同时运用数值分析中的曲线拟合构造基本概率分配函数，使得本方法在人脸表情识别中取得较好的识别效果，保证了本发明方法的有效性和容错性，进一步提高了人脸表情识别的准确率和识别速度。
附图说明
图1为本发明的流程图。
图2为本发明选取的数据库的部分样本图。
图3为本发明的显著区域分割示意图。
图4为本发明中PWLD特征的描述示意图。
图5为本发明中WLD二维直方图的提取过程示意图。
图6为本发明中WLD二维直方图转化成一维直方图的过程示意图。
图7为本发明中最小卡方计算过程示意图。
图8为本发明中构造的指数化曲线示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
本发明技术方案可采用软件技术实现自动流程运行，参照图1所示。
下面对本发明的具体实施方式进一步描述如下：
参见图2所示，步骤1选取人脸表情数据库
采用JAFFE人脸表情库或Cohn-Kanade人脸表情库分别作为训练集；JAFFE人脸表情库是由10位日本女性的213张人脸图像构成，包含有7种基本表情：生气、厌恶、恐惧、高兴、中性、悲伤、吃惊；每个人包含2～4幅不同表情的图像；Cohn-Kanade人脸表情库包含了210个对象的6种表情序列：悲伤、高兴、吃惊、恐惧、生气、厌恶；选取训练集中的一类表情的一张人脸图像作为测试集。
参见3所示，步骤2对已选取的图像进行预处理
用AdaBoost人脸检测算法检测人脸，得到只含有人脸表情的人脸图像后，用双向灰度积分投影法对检测出的人脸图像的眼睛定位，然后对人脸图像进行尺度归一化处理，将所有图像尺度归一化为128×128像素，将归一化处理后的人脸图像分割出两个较小的显著区域图像，显著区域图像一为仅含有眉毛、眼睛的图像，显著区域图像二为仅含有嘴巴的图像；
步骤3：分别提取步骤2得到的两个显著区域图像的PWLD特征
S1、根据图像大小和对局部特征提取的需要，将显著区域图像一分成3层，即第0层(含有40＝1个图像块)、第1层(含有41＝4个图像块)、第2层(含有42＝16个图像块)；显著区域图像二分成2层，即第0层(含有40＝1个图像块)、第1层(含有41＝4个图像块)，每一层图像均由方形且大小均等的图像块构成，且下一层图像为由上一层图像的各图像块按宽和高等分成更小的图像块构成，如图4所示；
S2、分别提取每个图像块的WLD一维直方图，步骤如下：
S21：求出每个图像块的差分激励ξ(xc)和方向θ′(xc)，公式如下所示：
其中：xi表示当前像素xc的第i个邻域像素的灰度值，
p是邻域像素的个数，
假设当前像素为xc，其周围8邻域像素为则
θ是由和求得的反正切值，单位为弧度；
S22：将上一步骤S21得到的方向θ′(xc)量化到T个方向得到量化后的方向Φt,t＝(0,...,T-1)，量化方程如下所示：
S23：将S22求得的每个图像块的差分激励ξ(xc)和量化后的方向Φt联合，可得到相应图像块的二维直方图；
S24：二维直方图被进一步转化为WLD一维直方图，其横坐标表示方向，纵坐标表示差分激励；
具体转化过程如图6所示，对于不同层数，设置对应的Mi,Ti,Si,(i＝0,...,L-1)，其中Mi表示WLD二维直方图中每一个一维直方图H(t)被分成的M个段数，Ti表示求得的方向θ'(xc)被量化的空间梯度的方向数目，Si表示特征子序列Hm,t被划分的子区间数目，从而进一步细致地表征纹理信息。
步骤3中提取每个图像块的WLD一维直方图的具体算法和过程，可参见现有技术。
S3：对两个显著区域图像的每一层每个块图像的WLD一维直方图归一化，即将每一层每个图像块的WLD一维直方图乘以一个归一化系数与每一图像块所对应的归一化系数l为图像块所在层的层次；将任一显著区域图像的每一层中的每个图像块的归一化后的WLD一维直方图，按照此层图像块的排列顺序，每一行从左到右，相邻行则从上到下依次排列得到此层图像的相级联的WLD一维直方图，再将所有层图像的WLD一维直方图从第0层到最后一层依次排列即可；
步骤4：对步骤3提取的PWLD特征用D-S证据理论进行分类
S1：参照图7所示，按照上述步骤得到测试集和训练集中每一幅图像的PWLD特征后，计算测试集的显著区域图像的PWLD特征分别与训练集的每一类表情图像的相应的显著区域图像的PWLD特征的卡方距离D(T,S),可由下式求得：
T是测试集的联合直方图，S是训练集的联合直方图，N是直方图值的分数，Tt是测试集直方图中取t的个数，St是训练集直方图中取t的个数；
S2；选取测试集与训练集每一类表情图像的最小卡方距离作为最终这一类表情的最终卡方距离di′,j，i是表情的显著区域，j是表情的类别数目；
S3：用下式对所有的最终卡方距离di′,j进行归一化：
上式中：i是表情的显著区域，i＝1，2；
j是表情的类别数目，j＝1，2，…,N；
经过归一化后的最终卡方距离di,j∈[0,1)，将归一化后的最终卡方距离di,j由小到大排序；
S4：构造指数函数将归一化后的最终卡方距离di,j作为x带入上述指数函数，完成归一化后的最终卡方距离di,j到基本概率分配函数的映射；
S5：由已构造的指数函数构造基本概率分配函数mi(μj)如下：
其中β为调节系数，本实施例中β取值0.25，使得如果β为0，说明目标完全被噪声淹没，不确定性最大；
S6：由构造好的基本概率分配函数来计算证据i对类别μj的基本概率分配值mi(μj)，不确定性分配函数mi(θ)构造如下：
此处i是表情的类别区域，j是表情的类别数目；
S7：将显著区域一的基本概率分配值m1(μj)与显著区域二的基本概率分配值m2(μj)用D-S合成法则融合，得到融合后的基本概率分配值m(μj)，由S4的不确定性分配函数得到融合后的不确定性分配值为m(θ)；
其中将显著区域一的基本概率分配值m1(μj)与显著区域二的基本概率分配值m2(μj)的融合方法如下：
假定辨识框架Θ下有两个相互独立的证据源，其焦元分别是Ai和Bj，假设m1,m2是两个证据源对应的基本概率分配函数，则根据D-S证据理论的合成法则得到合成后的基本概率分配函数(BPA)，记为设Ai如下式所示：
式中K称为矛盾因子，它反映了每个证据之间的冲突程度,m(C)表示融合后的基本概率分配函数。
步骤5：根据D-S联合规则进行决策判断，得出最终判别结果。
D-S联合规则如下，其中Ar是目标类别：
1)目标类别Ar的基本概率分配值m(Ar)应具有最大的基本概率分配值；
2)目标类别Ar的基本概率分配值m(Ar)与其他类别进本概率分配值应大于第一门限ε1＝0.005；
3)融合后的不确定性分配值m(θ)必须小于第二门限ε2＝0.1；
4)目标类别Ar的基本概率分配值m(Ar)必须大于融合后的不确定性分配值m(θ)。
参见图8所示，指数函数的构造构成如下所示，
存在一个点x＝x0处斜率为-1，在(0,x0)区间内所有点的斜率小于-1，而在(x0,1)区间内曲线则相对平缓，经过反复试验，x0在(0.35,0.4)区间内可以取得最佳的效果，本发明方法中x0取0.37，根据曲线的特点，即在(0,x0)区间内所有点的斜率都大于-1，曲线较陡，在(x0,1)区间内曲线相对平缓，通过在坐标轴上模拟几组数据，(x,y)分别取{(0,1),(0.05,0.9),(0.1,0.75),(0.15,0.6),(0.2,0.45),(0.7,0.1),(0.8,0.08),(0.9,0.05),(1,0)}，再运用数值分析中的曲线拟合，并做一些参数调整，构造出一个指数函数如下所示：
其中，基本概率分配函数的构造如下：
由已构造好的指数函数表达式和D-S证据理论关于基本概率分配函数的定义，即在识别框架Θ中，基本概率分配函数必须满足其中m(A)反映了对A本身的信任度，定义证据i对类别μj的基本概率分配函数(BPA)mi(μj)为：
其中β为调节系数，使得如果β为0，说明目标完全被噪声淹没，不确定性最大。
其中，基本概率分配函数用D-A证据理论融合的方法如下：
假定辨识框架Θ下有两个相互独立的证据源，其焦元分别是Ai和Bj，假设m1,m2是两个证据源对应的基本概率分配函数，则根据D-S证据理论的合成法则得到合成后的基本概率分配函数(BPA)，记为设Ai如下式所示：
式中K称为矛盾因子，它反映了每个证据之间的冲突程度,m(C)表示融合后的基本概率分配函数。
将第l层的WLD直方图乘以归一化系数其中l＝0,1,2,...，在本系统中，3层PWLD特征中的(Mi,Ti,Si)分别取(6,8,10),(3,8,5),(3,8,2)，可以取得最佳效果；
D-S证据理论最初是由Dempster提出，Shafter对其进行完善的，又被称为D-S理论。它将两个或者多个证据体的基本信任函数通过D-S合成规则融合成一个新的基本信任函数，作为最终的决策依据，因此可以获得更高的识别率和可靠性。
结合如下的图表对本发明的对测试结果的效果做进一步描述：
表1在JAFFE人脸库的3次实验结果
表2在Cohn-Kanade人脸库的3次实验结果
参见表1和表2所示，本方法在同一表情库测试不同表情的正确识别率均在95％以上，本发明具有较高的识别率。
表3不同分类器平均识别率的比较
表4不同算法平均识别率的比较
表5不同算法平均识别时间的比较
表3至表5中的数据表明，本方法同样在JAFFE人脸库和Cohn-Kanade人脸库上与Gabor小波、LBP和LDP等方法进行实验比较，并通过结合不同的分类器来比较他们的识别率和识别时间，本发明在较短的时间内具有较高的识别率。
表6 D-S方法的数据融合结果
表6为D-S方法的数据融合结果，厌恶表情和中性表情在单独测试每个显著区域的不确定性分配值时，其测试的结构存在偏差，但是融合后的结果可以看出本发明方法构造的基本概率分配函数的正确性以及D-S证据理论在人脸表情识别的有效性和容错性。
Claims (3)
1.一种基于PWLD和D-S证据理论的人脸表情识别方法，其特征在于该方法包括如下步骤：
步骤1：选取人脸表情数据库
采用已知表情的人脸表情数据库作为训练集，并选取训练集中某一类表情的一张人脸图像作为测试集；
步骤2：对所有图像进行预处理
用AdaBoost算法检测人脸，得到只含有人脸表情的人脸图像后，用双向灰度积分投影法对检测出的人脸图像的眼睛定位，然后对人脸图像进行尺度归一化处理，将所有人脸图像尺度归一化为128×128像素，将归一化处理后的人脸图像分割出两个较小的显著区域图像，显著区域图像一为仅含有眉毛、眼睛的图像，显著区域图像二为仅含有嘴巴的图像；
步骤3：按照如下步骤分别提取步骤2中两个显著区域图像的PWLD特征
S31、将显著区域图像一分成3层，显著区域图像二分成2层，每一层图像均由方形且大小均等的图像块构成，且每层图像块的数量为4l，l为图像块所在层的层次，对于显著区域图像一，l＝0，1，2；对于显著区域图像二，l＝0，1；即下一层图像为由上一层图像的各图像块按宽和高等分成更小的图像块构成；
S32、对显著区域图像一和显著区域图像二，分别提取每一层每个图像块的WLD一维直方图；
S33：将每一层每个图像块的WLD一维直方图乘以一个归一化系数与每一图像块所对应的归一化系数l为图像块所在层的层次；并把同一显著区域图像的每一层每个图像块的归一化后的WLD一维直方图级联，即得到相应的显著区域图像的PWLD特征；
步骤4：将步骤3提取的PWLD特征用D-S证据理论进行分类
S41：按照上述步骤3的方法得到每一幅图像的每一个显著区域图像的PWLD特征后，计算测试集图像的每一个显著区域图像的PWLD特征分别与训练集中每一类表情的每一张图像的相对应的显著区域图像的PWLD特征的卡方距离D(TH,SH),可由下式求得：
<mrow>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>T</mi>
<mi>H</mi>
<mo>,</mo>
<mi>S</mi>
<mi>H</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>P</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>TH</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mi>SH</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>/</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>TH</mi>
<mi>k</mi>
</msub>
<mo>+</mo>
<msub>
<mi>SH</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
TH是测试集的联合直方图，SH是训练集的联合直方图，P是联合直方图中的灰度级数，THk是测试集联合直方图中灰度值等于k的像素个数，SHk是训练集联合直方图中灰度值等于k的像素个数；
S42：选取S41计算的测试集与训练集每一类表情的每一张图像的最小卡方距离作为这一类表情的第一最终卡方距离d′i,j，i是表情的显著区域，i＝1，2，j是表情的类别序号，j＝1，2，…，C，C为表情类别序号的最大值；
S43：用下式对所有的第一最终卡方距离d′i，j进行归一化：
<mrow>
<msub>
<mi>d</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<msubsup>
<mi>d</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mo>&prime;</mo>
</msubsup>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>C</mi>
</munderover>
<msubsup>
<mi>d</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mo>&prime;</mo>
</msubsup>
</mrow>
</mfrac>
</mrow>
归一化后得到的第二最终卡方距离di,j∈[0,1)，将第二最终卡方距离di,j由小到大排序；
S44：构造指数函数将归一化后的最终卡方距离di,j作为x带入上述指数函数，定义证据i对类别μj的基本概率分配函数为mi(μj)
<mrow>
<msub>
<mi>m</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>&mu;</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>&beta;</mi>
<mo>&times;</mo>
<mrow>
<mo>(</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mn>13</mn>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>d</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>+</mo>
<mn>0.06</mn>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msup>
<mo>+</mo>
<mn>0.05</mn>
<mo>)</mo>
</mrow>
</mrow>
其中：β为调节系数，使得β取值范围为(0，0.8)；
完成归一化后的最终卡方距离di,j到基本概率分配函数mi(μj)的映射；
S45：由S44的基本概率分配函数构造的不确定性分配函数mi(θ)如下：
<mrow>
<msub>
<mi>m</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>&theta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>1</mn>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>C</mi>
</munderover>
<msub>
<mi>m</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>&mu;</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
此处i是表情的显著区域，j是表情的类别序号；
S46：将显著区域一的基本概率分配值m1(μj)与显著区域二的基本概率分配值m2(μj)用D-S合成法则融合，得到融合后的基本概率分配值m(μj)，最后得到融合后的不确定性分配值m(θ)；
步骤5：根据D-S联合规则进行决策判断，得出最终判别结果；
D-S联合规则如下，其中Ar是目标类别：
1)目标类别Ar的基本概率分配值m(Ar)应具有最大的基本概率分配值；
2)目标类别Ar的基本概率分配值m(Ar)与其他类别基本概率分配值应大于第一门限ε1＝0.005；
3)融合后的不确定性值m(θ)必须小于第二门限ε2＝0.1；
4)目标类别Ar的基本概率分配值m(Ar)必须大于不确定性m(θ)；
所述归一化后的WLD一维直方图的级联方法如下：
将任一显著区域图像的每一层中的每个图像块的归一化后的WLD一维直方图，按照此层图像块的排列顺序，每一行从左到右，相邻行则从上到下依次排列得到此层图像的相级联的WLD一维直方图，再将所有层图像的WLD一维直方图从第0层到最后一层依次排列即可；
对于步骤3中的S32，具体包括如下步骤：
S321：求出每个图像块的差分激励ξ(xc)和方向θ′(xc)，公式如下所示：
<mrow>
<mi>&xi;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>c</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mo>&lsqb;</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>Z</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mi>c</mi>
</msub>
</mrow>
<msub>
<mi>x</mi>
<mi>c</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>,</mo>
</mrow>
<mrow>
<msup>
<mi>&theta;</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>c</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mn>2</mn>
<mrow>
<mo>(</mo>
<msubsup>
<mi>v</mi>
<mi>s</mi>
<mi>a</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>v</mi>
<mi>s</mi>
<mi>b</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>&pi;</mi>
<mo>,</mo>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mn>2</mn>
<mrow>
<mo>(</mo>
<msubsup>
<mi>v</mi>
<mi>s</mi>
<mi>a</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>v</mi>
<mi>s</mi>
<mi>b</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>&theta;</mi>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>v</mi>
<mi>s</mi>
<mi>a</mi>
</msubsup>
<mo>></mo>
<mn>0</mn>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
<mi> </mi>
<msubsup>
<mi>v</mi>
<mi>s</mi>
<mi>b</mi>
</msubsup>
<mo>></mo>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>&pi;</mi>
<mo>+</mo>
<mi>&theta;</mi>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>v</mi>
<mi>s</mi>
<mi>a</mi>
</msubsup>
<mo>></mo>
<mn>0</mn>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
<mi> </mi>
<msubsup>
<mi>v</mi>
<mi>s</mi>
<mi>b</mi>
</msubsup>
<mo><</mo>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>&theta;</mi>
<mo>-</mo>
<mi>&pi;</mi>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>v</mi>
<mi>s</mi>
<mi>a</mi>
</msubsup>
<mo><</mo>
<mn>0</mn>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
<mi> </mi>
<msubsup>
<mi>v</mi>
<mi>s</mi>
<mi>b</mi>
</msubsup>
<mo><</mo>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>&theta;</mi>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>v</mi>
<mi>s</mi>
<mi>a</mi>
</msubsup>
<mo><</mo>
<mn>0</mn>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
<mi> </mi>
<msubsup>
<mi>v</mi>
<mi>s</mi>
<mi>b</mi>
</msubsup>
<mo>></mo>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中：xi表示当前像素xc的第i个邻域像素的灰度值，
Z是邻域像素的个数，
为当前像素xc的下邻域像素灰度值减去上邻域像素灰度值的差值，为当前像素xc的左邻域像素灰度值减去右邻域像素灰度值的差值；
θ是由和求得的反正切值，单位为弧度；
S322：将上一步骤S321得到的方向θ′(xc)量化到T个方向得到量化后的方向Φt,t＝(0,...,T-1)，量化方程如下所示：
S323：将S322求得的每个图像块的差分激励ξ(xc)和量化后的方向Φt联合，可得到相应图像块的二维直方图；
S324：二维直方图被进一步转化为WLD一维直方图，其横坐标表示方向，纵坐标表示差分激励；
对于不同层数l，分别设置对应的Ml,Tl,Sl,(l＝0,...,L-1)，其中L表示PWLD特征的总层数；Ml表示l层的WLD二维直方图中每一个一维直方图H(t)被分成的段数，Tl表示l层的方向θ'(xc)被量化的空间梯度的方向数目，Sl表示l层的每一个直方图分段Hm,t被划分的子区间数目，从而进一步细致地表征纹理信息。
2.如权利要求1所述的基于PWLD和D-S证据理论的人脸表情识别方法，其特征在于：
其中，显著区域图像一与显著区域图像二的基本概率分配函数值用D-S证据理论融合的方法如下：
假定识别框架Θ下有两个相互独立的证据源，其焦元分别是Ai和Bj，假设m1,m2是两个证据源对应的基本概率分配函数，则根据D-S证据理论的合成法则得到合成后的基本概率分配函数，记为设Ai如下式所示：
<mrow>
<mi>m</mi>
<mrow>
<mo>(</mo>
<mi>C</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>m</mi>
<mn>1</mn>
</msub>
<mo>&CircleTimes;</mo>
<msub>
<mi>m</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>m</mi>
<mrow>
<mo>(</mo>
<mi>C</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>C</mi>
<mo>=</mo>
<mi>&phi;</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mrow>
<msub>
<mi>A</mi>
<mi>i</mi>
</msub>
<mo>&cap;</mo>
<msub>
<mi>B</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<mi>C</mi>
</mrow>
</munder>
<mfrac>
<mrow>
<msub>
<mi>m</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>A</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<msub>
<mi>m</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>B</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mn>1</mn>
<mo>-</mo>
<mi>K</mi>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>C</mi>
<mo>&NotEqual;</mo>
<mi>&phi;</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
式中K称为矛盾因子，它反映了每个证据之间的冲突程度，m(C)表示融合后的基本概率分配函数。
3.如权利要求1或2所述的基于PWLD和D-S证据理论的人脸表情识别方法，其特征在于：
采用JAFFE人脸表情库或Cohn-Kanade人脸表情库作为训练集；JAFFE人脸表情库是由10位日本女性的213张人脸图像构成，包含有7种基本表情：生气、厌恶、恐惧、高兴、中性、悲伤、吃惊；每个人包含2～4幅不同表情的图像；Cohn-Kanade人脸表情库包含了210个对象的6种表情序列：悲伤、高兴、吃惊、恐惧、生气、厌恶。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410307045.3A CN104112145B (zh) | 2014-06-30 | 2014-06-30 | 基于pwld和d‑s证据理论的人脸表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410307045.3A CN104112145B (zh) | 2014-06-30 | 2014-06-30 | 基于pwld和d‑s证据理论的人脸表情识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104112145A CN104112145A (zh) | 2014-10-22 |
| CN104112145B true CN104112145B (zh) | 2018-01-19 |
Family
ID=51708929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410307045.3A Active CN104112145B (zh) | 2014-06-30 | 2014-06-30 | 基于pwld和d‑s证据理论的人脸表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104112145B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825183B (zh) * | 2016-03-14 | 2019-02-12 | 合肥工业大学 | 基于部分遮挡图像的人脸表情识别方法 |
| CN106529504B (zh) * | 2016-12-02 | 2019-05-31 | 合肥工业大学 | 一种复合时空特征的双模态视频情感识别方法 |
| WO2022036483A1 (zh) * | 2020-08-17 | 2022-02-24 | 南京智导智能科技有限公司 | 一种面向hmd设备的面部表情识别系统 |
| CN116524563B (zh) * | 2023-04-28 | 2024-01-19 | 山东省人工智能研究院 | 一种基于transformer与不确定性的动态人脸表情识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521561A (zh) * | 2011-11-16 | 2012-06-27 | 湖南大学 | 基于多尺度韦伯局部特征和分层决策融合的人脸识别方法 |
| CN102629321A (zh) * | 2012-03-29 | 2012-08-08 | 天津理工大学 | 基于证据理论的人脸表情识别方法 |
| CN102722699A (zh) * | 2012-05-22 | 2012-10-10 | 湖南大学 | 基于多尺度韦伯局部特征和核组稀疏表示的人脸识别方法 |
| CN103745237A (zh) * | 2013-12-26 | 2014-04-23 | 暨南大学 | 光照变化条件下的人脸识别算法 |
| CN103761507A (zh) * | 2014-01-03 | 2014-04-30 | 东南大学 | 一种基于韦伯法则的局部多值模式的人脸识别方法 |
-
2014
- 2014-06-30 CN CN201410307045.3A patent/CN104112145B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521561A (zh) * | 2011-11-16 | 2012-06-27 | 湖南大学 | 基于多尺度韦伯局部特征和分层决策融合的人脸识别方法 |
| CN102629321A (zh) * | 2012-03-29 | 2012-08-08 | 天津理工大学 | 基于证据理论的人脸表情识别方法 |
| CN102722699A (zh) * | 2012-05-22 | 2012-10-10 | 湖南大学 | 基于多尺度韦伯局部特征和核组稀疏表示的人脸识别方法 |
| CN103745237A (zh) * | 2013-12-26 | 2014-04-23 | 暨南大学 | 光照变化条件下的人脸识别算法 |
| CN103761507A (zh) * | 2014-01-03 | 2014-04-30 | 东南大学 | 一种基于韦伯法则的局部多值模式的人脸识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| "Feature Fusion of HOG and WLD for Facial Expression Recognition";Xiaohua Wang等;《Proceedings of the 2013 IEEE/SICE International Symposium on System Integration》;20131217;第227-232页 * |
| "PHOG特征与聚类特征选择的笑脸识别方法";郭礼华等;《模式识别与人工智能》;20120215;第25卷(第1期);第23-28页 * |
| "基于局部特征分析的人脸表情识别问题研究";王文成;《中国博士学位论文全文数据库 信息科技辑》;20120715;第2、16-18、43-45、75-79、91-107页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104112145A (zh) | 2014-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106295124B (zh) | 多种图像检测技术综合分析基因子图相似概率量的方法 | |
| CN101620669B (zh) | 一种人脸身份和表情的同步识别方法 | |
| CN104573688B (zh) | 基于深度学习的移动平台烟草激光码智能识别方法及装置 | |
| CN102890823B (zh) | 运动对象轮廓提取及左心室图像分割方法和装置 | |
| CN107977671A (zh) | 一种基于多任务卷积神经网络的舌象分类方法 | |
| CN106296638A (zh) | 显著性信息取得装置以及显著性信息取得方法 | |
| CN100418469C (zh) | 基于舌象特征的病证计算机分析系统 | |
| CN112365464B (zh) | 一种基于gan的医学图像病变区域弱监督定位方法 | |
| CN106529499A (zh) | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 | |
| CN114175109A (zh) | 用于图像分割的生成对抗网络 | |
| CN111639587B (zh) | 基于多尺度谱空卷积神经网络的高光谱图像分类方法 | |
| CN103514456A (zh) | 基于压缩感知多核学习的图像分类方法及其装置 | |
| CN103208012B (zh) | 一种光照人脸识别方法 | |
| CN104112145B (zh) | 基于pwld和d‑s证据理论的人脸表情识别方法 | |
| CN109558902A (zh) | 一种快速目标检测方法 | |
| CN106408017A (zh) | 基于深度学习的超生颈动脉内中膜厚度测量装置和方法 | |
| CN106529395B (zh) | 基于深度置信网络和k均值聚类的签名图像鉴定方法 | |
| CN104680545B (zh) | 光学图像中存在显著目标的检测方法 | |
| CN106897669A (zh) | 一种基于一致迭代多视角迁移学习的行人再辨识方法 | |
| CN107341538A (zh) | 一种基于视觉的统计数量方法 | |
| CN110705565A (zh) | 淋巴结肿瘤区域识别方法与装置 | |
| CN106056059A (zh) | 多方向slgs特征描述及性能云加权融合的人脸识别方法 | |
| CN103971106A (zh) | 多视角人脸图像性别识别方法及装置 | |
| CN104408731B (zh) | 基于区域图和统计相似性编码的sar图像分割方法 | |
| CN111968124B (zh) | 基于半监督语义分割的肩部肌骨超声结构分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |