CN102880855B - 一种基于云模型的人脸表情识别方法 - Google Patents

一种基于云模型的人脸表情识别方法 Download PDF

Info

Publication number
CN102880855B
CN102880855B CN201210293381.8A CN201210293381A CN102880855B CN 102880855 B CN102880855 B CN 102880855B CN 201210293381 A CN201210293381 A CN 201210293381A CN 102880855 B CN102880855 B CN 102880855B
Authority
CN
China
Prior art keywords
facial expression
expression image
cloud
image
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210293381.8A
Other languages
English (en)
Other versions
CN102880855A (zh
Inventor
王树良
池荷花
池莲花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201210293381.8A priority Critical patent/CN102880855B/zh
Publication of CN102880855A publication Critical patent/CN102880855A/zh
Application granted granted Critical
Publication of CN102880855B publication Critical patent/CN102880855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种基于云模型的人脸表情识别方法,包括步骤:一,对图像库中已有的人脸表情图像进行样本集训练,并采用逆向云生成器得到每组人脸表情图像的云数字特征值;二,将待识别人脸表情图像读取成数据矩阵;三,将待识别人脸表情图像添入到人脸表情样品集中任一组人脸表情图像A中,得到一组新人脸表情图像A1,采用逆向云生成器得到该组新人脸表情图像A1的云数字特征值;四,比较一组人脸表情图像A和一组新人脸表情图像A1的云数字特征值,并依据两组云数字特征值的前后差异判定待识别人脸表情图像所属类别。本发明方法运用云模型提取人脸表情图像的云数字特征,并对所提取的云数字特征进行对比与分析,从而实现人脸表情识别。

Description

一种基于云模型的人脸表情识别方法
技术领域
本发明涉及人脸表情识别技术领域,尤其涉及一种基于云模型的人脸表情识别方法。
背景技术
云模型具有宏观精确、微观模糊、宏观可控、微观不可控的特点,其本质单位是云滴组成的概念云,思想是兼顾了随机性和模糊性。它把自然语言中的随机性和模糊性有机地综合在一起,构成定性和定量相互间的映射,不但突破了概率统计中“硬计算”的局限性,而且解决了作为模糊集理论基石的隶属函数的固有缺陷,破除了粗集边界集的局限性,提供了一套解决数据挖掘中不确定性问题的新方法和新技术。云模型作为一种一般性的数学理论,巧妙地实现了定性定量之间的自由数学转换,其方法和技术发展至今,已经被广泛成功地应用于知识发现、空间数据挖掘、智能控制和大系统效能评估中,解决或解释自然、社会的问题或现象,并取得了显著的成效。
云发生器(Cloud Generator,简称CG)指云模型的生成算法。云发生器建立起定性和定量之间相互联系、相互依存、性中有量、量中有性的映射关系,主要包括正向云发生器、逆向云发生器、X条件云发生器和Y条件云发生器。
逆向云发生器(Backward Cloud Generator)是实现数值和其语言值之间的不确定性转换模型,是从定量到定性的映射。它将一定数量的精确数据有效转换为以恰当的定性语言值{Ex,En,He}表示的概念,并据此代表这些精确数据所反映的云滴整体。云滴对应精确数据的数量越多,反映的概念越确切。逆向云发生器是一个逆向的、间接的云生成过程,它把给定的符合某一分布规律的一组云滴Drop(xi,CT(xi))作为样本,Drop(xi,CT(xi))表示第i个云滴xi在数域空间的定量位置及第i个云滴xi代表该概念的确定度CT(xi),并产生描述云模型所对应的定性概念的三个数字特征(Ex,En,He),如图1所示。通过正向云发生器和逆向云发生器,云模型就建立起了定性和定量之间相互联系、相互依存、性中有量、量中有性的映射关系。
逆向云发生器的输入为Drop(x1,CT(x1))、Drop(x2,CT(x2))、……Drop(xN,CT(xN)),输出为(Ex,En,He,N),下面是基于拟合的逆向云发生器的具体算法:
(1)输入Drop(x1,CT(x1))、Drop(x2,CT(x2))、……Drop(xN,CT(xN));
(2)将云期望方程线性化,转化为以云滴为观测值、以期望和熵为未知参数的观测方程,形成数据平差的误差方程组,然后采用间接平差法进行求解,得到期望值的最小二乘拟合值
(3)根据步骤(2)所得期望值的最小二乘拟合值并根据公式计算熵的样本;
(4)根据公式 E n ^ = 1 n Σ i = 1 n E n i ′ 计算熵值
(5)根据公式 H ^ e = 1 n - 1 Σ i = 1 n ( E n i ′ - E ^ n ) 2 计算超熵
(6)根据步骤(2)、(4)、(5)的结果输出
作为生物特征识别与情感计算领域一个极富挑战性的交叉课题,人脸表情识别技术在各种应用的推动下发展很快,人脸表情识别系统主要包括以下几个环节:人脸表情图像的获取、人脸检测、人脸表情特征提取和人脸表情的识别,其结构图如图2所示。对于一个人脸表情自动识别系统来说,首先是要获取人脸表情的静态图像或表情图像序列;第二步是对表情图像进行预处理,包括人脸检测和图像归一化;第三步是对预处理后的人脸表情图像进行人脸特征提取,人脸特征提取包括原始特征获取、特征降维及提取、特征分离;第四步是表情识别,即根据所提取的特征依照某种准则对表情进行分类。
人脸表情识别是计算机视觉、情感计算和图像处理等研究领域的一个热点课题,可以广泛应用在人机交互、多媒体制作、测谎、安全保密、医疗辅助、行为科学等领域。国内外学者对人脸表情识别展开了深入研究,主要的研究成果有:基于一个专家系统分析人脸表情,进而得到基于表情的情感分类;基于脸部表情行为的人脸表情识别;基于小波分析和支持向量机的人脸表情识别。目前,人脸表情作为生物特征识别技术也有其固有的缺陷,这主要表现在:
(1)人脸特征稳定性较差
尽管面部通常不会发生根本性的变化(故意整容除外),但人脸是有极强可塑性的三维柔性皮肤表面,会随着表情、年龄等的变化而发生改变,皮肤的特性也会随着年龄、化妆乃至整容、意外伤害等发生很大变化。
(2)可靠性、安全性较低
尽管不同个体的人脸各不相同,但人类的面孔总体是相似的,而且地球上人口如此众多,以致很多人的面孔之间的差别是非常微妙的,技术上实现安全可靠的认证是有相当难度的。
(3)图像采集受各种外界条件影响很大,因此识别性能偏低
图像的摄制过程决定了人脸图像识别系统必须面对不同的光照条件、视角、距离变化等非常困难的视觉问题,这些成像因素都会极大影响人脸图像的表观,从而使得识别性能不够稳定。
这些缺点使得人脸识别成为一个非常困难的挑战性课题,尤其是在用户不配合、非理想采集条件下的人脸识别问题,更成为目前的热点问题。目前,世界上最好的人脸识别系统也只能在用户比较配合、采集条件比较理想的情况才可以基本满足一般应用的要求。当然,随着技术的进步,相信这些问题也应该可以逐步解决,从而使得人脸识别技术能够更好的满足公众的期望。
发明内容
针对现有技术存在的不足,本发明提供了一种基于云模型的人脸表情识别方法,该方法应用云模型挖掘人脸表情图像中所隐含的知识,并提取基于云模型的人脸表情特征,从而实现人脸表情识别。
为了解决上述技术问题,本发明采用如下的技术方案:
一种基于云模型的人脸表情识别方法,包括以下步骤:
步骤一,对图像库中已有的人脸表情图像进行样本集训练,该样本集训练分为两类:不同人的同一种表情和同一人的不同表情,即表情类和人脸类,并采用逆向云生成器提取样本集中每组人脸表情图像的云数字特征值{Ex,En,He};
步骤二,将待识别的人脸表情图像读取成数据矩阵;
步骤三,将待识别人脸表情图像添入到样本集中任一组人脸表情图像A中,得到一组新的人脸表情图像A1,采用逆向云生成器得到该组新人脸表情图像A1的云数字特征值{Ex,En,He};
步骤四,比较一组人脸表情图像A和一组新人脸表情图像A1的云数字特征值,并依据两组云数字特征值的前后差异来判定待识别人脸表情图像在样本集中匹配的一组人脸表情图像。
上述步骤四进一步包括以下子步骤:
步骤4-1、比较一组人脸表情图像A和一组新人脸表情图像A1的云数字特征值,若期望值Ex、超熵值He、熵值En的前后差异不大于设定阈值,则待识别人脸表情图像与一组人脸表情图像A匹配;否则,将待识别人脸表情图像添入到样品集中另一组人脸表情图像A’中,重复步骤三~四,直至找到与待识别人脸表情图像匹配的唯一一组人脸表情图像,则人脸表情识别完成;若无法在样本集中找到与待识别人脸表情图像匹配的唯一一组人脸表情图像时,执行步骤4-2;
步骤4-2、该步骤进一步包括步骤:
①若无法在样本集中找到与待识别人脸表情图像匹配的人脸表情图像,则在其他图像库中重新执行步骤一~四,若在设定循环次数内、在新图像库中找到不止一组人脸表情图像与待识别人脸表情图像匹配,则执行步骤②;若在设定循环次数仍未找出与待识别人脸表情图像匹配的人脸表情图像,则匹配不成功,结束匹配;
②若在样本集中找到不止一组人脸表情图像与待识别人脸表情图像匹配,则减小设定阈值,重新执行步骤三~四,直至找到与待识别人脸表情图像匹配的唯一一组人脸表情图像。
上述步骤一中的图像库为JAFFE库。
上述步骤一和步骤三中的逆向云发生器采用基于拟合的逆向云发生器算法。
上述步骤一中采用逆向云发生器提取样本集中每组人脸表情图像的云数字特征值
{Ex,En,He}进一步包括以下子步骤:
1.1将表情类和人脸类中每组人脸表情图像分别读取成数据矩阵;
1.2采用逆向云发生器对步骤1.1中所得的每组数据矩阵分别进行图像特征提取,并获得每组数据矩阵所对应的人脸表情图像的云数字特征值{Ex,En,He}。
上述步骤二中将待识别人脸表情图像读取成数据矩阵前对其进行除噪音处理。
与现有技术相比,本发明方法具有以下优点和有益效果:
1、本发明方法从一个全新的角度研究人脸表情识别,即应用云模型算法,提取人脸表情的三个云数字特征{Ex,En,He},并且基于这三个云数字特征,实现人脸表情识别;
2、本发明方法从云模型中的逆向云发生器算法中充分挖掘出人脸表情图像中的云数字特征{Ex,En,He},并揭示了人脸表情图像中所隐含的知识,即Ex:代表了人脸图像的共性;En:个性知识偏离一般共性知识的程度;He:偏离程度的离散度。通过这些知识的表述,可以从更深层次去分析人脸表情,从而为人脸表情识别的研究提供了一定的理论基础;
3、本发明方法采用了基于拟合的逆向云发生器算法,该算法在识别上比基于均值化的逆向云发生器更为有效。
附图说明
图1为逆向云发生器的输入输出图;
图2为人脸表情识别系统图;
图3为本发明方法的流程框图;
图4是待识别的人脸图像;
图5为人脸表情样本集训练;
图6为两组原始人脸表情图像;
图7为图6中两组人脸表情图像的对比结果。
具体实施方式
云模型作为不确定性知识的数学转换模型,把模糊性和随机性集成在一起,构成定性和定量相互间的映射。而人脸表情也是不确定性数据中的一种,运用云模型技术实现人脸表情识别,这是本发明的核心。
云模型中的逆向云发生器算法充分挖掘出人脸表情图像中的云数字特征{Ex,En,He},本发明借助于云模型中的云数字特征{Ex,En,He},揭示了人脸表情图像中所隐含的知识,即Ex代表了人脸图像的共性;En代表了个性知识偏离一般共性知识的程度;He代表了偏离程度的离散度。在剖析了人脸图像所隐含知识的同时,本发明方法借助于云模型提取出人脸表情图像的云数字特征{Ex,En,He},运用这组云数字特征实现人脸表情识别。
本发明是基于云模型的人脸表情识别方法,该方法应用云模型挖掘人脸表情图像中所隐含的知识,并提取基于云模型的人脸表情特征,从而实现人脸表情识别。下面将详细说明本发明方法,具体步骤如下:
步骤一,对图像库中已有的人脸表情图像进行样本集训练,该样本集训练分为两类:不同人的同一种表情和同一人的不同表情,即表情类和人脸类,图像库中有各种不同人的不同表情图像,将不同人的同一种表情图像作为一组,即构成样本集的表情类,将同一人的不同表情图像作为一组,即构成样本集的人脸类。所以,每一类样本集中分别有多组人脸表情图像,采用逆向云生成器提取样本集中每组人脸表情图像的云数字特征值{Ex,En,He};
上述采用逆向云生成器算法提取样本集中每组人脸表情图像的云数字特征值
{Ex,En,He}进一步包括以下子步骤:
1.1将表情类和人脸类中每组人脸表情图像分别读取成数据矩阵;
1.2采用逆向云发生器对步骤1.1中所得的每组数据矩阵分别进行图像特征提取,并获得每组数据矩阵所对应的人脸表情图像的云数字特征值{Ex,En,He}。
步骤1.2中所采用的逆向云发生器的输入为一系列云滴Drop(x1,CT(x1))、Drop(x2,CT(x2))、……Drop(xN,CT(xN)),输出为(Ex,En,He,N),其是采用基于拟合的逆向云发生器算法,具体如下:
(7)输入Drop1x1,CT(x1))、Drop(x2,CT(x2))、……Drop(xN,CT(xN));
(8)将云期望方程线性化,转化为以云滴为观测值、以期望和熵为未知参数的观测方程,形成数据平差的误差方程组,然后采用间接平差法进行求解,得到期望值的最小二乘拟合值
(9)根据步骤(2)所得期望值的最小二乘拟合值并根据公式计算熵的样本;
(10)根据公式 E n ^ = 1 n Σ i = 1 n E n i ′ 计算熵值
(11)根据公式 H ^ e = 1 n - 1 Σ i = 1 n ( E n i ′ - E ^ n ) 2 计算超熵
(12)根据步骤(2)、(4)、(5)的结果输出
上述算法对应的程序样例如下:
生成输入人脸表情图像期望值的程序样例为:
AveImage1=SelectAveImage(Images,Num,1);
生成输入人脸表情图像熵值的程序样例为:
stdImage1=CalculateStdImage(Images,AveImage1,Num,1,1);
生成输入人脸表情图像超熵值的程序样例为:
HeImage1=CalculateReVarianceImage(1,stdImage1,1)。
步骤二,将一张待识别的人脸表情图像读取成数据矩阵,该步骤采用的程序样例为
[Images,Num]=ExtractMatrixFromImage()。作为优选,可以在将待识别人脸表情图像读取成数据矩阵前对其进行除噪音处理,这样可以提高人脸表情识别的准确性。
步骤三,将待识别人脸表情图像添入到步骤一中所得的人脸表情样品集中任一组人脸表情图像A中,得到一组新的人脸表情图像A1,采用逆向云生成器得到该组新人脸表情图像A1的云数字特征值{Ex,En,He},逆向云发生器是采用基于拟合的逆向云发生器算法,同步骤一中所采用的逆向云发生器。
步骤四,比较一组人脸表情图像A和步骤三所得一组新人脸表情图像A1的云数字特征值,并依据两组云数字特征值的前后差异判定待识别人脸表情图像所属类别。
具体的判定方法为:
步骤4-1、比较一组人脸表情图像A和一组新人脸表情图像A1的云数字特征值,若期望值Ex、超熵值He、熵值En的前后差异不大于设定阈值,则待识别人脸表情图像与一组人脸表情图像A匹配;例如,若期望值Ex和超熵值He的前后差异不大于0.34+0.0010,且熵值En的前后差异不大于0.34+0.0020,则待识别人脸表情图像与一组人脸表情图像A匹配;否则,将待识别人脸表情图像添入到样品集中另一组人脸表情图像A’中,重复步骤三~四,直至找到与待识别人脸表情图像匹配的唯一一组人脸表情图像,则人脸表情识别完成;若无法在样本集中找到与待识别人脸表情图像匹配的唯一一组人脸表情图像时,执行步骤4-2;
步骤4-2、该步骤进一步包括步骤:
①若无法在样本集中找到与待识别人脸表情图像匹配的人脸表情图像,则说明该图像不属于样本集中所有的人脸表情图像组中的任何一组,则在其他图像库中重新执行步骤一~四,若在设定循环次数内、在新图像库中找到不止一组人脸表情图像与待识别人脸表情图像匹配,则执行步骤②;若在设定循环次数仍未找出与待识别人脸表情图像匹配的人脸表情图像,则匹配不成功,结束匹配;
②若在样本集中找到不止一组人脸表情图像与待识别人脸表情图像匹配,则说明阈值设置过大,匹配敏感程度不高,可适当减小设定阈值,重新执行步骤四,直至找到与待识别人脸表情图像匹配的唯一一组人脸表情图像。
在本步骤中,可能出现匹配不成功和不准确,若待识别人脸表情图像加入样本集中所有人脸表情图像组中后云数字特征值的前后差异均超过设定阈值,就会出现匹配不成功。若样本集中存在不止一组人脸表情图像在加入待识别人脸表情图像后云数字特征值差异均不超过设定阈值,就会出现匹配不准确。目前的人脸识别方法均会存在匹配不成功和匹配不准确的问题。当出现匹配不成功时,可以采用在其他的图像库中重新执行步骤一~四,以减少或避免这种情况的发生。当出现匹配不准确时,可以减小阈值,然后重新执行步骤四,也可以减少或避免匹配不准确的发生。
以下将结合实施例具体说明本发明方法的应用:
本实施例中所用人脸表情图像大多数来自于JAFFE(Japanese Female Facial Expression)库。JAFFE库是一个开放的人脸表情图像数据库http://www.kasrl.org/jaffe_download.html,包括KA、KL、KM、KR、MK、NA、NM、TM、UY、YM共10个不同的日本女性,每个人有AN、DI、FE、HA、NE、SA、SU共7种不同的表情,每种表情有3或4张样本图像,总数是216张人脸表情图像。
首先,对JAFFE库中的人脸表情图像进行样品集训练,该样品集训练分为两类:不同人的同一表情和同一人的不同表情,即表情类和人脸类,该步骤具体如下:
1-1、同一人的不同表情的云数字特征提取
在JAFFE库中选定图像库中的KA,把她的AN、DI、FE、HA、NE、SA、SU等7种表情图像作为一组,并将该组人脸表情图像读取成数据矩阵;以数据矩阵为输入,运用基于拟合的逆向云发生器算法的逆向云发生器对该组数据矩阵所对应的人脸表情图像进行图像特征提取,获得KA的7种表情图像的云数字特征值{Ex,En,He},结果如图5的第1行第9~11列所示。
采用上述相同的方法分别得到JAFFE库中的KL、KM、KR、MK、NA、NM、TM、UY、YM等9个不同日本女性的7种表情图像的云数字特征值{Ex,En,He},结果分别如图5的第2行、第3行、第4行、第5行、第6行、第7行、第8行、第9行、第10行的第9~11列所示。
1-2、不同人的相同表情的云数字特征提取
在JAFFE库中选定AN表情,把KA、KL、KM、KR、MK、NA、NM、TM、UY、YM等10个不同日本女性的AN表情图像作为一组,并将该组人脸表情图像读取成数据矩阵;以数据矩阵为输入,运用基于拟合的逆向云发生器算法的逆向云发生器对该组数据矩阵所对应的人脸表情图像进行图像特征提取,获得该组人脸表情图像的云数字特征值{Ex,En,He},结果如图5第1列第12~14行所示。
采用上述相同的方法分别得到JAFFE库中KA、KL、KM、KR、MK、NA、NM、TM、UY、YM等10个不同日本女性的DI、FE、HA、NE、SA、SU等6种不同的表情图像的云数字特征值{Ex,En,He},结果分别如图5的第2列、第3列、第4列、第5列、第6列、第7列第12~14行所示。
图5所示为对JAFFE库中人脸表情图像进行样品集训练的结果,其中每行的含义表示:输入的是同一个人的七种不同表情,输出的是这组输入图像的云数字特征{Ex,En,He};每列的含义表示:输入的是十个人的同一种表情,输出是这组输入图像的云数字特征{Ex,En,He}。
其次,现有一张待识别的人脸表情图像,如图4所示,将待识别人脸表情图像读取成数据矩阵;在待识别人脸表情图像读取成数据矩阵之前,可以对待识别人脸表情图像进行除噪音处理,这样使得识别结果更准确。
接着,将待识别的人脸表情图像添入到步骤一中所得的人脸表情样品集中的任一组人脸表情图像A中,得到一组新的人脸表情图像A1,采用基于拟合的逆向云发生器算法的逆向云生成器得到该组新人脸表情图像A1的云数字特征值{Ex,En,He}。
步骤四,比较一组人脸表情图像A和步骤三所得一组新人脸表情图像A1的云数字特征值,并依据两组云数字特征值的前后差异判定待识别人脸表情图像所属类别,判定方法如下:若期望值Ex和超熵值He的前后差异不大于0.34+0.0010,且熵值En的前后差异不大于0.34+0.0020,则待识别人脸表情图像与一组人脸表情图像A匹配;否则,将待识别人脸表情图像添入到步骤一中所得的人脸表情样品集中另一组人脸表情图像A中,重复步骤三~四,直至找到与待识别人脸表情图像匹配的一组人脸表情图像。
下面将选取图5所示人脸表情样本集中KA和KL的7种表情的两组人脸表情图像来进一步说明步骤四,如图6所示。
选取图6中第一行的一组图像记为第一组人脸表情图像KA,其云数字特征值{Ex,En,He}图像如图5第1行第9~11列所示;将图4所示待识别人脸表情图像添入到第一组人脸表情图像KA中,记为第二组人脸表情图像KA1,运用基于拟合的逆向云发生器算法的逆向云发生器得到第二组人脸表情图像KA1的云数字特征值{Ex,En,He},其对应的云数字特征图像如图7第2列所示;比较第一组人脸表情图像KA和第二组人脸表情图像KA1的云数字特征值{Ex,En,He},图7第4列显示了这两组人脸表情图像的云数字特征值{Ex,En,He}差图像及其数值差异。
选取图6中第二行的一组图像记为第三组人脸表情图像KL,其云数字特征值{Ex,En,He}图像如图5第2行第9~11列所示;将图4所示待识别人脸表情图像添入到第三组人脸表情图像KL中,记为第四组人脸表情图像KL1,运用基于拟合的逆向云发生器算法的逆向云发生器得到第四组人脸表情图像KL1的云数字特征值{Ex,En,He},其对应的云数字特征图像如图7第3列所示;比较第三组人脸表情图像KL和第四组人脸表情图像KL1的云数字特征值{Ex,En,He},图7第5列显示了这两组人脸表情图像的云数字特征值{Ex,En,He}差图像及其数值差异。
运用Matlab技术对所得图7的第4列和第5列图像进行数值化处理,样例程序:Number=Tonumber(Images);结果分别记录在相对应图像的等号后面。在本实验中,根据算法精度,设置了相应阈值如下:期望值的前后数值差异在(0~0.34+0.0010)时,则可以判定期望的差图像符合匹配要求,否则不匹配;熵值的前后数值差异在(0~0.34+0.0020)时,则可以判定熵的差图像符合匹配要求,否则不匹配;超熵值的的前后数值差异在(0~0.34+0.0010)时,则可以判定超熵的差图像符合匹配要求,否则不匹配;当且仅当期望值、熵值、超熵值的的前后数值差异均符合匹配要求,该待识别人脸表情图像才符合匹配要求。
从图7的第4列和第5列可以看出第一组和第二组人脸表情图像的云数字特征值{Ex,En,He}数值差异分别小于0.34+0.0010,0.34+0.0020,0.34+0.0010,而第三组和第四组人脸表情图像的云数字特征值{Ex,En,He}数值差异分别大于0.34+0.0010,0.34+0.0020,0.34+0.0010,因此,待识别人脸表情图像与KA这个人更匹配。而事实也是如此。
本实施例在一定程度上验证了本发明方法的可行性,说明了采用云模型技术是能够有效地实现人脸表情图像识别。本发明方法深化了对人脸表情识别的认知,同时也进一步拓展了云模型的应用领域。

Claims (4)

1.一种基于云模型的人脸表情识别方法,其特征在于,包括以下步骤:
步骤一,对图像库中已有的人脸表情图像进行样本集训练,该样本集训练分为两类:不同人的同一种表情和同一人的不同表情,即表情类和人脸类,并采用逆向云生成器提取样本集中每组人脸表情图像的云数字特征值{Ex,En,He},其中,Ex、En、He分别表示期望值、超熵值、熵值;
步骤二,将待识别的人脸表情图像读取成数据矩阵;
步骤三,将待识别人脸表情图像添入到样本集中任一组人脸表情图像A中,得到一组新的人脸表情图像A1,采用逆向云生成器得到该组新人脸表情图像A1的云数字特征值{Ex1,En1,He1},Ex1、En1、He1分别表示期望值、超熵值、熵值;
步骤四,比较一组人脸表情图像A和一组新人脸表情图像A1的云数字特征值,并依据两组云数字特征值的前后差异来判定待识别人脸表情图像在样本集中匹配的唯一一组人脸表情图像;
所述的步骤一中提取样本集中每组人脸表情图像的云数字特征值{Ex,En,He}进一步包括以下子步骤:
1.1将表情类和人脸类中每组人脸表情图像分别读取成数据矩阵;
1.2采用逆向云发生器对步骤1.1中所得的每组数据矩阵分别进行图像特征提取,并获得每组数据矩阵所对应的人脸表情图像的云数字特征值{Ex,En,He};
所述的步骤四进一步包括以下子步骤:
步骤4-1、比较一组人脸表情图像A和一组新人脸表情图像A1的云数字特征值,若期望值、超熵值、熵值的前后差异不大于设定阈值,则待识别人脸表情图像与一组人脸表情图像A匹配;否则,将待识别人脸表情图像添入到样品集中另一组人脸表情图像A’中,重复步骤三~四,直至找到与待识别人脸表情图像匹配的唯一一组人脸表情图像,则人脸表情识别完成;若无法在样本集中找到与待识别人脸表情图像匹配的唯一一组人脸表情图像时,执行步骤4-2;
步骤4-2、该步骤进一步包括步骤:
①若无法在样本集中找到与待识别人脸表情图像匹配的人脸表情图像,则在其他图像库中重新执行步骤一~四,若在设定循环次数内、在新图像库中找到不止一组人脸表情图像与待识别人脸表情图像匹配,则执行步骤②;若在设定循环次数仍未找出与待识别人脸表情图像匹配的人脸表情图像,则匹配不成功,结束匹配;
②若在样本集中找到不止一组人脸表情图像与待识别人脸表情图像匹配,则减小设定阈值,重新执行步骤三~四,直至找到与待识别人脸表情图像匹配的唯一一组人脸表情图像。
2.根据权利要求1所述的基于云模型的人脸表情识别方法,其特征在于:
所述的步骤一中的图像库为JAFFE库。
3.根据权利要求1所述的基于云模型的人脸表情识别方法,其特征在于:
所述的逆向云发生器采用基于拟合的逆向云发生器算法。
4.根据权利要求1所述的基于云模型的人脸表情识别方法,其特征在于:
所述步骤二中将待识别人脸表情图像读取成数据矩阵前对其进行除噪音处理。
CN201210293381.8A 2011-08-16 2012-08-16 一种基于云模型的人脸表情识别方法 Active CN102880855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210293381.8A CN102880855B (zh) 2011-08-16 2012-08-16 一种基于云模型的人脸表情识别方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2011102347906A CN102254189A (zh) 2011-08-16 2011-08-16 一种基于云模型的人脸表情识别方法
CN201110234790.6 2011-08-16
CN201210293381.8A CN102880855B (zh) 2011-08-16 2012-08-16 一种基于云模型的人脸表情识别方法

Publications (2)

Publication Number Publication Date
CN102880855A CN102880855A (zh) 2013-01-16
CN102880855B true CN102880855B (zh) 2015-01-28

Family

ID=44981441

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2011102347906A Pending CN102254189A (zh) 2011-08-16 2011-08-16 一种基于云模型的人脸表情识别方法
CN201210293381.8A Active CN102880855B (zh) 2011-08-16 2012-08-16 一种基于云模型的人脸表情识别方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2011102347906A Pending CN102254189A (zh) 2011-08-16 2011-08-16 一种基于云模型的人脸表情识别方法

Country Status (1)

Country Link
CN (2) CN102254189A (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324947B (zh) * 2012-03-19 2020-02-21 联想(北京)有限公司 一种认证方法及一种鉴权方法
CN104077579B (zh) * 2014-07-14 2017-07-04 上海工程技术大学 基于专家系统的人脸表情图像识别方法
CN105160318B (zh) * 2015-08-31 2018-11-09 北京旷视科技有限公司 基于面部表情的测谎方法及系统
CN105389821B (zh) * 2015-11-20 2018-02-27 重庆邮电大学 一种基于云模型和图割相结合的医学图像分割方法
CN106056054B (zh) * 2016-05-24 2019-08-09 青岛海信移动通信技术股份有限公司 一种进行指纹识别的方法和终端
CN106101541A (zh) * 2016-06-29 2016-11-09 捷开通讯(深圳)有限公司 一种终端、拍照设备及其基于人物情绪的拍摄方法
CN107799120A (zh) * 2017-11-10 2018-03-13 北京康力优蓝机器人科技有限公司 服务机器人识别唤醒方法及装置
CN108288048B (zh) * 2018-02-09 2021-11-23 中国矿业大学 基于改进头脑风暴优化算法的面部情绪识别特征选择方法
CN109816893B (zh) * 2019-01-23 2022-11-04 深圳壹账通智能科技有限公司 信息发送方法、装置、服务器及存储介质
CN110263755B (zh) * 2019-06-28 2021-04-27 上海鹰瞳医疗科技有限公司 眼底图像识别模型训练方法、眼底图像识别方法和设备
CN110619364B (zh) * 2019-09-18 2022-08-16 哈尔滨理工大学 一种基于云模型的小波神经网络三维模型分类方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777131A (zh) * 2010-02-05 2010-07-14 西安电子科技大学 双模人脸识别方法及装置
CN101872424A (zh) * 2010-07-01 2010-10-27 重庆大学 基于Gabor变换最优通道模糊融合的人脸表情识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2009330607B2 (en) * 2008-12-04 2015-04-09 Cubic Corporation System and methods for dynamically injecting expression information into an animated facial mesh

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777131A (zh) * 2010-02-05 2010-07-14 西安电子科技大学 双模人脸识别方法及装置
CN101872424A (zh) * 2010-07-01 2010-10-27 重庆大学 基于Gabor变换最优通道模糊融合的人脸表情识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于特征融合的三维人脸识别";常俊彦 达飞鹏 蔡亮;《东南大学学报(自然科学版)》;20110131;第41卷(第1期);47-51页 *

Also Published As

Publication number Publication date
CN102880855A (zh) 2013-01-16
CN102254189A (zh) 2011-11-23

Similar Documents

Publication Publication Date Title
CN102880855B (zh) 一种基于云模型的人脸表情识别方法
CN111523601B (zh) 一种基于知识引导和生成对抗学习的潜在情绪识别方法
CN102737234B (zh) 基于Gabor滤波和联合稀疏模型的人脸识别方法
CN104240256B (zh) 一种基于层次化稀疏建模的图像显著性检测方法
CN101169830A (zh) 基于嵌入式隐马尔可夫模型和选择性集成的人脸画像自动生成方法
CN104834905A (zh) 一种人脸图像识别仿真系统及方法
CN110534195B (zh) 一种基于数据空间变换的阿尔兹海默症检测方法
CN101828921A (zh) 基于视觉诱发脑电vep的身份识别方法
CN103793690A (zh) 一种基于皮下血流探测的人体生物活体检测方法及应用
CN104102913A (zh) 腕部静脉认证系统
CN103530603A (zh) 基于环路图模型的视频异常检测方法
CN110472564A (zh) 一种基于特征金字塔网络的双向lstm微表情识别抑郁症方法
CN100461217C (zh) 一种复杂性测度的图像纹理分割方法
CN111407243A (zh) 一种基于深度学习的脉搏信号压力识别方法
Songdechakraiwut et al. Dynamic topological data analysis for functional brain signals
CN104899896A (zh) 一种基于子空间特征的多任务学习目标跟踪方法
CN110889335B (zh) 基于多通道时空融合网络人体骨架双人交互行为识别方法
Tan et al. An emotion index estimation based on facial action unit prediction
Fu et al. Gesture based fear recognition using nonperformance dataset from VR horror games
Li et al. Research on visual‐tactile cross‐modality based on generative adversarial network
CN105740565A (zh) 一种基于自然语言处理的汽车造型推导方法
Wang et al. Evaluation algorithm for the effectiveness of stroke rehabilitation treatment using cross-modal deep learning
CN112992304A (zh) 高分辨率红眼病案例数据生成方法、设备及存储介质
Kuang Single image super resolution reconstruction algorithm based on deep learning
CN111012337A (zh) 基于脑网络和正则化判别分析的脑电分析方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant