CN116403270A - 一种基于多特征融合的人脸表情识别方法及系统 - Google Patents
一种基于多特征融合的人脸表情识别方法及系统 Download PDFInfo
- Publication number
- CN116403270A CN116403270A CN202310664334.8A CN202310664334A CN116403270A CN 116403270 A CN116403270 A CN 116403270A CN 202310664334 A CN202310664334 A CN 202310664334A CN 116403270 A CN116403270 A CN 116403270A
- Authority
- CN
- China
- Prior art keywords
- feature
- operator
- fusion
- facial expression
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 92
- 230000008921 facial expression Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000002068 genetic effect Effects 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 42
- 238000000605 extraction Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 16
- 230000014509 gene expression Effects 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Physiology (AREA)
- Genetics & Genomics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于多特征融合的人脸表情识别方法及系统，属于图像数据处理技术领域。本发明通过设置LBP算子、LPQ算子、HOG算子、GLCM算子和Gabor算子对人脸图像进行特征提取，并采用基于遗传编程算法训练得到的特征融合模型进行融合，采用基于遗传编程算法训练得到的多核分类器进行分类，提高了人脸表情识别的准确率。
Description
技术领域
本发明涉及人脸表情识别技术领域，特别是涉及一种基于多特征融合的人脸表情识别方法及系统。
背景技术
人脸面部表情包含六类基本表情生气(AN)、厌恶(DI)、恐惧(FE)、高兴(HA)、伤心(SA)、惊奇(SU)，各类表情蕴含了大量的信息，通过这些信息，人们可以准确而微妙地传达自身的思想情感以及判断对方的心里活动。因此，面部表情识别的研究具有重要的理论意义和实际应用价值。然而现有的识别方法多基于单一特征或多尺度融合的方式进行，存在识别准确率低的技术缺陷。
发明内容
本发明的目的是提供一种基于多特征融合的人脸表情识别方法及系统，以提高人脸表情识别的准确率。
为实现上述目的，本发明提供了如下方案：
本发明提供一种基于多特征融合的人脸表情识别方法，所述方法包括如下步骤：
获取待识别人脸图像；
采用LBP算子、LPQ算子、HOG算子、GLCM算子和Gabor算子对所述待识别人脸图像进行特征提取，获得LBP特征、LPQ特征、HOG特征、GLCM特征和Gabor特征；
基于训练后的特征融合模型对LBP特征、LPQ特征、HOG特征、GLCM特征和Gabor特征进行融合，获得融合结果；
将所述融合结果输入训练后的多核分类器进行人脸表情识别；所述特征融合模型和所述多核分类器采用基于遗传编程算法进行参数寻优的方式进行训练。
可选的，采用LBP算子、LPQ算子、HOG算子、GLCM算子和Gabor算子对所述待识别人脸图像进行特征提取，获得LBP特征、LPQ特征、HOG特征、GLCM特征和Gabor特征，之前还包括：
对所述待识别人脸图像进行裁切，以切割出包含人脸区域的彩色图；
将所述彩色图转换为灰度图像；
通过双线性插值将所述灰度图像调整为预设尺寸。
可选的，对所述待识别人脸图像进行裁切，以切割出包含人脸区域的彩色图的方式为：
以眼睛为中心向上切0.5d1，向下切1.5d1；d1为眼睛到嘴巴的垂直距离；
以左眼为中心向左切0.5d2，以右眼为中心向右切0.5d2；d2为两眼之间的距离。
可选的，特征融合模型中的融合函数算子包括：SXX、SXY、
和
；其中，SXX为X特征的方差，SXY为X特征和Y特征的协方差，/>
为X特征的/>
次方，
为X特征的转置，SVDXY为对X特征和Y特征进行奇异值分解获得的线性系数向量，/>
为X特征和Y特征的乘积。
可选的，所述多核分类器的核函数包括线函数核、多项式核、高斯核、拉布拉斯核和sigmoid核。
可选的，采用基于遗传编程算法进行参数寻优的方式进行训练特征融合模型和多核分类器的具体步骤为：
获得人脸表情图像训练集；
将特征融合模型中的融合函数算子及多核分类器中的核函数的权重作为叶子节点，基于所述人脸表情图像训练集，以识别正确率最大化为优化目标，采用遗传编程算法对特征融合模型和多核分类器进行训练。
一种基于多特征融合的人脸表情识别系统，所述系统应用于上述的方法，所述系统包括：
人脸图像获取模块，用于获取待识别人脸图像；
特征提取模块，用于采用LBP算子、LPQ算子、HOG算子、GLCM算子和Gabor算子对所述待识别人脸图像进行特征提取，获得LBP特征、LPQ特征、HOG特征、GLCM特征和Gabor特征；
特征融合模块，用于基于训练后的特征融合模型对LBP特征、LPQ特征、HOG特征、GLCM特征和Gabor特征进行融合，获得融合结果；
表情识别模块，用于将所述融合结果输入训练后的多核分类器进行人脸表情识别；所述特征融合模型和所述多核分类器采用基于遗传编程算法进行参数寻优的方式进行训练。
一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现上述的方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明实施例提供一种基于多特征融合的人脸表情识别方法及系统，所述方法包括：获取待识别人脸图像；采用LBP算子、LPQ算子、HOG算子、GLCM算子和Gabor算子对所述待识别人脸图像进行特征提取，获得LBP特征、LPQ特征、HOG特征、GLCM特征和Gabor特征；基于训练后的特征融合模型对LBP特征、LPQ特征、HOG特征、GLCM特征和Gabor特征进行融合，获得融合结果；将所述融合结果输入训练后的多核分类器进行人脸表情识别。本发明通过设置LBP算子、LPQ算子、HOG算子、GLCM算子和Gabor算子对人脸图像进行特征提取，并采用基于遗传编程算法训练得到的特征融合模型进行融合，采用基于遗传编程算法训练得到的多核分类器进行分类，提高了人脸表情识别的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于多特征融合的人脸表情识别方法的流程图；
图2为本发明实施例提供的特征融合模型和多核分类器的训练过程的流程图；
图3为本发明实施例提供的LBP特征提取的原理图；
图4为本发明实施例提供的LPQ特征提取的原理图；
图5为本发明实施例提供的HOG特征提取的原理图；
图6为本发明实施例提供的GLCM特征提取的原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于多特征融合的人脸表情识别方法及系统，以提高人脸表情识别的准确率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
本发明实施例1提供一种基于多特征融合的人脸表情识别方法，如图1所示，所述方法包括如下步骤：
步骤101，获取待识别人脸图像。
对待识别人脸图像按照人脸比例进行裁剪，假设两眼之间的距离为d2，从眼睛到嘴巴的垂直距离为d1，以眼睛为中心，向上切0.5d1，向下切1.5d1。然后分别以左眼、右眼为中心向左向右各切0.5d2。最后基于这些位置关系，切割出人脸区域，包括了眼睛、眉毛、嘴巴这些持久表达表情信息部位和额头脸颊这些瞬时表达表情信息的部位。经过裁剪后的人脸图是不同大小的彩色图，为方便算法的验证，将切割后的人脸图转换为灰度图像，并通过双线性插值将图片的大小统一为64*64，从面部图像中裁剪出纯人脸图像。
步骤102，采用LBP（Local Binary Patterns，指局部二值模式）算子、LPQ（LocalPhase Quantization，局部相位量子化）算子、HOG（Histogram of Oriented Gradient，方向梯度直方图）算子、GLCM（Gray Level Co-occurrence Matrix，灰度共生矩阵）算子和Gabor算子对所述待识别人脸图像进行特征提取，获得LBP特征、LPQ特征、HOG特征、GLCM特征和Gabor特征。
步骤103，基于训练后的特征融合模型对LBP特征、LPQ特征、HOG特征、GLCM特征和Gabor特征进行融合，获得融合结果。
步骤104，将所述融合结果输入训练后的多核分类器进行人脸表情识别；所述特征融合模型和所述多核分类器采用基于遗传编程算法进行参数寻优的方式进行训练。
本发明实施例在训练特征融合模型和多核分类器时，将特征融合模型和多核分类器作为整体进行训练，如图2所示，具体步骤为：
步骤A，获取人脸表情多特征数据集，具体流程如下：
S1、获取原始的人脸表情图像数据集。
S2、对原始的人脸表情图像数据进行预处理，得到处理后的人脸表情图像。
S21：对人脸表情图像按照人脸比例进行裁剪，假设两眼之间的距离为d2，则从眼睛到嘴巴的垂直距离为d1，以眼睛为中心，向上切0.5d1，向下切1.5d1。然后分别以左眼、右眼为中心向左向右各切0.5d2。最后基于这些位置关系，切割出人脸区域，包括了眼睛、眉毛、嘴巴这些持久表达表情信息部位和额头脸颊这些瞬时表达表情信息的部位。经过裁剪后的人脸图是不同大小的彩色图，为方便算法的验证，将切割后的人脸图转换为灰度图像，并通过双线性插值将图片的大小统一为64*64，从面部图像中裁剪出纯人脸图像，作为处理后的人脸表情图像。
S22：获取处理后的人脸表情图像的标签数据，分为快乐、愤怒、悲伤等6种对应情绪。
步骤B，设计遗传编程程序和优化目标，具体流程如下：
本发明实施例利用STGP（Strong Type Genetic programming，强结构型遗传编程）结构，生成可变长度的树，树深度不是固定的，基于树的GP（Genetic programming，遗传编程）结构，采用由叶子节点、内部节点和根节点组成的树表示每个融合解决方案；根节点和叶子节点表示函数符；叶子节点的函数符来自于预先设定的函数算子池；根节点的函数符来自预先设定好的终端集；其中，图像处理算子就是一种提前设定好的函数算子（如边缘检测器），可以形成GP树的内部节点；使用特定运算符，GP树可以同时执行融合任务。
构建基于人脸表情多特征融合的程序模型，具体步骤如下：
S3、提取人脸表情图像中的纹理特征；并构建纹理特征集。
S31：构建基于特征融合遗传编程的函数池；在所述函数池中加入特征提取算子池提取人脸表情图像的多个特征，具体特征及提取原理如图3-图6所示。
S32：提取LBP特征具体步骤如下：
将图像中每个像素二值域化，如图3所示，将区域中每个像素与邻居进行比较，如果邻域较高，则取该邻域的值为1，否则取值0；
将阈值化后的邻域连接形成一个二进制数，通过对二进制数编码得到该像素的标签；
将原始图像划分为多个子区域，LBP应用在子区域上，获得每个像素的标签，由像素标签生成直方图，然后将不同区域的直方图串联成一个简单且有区分性的特征向量。
S33：提取LPQ特征具体步骤如下：
如图4所示，LPQ算子首先采用公式
对图像局部区域进行短时傅里叶变换，其中，/>
和/>
是人脸表情图像中点(x,y)的尺度和方向，x和y分别表示人脸表情图像中的x方向的像素坐标和y方向的像素坐标，/>
和/>
分别为图像局部区域的x方向的像素的数量和y方向的像素的数量；
然后采用公式
计算每个像素局部区域的相位值，并对其量化，最后基于量化后的相位值进行二进制编码；
其中
是大小为/>
的局部图像灰度值，/>
是临近区域，/>
是
经过短时傅里叶变换得到的频谱，/>
为/>
的相位信息，/>
为/>
对应的实部，/>
为/>
对应的虚部，j表示复数，e为自然底数。
S34：提取HOG特征具体步骤如下：
HOG算子将要分析的图像
划分成大小为/>
单元格，采用公式
计算单元格内每个像素的梯度方向/>
；
取8个方向
将/>
量化，如图5所示，形成一个具有9个方向的直方图，最后将不同单元格的直方图串联成一个简单且有区分性的HOG特征向量。
S35：提取GLCM特征具体步骤如下：
如图6所示，GLCM算子取图像I(N*N) 的任意一点f(x,y)，及与其偏离点f(x+a1,y+b1)，设该点对的灰度值为(g1,g2)，其中，a1和b1分别为横向偏离距离和纵向偏离距离，g1为点f(x,y)的灰度值，g2为偏离点f(x+a1,y+b1)的灰度值；令点f(x,y)在整个图像上移动，便得到所有(g1,g2)的值；假设灰度值的级数为k，则(g1,g2)共有k2种组合；
对整个图像，统计每种(g1,g2) 值出现的次数，排列为方阵并将其归一化，这个方阵称为灰度共生矩阵（GLCM）；
f(x,y)与(g1,g2)灰度值相同则称其为灰度对
，其中i和j代表像素坐标；其中灰度对涉及到步长d和角度/>
两个参数，d是取灰度对的间隔，取/>
。角度/>
为取像素对的方向，/>
、/>
、/>
、/>
分别表示从水平方向、对角方向和竖直方向上捕捉像素对的变化；
S36：提取Gabor特征具体步骤如下：
Gabor算子采用二维的Gabor滤波器其表达式为：
，式中，/>
和/>
是Gabor滤波器的尺度和方向，/>
是像素值，/>
是高斯窗口的宽度与波长的比，/>
是范数操作符号，/>
是振幅向量，/>
，其中，j表示复数，/>
是Gabor滤波器波长，/>
，/>
表示为Gabor滤波器的相位偏移，/>
，/>
是频率最大值，/>
是频域中核的空间因子；
将图像
与Gabor滤波器组/>
进行卷积，获得不同尺度、方向的Gabor表征图/>
，取表征图实部和虚部的模作为Gabor特征图/>
。其中，/>
表达公式如下：
；/>
表达公式如下：/>
，其中，real表示为Gabor表征图的实部，img表示Gabor表征图的虚部。
S37：将所述人脸提取方法作为函数算子作为遗传编程函数集的算子，如表1所示：
表1特征提取函数
S38：将提取的图像特征合并到特征纹理集中。
S4：根据特征间相关性进行组合，学习典型相关算法，提取数学表征模型中的函数进行特征融合。
S41：学习典型相关融合算法，根据相关性，提取两组具有相同模式的特征向量，建立两组特征向量之间的相关性准则函数，提取其归一化相关性特征，并提取其归一化相关特征，以形成有效的判别向量；将两组特征向量之间的相关特征作为有效的判别形式，投影准则是两组数据的最大相关系数在投影后；本发明实施例中采用的相关系数公式如下：
其中，
为X特征和Y特征的相关系数，cov（X，Y）是X特征和Y特征的协方差，D（X）、D（Y）分别是X特征的方差和Y特征的方差；假设投影向量分别为a2和b2，则投影数据为/>
；投影以后，优化目标为：/>
，对于所述优化目标，矩阵标准化可以一次完成，采用SVD可以数学表征；以下为SVD的CCA融合算法过程：
输入：样本X特征和Y特征各为m；X特征和Y特征的维度大于1；
输出：X特征、Y特征、最大奇异值ρ的相关系数，X和Y的投影向量a2和b2；
计算
，/>
，/>
和/>
；其中，SXX为X特征的方差，SYY为Y特征的方差，SXY为X特征和Y特征的协方差，SYX为Y特征和X特征的协方差；
计算
；其中，M为特征矩阵；
对特征矩阵M进行奇异值分解，以获得最大奇异值ρ、对应于最大奇异值的左、右奇异向量u3、v3；
计算X和Y的投影向量a2和b2，
，/>
；
上述计算过程给出的左、右奇异向量u3、v3，在典型相关分析中称为典型变量；然后可以得到典型变量的简单相关系数，称为典型相关系数。
S42：依据所述典型相关融合流程，建立基于学习典型相关融合分析结构的融合函数池算子，如表2所示：
表2 融合函数算子
S43：构建融合特征，采用树形结构，在算子的终端集选择人脸表情图像作为根节点，在函数算子池中加入所属典型相关分析融合算子作为叶子节点；按照所生成的树形结构对特征进行融合。
S5：学习多核学习算法进行加权融合；并根据融合核进行适应度计算。
S51：采用常用核函数在SVM分类器模型下的对人脸表情识别准确率作为加权系数，所述核函数为线性核、多项式核、高斯核、拉普拉斯核、sigmoid核。
S52：采用加权合成核为：
；其中，/>
表示加权合成核，/>
表示第n个核函数的加权系数，/>
为第n个核函数，N表示核函数的个数，/>
和/>
分别为用于分类的第r种特征和第s种特征，第r种特征和第s种特征均为LBP特征、LPQ特征、HOG特征、GLCM特征和Gabor特征中的一种。
S53：依据多核融合，建立拥有不同核函数的多核函数算子；建立权重系数常数算子。
S54：构建分类器；所述分类器采用GP树形结构；构建SVM分类器函数算子作为根节点；核函数和权重系数加入函数算子池作为叶子节点；分类器按照所生成树形结构构造多核分类器。
步骤C，使用人脸多特征数据集中的人脸融合特征情绪识别准确率作为适应度函数的参照数据，以设计的优化目标作为用遗传编程特征融合时种群个体生成，训练迭代模型最终得到最优融合特征。
步骤C具体包括：
C-1、GP通过数量的迭代/生成来搜索最佳解决方案，具体步骤如下：
C-2、在初始步骤中，使用树生成方法构建GP树；所述GP树分为特征融合和特征分类两种结构GP树；
C-3、设置终端集为人脸表情图像；
C-4、设置函数算子池中的函数集，在所述函数集包括典型相关融合算子池算子，多核分类函数池算子；融合算子池算子为特征融合模型中的融合函数算子，多核分类函数池算子为多核分类器中的核函数；
C-5、设置识别准确率作为适应度来评估GP树个体优劣；
C-6、在进化过程中，GP通过选择和遗传操作生成新的种群，即精英主义、子树交叉和子树突变；精英主义会将迄今为止最好的个体复制到新的种群中；选择方法用于选择具有更好适应值的有前途的个体（父代母代），以产生新的个体。子树交叉运算符交换两个随机选择的子树/两个父树的分支，以创建两个新个体；子树变异运算符随机选择父树的子树，并随机生成一个新的子树；
C-7、重复种群生成和评估过程，直到达到预设的测试条件；
C-8、达到预设值条件后，适应度值最高的树被返回为最佳融合特征。
实施例2
本发明实施例2提供一种基于多特征融合的人脸表情识别系统，其特征在于，所述系统应用于上述的方法，所述系统包括：
人脸图像获取模块，用于获取待识别人脸图像。
特征提取模块，用于采用LBP算子、LPQ算子、HOG算子、GLCM算子和Gabor算子对所述待识别人脸图像进行特征提取，获得LBP特征、LPQ特征、HOG特征、GLCM特征和Gabor特征。
特征融合模块，用于基于训练后的特征融合模型对LBP特征、LPQ特征、HOG特征、GLCM特征和Gabor特征进行融合，获得融合结果。
表情识别模块，用于将所述融合结果输入训练后的多核分类器进行人脸表情识别；所述特征融合模型和所述多核分类器采用基于遗传编程算法进行参数寻优的方式进行训练。
实施例3
本发明实施例3提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
实施例4
本发明实施例4提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现上述的方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种基于多特征融合的人脸表情识别方法，其特征在于，所述方法包括如下步骤：
获取待识别人脸图像；
采用LBP算子、LPQ算子、HOG算子、GLCM算子和Gabor算子对所述待识别人脸图像进行特征提取，获得LBP特征、LPQ特征、HOG特征、GLCM特征和Gabor特征；
基于训练后的特征融合模型对LBP特征、LPQ特征、HOG特征、GLCM特征和Gabor特征进行融合，获得融合结果；
将所述融合结果输入训练后的多核分类器进行人脸表情识别；所述特征融合模型和所述多核分类器采用基于遗传编程算法进行参数寻优的方式进行训练。
2.根据权利要求1所述的基于多特征融合的人脸表情识别方法，其特征在于，采用LBP算子、LPQ算子、HOG算子、GLCM算子和Gabor算子对所述待识别人脸图像进行特征提取，获得LBP特征、LPQ特征、HOG特征、GLCM特征和Gabor特征，之前还包括：
对所述待识别人脸图像进行裁切，以切割出包含人脸区域的彩色图；
将所述彩色图转换为灰度图像；
通过双线性插值将所述灰度图像调整为预设尺寸。
3.根据权利要求2所述的基于多特征融合的人脸表情识别方法，其特征在于，对所述待识别人脸图像进行裁切，以切割出包含人脸区域的彩色图的方式为：
以眼睛为中心向上切0.5d1，向下切1.5d1；d1为眼睛到嘴巴的垂直距离；
以左眼为中心向左切0.5d2，以右眼为中心向右切0.5d2；d2为两眼之间的距离。
4.根据权利要求1所述的基于多特征融合的人脸表情识别方法，其特征在于，特征融合模型中的融合函数算子包括：SXX、SXY、
、/>
、/>
和/>
；其中，SXX为X特征的方差，SXY为X特征和Y特征的协方差，/>
为X特征的/>
次方，/>
为X特征的转置，SVDXY为对X特征和Y特征进行奇异值分解获得的线性系数向量，/>
为X特征和Y特征的乘积。
5.根据权利要求1所述的基于多特征融合的人脸表情识别方法，其特征在于，所述多核分类器的核函数包括线函数核、多项式核、高斯核、拉布拉斯核和sigmoid核。
6.根据权利要求1所述的基于多特征融合的人脸表情识别方法，其特征在于，采用基于遗传编程算法进行参数寻优的方式进行训练特征融合模型和多核分类器的具体步骤为：
获得人脸表情图像训练集；
将特征融合模型中的融合函数算子及多核分类器中的核函数的权重作为叶子节点，基于所述人脸表情图像训练集，以识别正确率最大化为优化目标，采用遗传编程算法对特征融合模型和多核分类器进行训练。
7.一种基于多特征融合的人脸表情识别系统，其特征在于，所述系统应用于权利要求1-6任一项所述的方法，所述系统包括：
人脸图像获取模块，用于获取待识别人脸图像；
特征提取模块，用于采用LBP算子、LPQ算子、HOG算子、GLCM算子和Gabor算子对所述待识别人脸图像进行特征提取，获得LBP特征、LPQ特征、HOG特征、GLCM特征和Gabor特征；
特征融合模块，用于基于训练后的特征融合模型对LBP特征、LPQ特征、HOG特征、GLCM特征和Gabor特征进行融合，获得融合结果；
表情识别模块，用于将所述融合结果输入训练后的多核分类器进行人脸表情识别；所述特征融合模型和所述多核分类器采用基于遗传编程算法进行参数寻优的方式进行训练。
8.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现如权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310664334.8A CN116403270B (zh) | 2023-06-07 | 2023-06-07 | 一种基于多特征融合的人脸表情识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310664334.8A CN116403270B (zh) | 2023-06-07 | 2023-06-07 | 一种基于多特征融合的人脸表情识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116403270A true CN116403270A (zh) | 2023-07-07 |
| CN116403270B CN116403270B (zh) | 2023-09-05 |
Family
ID=87018290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310664334.8A Active CN116403270B (zh) | 2023-06-07 | 2023-06-07 | 一种基于多特征融合的人脸表情识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116403270B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104361313A (zh) * | 2014-10-16 | 2015-02-18 | 辽宁石油化工大学 | 一种基于多核学习异构特征融合的手势识别方法 |
| CN105487496A (zh) * | 2015-08-10 | 2016-04-13 | 河北省电力建设调整试验所 | 基于双目标并行island-hfc混合模型遗传编程算法的火电厂热工在线过程辨识及控制算法的优化方法 |
| CN105512606A (zh) * | 2015-11-24 | 2016-04-20 | 北京航空航天大学 | 基于ar模型功率谱的动态场景分类方法及装置 |
| WO2016110005A1 (zh) * | 2015-01-07 | 2016-07-14 | 深圳市唯特视科技有限公司 | 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法 |
| CN106599854A (zh) * | 2016-12-19 | 2017-04-26 | 河北工业大学 | 基于多特征融合的人脸表情自动识别方法 |
| CN107563312A (zh) * | 2017-08-17 | 2018-01-09 | 南昌航空大学 | 人脸表情识别方法 |
| CN108023876A (zh) * | 2017-11-20 | 2018-05-11 | 西安电子科技大学 | 基于可持续性集成学习的入侵检测方法及入侵检测系统 |
| CN108710915A (zh) * | 2018-05-22 | 2018-10-26 | 合肥工业大学 | 基于多核学习的多特征融合胃镜图像处理方法 |
| CN109583375A (zh) * | 2018-11-30 | 2019-04-05 | 中山大学 | 一种多特征融合的人脸图像光照识别方法及系统 |
| CN109948566A (zh) * | 2019-03-26 | 2019-06-28 | 江南大学 | 一种基于权重融合与特征选择的双流人脸反欺诈检测方法 |
| CN112132803A (zh) * | 2020-09-21 | 2020-12-25 | 浙江师范大学 | 一种基于卷积神经网络的鸡蛋新鲜度检测方法 |
| CN112633082A (zh) * | 2020-12-04 | 2021-04-09 | 西安理工大学 | 一种多特征融合杂草检测方法 |
| CN113989890A (zh) * | 2021-10-29 | 2022-01-28 | 河南科技大学 | 基于多通道融合和轻量级神经网络的人脸表情识别方法 |
| CN114140399A (zh) * | 2021-11-15 | 2022-03-04 | 河北医科大学第二医院 | 用于脑肿瘤术中定性和边界定位的oct图像处理装置 |
| CN114626459A (zh) * | 2022-03-15 | 2022-06-14 | 郑州轻工业大学 | 使用粒子群优化多核支持向量机的高光谱图像空谱联合分类方法及系统 |
| CN115455819A (zh) * | 2022-09-08 | 2022-12-09 | 大连理工大学 | 一种涡轮叶片多工况瞬态流场迁移降阶智能建模方法 |
| CN116049712A (zh) * | 2022-11-25 | 2023-05-02 | 北京理工大学 | 一种知识辅助多分类器融合的极窄脉冲雷达目标识别方法 |
-
2023
- 2023-06-07 CN CN202310664334.8A patent/CN116403270B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104361313A (zh) * | 2014-10-16 | 2015-02-18 | 辽宁石油化工大学 | 一种基于多核学习异构特征融合的手势识别方法 |
| WO2016110005A1 (zh) * | 2015-01-07 | 2016-07-14 | 深圳市唯特视科技有限公司 | 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法 |
| CN105487496A (zh) * | 2015-08-10 | 2016-04-13 | 河北省电力建设调整试验所 | 基于双目标并行island-hfc混合模型遗传编程算法的火电厂热工在线过程辨识及控制算法的优化方法 |
| CN105512606A (zh) * | 2015-11-24 | 2016-04-20 | 北京航空航天大学 | 基于ar模型功率谱的动态场景分类方法及装置 |
| CN106599854A (zh) * | 2016-12-19 | 2017-04-26 | 河北工业大学 | 基于多特征融合的人脸表情自动识别方法 |
| CN107563312A (zh) * | 2017-08-17 | 2018-01-09 | 南昌航空大学 | 人脸表情识别方法 |
| CN108023876A (zh) * | 2017-11-20 | 2018-05-11 | 西安电子科技大学 | 基于可持续性集成学习的入侵检测方法及入侵检测系统 |
| CN108710915A (zh) * | 2018-05-22 | 2018-10-26 | 合肥工业大学 | 基于多核学习的多特征融合胃镜图像处理方法 |
| CN109583375A (zh) * | 2018-11-30 | 2019-04-05 | 中山大学 | 一种多特征融合的人脸图像光照识别方法及系统 |
| CN109948566A (zh) * | 2019-03-26 | 2019-06-28 | 江南大学 | 一种基于权重融合与特征选择的双流人脸反欺诈检测方法 |
| CN112132803A (zh) * | 2020-09-21 | 2020-12-25 | 浙江师范大学 | 一种基于卷积神经网络的鸡蛋新鲜度检测方法 |
| CN112633082A (zh) * | 2020-12-04 | 2021-04-09 | 西安理工大学 | 一种多特征融合杂草检测方法 |
| CN113989890A (zh) * | 2021-10-29 | 2022-01-28 | 河南科技大学 | 基于多通道融合和轻量级神经网络的人脸表情识别方法 |
| CN114140399A (zh) * | 2021-11-15 | 2022-03-04 | 河北医科大学第二医院 | 用于脑肿瘤术中定性和边界定位的oct图像处理装置 |
| CN114626459A (zh) * | 2022-03-15 | 2022-06-14 | 郑州轻工业大学 | 使用粒子群优化多核支持向量机的高光谱图像空谱联合分类方法及系统 |
| CN115455819A (zh) * | 2022-09-08 | 2022-12-09 | 大连理工大学 | 一种涡轮叶片多工况瞬态流场迁移降阶智能建模方法 |
| CN116049712A (zh) * | 2022-11-25 | 2023-05-02 | 北京理工大学 | 一种知识辅助多分类器融合的极窄脉冲雷达目标识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| JIANGTAO CAO等: "Hand posture recognition based on heterogeneous features fusion of multiple kernels learning", MULTIMEDIA TOOLS & APPLICATIONS, pages 11909 - 11928 * |
| 谢惠华等: "基于 DE-Gabor 特征的人脸表情识别", 南昌航空大学学报：自然科学版, vol. 35, no. 2, pages 82 - 91 * |
| 陈鹏展;胡超;陈晓;: "融合Gabor、LBP与LPQ特征的面部表情识别", 测控技术, no. 08, pages 20 - 24 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116403270B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104268593B (zh) | 一种小样本情况下多稀疏表示的人脸识别方法 | |
| WO2022041678A1 (zh) | 张量协作图判别分析遥感图像特征提取方法 | |
| CN108304357B (zh) | 一种基于字体流形的中文字库自动生成方法 | |
| CN107886062B (zh) | 图像处理方法、系统及服务器 | |
| CN105913053B (zh) | 一种基于稀疏融合的单演多特征的人脸表情识别方法 | |
| CN108614992A (zh) | 一种高光谱遥感图像的分类方法、设备及存储设备 | |
| CN108664911A (zh) | 一种基于图像稀疏表示的鲁棒人脸识别方法 | |
| CN105550712B (zh) | 基于优化卷积自动编码网络的极光图像分类方法 | |
| CN113239839B (zh) | 基于dca人脸特征融合的表情识别方法 | |
| CN106650667A (zh) | 一种基于支持向量机的行人检测方法及系统 | |
| Bawane et al. | Object and character recognition using spiking neural network | |
| CN108898269A (zh) | 基于度量的电力图像环境影响评估方法 | |
| CN115761356A (zh) | 图像识别方法、装置、电子设备和存储介质 | |
| CN112329771A (zh) | 一种基于深度学习的建筑材料样本识别方法 | |
| Zhang et al. | Discriminative tensor sparse coding for image classification. | |
| Wang et al. | Tensor discriminant analysis for view-based object recognition | |
| CN117437691A (zh) | 一种基于轻量化网络的实时多人异常行为识别方法及系统 | |
| CN116403270B (zh) | 一种基于多特征融合的人脸表情识别方法及系统 | |
| Del Coco et al. | Assessment of deep learning for gender classification on traditional datasets | |
| CN115546862A (zh) | 基于跨尺度局部差异深度子空间特征的表情识别方法和系统 | |
| Wang et al. | Deep learning for font recognition and retrieval | |
| Vankayalapati et al. | Nonlinear feature extraction approaches with application to face recognition over large databases | |
| Wang et al. | Feature extraction method of face image texture spectrum based on a deep learning algorithm | |
| Hidayat et al. | Grouping of Image Patterns Using Inceptionv3 For Face Shape Classification | |
| Al-Rawi et al. | Feature Extraction of Human Facail Expressions Using Haar Wavelet and Neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |