CN113239839A - 基于dca人脸特征融合的表情识别方法 - Google Patents
基于dca人脸特征融合的表情识别方法 Download PDFInfo
- Publication number
- CN113239839A CN113239839A CN202110566744.XA CN202110566744A CN113239839A CN 113239839 A CN113239839 A CN 113239839A CN 202110566744 A CN202110566744 A CN 202110566744A CN 113239839 A CN113239839 A CN 113239839A
- Authority
- CN
- China
- Prior art keywords
- expression
- formula
- feature
- image
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 210
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000004927 fusion Effects 0.000 title claims abstract description 37
- 239000013598 vector Substances 0.000 claims abstract description 111
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000009467 reduction Effects 0.000 claims abstract description 20
- 238000010219 correlation analysis Methods 0.000 claims abstract description 11
- 230000001815 facial effect Effects 0.000 claims abstract description 11
- 238000012706 support-vector machine Methods 0.000 claims abstract description 10
- 230000008921 facial expression Effects 0.000 claims abstract description 9
- 238000007635 classification algorithm Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 73
- 239000011159 matrix material Substances 0.000 claims description 59
- 230000009466 transformation Effects 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000012847 principal component analysis method Methods 0.000 claims description 6
- 230000007935 neutral effect Effects 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 12
- 238000007781 pre-processing Methods 0.000 abstract description 5
- 238000002474 experimental method Methods 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000012795 verification Methods 0.000 abstract 1
- 238000000513 principal component analysis Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- BTIJJDXEELBZFS-QDUVMHSLSA-K hemin Chemical compound CC1=C(CCC(O)=O)C(C=C2C(CCC(O)=O)=C(C)\C(N2[Fe](Cl)N23)=C\4)=N\C1=C/C2=C(C)C(C=C)=C3\C=C/1C(C)=C(C=C)C/4=N\1 BTIJJDXEELBZFS-QDUVMHSLSA-K 0.000 description 1
- 229940025294 hemin Drugs 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于DCA人脸特征融合的表情识别方法，首先对图片进行预处理，裁剪图片眼部和嘴部区域，增强图片细节，然后分别使用HOG算子和融合等价LBP算子与多尺度块LBP算子计算表情图像的目标轮廓特征向量和目标纹理特征向量；再分别使用成分分析算法(PCA)和判别相关分析算法(DCA)对特征向量进行降维处理和特征融合；最后使用偏二叉树双支持向量机多分类算法(PBT‑SVM)对融合后表情特征进行分类，得到表情结果。实验使用JAFFE人脸表情库进行验证，结果表明，改进算法较传统算法而言，DCA特征融合增强了不同分类数据相关性，最大程度拉开表情类差异。PBT‑SVM训练模型处理多分类问题，能有效降低训练时间，提升表情识别准确率。
Description
技术领域
本发明涉及人脸特征识别技术领域，特别是一种基于DCA(DiscriminantCorrelation Analysis，判别相关分析法)人脸特征融合的表情识别方法。
背景技术
表情是传达人类感情的有效手段，精准判别大学生微表情成为辅导员沟通 与交流的重要方向。而近年来，关于人脸表情识别成为计算机视觉与大学心理 教育的新方向，成为专家学者研究的重点。其中，朱健翔等人提出结合Gabor 特征与Adaboost(AdaptiveBoosting，自适应增强算法)的人脸表情识别，该方 法对图像预处理后采用五个尺度以及八个方向的Gabor核得到每个图像特征数 据，再对眼部和嘴部采用Adaboost算法进行特征提取，最后使用结合SVM和 最近邻分类法进行分类，该方法虽然在脸表情表征能力良好，少样本量和高纬 度问题中有优势，但训练时间较长、维度处理复杂。胡敏等人提出基于典型相 关分析理论的融合局部纹理和形状特征的人脸表情识别方法，该方法虽然使用 CCA特征融合方法能充分发挥特征的表征能力，提取特征和细节完整，但特征 维度较高引起模型计算复杂，花费时间较高。姚立平等人提出改进融合HOG (Histogram of OrientedGradient，方向梯度直方图)与LBP(局部二值模式算法) 的人脸识别方法，该方法分别对人脸图形纹理和细节特征进行提取，利用列方 向压缩的2DPCA和PCA(Principal ComponentsAnalysis，主成分分析法)进行 特征降维，该方法虽降低了脸图像特征维度高引起的求解模型复杂的问题，但 在图像噪声上没有考虑，且分类训练时间较高。
局部二制模式(Local binary patterns，LBP)算法是1999年最经典的特征提 取算法之一。MB-LBP(多尺度块LBP算法)是在LBP基础上由Shengcai Lia 等人于2007年提出用于降低传统LBP算法二进制模式的方法，实现将传统的二 进制模式由256种降低到59种。
判别相关性分析法(Discriminant Correlation Analysis，DCA)由Haghighat 等人在2016年首次提出，用于实现特征纹理识别与融合，该方法融合了典型相 关分析法以及线性判别分析法的思想，在保证最大化两种数据同时，尽可能减 弱了数据中不同类别的相关性。
发明内容
本发明所要解决的技术问题是提供一种基于DCA人脸特征融合的表情识别 方法，先对图像进行预处理，然后使用HOG和融合LBP算子提取表情轮廓特 征和纹理特征，再利用融合PCA降维的DCA特征融合算法对特征向量进行融 合，使用偏二叉树双支持向量机分类算法对特征进行多分类处理，得到图像微 表情结果，对表情判别识别率和模型训练时间在一定程度上有优化。
为解决上述技术问题，本发明采用的技术方案是：
一种基于DCA人脸特征融合的表情识别方法，包括以下步骤：
步骤1：采用自适应增强算法结合Haar算子对人脸区域定位，以眼部和嘴 部区域为基准进行图像裁剪，并对裁剪后的图像归一化处理；
步骤2：使用HOG算法对步骤1处理后的图像进行梯度值计算，获得表情 轮廓特征向量；
步骤3：使用改进局部二值模式算法对步骤1处理后的图像进行划分，获得 纹理特征向量；
步骤4：利用主成分分析法对表情轮廓特征向量和纹理特征向量进行降维， 使得表情轮廓特征向量和纹理特征向量的维度一致；
步骤5：归一化表情轮廓特征向量和纹理特征向量，使用判别相关分析法对 表情轮廓特征向量和纹理特征向量进行融合，得到融合表情特征；
步骤6：使用主成分分析法进行降维，降低表情判别的计算复杂度；
步骤7：使用偏二叉树双支持向量机多分类算法对表情特征进行特征分类， 得到表情判别结果。
进一步地，在步骤1中，采用点阵计算方法对眼部和嘴部使用OpenCV库 以识别到眼部区域和嘴部矩形区域进行裁剪，剪切后得到表情有效区域，将有 效区域图像转化为灰度图像。
进一步地，在步骤1中，对图像归一化后，还使用双边滤波算法进行去噪 处理，再使用Gamma校正法调整图像对比度。
进一步地，所述步骤2具体为：使用HOG算法提取图像人脸表情轮廓特征 向量，分别对图像计算水平和垂直方向上的梯度，其计算公式如式3所示：
其中，gx和gy分别是像素点(x,y)水平和垂直方向上的梯度值，通过计算得 到像素点(x,y)的梯度幅值g(x,y)和梯度角度α，其中梯度幅度值计算如式4、式 5所示：
将梯度方向放缩至在0-180°之间，经梯度计算后，再把图像划分成无数个 8×8像素单位的细胞单元，其中，每一个块由2×2的细胞单元构成；
将每个细胞单元划分成15个bin，每个bin设定角度为12°；统计每个细胞 单元内每个像素梯度角度，将每个bin相加得到的对应梯度幅值即为每个细胞单 元的直方图；
在得到由细胞单元构成的图像梯度直方图后将每个块内的细胞单元串联， 合并得到一个块的直方图特征，依次串联所有的块，得到该图像的HOG特征向 量，最后经归一化处理得到目标表情轮廓特征向量，特征数值归一化公式如式6 所示：
其中，I代表表情图像像素数据中的某一个数，min代表这组像素数据中最 小的值，max代表这组像素数据中最大的值，而I′代表该表情图像像素数据归一 化后结果值。
进一步地，所述步骤3具体为：改进局部二值模式算法先使用多尺度块LBP 算法进行特征数据优化，将表情图像以6×6像素为单位，划分表情图像为图像 块操作单元，并以图像块为单位，计算表情图像灰度平均；
经多尺度块LBP算法优化表情图像特征数据后，使用等价模式LBP算法提 取表情纹理特征，以表情图像的每个像素作为中心像素，分别与其周围的8邻 域像素灰度值进行大小比较，比较后以顺时针或逆时针顺序组合，得到该中心 点对应的一组二进制编码，其计算公式如式7、式8所示：
其中，P代表表情图片相邻点像素点的个数；xi代表表情图片相邻8个像 素中任意一个的灰度值；
将得到的中心像素二进制编码进行判断；当编码中循环二进制数出现了 0→1或1→0的变换时，标记一次跳变，限定跳变次数≤2的编码为等价模式类， 计算出的该二进制编码所对应的十进制结果即为LBP值；其余非等价模式编码 归为混合模式类，其编码值为0；
经编码判断后，得到整幅图像的LBP值，对其进行特征向量的转换；将图 像划分为与HOG算法相同尺度的细胞单元，以局部二值模式算法特征值中最大 灰度值为上界，将区间(0,LBP(max))分为15等分，统计每个细胞单元特征构成 特征直方图；
将块内细胞单元串联合，得到一个块的直方图，再将所有块串联得到该图 像局部二值模式算法特征向量，经过归一化处理得到表情图像的目标纹理特征 向量。
进一步地，所述步骤4具体为：分别对每一组特征向量矩阵进行降维处理， 对所有样本进行中心化处理，其处理如公式9所示：
其中，x(i)代表特征向量原数据矩阵中的任意一个n维数据，m代表该表情 数据矩阵的个数；经中心化处理后，对表情特征样本进行投影变换，其处理如 公式10所示：
{x(1),x(2),…,x(m)}→{ω1,ω2,…,ωd} (10)
其中，d≤m，ω代表标准正交基，其取值由公式11计算所得：
经投影变换处理后，继续将表情特征样本点x(i)投影到d维超平面，其投影 计算如式12所示：
其中，
代表x(i)投影在d维度上的第j维，维度计算如式13所示：
最终，使用超平面逆推得表情特征向量降维后数据，其计算公式如式14所 示：
为使得特征矩阵中所有表情特征向量数据样本到该超平面距离足够近，使 用距离计算公式进行获取，其计算如公式15所示：
由于表情信息为两组特征向量，将式15转化为特征矩阵形式，如式16所 示：
其中，
代表表情特征向量数据集的协方差矩阵，W代表降 维处理转换矩阵；特征数据投影的最小Distance对应的转换矩阵由协方差矩阵 XXT中最大前d个特征值所对应的特征向量组成；
经处理后，使用特征矩阵转换公式将结果转换为特征向量矩阵，其计算如 式17所示：
z(i)＝wTx(i) (17)
经处理后，将原表情特征向量样本转换为最小投影距离对应的降维表情特 征向量。
进一步地，所述步骤5具体为：使用判别相关分析法算法对两组特征向量 进行融合，以得到融合的表情特征信息进行表情判别；
判别相关分析法特征融合首先计算整个特征数据集中每类数据集的平均 值，其计算公式如式18所示；
其中，
代表第i类数据集的平均值，n代表隶属于第i类下图像的数量； 经过平均值计算公式计算每类数据集的平均之后，再次使用平均值计算公式进 行计算，以得到整个特征数据集的平均值，其计算如式19所示；
其中，c代表表情图像特征集数量，
代表整个特征集的平均值；
然后计算表情特征间关系，使用类内散度矩阵计算表情类之间关系，其计 算公式如式20所示；
其中，Φbx计算公式如式21所示；
优化类内散度矩阵，将表情特征的类内散度矩阵转化为对角矩阵，其计算 公式如式22所示；
其中，Q代表正交特征向量矩阵，
代表非负特征值实数的对角矩阵；对式 22进行转换得式23，如式23所示；
然后，计算映射得到Sbx的有效特征向量，计算公式如式24所示；
对式24进行变换，实现对X的维数从p维降到了r维，其中，令
变换后如式25所示；
同理，对特征矩阵Y做相同的变换，得到Y′，然后对变换后的两组特征数 据构建互协方差矩阵，构建如式26所示；
S′xy＝X′Y′T (26)
然后对构建的互协方差矩阵分解奇异值，其处理使用奇异值分解定理计算， 计算公式如式27所示；
S′xy＝U∑VT (27)
其中，∑由式28计算；
∑＝UTS′xyV (28)
令式28左右奇异向量分别为
和
将式28转换为式29；
最终，将特征数据集在X和Y方向上转换为对应的特征向量矩阵，其计算 如式30所示；
X*＝aTX′
Y*＝bTY′ (30)
对X和Y特征矩阵使用求和的公式计算最终融合特征向量，计算公式如式 31所示；
其中，Z为所求的表情特征融合结果。
进一步地，所述步骤7具体为：首先采用偏二叉树结构将K类表情特征问 题转换为K-1个两类分类问题，然后使用双支持向量机对每个两类问题进行分 类；
构建第一个TSVM，将中性表情标记为正类，其余表情标记为负类，训练 TSVM1，得到两个不平行表情超平面L1和L2，L1为第一类表情超平面，L2用于 测试表情超平面，依次处理直到构造第K-1个TSVM为止；
其中，TSVM训练为将二次优化问题转换为两个规模小脚的QPP，得到两 个不平的分类超平面，求解计算如式32、33所示；
其中，K表示表情特征核函数，a表示k1个正类样本，b代表k2个负类样本， γ1和γ2代表特征向量维度单位，e和
分别代表表情特征的最优超平面法向量和 偏移量，δ代表松弛变量，通过式32求解，得到一个表情类别，计算如式33所 示；
对于新样本表情，计算其到两个超平面的垂直距离，若其到正类超平面的 距离小于到负类超平面距离，则为正类，反之为负类，不断训练，直至K类和 所有样本表情遍历结束，由此得到融合特征信息所属的表情类别。
与现有技术相比，本发明的有益效果是：本发明使用基于DCA人脸特征融 合的微表情识别方法对图像微表情进行判别，该方法对图像进行预处理，得到 增强和去干扰的特征图像，使用HOG和改进LBP分别对轮廓特征和纹理特征 进行提取，使用PCA对表情特征向量两次降维，并利用DCA对HOG和改进 LBP提取的特征进行特征融合，最后使用PBT-TSVM进行表情特征分类。该算 法除了可以应用于人脸微表情识别，还可应用于心理学分析、目标识别与分类 等。
附图说明
图1是本发明方法实现具体流程示意图。
图2是经图像增强处理后得到预处理增强表情数据集。从左至右依次是原 始图像、图像点阵裁剪处理、归一化和增强处理。
图3是UP-LBP(左)与改进LBP(右)处理结果图。
图4是JAFFE数据库七种表情样例。
图5是相同维度下不同算法的贡献度分析图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明基于DCA人脸特征融合的表情识别方法实现步骤具体 如下：
步骤1：采用自适应增强算法结合Haar算子对人脸区域定位，以眼部和嘴 部区域为基准进行图像裁剪，并对裁剪后的图像归一化处理；对图像归一化后， 还使用双边滤波算法进行去噪处理，再使用Gamma校正法(伽玛校正，又称幂 律变换)调整图像对比度，以提升HOG算法提取人脸表情轮廓的清晰度。
为排除冗余图像信息，提高识别准确率，本发明对图像进行表情区域裁剪。 首先对人脸图像使用AdaBoost结合Haar算子进行人脸区域定位，以人脸区域 眼底位置为基准，采用点阵计算方法对眼部和嘴部使用OpenCV库以识别到眼 部区域和嘴部矩形区域进行裁剪，剪切后得到表情有效区域，将有效区域图像 转化为灰度图像。
由于数据集图像眼部和嘴部位置存在一定差异性，在经裁剪后，人脸表情 区域的尺寸出现差异性，对后续处理存在一定隐患，本发明对图像进行归一化 处理，处理后得到统一尺寸数据集。
由于处聚集中图像存在一定噪声，影响检测结果的精度，本发明对处理后 图像使用非线性双边滤波进行降噪增强处理，其计算公式如式1所示。
其中，f(x1,y1)表示待处理的表情图像，f(x2,y2)表示表情图像于点(x2,y2) 处的像素值，(s,r)表示模板图像的中心坐标，(n,m)表示表情模板图像的其他系 数的坐标，σ表示高斯函数的标准差信息。
经图像增强处理后得到预处理增强表情数据集，处理过程如图2所示。
步骤2：使用HOG算法对步骤1处理后的图像进行梯度值计算，获得表情 轮廓特征向量；
使用HOG算法提取图像人脸表情轮廓特征向量，分别对图像计算水平和垂 直方向上的梯度，其计算公式如式3所示。
其中，gx和gy分别是像素点(x,y)水平和垂直方向上的梯度值，通过计算得 到像素点(x,y)的梯度幅值g(x,y)和梯度角度α，其中梯度幅度值计算如公式4、 式5所示。
本发明将梯度方向放缩至在0-180°之间，经梯度计算后，再把图像划分成无 数个8×8像素单位的细胞单元，其中，每一个块由2×2的细胞单元构成。为保 证特征融合更加方便，本发明将每个细胞单元划分成15个bin，每个bin设定角 度为12°。统计每个细胞单元内每个像素梯度角度，将每个bin相加得到的对应 梯度幅值即为每个细胞单元的直方图。
在得到由细胞单元构成的图像梯度直方图后将每个块内的细胞单元串联， 合并得到一个块的直方图特征，依次串联所有的块，得到该图像的HOG特征向 量，最后经归一化处理得到目标轮廓特征向量，归一化公式如式6所示。
其中，I代表表情图像像素数据中的某一个数，min代表这组像素数据中最 小的值，max代表这组像素数据中最大的值，而I′代表该表情图像像素数据归一 化后结果值。
步骤3：使用改进局部二值模式算法对步骤1处理后的图像进行划分，获得 纹理特征向量；
为得到更多细节表情图像的目标纹理特征向量，本发明使用改进LBP算法 进行特征提取。改进LBP算法先使用MB-LBP进行特征数据优化，将表情图像 以6×6像素为单位，划分表情图像为图像块操作单元，并以图像块为单位，计 算表情图像灰度平均。
经MB-LBP优化表情图像特征数据后，使用UP-LBP(等价模式LBP算法) 提取表情纹理特征，以表情图像的每个像素作为中心像素，分别与其周围的8 邻域像素灰度值进行大小比较，比较后以顺时针或逆时针顺序组合，得到该中 心点对应的一组二进制编码，其计算公式如式7、式8所示。
其中，P代表表情图片相邻点像素点的个数。xi代表表情图片相邻8个像 素中任意一个的灰度值。
将得到的中心像素二进制编码进行判断。当编码中循环二进制数出现了 0→1或1→0的变换时，标记一次跳变，本发明限定跳变次数≤2的编码为等价 模式类，计算出的该二进制编码所对应的十进制结果即为LBP值。其余非等价 模式编码归为混合模式类，其编码值为0。
经编码判断后，得到整幅图像的LBP值，对其进行图像特征向量的转化。 将图像划分为与HOG算法相同尺度的细胞单元，本发明以LBP特征值中最大 灰度值为上界，将区间(0,LBP(max))分为15等分，统计每个细胞单元特征构成 特征直方图。
此处处理与HOG算法相同方法，将块内细胞单元串联合，得到一个块的直 方图，再将所有块串联得到该图像LBP特征向量，经过归一化处理得到情图像 的目标纹理特征向量。
经HOG算法和改进LBP算法处理后，得到表情目标轮廓特征向量和目标 纹理特征向量的两组维数相同的特征向量。
步骤4：利用主成分分析法对表情轮廓特征向量和纹理特征向量进行降维， 使得表情轮廓特征向量和纹理特征向量的维度一致；
为降低表情特征训练时间，本发明使用PCA算法对两组特征向量进行降维， 结果如图3所示。本发明分别对每一组特征矩阵进行降维处理，对所有样本进 行中心化处理，其处理如公式9所示。
其中，x(i)代表特征向量原数据矩阵中的任意一个n维数据，m代表该表情 数据矩阵的个数。经中心化处理后，对表情特征样本进行投影变换，其处理如 公式10所示。
{x(1),x(2),…,x(m)}→{ω1,ω2,…,ωd} (10)
其中，d≤m，ω代表标准正交基，其取值由公式11计算所得。
经投影变换处理后，继续将表情特征样本点x(i)投影到d维超平面，其投影 计算如式12所示。
其中，
代表x(i)投影在d维度上的第j维，维度计算如式13所示。
最终，使用超平面逆推得表情特征向量降维后数据，其计算公式如式14所 示。
为使得特征矩阵中所有表情特征向量数据样本到该超平面距离足够近，本发 明使用距离计算公式进行获取，其计算如公式15所示。
由于表情信息为两组特征向量，本发明将式15转化为特征矩阵形式，如式 16所示。
其中，
代表表情特征向量数据集的协方差矩阵，W代表降 维处理转换矩阵。特征数据投影的最小Distance对应的转换矩阵由协方差矩阵 XXT中最大前d个特征值所对应的特征向量组成。
经处理后，使用特征矩阵转换公式将结果转换为特征向量矩阵，其计算如 式17所示。
z(i)＝wTx(i) (17)
经处理后，将原表情特征向量样本转换为最小投影距离对应的降维表情特 征向量。
步骤5：归一化表情轮廓特征向量和纹理特征向量，使用判别相关分析法对 表情轮廓特征向量和纹理特征向量进行融合，得到融合表情特征；
经PCA降维后，本发明使用DCA算法对两组特征向量进行融合，以得到 融合的表情特征信息进行表情判别。
DCA特征融合首先计算整个特征数据集中每类数据集的平均值，其计算公 式如式18所示。
其中，
代表第i类数据集的平均值，n代表隶属于第i类下图像的数量。经 过平均值计算公式计算每类数据集的平均之后，再次使用平均值计算公式进行 计算，得到整个特征数据集的平均值，其计算如式19所示。
其中，c代表表情图像特征集数量，本发明总共7类表情，即c＝7，
代表 整个特征集的平均值。
然后计算表情特征间关系，本发明使用类内散度矩阵计算表情类之间关系， 其计算公式如式20所示。
其中，Φbx计算公式如式21所示。
为了得到更加准确地分类，本发明优化类内散度矩阵，将表情特征的类内 散度矩阵转化为对角矩阵，其计算公式如式22所示。
其中，Q代表正交特征向量矩阵，
代表非负特征值实数的对角矩阵。对式 22进行转换得式23，如式23所示。
然后，计算映射得到Sbx的有效特征向量，计算公式如式24所示。
对式24进行变换，实现对X的维数从p维降到了r维，其中，令
变换后如式25所示。
同理，对特征矩阵Y做相同的变换，得到Y′，然后对变换后的两组特征数 据构建互协方差矩阵，构建如式26所示。
S′xy＝X′Y′T (26)
然后对构建的互协方差矩阵分解奇异值，其处理使用奇异值分解定理计算， 计算公式如式27所示。
S′xy＝U∑VT (27)
其中，∑由式28计算。
∑＝UTS′xyV (28)
令式28左右奇异向量分别为
和
将式28转换为式29。
最终，将特征数据集在X和Y方向上转换为对应的特征向量矩阵，其计算 如式30所示。
X*＝aTX′
Y*＝bTY′ (30)
对X和Y特征矩阵使用求和的公式计算最终融合特征向量，计算公式如式 31所示。
其中，Z为所求的表情特征融合结果。
步骤6：使用主成分分析法进行降维，降低表情判别的计算复杂度；
步骤7：使用偏二叉树双支持向量机多分类算法对表情特征进行特征分类， 得到表情判别结果。
经过DCA特征融合后得到表情特征判别数据，为缩短训练时间，得到准确 的表情特征类别，本发明使用偏二叉树双支持向量机多分类(PBT-TSVM)算法 进行特征分类。首先采用偏二叉树结构将K类表情特征问题转换为K-1个两类 分类问题，然后使用双支持向量机对每个两类问题进行分类。
构建第一个TSVM，将中性表情标记为正类，其余表情标记为负类，训练 TSVM1，得到两个不平行表情超平面L1和L2，L1为第一类表情超平面，L2用于 测试表情超平面，依次处理直到构造第K-1个TSVM为止。
其中，TSVM训练为将二次优化问题转换为两个规模小脚的QPP，得到两 个不平的分类超平面，求解计算如式32、33所示。
其中，K表示表情特征核函数，a表示k1个正类样本，b代表k2个负类样本， γ1和γ2代表特征向量维度单位，e和
分别代表表情特征的最优超平面法向量和偏 移量，δ代表松弛变量，通过式32求解，得到一个表情类别，计算如式33所示。
对于新样本表情，计算其到两个超平面的垂直距离，若其到正类超平面的 距离小于到负类超平面距离，则为正类，反之为负类，不断训练，直至K类和 所有样本表情遍历结束。由此，得到融合特征信息所属的表情类别。
下面通过具体实验结果分析以验证本发明有益技术效果。
1、实验环境
本发明采用SPYDER IDE进行实现编，使用解释型语言Python为介质。硬 件方面使用4核Intel Core i5-7200U2.50GHz处理器，8G内存，64位Windows10 环境，其环境参数如表1所示。
表1试验环境参数
本发明在此实验环境下使用的测试集是JAFFE数据集。该数据集一共包含了 10位日本女性构成的6类面部表情图像以及1类中性表情图像。如图4从左往 右分别展示了JAFFE DATA中喜(Happy)、怒(Anger)、哀(Sad)、惧(Fear)、厌 (Disgust)、惊(Surprise)以及中性(Neutral)等7类表情样例。
2、实验结果及分析
1)贡献度分析
本发明将特征向量降到9维，在相同环境下对表情图像采用HOG算法、 UP-LBP算法、融合HOG与LBP算法以及改进算法进行测试，随机选取10组 图片，每组21张，每种表情3张进行分析，分析实验结果识别率，并保留小数 点后一位，其实验结果的平均识别率如图5所示。
由上图5可知，改进算法在不同贡献度下较HOG算法、UP-LBP算法、融 合HOG与LBP算法而言，其平均识别率最高，4种算法整体贡献率在0.65至 0.78间识别率最佳。
2)识别率分析
本发明在相同环境下，分别对HOG算法、UP-LBP算法、融合HOG与LBP 算法以及改进算法进行分析，测试随机选取10组图片，每组21张，每种表情3 张进行识别率分析，结果保留小数点后一位，分析结果如表2所示。
表2 10组测试表情的平均识别率
由上表可知，Hog、UP-LBP、融合Hog与LBP算法对10组图片表情测试 的平均识别率分别为79.2、80.2、87.9、91.6，改进算法的平均识别率分别较Hog、 UP-LBP、融合Hog与LBP算法分别提升15.6％、14.2％、4.2％，改进算法较传 统算法的平均识别率上有一定的提升。
3)不同维度结果分析
本发明在相同环境情况下，取贡献率为0.72，对改进算法分别降维到3维、 5维、7维、9维以及11维取10组测试结果进行识别率分析，结果如表3所示。
表3不同维度下算法的识别率分析
| 维度 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 均值 |
| 5维 | 82.1 | 85.6 | 84.2 | 88.3 | 87.2 | 86.3 | 84.2 | 89.0 | 87.1 | 90.4 | 86.4 |
| 7维 | 85.6 | 87.4 | 86.5 | 90.1 | 89.9 | 87.5 | 89.6 | 90.1 | 89.4 | 92.5 | 88.8 |
| 9维 | 91.5 | 89.2 | 90.8 | 91.8 | 92.7 | 92.0 | 91.2 | 89.5 | 93.2 | 94.4 | 91.6 |
| 11维 | 87.2 | 88.5 | 90 | 89.5 | 89.5 | 86.8 | 91.2 | 89.4 | 89.2 | 90.5 | 89.2 |
由上表可知，在贡献率为0.72情况下，表情特征向量维度从5维到9维， 平均识别率依次增长，从9维到11维，呈逐步下降趋势，当特征向量降为9维 时，改进算法平均识别率最佳，适用于一定程度降维。
4)不同分类器结果分析
本发明在相同环境下，分别采用KNN、SVM、K-SVM和偏分二叉树双支 持向量机对处理后特征进行10000次迭代分类训练，分析10组不同人的7种表 情的平均识别率和训练时间，结果如表4所示。
表4不同分类器的识别率(％)及训练时间分析(s)
| 类别 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 训练时间 |
| KNN | 81.1 | 80.9 | 82.2 | 82.4 | 85.1 | 84.3 | 82.0 | 81.4 | 83.2 | 84.1 | 56 |
| SVM | 86.7 | 84.1 | 85.2 | 85.5 | 89.8 | 87.3 | 86.1 | 87.4 | 88.1 | 89.7 | 52 |
| KSVM | 90.6 | 88.1 | 89.4 | 89.8 | 90.7 | 91.4 | 90.0 | 89.3 | 90.2 | 91.1 | 45 |
| PBT-TSVM | 91.5 | 89.2 | 90.8 | 91.8 | 92.7 | 92.0 | 91.2 | 89.5 | 93.2 | 94.4 | 31 |
由上表可知，对于识别率而言，KNN分类器的识别率最低，SVM分类器 较KSVM识别率低，效果最佳的为PBT-TSVM分类器。对于模型训练时间而言， KNN的训练时间最长，最短的为PBT-TSVM，较KNN而言训练时间降低了 44.6％，较SVM而言降低了40.4％，较KSVM而言，降低了31.1％，PBT-TSVM 模型在识别率和模型训练时间上有一定的优势。
Claims (8)
1.一种基于DCA人脸特征融合的表情识别方法，其特征在于，包括以下步骤：
步骤1：采用自适应增强算法结合Haar算子对人脸区域定位，以眼部和嘴部区域为基准进行图像裁剪，并对裁剪后的图像归一化处理；
步骤2：使用方向梯度直方图算法对步骤1处理后的图像进行梯度值计算，获得表情轮廓特征向量；
步骤3：使用改进局部二值模式算法对步骤1处理后的图像进行划分，获得纹理特征向量；
步骤4：利用主成分分析法对表情轮廓特征向量和纹理特征向量进行降维，使得表情轮廓特征向量和纹理特征向量的维度一致；
步骤5：归一化表情轮廓特征向量和纹理特征向量，使用判别相关分析法对表情轮廓特征向量和纹理特征向量进行融合，得到融合表情特征；
步骤6：使用主成分分析法进行降维，降低表情判别的计算复杂度；
步骤7：使用偏二叉树双支持向量机多分类算法对表情特征进行特征分类，得到表情判别结果。
2.根据权利要求1所述的基于DCA人脸特征融合的表情识别方法，其特征在于，在步骤1中，对图像归一化后，还使用双边滤波算法进行去噪处理，再使用Gamma校正法调整图像对比度。
3.根据权利要求2所述的基于DCA人脸特征融合的表情识别方法，其特征在于，在步骤1中，采用点阵计算方法对眼部和嘴部使用OpenCV库以识别到眼部区域和嘴部矩形区域进行裁剪，剪切后得到表情有效区域，将有效区域图像转化为灰度图像。
4.根据权利要求3所述的基于DCA人脸特征融合的表情识别方法，其特征在于，所述步骤2具体为：使用方向梯度直方图算法提取图像人脸表情轮廓特征向量，分别对图像计算水平和垂直方向上的梯度，其计算公式如式3所示：
其中，gx和gy分别是像素点(x,y)水平和垂直方向上的梯度值，通过计算得到像素点(x,y)的梯度幅值g(x,y)和梯度角度α，其中梯度幅度值计算如式4、式5所示：
将梯度方向放缩至在0-180°之间，经梯度计算后，再把图像划分成无数个8×8像素单位的细胞单元，其中，每一个块由2×2的细胞单元构成；
将每个细胞单元划分成15个bin，每个bin设定角度为12°；统计每个细胞单元内每个像素梯度角度，将每个bin相加得到的对应梯度幅值即为每个细胞单元的直方图；
在得到由细胞单元构成的图像梯度直方图后将每个块内的细胞单元串联，合并得到一个块的直方图特征，依次串联所有的块，得到该图像的方向梯度直方图特征向量，最后经归一化处理得到目标表情轮廓特征向量，特征数值归一化公式如式6所示：
其中，I代表表情图像像素数据中的某一个数，min代表这组像素数据中最小的值，max代表这组像素数据中最大的值，而I′代表该表情图像像素数据归一化后结果值。
5.根据权利要求4所述的基于DCA人脸特征融合的表情识别方法，其特征在于，所述步骤3具体为：改进局部二值模式算法先使用多尺度块LBP算法进行特征数据优化，将表情图像以6×6像素为单位，划分表情图像为图像块操作单元，并以图像块为单位，计算表情图像灰度平均；
经多尺度块LBP算法优化表情图像特征数据后，使用等价模式LBP算法提取表情纹理特征，以表情图像的每个像素作为中心像素，分别与其周围的8邻域像素灰度值进行大小比较，比较后以顺时针或逆时针顺序组合，得到该中心点对应的一组二进制编码，其计算公式如式7、式8所示：
其中，P代表表情图片相邻点像素点的个数；xi代表表情图片相邻8个像素中任意一个的灰度值；
将得到的中心像素二进制编码进行判断；当编码中循环二进制数出现了0→1或1→0的变换时，标记一次跳变，限定跳变次数≤2的编码为等价模式类，计算出的该二进制编码所对应的十进制结果即为LBP值；其余非等价模式编码归为混合模式类，其编码值为0；
经编码判断后，得到整幅图像的LBP值，对其进行图像特征向量的转换；将图像划分为与方向梯度直方图算法相同尺度的细胞单元，以局部二值模式算法特征值中最大灰度值为上界，将区间(0,LBP(max))分为15等分，统计每个细胞单元特征构成特征直方图；
将块内细胞单元串联合，得到一个块的直方图，再将所有块串联得到该图像局部二值模式算法特征向量，经过归一化处理得到表情图像的目标纹理特征向量。
6.根据权利要求5所述的基于DCA人脸特征融合的表情识别方法，其特征在于，所述步骤4具体为：分别对每一组特征向量矩阵进行降维处理，对所有样本进行中心化处理，其处理如公式9所示：
其中，x(i)代表特征向量原数据矩阵中的任意一个n维数据，m代表该表情数据矩阵的个数；经中心化处理后，对表情特征样本进行投影变换，其处理如公式10所示：
{x(1),x(2),…,x(m)}→{ω1,ω2,…,ωd} (10)
其中，d≤m，ω代表标准正交基，其取值由公式11计算所得：
经投影变换处理后，继续将表情特征样本点x(i)投影到d维超平面，其投影计算如式12所示：
其中，
代表x(i)投影在d维度上的第j维，维度计算如式13所示：
最终，使用超平面逆推得表情特征向量降维后数据，其计算公式如式14所示：
为使得特征矩阵中所有表情特征向量数据样本到该超平面距离足够近，使用距离计算公式进行获取，其计算如公式15所示：
由于表情信息为两组特征向量，将式15转化为特征矩阵形式，如式16所示：
其中，
代表表情特征向量数据集的协方差矩阵，W代表降维处理转换矩阵；特征数据投影的最小Distance对应的转换矩阵由协方差矩阵XXT中最大前d个特征值所对应的特征向量组成；
经处理后，使用特征矩阵转换公式将结果转换为特征向量矩阵，其计算如式17所示：
z(i)＝wTx(i) (17)
经处理后，将原表情特征向量样本转换为最小投影距离对应的降维表情特征向量。
7.根据权利要求6所述的基于DCA人脸特征融合的表情识别方法，其特征在于，所述步骤5具体为：使用判别相关分析法算法对两组特征向量进行融合，以得到融合的表情特征信息进行表情判别；
判别相关分析法特征融合首先计算整个特征数据集中每类数据集的平均值，其计算公式如式18所示；
其中，
代表第i类数据集的平均值，n代表隶属于第i类下图像的数量；经过平均值计算公式计算每类数据集的平均之后，再次使用平均值计算公式进行计算，以得到整个特征数据集的平均值，其计算如式19所示；
其中，c代表表情图像特征集数量，
代表整个特征集的平均值；
然后计算表情特征间关系，使用类内散度矩阵计算表情类之间关系，其计算公式如式20所示；
其中，Φbx计算公式如式21所示；
优化类内散度矩阵，将表情特征的类内散度矩阵转化为对角矩阵，其计算公式如式22所示；
其中，Q代表正交特征向量矩阵，
代表非负特征值实数的对角矩阵；对式22进行转换得式23，如式23所示；
然后，计算映射得到Sbx的有效特征向量，计算公式如式24所示；
对式24进行变换，实现对X的维数从p维降到了r维，其中，令
变换后如式25所示；
同理，对特征矩阵Y做相同的变换，得到Y′，然后对变换后的两组特征数据构建互协方差矩阵，构建如式26所示；
S′xy＝X′Y′T (26)
然后对构建的互协方差矩阵分解奇异值，其处理使用奇异值分解定理计算，计算公式如式27所示；
S′xy＝U∑VT (27)
其中，∑由式28计算；
令式28左右奇异向量分别为
和
将式28转换为式29；
最终，将特征数据集在X和Y方向上转换为对应的特征向量矩阵，其计算如式30所示；
X*＝aTX′
Y*＝bTY′ (30)
对X和Y特征矩阵使用求和的公式计算最终融合特征向量，计算公式如式31所示；
其中，Z为所求的表情特征融合结果。
8.根据权利要求7所述的基于DCA人脸特征融合的表情识别方法，其特征在于，所述步骤7具体为：首先采用偏二叉树结构将K类表情特征问题转换为K-1个两类分类问题，然后使用双支持向量机对每个两类问题进行分类；
构建第一个TSVM，将中性表情标记为正类，其余表情标记为负类，训练TSVM1，得到两个不平行表情超平面L1和L2，L1为第一类表情超平面，L2用于测试表情超平面，依次处理直到构造第K-1个TSVM为止；
其中，TSVM训练为将二次优化问题转换为两个规模小脚的QPP，得到两个不平的分类超平面，求解计算如式32、33所示；
其中，K表示表情特征核函数，a表示k1个正类样本，b代表k2个负类样本，γ1和γ2代表特征向量维度单位，e和
分别代表表情特征的最优超平面法向量和偏移量，δ代表松弛变量，通过式32求解，得到一个表情类别，计算如式33所示；
对于新样本表情，计算其到两个超平面的垂直距离，若其到正类超平面的距离小于到负类超平面距离，则为正类，反之为负类，不断训练，直至K类和所有样本表情遍历结束，由此得到融合特征信息所属的表情类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110566744.XA CN113239839B (zh) | 2021-05-24 | 2021-05-24 | 基于dca人脸特征融合的表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110566744.XA CN113239839B (zh) | 2021-05-24 | 2021-05-24 | 基于dca人脸特征融合的表情识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113239839A true CN113239839A (zh) | 2021-08-10 |
| CN113239839B CN113239839B (zh) | 2022-03-11 |
Family
ID=77138490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110566744.XA Expired - Fee Related CN113239839B (zh) | 2021-05-24 | 2021-05-24 | 基于dca人脸特征融合的表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113239839B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114463813A (zh) * | 2022-01-21 | 2022-05-10 | 苏州浪潮智能科技有限公司 | 一种基于hog特征的表情识别方法、系统及相关装置 |
| CN114898449A (zh) * | 2022-07-13 | 2022-08-12 | 电子科技大学成都学院 | 一种基于大数据的外语教学辅助方法及装置 |
| CN115798004A (zh) * | 2022-11-27 | 2023-03-14 | 深圳市巨龙创视科技有限公司 | 基于局部区域的人脸打卡方法、装置、电子设备及介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101763507A (zh) * | 2010-01-20 | 2010-06-30 | 北京智慧眼科技发展有限公司 | 人脸识别方法及人脸识别系统 |
| CN102254151A (zh) * | 2011-06-16 | 2011-11-23 | 清华大学 | 一种基于面部视频分析的驾驶人疲劳检测方法 |
| CN102831389A (zh) * | 2012-06-28 | 2012-12-19 | 北京工业大学 | 基于判别分量分析的人脸表情识别算法 |
| CN102842033A (zh) * | 2012-08-17 | 2012-12-26 | 苏州两江科技有限公司 | 基于人脸识别进行人物表情情感语义识别方法 |
| CN103577815A (zh) * | 2013-11-29 | 2014-02-12 | 中国科学院计算技术研究所 | 一种人脸对齐方法和系统 |
| CN103745237A (zh) * | 2013-12-26 | 2014-04-23 | 暨南大学 | 光照变化条件下的人脸识别算法 |
| CN104732204A (zh) * | 2015-03-10 | 2015-06-24 | 南京信息工程大学 | 基于彩色特征双重多核鉴别相关性分析的人脸识别方法 |
| CN107563312A (zh) * | 2017-08-17 | 2018-01-09 | 南昌航空大学 | 人脸表情识别方法 |
| CN109159129A (zh) * | 2018-08-03 | 2019-01-08 | 深圳市益鑫智能科技有限公司 | 一种基于人脸表情识别的智能陪伴机器人 |
| WO2019060601A1 (en) * | 2017-09-21 | 2019-03-28 | University Of Miami | METHOD OF TREATING MYELOID LEUKEMIA |
| CN109815924A (zh) * | 2019-01-29 | 2019-05-28 | 成都旷视金智科技有限公司 | 表情识别方法、装置及系统 |
| CN110008920A (zh) * | 2019-04-09 | 2019-07-12 | 南京工业大学 | 一种人脸表情识别方法研究 |
| CN110738082A (zh) * | 2018-07-20 | 2020-01-31 | 北京陌陌信息技术有限公司 | 人脸关键点的定位方法、装置、设备及介质 |
| CN111563417A (zh) * | 2020-04-13 | 2020-08-21 | 华南理工大学 | 一种基于金字塔结构卷积神经网络的人脸表情识别方法 |
| CN112784770A (zh) * | 2021-01-27 | 2021-05-11 | 南京邮电大学 | 一种人脸表情的识别方法、可读存储介质及设备 |
-
2021
- 2021-05-24 CN CN202110566744.XA patent/CN113239839B/zh not_active Expired - Fee Related
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101763507A (zh) * | 2010-01-20 | 2010-06-30 | 北京智慧眼科技发展有限公司 | 人脸识别方法及人脸识别系统 |
| CN102254151A (zh) * | 2011-06-16 | 2011-11-23 | 清华大学 | 一种基于面部视频分析的驾驶人疲劳检测方法 |
| CN102831389A (zh) * | 2012-06-28 | 2012-12-19 | 北京工业大学 | 基于判别分量分析的人脸表情识别算法 |
| CN102842033A (zh) * | 2012-08-17 | 2012-12-26 | 苏州两江科技有限公司 | 基于人脸识别进行人物表情情感语义识别方法 |
| CN103577815A (zh) * | 2013-11-29 | 2014-02-12 | 中国科学院计算技术研究所 | 一种人脸对齐方法和系统 |
| CN103745237A (zh) * | 2013-12-26 | 2014-04-23 | 暨南大学 | 光照变化条件下的人脸识别算法 |
| CN104732204A (zh) * | 2015-03-10 | 2015-06-24 | 南京信息工程大学 | 基于彩色特征双重多核鉴别相关性分析的人脸识别方法 |
| CN107563312A (zh) * | 2017-08-17 | 2018-01-09 | 南昌航空大学 | 人脸表情识别方法 |
| WO2019060601A1 (en) * | 2017-09-21 | 2019-03-28 | University Of Miami | METHOD OF TREATING MYELOID LEUKEMIA |
| CN110738082A (zh) * | 2018-07-20 | 2020-01-31 | 北京陌陌信息技术有限公司 | 人脸关键点的定位方法、装置、设备及介质 |
| CN109159129A (zh) * | 2018-08-03 | 2019-01-08 | 深圳市益鑫智能科技有限公司 | 一种基于人脸表情识别的智能陪伴机器人 |
| CN109815924A (zh) * | 2019-01-29 | 2019-05-28 | 成都旷视金智科技有限公司 | 表情识别方法、装置及系统 |
| CN110008920A (zh) * | 2019-04-09 | 2019-07-12 | 南京工业大学 | 一种人脸表情识别方法研究 |
| CN111563417A (zh) * | 2020-04-13 | 2020-08-21 | 华南理工大学 | 一种基于金字塔结构卷积神经网络的人脸表情识别方法 |
| CN112784770A (zh) * | 2021-01-27 | 2021-05-11 | 南京邮电大学 | 一种人脸表情的识别方法、可读存储介质及设备 |
Non-Patent Citations (3)
| Title |
|---|
| KAPIL JUNEJA: "MPMFFT based DCA-DBT integrated probabilistic model for face expression classification", 《JOURNAL OF KING SAUD UNIVERSITY-COMPUTER AND INFORMATION SCIENCE》 * |
| 屈美娟: "面部情感特征描述及识别方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 王小芳: "融合模糊聚类的蚁群图像增强算法", 《数据采集与处理》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114463813A (zh) * | 2022-01-21 | 2022-05-10 | 苏州浪潮智能科技有限公司 | 一种基于hog特征的表情识别方法、系统及相关装置 |
| CN114463813B (zh) * | 2022-01-21 | 2024-02-13 | 苏州浪潮智能科技有限公司 | 一种基于hog特征的表情识别方法、系统及相关装置 |
| CN114898449A (zh) * | 2022-07-13 | 2022-08-12 | 电子科技大学成都学院 | 一种基于大数据的外语教学辅助方法及装置 |
| CN114898449B (zh) * | 2022-07-13 | 2022-10-04 | 电子科技大学成都学院 | 一种基于大数据的外语教学辅助方法及装置 |
| CN115798004A (zh) * | 2022-11-27 | 2023-03-14 | 深圳市巨龙创视科技有限公司 | 基于局部区域的人脸打卡方法、装置、电子设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113239839B (zh) | 2022-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113239839B (zh) | 基于dca人脸特征融合的表情识别方法 | |
| CN109389074B (zh) | 一种基于人脸特征点提取的表情识别方法 | |
| Cheng et al. | Exploiting effective facial patches for robust gender recognition | |
| CN108416374B (zh) | 基于判别正交子空间约束的非负矩阵分解方法 | |
| CN102906787A (zh) | 脸部分析技术 | |
| CN107220598B (zh) | 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法 | |
| CN108108760A (zh) | 一种快速人脸识别方法 | |
| CN108664911A (zh) | 一种基于图像稀疏表示的鲁棒人脸识别方法 | |
| CN111126240A (zh) | 一种三通道特征融合人脸识别方法 | |
| Siwek et al. | Autoencoder versus PCA in face recognition | |
| Kalansuriya et al. | Neural network based age and gender classification for facial images | |
| Tereikovskyi et al. | The method of semantic image segmentation using neural networks | |
| Han et al. | High-order statistics of microtexton for hep-2 staining pattern classification | |
| Szankin et al. | Influence of thermal imagery resolution on accuracy of deep learning based face recognition | |
| Zhang et al. | Discriminative tensor sparse coding for image classification. | |
| Zhao et al. | Curvature gray feature decomposition based finger vein recognition with an improved convolutional neural network | |
| CN107506718A (zh) | 基于mb‑2dpca特征的人脸表情识别方法 | |
| CN117523642A (zh) | 一种基于最优间距贝叶斯分类模型的人脸识别方法 | |
| Yuan et al. | Holistic learning-based high-order feature descriptor for smoke recognition | |
| CN108288034B (zh) | 一种游戏设计的质量评估方法及系统 | |
| Türkmen et al. | Global feature based female facial beauty decision system | |
| Jena et al. | Elitist TLBO for identification and verification of plant diseases | |
| CN111444860A (zh) | 一种表情识别方法和系统 | |
| Zhou et al. | Gabor wavelets and AdaBoost in feature selection for face verification | |
| CN112784770A (zh) | 一种人脸表情的识别方法、可读存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220311 |