CN114463813B - 一种基于hog特征的表情识别方法、系统及相关装置 - Google Patents
一种基于hog特征的表情识别方法、系统及相关装置 Download PDFInfo
- Publication number
- CN114463813B CN114463813B CN202210073330.8A CN202210073330A CN114463813B CN 114463813 B CN114463813 B CN 114463813B CN 202210073330 A CN202210073330 A CN 202210073330A CN 114463813 B CN114463813 B CN 114463813B
- Authority
- CN
- China
- Prior art keywords
- gradient direction
- direction histogram
- feature
- characteristic
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000014509 gene expression Effects 0.000 title claims abstract description 33
- 230000001815 facial effect Effects 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 230000008921 facial expression Effects 0.000 claims abstract description 20
- 230000009467 reduction Effects 0.000 claims abstract description 15
- 238000000513 principal component analysis Methods 0.000 claims abstract description 12
- 238000003860 storage Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims 2
- 206010033307 Overweight Diseases 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000013145 classification model Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 238000012847 principal component analysis method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种基于HOG特征的表情识别方法，包括：获取面部图像；提取所述面部图像的梯度方向直方图特征；利用主成分分析算法对所述梯度方向直方图特征进行降维；利用SVM模型学习所述梯度方向直方图特征确定若干弱分类器，并利用adaBoost模型根据若干所述弱分类器加权求和得到的增强分类器对所述梯度方向直方图特征进行识别，得到面部表情。本申请通过选择高权重区域的特征来提升分类性能，能够有效识别面部表情，提高面部表情的识别精度。本申请还提供一种基于HOG特征的表情识别系统、计算机可读存储介质和电子设备，具有上述有益效果。
Description
技术领域
本申请涉及图像识别领域，特别涉及一种基于HOG特征的表情识别方法、系统及相关装置。
背景技术
面部表情是非语言交流中最普遍、直接、自然的人类心理和情绪表达的方式，因而在众多人机交互场景中具有广泛的应用，如智能机器人、虚拟现实、行业分析、交通安全等。但是，正如人类心理状态的多样复杂一样，面部表情也具有多样性，除了常见的高兴、吃惊、悲伤、愤怒、厌恶和恐惧6种表情，还有惊喜(高兴+吃惊)、悲愤(悲伤+愤怒)等多种可被区分的复合表情。因此，当前对于面部表情的识别精度较低，如何提高面部表情的识别精度是本领域技术人员亟需解决的技术问题。
发明内容
本申请的目的是提供一种基于HOG特征的表情识别方法、表情识别系统、计算机可读存储介质和电子设备，能够提高面部表情的识别精度。
为解决上述技术问题，本申请提供一种基于HOG特征的表情识别方法，具体技术方案如下：
获取面部图像；
提取所述面部图像的梯度方向直方图特征；
利用主成分分析算法对所述梯度方向直方图特征进行降维；
利用SVM模型学习所述梯度方向直方图特征确定若干弱分类器，并利用adaBoost模型根据若干所述弱分类器加权求和得到的增强分类器对所述梯度方向直方图特征进行识别，得到面部表情。
可选的，获取面部图像之后，还包括：
灰度化所述面部图像，并利用预设人脸检测算法提取所述面部图像中的人脸图像。
可选的，提取所述面部图像的梯度方向直方图特征包括：
采用Sobel边缘检测算子计算梯度幅值和方向；
利用特征区域池化确定所述面部图像中包含所述梯度方向直方图特征的特征区域；
进行所述特征区域的梯度方向直方图计算，得到梯度方向直方图特征。
可选的，利用特征区域池化确定所述面部图像中包含所述梯度方向直方图特征的特征区域包括：
将所述面部图像划分成不同大小的特征区域；
利用块特征区域提取梯度方向直方图特征中的大粒度特征，利用单元特征区域提取梯度方向直方图特征中的小粒度特征。
可选的，所述利用块特征区域提取梯度方向直方图特征中的大粒度特征，利用单元特征区域提取梯度方向直方图特征中的小粒度特征包括：
利用块特征窗口扫描所述面部图像，得到包含大粒度特征的块特征区域；
利用单元特征窗口扫描所述面部图像，得到包含小粒度特征的单元特征区域；
其中，所述块特征区域由所述单元特征区域组合构成。
可选的，利用主成分分析算法对所述梯度方向直方图特征进行降维包括：
利用变换矩阵对所述梯度方向直方图特征进行矩阵变换；其中，所述变换矩阵由特征向量构成。
可选的，还包括：
计算协方差矩阵的特征值和特征向量；
将特征值按照从大到小顺序排列，依次累加特征值并计算其占全部特征值之和的特征值比例；
当特征值比例满足大于预设值时，将当前参与累加的特征值所对应的特征向量构成变换矩阵。
本申请还提供一种基于HOG特征的表情识别系统，包括：
图像获取模块，用于获取面部图像；
特征提取模块，用于提取所述面部图像的梯度方向直方图特征；
特征降维模块，用于利用主成分分析算法对所述梯度方向直方图特征进行降维；
表情识别模块，用于利用SVM模型学习所述梯度方向直方图特征确定若干弱分类器，并利用adaBoost模型根据若干所述弱分类器加权求和得到的增强分类器对所述梯度方向直方图特征进行识别，得到面部表情。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
本申请还提供一种电子设备，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。
本申请提供一种基于HOG特征的表情识别方法，包括：获取面部图像；提取所述面部图像的梯度方向直方图特征；利用主成分分析算法对所述梯度方向直方图特征进行降维；利用SVM模型学习所述梯度方向直方图特征确定若干弱分类器，并利用adaBoost模型根据若干所述弱分类器加权求和得到的增强分类器对所述梯度方向直方图特征进行识别，得到面部表情。
本申请提出的基于HOG特征的表情识别方法，改进HOG特征提取方法和分类模型来提高性能：首先改进HOG特征提取模式，提取不同大小和形状的局部区域的HOG特征，特征区域不再局限于固定大小和形状，并且采用主成分分析法进行数据降维。其次结合SVM和adaBoost增强模型进行分类模型学习，通过选择高权重区域的特征来提升分类性能，能够有效识别面部表情，提高面部表情的识别精度。
本申请还提供一种基于HOG特征的表情识别系统、计算机可读存储介质和电子设备，具有上述有益效果，此处不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种基于HOG特征的表情识别方法的流程图；
图2为本申请实施例所提供的dx卷积核示意图；
图3为本申请实施例所提供的dy卷积核示意图；
图4为本申请实施例所提供的五种块区域示意图；
图5为本申请实施例所提供的一种基于HOG特征的表情识别系统结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种基于HOG特征的表情识别方法的流程图，该方法包括：
S101：获取面部图像；
本步骤旨在获取面部图像，而通常获取得到的面部图像可能存在不必要的背景干扰，因此在本步骤之后，还可以灰度化面部图像，并利用预设人脸检测算法提取面部图像中的人脸图像，从而得到只包含人脸的图像。在此对于该预设人脸检测算法不作限定，例如可以采用OpenCV算法库中的基于haar特征和adaBoost算法的Viola-Jones人脸检测模型对面部图像进行人脸检测，该检测器采用了快速的特征计算方法，有效的分类器学习方法AdaBoost，高效的级联分类策略，极大地提高了人脸检测速度。具体的，首先将输入图像灰度变换得到灰度图像；然后，将灰度图像和标记信息输入到Viola-Jones人脸检测模型中训练，训练完成后，将包含人脸的图像输入到人脸检测模型，得到人脸矩形框信息；再然后，根据矩形框信息从原图像中裁剪出人脸图片，最后，采用双线性插值方法将裁剪图像的缩放到标准尺寸，至此，完成人脸图像获取。
S102：提取所述面部图像的梯度方向直方图特征；
本步骤旨在提取梯度方向直方图特征，图像特征提取的目的是提取图像中的高相关、低冗余、少噪声的特征数据，通常包括特征描述符计算、特征选择、特征变换、特征融合。本申请采用梯度方向直方图(HOG)特征描述符来描述面部表情特征，再通过主成分分析(PCA)方法来去除冗余和无关噪声信息。
本步骤可以分为如下步骤：
第一步、采用Sobel边缘检测算子计算梯度幅值和方向；
第二步、利用特征区域池化确定所述面部图像中包含所述梯度方向直方图特征的特征区域；
第三步、进行所述特征区域的梯度方向直方图计算，得到梯度方向直方图特征。
首先采用Sobel边缘检测算子来计算梯度，Sobel算法属于一阶微分算子，可以较好地好留细节信息。Sobel算子基于像素邻近区域的梯度值来计算像素的梯度值，采用3×3的算子模板。如图2和图3所示的2个卷积核dx，dy形成Sobel算子，dx卷积核对通常的水平边缘(X方向)的响应最大，而dy卷积核对垂直边缘(Y方向)的响应最大，然后根据卷积结果sobelX和sobelY计算梯度幅值mag和梯度方向ang。
特征区域池化，表示计算梯度方向直方图特征的特征区域，通常按照块—单元的层次结构来池化图像，将图像划分成若干个不同大小的特征区域。块区域和单元区域表示两种大小的特征区域，对应两种粒度大小的特征，单元区域提取较小粒度的特征，块区域提取较大粒度的特征。在计算面部特征过程中，采用单元特征窗口和块区域特征窗口扫描面部图像，具体的特征区域池化参数包括：单元区域的大小，块区域的大小，单元区域的步长，块区域的步长。其中，块区域的大小和步长通常以单元区域为单位，即块区域的大小是单元区域大小的倍数，而且对于特定目标的识别，单元区域和块区域的大小关系固定不变的。
本申请提供的基于HOG特征的面部表情识别方法改变了单元区域-块区域的划分方式，单元区域描述粒度小的特征，其大小和形状固定不变，块区域描述粒度大的特征，采用不同形状的块区域可以提取不同的粗粒度特征。从而考虑到表情识别侧重细粒度分类，相较于传统的固定形状块区域的提取方法无法，本申请能够提取类型丰富的特征。
梯度方向直方图计算，统计特征区域内的梯度方向分布情况，由于特征区域被划分成块区域-单元区域的层次结构，因此，首先计算每个单元区域的梯度方向直方图，然后按照块区域内的单元区域排列，将所有单元区域连接一起得到块区域的梯度方向直方图特征。具体步骤如下：
将单元区域内所有像素的梯度方向ang(弧度，-π～π)量化到8个方向，那么直方图的横轴表示对应梯度方向为-180°～-135°，……，135°～180°，梯度方向量化的公式为
其中，i,j表示行列下标，bin_ang的取值范围为{0,1,2,3,4,5,6,7}。
统计单元区域内的各个梯度方向上的像素的概率，并以梯度幅值进行加权：
其中，m,n表示特征区域的行数和列数。单元区域的梯度方向直方图特征即为各个梯度方向上的概率hist。
根据块区域内的单元区域排列，按照从左到右、从上到下的顺序，将所有单元区域的梯度方向直方图特征连接一起，即可得到块区域的梯度方向直方图特征。参见图4，图4为本申请实施例所提供的a)、b)、c)、d)、e)五种块区域示意图。
S103：利用主成分分析算法对所述梯度方向直方图特征进行降维；
主成分分析法是一种广泛使用的数据降维方法，主要思想是将原始特征空间映射到维度更小、信息损失小的新特征空间。本步骤主要利用变换矩阵对梯度方向直方图特征进行矩阵变换，该变换矩阵由特征向量构成。
具体可以包括如下步骤：
第一步、计算协方差矩阵的特征值和特征向量；
第二步、将特征值按照从大到小顺序排列，依次累加特征值并计算其占全部特征值之和的特征值比例；
第三步、当特征值比例满足大于预设值时，将当前参与累加的特征值所对应的特征向量构成变换矩阵。
在此对于该预设值不做限定，例如可以为0.95、0.98等。
具体的，将N个样本对应的特征数据FM×N＝{f1,f2,...,fN}从M维降到K维，具体步骤如下：
首先去中心化，每个特征向量减去其平均值，假设FM×N的平均值为F，那么去中心化后的特征数据为
其中，由每个样本的特征数据的平均值构成。
此后计算协方差矩阵：
C＝XXT
采用特征值分解方法计算协方差矩阵C的特征值和特征向量，最后计算变换矩阵：
按照特征值从大到小的顺序，选择其中最大的K个，然后将K个特征值对应的K个特征向量分别作为行向量组成特征向量矩阵P。除此之外，还可以通过，特征值比例确定选择特征向量，按照特征值从大到小的顺序累加特征值，计算累加特征值占全部特征值之和的比例，当比例满足预设值时，参与累加的特征值所对应的特征向量构成变换矩阵。
再进行特征变换，将特征数据变换到K个特征向量构建的新空间中，Y＝PF。
S104：利用SVM模型学习所述梯度方向直方图特征确定若干弱分类器，并利用adaBoost模型根据若干所述弱分类器加权求和得到的增强分类器对所述梯度方向直方图特征进行识别，得到面部表情。
上一步人脸特征提取得到了若干个块区域的梯度方向直方图特征，并且采用主成分分析法对块区域的特征数据进行降维去噪。这一步采用SVM和adaBoost模型对面部包含的特征数据进行学习，分类模型的结构如图5所示,训练k个SVM弱分类器{f1(x),f2(x),...,fk(x)}，每个弱分类器fi(x)的特征数据来源于图像中3个块区域的梯度方向直方图特征，块区域特征的选择取决于adaBoost增强模型的训练，然后，将所有弱分类器进行权重αi的加权求和得到增强分类器F(x)。其中，输入到SVM模型训练的块区域特征数据和权重αi取决于adaBoost增强模型的训练。
SVM分类模型是一个二分类模型，主要思想是学习若干个分类超平面wx+b＝0，在特征空间中对全部训练样本按照类别进行划分，从而实现正确分类。如下式所示为C类支持向量机模型的损失函数，模型的学习目标为最大化分类间隔和最小化分类错误率，
其中，t表示样本下标，xt表示输入特征数据，yt表示输出类别标签值，i,j表示不同的类别，wij，bij表示分类超平面的权重和偏差参数，表示特征的高维映射，通常需要采用核函数来实现，/>表示软间隔，C表示惩罚参数，用于平衡分类错误率和分类间隔。优化求解完成后，得到分类模型/>
adaBoost是一个加法模型，主要思想是学习若干个弱分类模型，将其进行加权求和以实现增强分类的效果。采用前向分步学习的策略，每次迭代学习一个弱分类模型fm(x)和权重系数αm，如下所示为adaBoost增强模型的第m次迭代的损失函数，
其中，xi表示输入特征数据，yi表示输出类别标签值，Fm-1(xi)为第(m-1)次迭代学习的增强分类模型，对于第m次迭代来说，Fm-1(xi)是固定的，那么其优化目标是学习最优的弱分类模型fm及系数αm。经过推导可得如下所示的具体求解公式：
可以看出，最优弱分类模型满足使第m轮加权训练误差率最小，即第m次迭代选择的块区域特征满足，它所学习的SVM模型对应的加权训练误差率em最小。
本申请提出的基于HOG特征的表情识别方法，改进HOG特征提取方法和分类模型来提高性能：首先改进HOG特征提取模式，提取不同大小和形状的局部区域的HOG特征，特征区域不再局限于固定大小和形状，并且采用主成分分析法进行数据降维。其次结合SVM和adaBoost增强模型进行分类模型学习，通过选择高权重区域的特征来提升分类性能。
下面对本申请实施例提供的一种基于HOG特征的表情识别系统进行介绍，下文描述的表情识别系统与上文描述的基于HOG特征的表情识别方法可相互对应参照。
参见图5，图5为本申请实施例所提供的一种基于HOG特征的表情识别系统结构示意图，本申请还提供一种基于HOG特征的表情识别系统，包括：
图像获取模块，用于获取面部图像；
特征提取模块，用于提取所述面部图像的梯度方向直方图特征；
特征降维模块，用于利用主成分分析算法对所述梯度方向直方图特征进行降维；
表情识别模块，用于利用SVM模型学习所述梯度方向直方图特征确定若干弱分类器，并利用adaBoost模型根据若干所述弱分类器加权求和得到的增强分类器对所述梯度方向直方图特征进行识别，得到面部表情。
基于上述实施例，作为优选的实施例，还包括：
图像处理模块，用于灰度化所述面部图像，并利用预设人脸检测算法提取所述面部图像中的人脸图像。
基于上述实施例，作为优选的实施例，还包括：
变换矩阵生成模块，用于计算协方差矩阵的特征值和特征向量；将特征值按照从大到小顺序排列，依次累加特征值并计算其占全部特征值之和的特征值比例；当特征值比例满足大于预设值时，将当前参与累加的特征值所对应的特征向量构成变换矩阵。
本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (6)
1.一种基于HOG特征的表情识别方法，其特征在于，包括：
获取面部图像；
提取所述面部图像的梯度方向直方图特征；
利用主成分分析算法对所述梯度方向直方图特征进行降维；
利用SVM模型学习所述梯度方向直方图特征确定若干弱分类器，并利用adaBoost模型根据若干所述弱分类器加权求和得到的增强分类器对所述梯度方向直方图特征进行识别，得到面部表情；
其中，获取面部图像之后，还包括：
灰度化所述面部图像，并利用预设人脸检测算法提取所述面部图像中的人脸图像；
其中，利用预设人脸检测算法提取所述面部图像中的人脸图像包括：
将灰度图像和标记信息输入到Viola-Jones人脸检测模型中训练，训练完成后，将包含人脸的图像输入到人脸检测模型，得到人脸矩形框信息；根据矩形框信息从原图像中裁剪出人脸图片；采用双线性插值方法将裁剪图像的缩放到标准尺寸完成人脸图像获取；
其中，提取所述面部图像的梯度方向直方图特征包括：
采用Sobel边缘检测算子计算梯度幅值和方向；
利用特征区域池化确定所述面部图像中包含所述梯度方向直方图特征的特征区域；
进行所述特征区域的梯度方向直方图计算，得到梯度方向直方图特征；
其中，利用特征区域池化确定所述面部图像中包含所述梯度方向直方图特征的特征区域包括：
将所述面部图像划分成不同大小的特征区域；
利用块特征区域提取梯度方向直方图特征中的大粒度特征，利用单元特征区域提取梯度方向直方图特征中的小粒度特征；
其中，所述利用块特征区域提取梯度方向直方图特征中的大粒度特征，利用单元特征区域提取梯度方向直方图特征中的小粒度特征包括：
利用块特征窗口扫描所述面部图像，得到包含大粒度特征的块特征区域；所述块特征区域包括横条状区域、矩形区域、竖条状区域、左斜条状区域和右斜条状区域；
利用单元特征窗口扫描所述面部图像，得到包含小粒度特征的单元特征区域；
其中，所述块特征区域由所述单元特征区域组合构成；
其中，进行所述特征区域的梯度方向直方图计算，得到梯度方向直方图特征包括：
将单元区域内所有像素的梯度方向量化到8个方向，则直方图的横轴表示对应梯度方向为/>，… …，/>，梯度方向量化的公式为：
；
其中，表示行列下标，/>的取值范围为/>；
统计单元区域内的各个梯度方向上的像素的概率，并以梯度幅值进行加权：
；
其中，表示特征区域的行数和列数；单元区域的梯度方向直方图特征即为各个梯度方向上的概率/>；
根据块区域内的单元区域排列，按照从左到右、从上到下的顺序，将所有单元区域的梯度方向直方图特征连接一起，得到块区域的梯度方向直方图特征。
2.根据权利要求1所述的表情识别方法，其特征在于，利用主成分分析算法对所述梯度方向直方图特征进行降维包括：
利用变换矩阵对所述梯度方向直方图特征进行矩阵变换；其中，所述变换矩阵由特征向量构成。
3.根据权利要求2所述的表情识别方法，其特征在于，还包括：
计算协方差矩阵的特征值和特征向量；
将特征值按照从大到小顺序排列，依次累加特征值并计算其占全部特征值之和的特征值比例；
当特征值比例满足大于预设值时，将当前参与累加的特征值所对应的特征向量构成变换矩阵。
4.一种基于HOG特征的表情识别系统，其特征在于，包括：
图像获取模块，用于获取面部图像；
特征提取模块，用于提取所述面部图像的梯度方向直方图特征；
特征降维模块，用于利用主成分分析算法对所述梯度方向直方图特征进行降维；
表情识别模块，用于利用SVM模型学习所述梯度方向直方图特征确定若干弱分类器，并利用adaBoost模型根据若干所述弱分类器加权求和得到的增强分类器对所述梯度方向直方图特征进行识别，得到面部表情；
图像处理模块，用于灰度化所述面部图像，并利用预设人脸检测算法提取所述面部图像中的人脸图像；
其中，所述图像处理模块用于：
将灰度图像和标记信息输入到Viola-Jones人脸检测模型中训练，训练完成后，将包含人脸的图像输入到人脸检测模型，得到人脸矩形框信息；根据矩形框信息从原图像中裁剪出人脸图片；采用双线性插值方法将裁剪图像的缩放到标准尺寸完成人脸图像获取；
其中，特征提取模块用于执行如下步骤：
采用Sobel边缘检测算子计算梯度幅值和方向；
利用特征区域池化确定所述面部图像中包含所述梯度方向直方图特征的特征区域；
进行所述特征区域的梯度方向直方图计算，得到梯度方向直方图特征；
其中，所述利用特征区域池化确定所述面部图像中包含所述梯度方向直方图特征的特征区域的步骤包括：
将所述面部图像划分成不同大小的特征区域；
利用块特征区域提取梯度方向直方图特征中的大粒度特征，利用单元特征区域提取梯度方向直方图特征中的小粒度特征；
其中，所述利用块特征区域提取梯度方向直方图特征中的大粒度特征，利用单元特征区域提取梯度方向直方图特征中的小粒度特征包括：
利用块特征窗口扫描所述面部图像，得到包含大粒度特征的块特征区域；所述块特征区域包括横条状区域、矩形区域、竖条状区域、左斜条状区域和右斜条状区域；
利用单元特征窗口扫描所述面部图像，得到包含小粒度特征的单元特征区域；
其中，所述块特征区域由所述单元特征区域组合构成；
其中，所述进行所述特征区域的梯度方向直方图计算，得到梯度方向直方图特征包括如下步骤：
将单元区域内所有像素的梯度方向量化到8个方向，则直方图的横轴表示对应梯度方向为/>，… …，/>，梯度方向量化的公式为：
；
其中，表示行列下标，/>的取值范围为/>；
统计单元区域内的各个梯度方向上的像素的概率，并以梯度幅值进行加权：
；
其中，表示特征区域的行数和列数；单元区域的梯度方向直方图特征即为各个梯度方向上的概率/>；
根据块区域内的单元区域排列，按照从左到右、从上到下的顺序，将所有单元区域的梯度方向直方图特征连接一起，得到块区域的梯度方向直方图特征。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3任一项所述的基于HOG特征的表情识别方法的步骤。
6.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-3任一项所述的基于HOG特征的表情识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210073330.8A CN114463813B (zh) | 2022-01-21 | 2022-01-21 | 一种基于hog特征的表情识别方法、系统及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210073330.8A CN114463813B (zh) | 2022-01-21 | 2022-01-21 | 一种基于hog特征的表情识别方法、系统及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114463813A CN114463813A (zh) | 2022-05-10 |
| CN114463813B true CN114463813B (zh) | 2024-02-13 |
Family
ID=81412334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210073330.8A Active CN114463813B (zh) | 2022-01-21 | 2022-01-21 | 一种基于hog特征的表情识别方法、系统及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114463813B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886086A (zh) * | 2019-01-04 | 2019-06-14 | 南京邮电大学 | 基于hog特征和线性svm级联分类器的行人检测方法 |
| CN110008920A (zh) * | 2019-04-09 | 2019-07-12 | 南京工业大学 | 一种人脸表情识别方法研究 |
| CN110532869A (zh) * | 2019-07-23 | 2019-12-03 | 平安科技（深圳）有限公司 | 表情识别方法、装置及计算机可读存储介质 |
| CN112528777A (zh) * | 2020-11-27 | 2021-03-19 | 富盛科技股份有限公司 | 一种用于课堂环境下的学生面部表情识别方法及系统 |
| CN113239839A (zh) * | 2021-05-24 | 2021-08-10 | 电子科技大学成都学院 | 基于dca人脸特征融合的表情识别方法 |
-
2022
- 2022-01-21 CN CN202210073330.8A patent/CN114463813B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886086A (zh) * | 2019-01-04 | 2019-06-14 | 南京邮电大学 | 基于hog特征和线性svm级联分类器的行人检测方法 |
| CN110008920A (zh) * | 2019-04-09 | 2019-07-12 | 南京工业大学 | 一种人脸表情识别方法研究 |
| CN110532869A (zh) * | 2019-07-23 | 2019-12-03 | 平安科技（深圳）有限公司 | 表情识别方法、装置及计算机可读存储介质 |
| CN112528777A (zh) * | 2020-11-27 | 2021-03-19 | 富盛科技股份有限公司 | 一种用于课堂环境下的学生面部表情识别方法及系统 |
| CN113239839A (zh) * | 2021-05-24 | 2021-08-10 | 电子科技大学成都学院 | 基于dca人脸特征融合的表情识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114463813A (zh) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chacko et al. | Handwritten character recognition using wavelet energy and extreme learning machine | |
| Lucey et al. | Investigating spontaneous facial action recognition through aam representations of the face | |
| CN110659665B (zh) | 一种异维特征的模型构建方法及图像识别方法、装置 | |
| CN113657425B (zh) | 基于多尺度与跨模态注意力机制的多标签图像分类方法 | |
| Shrivastava et al. | Artificial neural network based optical character recognition | |
| CN111738355B (zh) | 注意力融合互信息的图像分类方法、装置及存储介质 | |
| CN110889865B (zh) | 一种基于局部加权稀疏特征选择的视频目标跟踪方法 | |
| KR101777601B1 (ko) | 초서체 또는 흘림체로 작성된 문자의 판별 방법 및 시스템 | |
| CN113033398B (zh) | 一种手势识别方法、装置、计算机设备及存储介质 | |
| CN114758288A (zh) | 一种配电网工程安全管控检测方法及装置 | |
| CN111460881A (zh) | 基于近邻判别的交通标志对抗样本检测方法和分类装置 | |
| CN111815582B (zh) | 改进背景先验和前景先验的二维码区域检测方法 | |
| Warrell et al. | Labelfaces: Parsing facial features by multiclass labeling with an epitome prior | |
| CN109002770B (zh) | 一种低分辨率条件下的人脸识别方法 | |
| CN107578005A (zh) | 一种复数小波变换域lbp人脸识别方法 | |
| Chen et al. | Active mask hierarchies for object detection | |
| CN114463813B (zh) | 一种基于hog特征的表情识别方法、系统及相关装置 | |
| JP2004178569A (ja) | データ分類装置、物体認識装置、データ分類方法及び物体認識方法 | |
| CN111275125A (zh) | 一种面向低秩图像特征分析的类别标签恢复方法 | |
| CN114627312B (zh) | 零样本图像分类方法、系统、设备及存储介质 | |
| CN105718858A (zh) | 一种基于正负广义最大池化的行人识别方法 | |
| CN105844299A (zh) | 一种基于词袋模型的图像分类方法 | |
| CN115810106A (zh) | 一种复杂环境下茶叶嫩梢品级精准识别方法 | |
| Turtinen et al. | Contextual analysis of textured scene images. | |
| CN114202659A (zh) | 基于空间对称化不规则局部区域特征提取的细粒度图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |