CN107742117A - 一种基于端到端模型的人脸表情识别方法 - Google Patents
一种基于端到端模型的人脸表情识别方法 Download PDFInfo
- Publication number
- CN107742117A CN107742117A CN201711132734.5A CN201711132734A CN107742117A CN 107742117 A CN107742117 A CN 107742117A CN 201711132734 A CN201711132734 A CN 201711132734A CN 107742117 A CN107742117 A CN 107742117A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mtd
- msubsup
- mtr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种基于端到端模型的人脸表情识别方法，该方法包括搜集人脸表情数据库或者基于现有表情数据库，将表情数据库分为训练集及测试集。改进ResNet网络结构，搭建网络模型。搭建好模型之后开始训练数据集，将训练集用于模型的训练，将测试集用于模型的测试。将生成的模型文件保存为HDF5格式，以便对后续步骤中的人脸表情图片进行分类识别。对采集的人脸图片进行裁剪；得到的灰度图像做人脸校准，通过仿射变化将侧脸图片校准为正脸图片；进行人脸校准的图片输入ResNet模型中进行图片特征提取及分类，完成整个人脸表情的识别。本发明大大提高了人脸表情对于侧脸、多姿态等难以识别的类别。通过缩小同类之间的差距，扩大异类之间的差距，改善了表情分类的结果。
Description
技术领域
本发明涉及计算机视觉领域，属情感识别领域，特别涉及一种基于端到端(end-to-end) 网络模型的人脸表情识别方法。
背景技术
目前，人脸表情识别已成为人机交互领域的一个研究热点，相关领域主要涉及到计算机 视觉、统计学、认知心理学、机器学习等。让计算机拥有像人类一样的情感，通过感知周围 环境、人类情感变化来实现与人交流。心理学家Mehrabiadu指出，面部表情在人类交流的过 程中传达了55％的有用信息，而语言所传达的有用信息仅占到7％。研究者们一直在不断的 提高计算机人脸表情识别率，实验数据库环境下的准确率已经有很大的提高，但是现实生活 中的表情与实验数据有很大区别，如照明条件不良、采集的图像像素过低、肤色、文化、年 龄差异、脸部遮挡物等，导致表情识别在工程实际应用中仍面临许多挑战。
很多传统人脸表情识别方法基本上都是先进行人脸图片预处理，然后人工提取特征，最 后对提取的特征进行分类，输出表情结果。这种方法提取的特征鲁棒性差，且不具备实时识 别人脸表情的特点，提取出的特征会导致分类结果不准确，最终难以达到工程实际应用的阈 值。
人脸表情自动识别起源Paul Ekman提出的基于面部运动单元的面部表情编码系统 (FACS)，该系统建立44个运动单元，形成不同的脸部肌肉与相应面部表情一一对应关系。 Shan等人采用局部二值模式(LBP)提取表情特征，运用支持向量机(SVM)、模板匹配、线性判别分析等算法进行特征分类，并比较三种算法的识别效果。Dahmane运用HOG(方向梯度直方图)提取特征，利用PCA(主成分分析法)进行降维，最后利用SVM分类六种基 本表情。Liu提出深度信念网络(DBN)训练模型，该网络共分为三个阶段，分别为特征学 习、特征选择、特征分类。该算法在CK、JAFFE数据库上都有不错识别率，但整个网络的 训练时间达到8天。以上表情识别算法大多是人工标记关键点提取脸部特征，导致一些非正 常条件下提取出来的表情特征达不到分类器标准，这在很大程度上会影响后续的特征分类结 果，最终影响到系统的表情识别。且以上方法实验数据集数量少，并且现实生活中的人脸是 一个非刚性体，表情识别受光照、肤色、年龄、有无遮挡物等影响，因此难以模拟现实生活 中的人脸表情识别，不具有代表性。且这些方法泛化能力差，往往在这个数据集表现良好， 在另一个识别率确不高。
发明内容
针对现有技术中存在的上述问题，本发明提供一种基于端到端模型的人脸表情方法，调 用Dlib/OpenCV库函数，读取视频流或者调用摄像头采集人脸图片，采用改进的深度残差网 络(deep residual networks，一下简称ResNet)，通过输入采集到的人脸图片，网络对整张人 脸图片进行卷积、池化、正则化等操作，继而得到人脸的特征维度，提取到的特征经过全连 接层，通过损失函数对特征进行分类。最后，将分类的结果输出，输出的表情结果分别为， 厌恶(disgust)，中性(neutral)，生气(angry)，害怕(fear)，伤心(sad)，惊讶(surprise)， 高兴(happy)等7种基本表情，从而实现人脸表情识别。整个特征提取过程都在ResNet网 络中进行，不需要人工进行特征提取，完全实现了端到端的策略。且提取的特征较人工提取 的特征鲁棒性更强，更具代表性，更能反映脸部特征。
基于端到端模型的人脸表情方法，是以卷积神经网络(CNN)为基础，充分的利用了卷 积神经网络的权值共享性以及局部连接性的特点。该方法能直接对输入的图片进行特征提取， 由于权值共享和局部连接性，整个模型网络参数量小，较传统人脸表情识别方法相比，该方 法提取的特征不仅更符合真正的表情特征，且计算量小，能达到实时识别人脸的效果，同时 通过大量数据集的训练，采用更接近自然表情的数据集，该方法得到的模型对侧脸、遮挡等 问题识别效果更佳。
本发明采用的技术方案为一种基于端到端模型的人脸表情识别方法，该方法包括如下步 骤，
步骤1，搜集人脸表情数据库或者基于现有表情数据库，将表情数据库分为训练集及测 试集，其比例为4:1。
步骤2，改进ResNet网络结构，搭建网络模型。
步骤2.1，对步骤1采集到的表情数据库中图片进行归一化处理，将图片归一化到96*96 像素大小。
步骤2.2，对归一化后的图片进行白化、翻转、旋转等操作。
步骤2.3，将数据集中预处理的图片输入至卷积层，首先确定滤波器大小，其过程表示为 公式(1)，如下所示：
这里的Mj表示神经元j对应的局部感受野，表示第l层的神经元i的第j个输入对应的权值，Bl表示第l层的偏置，表示l前一层的局部感受野中的一个特征，表示第l层的局部感受野中特征。
然后通过反向传播算法利用链式法则更新权值参数，链式法则定义为公式(2)：
其中x＝g(t)，y＝h(t)，z＝f(x，y)，g(t)和h(t)是可微函数。
步骤2.4，将步骤2.3中的输出作为下一层即BN(batch normalization)层的输入，BN层 的处理过程如下公式(3)-(6)所示：
xi代表输入的数据，μB代表均值，代表方差，代表对输入的数据进行标准化操作， γ，β代表训练的参数，通过线性变化求得原来的数值。
步骤2.5，将步骤2.4的输出作为下一层即池化层的输入，均值池化(mean-pooling)表 示为公式(7)：
其中β表示第l层的可训练参数，Mj表示神经元j对应的局部感受野，Bl表示第l层的偏置，表示l前一层的局部感受野的一个特征，表示第l层的局部感受野特征。
步骤2.6，将步骤2.5的输出作为下一层及激活层的输入，网络模型采用的激活函数为 PReLu，其公式如(8)所示：
其中a为负轴部分斜率控制系数
步骤2.7，重复步骤2.3-步骤2.6，得到两个一样的层结构，并将得到的层结构输入与输 出连接起来，得到残差块网络，重复构造八个这样的层结构。
步骤2.8，将步骤2.7的输出作为下一层及池化层的输入；
步骤2.9，将步骤2.8中的输出作为下一层及全连接层的输入，得到1000维度的特征向 量，如式(9)所示：
X＝[X1,X2,X3,...,X1000] (9)
X代表人脸表情图像的特征。
步骤2.10，将步骤2.9中的输出进行triplet loss处理，triplet loss表达式如(10)所示：
这里的代表样本的特征表达，代表与样本同类的特征表达，代表与样 本不同类的特征表达，α代表样本与同类之间的距离和样本与异类之间的最小间隔。
为提高学习稳定性，在triplet loss前还加入一层Softmax处理，Softmax公式(11)为：
Si表示第i个元素的Softmax值，Vi，Vj分别表示第i个，第j个的元素，i和j分别为元素序号数；
步骤3，搭建好模型之后开始训练数据集，将训练集用于模型的训练，将测试集用于模 型的测试。
步骤4，将生成的模型文件保存为HDF5格式，以便对后续步骤中的人脸表情图片进行 分类识别。
步骤5，利用Dlib/OpenCV调用摄像头，每隔3帧采集人脸图片，对采集的人脸图片进 行裁剪，并归一化到96*96像素大小。
步骤6，将步骤5得到的人脸图片由RGB格式转为Gray格式，以降低计算量，采用的公式(12)如下：
Gray＝R*0.299+G*0.587+B*0.114 (12)
式中，Gray代表灰度值，R代表RGB中的红色通道，G代表绿色通道，B代表蓝色通道。
步骤7，对步骤6得到的灰度图像做人脸校准，通过仿射变化将侧脸图片校准为正脸图 片，仿射变换公式(13)如下：
公式(13)为点(x，y)映射到(x',y')；m为矩阵，是线性变换和平移的组合，m11，m12， m21，m22为线性变化参数，m13，m23为平移参数
步骤8，将步骤7进行人脸校准的图片输入步骤4中的ResNet模型中进行图片特征提取 及分类，最终得到结果。
步骤9，将步骤8的结果显示到屏幕上，完成整个人脸表情的识别。
与现有技术相比，本发明的有益效果：
本发明提出的一种基于端到端模型的人脸表情识别方法直接对图片进行操作处理，与传 统表情识别方法相比具有以下实质性特点和显著进步：
(1)本发明提出的一种基于端到端模型的人脸表情识别方法与传统表情识别方法相 比，不需要进行人工特征提取，从而避免了特征提取不准确的问题，提高了特征提取的鲁棒 性，增加了分类的准确度。
(2)本发明通过仿射变化对人脸进行校准，大大提高了人脸表情对于侧脸、多姿态等 难以识别的类别。
(3)本发明加入triplet loss结构，通过缩小同类之间的差距，扩大异类之间的差距， 改善了表情分类的结果。
附图说明
图1是端到端模型结构图；
图2是部分表情运用数据增强手段处理图；
图3是改进的ResNet网络块结构图；
图4是PReLU函数图；
图5是Triplet Loss原理图；
图6是整个表情识别流程图；
具体实施方式
本发明是采用以下技术手段实现的：
一种基于端到端模型的人脸表情识别方法。首先，确定用于模型训练的数据集，并且改 进ResNet网络结构，搭建好网络模型，训练好模型后保存模型模型文件；然后调用摄像头采 集人脸表情图片，并且将采集的人脸表情图片转换为灰度图片；其次对采集的人脸表情图片 进行校准，并将校准后的图片输入到模型中进行人脸表情识别，得到厌恶(disgust)，中性 (neutral)，生气(angry)，害怕(fear)，伤心(sad)，惊讶(surprise)，高兴(happy)等7 种基本表情；最后将得到的分类结果显示出来。
上述基于端到端模型的人脸表情识别方法，包括下述步骤：
步骤1，搜集人脸表情数据库或者基于现有表情数据库，将数据集分为训练集及测试集， 其比例为4:1。
步骤2，改进ResNet网络结构，搭建网络模型。整个网络模型如图1所示。改进的ResNet 网络结构如图3所示，相对于原始ResNet网络结构，加入了PReLu激活函数，并且将PRelu 和BN(Batch Normalization)置于权重层之前，去掉残差块后的激活层，与原始结构相比， PReLu比ReLu收敛速度更快，且激活函数前使用BN能够提高模型的正则化，一定程度上阻 止了过拟合现象的发生。同时为了提高表情的分类能力，在ResNet后加了TripletLoss。
步骤2.1，对步骤1采集的图片进行归一化处理，将图片归一化到96*96像素大小。
步骤2.2，为增强数据，提高模型的泛化能力，对归一化后的图片进行白化、翻转、旋转 等操作，如图2所示。
步骤2.3，将数据集中预处理的图片输入至卷积层，首先确定滤波器大小，其过程可表示 为公式(1)，如下所示：
这里的Mj表示神经元j对应的局部感受野，表示第l层的神经元i的第j个输入对应的权值，Bl表示第l层的偏置，表示l前一层的局部感受野中的一个特征，表示第l层的局部感受野中特征。
然后通过反向传播算法利用链式法则更新权值参数，链式法则定义为(2)：
其中x＝g(t)，y＝h(t)，z＝f(x，y)，g(t)和h(t)是可微函数。
步骤2.4，将步骤2.3中的输出作为下一层即BN(batch normalization)层的输入，BN的 提出是为了克服深度神经网络难以训练的弊病，对数据进行标准化处理，这样能防止梯度弥 散或者梯度爆炸的现象发生，同时能加速网络收敛的速度。BN层的处理过程如下(3)-(6) 所示：
xi代表输入的数据，μB代表均值，代表方差，代表对数据进行标准化操作，γ，β 代表训练的参数，通过线性变化求得原来的数值。
步骤2.5，将步骤2.4的输出作为下一层即池化层的输入，对输入的特征图进行压缩，一 方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征。这样能起 到一定的降维作用。有均值池化，最大池化等，其中均值池化(mean-pooling)表示为公式(7)：
其中β表示第l层的可训练参数，Mj表示神经元j对应的局部感受野，Bl表示第l层的偏置，表示l前一层的局部感受野的一个特征，表示第l层的局部感受野特征。
步骤2.6，将步骤2.5的输出作为下一层及激活层的输入，加入激活函数的目的是为了加 强模型对于非线性问题的分类能力，本网络采用的激活函数为PReLu，其图像如图4所示， 其公式如(8)所示：
其中a为负轴部分斜率控制系数
步骤2.7，重复步骤2.3-2.6，得到两个一样的层结构，并将该结构的输入与输出连接起来， 得到残差块网络，重复构造8个这样的层结构。
步骤2.8，将步骤2.7的输出作为下一层及池化层的输入
步骤2.9，将步骤2.8中的输出作为下一层及全连接层的输入，得到1000维度的特征向 量，这些特征排列成向量形式如(9)所示：
X＝[X1,X2,X3,...,X1000] (9)
X代表人脸表情图像的特征。
步骤2.10，将步骤2.9中的输出进行triplet loss处理，其基本思想是通过不断的学习，让 同类间的特征向量距离尽可能小，异类间的距离尽可能大，其原理图如图5所示，triplet loss 表达式如(10)所示：
这里的代表样本的特征表达，代表与样本同类的特征表达，代表与样 本不同类的特征表达，α代表样本与同类之间的距离和样本与异类之间的最小间隔。
为提高学习稳定性，在triplet loss前还加入一层Softmax处理，Softmax公式(11)为：
Si表示第i个元素的softmax值，Vi，Vj分别表示第i个，第j个的元素；
步骤3，搭建好模型之后开始训练数据集，将训练集用于模型的训练，将测试集用于模 型的测试，以验证模型性能。
步骤4，将生成的模型文件保存为HDF5格式，以便对后续步骤中的人脸表情图片进行 分类识别。
步骤5，利用Dlib/OpenCV调用摄像头，每隔3帧采集人脸图片，对采集的人脸图片进 行裁剪，为适应模型，将图片归一化到96*96像素大小。
步骤6，将步骤5得到的人脸图片由RGB格式转为Gray格式，以降低计算量，采用的公式(12)如下：
Gray＝R*0.299+G*0.587+B*0.114 (12)
这里的Gray代表灰度值，R代表RGB中的红色通道，G代表绿色通道，B代表蓝色通道。
步骤7，对步骤6得到的灰度图像做人脸校准，本发明采用的是仿射变化对人脸进行校 准，通过仿射变化将侧脸图片校准为正脸图片，仿射变换公式(13)如下：
公式(13)为点(x，y)映射到(x',y')，公式中的m矩阵，是线性变换和平移的组合，m11， m12，m21，m22为线性变化参数，m13，m23为平移参数
步骤8，将上述进行人脸校准的图片输入步骤4中的ResNet模型中进行图片特征提取及 分类，得到厌恶(disgust)，中性(neutral)，生气(angry)，害怕(fear)，伤心(sad)，惊讶 (surprise)，高兴(happy)等7种基本表情。
步骤9，将步骤8的结果显示到屏幕上，这样完成了整个人脸表情的识别，整个过程如 图6所示。
Claims (1)
1.一种基于端到端模型的人脸表情识别方法，其特征在于：该方法包括如下步骤，
步骤1，搜集人脸表情数据库或者基于现有表情数据库，将表情数据库分为训练集及测试集，其比例为4:1；
步骤2，改进ResNet网络结构，搭建网络模型；
步骤2.1，对步骤1采集到的表情数据库中图片进行归一化处理，将图片归一化到96*96像素大小；
步骤2.2，对归一化后的图片进行白化、翻转、旋转操作；
步骤2.3，将数据集中预处理的图片输入至卷积层，首先确定滤波器大小，其过程表示为公式(1)，如下所示：
<mrow>
<msubsup>
<mi>x</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<msub>
<mi>M</mi>
<mi>j</mi>
</msub>
</mrow>
</munder>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mrow>
<mi>l</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>*</mo>
<msubsup>
<mi>kernel</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mo>+</mo>
<msup>
<mi>B</mi>
<mi>l</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
这里的Mj表示神经元j对应的局部感受野，表示第l层的神经元i的第j个输入对应的权值，Bl表示第l层的偏置，表示l前一层的局部感受野中的一个特征，表示第l层的局部感受野中特征；
然后通过反向传播算法利用链式法则更新权值参数，链式法则定义为公式(2)：
<mrow>
<mfrac>
<mrow>
<mi>d</mi>
<mi>z</mi>
</mrow>
<mrow>
<mi>d</mi>
<mi>t</mi>
</mrow>
</mfrac>
<mo>=</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>z</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mfrac>
<mrow>
<mi>d</mi>
<mi>x</mi>
</mrow>
<mrow>
<mi>d</mi>
<mi>t</mi>
</mrow>
</mfrac>
<mo>+</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>z</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
<mfrac>
<mrow>
<mi>d</mi>
<mi>y</mi>
</mrow>
<mrow>
<mi>d</mi>
<mi>t</mi>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中x＝g(t)，y＝h(t)，z＝f(x，y)，g(t)和h(t)是可微函数；
步骤2.4，将步骤2.3中的输出作为下一层即BN(batch normalization)层的输入，BN层的处理过程如下公式(3)-(6)所示：
<mrow>
<msub>
<mi>&mu;</mi>
<mi>B</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>m</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>&sigma;</mi>
<mi>B</mi>
<mn>2</mn>
</msubsup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>m</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>B</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>B</mi>
</msub>
</mrow>
<msqrt>
<mrow>
<msubsup>
<mi>&sigma;</mi>
<mi>B</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&epsiv;</mi>
</mrow>
</msqrt>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mi>&gamma;</mi>
<msub>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
<mo>+</mo>
<mi>&beta;</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
xi代表输入的数据，μB代表均值，代表方差，代表对输入的数据进行标准化操作，γ，β代表训练的参数，通过线性变化求得原来的数值；
步骤2.5，将步骤2.4的输出作为下一层即池化层的输入，均值池化(mean-pooling)表示为公式(7)：
<mrow>
<msubsup>
<mi>x</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>&beta;</mi>
<mi>l</mi>
</msup>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<msub>
<mi>M</mi>
<mi>j</mi>
</msub>
</mrow>
</munder>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mrow>
<mi>l</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<msup>
<mi>B</mi>
<mi>l</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中β表示第l层的可训练参数，Mj表示神经元j对应的局部感受野，Bl表示第l层的偏置，表示l前一层的局部感受野的一个特征，表示第l层的局部感受野特征；
步骤2.6，将步骤2.5的输出作为下一层及激活层的输入，网络模型采用的激活函数为PReLu，其公式如(8)所示：
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>></mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>ax</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>&le;</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中a为负轴部分斜率控制系数
步骤2.7，重复步骤2.3-步骤2.6，得到两个一样的层结构，并将得到的层结构输入与输出连接起来，得到残差块网络，重复构造八个这样的层结构；
步骤2.8，将步骤2.7的输出作为下一层及池化层的输入；
步骤2.9，将步骤2.8中的输出作为下一层及全连接层的输入，得到1000维度的特征向量，如式(9)所示：
X＝[X1,X2,X3,...,X1000] (9)
X代表人脸表情图像的特征；
步骤2.10，将步骤2.9中的输出进行triplet loss处理，triplet loss表达式如(10)所示：
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mi>a</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mi>p</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&alpha;</mi>
<mo><</mo>
<mo>|</mo>
<mo>|</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mi>a</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mi>n</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
这里的代表样本的特征表达，代表与样本同类的特征表达，代表与样本不同类的特征表达，α代表样本与同类之间的距离和样本与异类之间的最小间隔；
为提高学习稳定性，在triplet loss前还加入一层Softmax处理，Softmax公式(11)为：
<mrow>
<msub>
<mi>S</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<msup>
<mi>e</mi>
<msub>
<mi>V</mi>
<mi>i</mi>
</msub>
</msup>
<mrow>
<msub>
<mo>&Sigma;</mo>
<mi>j</mi>
</msub>
<msup>
<mi>e</mi>
<mrow>
<mi>V</mi>
<mi>j</mi>
</mrow>
</msup>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
Si表示第i个元素的Softmax值，Vi，Vj分别表示第i个，第j个的元素，i和j分别为元素序号数；
步骤3，搭建好模型之后开始训练数据集，将训练集用于模型的训练，将测试集用于模型的测试；
步骤4，将生成的模型文件保存为HDF5格式，以便对后续步骤中的人脸表情图片进行分类识别；
步骤5，利用Dlib/OpenCV调用摄像头，每隔3帧采集人脸图片，对采集的人脸图片进行裁剪，并归一化到96*96像素大小；
步骤6，将步骤5得到的人脸图片由RGB格式转为Gray格式，以降低计算量，采用的公式(12)如下：
Gray＝R*0.299+G*0.587+B*0.114 (12)
式中，Gray代表灰度值，R代表RGB中的红色通道，G代表绿色通道，B代表蓝色通道；
步骤7，对步骤6得到的灰度图像做人脸校准，通过仿射变化将侧脸图片校准为正脸图片，仿射变换公式(13)如下：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>m</mi>
<mn>11</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>m</mi>
<mn>12</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>m</mi>
<mn>13</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>m</mi>
<mn>21</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>m</mi>
<mn>22</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>m</mi>
<mn>23</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>x</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>13</mn>
<mo>)</mo>
</mrow>
</mrow>
公式(13)为点(x，y)映射到(x',y')；m为矩阵，是线性变换和平移的组合，m11，m12，m21，m22为线性变化参数，m13，m23为平移参数
步骤8，将步骤7进行人脸校准的图片输入步骤4中的ResNet模型中进行图片特征提取及分类，最终得到结果；
步骤9，将步骤8的结果显示到屏幕上，完成整个人脸表情的识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711132734.5A CN107742117A (zh) | 2017-11-15 | 2017-11-15 | 一种基于端到端模型的人脸表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711132734.5A CN107742117A (zh) | 2017-11-15 | 2017-11-15 | 一种基于端到端模型的人脸表情识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107742117A true CN107742117A (zh) | 2018-02-27 |
Family
ID=61234759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711132734.5A Pending CN107742117A (zh) | 2017-11-15 | 2017-11-15 | 一种基于端到端模型的人脸表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107742117A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446609A (zh) * | 2018-03-02 | 2018-08-24 | 南京邮电大学 | 一种基于生成对抗网络的多角度面部表情识别方法 |
| CN108509959A (zh) * | 2018-04-13 | 2018-09-07 | 广州优视网络科技有限公司 | 色情应用识别方法、装置、计算机可读存储介质和服务器 |
| CN109002766A (zh) * | 2018-06-22 | 2018-12-14 | 北京邮电大学 | 一种表情识别方法及装置 |
| CN109033994A (zh) * | 2018-07-03 | 2018-12-18 | 辽宁工程技术大学 | 一种基于卷积神经网络的人脸表情识别方法 |
| CN109034079A (zh) * | 2018-08-01 | 2018-12-18 | 中国科学院合肥物质科学研究院 | 一种用于人脸非标准姿态下的面部表情识别方法 |
| CN109493104A (zh) * | 2018-09-12 | 2019-03-19 | 广州市玄武无线科技股份有限公司 | 一种智能拜访的方法及系统 |
| CN109753922A (zh) * | 2018-12-29 | 2019-05-14 | 北京建筑大学 | 基于稠密卷积神经网络的仿人机器人表情识别方法 |
| CN109829409A (zh) * | 2019-01-23 | 2019-05-31 | 深兰科技（上海）有限公司 | 驾驶员情绪状态检测方法及系统 |
| CN110837777A (zh) * | 2019-10-10 | 2020-02-25 | 天津大学 | 基于改进VGG-Net的部分遮挡的人脸表情识别方法 |
| CN111081375A (zh) * | 2019-12-27 | 2020-04-28 | 北京深测科技有限公司 | 健康监测的预警方法及系统 |
| CN111428591A (zh) * | 2020-03-11 | 2020-07-17 | 天津华来科技有限公司 | Ai人脸图像处理的方法、装置、设备和存储介质 |
| CN111832499A (zh) * | 2020-07-17 | 2020-10-27 | 东华理工大学 | 一种简易人脸识别分类系统 |
| CN111914612A (zh) * | 2020-05-21 | 2020-11-10 | 淮阴工学院 | 一种基于改进的卷积神经网络的施工图图元自适应识别方法 |
| CN112101293A (zh) * | 2020-09-27 | 2020-12-18 | 深圳市灼华网络科技有限公司 | 人脸表情的识别方法、装置、设备及存储介质 |
| CN110321872B (zh) * | 2019-07-11 | 2021-03-16 | 京东方科技集团股份有限公司 | 人脸表情识别方法及装置、计算机设备、可读存储介质 |
| CN112580458A (zh) * | 2020-12-10 | 2021-03-30 | 中国地质大学（武汉） | 人脸表情识别方法、装置、设备及存储介质 |
| CN112651301A (zh) * | 2020-12-08 | 2021-04-13 | 浙江工业大学 | 一种整合人脸全局和局部特征的表情识别方法 |
| CN113011253A (zh) * | 2021-02-05 | 2021-06-22 | 中国地质大学（武汉） | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103488974A (zh) * | 2013-09-13 | 2014-01-01 | 南京华图信息技术有限公司 | 基于模拟生物视觉神经网络的人脸表情识别方法及系统 |
| CN103793718A (zh) * | 2013-12-11 | 2014-05-14 | 台州学院 | 一种基于深度学习的人脸表情识别方法 |
| CN105678235A (zh) * | 2015-12-30 | 2016-06-15 | 北京工业大学 | 基于典型区域多维度特征的三维人脸表情识别方法 |
| US9430697B1 (en) * | 2015-07-03 | 2016-08-30 | TCL Research America Inc. | Method and system for face recognition using deep collaborative representation-based classification |
| CN106650621A (zh) * | 2016-11-18 | 2017-05-10 | 广东技术师范学院 | 一种基于深度学习的情绪识别方法及系统 |
| CN106650699A (zh) * | 2016-12-30 | 2017-05-10 | 中国科学院深圳先进技术研究院 | 一种基于卷积神经网络的人脸检测方法及装置 |
| CN106682616A (zh) * | 2016-12-28 | 2017-05-17 | 南京邮电大学 | 基于双通道特征深度学习的新生儿疼痛表情识别方法 |
| CN107045618A (zh) * | 2016-02-05 | 2017-08-15 | 北京陌上花科技有限公司 | 一种人脸表情识别方法及装置 |
| CN107133578A (zh) * | 2017-04-19 | 2017-09-05 | 华南理工大学 | 一种基于文件传输的人脸表情识别方法及系统 |
| CN107180225A (zh) * | 2017-04-19 | 2017-09-19 | 华南理工大学 | 一种针对卡通人物面部表情的识别方法 |
| WO2017164478A1 (ko) * | 2016-03-25 | 2017-09-28 | 한국과학기술원 | 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치 |
| CN107316015A (zh) * | 2017-06-19 | 2017-11-03 | 南京邮电大学 | 一种基于深度时空特征的高精度面部表情识别方法 |
-
2017
- 2017-11-15 CN CN201711132734.5A patent/CN107742117A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103488974A (zh) * | 2013-09-13 | 2014-01-01 | 南京华图信息技术有限公司 | 基于模拟生物视觉神经网络的人脸表情识别方法及系统 |
| CN103793718A (zh) * | 2013-12-11 | 2014-05-14 | 台州学院 | 一种基于深度学习的人脸表情识别方法 |
| US9430697B1 (en) * | 2015-07-03 | 2016-08-30 | TCL Research America Inc. | Method and system for face recognition using deep collaborative representation-based classification |
| CN105678235A (zh) * | 2015-12-30 | 2016-06-15 | 北京工业大学 | 基于典型区域多维度特征的三维人脸表情识别方法 |
| CN107045618A (zh) * | 2016-02-05 | 2017-08-15 | 北京陌上花科技有限公司 | 一种人脸表情识别方法及装置 |
| WO2017164478A1 (ko) * | 2016-03-25 | 2017-09-28 | 한국과학기술원 | 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치 |
| CN106650621A (zh) * | 2016-11-18 | 2017-05-10 | 广东技术师范学院 | 一种基于深度学习的情绪识别方法及系统 |
| CN106682616A (zh) * | 2016-12-28 | 2017-05-17 | 南京邮电大学 | 基于双通道特征深度学习的新生儿疼痛表情识别方法 |
| CN106650699A (zh) * | 2016-12-30 | 2017-05-10 | 中国科学院深圳先进技术研究院 | 一种基于卷积神经网络的人脸检测方法及装置 |
| CN107133578A (zh) * | 2017-04-19 | 2017-09-05 | 华南理工大学 | 一种基于文件传输的人脸表情识别方法及系统 |
| CN107180225A (zh) * | 2017-04-19 | 2017-09-19 | 华南理工大学 | 一种针对卡通人物面部表情的识别方法 |
| CN107316015A (zh) * | 2017-06-19 | 2017-11-03 | 南京邮电大学 | 一种基于深度时空特征的高精度面部表情识别方法 |
Non-Patent Citations (8)
| Title |
|---|
| JIERU WANG等: "Facial Expression Recognition with Multi-scale Convolution Neural Network", 《PACIFIC RIM CONFERENCE ON MULTIMEDIA PCM2016》 * |
| KAIMING HE等: "Identity Mappings in Deep Residual Networks", 《EUROPEAN CONFERENCE ON COMPUTER VISION ECCV2016》 * |
| SHAOHUI MEI等: "Learning Sensor-Specific Spatial-Spectral Features of Hyperspectral Images via Convolutional Neural Networks", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 * |
| 王信等: "基于深度学习与传统机器学习的人脸表情识别综述", 《应用科技》 * |
| 王昆翔等: "《智能理论与警用智能技术》", 31 May 2009, 北京：中国人民公安大学出版社 * |
| 胡尊涛: "基于局部特征和Adaboost的人脸表情识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 赵思成: "人脸表情识别及其在视频分类与推荐中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 马丽: "基于社会服务机器人的脸部共性信息识别系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446609A (zh) * | 2018-03-02 | 2018-08-24 | 南京邮电大学 | 一种基于生成对抗网络的多角度面部表情识别方法 |
| CN108509959A (zh) * | 2018-04-13 | 2018-09-07 | 广州优视网络科技有限公司 | 色情应用识别方法、装置、计算机可读存储介质和服务器 |
| CN109002766B (zh) * | 2018-06-22 | 2021-07-09 | 北京邮电大学 | 一种表情识别方法及装置 |
| CN109002766A (zh) * | 2018-06-22 | 2018-12-14 | 北京邮电大学 | 一种表情识别方法及装置 |
| CN109033994A (zh) * | 2018-07-03 | 2018-12-18 | 辽宁工程技术大学 | 一种基于卷积神经网络的人脸表情识别方法 |
| CN109033994B (zh) * | 2018-07-03 | 2021-08-10 | 辽宁工程技术大学 | 一种基于卷积神经网络的人脸表情识别方法 |
| CN109034079A (zh) * | 2018-08-01 | 2018-12-18 | 中国科学院合肥物质科学研究院 | 一种用于人脸非标准姿态下的面部表情识别方法 |
| CN109034079B (zh) * | 2018-08-01 | 2022-03-11 | 中国科学院合肥物质科学研究院 | 一种用于人脸非标准姿态下的面部表情识别方法 |
| CN109493104A (zh) * | 2018-09-12 | 2019-03-19 | 广州市玄武无线科技股份有限公司 | 一种智能拜访的方法及系统 |
| CN109753922A (zh) * | 2018-12-29 | 2019-05-14 | 北京建筑大学 | 基于稠密卷积神经网络的仿人机器人表情识别方法 |
| CN109829409A (zh) * | 2019-01-23 | 2019-05-31 | 深兰科技（上海）有限公司 | 驾驶员情绪状态检测方法及系统 |
| CN110321872B (zh) * | 2019-07-11 | 2021-03-16 | 京东方科技集团股份有限公司 | 人脸表情识别方法及装置、计算机设备、可读存储介质 |
| US11281895B2 (en) | 2019-07-11 | 2022-03-22 | Boe Technology Group Co., Ltd. | Expression recognition method, computer device, and computer-readable storage medium |
| CN110837777A (zh) * | 2019-10-10 | 2020-02-25 | 天津大学 | 基于改进VGG-Net的部分遮挡的人脸表情识别方法 |
| CN111081375B (zh) * | 2019-12-27 | 2023-04-18 | 北京深测科技有限公司 | 健康监测的预警方法及系统 |
| CN111081375A (zh) * | 2019-12-27 | 2020-04-28 | 北京深测科技有限公司 | 健康监测的预警方法及系统 |
| CN111428591A (zh) * | 2020-03-11 | 2020-07-17 | 天津华来科技有限公司 | Ai人脸图像处理的方法、装置、设备和存储介质 |
| CN111914612A (zh) * | 2020-05-21 | 2020-11-10 | 淮阴工学院 | 一种基于改进的卷积神经网络的施工图图元自适应识别方法 |
| CN111914612B (zh) * | 2020-05-21 | 2024-03-01 | 淮阴工学院 | 一种基于改进的卷积神经网络的施工图图元自适应识别方法 |
| CN111832499A (zh) * | 2020-07-17 | 2020-10-27 | 东华理工大学 | 一种简易人脸识别分类系统 |
| CN112101293A (zh) * | 2020-09-27 | 2020-12-18 | 深圳市灼华网络科技有限公司 | 人脸表情的识别方法、装置、设备及存储介质 |
| CN112651301A (zh) * | 2020-12-08 | 2021-04-13 | 浙江工业大学 | 一种整合人脸全局和局部特征的表情识别方法 |
| CN112580458A (zh) * | 2020-12-10 | 2021-03-30 | 中国地质大学（武汉） | 人脸表情识别方法、装置、设备及存储介质 |
| CN113011253A (zh) * | 2021-02-05 | 2021-06-22 | 中国地质大学（武汉） | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 |
| CN113011253B (zh) * | 2021-02-05 | 2023-04-21 | 中国地质大学（武汉） | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107742117A (zh) | 一种基于端到端模型的人脸表情识别方法 | |
| WO2022252272A1 (zh) | 一种基于迁移学习的改进vgg16网络猪的身份识别方法 | |
| CN110399821B (zh) | 基于人脸表情识别的顾客满意度获取方法 | |
| CN110020682A (zh) | 一种基于小样本学习的注意力机制关系对比网络模型方法 | |
| CN109359681A (zh) | 一种基于改进全卷积神经网络的大田作物病虫害识别方法 | |
| CN107808132A (zh) | 一种融合主题模型的场景图像分类方法 | |
| CN110046575A (zh) | 基于改进残差网络的遥感图像场景分类方法 | |
| CN108629338A (zh) | 一种基于lbp和卷积神经网络的人脸美丽预测方法 | |
| CN107609638A (zh) | 一种基于线性解码器和插值采样优化卷积神经网络的方法 | |
| CN107563389A (zh) | 一种基于深度学习的农作物病害识别方法 | |
| CN107862692A (zh) | 一种基于卷积神经网络的织带断痕缺陷检测方法 | |
| CN104077612B (zh) | 一种基于多特征稀疏表示技术的害虫图像识别方法 | |
| CN109033994A (zh) | 一种基于卷积神经网络的人脸表情识别方法 | |
| CN112052772A (zh) | 一种人脸遮挡检测算法 | |
| CN110991349B (zh) | 一种基于度量学习的轻量级车辆属性识别方法 | |
| CN104636755A (zh) | 一种基于深度学习的人脸美丽评价方法 | |
| CN106650667A (zh) | 一种基于支持向量机的行人检测方法及系统 | |
| CN114898472B (zh) | 基于孪生视觉Transformer网络的签名鉴定方法和系统 | |
| Xu et al. | Face expression recognition based on convolutional neural network | |
| CN112597873A (zh) | 一种基于深度学习的双通道人脸表情识别方法 | |
| Borgalli et al. | Deep learning for facial emotion recognition using custom CNN architecture | |
| CN112651301A (zh) | 一种整合人脸全局和局部特征的表情识别方法 | |
| CN111563542A (zh) | 一种基于卷积神经网络的植物自动分类方法 | |
| CN111160327B (zh) | 一种基于轻量化卷积神经网络的表情识别方法 | |
| CN113011436A (zh) | 一种基于卷积神经网络的中医舌色苔色协同分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180227 |
|
| RJ01 | Rejection of invention patent application after publication |