CN109033994A - 一种基于卷积神经网络的人脸表情识别方法 - Google Patents

一种基于卷积神经网络的人脸表情识别方法 Download PDF

Info

Publication number
CN109033994A
CN109033994A CN201810717584.2A CN201810717584A CN109033994A CN 109033994 A CN109033994 A CN 109033994A CN 201810717584 A CN201810717584 A CN 201810717584A CN 109033994 A CN109033994 A CN 109033994A
Authority
CN
China
Prior art keywords
layer
indicate
sub
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810717584.2A
Other languages
English (en)
Other versions
CN109033994B (zh
Inventor
姜彦吉
葛少成
郭羽含
王光
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Technical University
Original Assignee
Liaoning Technical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Technical University filed Critical Liaoning Technical University
Priority to CN201810717584.2A priority Critical patent/CN109033994B/zh
Publication of CN109033994A publication Critical patent/CN109033994A/zh
Application granted granted Critical
Publication of CN109033994B publication Critical patent/CN109033994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Abstract

本发明提供一种基于卷积神经网络的人脸表情识别方法，涉及人脸表情识别技术领域。该方法首先采集人脸表情图片，下载FER‑2013人脸库与CK+人脸库，将图像分为训练集与测试集，然后对采集的图像进行预处理，得到96*96大小的灰度图像，建立卷积神经网络模型，并利用训练集进行训练，计算训练的实际输出结果与标签值之间的误差，通过反向传播算法自顶向下传递差值，并利用权值更新公式更新权值，训练完后，保存训练完成的网络模型，输入测试集的图像到训练模型中，计算识别率。本发明中，对人脸表情识别方法进行改进，模型的收敛速度提高，识别效率提高，改变了该卷积神经网络的准确率，在一定程度上提高了人脸表情识别效率。

Description

一种基于卷积神经网络的人脸表情识别方法
技术领域
本发明涉及人脸表情识别技术领域，尤其涉及一种基于卷积神经网络的人脸表情识别方法。
背景技术
人脸表情是可以传递情感的一种有效的方式。表情中包含许多关于情感的有效信息；表情识别作为一种可以自动鉴别人脸的技术，对于单张人脸图像，识别效率较高；由于不同人的表情存在一定的差异性，导致识别率降低。表情识别过程是通过特征点提取来减小存在的差异性。然而，由于提取到的特征点存在定位不准、有效的特征点较少，造成人脸表情识别效率较低，以及该过程较为复杂等缺点。人脸表情识别可应用于医疗、教育、交通等诸多领域；因此，实现人脸表情识别方法是一个重要的研究领域。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于卷积神经网络的人脸表情识别方法，对人脸表情识别方法进行改进，在一定程度上提高了人脸表情识别效率。
为解决上述技术问题，本发明所采取的技术方案是：一种基于卷积神经网络的人脸表情识别方法，包括以下步骤：
步骤1、通过数码相机、手机或监控设备对人脸表情图片进行采集，利用互联网下载FER-2013人脸库与CK+人脸库，获得数量级较大的关于人脸的图像，并将图像分为训练集与测试集两部分；
步骤2、对采集的图像进行预处理，将采集到的图像统一裁剪为96*96像素大小，并将人脸位于该图的中心位置，利用matlab软件将人脸库中的彩色图像灰度化处理，得到96*96大小的灰度图像；
步骤3、建立卷积神经网络模型，该模型包括依序连接的两个卷积层、一个子采样层、一个卷积层、一个子采样层、一个全连接层和一个Softmax分类层，各层分别如下：
(1)卷积层C1，卷积核大小为5*5，步长为1，卷积核个数为32，无填充；
(2)卷积层C2，卷积核大小为5*5，步长为1，卷积核个数为64，无填充；
(3)子采样层S1，子采样窗口大小为2*2，步长为1，无填充；
(4)卷积层C3，卷积核大小为5*5，步长为1，卷积核个数为128，无填充；
(5)子采样层S2，子采样窗口为2*2，步长为1，无填充；
(6)全连接层，包含300个神经元，将子采样层S2的输出特征图转化为一维向量；
(7)Softmax分类层，与全连接层中的神经元进行全连接，得到7个预测值；
具体的建立过程如下：
步骤3.1、将训练集中的图像输入该模型中的卷积层，遍历图像中的子图像像素值，卷积层第l层的j个特征图输出函数如下：
其中，l表示第l层，即为当前层，l-1即表示前一层；表示第l层的排列顺序为j的特征图；wi，j表示当前层与前一层特征图的卷积核；表示当前层的排列顺序为j的特征图的偏置；表示前一层第j个特征图；θ()为激励函数；M表示当前层特征图个数；表示第j个特征图连接前一层特征图的数量；
步骤3.2、利用子采样层，降低C2卷积层的维数，具体采用最大池化方法对卷积层C2的特征图进行子采样，只改变特征图的大小，不改变特征图的数量，最大池化的子采样方法如下：
其中，Rh表示第h个子采样区域，h取值为1～4，ah表示在区域Rh范围内的像素值，Sh为第h个子采样区域最大值，最大子采样法是挑选概率值ah中最大的值作为最终的子采样结果；最后，获得到S2层输出的128个输出特征图；
步骤3.3、根据步骤3.2获得的128个输出特征图，将这128个输出特征图转化为一个特征向量，作为全连接层的输入向量，输出结果为一个特征向量，全连接层的输入公式如下：
Hw，b(x)＝δ(WTx+b)
其中，Hw，b(x)表示全连接层的输出，x表示全连接层输入的一个特征向量，W为全连接层的权值向量；b表示偏置向量，δ()表示全连接层的激励函数，如下：
其中，α取0.005；
步骤3.4、Softmax分类层采用7个神经元，对全连接层的神经元进行全连接，将全连接层输出的特征向量输入到Softmax分类层中，得到7个预测值，成为分类结果，即可判断7种可识别的人脸表情；
步骤4、利用加权Fisher准则函数作为代价函数计算训练的实际输出结果与标签值之间的误差，通过反向传播算法自顶向下传递差值，并利用权值更新公式更新权值；权值更新公式如下：
J＝J(W，b)-pJB+qJw
其中，J代表改进后的代价函数；J(W，b)代表输出的概率值与图像数据标签之间的差值；JB表示类间距离的代价函数，Jw表示类内距离的代价函数，p取0.02，q取0.01；m表示样本总个数，n表示第i类中的样本个数；hw，b(xcd)表示样本的实际输出值，xcd表示该样本中该像素值，yc为该样本的标签值，μc表示第c类的样本均值，μd表示第d类的样本均值，ω(Δcd)表示权值；Sw表示类中样本之间的距离；Δcd表示第c类与第d类之间的马氏距离；erf()表示错误函数，pc表示第c类的先验概率值，t为计算积分中的一个变量；
使用监督学习方法训练卷积神经网络模型，训练完后，保存训练完成的网络模型，设定的迭代次数为100次；
步骤5、输入测试集的图像到训练模型中，计算识别率。
进一步地，步骤3.1中卷积层第l层的j个特征图输出函数的设置为0，激励函数θ()采用ReLUs函数，ReLUs函数如下：
f(n)＝max(0，n)
其中，n表示的值。
采用上述技术方案所产生的有益效果在于：本发明提供的基于卷积神经网络的人脸表情识别方法，将人脸表情识别过程中的特征提取与特征分类结合，得到表情的识别结果；利用SoftPlus与RELU函数，使得该网络中激励函数更加具有稀疏性与平滑特性，降低激励函数的复杂度，模型的收敛速度提高，在代价函数中添加Fisher准则，在网络模型中的反向传播函数阶段，通过改变类内与类间距离不同的权值，达到了保持合适的类间与类内距离；利用训练好的模型直接输入图像，得出最终的分类结果，对于人脸表情识别过程是一种简化，识别效率提高，并根据训练集中的图像数量，改变了该卷积神经网络的准确率。
附图说明
图1为本发明实施例提供的基于卷积神经网络的人脸表情识别方法的流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，本实施例的方法如下所述。
步骤1、通过数码相机、手机或监控设备对人脸表情图片进行采集，利用互联网下载FER-2013人脸库与CK+人脸库，获得数量级较大的关于人脸的图像，并将图像分为训练集与测试集两部分。
步骤2、对采集的图像进行预处理，将采集到的图像统一裁剪为96*96像素大小，并将人脸位于该图的中心位置，利用matlab软件将人脸库中的彩色图像灰度化处理，得到96*96大小的灰度图像。
步骤3、建立卷积神经网络模型，该模型包括依序连接的两个卷积层、一个子采样层、一个卷积层、一个子采样层、一个全连接层和一个Softmax分类层，各层分别如下：
(1)卷积层C1，卷积核大小为5*5，步长为1，卷积核个数为32，无填充；
(2)卷积层C2，卷积核大小为5*5，步长为1，卷积核个数为64，无填充；
(3)子采样层S1，子采样窗口大小为2*2，步长为1，无填充；
(4)卷积层C3，卷积核大小为5*5，步长为1，卷积核个数为128，无填充；
(5)子采样层S2，子采样窗口为2*2，步长为1，无填充；
(6)全连接层，包含300个神经元，将子采样层S2的输出特征图转化为一维向量；
(7)Softmax分类层，与全连接层中的神经元进行全连接，得到7个预测值。
具体的建立过程如下：
步骤3.1、将训练集中的图像输入该模型中的卷积层，遍历图像中的子图像像素值，卷积层第l层的j个特征图输出函数如下：
其中，l表示第l层，即为当前层，l-1即表示前一层；表示第l层的排列顺序为j的特征图；wi，j表示当前层与前一层特征图的卷积核；表示当前层的排列顺序为j的特征图的偏置；表示前一层第j个特征图；θ()为激励函数；M表示当前层特征图个数；表示第j个特征图连接前一层特征图的数量；
本实施例中，为保证网络可以快速被训练，减少网络的参数个数，将发置为0，激励函数θ()采用ReLUs函数，解决了Sigmoid与Tanh函数极易出现梯度消失现象，模型无法收敛等问题。ReLUs函数如下：
f(n)＝max(0，n)
其中，n表示的值，该函数将该值与0作比较，解决了梯度消失的现象。
步骤3.2、步骤3.1所获得特征图，存在特征图维数过高的缺点，对于后续的分类与卷积层C3的特征提取造成一定的困难，因此，利用子采样层，降低C2卷积层的维数，具体采用最大池化方法对卷积层C2的特征图进行子采样，只改变特征图的大小，不改变特征图的数量，最大池化的子采样方法如下：
其中，Rh表示第h个子采样区域，h取值为1～4，ah表示在区域Rh范围内的像素值，Sh为第h个子采样区域最大值，最大子采样法是挑选概率值ah中最大的值作为最终的子采样结果；最后，获得到S2层输出的128个输出特征图。
步骤3.3、根据步骤3.2获得的128个输出特征图，将这128个输出特征图转化为一个特征向量，作为全连接层的输入向量，输出结果为一个特征向量，全连接层的输入公式如下：
Hw，b(x)＝δ(WTx+b)
其中，Hw，b(x)表示全连接层的输出，x表示全连接层输入的一个特征向量，W为全连接层的权值向量；b表示偏置向量，δ()表示全连接层的激励函数，如下：
其中，α取0.005，其作用是防止模型的输入值接近于0时，模型收敛速度减慢，添加一个较小的系数，保证模型的收敛速度；该激励函数将小于等于0的强制归为接近于0的值，以保证其具备稀疏性，大于0的部分数值用Softplus进行计算，同时具备光滑特性。
步骤3.4、Softmax分类层采用7个神经元，对全连接层的神经元进行全连接，将全连接层输出的特征向量输入到Softmax分类层中，得到7个预测值，成为分类结果，即可判断7种可识别的人脸表情。
步骤4、利用加权Fisher准则函数作为代价函数计算训练的实际输出结果与标签值之间的误差，通过反向传播算法自顶向下传递差值，并利用权值更新公式更新权值；权值首先是利用计算机选取随机数进行设定，根据得到的输出的值与原本图像的标签值之间的差值，并利用反向传播过程来调整该模型中的参数，反向传播过程是通过计算机来完成，模型中的参数是手动进行调节、设置的，权值更新公式如下：
J＝J(W，b)-pJB+qJw
其中，J代表改进后的代价函数；J(W，b)代表输出的概率值与图像数据标签之间的差值；JB表示类间距离的代价函数，Jw表示类内距离的代价函数，p取0.02，q取0.01；m表示样本总个数，n表示第i类中的样本个数；hw，b(xcd)表示样本的实际输出值，xcd表示该样本中该像素值，yc为该样本的标签值，μc表示第c类的样本均值，μd表示第d类的样本均值，ω(Δcd)表示权值；Sw表示类中样本之间的距离；Δcd表示第c类与第d类之间的马氏距离；erf()表示错误函数，pc表示第c类的先验概率值，t为计算积分中的一个变量；
使用监督学习方法训练卷积神经网络模型，训练完后，保存训练完成的网络模型，设定的迭代次数为100次。
步骤5、输入测试集的图像到训练模型中，计算识别率。
卷积神经网络模型是将整个图片输入到该模型中，输出结果实现了人脸表情识别。它的一种有效的方法是通过卷积层、子采样层以及全连接层完成特征提取，利用Softmax分类器完成特征分类方法，这样将两个步骤合为一个步骤，成为特征点定位与特征点分类的关键步骤。
如表1所示，现有的几种算法与采用本发明中的方法进行人脸表情识别得到的对应识别率的比较。表中的LBP(1，8)与LBP(2，8)是以该像素点为中心，选择半径1和2的圆上，选择8个像素作为像素的特征点，获得该点的LBP值，最后利用分类器完成特征的分类；MLP代表多层感知器，(300-800-400)与(500-1000-500-300)分别代表每层中的节点个数；运用这四种方法与改进的CNN模型进行比较，可以看出改进的卷积神经网络比MLP网络提高了0.28％，相比于LBP+SVM算法提高了将近19％。表2为采用本发明方法进行人脸表情识别得到的各种表情对应的识别率。由两个表可知，本发明的方法能得到更高的识别率，识别高兴、悲伤、恐惧这三种表情较高，其余表情由于表情幅度较小，导致识别率降低，各种表情的平均识别率为78.6％。
表1现有算法与本发明方法进行人脸表情识别的识别率对比
算法 识别率
LBP(1，8)+SVM 66.90％
LBP(2，8)+SVM 62.78％
MLP(300-800-400) 77.98％
MLP(500-1000-500-300) 81.22％
CNN 81.5％
表2本发明方法进行人脸各种表情识别得到的识别率
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (2)

1.一种基于卷积神经网络的人脸表情识别方法，其特征在于：该方法包括以下步骤：
步骤1、通过数码相机、手机或监控设备对人脸表情图片进行采集，利用互联网下载FER-2013人脸库与CK+人脸库，获得数量级较大的关于人脸的图像，并将图像分为训练集与测试集两部分；
步骤2、对采集的图像进行预处理，将采集到的图像统一裁剪为96*96像素大小，并将人脸位于该图的中心位置，利用matlab软件将人脸库中的彩色图像灰度化处理，得到96*96大小的灰度图像；
步骤3、建立卷积神经网络模型，该模型包括依序连接的两个卷积层、一个子采样层、一个卷积层、一个子采样层、一个全连接层和一个Softmax分类层，各层分别如下：
(1)卷积层C1，卷积核大小为5*5，步长为1，卷积核个数为32，无填充；
(2)卷积层C2，卷积核大小为5*5，步长为1，卷积核个数为64，无填充；
(3)子采样层S1，子采样窗口大小为2*2，步长为1，无填充；
(4)卷积层C3，卷积核大小为5*5，步长为1，卷积核个数为128，无填充；
(5)子采样层S2，子采样窗口为2*2，步长为1，无填充；
(6)全连接层，包含300个神经元，将子采样层S2的输出特征图转化为一维向量；
(7)Softmax分类层，与全连接层中的神经元进行全连接，得到7个预测值；
具体的建立过程如下：
步骤3.1、将训练集中的图像输入该模型中的卷积层，遍历图像中的子图像像素值，卷积层第l层的j个特征图输出函数如下：
其中，l表示第l层，即为当前层，l-1即表示前一层；表示第l层的排列顺序为j的特征图；wi，j表示当前层与前一层特征图的卷积核；表示当前层的排列顺序为j的特征图的偏置；表示前一层第j个特征图；θ()为激励函数；M表示当前层特征图个数；表示第j个特征图连接前一层特征图的数量；
步骤3.2、利用子采样层，降低C2卷积层的维数，具体采用最大池化方法对卷积层C2的特征图进行子采样，只改变特征图的大小，不改变特征图的数量，最大池化的子采样方法如下：
其中，Rh表示第h个子采样区域，h取值为1～4，ah表示在区域Rh范围内的像素值，Sh为第h个子采样区域最大值，最大子采样法是挑选概率值ah中最大的值作为最终的子采样结果；最后，获得到S2层输出的128个输出特征图；
步骤3.3、根据步骤3.2获得的128个输出特征图，将这128个输出特征图转化为一个特征向量，作为全连接层的输入向量，输出结果为一个特征向量，全连接层的输入公式如下：
Hw，b(x)＝δ(WTx+b)
其中，Hw，b(x)表示全连接层的输出，x表示全连接层输入的一个特征向量，W为全连接层的权值向量；b表示偏置向量，δ()表示全连接层的激励函数，如下：
其中，α取0.005；
步骤3.4、Softmax分类层采用7个神经元，对全连接层的神经元进行全连接，将全连接层输出的特征向量输入到Softmax分类层中，得到7个预测值，成为分类结果，即可判断7种可识别的人脸表情；
步骤4、利用加权Fisher准则函数作为代价函数计算训练的实际输出结果与标签值之间的误差，通过反向传播算法自顶向下传递差值，并利用权值更新公式更新权值；权值更新公式如下：
J＝J(W，b)-pJB+qJw
其中，J代表改进后的代价函数；J(W，b)代表输出的概率值与图像数据标签之间的差值；JB表示类间距离的代价函数，JW表示类内距离的代价函数，p取0.02，q取0.01；m表示样本总个数，n表示第i类中的样本个数；hw，b(xcd)表示样本的实际输出值，xcd表示该样本中该像素值，yc为该样本的标签值，μc表示第c类的样本均值，μd表示第d类的样本均值，ω(Δcd)表示权值；Sw表示类中样本之间的距离；Δcd表示第c类与第d类之间的马氏距离；erf()表示错误函数，pc表示第c类的先验概率值，t为计算积分中的一个变量；
使用监督学习方法训练卷积神经网络模型，训练完后，保存训练完成的网络模型，设定的迭代次数为100次；
步骤5、输入测试集的图像到训练模型中，计算识别率。
2.根据权利要求1所述的基于卷积神经网络的人脸表情识别方法，其特征在于：所述步骤3.1中卷积层第l层的j个特征图输出函数的设置为0，激励函数θ()采用ReLUs函数，ReLUs函数如下：
f(n)＝max(0，n)
其中，n表示的值。
CN201810717584.2A 2018-07-03 2018-07-03 一种基于卷积神经网络的人脸表情识别方法 Active CN109033994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810717584.2A CN109033994B (zh) 2018-07-03 2018-07-03 一种基于卷积神经网络的人脸表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810717584.2A CN109033994B (zh) 2018-07-03 2018-07-03 一种基于卷积神经网络的人脸表情识别方法

Publications (2)

Publication Number Publication Date
CN109033994A true CN109033994A (zh) 2018-12-18
CN109033994B CN109033994B (zh) 2021-08-10

Family

ID=65522259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810717584.2A Active CN109033994B (zh) 2018-07-03 2018-07-03 一种基于卷积神经网络的人脸表情识别方法

Country Status (1)

Country Link
CN (1) CN109033994B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977865A (zh) * 2019-03-26 2019-07-05 江南大学 一种基于人脸颜色空间和度量分析的欺诈检测方法
CN110008819A (zh) * 2019-01-30 2019-07-12 武汉科技大学 一种基于图卷积神经网络的人脸表情识别方法
CN110378424A (zh) * 2019-07-23 2019-10-25 国网河北省电力有限公司电力科学研究院 基于卷积神经网络的变压器套管故障红外图像识别方法
CN110532940A (zh) * 2019-08-27 2019-12-03 河海大学 一种人脸表情识别方法
CN110807420A (zh) * 2019-10-31 2020-02-18 天津大学 一种融合特征提取和深度学习的人脸表情识别方法
CN111191598A (zh) * 2019-12-30 2020-05-22 青岛联合创智科技有限公司 一种基于智能陪伴机器人的人脸表情识别方法
CN111611874A (zh) * 2020-04-29 2020-09-01 杭州电子科技大学 基于ResNet和Canny的人脸口罩佩戴检测方法
CN112070009A (zh) * 2020-09-08 2020-12-11 南京工业大学 基于改进的lbp算子的卷积神经网络表情识别方法
CN112966625A (zh) * 2021-03-16 2021-06-15 北京邮电大学 一种基于改进的vgg-16网络模型的表情识别方法及装置
CN113111781A (zh) * 2021-04-14 2021-07-13 东南大学 一种基于Sigmoid函数的分类层监督用于人脸识别的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030009298A1 (en) * 2001-03-23 2003-01-09 International Business Machines Corporation Field-based similarity search system and method
CN106295708A (zh) * 2016-08-19 2017-01-04 重庆大学 一种基于Fisher分类器组的连续型数据预处理方法
CN106778863A (zh) * 2016-12-12 2017-05-31 武汉科技大学 基于Fisher判别字典学习的仓库货品识别方法
CN107506722A (zh) * 2017-08-18 2017-12-22 中国地质大学（武汉） 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN107742117A (zh) * 2017-11-15 2018-02-27 北京工业大学 一种基于端到端模型的人脸表情识别方法
CN107992846A (zh) * 2017-12-15 2018-05-04 贵阳宏益房地产开发有限公司 遮挡人脸识别方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030009298A1 (en) * 2001-03-23 2003-01-09 International Business Machines Corporation Field-based similarity search system and method
CN106295708A (zh) * 2016-08-19 2017-01-04 重庆大学 一种基于Fisher分类器组的连续型数据预处理方法
CN106778863A (zh) * 2016-12-12 2017-05-31 武汉科技大学 基于Fisher判别字典学习的仓库货品识别方法
CN107506722A (zh) * 2017-08-18 2017-12-22 中国地质大学（武汉） 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN107742117A (zh) * 2017-11-15 2018-02-27 北京工业大学 一种基于端到端模型的人脸表情识别方法
CN107992846A (zh) * 2017-12-15 2018-05-04 贵阳宏益房地产开发有限公司 遮挡人脸识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GONG CHENG ET AL: "RIFD-CNN: Rotation-Invariant and Fisher Discriminative Convolutional Neural Networks for Object Detection", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
徐峰等: "人脸微表情识别综述", 《自动化学报》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008819B (zh) * 2019-01-30 2022-11-18 武汉科技大学 一种基于图卷积神经网络的人脸表情识别方法
CN110008819A (zh) * 2019-01-30 2019-07-12 武汉科技大学 一种基于图卷积神经网络的人脸表情识别方法
CN109977865A (zh) * 2019-03-26 2019-07-05 江南大学 一种基于人脸颜色空间和度量分析的欺诈检测方法
CN109977865B (zh) * 2019-03-26 2023-08-18 江南大学 一种基于人脸颜色空间和度量分析的欺诈检测方法
CN110378424A (zh) * 2019-07-23 2019-10-25 国网河北省电力有限公司电力科学研究院 基于卷积神经网络的变压器套管故障红外图像识别方法
CN110532940A (zh) * 2019-08-27 2019-12-03 河海大学 一种人脸表情识别方法
CN110807420A (zh) * 2019-10-31 2020-02-18 天津大学 一种融合特征提取和深度学习的人脸表情识别方法
CN111191598A (zh) * 2019-12-30 2020-05-22 青岛联合创智科技有限公司 一种基于智能陪伴机器人的人脸表情识别方法
CN111611874A (zh) * 2020-04-29 2020-09-01 杭州电子科技大学 基于ResNet和Canny的人脸口罩佩戴检测方法
CN111611874B (zh) * 2020-04-29 2023-11-03 杭州电子科技大学 基于ResNet和Canny的人脸口罩佩戴检测方法
CN112070009B (zh) * 2020-09-08 2023-07-11 南京工业大学 基于改进的lbp算子的卷积神经网络表情识别方法
CN112070009A (zh) * 2020-09-08 2020-12-11 南京工业大学 基于改进的lbp算子的卷积神经网络表情识别方法
CN112966625A (zh) * 2021-03-16 2021-06-15 北京邮电大学 一种基于改进的vgg-16网络模型的表情识别方法及装置
CN113111781A (zh) * 2021-04-14 2021-07-13 东南大学 一种基于Sigmoid函数的分类层监督用于人脸识别的方法

Also Published As

Publication number Publication date
CN109033994B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN109033994A (zh) 一种基于卷积神经网络的人脸表情识别方法
CN107977932B (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN109376636B (zh) 基于胶囊网络的眼底视网膜图像分类方法
CN109345538B (zh) 一种基于卷积神经网络的视网膜血管分割方法
Kumar et al. Resnet-based approach for detection and classification of plant leaf diseases
CN105069400B (zh) 基于栈式稀疏自编码的人脸图像性别识别系统
WO2022036777A1 (zh) 基于卷积神经网络的人体动作姿态智能估计方法及装置
JP6788264B2 (ja) 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム
CN109543697A (zh) 一种基于深度学习的rgbd图像目标识别方法
CN108446729A (zh) 基于卷积神经网络的鸡蛋胚胎分类方法
CN107944399A (zh) 一种基于卷积神经网络目标中心模型的行人重识别方法
CN106897739A (zh) 一种基于卷积神经网络的电网设备分类方法
CN107862249A (zh) 一种分叉掌纹识别方法及装置
CN107909008A (zh) 基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法
CN107563389A (zh) 一种基于深度学习的农作物病害识别方法
KR20210067815A (ko) 사용자의 건강 상태를 측정하기 위한 방법 및 이를 위한 장치
CN112597873A (zh) 一种基于深度学习的双通道人脸表情识别方法
CN109508640A (zh) 一种人群情感分析方法、装置和存储介质
Shah et al. CNN based auto-assistance system as a boon for directing visually impaired person
Temdee et al. Food recognition on smartphone using transfer learning of convolution neural network
Tasdizen et al. Improving the robustness of convolutional networks to appearance variability in biomedical images
CN111160327B (zh) 一种基于轻量化卷积神经网络的表情识别方法
CN108629265A (zh) 用于瞳孔定位的方法和装置
Ali et al. New algorithm for localization of iris recognition using deep learning neural networks
CN108960275A (zh) 一种基于深度玻尔兹曼机的图像识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant