CN108108677A - 一种基于改进的cnn人脸表情识别方法 - Google Patents

一种基于改进的cnn人脸表情识别方法 Download PDF

Info

Publication number
CN108108677A
CN108108677A CN201711321258.1A CN201711321258A CN108108677A CN 108108677 A CN108108677 A CN 108108677A CN 201711321258 A CN201711321258 A CN 201711321258A CN 108108677 A CN108108677 A CN 108108677A
Authority
CN
China
Prior art keywords
image
facial expression
convolution
cnn
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711321258.1A
Other languages
English (en)
Inventor
张毅
丁剑飞
罗元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201711321258.1A priority Critical patent/CN108108677A/zh
Publication of CN108108677A publication Critical patent/CN108108677A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明请求保护一种基于改进的CNN的人脸表情识别方法，涉及图像分类与识别领域，包括步骤：S1，使用一个集合了人脸检测和对齐功能的人脸检测对齐算法JDA算法，从视频流中获取人脸表情图像；S2，对步骤S1获得的人脸表情图像，使用人脸矫正在真实环境下的人脸姿态，并去除与表情信息无关的背景信息以及采用采用尺度归一化；S3，在对步骤S2获得的归一化的人脸表情图像进行特征之前，对卷积神经网络模型进行训练，得到最佳的网络参数并保存；S4，对步骤S3获得最佳网络参数，加载CNN模型以及S3得到的最佳的网络参数，并对S2获得的归一化的人脸表情图像进行特征提取；S5，对步骤S4获得的人脸表情特征，使用SVM分类器进行分类识别。本发明具有较强的鲁棒性以及良好的泛化性能。

Description

一种基于改进的CNN人脸表情识别方法
技术领域
本发明属于图像处理与模式识别领域，特别是一种方法基于改进的CNN的人脸表情识别方法。
背景技术
人脸面部表情是表达情感和信息的主要非语言沟通方式之一，并且占据了55％的信息。由此可见人脸表情作为一种信息载体，在人们的日常交流中所占有重要意义。Ekman等人确定了六种人脸表情(即愤怒，厌恶，恐惧，幸福，悲伤和惊喜)作为人类普遍的基本情感表达。人脸表情识别已成为计算机视觉领域多年的研究的热点。其中人脸表情识别系统具有广泛的应用，如人机交互、发展心理学、生物学、医学、信息无障碍以及智慧城市等领域具有广泛的应用场景和重要的研究意义。
传统的人脸表情识别由两个主要的组成部分:人脸表情的特征提取和人脸表情的分类。其中从人脸表情图像中提取有效的特征在整个识别系统中发挥重要的作用，因为人脸表情分类器是基于提取特征的组合进行最后的分类决策。在获取人脸表情数据之后，再对数据进行特征提取。其中比较常见的人工特征算法如局部二值模式(Local binarypattern,LBP)、尺度不变特征变换(Scale-invariant feature transform,SIFT)、HOG、Gabor小波变换等已经得到广泛的应用。然后把提取到的特征数据传递到诸如支持向量机等分类器，进行最后的识别工作。然而这些方法通常需要严格的超参数设置，才能获得良好的识别效果，并且是在受控和实验室环境下。最重要的是人工特征提取方法具有不确定性，进而导致部分表情特征表述信息的丢失，其直接结果识别性能不理想。
近年来，随着计算机性能的提高，深度神经网络在图像识别领域越来越受到欢迎。在人脸表情识别领域，深层的卷积神经网络获得了良好的结果。相比于传统的特征提取算法，深度卷积神经网络具有自适应特征提取能力，进而得到的人脸表情特征更加接近于本质的特征，同时也具有更强的表征能力。卷积神经网络(CNN)由Lecun等人在1998年提出的,当使用更深层次的架构和新的训练技术时，证明在学习特征方面非常有效。然而训练性能优异的人脸表情识别深度卷积神经网络模型，需要大量的人脸表情样本以及合适的深度卷积神经网络结构。现有的人脸表情数据库如CK+、日本女性面部表情(JAFFE)数据库等，采集的面部表情图像样本在理想环境下采集的数据并且原始数量比较少，训练模型更容易达到过拟合。所以目前基于CK+人脸表情数据库训练的深度卷积神经网络模型，虽然获得测试结果有比较高的准确率(95％)并不意味着能够胜任在真实环境下的人脸表情识别任务。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种可在真实的复杂背景噪声的环境下提高识别率，对光照和复杂噪声具有较强的鲁棒性，以及较强泛化性能的基于改进的CNN人脸表情识别方法。本发明的技术方案如下：
一种基于改进的CNN人脸表情识别方法，其包括以下步骤：
S1、采用集合了人脸检测和对齐功能的人脸检测对齐算法JDA算法，从视频流中获取人脸表情图像；
S2、对步骤S1获得的人脸表情图像，采用图像预处理的算法对采样的图像进行包括人脸姿态的矫正、去除表情无关的背景信息、直方图均衡、尺度归一化在内的预处理；
S3、在对步骤S2获得的归一化的人脸表情图像进行特征提取之前，采用改进的CNN模型进行训练，得到最佳的网络参数并保存；改进的CNN模型改进点主要有三个关键点：
1、采用连续且较小的卷积核替代较大的卷积核，不仅可以有效地减少网络参数，而且增强网络的非线性表达能力。
2、在卷积神经网络模型中引入Inception模型，这样不仅增加网络的宽度、深度，同时增加了网络对输入特征图尺寸的适应性和减少了网络模型的参数。当训练卷积神经网络模型时可以最大程度的利用计算资源。
3、设计改进的CNN模型时引入点卷积(1×1卷积)，其中点卷积主要功能为数据的降维和升维，实现了跨通道的交互和信息融合。数据的降维与升维是通过控制卷积核数量实现的，通过这样的方式可以减少模型参数以及对不同特征进行尺寸的归一化操作。
网络结构主要采用1×1卷积、3×3卷积和Inception模型结果堆栈而成，其中Inception模块近似一个稀疏结构，具体结构是将1×1卷积，3×3卷积，5×5卷积和3×3最大池化层堆栈在一起，激活函数使用ReLU激活函数，然后将这些层连接在一起作为输出；最终提出的深度卷积神经网络架构包含传统的CNN层和Inception模块，网络包含五层卷积与两层Inception模块以两层最大池化层，最后两层为全连接层输出七种分类结果；
S4、对步骤S3获得的最佳网络参数，加载卷积神经网络模型以及S3得到的最佳的网络参数，并对S2获得的归一化的人脸表情图像进行特征提取；
S5、对步骤S4获得的人脸表情特征，使用SVM分类器进行分类识别。
进一步的，所述步骤S1的人脸检测对齐JDA算法，其核心主要采用随机森林的策略来训练一个分类与回归树(Classification and Regression Trees,CART)，并以一定的概率来选择是决策树或者分类树。树的顶部侧重于检测，底部侧重于回归，来训练分类与回归树。在采集训练样本使用滑动窗口的方式，进行判断一个窗口是否是人脸目标。当训练模型时，每个叶子节点的输出都是特征点的偏移，然后提取特征点附近的特征，作为人脸特征进行分类。其中叶子节点的输出，之后采用全局的回归优化，进而预测关键点的位置，进而辅助检测人脸目标。
进一步的，所述步骤S2对采样的图像进行人脸姿态的矫正包括步骤：
S21：对人脸图像包括眼睛、鼻子、嘴、眉毛在内的主要特征点进行定位，并确定特征点的中心在人脸图像的坐标位置；
S22：人脸姿态的矫正，依据步骤S21中的特征点定位，确定人脸图像与双眼中心坐标信息，旋转变换以使得双眼中心的线段与图像的水平轴对齐，即一个眼睛中心到另一个眼睛中心的线段与水平轴的角度为零。
进一步的，所述步骤S2对采样的图像进行人脸姿态的矫正包括步骤：在步骤S22基础上，图像裁剪使用半眼距离(b)进行空间归一化，裁剪区域的垂直系数为4.5，其中眼睛上方的区域为1.3，下方为区域为3.2，而水平裁剪区域的系数为2.4。
进一步的，所述步骤S22将直方图均衡化将灰度图中较为集中的灰度区间均衡分布到全局灰度区间以提高图像对比度，假如原始灰度图像的灰度用r表示，经直方图均衡化后的灰度图像灰度用s表示，其中0≤r,s≤1，则任意r在区间[0,1]范围内经过T(r)变换后都有一个s与之相对应，最后采用尺寸归一化，将所有的图像转换成尺寸为32×32像素；
尺寸归一化才能进入CNN模型进行特征提取，需要对采集的图像进行尺度的缩小或放大处理，对图像尺度归一化的处理过程如下：图像尺度缩小变换步骤、图像尺度放大变换步骤，上述尺度缩小变换步骤与放大变换的步骤将采集的面部图像均归一化为32×32像素的统一尺寸。
进一步的，所述图像尺度放大变换的步骤采用双线性插值的方法来增加像素点需要的灰度值，该插值方法的中心思想是在二维图像的X、Y方向上各做1次线性插值。
进一步的，所述标准卷积层与ReLU激活函数层之间引入了批标准化算法，层与层之间添加BN层，网络前向传播时BN层利用卷积层输出特征的均值与方差标准化每一层的特征分布，维护整体mini-batch数据的均值和方差，BN层是通过变量重构，引入两个可学习的缩放参数g和偏移参数b使模型自适应调整每层的特征分布。
进一步的，所述改进的CNN模型使用随机梯度下降法训练，不适用神经网络权值初始化不使用均匀分布，而是采用高斯分布初始化，标准差不是设置为0.01或者0.001，而是使用MSRA初始化。
进一步的，所述步骤S5使用SVM分类器进行分类，使用网格搜索的方式，来估计SVM的最佳内核，确定最佳C参数，用于对提取的人脸表情特征进行分类识别。
本发明的优点及有益效果如下：
本发明提供了一种基于改进的CNN的人脸表情识别方法，为了解决传统卷积神经网络训练参数繁多、计算机量大的缺点，在本方法的深度卷积神经网络中采用了Inception模块来达到稀疏的减少网络参数、降低计算量，并且这种结果利用了Network in Network结构中非线性变换的强大表达能力。相比传统人脸识别算法以及传统的标准卷积的神经网络，不仅训练速度快，而且具有较强的鲁棒性以及泛化性能，最够识别率达到98.02％，即使真实环境下，本发明依然能够保持93.45％的识别率。
附图说明
图1是人脸图像预处理流程；
图2去除与表情无关的图像信息；
图3双线性插值；
图4改进的深度卷积神经网络的结构；
图5Inception模块结构图；
图6标准卷积层和Batch Normalization层以及ReLU层；
图7人脸表情识别系统与训练、测试流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
如图7所示，本发明提供了一种基于改进的CNN的人脸表情识别方法，其特征在于，包括以下步骤：
S1：使用一个集合了人脸检测和对齐功能的人脸检测对齐算法JDA算法，从视频流中获取人脸表情图像；
S2：矫正在真实环境下的人脸姿态，并去除与表情信息无关的背景信息以及采用采用尺度归一化，在本实施方式中，具体方法为：
S21：对人脸图像样本中的主要特征点进行定位，如：眼睛、鼻子、嘴、眉毛等特征点定位，并确定特征点的中心在人脸图像的坐标位置；
S22：为了人脸姿态的矫正，依据步骤S21中的特征点定位，确定人脸图像与双眼中心坐标等信息，旋转变换以使得双眼中心的线段与图像的水平轴对齐，即一个眼睛中心到另一个眼睛中心的线段与水平轴的角度为零；
S23：由于原始人脸图像具有很多与表情分类无关的背景信息，该信息可能会降低分类的准确性，去除对表情无用的面部部分信息(例如耳朵、前额、头发等)。纯人脸区域基于眼睛间的距离的比例来定义的，因此可以处理不同的人物和图像大小。在步骤S22基础上，图像裁剪使用半眼距离(b)进行空间归一化，裁剪区域的垂直系数为4.5，其中眼睛上方的区域为1.3，下方为区域为3.2，而水平裁剪区域的系数为2.4。经验确定使用这些系数可以删除所有非表情区域，如头发和背景；
S24：将步骤S23获取的人脸图像样本采用直方图均衡算法以减弱因不同光照强度下对人脸图像的干扰进而提高人脸表情识别系统的精准度；
直方图均衡化将灰度图中较为集中的灰度区间均衡分布到全局灰度区间以提高图像对比度。假如原始灰度图像的灰度用r表示，经直方图均衡化后的灰度图像灰度用s表示，其中0≤r,s≤1，则任意r在区间[0,1]范围内经过T(r)变换后都有一个s与之相对应。
由概率论的知识可知，假如随机变量s可以作为随机变量r的函数，且r的概率密度表示为pr(r)，那么可以通过pr(r)求得s的概率密度ps(s)。若随机变量s的分布函数表示为Fs(s)，Fs(s)可表示为：
对s求导可以得出s的概率密度函数：
由上式的推导能够看出，若想使灰度均衡分布，通过T-1(s)这个变换函数能够调节原灰度图的概率密度函数，这即为直方图均衡化的中心思想。直方图均衡化处理即使s的概率密度函数ps(s)＝k，这里归一化处理的k取1，如下式所示：
ps(s)＝1
由可得：
ds＝pr(r)dr
对其两边求s的积分可得：
至此，直方图均衡化所需的变换函数T(r)即为上式所得，要想完成直方图的均衡化处理，只需使T(r)为原始图像的直方图累积分布函数即可。
S25：最后采用尺寸归一化，将所有的图像转换成尺寸为32×32像素；
在步骤S24之后需要进行尺寸归一化才能进入CNN模型进行特征提取，需要对采集的图像进行尺度的缩小或放大处理，对图像尺度归一化的处理过程如下：
1.图像尺度缩小变换
假设采集的人脸灰度图像表示为t，其图像的高与宽分别表示为h和w，经过缩小变换的图像表示为t′，其高和宽分别表示为h′与w′，图像的缩小变换可表示为：
2.图像尺度放大变换
假如直接采用与缩小变换相反的方式进行尺度放大变换，则会因为对原始图像增加了一些本来不属于原图像的像素点而产生马赛克现象。为了尽可能地消除此种现象，采用双线性插值的方法来增加像素点需要的灰度值。
该插值方法的中心思想是在二维图像的X、Y方向上各做1次线性插值，该方法插值的示意图如图3所示。
假如Q点为需要插值的像素位置点，R1(x,y1)、R2(x,y2)用来表示Y方向上两个未知的中间像素位置点。图中P11(x1,y1)、P12(x1,y2)、P21(x2,y1)与P22(x2,y2)为二维图像中已知的4个像素点，假如像素点Pij的灰度值以g(Pij)表示，那么4个像素点的灰度值可分别表示为g(P11)、g(P12)、g(P21)、g(P22)。主要分为两个方向进行插值：
(1)在X方向上进行第1次线性插值，通过下面两个公式来分别计算R1与R2两个中间像素点的灰度值，其值表示为g(R1)与g(R2)：
(2)在Y方向上做第2次插值，通过下面公式来计算Q点的灰度值g(Q)：
经过上述X、Y方向的插值即可求得Q点的灰度值，最终即可实现尺度放大变换的操作。
通过尺度缩小与尺度放大两种变换方式可尽量消除图像尺度不一致对表情特征提取的影响，通过上述尺度缩小变换与放大变换的方法将采集的面部图像均归一化为32×32像素的统一尺寸。
S3：训练卷积神经网络模型，获得最佳的网络参数并保存，在本实施方式中，具体方法为：
S31：训练卷积神经网络模型需要大量带有标签的人脸表情数据库，在现有的公开的人脸表情数据库中选择了CK+表情数据库、FER2013表情数据库、JAFFE表情数据库。由于数据库样本不足，本方法采用了图像处理算法进行数据增强，扩展数据样本同时增加样本的多样性，避免卷积神经网络过拟合。在CK+数据库主要使用切割、翻转、不同比例的遮挡和噪声扰动等图像处理算法增强数据库，在FER2013数据库主要使用随机裁剪、垂直翻转的图像处理算法增强数据库，JAFEE表情数据库作为泛化性能的测试集，不做数据增强；
S32：本方法的重点是设计符合应用需求的卷积神经网络，本发明改进的卷积神经网络模型(如图4)主要有1×1卷积、3×3卷积和Inception模型(如图5)结果堆栈而成。其中Inception模块近似一个稀疏结构，具体结构是将1×1卷积，3×3卷积，5×5卷积和3×3最大池化堆栈在一起，激活函数使用ReLU函数，然后将这些层连接在一起作为输出。通过使用Inception模块的卷积神经网络主要有两个有点：①增加了网络的宽度、深度，②增加了网络对尺度的适应性，进而最大程度的提高了网络内部的计算资源的利用率。最终提出的深度卷积神经网络架构包含传统的CNN层和Inception模块，网络包含五层卷积与两层Inception模块以两层最大池化层，最后两层为全连接层输出七种分类结果。
为了加快训练深度卷积神经网络和减轻过拟合的问题，在标准卷积层与ReLU激活函数层之间引入了批标准化算法，如图6所示。BN算法的主要优势是设置比较大的初始学习率，因为使用BN算法网络具有快速训练收敛的优势。在层与层之间添加BN层，网络前向传播时BN层利用卷积层输出特征的均值与方差标准化每一层的特征分布，维护整体mini-batch数据的均值和方差。BN层是通过变量重构，引入两个可学习的缩放参数g和偏移参数b使模型自适应调整每层的特征分布；
S33：本发明整体网络使用随机梯度下降法(SGD)训练深度卷积神经网络，可以快速收敛。通常传统的神经网络权值初始化使用均匀分布：
或者采用标准初始化(Normalized Initialization):
其中m为输入维度，n为输出维度。本方法使用了高斯分布初始化，一般情况下，高斯分布的均值(mean)均设为0，因为使用的ReLU激活函数，所以标准差(stddev)不是设置为0.01或者0.001，而是使用MSRA初始化。其中m为输入维度。
因为使用了BN层，在训练中使用指数衰减法更加灵活的设置学习率，训练前期使用较大的学习率lr＝0.1，然后随着迭代轮数衰减学习率。同时使用交叉验证(cross-validation)和早停(Early stopping)来训练网络；
S34：经过步骤S33之后，训练整体网络，分别使用CK+、FER2013数据库训练。具体训练方案数据库分为三组：训练集、验证集和测试集，使用python函数库sklearn中的k-fold工具完成。使用验证集选择最佳的训练顺序和网络权值并保存网络结果和网络权值，然后使用测试集测试识别率和泛化性能，最后使用JAFFE数据库测试最终的泛化性能。
S4：将人脸表情图像经过CNN模型进行特征提取，在本实施方式中，具体方法为：
加载CNN模型以及网络参数，并将归一化后人脸表情图像输入到CNN模型进行特征提取；
S5：采用SVM分类器进行分类识别，在本实施方式中，具体方法为：
本发明采用网格搜索的方式，来估计SVM的最佳内核，确定最佳C参数，用于对提取的人脸表情特征进行分类识别。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (9)

1.一种基于改进的CNN人脸表情识别方法，其特征在于，包括以下步骤：
S1、采用集合了人脸检测和对齐功能的人脸检测对齐算法JDA算法，从视频流中获取人脸表情图像；
S2、对步骤S1获得的人脸表情图像，采用图像预处理的算法对采样的图像进行包括人脸姿态的矫正、去除表情无关的背景信息、直方图均衡、尺度归一化在内的预处理；
S3、在对步骤S2获得的归一化的人脸表情图像进行特征提取之前，采用改进的CNN模型进行训练，得到最佳的网络参数并保存；改进的CNN模型改进点主要有三个关键点：
1、采用连续且较小的卷积核替代较大的卷积核；
2、在卷积神经网络模型中引入Inception模型；
3、设计改进的CNN模型时引入点卷积(1×1卷积)，其中点卷积主要功能为数据的降维和升维，实现了跨通道的交互和信息融合；数据的降维与升维是通过控制卷积核数量实现的；
网络结构主要采用1×1卷积、3×3卷积和Inception模型结果堆栈而成，其中Inception模块近似一个稀疏结构，具体结构是将1×1卷积，3×3卷积，5×5卷积和3×3最大池化层堆栈在一起，激活函数使用ReLU激活函数，然后将这些层连接在一起作为输出；最终提出的深度卷积神经网络架构包含传统的CNN层和Inception模块，网络包含五层卷积与两层Inception模块以两层最大池化层，最后两层为全连接层输出七种分类结果；
S4、对步骤S3获得的最佳网络参数，加载卷积神经网络CNN模型以及S3得到的最佳的网络参数，并对S2获得的归一化的人脸表情图像进行特征提取；
S5、对步骤S4获得的人脸表情特征，使用SVM分类器进行分类识别。
2.根据权利要求1所述的一种基于改进的CNN人脸表情识别方法，其特征在于，所述步骤S1的人脸检测对齐JDA算法，其核心主要采用随机森林的策略来训练一个分类与回归树(Classification and Regression Trees,CART)，并以一定的概率来选择是决策树或者分类树。树的顶部侧重于检测，底部侧重于回归，来训练分类与回归树。在采集训练样本使用滑动窗口的方式，进行判断一个窗口是否是人脸目标。当训练模型时，每个叶子节点的输出都是特征点的偏移，然后提取特征点附近的特征，作为人脸特征进行分类。其中叶子节点的输出，之后采用全局的回归优化，进而预测关键点的位置，进而辅助检测人脸目标。
3.根据权利要求1所述的一种基于改进的CNN人脸表情识别方法，其特征在于，所述步骤S2对采样的图像进行人脸姿态的矫正包括步骤：
S21：对人脸图像包括眼睛、鼻子、嘴、眉毛在内的主要特征点进行定位，并确定特征点的中心在人脸图像的坐标位置；
S22：人脸姿态的矫正，依据步骤S21中的特征点定位，确定人脸图像与双眼中心坐标信息，旋转变换以使得双眼中心的线段与图像的水平轴对齐，即一个眼睛中心到另一个眼睛中心的线段与水平轴的角度为零。
4.根据权利要求3所述的一种基于改进的CNN人脸表情识别方法，其特征在于，所述步骤S2对采样的图像进行人脸姿态的矫正包括步骤：在步骤S22基础上，图像裁剪使用半眼距离(b)进行空间归一化，裁剪区域的垂直系数为4.5，其中眼睛上方的区域为1.3，下方为区域为3.2，而水平裁剪区域的系数为2.4。
5.根据权利要求4所述的一种基于改进的CNN人脸表情识别方法，其特征在于，所述步骤S22将直方图均衡化将灰度图中较为集中的灰度区间均衡分布到全局灰度区间以提高图像对比度，假如原始灰度图像的灰度用r表示，经直方图均衡化后的灰度图像灰度用s表示，其中0≤r,s≤1，则任意r在区间[0,1]范围内经过T(r)变换后都有一个s与之相对应，最后采用尺寸归一化，将所有的图像转换成尺寸为32×32像素；
尺寸归一化才能进入CNN模型进行特征提取，需要对采集的图像进行尺度的缩小或放大处理，对图像尺度归一化的处理过程如下：图像尺度缩小变换步骤、图像尺度放大变换步骤，上述尺度缩小变换步骤与放大变换的步骤将采集的面部图像均归一化为32×32像素的统一尺寸。
6.根据权利要求5所述的一种基于改进的CNN人脸表情识别方法，其特征在于，所述图像尺度放大变换的步骤采用双线性插值的方法来增加像素点需要的灰度值，该插值方法的中心思想是在二维图像的X、Y方向上各做1次线性插值。
7.根据权利要求5所述的一种基于改进的CNN人脸表情识别方法，其特征在于，所述标准卷积层与ReLU激活函数层之间引入了批标准化(Batch Normalization，BN)算法，层与层之间添加BN层，网络前向传播时BN层利用卷积层输出特征的均值与方差标准化每一层的特征分布，维护整体mini-batch数据的均值和方差，BN层是通过变量重构，引入两个可学习的缩放参数g和偏移参数b使模型自适应调整每层的特征分布。
8.根据权利要求7所述的一种基于改进的CNN人脸表情识别方法，其特征在于，所述改进的CNN模型使用随机梯度下降法训练，不适用神经网络权值初始化不使用均匀分布，而是采用高斯分布初始化，标准差不是设置为0.01或者0.001，而是使用MSRA初始化。
9.根据权利要求7所述的一种基于改进的CNN人脸表情识别方法，其特征在于，所述步骤S5使用SVM分类器进行分类，使用网格搜索的方式，来估计SVM的最佳内核，确定最佳C参数，用于对提取的人脸表情特征进行分类识别。
CN201711321258.1A 2017-12-12 2017-12-12 一种基于改进的cnn人脸表情识别方法 Pending CN108108677A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711321258.1A CN108108677A (zh) 2017-12-12 2017-12-12 一种基于改进的cnn人脸表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711321258.1A CN108108677A (zh) 2017-12-12 2017-12-12 一种基于改进的cnn人脸表情识别方法

Publications (1)

Publication Number Publication Date
CN108108677A true CN108108677A (zh) 2018-06-01

Family

ID=62215765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711321258.1A Pending CN108108677A (zh) 2017-12-12 2017-12-12 一种基于改进的cnn人脸表情识别方法

Country Status (1)

Country Link
CN (1) CN108108677A (zh)

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805094A (zh) * 2018-06-19 2018-11-13 合肥工业大学 基于人工脸的数据增强方法
CN109064434A (zh) * 2018-06-28 2018-12-21 广州视源电子科技股份有限公司 图像增强的方法、装置、存储介质及计算机设备
CN109376717A (zh) * 2018-12-14 2019-02-22 中科软科技股份有限公司 人脸对比的身份识别方法、装置、电子设备及存储介质
CN109389074A (zh) * 2018-09-29 2019-02-26 东北大学 一种基于人脸特征点提取的表情识别方法
CN109753950A (zh) * 2019-02-11 2019-05-14 河北工业大学 动态人脸表情识别方法
CN109753922A (zh) * 2018-12-29 2019-05-14 北京建筑大学 基于稠密卷积神经网络的仿人机器人表情识别方法
CN109815924A (zh) * 2019-01-29 2019-05-28 成都旷视金智科技有限公司 表情识别方法、装置及系统
CN109829441A (zh) * 2019-02-19 2019-05-31 山东大学 一种基于课程学习的面部表情识别方法及装置
CN109829491A (zh) * 2019-01-22 2019-05-31 开易（北京）科技有限公司 用于图像检测的信息处理方法、装置以及存储介质
CN109902553A (zh) * 2019-01-03 2019-06-18 杭州电子科技大学 一种基于面部像素差的多角度的人脸对齐方法
CN109934204A (zh) * 2019-03-22 2019-06-25 重庆邮电大学 一种基于卷积神经网络的人脸表情识别方法
CN109948454A (zh) * 2019-02-25 2019-06-28 深圳大学 表情数据库的增强方法、训练方法、计算设备及存储介质
CN109948541A (zh) * 2019-03-19 2019-06-28 西京学院 一种面部情感识别方法与系统
CN110008876A (zh) * 2019-03-26 2019-07-12 电子科技大学 一种基于数据增强与特征融合的人脸验证方法
CN110020582A (zh) * 2018-12-10 2019-07-16 平安科技（深圳）有限公司 基于深度学习的人脸情绪识别方法、装置、设备及介质
CN110287759A (zh) * 2019-03-25 2019-09-27 广东工业大学 一种基于简化输入卷积神经网络o-cnn的眼部疲劳检测方法
CN110338759A (zh) * 2019-06-27 2019-10-18 嘉兴深拓科技有限公司 一种正面疼痛表情数据采集方法
CN110348350A (zh) * 2019-07-01 2019-10-18 电子科技大学 一种基于面部表情的驾驶员状态检测方法
CN110353693A (zh) * 2019-07-09 2019-10-22 中国石油大学(华东) 一种基于WiFi的手写字母识别方法及系统
CN110473630A (zh) * 2019-09-28 2019-11-19 马学磊 一种肿瘤患者心理痛苦评估仪及其评估方法
CN110490892A (zh) * 2019-07-03 2019-11-22 中山大学 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法
CN110555401A (zh) * 2019-08-26 2019-12-10 浙江大学 一种基于表情识别的自适应情感表达系统及方法
CN110660454A (zh) * 2019-09-28 2020-01-07 马学磊 一种癌痛实时评估仪及其评估方法
CN110675324A (zh) * 2018-07-02 2020-01-10 上海寰声智能科技有限公司 4k超高清图像清晰化处理方法
CN111008589A (zh) * 2019-12-02 2020-04-14 杭州网易云音乐科技有限公司 人脸关键点检测方法、介质、装置和计算设备
CN111126173A (zh) * 2019-12-04 2020-05-08 玉林师范学院 一种高精度人脸检测方法
CN111126364A (zh) * 2020-03-30 2020-05-08 北京建筑大学 一种基于分组卷积神经网络的表情识别方法
WO2020097936A1 (zh) * 2018-11-16 2020-05-22 华为技术有限公司 一种神经网络压缩方法和装置
CN111274895A (zh) * 2020-01-15 2020-06-12 新疆大学 基于空洞卷积的cnn微表情识别方法
CN111401415A (zh) * 2020-03-02 2020-07-10 北京三快在线科技有限公司 计算机视觉任务模型的训练方法、装置、设备和存储介质
CN111414825A (zh) * 2020-03-13 2020-07-14 玉林师范学院 一种安全帽佩戴检测方法
CN111444787A (zh) * 2020-03-12 2020-07-24 江西赣鄱云新型智慧城市技术研究有限公司 一种性别约束的全智能化人脸表情识别方法及系统
CN111449644A (zh) * 2020-03-19 2020-07-28 复旦大学 一种基于时频变换和数据增强技术的生物电信号分类方法
CN111581412A (zh) * 2020-06-10 2020-08-25 腾讯科技（深圳）有限公司 人脸形状库的构建方法、装置、设备及存储介质
CN111652146A (zh) * 2020-06-03 2020-09-11 陕西科技大学 一种养老院老人面部情感状况检测方法
WO2020182121A1 (zh) * 2019-03-14 2020-09-17 腾讯科技（深圳）有限公司 表情识别方法及相关装置
CN111709278A (zh) * 2020-04-30 2020-09-25 北京航空航天大学 一种识别猕猴面部表情的方法
CN111860451A (zh) * 2020-08-03 2020-10-30 宿州小马电子商务有限公司 一种基于人脸表情识别的游戏交互方法
CN112101293A (zh) * 2020-09-27 2020-12-18 深圳市灼华网络科技有限公司 人脸表情的识别方法、装置、设备及存储介质
CN112161173A (zh) * 2020-09-10 2021-01-01 国网河北省电力有限公司检修分公司 一种电网布线参数检测装置及检测方法
WO2021012406A1 (zh) * 2019-07-19 2021-01-28 深圳市商汤科技有限公司 批归一化数据的处理方法及装置、电子设备和存储介质
CN112381047A (zh) * 2020-11-30 2021-02-19 华南理工大学 一种人脸表情图像的增强识别方法
CN112541422A (zh) * 2020-12-08 2021-03-23 北京科技大学 光照和头部姿态鲁棒的表情识别方法、设备及存储介质
CN112836679A (zh) * 2021-03-03 2021-05-25 青岛大学 一种基于双模型概率优化的快速表情识别算法和系统
CN113392705A (zh) * 2021-05-13 2021-09-14 电子科技大学 一种基于卷积神经网络的沙漠地区管道泄漏目标识别方法
CN113762107A (zh) * 2021-08-23 2021-12-07 海宁奕斯伟集成电路设计有限公司 对象状态评估方法、装置、电子设备及可读存储介质
CN113837020A (zh) * 2021-08-31 2021-12-24 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN114503162A (zh) * 2019-10-04 2022-05-13 三菱电机株式会社 具有不确定性的特征点位置估计的图像处理系统和方法
US11403487B2 (en) 2020-09-29 2022-08-02 Alipay (Hangzhou) Information Technology Co., Ltd. Enhanced training method and apparatus for image recognition model
CN118522062A (zh) * 2024-07-24 2024-08-20 杭州名光微电子科技有限公司 一种畸变校正人脸识别大角度识别算法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080063263A1 (en) * 2006-09-08 2008-03-13 Li Zhang Method for outlining and aligning a face in face processing of an image
CN104463100A (zh) * 2014-11-07 2015-03-25 重庆邮电大学 基于面部表情识别模式的智能轮椅人机交互系统及方法
CN105320961A (zh) * 2015-10-16 2016-02-10 重庆邮电大学 基于卷积神经网络和支持向量机的手写数字识别方法
CN106919897A (zh) * 2016-12-30 2017-07-04 华北电力大学（保定） 一种基于三级残差网络的人脸图像年龄估计方法
CN106934381A (zh) * 2017-03-20 2017-07-07 成都通甲优博科技有限责任公司 一种人脸识别跟踪方法
CN107045618A (zh) * 2016-02-05 2017-08-15 北京陌上花科技有限公司 一种人脸表情识别方法及装置
CN107085704A (zh) * 2017-03-27 2017-08-22 杭州电子科技大学 基于elm自编码算法的快速人脸表情识别方法
CN107316261A (zh) * 2017-07-10 2017-11-03 湖北科技学院 一种基于人脸分析的教学质量评估系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080063263A1 (en) * 2006-09-08 2008-03-13 Li Zhang Method for outlining and aligning a face in face processing of an image
CN104463100A (zh) * 2014-11-07 2015-03-25 重庆邮电大学 基于面部表情识别模式的智能轮椅人机交互系统及方法
CN105320961A (zh) * 2015-10-16 2016-02-10 重庆邮电大学 基于卷积神经网络和支持向量机的手写数字识别方法
CN107045618A (zh) * 2016-02-05 2017-08-15 北京陌上花科技有限公司 一种人脸表情识别方法及装置
CN106919897A (zh) * 2016-12-30 2017-07-04 华北电力大学（保定） 一种基于三级残差网络的人脸图像年龄估计方法
CN106934381A (zh) * 2017-03-20 2017-07-07 成都通甲优博科技有限责任公司 一种人脸识别跟踪方法
CN107085704A (zh) * 2017-03-27 2017-08-22 杭州电子科技大学 基于elm自编码算法的快速人脸表情识别方法
CN107316261A (zh) * 2017-07-10 2017-11-03 湖北科技学院 一种基于人脸分析的教学质量评估系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ALI MOLLAHOSSEINI 等: "Going Deeper in Facial Expression Recognition using Deep Neural Networks", 《2016 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV)》 *
SERGEY IOFFE 等: "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift", 《ARXIV》 *
ZHIDING YU 等: "Image based Static Facial Expression Recognition with Multiple Deep Network Learning", 《2015 ACM》 *
孟繁特: "人脸识别关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李蕊: "局部遮挡条件下的鲁棒表情识别方法研究与系统实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805094A (zh) * 2018-06-19 2018-11-13 合肥工业大学 基于人工脸的数据增强方法
CN109064434A (zh) * 2018-06-28 2018-12-21 广州视源电子科技股份有限公司 图像增强的方法、装置、存储介质及计算机设备
CN110675324A (zh) * 2018-07-02 2020-01-10 上海寰声智能科技有限公司 4k超高清图像清晰化处理方法
CN110675324B (zh) * 2018-07-02 2023-10-10 上海寰声智能科技有限公司 4k超高清图像清晰化处理方法
CN109389074A (zh) * 2018-09-29 2019-02-26 东北大学 一种基于人脸特征点提取的表情识别方法
CN109389074B (zh) * 2018-09-29 2022-07-01 东北大学 一种基于人脸特征点提取的表情识别方法
CN113302657A (zh) * 2018-11-16 2021-08-24 华为技术有限公司 一种神经网络压缩方法和装置
WO2020097936A1 (zh) * 2018-11-16 2020-05-22 华为技术有限公司 一种神经网络压缩方法和装置
CN113302657B (zh) * 2018-11-16 2024-04-26 华为技术有限公司 一种神经网络压缩方法和装置
CN110020582A (zh) * 2018-12-10 2019-07-16 平安科技（深圳）有限公司 基于深度学习的人脸情绪识别方法、装置、设备及介质
CN110020582B (zh) * 2018-12-10 2023-11-24 平安科技（深圳）有限公司 基于深度学习的人脸情绪识别方法、装置、设备及介质
CN109376717A (zh) * 2018-12-14 2019-02-22 中科软科技股份有限公司 人脸对比的身份识别方法、装置、电子设备及存储介质
CN109753922A (zh) * 2018-12-29 2019-05-14 北京建筑大学 基于稠密卷积神经网络的仿人机器人表情识别方法
CN109902553A (zh) * 2019-01-03 2019-06-18 杭州电子科技大学 一种基于面部像素差的多角度的人脸对齐方法
CN109902553B (zh) * 2019-01-03 2020-11-17 杭州电子科技大学 一种基于面部像素差的多角度的人脸对齐方法
CN109829491A (zh) * 2019-01-22 2019-05-31 开易（北京）科技有限公司 用于图像检测的信息处理方法、装置以及存储介质
CN109815924A (zh) * 2019-01-29 2019-05-28 成都旷视金智科技有限公司 表情识别方法、装置及系统
CN109753950A (zh) * 2019-02-11 2019-05-14 河北工业大学 动态人脸表情识别方法
CN109753950B (zh) * 2019-02-11 2020-08-04 河北工业大学 动态人脸表情识别方法
CN109829441A (zh) * 2019-02-19 2019-05-31 山东大学 一种基于课程学习的面部表情识别方法及装置
CN109948454A (zh) * 2019-02-25 2019-06-28 深圳大学 表情数据库的增强方法、训练方法、计算设备及存储介质
CN109948454B (zh) * 2019-02-25 2022-11-22 深圳大学 表情数据库的增强方法、训练方法、计算设备及存储介质
WO2020182121A1 (zh) * 2019-03-14 2020-09-17 腾讯科技（深圳）有限公司 表情识别方法及相关装置
US12094247B2 (en) 2019-03-14 2024-09-17 Tencent Technology (Shenzhen) Company Limited Expression recognition method and related apparatus
CN109948541A (zh) * 2019-03-19 2019-06-28 西京学院 一种面部情感识别方法与系统
CN109934204A (zh) * 2019-03-22 2019-06-25 重庆邮电大学 一种基于卷积神经网络的人脸表情识别方法
CN110287759A (zh) * 2019-03-25 2019-09-27 广东工业大学 一种基于简化输入卷积神经网络o-cnn的眼部疲劳检测方法
CN110008876A (zh) * 2019-03-26 2019-07-12 电子科技大学 一种基于数据增强与特征融合的人脸验证方法
CN110338759B (zh) * 2019-06-27 2020-06-09 嘉兴深拓科技有限公司 一种正面疼痛表情数据采集方法
CN110338759A (zh) * 2019-06-27 2019-10-18 嘉兴深拓科技有限公司 一种正面疼痛表情数据采集方法
CN110348350A (zh) * 2019-07-01 2019-10-18 电子科技大学 一种基于面部表情的驾驶员状态检测方法
CN110348350B (zh) * 2019-07-01 2022-03-25 电子科技大学 一种基于面部表情的驾驶员状态检测方法
CN110490892A (zh) * 2019-07-03 2019-11-22 中山大学 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法
CN110353693A (zh) * 2019-07-09 2019-10-22 中国石油大学(华东) 一种基于WiFi的手写字母识别方法及系统
WO2021012406A1 (zh) * 2019-07-19 2021-01-28 深圳市商汤科技有限公司 批归一化数据的处理方法及装置、电子设备和存储介质
CN110555401B (zh) * 2019-08-26 2022-05-03 浙江大学 一种基于表情识别的自适应情感表达系统及方法
CN110555401A (zh) * 2019-08-26 2019-12-10 浙江大学 一种基于表情识别的自适应情感表达系统及方法
CN110473630A (zh) * 2019-09-28 2019-11-19 马学磊 一种肿瘤患者心理痛苦评估仪及其评估方法
CN110660454A (zh) * 2019-09-28 2020-01-07 马学磊 一种癌痛实时评估仪及其评估方法
CN114503162A (zh) * 2019-10-04 2022-05-13 三菱电机株式会社 具有不确定性的特征点位置估计的图像处理系统和方法
CN111008589A (zh) * 2019-12-02 2020-04-14 杭州网易云音乐科技有限公司 人脸关键点检测方法、介质、装置和计算设备
CN111008589B (zh) * 2019-12-02 2024-04-09 杭州网易云音乐科技有限公司 人脸关键点检测方法、介质、装置和计算设备
CN111126173B (zh) * 2019-12-04 2023-05-26 玉林师范学院 一种高精度人脸检测方法
CN111126173A (zh) * 2019-12-04 2020-05-08 玉林师范学院 一种高精度人脸检测方法
CN111274895A (zh) * 2020-01-15 2020-06-12 新疆大学 基于空洞卷积的cnn微表情识别方法
CN111401415A (zh) * 2020-03-02 2020-07-10 北京三快在线科技有限公司 计算机视觉任务模型的训练方法、装置、设备和存储介质
CN111444787B (zh) * 2020-03-12 2023-04-07 江西赣鄱云新型智慧城市技术研究有限公司 一种性别约束的全智能化人脸表情识别方法及系统
CN111444787A (zh) * 2020-03-12 2020-07-24 江西赣鄱云新型智慧城市技术研究有限公司 一种性别约束的全智能化人脸表情识别方法及系统
CN111414825B (zh) * 2020-03-13 2023-09-08 玉林师范学院 一种安全帽佩戴检测方法
CN111414825A (zh) * 2020-03-13 2020-07-14 玉林师范学院 一种安全帽佩戴检测方法
CN111449644A (zh) * 2020-03-19 2020-07-28 复旦大学 一种基于时频变换和数据增强技术的生物电信号分类方法
CN111126364A (zh) * 2020-03-30 2020-05-08 北京建筑大学 一种基于分组卷积神经网络的表情识别方法
CN111709278A (zh) * 2020-04-30 2020-09-25 北京航空航天大学 一种识别猕猴面部表情的方法
CN111652146A (zh) * 2020-06-03 2020-09-11 陕西科技大学 一种养老院老人面部情感状况检测方法
CN111652146B (zh) * 2020-06-03 2023-03-24 陕西科技大学 一种养老院老人面部情感状况检测方法
CN111581412A (zh) * 2020-06-10 2020-08-25 腾讯科技（深圳）有限公司 人脸形状库的构建方法、装置、设备及存储介质
CN111581412B (zh) * 2020-06-10 2023-11-10 腾讯科技（深圳）有限公司 人脸形状库的构建方法、装置、设备及存储介质
CN111860451A (zh) * 2020-08-03 2020-10-30 宿州小马电子商务有限公司 一种基于人脸表情识别的游戏交互方法
CN112161173A (zh) * 2020-09-10 2021-01-01 国网河北省电力有限公司检修分公司 一种电网布线参数检测装置及检测方法
CN112101293A (zh) * 2020-09-27 2020-12-18 深圳市灼华网络科技有限公司 人脸表情的识别方法、装置、设备及存储介质
TWI777536B (zh) * 2020-09-29 2022-09-11 大陸商支付寶（杭州）信息技術有限公司 針對圖像識別模型的增強訓練方法及裝置
US11403487B2 (en) 2020-09-29 2022-08-02 Alipay (Hangzhou) Information Technology Co., Ltd. Enhanced training method and apparatus for image recognition model
CN112381047B (zh) * 2020-11-30 2023-08-22 华南理工大学 一种人脸表情图像的增强识别方法
CN112381047A (zh) * 2020-11-30 2021-02-19 华南理工大学 一种人脸表情图像的增强识别方法
CN112541422B (zh) * 2020-12-08 2024-03-12 北京科技大学 光照和头部姿态鲁棒的表情识别方法、设备及存储介质
CN112541422A (zh) * 2020-12-08 2021-03-23 北京科技大学 光照和头部姿态鲁棒的表情识别方法、设备及存储介质
CN112836679A (zh) * 2021-03-03 2021-05-25 青岛大学 一种基于双模型概率优化的快速表情识别算法和系统
CN113392705A (zh) * 2021-05-13 2021-09-14 电子科技大学 一种基于卷积神经网络的沙漠地区管道泄漏目标识别方法
CN113762107A (zh) * 2021-08-23 2021-12-07 海宁奕斯伟集成电路设计有限公司 对象状态评估方法、装置、电子设备及可读存储介质
CN113762107B (zh) * 2021-08-23 2024-05-07 海宁奕斯伟集成电路设计有限公司 对象状态评估方法、装置、电子设备及可读存储介质
CN113837020A (zh) * 2021-08-31 2021-12-24 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN113837020B (zh) * 2021-08-31 2024-02-02 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN118522062A (zh) * 2024-07-24 2024-08-20 杭州名光微电子科技有限公司 一种畸变校正人脸识别大角度识别算法

Similar Documents

Publication Publication Date Title
CN108108677A (zh) 一种基于改进的cnn人脸表情识别方法
Shan et al. Automatic facial expression recognition based on a deep convolutional-neural-network structure
CN105069400B (zh) 基于栈式稀疏自编码的人脸图像性别识别系统
CN104866810B (zh) 一种深度卷积神经网络的人脸识别方法
Zhang et al. A convolutional neural network for leaves recognition using data augmentation
CN112800903B (zh) 一种基于时空图卷积神经网络的动态表情识别方法及系统
CN106295694B (zh) 一种迭代重约束组稀疏表示分类的人脸识别方法
JP6788264B2 (ja) 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム
CN112052886A (zh) 基于卷积神经网络的人体动作姿态智能估计方法及装置
Jiao et al. A modified convolutional neural network for face sketch synthesis
CN108596833A (zh) 超分辨率图像重构方法、装置、设备及可读存储介质
CN109255340A (zh) 一种融合多种改进vgg网络的人脸识别方法
CN106503661B (zh) 基于烟花深度信念网络的人脸性别识别方法
CN112784763A (zh) 基于局部与整体特征自适应融合的表情识别方法及系统
CN108921019A (zh) 一种基于GEI和TripletLoss-DenseNet的步态识别方法
CN108520213B (zh) 一种基于多尺度深度的人脸美丽预测方法
CN112232184B (zh) 一种基于深度学习和空间转换网络的多角度人脸识别方法
CN110598552A (zh) 基于改进粒子群算法优化卷积神经网络的表情识别方法
CN106611156B (zh) 一种自适应深度空间特征的行人识别方法和系统
CN113763417B (zh) 一种基于孪生网络和残差结构的目标跟踪方法
CN109522865A (zh) 一种基于深度神经网络的特征加权融合人脸识别方法
CN110287759B (zh) 一种基于简化输入卷积神经网络o-cnn的眼部疲劳检测方法
CN110135435B (zh) 一种基于广度学习系统的显著性检测方法及装置
CN112560824B (zh) 一种基于多特征自适应融合的人脸表情识别方法
CN113297964B (zh) 基于深度迁移学习的视频目标识别模型及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180601

RJ01 Rejection of invention patent application after publication