CN110363099A - 一种基于局部并行深度神经网络的表情识别方法 - Google Patents

一种基于局部并行深度神经网络的表情识别方法 Download PDF

Info

Publication number
CN110363099A
CN110363099A CN201910548172.5A CN201910548172A CN110363099A CN 110363099 A CN110363099 A CN 110363099A CN 201910548172 A CN201910548172 A CN 201910548172A CN 110363099 A CN110363099 A CN 110363099A
Authority
CN
China
Prior art keywords
layer
neuron
neural network
characteristic pattern
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910548172.5A
Other languages
English (en)
Inventor
刘辉
杨旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201910548172.5A priority Critical patent/CN110363099A/zh
Publication of CN110363099A publication Critical patent/CN110363099A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于局部并行深度神经网络的表情识别方法，属于目标检测和计算机视觉技术领域。首先建立深度神经网络，再通过稀疏自编码器进行训练，然后对特征图进行池化，从而使特征图具有平移不变性，最后通过与表情相关的6个并行的5层网络得到最终的分类结果。本发明提出的局部并行深度神经网络的表情识别方法对测试集的人不出现在训练集中的情况有较好表现，更具有实用性。

Description

一种基于局部并行深度神经网络的表情识别方法
技术领域
本发明涉及一种基于局部并行深度神经网络的表情识别方法，属于目标检测和计算机视觉技术领域。
背景技术
计算机视觉的一个核心任务是使用具有鲁棒性的特征来表征复杂多变的图像信息，并忽略噪声部分。在大多数情况下相同身份不同表情之间的差异要小于不同身份相同表情之间的差异。20世纪7O年代美国心理学家Ekman和Friesent通过充分的测试实验，定义了人类的6种基本表情：高兴(Happy)、生气(Angry)、吃惊(Surprise)、恐惧(Fear)、厌恶(Disgust)和悲伤(Sad)，目前国外常用的表情识别方法简介如下：
基于几何特征提取的方法：是指对嘴、眉毛、鼻子、眼睛等这些人脸表情的显著特征的形状和位置变化进行定位和测量，确定它的形状、大小、距离及相互比例，进行表情识别的方法。
基于统计特征提取的方法：统计特征是基于图像的整体灰度特征，它强调尽可能多的保留原始人脸表情图像中的信息，通过对整幅人脸表情图像或其中特别的区域进行变换，以此获取人脸各种表情的特征来进行识别。但是在PCA中，只有图像数据当中的二阶统计信息被考虑到了，而高阶统计信息并没有利用到。
基于频率域特征提取的方法：Gabor小波核函数具有与人类大脑皮层简单细胞的二维反射区相同的特性，它相当于一组窄带带通滤波器，其方向、基频带宽及中心频率均可以调节，具有明显的方向选择和频率选择特性。将人脸分为上下两个部分，在标成一个个的运动单元，运用Gabor小波对脸部运动单元进行识别，最后结合几何特征进行表情识别。
基于运动和形变特征提取的方法：关注有面部表情引起的面部变化，一中性脸作为参考面，首先分析各个面部特征区域内的形变或运动信息，然后通过这些信息构建特征向量进行表情识别。
基于模型的方法：以图像中人脸对象的形状和纹理结构为基础建立二维或三维模型，以此模型的参数来适配人脸图像中的人脸部分，这些模型的参数就是所提取的特征。
发明内容
本发明要解决的技术问题是提供一种基于局部并行深度神经网络的表情识别方法，用于解决上述问题。
本发明的技术方案是：一种基于局部并行深度神经网络的表情识别方法，首先建立深度神经网络，再通过稀疏自编码器进行训练，然后对特征图进行池化，从而使特征图具有平移不变性，最后通过与表情相关的6个并行的5层网络得到最终的分类结果。
所述通过稀疏自编码器进行训练之前，将人脸头像利用Adaboost方法定位双眼位置，自动裁剪出人脸图像，裁剪出人脸图像200张，数据来自于CK人脸表情库，再归一化到48×48大小的灰度图像，再在每一张人脸上随机选取30个14×14的图像块、30个18×18的图像块，2个尺度的图像块各约6000张，分别用来训练2个稀疏自编码器，提取169个14×14和256个18×18的卷积核；
使用得到的稀疏自编码器的中间层神经元的连接权值作为卷积核，对整个图像进行卷积操作；
fi(x)＝σ(conv(W，x)+α)
其中conv(·)为卷积操作，σ(·)表示对整个图像操作，W为中间层神经元的连接权值，α为偏置系数；
对特征图进行池化(max-pooling)操作，先将特征图划为L个区域qm(尽量等分)：
卷积特征提取方法在每个卷积核的特征图上得到4×4个池化操作后的特征，这样，一共就得到16×(169+256)＝6800个特征；
将这些特征作为训练样本，利用本发明提出的并行网络进行训练，训练时，每一个网络分为5层，第1层6800个神经元，第2层1000个神经元，第3层100个神经元，第4层10个神经元，第5层1个神经元，除最后一层的参数外，都利用SAE逐层预训练，对6类样本对应的网络使用相同的方法构建6个并行的网络，最后用整体的损失函数用BP算法进行微调。
本发明的有益效果是：该局部并行深度神经网络的表情识别方法，在人脸表情识别中有很高的精度。
附图说明
图1是本发明的流程图；
图2是本发明所采用的局部并行深度神经网络结构示意图；
图3是本发明所采用的并行网络结构示意图。
具体实施方式
下面结合附图和具体实施方式，对本发明作进一步说明。
实施例1：如图1-3所示，一种基于局部并行深度神经网络的表情识别方法，首先建立深度神经网络，再通过稀疏自编码器进行训练，然后对特征图进行池化，从而使特征图具有平移不变性，最后通过与表情相关的6个并行的5层网络得到最终的分类结果。
所述通过稀疏自编码器进行训练之前，将人脸头像利用Adaboost方法定位双眼位置，自动裁剪出人脸图像，裁剪出人脸图像200张，数据来自于CK人脸表情库，再归一化到48×48大小的灰度图像，再在每一张人脸上随机选取30个14×14的图像块、30个18×18的图像块，2个尺度的图像块各约6000张，分别用来训练2个稀疏自编码器，提取169个14×14和256个18×18的卷积核；
使用得到的稀疏自编码器的中间层神经元的连接权值作为卷积核，对整个图像进行卷积操作；
fi(x)＝σ(conv(W，x)+α)
其中conv(·)为卷积操作，σ(·)表示对整个图像操作，W为中间层神经元的连接权值，α为偏置系数；
对特征图进行池化(max-pooling)操作，先将特征图划为L个区域qm(尽量等分)：
卷积特征提取方法在每个卷积核的特征图上得到4×4个池化操作后的特征，这样，一共就得到16×(169+256)＝6800个特征；
将这些特征作为训练样本，利用本发明提出的并行网络进行训练，训练时，每一个网络分为5层，第1层6800个神经元，第2层1000个神经元，第3层100个神经元，第4层10个神经元，第5层1个神经元，除最后一层的参数外，都利用SAE逐层预训练，对6类样本对应的网络使用相同的方法构建6个并行的网络，最后用整体的损失函数用BP算法进行微调。
6个并行网络分别对应高兴、生气、吃惊、恐惧、厌恶和悲伤。并行网络响应利用步骤3中的方法提取到的多尺度卷积特征，某一个网络响应最高，即样本属于相应的网络代表的那一类表情。并行网络结构如图三所示，其中每类样本都对应一个神经网络，每个神经网络训练时只使用对应类的样本，每个神经网络总共5层，最后一层只有一个神经元，其值代表该类网络对样本的响应，值越高，样本属于该类的概率越大。
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (2)

1.一种基于局部并行深度神经网络的表情识别方法，其特征在于：首先建立深度神经网络，再通过稀疏自编码器进行训练，然后对特征图进行池化，从而使特征图具有平移不变性，最后通过与表情相关的6个并行的5层网络得到最终的分类结果。
2.根据权利要求1所述的基于局部并行深度神经网络的表情识别方法，其特征在于：所述通过稀疏自编码器进行训练之前，将人脸头像利用Adaboost方法定位双眼位置，自动裁剪出人脸图像，裁剪出人脸图像200张，数据来自于CK人脸表情库，再归一化到48×48大小的灰度图像，再在每一张人脸上随机选取30个14×14的图像块、30个18×18的图像块，2个尺度的图像块各约6000张，分别用来训练2个稀疏自编码器，提取169个14×14和256个18×18的卷积核；
使用得到的稀疏自编码器的中间层神经元的连接权值作为卷积核，对整个图像进行卷积操作；
f1(x)＝σ(conv(W，x)+α)
其中conv(·)为卷积操作，σ(·)表示对整个图像操作，W为中间层神经元的连接权值，α为偏置系数；
对特征图进行池化(max-pooling)操作，先将特征图划为L个区域qm(尽量等分)：
卷积特征提取方法在每个卷积核的特征图上得到4×4个池化操作后的特征，这样，一共就得到16×(169+256)＝6800个特征；
将这些特征作为训练样本，利用本发明提出的并行网络进行训练，训练时，每一个网络分为5层，第1层6800个神经元，第2层1000个神经元，第3层100个神经元，第4层10个神经元，第5层1个神经元，除最后一层的参数外，都利用SAE逐层预训练，对6类样本对应的网络使用相同的方法构建6个并行的网络，最后用整体的损失函数用BP算法进行微调。
CN201910548172.5A 2019-06-24 2019-06-24 一种基于局部并行深度神经网络的表情识别方法 Pending CN110363099A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910548172.5A CN110363099A (zh) 2019-06-24 2019-06-24 一种基于局部并行深度神经网络的表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910548172.5A CN110363099A (zh) 2019-06-24 2019-06-24 一种基于局部并行深度神经网络的表情识别方法

Publications (1)

Publication Number Publication Date
CN110363099A true CN110363099A (zh) 2019-10-22

Family

ID=68215837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910548172.5A Pending CN110363099A (zh) 2019-06-24 2019-06-24 一种基于局部并行深度神经网络的表情识别方法

Country Status (1)

Country Link
CN (1) CN110363099A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874591A (zh) * 2020-01-20 2020-03-10 广东博智林机器人有限公司 一种图像定位方法、装置、设备及存储介质
CN112801040A (zh) * 2021-03-08 2021-05-14 重庆邮电大学 嵌入高阶信息的轻量级无约束人脸表情识别方法及系统
CN113030849A (zh) * 2021-03-04 2021-06-25 西北工业大学 一种基于自编码器与并行网络的近场源定位方法
CN113093282A (zh) * 2021-04-18 2021-07-09 吉林大学 一种基于几何模态特征并行网络的沙漠数据消噪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361328A (zh) * 2014-11-21 2015-02-18 中国科学院重庆绿色智能技术研究院 一种基于自适应多列深度模型的人脸图像正规化方法
CN106980830A (zh) * 2017-03-17 2017-07-25 中国人民解放军国防科学技术大学 一种基于深度卷积网络自亲缘关系识别方法与装置
CN107316015A (zh) * 2017-06-19 2017-11-03 南京邮电大学 一种基于深度时空特征的高精度面部表情识别方法
CN107563430A (zh) * 2017-08-28 2018-01-09 昆明理工大学 一种基于稀疏自动编码器和灰度关联分析法的卷积神经网络算法优化方法
US20180114057A1 (en) * 2016-10-21 2018-04-26 Samsung Electronics Co., Ltd. Method and apparatus for recognizing facial expression

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361328A (zh) * 2014-11-21 2015-02-18 中国科学院重庆绿色智能技术研究院 一种基于自适应多列深度模型的人脸图像正规化方法
US20180114057A1 (en) * 2016-10-21 2018-04-26 Samsung Electronics Co., Ltd. Method and apparatus for recognizing facial expression
CN106980830A (zh) * 2017-03-17 2017-07-25 中国人民解放军国防科学技术大学 一种基于深度卷积网络自亲缘关系识别方法与装置
CN107316015A (zh) * 2017-06-19 2017-11-03 南京邮电大学 一种基于深度时空特征的高精度面部表情识别方法
CN107563430A (zh) * 2017-08-28 2018-01-09 昆明理工大学 一种基于稀疏自动编码器和灰度关联分析法的卷积神经网络算法优化方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WENYUNSUN等: "A visual attention based ROI detection method for facial expression recognition", 《NEUROCOMPUTING》 *
张慈祥 等: "基于稀疏表示和奇异值分解的人脸识别", 《计算机应用》 *
王剑云 等: "一种基于深度学习的表情识别方法", 《计算机与现代化》 *
王鑫: "基于SAE和深度神经网络相结合的人脸特征提取与识别", 《移动通信》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874591A (zh) * 2020-01-20 2020-03-10 广东博智林机器人有限公司 一种图像定位方法、装置、设备及存储介质
CN110874591B (zh) * 2020-01-20 2020-07-28 广东博智林机器人有限公司 一种图像定位方法、装置、设备及存储介质
CN113030849A (zh) * 2021-03-04 2021-06-25 西北工业大学 一种基于自编码器与并行网络的近场源定位方法
CN113030849B (zh) * 2021-03-04 2023-06-30 西北工业大学 一种基于自编码器与并行网络的近场源定位方法
CN112801040A (zh) * 2021-03-08 2021-05-14 重庆邮电大学 嵌入高阶信息的轻量级无约束人脸表情识别方法及系统
CN113093282A (zh) * 2021-04-18 2021-07-09 吉林大学 一种基于几何模态特征并行网络的沙漠数据消噪方法

Similar Documents

Publication Publication Date Title
Zhang et al. A face emotion recognition method using convolutional neural network and image edge computing
CN107633513B (zh) 基于深度学习的3d图像质量的度量方法
Pitaloka et al. Enhancing CNN with preprocessing stage in automatic emotion recognition
CN110363099A (zh) 一种基于局部并行深度神经网络的表情识别方法
CN107273845B (zh) 一种基于置信区域和多特征加权融合的人脸表情识别方法
CN109711283B (zh) 一种联合双字典和误差矩阵的遮挡表情识别方法
CN109492529A (zh) 一种多尺度特征提取及全局特征融合的人脸表情识别方法
CN108830237B (zh) 一种人脸表情的识别方法
CN110930297B (zh) 人脸图像的风格迁移方法、装置、电子设备及存储介质
CN104268593A (zh) 一种小样本情况下多稀疏表示的人脸识别方法
CN104850825A (zh) 一种基于卷积神经网络的人脸图像颜值计算方法
CN108629338A (zh) 一种基于lbp和卷积神经网络的人脸美丽预测方法
Singh et al. Deep learning and machine learning based facial emotion detection using CNN
Pathar et al. Human emotion recognition using convolutional neural network in real time
CN111967363B (zh) 一种基于微表情识别和眼动追踪的对情绪预测的方法
CN110909680A (zh) 人脸图像的表情识别方法、装置、电子设备及存储介质
CN113239839B (zh) 基于dca人脸特征融合的表情识别方法
Pandey et al. Improving facial emotion recognition systems using gradient and laplacian images
CN115966010A (zh) 一种基于注意力和多尺度特征融合的表情识别方法
Xu et al. Face expression recognition based on convolutional neural network
Refat et al. Deep learning methods for facial expression recognition
Sulistianingsih et al. Classification of batik image using grey level co-occurrence matrix feature extraction and correlation based feature selection
Priatama et al. Hand gesture recognition using discrete wavelet transform and convolutional neural network
CN112766145B (zh) 人工神经网络的人脸动态表情识别方法及装置
Aulia et al. Personality identification based on handwritten signature using convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191022