CN112560730A - 一种基于Dlib与人工神经网络的人脸表情识别方法 - Google Patents
一种基于Dlib与人工神经网络的人脸表情识别方法 Download PDFInfo
- Publication number
- CN112560730A CN112560730A CN202011530196.7A CN202011530196A CN112560730A CN 112560730 A CN112560730 A CN 112560730A CN 202011530196 A CN202011530196 A CN 202011530196A CN 112560730 A CN112560730 A CN 112560730A
- Authority
- CN
- China
- Prior art keywords
- emotion
- expression recognition
- neural network
- face
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000008921 facial expression Effects 0.000 title claims abstract description 15
- 230000008451 emotion Effects 0.000 claims abstract description 49
- 230000014509 gene expression Effects 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 230000008909 emotion recognition Effects 0.000 claims abstract description 9
- 210000002569 neuron Anatomy 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 abstract description 4
- 238000005286 illumination Methods 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 33
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于Dlib与人工神经网络的人脸表情识别方法，是通过Dlib对人脸图像进行人脸关键点检测，形成关键点图像，以关键点图像制作的情绪数据集对表情识别神经网络进行训练测试，将表情识别神经网络收敛为表情识别模型，在对需要情绪识别的人体对象拍摄成像后，通过Dlib检测出人脸关键点并形成识别图像，将识别图像输入至表情识别模型中得出人体对象的情绪结果，该情绪结果的获取不受光照等外部环境影响，且具有使用快速便捷、识别率极高的优点。
Description
技术领域
本发明涉及一种人脸表情识别方法，特别是一种基于Dlib与人工神经网络的人脸表情识别方法。
背景技术
人脸表情与情绪的识别多应用在教育、医疗、心理学、自动驾驶、安防、智能零售等领域，现有技术中的人脸表情识别方法是对人脸直接做分类，实现情绪识别，但因该技术受环境影响较大，准确性不高，导致人脸表情识别的应用和发展受到限制。
发明内容
为了克服现有技术的不足，本发明提供一种基于Dlib与人工神经网络的人脸表情识别方法。
本发明解决其技术问题所采用的技术方案是：
一种基于Dlib与人工神经网络的人脸表情识别方法，包括以下步骤：
（1）、对人脸进行检测形成人脸图像，对人脸图像进行数据预处理；
（2）、通过Dlib库对人脸图像进行人脸关键点检测，形成具有人脸关键点的关键点图像；
（3）、以关键点图像制作情绪数据集，该数据集包括情绪训练集和情绪测试集；
（4）、构建表情识别神经网络，该表情识别神经网络包括输入层、隐藏层和输出层，隐藏层的层数为五；
（5）、对表情识别神经网络进行训练测试，将情绪训练集输入至表情识别神经网络的输入层，输入层将情绪训练集传送至隐藏层后，隐藏层通过激活函数将情绪训练集进行非线性分离拟合，并映射至输出层，令表情识别神经网络训练为表情识别模型，再通过情绪测试集完成表情识别模型的测试；
（6）、对需要情绪识别的人体对象拍摄成像，再通过Dlib库检测出人脸关键点并形成识别图像后，将识别图像输入至表情识别模型中，得出人体对象的情绪结果。
所述步骤2检测人脸图像的人脸关键点数量为68。
所述隐藏层的第一至第五层的神经元个数分别为5、10、15、20和30。
所述步骤5采用的激活函数为Relu6，损失函数为交叉熵损失。
所述步骤1的数据预处理是对所有的人脸图像进行归一化处理后对每一张人脸图像进行左右翻转，再对所有的人脸图像进行尺度缩放。
所述情绪数据集的情绪类别包括喜、怒、哀、乐、惊讶、恐惧和平静；所述情绪训练集与所述情绪测试集的图片数据比例为7：3。
本发明的有益效果是：本发明是通过Dlib对人脸图像进行人脸关键点检测，形成关键点图像，以关键点图像制作的情绪数据集对表情识别神经网络进行训练测试，将表情识别神经网络收敛为表情识别模型，在对需要情绪识别的人体对象拍摄成像后，通过Dlib检测出人脸关键点并形成识别图像，将识别图像输入至表情识别模型中得出人体对象的情绪结果，该情绪结果的获取不受光照等外部环境影响，且具有使用快速便捷、识别率极高的优点。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的方法流程图。
具体实施方式
参照图1，一种基于Dlib与人工神经网络的人脸表情识别方法，包括以下步骤：
（1）、对人脸进行检测形成人脸图像，人脸图像的获取可以通过显示拍摄以及网络图像实现，对人脸图像进行数据预处理，数据预处理是对所有的人脸图像进行归一化处理后对每一张人脸图像进行左右翻转，再对所有的人脸图像进行尺度缩放，在本实施例中的归一化处理主要是通过matlab中的premnmx函数对人脸图像进行处理，将其变成纯量，能加快训练表情识别神经网络的收敛，需要说明的是人脸图像在进行左右翻转后会形成新的图像副本，该图像副本同样作为新的人脸图像一起参与后序的情绪数据集制作，用以增加表情识别模型的普适性。
（2）、通过Dlib库对人脸图像进行人脸关键点检测，形成具有人脸关键点的关键点图像，Dlib库作为一个开源免费的工具能非常便捷地被获取并在PC上安装，利用其强大的图像特征提取功能可以精确快速地检测出人脸图像的人脸关键点，检测人脸图像的人脸关键点数量设定为68，是经过不同人脸关键点测试出的最为适合训练以及最终应用表情识别模型的个数，令得到的表情识别模型的识别效果最好，训练量最为适中。
（3）、以关键点图像制作情绪数据集，该数据集包括情绪训练集和情绪测试集，而所述情绪数据集的情绪类别包括喜、怒、哀、乐、惊讶、恐惧和平静；所述情绪训练集与所述情绪测试集的图片数据比例为7：3。
（4）、构建表情识别神经网络，该表情识别神经网络包括输入层、隐藏层和输出层，隐藏层的层数为五；对于一般简单的数据集，采用一或两层隐藏层足以，但对于涉及计算机视觉的复杂数据集，则需要额外增加层数，单层神经网络只能用于表示线性分离函数，层数越深，理论上拟合激活函数的能力更强，效果更好，但是实际上，更深的层数会增加训练难度，使模型难以收敛，另外，隐藏层中神经元个数过少将导致欠拟合现象，使用神经元过多同样会导致过拟合，采集出液体时域信号中包含的有限信息量不足以训练隐藏层中的所有神经元，因此就会导致过拟合，即使包含的信息量足够，隐藏层中过多的神经元会增加训练时间，从而难以达到预期的效果，因此，本实施例的隐藏层的层数为5，第一至第五层的神经元个数分别为5、10、15、20和30，在确保训练测试出的表情识别模型识别人脸表情效果最好，对表情识别神经网络训练最优的情况下限定最适量、最精简的隐藏层结构，输入层的神经元接受人脸关键点数据的输入，个数为136(68个关键点，每个关键点包包含x,y坐标)，输出层的神经元个数为7，与情绪类别一致，对应七种不同情绪的得分，计算得分方式采用Softmax，采用的激活函数为Relu6，损失函数为交叉熵损失。
（5）、对表情识别神经网络进行训练测试，将情绪训练集输入至表情识别神经网络的输入层，输入层将情绪训练集传送至隐藏层后，隐藏层通过激活函数将情绪训练集进行非线性分离拟合，并映射至输出层，令表情识别神经网络训练为表情识别模型，再通过情绪测试集完成表情识别模型的测试，在训练中采用阶梯式下降的学习率，标签采用one-hot处理，并采用Label Smoothing和L2正则化设置，使得表情识别神经网络收敛，在过程中不断观察情绪训练集的损失值与在测试集上的精度，确认表情识别神经网络收敛为表情识别模型，且在测试过程上表现最优即完成步骤5。
（6）、对需要情绪识别的人体对象拍摄成像，再通过Dlib库检测出人脸关键点并形成识别图像后，将识别图像输入至表情识别模型中，得出人体对象的情绪结果，该情绪结果的获取不受光照等外部环境影响，且具有使用快速便捷、识别率极高的优点。
以上的实施方式不能限定本发明创造的保护范围，专业技术领域的人员在不脱离本发明创造整体构思的情况下，所做的均等修饰与变化，均仍属于本发明创造涵盖的范围之内。
Claims (6)
1.一种基于Dlib与人工神经网络的人脸表情识别方法，其特征在于它包括以下步骤：
（1）、对人脸进行检测形成人脸图像，对人脸图像进行数据预处理；
（2）、通过Dlib库对人脸图像进行人脸关键点检测，形成具有人脸关键点的关键点图像；
（3）、以关键点图像制作情绪数据集，该数据集包括情绪训练集和情绪测试集；
（4）、构建表情识别神经网络，该表情识别神经网络包括输入层、隐藏层和输出层，隐藏层的层数为五；
（5）、对表情识别神经网络进行训练测试，将情绪训练集输入至表情识别神经网络的输入层，输入层将情绪训练集传送至隐藏层后，隐藏层通过激活函数将情绪训练集进行非线性分离拟合，并映射至输出层，令表情识别神经网络训练为表情识别模型，再通过情绪测试集完成表情识别模型的测试；
（6）、对需要情绪识别的人体对象拍摄成像，再通过Dlib库检测出人脸关键点并形成识别图像后，将识别图像输入至表情识别模型中，得出人体对象的情绪结果。
2.根据权利要求1所述的基于Dlib与人工神经网络的人脸表情识别方法，其特征在于所述步骤2检测人脸图像的人脸关键点数量为68。
3.根据权利要求1所述的基于Dlib与人工神经网络的人脸表情识别方法，其特征在于所述隐藏层的第一至第五层的神经元个数分别为5、10、15、20和30。
4.根据权利要求1-3任一所述的基于Dlib与人工神经网络的人脸表情识别方法，其特征在于所述步骤5采用的激活函数为Relu6，损失函数为交叉熵损失。
5.根据权利要求1所述的基于Dlib与人工神经网络的人脸表情识别方法，其特征在于所述步骤1的数据预处理是对所有的人脸图像进行归一化处理后对每一张人脸图像进行左右翻转，再对所有的人脸图像进行尺度缩放。
6.根据权利要求1所述的基于Dlib与人工神经网络的人脸表情识别方法，其特征在于所述情绪数据集的情绪类别包括喜、怒、哀、乐、惊讶、恐惧和平静；所述情绪训练集与所述情绪测试集的图片数据比例为7：3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011530196.7A CN112560730A (zh) | 2020-12-22 | 2020-12-22 | 一种基于Dlib与人工神经网络的人脸表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011530196.7A CN112560730A (zh) | 2020-12-22 | 2020-12-22 | 一种基于Dlib与人工神经网络的人脸表情识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112560730A true CN112560730A (zh) | 2021-03-26 |
Family
ID=75031386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011530196.7A Pending CN112560730A (zh) | 2020-12-22 | 2020-12-22 | 一种基于Dlib与人工神经网络的人脸表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112560730A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007087345A (ja) * | 2005-09-26 | 2007-04-05 | Canon Inc | 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体 |
| CN109902632A (zh) * | 2019-03-02 | 2019-06-18 | 西安电子科技大学 | 一种面向老人异常的视频分析装置及视频分析方法 |
| CN110287895A (zh) * | 2019-04-17 | 2019-09-27 | 北京阳光易德科技股份有限公司 | 一种基于卷积神经网络进行情绪测量的方法 |
| CN111783621A (zh) * | 2020-06-29 | 2020-10-16 | 北京百度网讯科技有限公司 | 人脸表情识别及模型训练的方法、装置、设备及存储介质 |
| CN111860372A (zh) * | 2020-07-24 | 2020-10-30 | 中国平安人寿保险股份有限公司 | 基于人工智能的表情包生成方法、装置、设备及存储介质 |
| WO2020244434A1 (zh) * | 2019-06-03 | 2020-12-10 | 腾讯科技（深圳）有限公司 | 面部表情的识别方法、装置、电子设备及存储介质 |
-
2020
- 2020-12-22 CN CN202011530196.7A patent/CN112560730A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007087345A (ja) * | 2005-09-26 | 2007-04-05 | Canon Inc | 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体 |
| CN109902632A (zh) * | 2019-03-02 | 2019-06-18 | 西安电子科技大学 | 一种面向老人异常的视频分析装置及视频分析方法 |
| CN110287895A (zh) * | 2019-04-17 | 2019-09-27 | 北京阳光易德科技股份有限公司 | 一种基于卷积神经网络进行情绪测量的方法 |
| WO2020244434A1 (zh) * | 2019-06-03 | 2020-12-10 | 腾讯科技（深圳）有限公司 | 面部表情的识别方法、装置、电子设备及存储介质 |
| CN111783621A (zh) * | 2020-06-29 | 2020-10-16 | 北京百度网讯科技有限公司 | 人脸表情识别及模型训练的方法、装置、设备及存储介质 |
| CN111860372A (zh) * | 2020-07-24 | 2020-10-30 | 中国平安人寿保险股份有限公司 | 基于人工智能的表情包生成方法、装置、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| TONG ZHANG 等: "A Deep Neural Network-Driven Feature Learning Method for Multi-view Facial Expression Recognition", 《IEEE TRANSACTIONS ON MULTIMEDIA》 * |
| 李思泉 等: "基于卷积神经网络的人脸表情识别研究", 《软件导刊》 * |
| 谭小慧 等: "基于多尺度细节增强的面部表情识别方法", 《电子与信息学报》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wadhawan et al. | Deep learning-based sign language recognition system for static signs | |
| Cheng et al. | Facial expression recognition method based on improved VGG convolutional neural network | |
| Wu et al. | Modeling incongruity between modalities for multimodal sarcasm detection | |
| Sun et al. | Using facial expression to detect emotion in e-learning system: A deep learning method | |
| Areeb et al. | Helping hearing-impaired in emergency situations: A deep learning-based approach | |
| CN114331123A (zh) | 一种融合认知迁移的教学评价情感分析方法 | |
| Sidhu et al. | Deep learning based emotion detection in an online class | |
| Sun et al. | The exploration of facial expression recognition in distance education learning system | |
| Kakkar | Facial expression recognition with LDPP & LTP using deep belief network | |
| CN112560730A (zh) | 一种基于Dlib与人工神经网络的人脸表情识别方法 | |
| Kousalya et al. | Prediction of Best Optimizer for Facial Expression Detection using Convolutional Neural Network | |
| Altaf et al. | Evaluation of Dilated CNN for Hand Gesture Classification | |
| Bhattacharya et al. | TEmoDec: emotion detection from handwritten text using agglomerative clustering | |
| Rane et al. | Human Facial Emotion Recognition using Deep Learning Techniques | |
| Tang et al. | An emotion-embedded visual attention model for dimensional emotion context learning | |
| Jadhav et al. | Facial Emotion Detection using Convolutional Neural Network | |
| Nurrahma et al. | Indonesian Sign Language Fingerspelling Recognition using Vision-based Machine Learning | |
| James et al. | Multimodal Emotion Recognition Using Deep Learning Techniques | |
| Ahmad et al. | Comparative studies of facial emotion detection in online learning | |
| Alaghband | Analysis of Sign Language Facial Expressions and Deaf Students' Retention Using Machine Learning and Agent-based Modeling | |
| LU502367B1 (en) | Method for recognizing emotional states by digital writing | |
| Mallika et al. | Classifications of Real-Time Facial Emotions Using Deep Learning Algorithms with CNN Architecture | |
| Lu et al. | Emotion Recognition in Teachers' Teaching Behavior Based on Multimodal Data Analysis | |
| Pabitha et al. | Deep Learning Based Human Emotion Exposure Detection Using Vocal and Countenance | |
| Badr et al. | Fake Emotion Detection Using Affective Cues and Speech Emotion Recognition for Improved Human Computer Interaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210326 |