CN111325098A - 一种基于e-fcnn的微小面部表情识别方法 - Google Patents
一种基于e-fcnn的微小面部表情识别方法 Download PDFInfo
- Publication number
- CN111325098A CN111325098A CN202010069580.5A CN202010069580A CN111325098A CN 111325098 A CN111325098 A CN 111325098A CN 202010069580 A CN202010069580 A CN 202010069580A CN 111325098 A CN111325098 A CN 111325098A
- Authority
- CN
- China
- Prior art keywords
- fcnn
- super
- feedback
- network module
- facial expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 238000005070 sampling Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000256 facial nerve Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于E‑FCNN的微小面部表情识别方法，该方法包括以下步骤：步骤1：分别建立边缘化面部增强模块、上采样网络模块和基于反馈的超分辨率网络模块，其中，所述边缘化面部增强模块，用于对输入的人脸进行边缘提取并且增强；所述上采样网络模块，用于对输入图像进行插值法上采样，所述基于反馈的超分辨率网络模块，用于对输入图像进行超分辨率处理；步骤2：结合边缘化面部增强模块、上采样网络模块和基于反馈的超分辨率网络模块建立E‑FCNN网络模型；步骤3：将特定尺寸的面部表情图像数据输入至E‑FCNN网络模型中，得到对应的面部表情的识别结果。与现有技术相比，本发明具有识别精度高，识别速度快等优点。
Description
技术领域
本发明涉及图像识别技术领域，尤其是涉及一种基于E-FCNN的微小面部表情识别方法。
背景技术
面部表情识别在人机交互、通信、机器人制造、交通、面神经分析、临床心理学等领域有着广泛的应用。随着人工智能领域的发展，智能化逐渐渗透到人们生活的方方面面，通过面部表情的识别来获取人们的情感，使得人工智能机器人不再是冷冰冰的机器，而是作为一个可以读取人类情感的“聪明的人”来更好的服务人类。
过去几十年中，大多数表情识别程序往往使用的是较大的图像进行的识别，输入的图像较为清晰。然而，在我们的日常生活中，计算机所获取的面部图像往往较小或是图像分辨率较低。如在公共场所和视频监控中，摄像机通常与被摄者有相当远的距离，捕捉到的图像人脸部分通常只包含一个很小的区域，因此虽然可以达到识别条件，但识别精度可能无法接受。
大部分的表情识别网络只包含特征提取部分和分类判别部分，分类判别部分需要根据特征提取部分所提取的特征进行区分类别，这就对特征提取部分提出了更高的要求。而特征提取部分所提取的特征精度对输入图片也提出了一定的要求，如若输入图像的清晰度不高或是输入图像较小，那么所提取的特征精度也会随之降低。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于E-FCNN的微小面部表情识别方法。
本发明的目的可以通过以下技术方案来实现：
一种基于E-FCNN的微小面部表情识别方法，该方法包括以下步骤：
步骤1：分别建立边缘化面部增强模块、上采样网络模块和基于反馈的超分辨率网络模块，其中，所述边缘化面部增强模块，用于对输入的人脸进行边缘提取并且增强；所述上采样网络模块，用于对输入图像进行插值法上采样，所述基于反馈的超分辨率网络模块，用于对输入图像进行超分辨率处理；
步骤2：结合边缘化面部增强模块、上采样网络模块和基于反馈的超分辨率网络模块建立E-FCNN网络模型；
步骤3：将特定尺寸的面部表情图像数据输入至E-FCNN网络模型中，得到对应的面部表情的识别结果。
进一步地，所述的边缘化面部增强模块由SRCNN层和边缘提取层加权融合组成。
进一步地，所述的SRCNN层和所述边缘提取层各自均由多个不同尺寸的conv层组成。
进一步地，所述的基于反馈的超分辨率网络模块由LR特征提取块LRFB、重构块RB、反馈块和Resnet块组成。
进一步地，所述的LR特征提取块LRFB由多个不同尺寸的conv层组成。
进一步地，所述的重构块RB由Deconv层和conv层组成。
进一步地，所述的Resnet块由Relu层、多个conv层和Addition层组成。
进一步地，所述的反馈块由多个conv层和Deconv层彼此叠加组成。
与现有技术相比，本发明具有以下优点：
(1)本发明方法中使用的网络模型在特征提取之前加入超分辨率的预处理来提升输入图像的准确率，特征提取的精度以及分类判别的准确性也会升高。
(2)本发明方法中使用的网络模型的超分辨率部分分为了三个网络模块，即边缘增强网络模块，上采样网络模块以及基于反馈的超分辨率网络模块。边缘增强网络模块对输入的人脸进行边缘提取并且增强。由于在特征提取人脸时，边缘部分对提取的特征起着决定性作用，因此对面部边缘进行提取和增强可以有效增强识别的准确率。上采样网络模块对输入图像进行插值法上采样，上采样网络的增加对识别准确率的提升的有着重要的作用。基于反馈的超分辨率网络模块是对输入图像进行超分辨率处理，使之得到一个分辨率较高的结果。在基于反馈的超分辨率网络模块中加入Resnet模块，来提升图像的超分辨率。在表情识别部分，使用VGG19进行特征提取和分类判别，适用于较小尺寸图像或是低分辨率图像的面部表情识别，对比其他大小的图像仍能保持准确率降低不多。
(3)本发明方法中使用的网络模型相对其他算法(较大尺寸)仍能保持先进水平，且有效解决了网络过大而带来的过拟合问题。
附图说明
图1为基于E-FCNN网络模型示意图；
图2为E-FCNN网络总结构示意图；
图3为边缘增强网络结构示意图；
图4为Resnet模块网络管理结构示意图；
图5为反馈网络结构示意图；
图6为CK+数据库随着更改网络识别准确率的变化示意图；
图7为CK+数据库中的基于E-FCNN人脸表情识别混淆矩阵的实验结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
本发明采用的方案是：
1、输入小尺寸(16x16)的面部表情图像数据；
2、对人脸区域进行超分辨率预处理；
3、提出边缘化面部增强模块；
4、建立E-FCNN网络模型；
5、基于E-FCNN网络模型获取较小尺寸面部表情的识别结果。
具体实施例
1、E-FCNN网络框架
本发明设计的E-FCNN网络模型的基本结构如图1所示，以超分辨率网络和表情识别网络为基础，使用超分辨率网络对输入图像进行预处理，目的是提高输入图像的分辨率，从而提高识别部分特征提取的精度以及分类的准确率。
可以看到的是，超分辨率部分分为了三个网络模块，即边缘增强网络模块，上采样网络模块以及基于反馈的超分辨率网络模块。边缘增强网络模块对输入的人脸进行边缘提取并且增强。由于在特征提取人脸时，边缘部分对提取的特征起着决定性作用，因此对面部边缘进行提取和增强可以有效增强识别的准确率。上采样网络模块对输入图像进行插值法上采样，上采样网络的增加对识别准确率的提升的有着重要的作用。基于反馈的超分辨率网络模块是对输入图像进行超分辨率处理，使之得到一个分辨率较高的结果。在基于反馈的超分辨率网络模块中加入Resnet模块，来提升图像的超分辨率。在表情识别部分，使用VGG19进行特征提取和分类判别。
由图2可以看出，输入图像ILR分别经过边缘增强网络模块，上采样网络模块以及基于反馈的超分辨率网络模块，最终加和为It SR。It SR再经过VGG19得到最终的输出Io。边缘增强网络的结构示意图如图3，原始的低分辨率图像通过两个侧输入层作为输入，在输出层的每一侧进行边缘映射e1和e2，为了直接利用侧输出，在网络中加入一个“加权融合”层。为了降低直接放大变化特征的信息丢失，增加了SRCNN超分辨率网络，这样便形成了边缘增强网络。基于反馈的超分辨率网络模块结构如图2，主要包括四个部分：LR特征提取块(LRFB)、Resnet块(ResB)、反馈块(FB)和重构块(RB)。Resnet块结构如图4，反馈块(FB)结构如图5。图像在经过LR特征提取块(LRFB)和Resnet块(ResB)后得到反馈块的输入Fin，反馈块的输出Fout经过重构块(RB)后得到基于反馈的超分辨率网络的输出ISR，ISR与上采样网络以及边缘增强网络加和。当达到一定循环次数t时，跳出循环得到整个超分辨率网络的输出同时也是表情识别网络的输入。
2、实验结果与分析
图6和图7中的SRFBN+RES+ED为加入边缘提取的网络，E-FCNN为加入边缘增强的网络，边缘增强较边缘提取准确率提升了4.5。SRFBN+RES较SRFBN识别准确率提升了2.02，E-FCNN的识别准确率为96.970，较E-FCNN-RES识别准确率提升了7.071。实验表明边缘增强网络和Resnet模块对提升图像的分辨率与识别率有着重要的作用。
如表1所示的不同网络、不同算法的准确率比较，可以看出E-FCNN相对于先进的算法仍有着其先进性，识别准确率也处于较高的状态。如表2所示，在输入尺寸均为16x16的情况下E-FCNN有着较高的识别准确率，显现出优越的先进性。
表1不同网络、不同输入大小的识别准确率
表2不同深度网络模型的实验结果对比
图1中的Edge enhancement network为边缘增强网络模块，Upsampling network为上采样网络模块，Resnet Block为Resnet块，Feedback Block为反馈块，facialexpression classifier network为表情识别分类网络模块，图3中的Edge extraction为边缘提取，图7中的Confusion Matrix为混淆矩阵，Predicted label为测试样本分类的预测结果，True label为测试样本分类的真实结果。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种基于E-FCNN的微小面部表情识别方法，其特征在于，该方法包括以下步骤：
步骤1：分别建立边缘化面部增强模块、上采样网络模块和基于反馈的超分辨率网络模块，其中，所述边缘化面部增强模块，用于对输入的人脸进行边缘提取并且增强；所述上采样网络模块，用于对输入图像进行插值法上采样，所述基于反馈的超分辨率网络模块，用于对输入图像进行超分辨率处理；
步骤2：结合边缘化面部增强模块、上采样网络模块和基于反馈的超分辨率网络模块建立E-FCNN网络模型；
步骤3：将特定尺寸的面部表情图像数据输入至E-FCNN网络模型中，得到对应的面部表情的识别结果。
2.根据权利要求1所述的一种基于E-FCNN的微小面部表情识别方法，其特征在于，所述的边缘化面部增强模块由SRCNN层和边缘提取层加权融合组成。
3.根据权利要求2所述的一种基于E-FCNN的微小面部表情识别方法，其特征在于，所述的SRCNN层和所述边缘提取层各自均由多个不同尺寸的conv层组成。
4.根据权利要求1所述的一种基于E-FCNN的微小面部表情识别方法，其特征在于，所述的基于反馈的超分辨率网络模块由LR特征提取块LRFB、重构块RB、反馈块和Resnet块组成。
5.根据权利要求4所述的一种基于E-FCNN的微小面部表情识别方法，其特征在于，所述的LR特征提取块LRFB由多个不同尺寸的conv层组成。
6.根据权利要求4所述的一种基于E-FCNN的微小面部表情识别方法，其特征在于，所述的重构块RB由Deconv层和conv层组成。
7.根据权利要求4所述的一种基于E-FCNN的微小面部表情识别方法，其特征在于，所述的Resnet块由Relu层、多个conv层和Addition层组成。
8.根据权利要求4所述的一种基于E-FCNN的微小面部表情识别方法，其特征在于，所述的反馈块由多个conv层和Deconv层彼此叠加组成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010069580.5A CN111325098B (zh) | 2020-01-21 | 2020-01-21 | 一种基于e-fcnn的微小面部表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010069580.5A CN111325098B (zh) | 2020-01-21 | 2020-01-21 | 一种基于e-fcnn的微小面部表情识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111325098A true CN111325098A (zh) | 2020-06-23 |
| CN111325098B CN111325098B (zh) | 2022-10-18 |
Family
ID=71168652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010069580.5A Active CN111325098B (zh) | 2020-01-21 | 2020-01-21 | 一种基于e-fcnn的微小面部表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111325098B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150363634A1 (en) * | 2014-06-17 | 2015-12-17 | Beijing Kuangshi Technology Co.,Ltd. | Face Hallucination Using Convolutional Neural Networks |
| CN110458756A (zh) * | 2019-06-25 | 2019-11-15 | 中南大学 | 基于深度学习的模糊视频超分辨率方法及系统 |
-
2020
- 2020-01-21 CN CN202010069580.5A patent/CN111325098B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150363634A1 (en) * | 2014-06-17 | 2015-12-17 | Beijing Kuangshi Technology Co.,Ltd. | Face Hallucination Using Convolutional Neural Networks |
| CN110458756A (zh) * | 2019-06-25 | 2019-11-15 | 中南大学 | 基于深度学习的模糊视频超分辨率方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| BEE LIM等: "Enhanced Deep Residual Networks for Single Image Super-Resolution", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 * |
| CHAO DONG等: "Image Super-Resolution Using Deep Convolutional Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| SAINING XIE等: "Holistically-Nested Edge Detection", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 * |
| ZHEN LI等: "Feedback Network for Image Super-Resolution", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111325098B (zh) | 2022-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Afza et al. | A framework of human action recognition using length control features fusion and weighted entropy-variances based feature selection | |
| WO2021078157A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US20210118144A1 (en) | Image processing method, electronic device, and storage medium | |
| TWI777092B (zh) | 一種圖像處理方法、電子設備及存儲介質 | |
| CN112784763B (zh) | 基于局部与整体特征自适应融合的表情识别方法及系统 | |
| WO2020133636A1 (zh) | 前列腺手术中外包膜智能检测和预警方法及系统 | |
| Barros et al. | Real-time gesture recognition using a humanoid robot with a deep neural architecture | |
| CN110321805B (zh) | 一种基于时序关系推理的动态表情识别方法 | |
| WO2024109374A1 (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| Huang et al. | Video-based abnormal driving behavior detection via deep learning fusions | |
| CN111126175A (zh) | 一种基于深度卷积神经网络的面部图像识别算法 | |
| CN113298018A (zh) | 基于光流场和脸部肌肉运动的假脸视频检测方法及装置 | |
| Esmaeili et al. | A comprehensive survey on facial micro-expression: approaches and databases | |
| Valenzuela et al. | Towards an efficient segmentation algorithm for near-infrared eyes images | |
| CN112016592B (zh) | 基于交叉领域类别感知的领域适应语义分割方法及装置 | |
| CN116503932B (zh) | 重点区域加权的眼周特征提取方法、系统及存储介质 | |
| CN112488165A (zh) | 一种基于深度学习模型的红外行人识别方法及系统 | |
| CN111325098B (zh) | 一种基于e-fcnn的微小面部表情识别方法 | |
| CN116823868A (zh) | 一种黑色素肿瘤图像分割方法 | |
| CN115471901A (zh) | 基于生成对抗网络的多姿态人脸正面化方法及系统 | |
| CN115719357A (zh) | 一种脑部医学图像多结构分割方法 | |
| Zhang et al. | Early Recognition of Facial Paralysis for Rehabilitation of Stroke Patients Using Visual Perception and AI-Assisted Analysis | |
| Tejaashwini Goud et al. | A Survey: Classifying and Predicting Features Based on Facial Analysis | |
| Reddy et al. | Facial Recognition Enhancement Using Deep Learning Techniques | |
| Nidhi et al. | From methods to datasets: a detailed study on facial emotion recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |