CN113343773B - 基于浅层卷积神经网络的人脸表情识别系统 - Google Patents

Abstract

本发明公开了一种基于浅层卷积神经网络的人脸表情识别系统，属于人工智能与模式识别领域。本系统包括硬件和软件两个部分。硬件部分由智能末端设备、网络传输设备和图像采集设备组成，为系统的运行提供支撑，为数据的互联互通提供条件。软件部分包括Python、OpenCV和UI三个模块，分别负责模型训练、图像检测与可视化设计等功能。本发明受Xception网络的启发，结合了残差模块和深度可分离卷积，同时引入了Squeeze‑and Excitation模块与网络进行融合。微调后的网络结构简单，模型较小，同时兼顾了运行速度和模型精度。表情识别系统调用该模型对捕获的图像进行分类识别，然后将所用时间、预测结果与表情强度等信息反馈至系统界面，完成一次人脸表情识别。

Description

基于浅层卷积神经网络的人脸表情识别系统

技术领域

本发明涉及一种人脸表情识别系统，尤其涉及一种基于浅层卷积神经网络的人脸表情识别系统多分类轻量化模型，属于人工智能禹图像识别领域。

背景技术

随着机器人领域的发展，人机交互技术在服务型机器人的应用中起着至关重要的作用。情感识别作为人机交互的基础，影响着服务型机器人的性能。而面部表情是机器了解人类情感的主要途径，因而面部表情识别(FER)是人机交互应用的重要研究课题。此外，面部表情识别还广泛应用于临床心理学，汽车安全，多媒体等多个领域。传统的表情识别方法依靠手工制作的特征，主要识别实验环境下采集的正面表情图像，对于受姿势、光照和遮挡等因素干扰的自然场景下的FER任务存在局限性。

近年来，卷积神经网络在计算机视觉领域取得了极大的突破。它以一种端到端的方式执行任务，将特征提取和分类识别两个步骤结合在一起，弥补了传统机器学习方法存在的不足。尽管如此，它仍然存在两个问题：

第一，网络的效率通常通过增加神经元数量或层数来提高。从7层的AlexNet到152层的ResNet，再到上千层的改进ResNet，越来越深的层数在提高精度的同时也带来了模型存储、运行速度缓慢等问题。

第二是数据问题。随着网络加深，参数变多，需要计算的权重也增多。因此，网络需要学习更多的数据，但样本是有限的。

发明内容

为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种基于浅层卷积神经网络的人脸表情识别系统，解决当下深度学习方法在处理面部表情识别问题时存在的计算成本与模型精度之间的矛盾，以及如何满足系统在实际应用中对终端处理器和实时性的高要求，本发明基于浅层卷积神经网络的人脸表情识别系统的多目标包括高准确率、低计算成本、易于操作、易于维护、系统响应的高效性等。多维度主要表现在识别模式的可控制性、内置模型的高自由度、系统故障诊断与自恢复、管控实时化、可视化等方面。通过对自然场景下人脸图像的数据采集，经由模型识别模块进行分类处理，最后将识别结果反馈在可视化界面上，达到各功能模块协调运行、互联互通的良好工作状况，从而在满足上述人脸表情识别系统的多目标和多维度诉求。

为达到上述发明创造目的，本发明采用如下技术方案：

一种基于浅层卷积神经网络的人脸表情识别系统，包括硬件和软件两个部分，所述硬件部分由智能末端设备、网络传输设备和图像采集设备组成，为系统的运行提供支撑，为数据的互联互通提供条件；所述软件部分包括Python、OpenCV和UI三个模块，分别负责模型训练、图像检测与可视化设计等功能；从而实现对人脸图像的数据采集和存储,为智能识别提供原始数据来源；对人脸检测模块采集的原始数据进行特征提取与分类计算，所获得的结果反馈至可视化系统界面，从而实现对人脸表情的实时识别；Python、OpenCV和UI三个软件分别用以实现不同的功能，其中：

OpenCV对图像采集设备的摄像头所采集的视频进行逐帧分析并得到待测图像，然后再将该图像输入其中人脸检测模块，负责整个系统的数据采集和存储任务；

Python语言是系统的开发语言，采用Keras框架搭建网络模型，并在FER20213数据集上训练参数；训练好的模型对待测图像进行识别，然后将结果输入可视化模块；

UI界面是表情识别系统的可视化模块，左侧为控制界面，右侧为结果界面，显示识别时间、识别结果和表情强度三个内容，便于对人脸表情进行全面准确地描述。

优选地，所述智能末端设备在验证阶段采用的操作系统为Windows1064位，处理器为Intel(R)Core(TM)i5-8250U CPU@1.6GHz 1.8GHz，内存为8G；所述图像采集设备为笔记本自带摄像头。实验结果显示运行速度快，模型准确率高，且对光照等因素的鲁棒性良好。

优选地，所述OpenCV图像检测模块对摄像头采集的视频进行逐帧分析并得到待测图像，然后再将该图像输入人脸检测模块，负责整个系统的数据采集和存储任务；通过控制摄像头可选择模式，开启时为动态识别，关闭则为静态识别；采集到的图像被输入人脸检测模块，然后进行灰度化预处理操作。使待测图像更符合网络识别的要求。

优选地，所述模型识别模块默认使用浅层卷积神经网络，即在FER2013数据集上获得66.12％识别准确率的模型；将训练好的模型保存在系统中，用于随时调用模型参数对图像进行分类识别。

优选地，所述UI可视化模块分为左右两个区域，左侧为控制部分，右侧为结果展示，显示识别时间、识别结果和表情强度三个内容；利用识别时间实时对比网络的效率，识别结果以“软标签”形式呈现，同时显示图像被预测为各类别的概率；按照概率大小对表情强度进行分级。

优选人脸检测模块的特征算子与分类器，优选采用Haar-like特征、改进LBP特征、AdaBoost级联分类器，并在多个数据集上进行训练与验证，得到性能最优的模型。

优选人脸检测模块的无线或者有线传输网络和相关设备，包括因特网络、路由器、集线器、摄像头。

优选可视化模块，改进人脸表情识别系统。由于人类的情绪具有复杂性，通常以多个面部特征的组合形式出现，一个标签难以准确描述。因此识别结果以表格形式呈现，显示了图像被预测为各类表情的预测概率，取概率最高的表情作为最终结果，并显示识别该图像所用的时间和该标签的强烈程度，以便更全面准确地描述人脸表情。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

1.本发明采用了一种浅层卷积神经网络模型，它将残差模块和深度可分离卷积模块相结合，同时引入了Squeeze-and-Excitation模块与主网络融合；微调后的网络结构简单，模型较小，在CK+和FER2013数据集上分别得到了99.81％和66.12％的准确率，优于多个对比网络；

2.与传统机器学习方法和深度网络相比，本发明采用了轻量化的浅层卷积神经网络，既弥补了机器学习算法中特征算子对环境变化的低鲁棒性，使模型能够学习到更深层次的抽象特征，也解决了为提高精度一味加深网络而带来的模型超载与计算成本过高的问题；所提出的Shallow-CNN模型轻巧，在实时性与准确率上都具有明显优势；

3.本发明人脸表情识别系统在可视化界面设计上充分考虑了多维度与多目标的诉求，主要具有三个创新点：首先，识别时间精确到0.01秒，能够实时对比网络的效率；其次，识别结果以“软标签”形式呈现，同时显示图像被预测为各类别的概率；第三，按照概率大小对表情强度进行分级，概率大于0.8则划分为A级，表示表情强烈。概率小

于0.4划分为C级，表示表情细微。概率在两者之间为B级，表示表情中等；

4.本发明方法简单易行，成本低，适合推广使用。

附图说明

图1为Shallow-CNN结构图。

图2为基于浅层卷积神经网络的人脸表情识别系统图。

具体实施方式

以下结合具体的实施例子对上述方案做进一步说明，本发明的优选实施例详述如下：

实施例一：

在本实施例中，参见图1，一种基于浅层卷积神经网络的人脸表情识别系统，包括硬件和软件两个部分，所述硬件部分由智能末端设备、网络传输设备和图像采集设备组成，为系统的运行提供支撑，为数据的互联互通提供条件；所述软件部分包括Python、OpenCV和UI三个模块，分别负责模型训练、图像检测与可视化设计等功能；从而实现对人脸图像的数据采集和存储,为智能识别提供原始数据来源；对人脸检测模块采集的原始数据进行特征提取与分类计算，所获得的结果反馈至可视化系统界面，从而实现对人脸表情的实时识别；Python、OpenCV和UI三个软件分别用以实现不同的功能，其中：

OpenCV对图像采集设备的摄像头所采集的视频进行逐帧分析并得到待测图像，然后再将该图像输入其中人脸检测模块，负责整个系统的数据采集和存储任务；

Python语言是系统的开发语言，采用Keras框架搭建网络模型，并在FER20213数据集上训练参数；训练好的模型对待测图像进行识别，然后将结果输入可视化模块；

UI界面是表情识别系统的可视化模块，左侧为控制界面，右侧为结果界面，显示识别时间、识别结果和表情强度三个内容，便于对人脸表情进行全面准确地描述。

本实施例采用了轻量化的浅层卷积神经网络，既弥补了机器学习算法中特征算子对环境变化的低鲁棒性，使模型能够学习到更深层次的抽象特征，也解决了为提高精度一味加深网络而带来的模型超载与计算成本过高的问题。

实施例二：

本实施例与实施例一基本相同，特别之处在于：

在本实施例中，所述智能末端设备在验证阶段采用的操作系统为Windows1064位，处理器为Intel(R)Core(TM)i5-8250U CPU@1.6GHz 1.8GHz，内存为8G；所述图像采集设备为笔记本自带摄像头，实验结果显示运行速度快，模型准确率高，且对光照等因素的鲁棒性良好。

所述OpenCV图像检测模块对摄像头采集的视频进行逐帧分析并得到待测图像，然后再将该图像输入人脸检测模块，负责整个系统的数据采集和存储任务。其特征在于：通过控制摄像头可选择模式，开启时为动态识别，关闭则为静态识别。采集到的图像被输入人脸检测模块，然后进行灰度化等预处理操作，使待测图像更符合网络识别的要求。

所述模型识别模块默认使用浅层卷积神经网络，即在FER2013数据集上获得66.12％识别准确率的模型。将训练好的模型保存在系统中，方便随时调用模型参数对图像进行分类识别。

本实施例基于浅层卷积神经网络的人脸表情识别系统的多目标包括高准确率、低计算成本、易于操作、易于维护、系统响应的高效性等。多维度主要表现在识别模式的可控制性、内置模型的高自由度、系统故障诊断与自恢复、管控实时化、可视化等方面。通过对自然场景下人脸图像的数据采集，经由模型识别模块进行分类处理，最后将识别结果反馈在可视化界面上，达到各功能模块协调运行、互联互通的良好工作状况，从而在满足上述人脸表情识别系统的多目标和多维度诉求。

实施例三：

本实施例与前述实施例基本相同，特别之处在于：

在本实施例中，如图1和图2所示，本基于浅层卷积神经网络的人脸表情识别系统，包括软件和硬件两个部分。硬件部分由智能末端设备、网络传输设备和图像采集设备组成，为系统的运行提供支撑，为数据的互联互通提供条件。软件部分包括Python、OpenCV和UI三个模块，分别负责模型训练、图像检测与可视化设计等功能。

如图1所示，本实施例浅层卷积神经网络模型，将其命名为Shallow-CNN。它受Xception和ResNet的启发，由4个深度可分离残差卷积模块组成。该模块由深度可分离模块与残差网络模块组合形成，包含两个可分离卷积层和一个普通卷积层。第一个可分离卷积层设置了16个3×3卷积核，没有池化操作。第二个可分离卷积层中依然设置16个3×3卷积核，同时最大池化层的卷积核大小为3×3，步长为2。卷积核的的数量从16逐级递增至128。此外，在第二个和第四个可分离残差卷积模块分别插入ratio为8和16的Squeeze-and-Excitation模块。在网络的前两个普通卷积层中，均设置8个3×3卷积核，步长为1。图像大小被调整为48×48×1后输入网络中，前两个普通卷积层能提取图像的低层次边缘特征并保留细节，之后的可分离残差卷积则提取更抽象的深层特征。经过4次深度可分离残差卷积模块后，网络依次经过一个普通卷积层，ratio为7的Squeeze-and-Excitation模块，以及一个平均池化层。这样的网络结构可以减少参数的数量，并对整个网络进行正则化，以防止过拟合。最后经过softmax层输出分类结果。

如图2所示，本实施例基于浅层卷积神经网络的人脸表情识别系统，硬件部分为整个系统的运行提供支撑平台。摄像头实时拍摄人脸视频，然后使用OpenCV库函数对摄像头采集的视频进行逐帧分析，然后得到待测图像。接着，第一步中采集到的待测图像被输入人脸检测模块，这里使用的是Haar特征和Adboost级联分类器所组成的人脸检测器。随后进入图像预处理模块，对待测图像进行灰度化、数据增强、归一化等操作，使其更符合网络识别的要求。最后，待测图像被输入指定的模型中进行预测(当不进行指定时，系统默认使用训练好的浅层卷积神经网络模型Shallow-CNN，在FER2013数据集上的测试精度为66.12％)，然后系统将预测结果反馈在可视化界面上，完成一次实时的人脸表情预测任务。除在自然场景下的实时识别外，本章设计的人脸表情识别系统也可以通过关闭摄像头转换识别模式，点击“选择图片”则进入静态识别操作。

图2右侧的流程图为Shallow-CNN的训练过程，其网络结构如图1所示。图2最下方展示了一个利用本发明的系统进行的人脸表情识别实例。从左到右依次为结果、概率列表和表情强度分级标准。在系统中输入多张自然场景下捕获的图像，均获得了正确的识别结果。其中，“愤怒”、“高兴”和“惊讶”等标签易于识别，容易获得较高的准确率；被识别为“惊讶”的表情通常也被识别出不同程度的“恐惧”；“厌恶”和“恐惧”也通常伴随着“愤怒”和“悲伤”一起出现。这些结果与人类情绪具有的特点是一致的，因为相近的情绪具有相似的面部特征，如“惊讶”和“恐惧”时人们都倾向于张大嘴巴。当图像中人脸被遮挡的面积过大或人脸所占比例过小时，系统会出现误检和误判的问题，需要对图像进一步处理后再进行识别。但总体上，本发明所设计的表情识别系统能够较好地完成静态和动态场景下的识别任务。

本发明上述实施例基于浅层卷积神经网络的人脸表情识别系统，属于人工智能与模式识别领域。本系统包括硬件和软件两个部分。硬件部分由智能末端设备、网络传输设备和图像采集设备组成，为系统的运行提供支撑，为数据的互联互通提供条件。软件部分包括Python、OpenCV和UI三个模块，分别负责模型训练、图像检测与可视化设计等功能。上述实施例受Xception网络的启发，结合了残差模块和深度可分离卷积，同时引入了Squeeze-andExcitation模块与网络进行融合。微调后的网络结构简单，模型较小，同时兼顾了运行速度和模型精度。表情识别系统调用该模型对捕获的图像进行分类识别，然后将所用时间、预测结果与表情强度等信息反馈至系统界面，完成一次人脸表情识别。

上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。

Claims (5)

1.一种基于浅层卷积神经网络的人脸表情识别系统，包括硬件和软件两个部分，其特征在于：所述硬件部分由智能末端设备、网络传输设备和图像采集设备组成，为系统的运行提供支撑，为数据的互联互通提供条件；所述软件部分包括Python、OpenCV和UI三个模块，分别负责模型训练、图像检测与可视化设计功能；从而实现对人脸图像的数据采集和存储,为智能识别提供原始数据来源；对人脸检测模块采集的原始数据进行特征提取与分类计算，所获得的结果反馈至可视化系统界面，从而实现对人脸表情的实时识别；Python、OpenCV和UI三个软件分别用以实现不同的功能，其中：

OpenCV对图像采集设备的摄像头所采集的视频进行逐帧分析并得到待测图像，然后再将该图像输入其中人脸检测模块，负责整个系统的数据采集和存储任务；

Python语言是系统的开发语言，采用Keras框架搭建网络模型，并在FER20213数据集上训练参数；训练好的模型对待测图像进行识别，然后将结果输入可视化模块；

UI界面是表情识别系统的可视化模块，左侧为控制界面，右侧为结果界面，显示识别时

间、识别结果和表情强度三个内容，便于对人脸表情进行全面准确地描述；

基于浅层卷积神经网络的人脸表情识别系统采用浅层卷积神经网络模型，由4个深度可分离残差卷积模块组成；该深度可分离残差卷积模块又由深度可分离模块与残差网络模块组合形成，包含两个可分离卷积层和一个普通卷积层；

第一个可分离卷积层设置了16个3×3卷积核，没有池化操作；

第二个可分离卷积层中依然设置16个3×3卷积核，同时最大池化层的卷积核大小为3×3，步长为2；卷积核的的数量从16逐级递增至128；

此外，在第二个和第四个可分离残差卷积模块分别插入ratio为8和16的Squeeze-and-Excitation模块；在网络的前两个普通卷积层中，均设置8个3×3卷积核，步长为1；图像大小被调整为48×48×1后输入网络中，前两个普通卷积层能提取图像的低层次边缘特征并保留细节，之后的可分离残差卷积则提取更抽象的深层特征；经过4次深度可分离残差卷积模块后，网络依次经过一个普通卷积层，ratio为7的Squeeze-and-Excitation模块，以及一个平均池化层；最后经过softmax层输出分类结果。

2.根据权利要求 1 所述基于浅层卷积神经网络的人脸表情识别系统，其特征在于：所述智能末端设备在验证阶段采用的操作系统为Windows10 64位，处理器为Intel(R) Core(TM) i5-8250U CPU @ 1.6GHz 1.8GHz，内存为8G；所述图像采集设备为笔记本自带摄像头。

3.根据权利要求 1 所述基于浅层卷积神经网络的人脸表情识别系统，其特征在于：所述OpenCV图像检测模块对摄像头采集的视频进行逐帧分析并得到待测图像，然后再将该图像输入人脸检测模块，负责整个系统的数据采集和存储任务；通过控制摄像头可选择模式，开启时为动态识别，关闭则为静态识别；采集到的图像被输入人脸检测模块，然后进行灰度化预处理操作。

4.根据权利要求 1 所述基于浅层卷积神经网络的人脸表情识别系统，其特征在于：所述模型识别模块默认使用浅层卷积神经网络，即在FER2013数据集上获得66.12%识别准确率的模型；将训练好的模型保存在系统中，用于随时调用模型参数对图像进行分类识别。

5.根据权利要求 1 所述基于浅层卷积神经网络的人脸表情识别系统，其特征在于：所述UI可视化模块分为左右两个区域，左侧为控制部分，右侧为结果展示，显示识别时间、识别结果和表情强度三个内容；利用识别时间实时对比网络的效率，识别结果以“软标签”形式呈现，同时显示图像被预测为各类别的概率；按照概率大小对表情强度进行分级。

Images