CN109549624A - 一种基于深度学习的实时视频情感分析方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的实时视频情感分析方法及系统。分析方法包括以下步骤：S1、获取训练数据集；S2、采用基于深度神经网络算法来对训练数据集的微表情进行识别，筛选并输出八种类别的表情预测值，八种类别的表情包括平和、开心、惊讶、伤心、生气、厌恶、恐惧和轻视；S3、采用心率算法对所拍摄的人表情进行预测并得到相应的心率值；S4、将步骤S3所获得的心率值与步骤S2中的表情预测值进行比对，并输出与步骤S3所获得的心率值相同的表情。本发明将机器视觉中的人脸识别、图像分类算法应用于微表情和心率的检测中，利用深度学习算法实现微表情的识别，可应用在临床领域、司法领域和安全领域中。

Description

一种基于深度学习的实时视频情感分析方法及系统

技术领域

本发明涉及情感分析技术领域，更具体地说，特别涉及一种基于深度学习的实时视频情感分析方法及系统。

背景技术

在当今社会，每天成千上万的乘客穿过地铁、火车站、机场的安全检查站，或通过边境检查站出入国境而安检人员则需要通过与他们进行交互来判别谈话内容的真伪，以辨识出哪些人可能具有高风险性，会危害到其他人或国家的安全。将这样的工作完成好几乎是不可能的。因为人的认知资源是有限的，时间也是有限的，识别谎言的能力更是非常有限的，其识别率仅略高于机率水平。安检人员不可能去挡住这几乎永无止境的人流，不计代价地进行互动以保证谈话的真实性。人必须依赖工具才能完成这样的任务。因此，能帮助人准确识别撒谎行为的工具，特别是自动谎言识别系统，在国际反恐、国家安全、司法侦讯等领域，具有非常重大的应用价值。事实上，虽然测谎仪早已应运而生。但是它的结果却在司法判决中得不到认可，因为大量研究表明测谎仪的结果并不可靠。

微表情反映了人试图压抑与隐藏的真实情感，是一种有效的非言语线索。在临床领域，临床心理学家或许可以仔细观察患者，发现其微表情，了解患者对特定事或人的真正态度和想法，从而对症治疗，缩短治疗时间；在司法领域，法官或许可以藉由犯罪嫌疑人脸上的微表情，判断犯罪嫌疑人是否在撒谎：在安全领域，安全人员或许可以藉由微表情判断对方是否有攻击的意图，从而防患于未然。

现今，人脸识别在个人使用、商业和政府应用中都具有巨大潜力。这项技术还在不断进步和发展中，其应用越来越普及。

发明内容

本发明的目的在于提供一种基于深度学习的实时视频情感分析方法及系统。

为了达到上述目的，本发明采用的技术方案如下：

一种基于深度学习的实时视频情感分析方法，包括以下步骤：

S1、获取训练数据集；

S2、采用基于深度神经网络算法来对训练数据集的微表情进行识别，筛选并输出八种类别的表情预测值，八种类别的表情包括平和、开心、惊讶、伤心、生气、厌恶、恐惧和轻视；

S3、采用心率算法对所拍摄的人表情进行预测并得到相应的心率值；

S4、将步骤S3所获得的心率值与步骤S2中的表情预测值进行比对，并输出与步骤S3所获得的心率值相同的表情。

进一步地，所述步骤S3的心率算法包括以下步骤，

S31、采用拍摄设备对人的表情进行拍摄，同时再利用物理测量仪器测量参与者的脉搏拍摄的视频皆以24位RGB真彩色、15帧/秒的帧速、1920×1080的像素分辨率采集；

S32、利用深度神经网络检测人脸区域作为ROI，将读取彩色视频的每一帧ROI内的图像，然后对其彩色信号实施三基色分离得到R、G、B三个通道的颜色分量，并将其保存成一个三维数字矩阵，其中第三个维度代表R、G、B三个颜色通道,余下两维的矩阵中的每一个位置上都是ROI内每个相应位置的R、G、B通道的像素值；

S33、将每帧R、G、B三个颜色通道所对应的各自二维矩阵取空间平均，作为该帧视频图像所处时刻的PPG信号样本值；

S34、利用Fast ICA算法将初始信号序列分解为3个独立源信号，将三个分离出来的ICA潜在独立源信号分别与绿色通道原始信号实施简单相关性分析，以找出其中与绿色通道原始信号线性相关程度最高的一个潜在独立源信号；

S35、选择相应的通带频率范围为[0.75,4]，采用一维数字滤波器将非此频段的信号全部进行衰减消除对心率信号频段的干扰，经独立成分分析提取出来的三个ICA独立源信号中含有的PPG信号最强，并对此ICA潜在独立源信号做滤波处理后得到图形；

S36、对PPG信号进行傅立叶变换后在频域中的波形图提取与其对称波形的一半来分析即可得到的频谱图；

S37、将步骤S36中频谱图最高尖峰所对应的频率值乘以六十秒得到心率值。

进一步地，在步骤S31中对人的表情进行拍摄的具体方法为：参与者坐在一台有内置摄像头的笔记本电脑前40到50厘米左右的位置，面对着摄像头进行拍摄视频。

进一步地，在步骤S32中，如果没有人脸被检测到，则前一个ROI参数被使用；如果检测到的人脸数量多于一个，选择与前一个ROI参数最为接近的矩形框作为人脸识别的结果。

进一步地，在步骤S32中，三维数字矩阵的矩阵维数是640×480×3。

进一步地，所述步骤S1中获取训练数据集的具体方法为：采用FERC-2013、CK+和RaFD的混合数据集，共12万张表情图片。

进一步地，八种类别的表情的具体输出方法为：深度神经网络算法输入大小为48*48的单通道图片，经过2层64个过滤器大小3*3的卷积层和1个过滤器大小为2*2、步长为2的池化层，2层128个过滤器大小3*3的卷积层和1个过滤器大小为2*2、步长为2的池化层，2个3层256个过滤器大小3*3的卷积层和1个过滤器大小为2*2、步长为2的池化层，接着经过三层1024个节点的全连接层，最后输出8种类别的表情预测值。

本发明还一种基于深度学习的实时视频情感分析系统，包括以下模块：

数据训练集，采用FERC-2013、CK+和RaFD的混合数据集；

深度神经网络算法模块，用于对数据训练集内的表情图片进行识别，筛选并输出八种类别的表情预测值；

表情预测值数据库，用于存储深度神经网络算法模块输出的表情预测值；

拍摄模块，用于采集参与者的视频数据；

心率算法模块，用于根据拍摄模块所采集的视频数据进行心率计算，并输出心率数据；

比对模块，用于将心率算法模块所计算的心率数据与表情预测值数据库内的表情预测值进行比对，比对一致时输出与其相对应的表情；

输出模块，用于输出表情和心率数据。

与现有技术相比，本发明的优点在于：本发明将机器视觉中的人脸识别、图像分类算法应用于微表情和心率的检测中，利用深度学习算法实现微表情的识别，可应用在临床领域、司法领域和安全领域中。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明基于深度学习的实时视频情感分析方法的流程图。

图2是本发明中深度学习算法网络架构图。

图3是本发明中拍摄示意图。

图4是本发明中检测人脸区域作为ROI的图。

图5是本发明中三基色分离得到R、G、B三个通道的颜色分量图。

图6是本发明中原始PPG信号的信号图。

图7是本发明在利用Fast ICA算法将初始信号序列分解为3个独立源信号的信号图。

图8是本发明在对ICA潜在独立源信号做滤波处理后得到的图形。

图9是本发明中信号进行傅立叶变换后的频谱图。

图10是本发明基于深度学习的实时视频情感分析系统的原理图。

图11是本发明实施例中默认进入微表情识别页面的软件界面截图。

图12是本发明实施例中开启的摄像头后的软件界面截图。

图13是本发明实施例中正常接入视频后的软件界面截图。

图14是本发明实施例中正常接入视频后的软件界面截图中各个模块图。

图15是本发明实施例中停止识别的软件界面截图。

图16是本发明实施例中开始保存录制视频的软件界面截图。

图17是本发明实施例中完成录制视频的软件界面截图。

图18是本发明实施例中回放录制视频的软件界面截图。

图19是本发明实施例中对识别后的内容可进行告警筛选的软件界面截图。

图20是本发明实施例中停止识别后的软件界面截图。

图21是本发明实施例中停止识别后的保存波状图的软件界面截图。

图22是本发明进入摄像头主页面的软件界面截图。

图23是本发明进入新增摄像头的软件界面截图。

图24是本发明中摄像头设置告警的软件界面截图。

图25是本发明实施例中对开启状态的摄像头设置告警规则的软件界面截图。

具体实施方式

下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

微表情是一种极为短暂的面部表情，当人们想要掩饰内心的真实情感时，就会不自觉的流露出来。由于微表情的持续时间短，动作幅度小等特点，检测和识别微表情就变得尤为困难。为了解决传统图像识别的方法的识别率低和预处理复杂等缺点，我们采用了基于深度神经网络的方法来对微表情进行识别。深度学习很好地解决了传统机器学习对人脸姿态、光照、遮挡物等敏感问题，提高了表情识别的鲁棒性。同时，深度学习避免了像传统方法对表情的特征提取的难题，深度学习以自学习的优势可以快速有效的将人脸面部表情分为基本的八大类别(平和、开心、惊讶、伤心、生气、厌恶、恐惧、轻视)。

本发明提供一种基于深度学习的实时视频情感分析方法，包括以下步骤：

第一步、获取训练数据集，采用FERC-2013(脸部表情识别比赛数据集)，CK+(Extended Cohn-Kanade)和RaFD(Radbound Faces Database)等等的混合数据集，共12万张表情图片。

第二步、采用基于深度神经网络算法来对训练数据集的微表情进行识别，筛选并输出八种类别的表情预测值，八种类别的表情包括平和、开心、惊讶、伤心、生气、厌恶、恐惧和轻视；具体为：12万张表情图片可有效的满足神经网络自学习的方式，所以通过对经典的VGG-13卷积神经网络的改变，使用TensorFlow+Keras框架自主搭建卷积神经网络结构。其输入大小为48*48的单通道图片，经过2层64个过滤器大小3*3的卷积层和1个过滤器大小为2*2、步长为2的池化层，2层128个过滤器大小3*3的卷积层和1个过滤器大小为2*2、步长为2的池化层，2个3层256个过滤器大小3*3的卷积层和1个过滤器大小为2*2、步长为2的池化层，接着经过三层1024个节点的全连接层，最后输出8种类别的表情预测值。

第三步、采用心率算法对所拍摄的人表情进行预测并得到相应的心率值。非接触式心率检测除了采用红外线、雷达波、微波等电磁波做为探测心率信号介质外还可以采用光的散射反射特性实现某些信号的测量，这其中光电容积脉搏波描记术(Photoplethysmography，PPG)的应用最为广泛，特别是在临床医学上的应用，图像就是光学影像，所以图像信息就是光学信息，本发明也正是利用这种原理实现了基于图像处理技术的非接触式心率检测。PPG测量生理参数的原理如下：人体内的血液容量会随着心脏周期性的搏动而不断的变化着，当人体的皮肤表面接收到某种波长、某种强度的可见光束时，因为皮肤以及血氧对不一样的光波长和强度的光的吸收和反透射能力都不一样，导致光电检测设备接收到的反射回来的光波强度变化规律同血液容量的变化规律是一样的，这样我们就可以利用光的平均亮度值来揭示血液容量的变化情况，这便得到初始BVP的信息，而血氧容量的脉动规律其实就是心脏跳动规律，心动规律被反射回来的光揭示出来后经过特定的算法即可得到心率的信息。

心率算法具体步骤如下：

步骤1.如图3所示，所采用的视频的拍摄在室内进行，由透过窗户照射的阳光来照明。参与者坐在一台有内置摄像头的笔记本电脑前40到50厘米左右的位置,静静而坐，自然地呼吸，面对着摄像头进行拍摄视频。在拍摄视频的同时再利用物理测量仪器测量参与者的脉搏拍摄的视频皆以24位RGB真彩色、15帧/秒的帧速、1920×1080的像素分辨率采集。

步骤2.如图4所示，利用深度神经网络检测人脸区域作为ROI(感兴趣区域)。如果没有人脸被检测到，则前一个ROI参数被使用；如果检测到的人脸数量多于一个，选择与前一个ROI参数最为接近的矩形框作为人脸识别的结果。将读取彩色视频的每一帧感兴趣区域内的图像，然后对其彩色信号实施三基色分离以便得到R、G、B三个通道的颜色分量，并将其保存成一个三维数字矩阵，矩阵维数是640×480×3，其中第三个维度代表R、G、B三个颜色通道,余下两维的矩阵中的每一个位置上都是感兴趣区域内每个相应位置的R、G、B通道的像素值，它们都是介于0到256之间一个值。RGB三组颜色通道的序列趋势如图5所示。

步骤3.为得到原始的PPG信号，将每帧R、G、B三个颜色通道所对应的各自二维矩阵取空间平均，也就是一个矩阵中所有像素值的算术平均值，作为该帧视频图像所处时刻的PPG信号样本值，由此可以提取三组分别包含有心脏跳动信号的、时间域上的离散时间信号序列(如图6所示)，这便是本文所采用的原始PPG信号，分别记为x10(t),x20(t)和x30(t)，其中t指示帧，若一段视频长度是60秒，则每秒就有15帧图像，每个通道也就得到一组长度为900个离散时间信号数据。

步骤4.利用Fast ICA算法将初始信号序列分解为3个独立源信号(如图7所示)。经过ICA分解后的潜在独立源信号的次序往往是随机的，有必要筛选出哪一个信号是所需要的具有最强心率信息的PPG信号。一般而言，绿色通道中包含有最强的PPG信号，最能反映心脏搏动的信息，这是因为血氧对绿光的吸收能力要比红光来得强，绿光穿透皮肤表面直达体内血管的能力要强于蓝光。因此，将三个分离出来的ICA潜在独立源信号分别与绿色通道原始信号实施简单相关性分析，以找出其中与绿色通道原始信号线性相关程度最高的一个潜在独立源信号。此处简单相关分析采用的是应用统计学中最常用也容易给出直观解释的Pearson相关系数和Pearson互相关函数来实现。简单线性相关系数，也就是Pearson样本相关系数，用以度量两组定量数据之间线性关系的密切程度，而样本互相关函数，度量的则是两组离散时间序列错位相隔不同期重新生成的一系列两组数据之间的简单线性相关系数。

步骤5.采用的一维数字滤波器为实际中常用的转置直接II型递归结构(Directform II transposed)的IIR滤波器。由于人的心率值范围一般不会超出45到240之间，故选择相应的通带频率范围为[0.75,4]，非此频段的信号全部由此带通滤波器进行衰减消除对心率信号频段的干扰。经独立成分分析提取出来的三个ICA独立源信号中第二个信号中含有的PPG信号最强，对此ICA潜在独立源信号做滤波处理后得到的图形，如图8所示。

步骤6.信号采样时满足香农定理，时域中的信号就会不失真的在频域中全部表现出来，而且以坐标中心点为对称点重复出现，对PPG信号进行傅立叶变换后在频域中的波形图我们只取它的对称波形的一半来分析即可得到的频谱图，如图9所示。

步骤7.心率信号是一个周期性波动的信号，在进行了过滤心率频段信号的滤波处理后，被保留下来的时域信号主要是心率信号，此信号进行频域变换后在频谱图上有着能量最强、幅值最大的特点而混沌信号在频谱图中会出现宽频噪声背景和宽峰，找到图中尖峰处所对应的横坐标频率值1.267Hz，即为心脏跳动在每秒时间内的跳动次数，但我们工程上心率信号的单位采用的是次/分钟(bpm)故将FFT得到的频谱图的最高尖峰所对应的频率值1.267，乘以60秒，即得到我们所需要的心率值76.02≈76(次/分钟)。

第四步、将第三步所获得的心率值与第二步中的表情预测值进行比对，并输出与第三步所获得的心率值相同的表情。

参阅图10所示，本发明还提供了基于深度学习的实时视频情感分析系统与其相匹配，系统，包括以下模块：数据训练集，采用FERC-2013、CK+和RaFD的混合数据集；深度神经网络算法模块，用于对数据训练集内的表情图片进行识别，筛选并输出八种类别的表情预测值；表情预测值数据库，用于存储深度神经网络算法模块输出的表情预测值；拍摄模块，用于采集参与者的视频数据；心率算法模块，用于根据拍摄模块所采集的视频数据进行心率计算，并输出心率数据；比对模块，用于将心率算法模块所计算的心率数据与表情预测值数据库内的表情预测值进行比对，比对一致时输出与其相对应的表情；输出模块，用于输出表情和心率数据。

本发明将机器视觉中的人脸识别、图像分类算法应用于微表情和心率的检测中，利用深度学习算法实现微表情的识别，可应用在临床领域、司法领域和安全领域中。下面再集合具体实施例对本发明作进一步描述。

1、启动程序后，默认进入微表情识别页面，在无摄像头情况下，默认为空页面，如图11所示。

2、首页展示选择的视频源，可切换开启的摄像头，若视频中无画面接入，则提醒用户检测摄像头接入是否正常，如图12所示。

3、正常接入视频后，视频右侧展示表情计分实时变化图，即当前时刻各表情的分值，如图13所示。

4、视频下方展示表情计分图形和心率计分图形，表情计分模块在上，心率计分模块在下。表情计分模块分左右两部分，左侧为表情记录列表，包括告警色块、表情分值、持续时间、识别时间，同时在右侧以图形形式展示。心率计分模块记录心率波动情况，将心率波动以图形式展示，左侧展示心率的告警列表，包括心率值、心率持续时间、开始时间，并记录各个心率值的脸部截图，右侧将心率值以图形形式展示，如图14所示。

5、当结束对视频的识别后，即点击“停止识别”后，弹出“是否保存录制视频”弹出框，录制视频从“开始识别”到“停止识别”时间段，以“年月日时分秒”时间命名，如图15所示。

6、点击“确定”，开始下载视频，下载视频可“取消下载”，关闭弹框，点击“确定”录制视频，则系统自动开始录制视频，展示录制进度条，录制完成时，展示视频保存路径，，如图16、图17所示。

7、点击“回放”按钮，支持视频播放(含视频框关闭、视频暂停/播放，视频进度拖拽、音量调整功能)，如图18所示。

8、对识别后的内容可进行告警筛选，包括微表情告警、心率告警，筛选后，则只展示告警的列表内容，如图19所示。

9、点击“停止识别”后，波动图停止波动，当前时间显示为“停止识别时间”，滚动条支持这次识别过程的数据查看，鼠标悬浮在图表上，出现“下载图表”按钮，点击，保存波状图，弹框提示图表已保存，并给出图表本地路径，点击“打开”按钮，可查看图表图片，如图20、图21所示。

在本实施例中可以对摄像头的参数进行设置。

点击左上角“微表情识别→摄像头”，进入摄像头主页面，即摄像头列表页，在摄像头主页面对已经创建的摄像头进行操作，控制摄像头开启和关闭，如图22所示。

点击“新增”按钮，输入摄像头名称、地址、网络协议及启动情况，新增摄像头地址，如图23所示。

点击操作中的“设置告警”，弹出告警规则配置页面，对配置好的开启中的摄像头配置告警规则，点击开始识别，则进入微表情识别页面，对视频进行识别，如图24所示。

在本实施例中可以对告警参数进行设置。

点击“告警→设置”对开启状态的摄像头设置告警规则，包括需告警的表情、表情告警阈值、心率告警阈值以及同步规则。表情告警阀值设置“开始告警”的表情计分值，心率告警阀值设置最低、最高值，默认50～90，不在该范围内均报警，规则默认同步全部摄像头，选择仅当前摄像头时，与识别界面摄像头保持统一，保存告警规则，立即生效，如图25所示。

虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习的实时视频情感分析方法，其特征在于，包括以下步骤：

S1、获取训练数据集；

S2、采用基于深度神经网络算法来对训练数据集的微表情进行识别，筛选并输出八种类别的表情预测值，八种类别的表情包括平和、开心、惊讶、伤心、生气、厌恶、恐惧和轻视；

S3、采用心率算法对所拍摄的人表情进行预测并得到相应的心率值；

S4、将步骤S3所获得的心率值与步骤S2中的表情预测值进行比对，并输出与步骤S3所获得的心率值相同的表情。

2.根据权利要求1所述的基于深度学习的实时视频情感分析方法，其特征在于，所述步骤S3的心率算法包括以下步骤，

S31、采用拍摄设备对人的表情进行拍摄，同时再利用物理测量仪器测量参与者的脉搏拍摄的视频皆以24位RGB真彩色、15帧/秒的帧速、1920×1080的像素分辨率采集；

S32、利用深度神经网络检测人脸区域作为ROI，将读取彩色视频的每一帧ROI内的图像，然后对其彩色信号实施三基色分离得到R、G、B三个通道的颜色分量，并将其保存成一个三维数字矩阵，其中第三个维度代表R、G、B三个颜色通道,余下两维的矩阵中的每一个位置上都是ROI内每个相应位置的R、G、B通道的像素值；

S33、将每帧R、G、B三个颜色通道所对应的各自二维矩阵取空间平均，作为该帧视频图像所处时刻的PPG信号样本值；

S34、利用Fast ICA算法将初始信号序列分解为3个独立源信号，将三个分离出来的ICA潜在独立源信号分别与绿色通道原始信号实施简单相关性分析，以找出其中与绿色通道原始信号线性相关程度最高的一个潜在独立源信号；

S35、选择相应的通带频率范围为[0.75,4]，采用一维数字滤波器将非此频段的信号全部进行衰减消除对心率信号频段的干扰，经独立成分分析提取出来的三个ICA独立源信号中含有的PPG信号最强，并对此ICA潜在独立源信号做滤波处理后得到图形；

S36、对PPG信号进行傅立叶变换后在频域中的波形图提取与其对称波形的一半来分析即可得到的频谱图；

S37、将步骤S36中频谱图最高尖峰所对应的频率值乘以六十秒得到心率值。

3.根据权利要求2所述的基于深度学习的实时视频情感分析方法，其特征在于，在步骤S31中对人的表情进行拍摄的具体方法为：参与者坐在一台有内置摄像头的笔记本电脑前40到50厘米左右的位置，面对着摄像头进行拍摄视频。

4.根据权利要求2所述的基于深度学习的实时视频情感分析方法，其特征在于，在步骤S32中，如果没有人脸被检测到，则前一个ROI参数被使用；如果检测到的人脸数量多于一个，选择与前一个ROI参数最为接近的矩形框作为人脸识别的结果。

5.根据权利要求2所述的基于深度学习的实时视频情感分析方法，其特征在于，在步骤S32中，三维数字矩阵的矩阵维数是640×480×3。

6.根据权利要求1所述的基于深度学习的实时视频情感分析方法，其特征在于，所述步骤S1中获取训练数据集的具体方法为：采用FERC-2013、CK+和RaFD的混合数据集，共12万张表情图片。

7.根据权利要求1所述的基于深度学习的实时视频情感分析方法，其特征在于，八种类别的表情的具体输出方法为：深度神经网络算法输入大小为48*48的单通道图片，经过2层64个过滤器大小3*3的卷积层和1个过滤器大小为2*2、步长为2的池化层，2层128个过滤器大小3*3的卷积层和1个过滤器大小为2*2、步长为2的池化层，2个3层256个过滤器大小3*3的卷积层和1个过滤器大小为2*2、步长为2的池化层，接着经过三层1024个节点的全连接层，最后输出8种类别的表情预测值。

8.一种基于深度学习的实时视频情感分析系统，其特征在于，包括以下模块：

数据训练集，采用FERC-2013、CK+和RaFD的混合数据集；

深度神经网络算法模块，用于对数据训练集内的表情图片进行识别，筛选并输出八种类别的表情预测值；

表情预测值数据库，用于存储深度神经网络算法模块输出的表情预测值；

拍摄模块，用于采集参与者的视频数据；

心率算法模块，用于根据拍摄模块所采集的视频数据进行心率计算，并输出心率数据；

比对模块，用于将心率算法模块所计算的心率数据与表情预测值数据库内的表情预测值进行比对，比对一致时输出与其相对应的表情；

输出模块，用于输出表情和心率数据。