CN112686156A - 一种情绪监测方法、装置、计算机设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种情绪监测方法、装置、计算机设备及可读存储介质，涉及人工智能技术领域，包括采集实时图像信息，筛选带有人脸的实时图像信息作为第一处理图像信息；根据人脸对所述第一处理图像信息进行切割，获得至少一个第二处理图像；对各个所述第二处理图像进行人脸识别，确定与各个所述第二处理图像对应的身份信息；采用情绪识别模型对各个所述第二处理图像进行处理，获取各个所述第二处理图像对应的情绪分析结果；将各个所述第二处理图像的身份信息和情绪分析结果对应存储至数据库中，解决了现有的情绪把控无法进行数字化信息管理，且时效性不高，同时人工一对多管理，效率较低的问题。

Description

一种情绪监测方法、装置、计算机设备及可读存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种情绪监测方法、装置、计算机设备及可读存储介质。

背景技术

图像识别是人工智能领域重要的方向之一，计算机可通过图像特征值提取的方式，模仿人类视觉功能，通过模型训练预测，实现对图像的分类识别。目前计算机视觉在很多场景下实现了应用落地，例如：无人驾驶，人脸识别，刑侦追踪，刷脸支付等。

当前企业的管理中，图像识别具有很多应用，但大多仅用于识别对象，如考勤、人脸识别等，往往无法监控的情绪变化。传统企业员工的情绪把控，多以管理者观察为主，无法进行数字化信息管理，且时效性不高，同时管理者一对多管理，精力有限，很难细致的兼顾每个，效率较低。

发明内容

本发明的目的是提供一种情绪监测方法、装置、计算机设备及可读存储介质，用于解决现有的情绪把控无法进行数字化信息管理，且时效性不高，同时人工一对多管理，效率较低的问题。

为实现上述目的，本发明提供一种情绪监测方法，包括：

采集实时图像信息，筛选带有人脸的实时图像信息作为第一处理图像信息；

对所述第一处理图像信息中的人脸进行定位后切割，获得至少一个第二处理图像；

对各个所述第二处理图像进行人脸识别，确定与各个所述第二处理图像对应的身份信息；

采用情绪识别模型对各个所述第二处理图像进行处理，获取各个所述第二处理图像对应的情绪分析结果；

将各个所述第二处理图像的身份信息和情绪分析结果对应存储至数据库中。

进一步的，在对各个所述第二处理图像进行人脸识别，确定与各个所述第二处理图像对应的身份信息前，还包括预先建立根据预设身份信息编码与所述数据库关联的身份信息库，所述建立身份信息库包括以下：

获取预设身份信息列表，其中，所述预设身份信息列表中包括多个身份信息编码，每一身份信息编码均关联唯一存储区；

逐个采集所述预设身份信息列表中的各个身份信息编码对应的图像数据；

用第一人脸检测模型对各个所述图像数据进行识别，并根据识别结果获得各个身份信息编码对应的人脸数据；

对各个人所述脸数据进行灰度处理获得单通道图像作为各个所述人脸数据对应的目标图像；

将所述目标图像存储在对应身份信息编码关联的唯一存储区中，生成身份信息库。

进一步，所述对各个所述第二处理图像进行人脸识别，确定与各个所述第二处理图像对应的身份信息，包括以下：

建立第二人脸检测模型，并根据预先建立的身份信息库获取人脸数据集合；

对所述人脸数据集合中的各个人脸数据进行扩展处理，获得预设数量的人脸数据作为训练数据；

采用所述训练数据对所述第二人脸检测模型进行训练，获得训练好的第一人脸检测模型；

采用所述训练好的第一人脸检测模型对所述第二处理图像信息逐个进行处理，确定与各个所述第二处理图像信息对应的身份信息。

进一步的，所述采用情绪识别模型对各个所述第二处理图像进行处理，获取各个所述第二处理图像对应的情绪分析结果，对于每一所述第二处理图像，包括以下：

将所述第二处理图像经过输入层进入，并采用第一网络、第二网络和第三网络依次进行特征提取，获得处理向量；其中，所述第一网络、第二网络和第三网络均包括卷积层、池化层和Dropout层；

采用第一全连接层和Dropout层对所述处理向量进行处理后，再通过第二连接层和softmax函数输出，获得所述第二处理图像对应的情绪分析结果。

进一步的，在采用情绪识别模型对各个所述第二处理图像进行处理，获取各个所述第二处理图像对应的情绪分析结果前，还包括对所述情绪识别模型的训练，所述训练包括以下：

获取训练样本集合，其中，所述训练样本集合包括训练数据和与每一训练数据对应的样本标签；

获取任一训练数据，采用第一网络、第二网络和第三网络依次对所述训练数据进行特征提取，获得样本处理向量；

采用第一全连接层、Dropout层对所述样本处理向量进行处理后，再通过第二连接层和softmax函数输出样本处理结果；

基于样本标签和所述样本处理结果计算所述情绪识别模型的准确率，并根据所述准确率调整所述情绪识别模型的损失函数和优化算法；

获取另一训练数据继续训练，直至当所述情绪识别模型的准确率满足预设条件，获得训练好的情绪识别模型。

进一步的，所述获取另一训练数据继续训练，直至当所述情绪识别模型的准确率满足预设条件，获得训练好的情绪识别模型，包括以下：

获得所述情绪识别模型的准确率，判断所述准确率是否超出第一阈值；

若否，则获取训练次数，当所述训练次数超出第二阈值，则获得训练好的情绪识别模型；当所述训练次数未超出第二阈值，则获取另一训练数据继续训练；

若是，则记录为有效训练后，再获取历史累计有效训练次数，当所述历史累计有效训练次数超出第三阈值，则获得训练好的情绪识别模型；当所述历史累计有效训练次数未超出第三阈值，则获取另一训练数据继续训练。

进一步的，所述方法还包括以下：

接收用户端发出的查询请求，所述查询请求中包含待查询的身份信息列表；

从所述数据库中获取与所述身份信息列表中各个身份信息编码对应的情绪分析结果集合；

将所述各个身份信息编码及对应的情绪分析结果集合逐个写入预设模板中以获得目标结果，并将所述目标结果发送至用户端。

为实现上述目的，本发明还提供一种情绪监测装置，包括：

采集模块，用于采集实时图像信息，筛选带有人脸的实时图像信息作为第一处理图像信息；

切割模块，用于根据人脸对所述第一处理图像信息进行切割，获得至少一个第二处理图像；

身份确认模块，用于对各个所述第二处理图像进行人脸识别，确定与各个所述第二处理图像对应的身份信息；

情绪分析模块，用于采用情绪识别模型对各个所述第二处理图像进行处理，获取各个所述第二处理图像对应的情绪分析结果；

存储模块，用于将各个所述第二处理图像的身份信息和情绪分析结果对应存储至数据库中。

为实现上述目的，本发明还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述情绪监测方法的步骤。

为实现上述目的，本发明还提供一种计算机可读存储介质，其包括多个存储介质，各存储介质上存储有计算机程序，所述多个存储介质存储的所述计算机程序被处理器执行时共同实现上述情绪监测方法的步骤。

本发明提供的情绪监测方法、装置、计算机设备及可读存储介质，通过采集获取实时图像信息，并对实时图像信息进行筛选、切割，以获得多个包含且仅包含一张人脸的第二处理图像，而后建立身份信息库并对第二处理图像信息进行身份信息确认和情绪分析，最后将情绪分析结果与身份信息匹配对应存储，以解决现有的情绪把控无法进行数字化信息管理，且时效性不高，同时人工一对多管理，效率较低的问题。

附图说明

图1为本发明所述情绪监测方法实施例一的流程图；

图2为本发明所述情绪监测方法实施例一中预先建立根据预设身份信息编码与所述数据库关联的身份信息库的流程图；

图3为本发明所述情绪监测方法实施例一中对各个所述第二处理图像进行人脸识别，确定与各个所述第二处理图像对应的身份信息的流程图；

图4为本发明所述情绪监测方法实施例一中对于每一所述第二处理图像，采用情绪识别模型对各个所述第二处理图像进行处理，获取各个所述第二处理图像对应的情绪分析结果的流程图；

图5为本发明所述情绪监测方法实施例一中采用情绪识别模型对各个所述第二处理图像进行处理，获取各个所述第二处理图像对应的情绪分析结果前，还包括对所述情绪识别模型的训练的流程图；

图6为本发明所述情绪监测方法实施例一中获取另一训练数据继续训练，直至当所述情绪识别模型的准确率满足预设条件，获得训练好的情绪识别模型的流程图；

图7为本发明所述情绪监测方法实施例一中对根据企业员工实时图像信息获取身份信息和情绪分析结果后，所述方法还包括基于所述数据库进行分析使用的流程图；

图8为本发明所述情绪监测装置实施例二的程序模块示意图；

图9为本发明计算机设备实施例三中计算机设备的硬件结构示意图。

附图标记：

7、情绪监测装置 71、采集模块 72、切割模块

73、身份确认模块 74、情绪分析模块 75、存储模块

76、执行模块 741、特征提取子模块 742、结果确定子模块

8、计算机设备 81、存储器 82、处理器 83、网络接口

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本发明提供的情绪监测方法、装置、计算机设备及可读存储介质，适用于人工智能领域，为提供一种基于采集模块71、切割模块72、身份确认模块73、情绪分析模块74、存储模块75以及执行模块76的情绪监测方法。本发明通过采集模块获取实时图像信息，并筛选出带有人脸图像的实时图像信息作为第一处理图像信息，而后通过切割模块对第一处理图像信息进行处理，以获得包含且仅包含一张人脸的第二处理图像，利用身份确认模块和情绪分析模块建立身份信息库并对第二处理图像信息进行身份信息确认和情绪分析，最后采用存储模块将情绪分析结果与身份信息匹配对应存储，解决现有的情绪把控无法进行数字化信息管理，且时效性不高，同时人工一对多管理，效率较低的问题。通过人脸识别和表情识别相结合，实现了职场员工的情绪监测及记录，为员工的情绪分析提供了数据支撑。

实施例一

请参阅图1，本实施例的一种情绪监测方法，应用于服务器端，用于企业员工管理中对员工情绪的监测，以便及时预警和采取措施，具体包括以下步骤：

S100：采集实时图像信息，筛选带有人脸的实时图像信息作为第一处理图像信息；

在本方案中，通过摄像头采集实时图像信息，并通过人脸检测器对采集到的实时图像信息进行初步筛选，具体的，使用OpenCV的库函数即可实现上述步骤中待处理图像信息的筛选，设置该步骤主要是考虑在摄像头实时采集图像信息的过程中，会采集到不包含人脸的图像信息，此类图像信息为无效的图像信息，无法用于后续人脸识别以及情绪识别，因此预先筛选，以提高工作效率，避免无效识别过程。

S200：对所述第一处理图像信息中的人脸进行定位后切割，，获得至少一个第二处理图像；

在上述步骤中，由于在实际使用场景中，摄像头自主采集某一区域的实时图像信息，在该区域内可能出现较多企业员工或同一实时图像信息中包含多个企业员工，因此需要根据人脸位置进行自主切割，具体的，可采用常用的一些模型或人脸定位算法实现对人脸定位，比如通过现有的VJ人脸检测器或构建简单的人脸检测模型(级联线性回归模型)等，可以和上述S100筛选使用同一人脸检测器，根据人脸位置切割，以确保每一第二处理图像有且仅有一张人脸，减少由于一张实时图像信息中包括多个企员工而无法识别的情况，进一步提高后续针对每一企业员工情绪分析结果的准确性。

在操作过程中，还可对各个所述第二处理图像信息进行关联时间标签，人脸图像灰度处理等，由于第一处理图像为包含人脸的实时图像信息，因此在摄像头采集过程中可直接获得包含时间戳的图像信息，关联时间标签可根据该实时图像信息对应的时间戳进行格式转换。

S300：对各个所述第二处理图像进行人脸识别，确定与各个所述第二处理图像对应的身份信息；

在对各个所述第二处理图像进行人脸识别，确定与各个所述第二处理图像对应的身份信息前，还包括预先建立根据预设身份信息编码与所述数据库关联的身份信息库，参阅图2，所述建立身份信息库包括以下：

S311：获取预设身份信息列表，其中，所述预设身份信息列表中包括多个身份信息编码，每一身份信息编码均关联唯一存储区；

在上述步骤中，预设身份信息列表中包括所有企业员工的身份信息，建立信息库主用于后续人脸识别后确认各个第二处理图像信息对应的员工身份。

S312：逐个采集所述预设身份信息列表中的各个身份信息编码对应的图像数据；

在上述步骤中，可通过员工自主输入身份信息编码而后采集对应的人脸图像数据，也可通过数据批量导入。

S313：用第一人脸检测模型对各个所述图像数据进行识别，并根据识别结果获得各个身份信息编码对应的人脸数据；

在本方案中，采用开源的haarcascade_frontalface_default.xml实现人脸识别(即建立第一人脸检测模型)，上述基于识别结果进行分割主要是根据识别结果定位人脸位置，基于人脸位置对图像数据进行分割，以获取准确的人脸数据。

S314：对各个人所述脸数据进行灰度处理获得单通道图像作为各个所述人脸数据对应的目标图像；

在上述步骤中，灰度化的过程就是将每个像素点的RGB值统一成同一个值，以便提高后续处理过程中的简便性，进行灰度处理主要用于将多通道图像转换成单通道图像，以便于存储，节省空间。

S315：将所述目标图像存储在对应身份信息编码关联的唯一存储区中，生成身份信息库。

在本方案中，对于每一身份信息编码的企业员工来说，采集多张图像数据(本实施场景中每一员工采集存储200张脸部图像)，以提高上述步骤S300待处理图像身份确认的准确性，每一身份信息编码对应的目标图像均存储在与其对应的唯一存储区内，方便对每个企业员工的信息管理。

上述步骤S300中所述对各个所述第二处理图像进行人脸识别，确定与各个所述第二处理图像对应的身份信息，参阅图3，包括以下：

S321：建立第二人脸检测模型，并根据预先建立的身份信息库获取人脸数据集合；

上述步骤中本文使用openCV中的FaceRecognizer类实现人脸识别功能的建模，其中特征提取选择LBPH算法,通过调用openCV创建LBPH人脸识别的模型，建立的第二人脸检测模型需要进行预训练，本方案中采用身份信息库中的目标图像来生成训练样本。

S322：对所述人脸数据集合中的各个人脸数据进行扩展处理，获得预设数量的人脸数据作为训练数据；

在上述步骤中，扩展处理为数据增强处理，包括但不限于翻转，剪切，倒置，加入噪声等处理，将原有单个企业员工的200张人脸图像拓展成1000张，并按照4：1的比例分为训练集和测试集，说明的是，训练集用于输入以完成训练过程，测试集用于测试训练结果的准确率。

S323：采用所述训练数据对所述第二人脸检测模型进行训练，获得训练好的第一人脸检测模型；

在本方案中，第二人脸检测模型主要用于人脸识别，为现有技术中常用的技术手段，在此对于训练过程不再赘述。

S324：采用所述训练好的第一人脸检测模型对所述第二处理图像信息逐个进行处理，确定与各个所述第二处理图像信息对应的身份信息。

通过上述步骤S321～S324实现对第二处理图像的人脸识别，由于在实际使用场景中，摄像头自主采集某一区域的实时图像信息，在该区域内可能出现较多企业员工或同一实时图像信息中包含多个企业员工的情况，更具体的，在将第二处理图像输入第二人脸检测模型后，进行预测，并根据置信度确认待识别图像信息对应的身份信息(具体的，本方案中置信度为85％)，由于训练样本采用身份信息库中的人脸数据，因此可确定各个待处理图像信息对应的身份信息。

S400：采用情绪识别模型对各个所述第二处理图像进行处理，获取各个所述第二处理图像对应的情绪分析结果；

在本方案中，所述情绪识别模型为多层卷积网络，用于根据特定肌肉的变化，比如皱起眉头，睁大眼睛表示愤怒等，该情绪识别模型包括三层卷积网络，具体的包括依次设置的输入层、第一层网络(卷积(3*3*32)、池化(最大值池化)，dropout(0.5))、第二层(卷积(3*3*64)、池化(最大值池化)，dropout(0.5))，第三层(卷积(3*3*128)、池化(最大值池化)，dropout(0.5))、64节点全连接层、dropout(0.5)层、7节点全连接层、softmax函数输出层。

具体的，所述采用情绪识别模型对各个所述第二处理图像进行处理，获取各个所述第二处理图像对应的情绪分析结果，对于每一所述第二处理图像，参阅图4，包括以下：

S411：将所述第二处理图像经过输入层进入，并采用第一网络、第二网络和第三网络依次进行特征提取，获得处理向量；其中，所述第一网络、第二网络和第三网络均包括卷积层、池化层和Dropout层；

具体的，所述第一网络包括卷积层(3*3*32)、池化层(最大值池化)，dropout层(0.5)，第二网络包括卷积层(3*3*64)、池化层(最大值池化)、dropout层(0.5)，第三网络包括卷积层(3*3*128)、池化层(最大值池化)、dropout层(0.5)，卷积层主要用来提取特征以及进行权值共享，池化，即对提取的特征图片进行压缩，提取主要的特征并且特征图变小时可以简化网络计算复杂度，全连接层则用于把所有特征进行连接。

通过上述第一网络、第二网络和第三网络的三次特征提取，捕捉用于情绪确定的面部特征，提高情绪识别结果的准确性，同时第一网络、第二网络和第三网络均包含dropout层，主要考虑到dropout层的随机性情况，每次dropout后，模型可看成是一个不同结构的神经网络，可以解决多个独立的不同神经网络的训练消耗问题，进一步提高模型处理的效率和准确性。

S412：采用第一全连接层和Dropout层对所述处理向量进行处理后，再通过第二连接层和softmax函数输出，获得所述第二处理图像对应的情绪分析结果。

具体的，全连接层在整个卷积神经网络中起到“分类器”的作用。在上述步骤中，第一全连接层设置为64节点全连接层，第二连接层设置为7节点全连接层，设置两个全连接层进一步提高模型输出结果的准确性。

在采用情绪识别模型对各个所述第二处理图像进行处理，获取各个所述第二处理图像对应的情绪分析结果前，还包括对所述情绪识别模型的训练，参阅图5或图6，所述训练包括以下：

S421：获取训练样本集合，其中，所述训练样本集合包括训练数据和与每一训练数据对应的样本标签；

本方案中采用公开数据集“Fer2013”进行表情识别模型的训练，将人类表情分为(即样本标签包括)：生气、厌恶、害怕、快乐、难过、惊讶、自然

S422：获取任一训练数据，采用第一网络、第二网络和第三网络依次对所述训练数据进行特征提取，获得样本处理向量；

S423：采用第一全连接层、Dropout层对所述样本处理向量进行处理后，再通过第二连接层和softmax函数输出样本处理结果；

需要说明的是，上述422～S423与上述执行过程中S411～S412一致。

S424：基于样本标签和所述样本处理结果计算所述情绪识别模型的准确率，并根据所述准确率调整所述情绪识别模型的损失函数和优化算法；

具体的，在上述步骤中损失函数使用交叉熵，优化算法使用Adam，根据损失函数和优化算法在情绪识别模型训练过程对模型进行自主调整，其他损失函数和优化算法可用于现有人脸识别模型也可用于此。

S425：获取另一训练数据继续训练，直至当所述情绪识别模型的准确率满足预设条件，获得训练好的情绪识别模型。

上述步骤S321～S326为所述情绪识别模型的训练过程，与上述S311～S314执行过程一致，增加损失函数和优化算法的调整过程，训练完成后即可用于上述执行过程。

具体的，所述获取另一训练数据继续训练，直至当所述情绪识别模型的准确率满足预设条件，获得训练好的情绪识别模型，参阅图6，包括以下：

S425-1：获得所述情绪识别模型的准确率，判断所述准确率是否超出第一阈值；

在上述步骤中，第一阈值可以根据依据实际使用场景设置，也可通过训练过程设置。

S425-2：若准确率未超出第一阈值，则获取训练次数；再次判断所述训练次数是否超出第二阈值；

具体的，上述第二阈值也可以根据依据实际使用场景设置，在本方案中设置为3次。

S425-21：若是，则获得训练好的情绪识别模型；

S425-22：若否，则获取另一训练数据继续训练，即执行上述步骤S421；

S425-3：若准确率超出第一阈值，则记录为有效训练；

S425-31：获取历史累计有效训练次数，判断所述历史累计有效训练次数是否超出第三阈值；若是，则执行上述步骤S425-21：若否，则执行上述步骤S425-22。

上述第三阈值可预先设置，以防止训练过程的无限循环。

通过上述步骤S425-1～S425-32，当训练结果准确率超出第一阈值的次数达到第二阈值后或训练次数超出第三阈值后，即可停止训练过程，以避免训练过程过长而无法发现模型出错的情况。

本方案中在情绪识别模型处理过程中，建立包含三层卷积网络的模型，以进一步提高识别结果的准确性，同时每一层网络后均包含dropout层，区别现有技术中仅在最后输出前通过dropout层的方案，减少dropout层的随机性情况，解决训练消耗问题，进一步提高模型处理的效率和准确性。

S500：将各个所述第二处理图像的身份信息和情绪分析结果对应存储至数据库中。

在本方案中，由于通过摄像头采集实时图像信息，因此可能包含采集的多张实时图像信息中对应多个企业员工的图像信息，通过上述第一人脸检测模型、第二人脸检测模型和情绪识别模型的处理后，可能获得多个企业员工的情绪分析结果，因此将各个情绪分析结果根据身份信息对应存储，以解决现有技术中出现的管理者一对多管理，精力有限，很难细致的兼顾每个员工，效率较低的问题，同时实现对企业员工情绪的数字化信息管理，且由于是对实时图像信息的分析，有效提高分析结果的准确性和时效性。

通过上述步骤S100～S500实现对企业员工情绪的实时采集和情绪分析，并通过身份信息将情绪分析结果与身份信息编码对应关联，企业管理者可以直接从预设数据库中获取一个或多个企业员工的情绪分析结果，全面的分析员工在一个阶段的情绪变化。针对异常情绪(负面情绪过多)的员工重点注意，必要时进行沟通疏导.

具体的，在上述步骤S100～S500根据企业员工实时图像信息获取身份信息和情绪分析结果后，所述方法还包括基于所述数据库进行分析使用，参与图7，具体包括以下步骤：

S610：接收用户端发出的查询请求，所述查询请求中包含待查询的身份信息列表；

所述数据库中包含所有企业员工的身份信息及情绪分析结果集合，每一身份信息均单独存储，有利于信息管理以及后续数据获取。如上述步骤中可预先关联时间标签，根据实时图像信息可获取任一企业员工一段时间或任一时刻的情绪变化，以便于管理者查看。

S620：从所述数据库中获取与所述身份信息列表中各个身份信息编码对应的情绪分析结果集合；

由于在上述步骤中采集实时图像信息，因此每一企业员工(即身份信息)可对应多个实时图像信息，基于各个实时图像信息进行情绪分析均可获得一情绪分析结果，即该时刻对应的该企业员工的情绪分析结果，如上S311所述每一身份信息编码均关联唯一存储区，用于存储目标图像(员工初始采集的图像，用于验证身份信息)，身份信息库根据预设身份信息编码与所述数据库关联，因此也存储各个企业员工各个时刻下的情绪分析结果，因此可直接获取任一企业员工的情绪分析结果集合，企业管理者可以根据情绪分析结果集合获得该员工情绪状态变化。

S630：将所述各个身份信息编码及对应的情绪分析结果集合逐个写入预设模板中以获得目标结果，并将所述目标结果发送至用户端。

预设模板可以根据应用场景需求自主设置，作为举例而非限定的，通过情绪变化，可通过预设模板进行可视化展示，进而动态的分析出团队每日工作激情高涨，还是士气低落等比例数据。还可通过情绪变化和员工离职率关联分析，如果比例成正比，那么说明员工情绪低落会导致离职率上升，给管理者一些提醒等，从而做出一些科学的决策。

上述待目标图像和对各个身份信息对应的情绪分析结果集合可上传至区块链以便于后续作为参考样本或训练样本，上传至区块链可保证其安全性和对用户的公正透明性，用户设备可以从区块链中下载得该摘要信息，以便查证优先级列表是否被篡改，后续也可以从区块链中下载获得对应情绪分析结果用于管理者查看和分析。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

方案中通过人脸识别和表情识别相结合，实现了职场员工的情绪监测及记录，为员工的情绪分析提供了数据支撑。具体的，通过摄像头进行图像摄取，筛选出带有人脸图像的实时图像信息、分割获得第二处理图像，而后建立身份信息库，并采用预训练好的第二人脸检测模型和情绪识别模型分别对第二处理图像信息进行身份信息确认和情绪分析，最后将情绪分析结果与身份信息匹配对应存储，实现了员工情绪监测数据，为分析员工情绪的变化提供了数据支撑，解决本方案中提出的传统的员工情绪把控，多以管理者观察为主，无法进行数字化信息管理，且时效性不高，同时管理者一对多管理，精力有限，很难细致的兼顾每个员工，效率较低的问题。

实施例二：

请参阅图8，本实施例的一种情绪监测装置7，包括：采集模块71、切割模块72、身份确认模块73、情绪分析模块74、存储模块75以及执行模块76。

采集模块71，用于采集实时图像信息，筛选带有人脸的实时图像信息作为第一处理图像信息；

切割模块72，用于根据人脸对所述第一处理图像信息进行切割，获得至少一个第二处理图像；

身份确认模块73，用于对各个所述第二处理图像进行人脸识别，确定与各个所述第二处理图像对应的身份信息；

情绪分析模块74，用于采用情绪识别模型对各个所述第二处理图像进行处理，获取各个所述第二处理图像对应的情绪分析结果；

所述情绪分析模块74还包括特征提取子模块741和结果确定子模块742：

特征提取子模块741，用于将所述第二处理图像经过输入层进入，并采用第一网络、第二网络和第三网络依次进行特征提取，获得处理向量；其中，所述第一网络、第二网络和第三网络均包括卷积层、池化层和Dropout层；

结果确定子模块742，用于采用第一全连接层和Dropout层对所述处理向量进行处理后，再通过第二连接层和softmax函数输出，获得所述第二处理图像对应的情绪分析结果。

存储模块75，用于将各个所述第二处理图像的身份信息和情绪分析结果对应存储至数据库中。

所述情绪监测装置7还包括执行模块76，用于接收用户端发出的查询请求，所述查询请求中包含待查询的身份信息列表；从所述数据库中获取与所述身份信息列表中各个身份信息编码对应的情绪分析结果集合；将所述各个身份信息编码及对应的情绪分析结果集合逐个写入预设模板中以获得目标结果，并将所述目标结果发送至用户端。

本技术方案基于人工智能中生物识别的人脸识别和情绪识别，通过采集模块进行图像摄取，并筛选出带有人脸图像的实时图像信息作为第一处理图像信息，通过切割模块对第一处理图像信息进行处理，以获得包含且仅包含一张人脸的第二处理图像，减少一张实时图像信息中包含多个人脸影响情绪分析结果的情况，而后利用身份确认模块和情绪分析模块执行包括建立身份信息库、采用预训练好的第二人脸检测模型和情绪识别模型分别对第二处理图像信息进行身份信息确认和情绪分析等步骤，最后采用存储模块将情绪分析结果与身份信息匹配对应存储，实现了员工情绪监测数据，为分析员工情绪的变化提供了数据支撑，解决本方案中提出的传统的员工情绪把控，多以管理者观察为主，无法进行数字化信息管理，且时效性不高，同时管理者一对多管理，精力有限，很难细致的兼顾每个员工，效率较低的问题。

本方案中在利用存储模块将情绪分析结果存储后，还包括利用执行模块76接收用户端发出的查询请求，并获取对应的情绪分析结果集合并以预设模板的形式返回给用户端，以便于企业管理者随时查看各个企业员工的情绪状态变化，，以便及时采取对应措施。

除上述外，在情绪分析模块对第二处理图像信息进行情绪分析的过程中，采用特征提取子模块741建立包含三层卷积网络的模型，以进一步提高识别结果的准确性，同时每一层网络后均包含dropout层，区别现有技术中仅在最后输出前通过dropout层的方案，减少dropout层的随机性情况，解决训练消耗问题，进一步提高模型处理的效率和准确性。

实施例三：

为实现上述目的，本发明还提供一种计算机设备8，该计算机设备可包括多个计算机设备，实施例二的情绪监测装置1的组成部分可分散于不同的计算机设备8中，计算机设备8可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器81、处理器82、网络接口83以及情绪监测装置7，如图9所示。需要指出的是，图9仅示出了具有组件-的计算机设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

本实施例中，存储器81至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器81可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器81也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器81还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器81通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例一的情绪监测装置7的程序代码等。此外，存储器81还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器82在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器82通常用于控制计算机设备的总体操作。本实施例中，处理器82用于运行存储器81中存储的程序代码或者处理数据，例如运行情绪监测装置，以实现实施例一的情绪监测方法。

所述网络接口83可包括无线网络接口或有线网络接口，该网络接口53通常用于在所述计算机设备8与其他计算机设备8之间建立通信连接。例如，所述网络接口83用于通过网络将所述计算机设备8与外部终端相连，在所述计算机设备8与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。

需要指出的是，图9仅示出了具有部件81-83的计算机设备8，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。

在本实施例中，存储于存储器81中的所述情绪监测装置7还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器81中，并由一个或多个处理器(本实施例为处理器82)所执行，以完成本发明。

实施例四：

为实现上述目的，本发明还提供一种计算机可读存储介质，其包括多个存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器83执行时实现相应功能。本实施例的计算机可读存储介质用于存储情绪监测装置7，被处理器83执行时实现实施例一的情绪监测方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种情绪监测方法，其特征在于，包括：

采集实时图像信息，筛选带有人脸的实时图像信息作为第一处理图像信息；

对所述第一处理图像信息中的人脸进行定位后切割，获得至少一个第二处理图像；

对各个所述第二处理图像进行人脸识别，确定与各个所述第二处理图像对应的身份信息；

采用情绪识别模型对各个所述第二处理图像进行处理，获取各个所述第二处理图像对应的情绪分析结果；

将各个所述第二处理图像的身份信息和情绪分析结果对应存储至数据库中。

2.根据权利要求1所述的情绪监测方法，其特征在于，在对各个所述第二处理图像进行人脸识别，确定与各个所述第二处理图像对应的身份信息前，还包括预先建立根据预设身份信息编码与所述数据库关联的身份信息库，所述建立身份信息库包括以下：

获取预设身份信息列表，其中，所述预设身份信息列表中包括多个身份信息编码，每一身份信息编码均关联唯一存储区；

逐个采集所述预设身份信息列表中的各个身份信息编码对应的图像数据；

用第一人脸检测模型对各个所述图像数据进行识别，并根据识别结果获得各个身份信息编码对应的人脸数据；

对各个人所述脸数据进行灰度处理获得单通道图像作为各个所述人脸数据对应的目标图像；

将所述目标图像存储在对应身份信息编码关联的唯一存储区中，生成身份信息库。

3.根据权利要求1所述的情绪监测方法，其特征在于，所述对各个所述第二处理图像进行人脸识别，确定与各个所述第二处理图像对应的身份信息，包括以下：

建立第二人脸检测模型，并根据预先建立的身份信息库获取人脸数据集合；

对所述人脸数据集合中的各个人脸数据进行扩展处理，获得预设数量的人脸数据作为训练数据；

采用所述训练数据对所述第二人脸检测模型进行训练，获得训练好的第一人脸检测模型；

采用所述训练好的第一人脸检测模型对所述第二处理图像信息逐个进行处理，确定与各个所述第二处理图像信息对应的身份信息。

4.根据权利要求1所述的情绪监测方法，其特征在于，所述采用情绪识别模型对各个所述第二处理图像进行处理，获取各个所述第二处理图像对应的情绪分析结果，对于每一所述第二处理图像，包括以下：

将所述第二处理图像经过输入层进入，并采用第一网络、第二网络和第三网络依次进行特征提取，获得处理向量；其中，所述第一网络、第二网络和第三网络均包括卷积层、池化层和Dropout层；

采用第一全连接层和Dropout层对所述处理向量进行处理后，再通过第二连接层和softmax函数输出，获得所述第二处理图像对应的情绪分析结果。

5.根据权利要求1所述的情绪监测方法，其特征在于，在采用情绪识别模型对各个所述第二处理图像进行处理，获取各个所述第二处理图像对应的情绪分析结果前，还包括对所述情绪识别模型的训练，所述训练包括以下：

获取训练样本集合，其中，所述训练样本集合包括多个训练数据和与每一训练数据对应的样本标签；

获取任一训练数据，采用第一网络、第二网络和第三网络依次对所述训练数据进行特征提取，获得样本处理向量；

采用第一全连接层、Dropout层对所述样本处理向量进行处理后，再通过第二连接层和softmax函数输出样本处理结果；

基于样本标签和所述样本处理结果计算所述情绪识别模型的准确率，并根据所述准确率调整所述情绪识别模型的损失函数和优化算法；

获取另一训练数据继续训练，直至当所述情绪识别模型的准确率满足预设条件，获得训练好的情绪识别模型。

6.根据权利要求5所述的情绪监测方法，其特征在于，所述获取另一训练数据继续训练，直至当所述情绪识别模型的准确率满足预设条件，获得训练好的情绪识别模型，包括以下：

获得所述情绪识别模型的准确率，判断所述准确率是否超出第一阈值；

若否，则获取训练次数，当所述训练次数超出第二阈值，则获得训练好的情绪识别模型；当所述训练次数未超出第二阈值，则获取另一训练数据继续训练；

若是，则记录为有效训练后，再获取历史累计有效训练次数，当所述历史累计有效训练次数超出第三阈值，则获得训练好的情绪识别模型；当所述历史累计有效训练次数未超出第三阈值，则获取另一训练数据继续训练。

7.根据权利要求1所述的情绪监测方法，其特征在于，所述方法还包括以下：

接收用户端发出的查询请求，所述查询请求中包含待查询的身份信息列表；

从所述数据库中获取与所述身份信息列表中各个身份信息编码对应的情绪分析结果集合；

将所述各个身份信息编码及对应的情绪分析结果集合逐个写入预设模板中以获得目标结果，并将所述目标结果发送至用户端。

8.一种情绪监测装置，其特征在于，包括以下：

采集模块，用于采集实时图像信息，筛选带有人脸的实时图像信息作为第一处理图像信息；

切割模块，用于根据人脸对所述第一处理图像信息进行切割，获得至少一个第二处理图像；

身份确认模块，用于对各个所述第二处理图像进行人脸识别，确定与各个所述第二处理图像对应的身份信息；

情绪分析模块，用于采用情绪识别模型对各个所述第二处理图像进行处理，获取各个所述第二处理图像对应的情绪分析结果；

存储模块，用于将各个所述第二处理图像的身份信息和情绪分析结果对应存储至数据库中。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述情绪监测方法的步骤。

10.一种计算机可读存储介质，其包括多个存储介质，各存储介质上存储有计算机程序，其特征在于，所述多个存储介质存储的所述计算机程序被处理器执行时共同实现权利要求1至7任一项所述情绪监测方法的步骤。

Images