CN115553779A

CN115553779A - 一种情绪识别方法、装置、电子设备及存储介质

Info

Publication number: CN115553779A
Application number: CN202211384537.3A
Authority: CN
Inventors: 曾德忠; 杨辉; 蒋峄; 许大辉; 谢泽凯
Original assignee: Cetc Jiangtai Shenzhen Technology Development Co ltd
Current assignee: Cetc Jiangtai Shenzhen Technology Development Co ltd
Priority date: 2022-11-07
Filing date: 2022-11-07
Publication date: 2023-01-03

Abstract

本发明涉及情绪监测技术领域，尤其涉及一种情绪识别方法、装置、电子设备及存储介质，该方法包括：实时获取待测人员的生命体征数据；实时采集待测人员工作区域的人员面部图像信息；对人员面部图像信息进行人脸识别确定待测人员的面部表情数据；将待测人员的生命体征数据和待测人员的面部表情数据输入至预先训练的情绪识别模型得到待测人员的情绪识别结果，本发明实施例的情绪识别方法将生命体征检测设备的人员精准生命体征检测与摄像头的面部识别技术相结合，不仅实现了心率、体温、血压等生命体征指标的并行、精确测量，还结合表情照片等多源异构数据，实现了智能化情绪识别功能，能够大幅度提高保障工作的效率和准确性。

Description

一种情绪识别方法、装置、电子设备及存储介质

技术领域

本发明属于情绪监测技术领域，尤其涉及一种情绪识别方法、装置、电子设备及存储介质。

背景技术

在飞行员执行飞行任务之前，航医通常依靠传统的医疗检测设备检查飞行员的体温、血压和心率，并通过人工观察飞行员的面部表情与状态来判断当前飞行员的情绪，这种方式无法实现并行的快速检查，且无法完全排除主观因素的干扰。

为了提高检查效率，近来出现了基于面部图像识别技术的情绪识别仪器，这种识别仪器存在识别准确度较差的问题，无法推广使用；通过生理特征进行情绪识别的仪器，需要在身体内放置导联线，不方便使用，也无法进行长时间监测。

发明内容

本发明意在提供一种情绪识别方法、装置电子设备及存储介质，以解决现有人员情绪检测效率低且准确率差的问题，本发明要解决的技术问题通过以下技术方案来实现：

一方面，本发明提供了一种情绪识别方法，包括：

实时获取待测人员的生命体征数据，其中，所述待测人员的身体上设有生命体征检测设备；

实时采集待测人员工作区域的人员面部图像信息，其中，所述待测人员工作区域内布置有摄像头；

对所述人员面部图像信息进行人脸识别确定所述待测人员的面部表情数据；

将所述待测人员的生命体征数据和所述待测人员的面部表情数据输入至预先训练的情绪识别模型得到所述待测人员的情绪识别结果；

其中，所述将所述待测人员的生命体征数据和所述待测人员的面部表情数据输入至预先训练的情绪识别模型得到所述待测人员的情绪识别结果的步骤具体包括：

根据生命体征数据的获取时间戳和面部表情数据的采集时间戳对所述待测人员的生命体征数据和所述待测人员的面部表情数据进行时隙同步处理；

将处理后的所述待测人员的生命体征数据和所述待测人员的面部表情数据输入至预先训练的情绪识别模型得到所述待测人员的情绪识别结果。

优选地，所述生命体征数据包括心率数据、血氧数据、心电数据、血压数据、体温数据、体表阻抗数据和睡眠质量数据的一种或者多种。

优选地，所述对所述人员面部图像信息进行人脸识别确定所述待测人员的面部表情数据的步骤包括：

利用预先训练的人脸识别模型对所述人员面部图像信息进行识别得到人员身份识别结果；

根据所述人员身份识别结果从所述人员面部图像信息中提取出所述待测人员的面部表情数据。

优选地，所述情绪识别模型的构建步骤包括：

通过虚拟现实设备诱发训练人员的各种情绪并同时捕捉各个情绪对应的所述训练人员的面部表情数据，同步利用所述生命体征检测设备获取所述训练人员的生命体征数据；

建立所述训练人员的面部表情数据、所述训练人员的生命体征数据与对应情绪的关系得到所述情绪识别模型。

优选地，利用所述虚拟现实设备中的沉浸式场景、视频和游戏的一种或多种方式诱发所述训练人员的各种情绪。

另一方面，本发明还提供了一种情绪识别装置，包括：数据中心，与所述数据中心连接的生命体征检测设备以及摄像头，所述生命体征检测设备设置在待测人员的身体上，所述摄像头布置在待测人员工作区域内；

所述生命体征检测设备用于实时获取所述待测人员的生命体征数据；

所述摄像头用于实时采集所述待测人员工作区域的人员面部图像信息；

所述数据处理中心包括：人脸识别模块，用于对所述人员面部图像信息进行人脸识别确定所述待测人员的面部表情数据；以及情绪识别模块，用于将所述待测人员的生命体征数据和所述待测人员的面部表情数据输入至预先训练的情绪识别模型得到所述待测人员的情绪识别结果；

其中，所述情绪识别模块具体用于根据生命体征数据的获取时间戳和面部表情数据的采集时间戳对所述待测人员的生命体征数据和所述待测人员的面部表情数据进行时隙同步处理；将处理后的所述待测人员的生命体征数据和所述待测人员的面部表情数据输入至预先训练的情绪识别模型得到所述待测人员的情绪识别结果。

优选地，所述生命体征检测设备为智能腕表，所述智能腕表包括：主控制器，与所述主控制器连接的一个或者多个体征检测模块和无线通信模块，所述体征检测模块为心率血氧测量模块、心电血压测量模块、运动传感器模块、体温测量模块或者人体阻抗测量模块，所述主控制器用于处理所述体征检测模块的测量信号得到生命体征数据，并通过所述无线通信模块将所述生命体征数据上传至所述数据中心。

再一方面，本发明还提供了一种电子设备，包括：处理器和存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上述所述的情绪识别方法。

又一方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述所述的情绪识别方法。

与现有技术相比，本发明的一种情绪识别方法首先获取待测人员的生命体征数据和采集待测人员工作区域的人员面部图像信息，之后对人员面部图像信息进行人脸识别确定待测人员的面部表情数据，最后将待测人员的生命体征数据和待测人员的面部表情数据输入至预先训练的情绪识别模型得到待测人员的情绪识别结果，本发明实施例的情绪识别方法将生命体征检测设备的人员精准生命体征检测与摄像头的面部识别技术相结合，不仅实现了心率、体温、血压等生命体征指标的并行、精确测量，还结合表情照片等多源异构数据，实现了智能化情绪识别功能，能够大幅度提高保障工作的效率和准确性。本发明实施例的情绪识别方法适用于飞行员或者网约车驾驶员等特殊人群的情绪实时监测。

附图说明

图1为本发明的一种情绪识别方法的一些实施例的流程示意图；

图2为本发明的一种情绪识别方法的步骤300的一些实施例的流程示意图；

图3为本发明的一种情绪识别方法的步骤400的一些实施例的流程示意图；

图4为本发明的情绪识别模型构建过程的一些实施例的流程示意图；

图5为本发明的一种情绪识别装置的一些实施例的结构示意图；

图6为本发明的一种情绪识别装置的另一些实施例的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

在一些实施例中，参见图1所示，本发明实施例提供了一种情绪识别方法，包括：

步骤100：实时获取待测人员的生命体征数据，其中，待测人员的身体上设有生命体征检测设备；

需要说明的是，本实施例中生命体征检测设备可以为具有体征检测功能的智能穿戴装备。

步骤200：实时采集待测人员工作区域的人员面部图像信息，其中，待测人员工作区域内布置有摄像头；

步骤300：对人员面部图像信息进行人脸识别确定待测人员的面部表情数据；

步骤400：将待测人员的生命体征数据和待测人员的面部表情数据输入至预先训练的情绪识别模型得到待测人员的情绪识别结果。

可选地，本发明实施例中生命体征数据包括心率数据、血氧数据、心电数据、血压数据、体温数据、体表阻抗数据和睡眠质量数据的一种或者多种。

本发明实施例的一种情绪识别方法首先获取待测人员的生命体征数据和采集待测人员工作区域的人员面部图像信息，之后对人员面部图像信息进行人脸识别确定待测人员的面部表情数据，最后将待测人员的生命体征数据和待测人员的面部表情数据输入至预先训练的情绪识别模型得到待测人员的情绪识别结果，本发明实施例的情绪识别方法将生命体征检测设备的人员精准生命体征检测与摄像头的面部识别技术相结合，不仅实现了心率、体温、血压等生命体征指标的并行、精确测量，还结合表情照片等多源异构数据，实现了智能化情绪识别功能，能够大幅度提高保障工作的效率和准确性。本发明实施例的情绪识别方法适用于飞行员或者网约车驾驶员等特殊人群的情绪实时监测。

在一些实施例中，参见图2所示，本发明的情绪识别方法中步骤300包括：

步骤301：利用预先训练的人脸识别模型对人员面部图像信息进行识别得到人员身份识别结果；

需要说明的是，本实施例中预先训练的人脸识别模型可以为深度学习识别模型或者人脸特征模板库，在此不做具体限定。

步骤302：根据人员身份识别结果从人员面部图像信息中提取出待测人员的面部表情数据。

在一些实施例中，参见图3所示，本发明的情绪识别方法中步骤400包括：

步骤401：根据生命体征数据的获取时间戳和面部表情数据的采集时间戳对待测人员的生命体征数据和待测人员的面部表情数据进行时隙同步处理；

步骤402：将处理后的待测人员的生命体征数据和待测人员的面部表情数据输入至预先训练的情绪识别模型得到待测人员的情绪识别结果。

在一些实施例中，参见图4所示，本发明的情绪识别方法中情绪识别模型的构建步骤包括：

步骤S1：通过虚拟现实设备诱发训练人员的各种情绪并同时捕捉各个情绪对应的训练人员的面部表情数据，同步利用生命体征检测设备获取训练人员的生命体征数据；

步骤S2：建立训练人员的面部表情数据、训练人员的生命体征数据与对应情绪的关系得到情绪识别模型。

需要说明的是，本实施例中情绪识别模型可以为深度学习识别模型，例如：Googlenet模型，当然还可以为其他深度学习模型，在此不做具体限定；另外，本实施例中情绪识别模型还可以为情绪数据库，该情绪识别数据库中存储情绪特征模板。

可选地，本发明实施例中利用虚拟现实设备中的沉浸式场景、视频和游戏的一种或多种方式诱发训练人员的各种情绪。

另一方面，参见图5所示，本发明实施例还提供了一种情绪识别装置，包括：数据中心1，与数据中心1连接的生命体征检测设备2以及摄像头3，其中，生命体征检测设备2设置在待测人员的身体上，摄像头3布置在待测人员工作区域内；

该生命体征检测设备2用于实时获取待测人员的生命体征数据；

该摄像头3用于实时采集待测人员工作区域的人员面部图像信息；

该数据中心1包括：人脸识别模块11，用于对人员面部图像信息进行人脸识别确定待测人员的面部表情数据；以及情绪识别模块12，用于将待测人员的生命体征数据和待测人员的面部表情数据输入至预先训练的情绪识别模型得到待测人员的情绪识别结果。

上述中情绪识别装置中各模块的具体细节已经在对应的情绪识别方法中进行了详细的描述，因此此处不再赘述。

优选地，参见图6所示，本发明实施例的生命体征检测设备2为智能腕表，该智能腕表包括：主控制器21，与主控制器21连接的一个或者多个体征检测模块22和无线通信模块23，其中体征检测模块22为心率血氧测量模块、心电血压测量模块、运动传感器模块、体温测量模块或者人体阻抗测量模块，主控制器21用于处理体征检测模块22的测量信号得到生命体征数据，并通过无线通信模块23将生命体征数据上传至数据中心1。

本实施例中主控制器需支持多种接口(SPI、I2C等)与各传感器模块连接，支持硬件浮点运算，运行频率48MHz以上。

本实施例中心率血氧测量模块的性能参数为：心率测量精度±5bpm，血氧精度±3％，血压精度±5mmHg，体温测量精度±0.1℃。

本发明实施例的情绪识别装置主要有智能腕表、摄像头和数据中心，其中智能腕表分为主控制器、心率血氧测量模块、心电血压测量模块、运动传感器模块、体温及人体阻抗测量模块、无线通信模块。智能腕表的主控制器为核心，控制各个测量模块实时对佩戴者进行测量，并将测试数据同步、融合、计算，得到心率、血氧、心电、血压、体温、体表阻抗、睡眠质量等一系列生命体征数据，然后通过无线通信模块传输到数据中心。摄像头布置在佩戴者的工作区域，能够捕捉到区域内人员的面部图像，并将面部表情图像发送到数据中心。数据中心通过与数据库的人脸进行识别，再将面部表情数据与对应身份的智能腕表测量的生理体征数据进行同步，并比较情绪识别库中事先训练的情绪库数据，最终判断出人员的情绪，根据识别出的不良情绪做出预警以及通知相关人员进行干预。

情绪库的训练通过虚拟现实设备和智能腕表完成。虚拟现实设备利用沉浸式场景、视频以及游戏等诱发训练者的各种情绪，同时捕捉训练者的面部表情，并且通过无线通信功能从智能手表获取心率、血氧、心电、血压、体温、体表阻抗等生理特征数据，建立面部表情、生理特征和情绪的对应关系库，保存到数据中心。

再一方面，本发明实施例还提供了一种电子设备，包括：处理器和存储器，存储器上存储有计算机可读指令，计算机可读指令被处理器执行时实现上述实施例所述的情绪识别方法。

具体地，上述存储器和处理器能够为通用的存储器和处理器，这里不做具体限定，当处理器运行存储器存储的计算机可读指令时，能够执行上述实施例所述的情绪识别方法。

又一方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例所述的情绪识别方法。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory，ROM)、随机存取器(random accessmemory，RAM)、磁盘或光盘等。

应该指出，上述详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语均具有与本申请所属技术领域的普通技术人员的通常理解所相同的含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请所述的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本申请的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位，如旋转90度或处于其他方位，并且对这里所使用的空间相对描述作出相应解释。

在上面详细的说明中，参考了附图，附图形成本文的一部分。在附图中，类似的符号典型地确定类似的部件，除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下，其他实施方案可以被使用，并且可以作其他改变。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种情绪识别方法，其特征在于，包括：

2.根据权利要求1所述的情绪识别方法，其特征在于，所述生命体征数据包括心率数据、血氧数据、心电数据、血压数据、体温数据、体表阻抗数据和睡眠质量数据的一种或者多种。

3.根据权利要求1所述的情绪识别方法，其特征在于，所述对所述人员面部图像信息进行人脸识别确定所述待测人员的面部表情数据的步骤包括：

4.根据权利要求1所述的情绪识别方法，其特征在于，所述情绪识别模型的构建步骤包括：

5.根据权利要求4所述的情绪识别方法，其特征在于，利用所述虚拟现实设备中的沉浸式场景、视频和游戏的一种或多种方式诱发所述训练人员的各种情绪。

6.一种情绪识别装置，其特征在于，包括：数据中心，与所述数据中心连接的生命体征检测设备以及摄像头，所述生命体征检测设备设置在待测人员的身体上，所述摄像头布置在待测人员工作区域内；

7.根据权利要求6所述的情绪识别装置，其特征在于，所述生命体征检测设备为智能腕表，所述智能腕表包括：主控制器，与所述主控制器连接的一个或者多个体征检测模块和无线通信模块，所述体征检测模块为心率血氧测量模块、心电血压测量模块、运动传感器模块、体温测量模块或者人体阻抗测量模块，所述主控制器用于处理所述体征检测模块的测量信号得到生命体征数据，并通过所述无线通信模块将所述生命体征数据上传至所述数据中心。

8.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1-5任一项所述的情绪识别方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如1-5任一项所述的情绪识别方法。