CN108960023A - 一种便携式情绪识别装置 - Google Patents

Abstract

本发明提供了一种便携式情绪识别装置，包括：图像采集器，穿戴设备；所述图像采集器以高分辨率摄像头采集图像；所述穿戴设备上集成数据处理单元，提示单元，且外设服务器和所述数据处理单元、提示单元通信；所述服务器内包括数据库单元，表情判别特征模型。本发明的便携式情绪识别装置，结合人工智能，深度学习，训练模型，且整体装置可辨识度高，表情特征判别模型具有高度的完整性、可靠性，通过模型得出的情绪结果更准确。

Description

一种便携式情绪识别装置

技术领域

本发明涉及图像处理应用领域，具体涉及一种便携式情绪识别装置。

背景技术

随着人工智能科学的飞速发展，如何使计算机能够识别人类的表情进而得到人类的情感状态，已经越来越多地受到计算机科学、心理学等学科的关注。

随着移动通信的飞速发展，移动终端的功能日益丰富，现有的移动终端已经开始用于健康管理的多个层面，包括血压、心率、体重、运动、血糖、睡眠、情绪等。情绪记录是行为改变的重要操作步骤，能够对情绪进行有效记录与反馈的仪器就是行为改变的重要工具。

申请号为201310675994.2的中国专利，公开了一种情绪监测与记录方法，通过检测被测人施加的压力或握力的变化，采用适当的计算方法得到被测人的情绪强度值，可以连续观察和分析被测人情绪发生时间、情绪程度，情绪升起速度和持续时间等，为被测人自助、或寻求心理咨询师或其他的专业性帮助提供了依据；还公开了一种适用于上述方法的装置，采用现代通信和传感器等电子技术，方便携带，使用方便，能够方便、即时、直观、系统而且符合人体工效学地测量特定情绪的发生时间、发生频率、情绪强度、情绪升起速度，以及特定情绪持续时间。使得被测人在远离医生的情况下能自己记录情绪的变化，其传感器参数测量并不能完全表达出情绪状态，迫切需要加以改进。

发明内容

为解决上述问题，本发明提供了一种便携式情绪识别装置，本发明的便携式情绪识别装置，结合人工智能，深度学习，训练模型，且整体装置可辨识度高，表情特征判别模型具有高度的完整性、可靠性，通过模型得出的情绪结果更准确。

为实现所述技术目的，本发明的技术方案是：一种便携式情绪识别装置，包括：

图像采集器，用于采集面部图像；

数据处理单元，用于接收来自图像采集器采集的面部图像，并进行处理；

提示单元，用于提示情绪结果；

服务器，包括：

数据库单元，用于存储来自数据处理单元图像处理后的数据，

表情判别特征模块，用于根据数据库单元训练得到用于识别情绪的表情判别特征模型；

进一步，所述数据处理单元包括：

图像预处理单元，用于面部图像的处理；

数据分析单元，用于对面部图像的参数分析。

进一步，所述数据库单元包括：

图像库，用于存储图像预处理单元处理后的图像；

参数库，用于存储数据分析单元分析后的参数。

进一步，所述情绪判别模块包括：

输入模块，与图像预处理单元和数据分析单元通信，以处理后的图像和分析后的参数作为输入；

表情判别特征模型，根据输入模块输入内容，识别情绪结果；所述表情判别特征模型根据数据库单元训练得到；

输出模块，用于表情判别特征模型的输出，且和提示单元通讯。

进一步，所述图像采集器和所述数据处理单元分别设置通信模块形成短距离的点对点通信网络。

作为本发明的优选，所述图像采集器安装于眼镜框架上或固定于识别对象面部周围，所述数据处理单元和提示单元设置于手环内。

作为本发明的优选，所述服务器为远程终端服务器或个人服务器的一种；

个人服务器集成于手环上和所述数据处理单元电连接；

远程终端服务器和所述数据处理单元分别外设互联网模块形成互联网络。

作为本发明的优选，所述眼镜框架和所述手环上各模块通过电池供电，所述手环上集成整流滤波和稳压电路为电池充电。

作为本发明的优选，所述手环上还设置血压传感器、脉搏传感器、体温传感器分别连接至所述数据分析单元。

进一步，所述图像采集器为高分别率摄像头或红外成像仪的一种；所述数据处理单元是以GPU为核心进行图像预处理和数据分析；所述提示单元可通过语音提示、震动提示、指示灯提示的至少一种。

本发明的有益效果在于：

本发明的便携式情绪识别装置，结合人工智能和深度学习，训练出表情判别特征模型，使得整体装置对表情的可辨识度高，且表情特征判别模型具有高度的完整性、可靠性，通过模型得出的情绪结果更准确。同时本发明中的各情绪识别模块和眼镜、手环等穿戴设备结合，达到了情绪识别装置无人化操作、可穿戴的且易于推广使用的目的。

附图说明

图1是本发明的数据库结构示意图；

图2是本发明情绪识别系统的模块原理图。

具体实施方式

下面将对本发明的技术方案进行清楚、完整地描述。

如图2所示，一种便携式情绪识别装置，包括：

图像采集器，用于采集面部图像；

数据处理单元，用于接收来自图像采集器采集的面部图像，并进行处理；

提示单元，用于提示情绪结果；

服务器，包括：

数据库单元，用于存储来自数据处理单元图像处理后的数据，

表情判别特征模块，用于根据数据库单元训练得到识别情绪的表情判别特征模型；

进一步，如图1所示，所述数据处理单元包括：

图像预处理单元，用于面部图像的处理；图像预处理的目的是压缩图像，节约了在数据库内的存储空间，方便了向服务器高速传输图像。

数据分析单元，用于对面部图像的参数分析。通过在数据分析单元进行首先进行数据分析，将大大减小服务器的运算开支，提高了服务器运行速率。

进一步，所述数据库单元包括：

图像库，用于存储图像预处理单元处理后的图像；

参数库，用于存储数据分析单元分析后的参数。

在进行数据库的存储时，不仅保留了数据分析单元所分析的参数结果，还保留了原始的面部图像，方便了表情判别模型的融合学习，以建立可靠的判别模型。

进一步，所述情绪判别模块包括：

输入模块，与图像预处理单元和数据分析单元通信，以处理后的图像和分析后的参数作为输入；

表情判别特征模块，用于根据数据库单元训练得到识别情绪的表情判别特征模型；本发明根据数据库中大量识别参数和图像，采取无监督学习模式，训练出可靠的表情判别特征模型，达到了情绪识别的无人化操作，易于推广使用。

输出模块，用于表情判别特征模型的输出，且和提示单元通讯，用于对表情判别特征模型判别情绪种类等的提示。

进一步，所述图像采集器和所述数据处理单元分别设置通信模块形成短距离的点对点通信网络。

所述图像采集器为高分别率摄像头或红外成像仪的一种；所述数据处理单元是以GPU为核心进行图像预处理和数据分析；所述提示单元可通过语音提示、震动提示、指示灯提示的至少一种。且输出模块外设编码器对情绪类别和情绪级数进行编码，提示单元外设译码器进行译码，进而选择提示类型、方式、强度等。

作为本发明的一种实施例，一种情绪系统，尤其是一种应用于心理咨询、测谎或个人情绪探测领域，所述图像采集器可安装于眼镜框架上，所述数据处理单元和所述提示单元集成于手环上；所述眼镜框架上的图像采集器和所述手环上的数据处理单元外均设置通信模块形成短距离点对点通信，手环上还设置了个人服务器；所述眼镜框架和所述手环上各模块通过电池供电，所述手环上集成整流滤波和稳压电路为电池充电。

由使用者佩戴眼镜和手环，位于眼镜框架上的图像采集器通过摄像头对所需识别对象进行面部图像采集，通过点对点通信方式，将图像发送至所述数据处理单元进行图像压缩和图像识别，识别后的图像根据面部特征进分区和面部特征变化参数分析；

所述手环上还设置血压传感器、脉搏传感器、体温传感器分别连接至所述数据库单元和表情判别特征模型；所述表情判别模型是以所述图像库为主体，以所述参数库为参考体进行训练。本发明的表情判别模型不仅仅依赖于图像的处理融合，更结合了参数库中的前额细纹变化、鼻翼收缩(可表达为呼吸频率)、眉毛间距和抖动、唇周外形变化、脸色变化参数、血压参数、脉搏参数、体温参数等参数，这些参数和人的情绪状态息息相关，完善了表情判别模型的完整性。

其中压缩后的图像和分析得到的数据直接发送至手环上个人服务器中的表情判别特征模型输入模块，所述表情判别特征模型将图像预处理单元预处理的图像和数据分析单元分析后得到的参数结合，形成情绪特征指数，并融合对比表情判别特征模型将情绪分类并分级，所述类别和级数通过直接反馈至提示单元，根据类别和级数判决提示单元工作模式，例如用震动次数表示情绪种类，利用震动强度表示情绪级数或直接进行语音提示。这种便携式的情绪识别探测装置，方便了使用者对所需识别对象的情绪理解，在心理咨询、人际交往等领域具有较好实用性。

同时，在这种应用领域内，往往所需识别对象较多，故无需建立个人ID的图像数据和参数数据。所述图像库和参数库不断积经验数据，所述表情判别模型是以所述图像预处理单元预处理的图像为主体，以所述数据分析单元分析后得到的参数为参考体进行训练的；且表情判别特征模型根据图像和参数的更新不断深度学习。

本实施例中的各情绪识别模块和眼镜、手环等穿戴设备结合，达到了情绪识别装置可穿戴的、方便携带的目的。

作为本发明的一种实施例，一种情绪系统，尤其是应用于婴儿或病人护理应用上，所述图像采集器可安装于婴儿和病人面部周围，所述数据处理单元和所述提示单元集成于手环上；所述图像采集器和所述手环上的数据处理单元外均设置通信模块形成短距离点对点通信，所述数据处理单元还外设互联网模块和所述远程终端服务器单元通信，且手环上各模块通过电池供电并集成整流滤波和稳压电路为电池充电；所述血压传感器、脉搏传感器、体温传感器集成在所述手环上。

由婴儿或病人佩戴手环，位于面部周围的图像采集器通过摄像头对所需识别对象进行面部图像采集，通过点对点通信方式，将图像发送至所述数据处理单元进行图像压缩和图像识别，识别后的图像根据面部特征进分区和面部特征变化参数分析；其中面部特征进分区是根据面部特征分为前额区、鼻翼区、眉区、唇周区、脸颊区至少五个区域，并对所述各个区域分别放大进行数据分析，所述数据分析是对前额细纹变化、鼻翼收缩、眉毛间距和抖动、唇周外形变化、脸色变化参数的分析；

所述手环上还设置血压传感器、脉搏传感器、体温传感器分别连接至所述数据库单元和表情判别特征模型；所述表情判别模型是以所述图像库为主体，以所述参数库为参考体进行训练。本发明的表情判别模型不仅仅依赖于图像的处理融合，更结合了前额细纹变化、鼻翼收缩(表达为呼吸频率)、眉毛间距和抖动、唇周外形变化、脸色变化参数、血压参数、脉搏参数、体温参数等参数，这些参数和人的情绪状态息息相关，完善了表情判别模型的完整性。

同时所述手环判断血压、脉搏、体温和脸色参数是否大于设定阈值，如果超过设定阈值则进行语音提示家长或医护人员，在必要情况下可发短信或电话至家长或医护人员；其中预处理后的图像和分析得到的数据通过wifi或LTE等互联网络发送至所述远程终端服务器单元表情判别特征模型中的输入模块，所述表情判别特征模型将图像预处理单元预处理的图像和数据分析单元分析后得到的参数结合，形成情绪特征指数，并融合对比表情判别特征模型将情绪分类并分级，通过输出模块输出情绪类别和情绪级数，通过输出模块输出情绪类别和情绪级数，所述情绪类别和情绪级数直接反馈至提示单元；根据类别和级数判决提示单元工作模式，例如用震动次数表示情绪种类，利用震动强度表示情绪级数或直接进行语音提示。这种便携式的情绪识别探测装置，方便了家长对婴儿的健康状况幼和情绪的理解，方便了医护人员对病人的健康状况和情绪的理解。在婴儿和病人护理等领域具有较好实用性。同时，在这种应用领域内，往往所需识别对象相对固定，故建立个人ID的图像数据和参数数据。

所述图像库和参数库是以个人ID所构建的图像数据和参数数据的整合。且所述表情判别特征模型包括：以所述个人ID所构建的图像数据和参数数据进行训练的个人表情判别特征模型和以图像库和参数库进行训练的整体表情判别特征模型；且所述表情判别模型是以所述图像预处理单元预处理的图像为主体，以所述数据分析单元分析后得到的参数为参考体进行训练的；所述个人表情判别特征模型和整体表情判别特征模型根据图像和参数的更新不断深度学习，确保了模型的可靠性。且个人表情判别特征模型依赖于特定的用户积累的经验数据，对情绪的识别更加准确；整体表情判别特征模型在特定用户经验数据不足时，确保了情绪识别的稳定性和准确度。

作为本发明的一种实施例，一种情绪系统，尤其是应用于安检或一些需精神高度紧张的岗位上，所述图像采集器可安装于工人周围，所述数据处理单元和所述提示单元集成于手环上；所述图像采集器和所述手环上的数据处理单元外均设置通信模块形成短距离点对点通信，所述数据处理单元还外设互联网模块和所述远程终端服务器单元通信；所述手环上各模块通过电池供电，所述手环上集成整流滤波和稳压电路为电池充电；所述血压传感器、脉搏传感器、体温传感器集成在所述手环上。

由工人佩戴手环，位于面部周围的图像采集器通过摄像头对所需识别对象进行面部图像采集，通过点对点通信方式，将图像发送至所述数据处理单元进行图像压缩和图像识别，识别后的图像根据面部特征进分区和面部特征变化参数分析；

所述手环上还设置血压传感器、脉搏传感器、体温传感器分别连接至所述数据库单元和表情判别特征模型；所述表情判别模型是以所述图像库为主体，以所述参数库为参考体进行训练。本发明的表情判别模型不仅仅依赖于图像的处理融合，更结合了前额细纹变化、鼻翼收缩(表达为呼吸频率)、眉毛间距和抖动、唇周外形变化、脸色变化参数、血压参数、脉搏参数、体温参数等参数，其中前额区舒展，细纹较少，嘴角后拉且上翘，脸颊上提等较大面部肌肉运动时表现的情绪为“快乐”；眉区双眉高挑，唇周嘴部张开，脸颊舒张(下颌张开)等变化参数表现的情绪为“惊奇”；眉区眉内皱，鼻翼区鼻翼扩张且张口呈方形或紧闭等变化参数表现的情绪为“愤怒”；这些参数和人的情绪状态息息相关，完善了表情判别模型的完整性。

所述手环判断血压、脉搏、体温和脸色参数是否大于设定阈值，如果超过设定阈值则进行语音提示管理人员，在必要情况下可发短信或电话至管理人员，强行停止工人的工作；其中压缩后的图像和分析得到的数据通过wifi或LTE等互联网络发送至所述远程终端服务器单元的输入模块，所述表情判别特征模型将图像预处理单元预处理的图像和数据分析单元分析后得到的参数结合，形成情绪特征指数，并融合对比表情判别特征模型将情绪分类并分级，通过输出模块输出情绪类别和情绪级数，所述情绪类别和情绪级数通过互联网反馈至手环上。根据类别和级数判决提示单元工作模式，例如用震动次数表示情绪种类，利用震动强度表示情绪级数或直接进行语音提示，并由管理人员获取提示单元工作记录，方便了家长对管理人员对工人的心理干预和工作管理。同时，在这种应用领域内，往往所需识别对象相对固定，故建立个人ID的图像数据和参数数据。

所述图像库和参数库是以个人ID所构建的图像数据和参数数据的整合。且所述表情判别特征模型包括：以所述个人ID所构建的图像数据和参数数据进行训练的个人表情判别特征模型和以图像库和参数库进行训练的整体表情判别特征模型；且所述表情判别模型是以所述图像预处理单元预处理的图像为主体，以所述数据分析单元分析后得到的参数为参考体进行训练的；所述个人表情判别特征模型和整体表情判别特征模型根据图像和参数的更新不断深度学习，确保了模型的可靠性。且个人表情判别特征模型依赖于特定的用户积累的经验数据，对情绪的识别更加准确；整体表情判别特征模型在特定用户经验数据不足时，确保了情绪识别的稳定性和准确度。

对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种便携式情绪识别装置，其特征在于，包括：

图像采集器，用于采集面部图像；

数据处理单元，用于接收来自图像采集器采集的面部图像，并进行处理；

提示单元，用于提示情绪结果；

服务器，包括：

数据库单元，用于存储来自数据处理单元图像处理后的数据，

情绪判别模块，根据数据处理单元图像处理后的数据进行情绪识别。

2.根据权利要求1所述的一种便携式情绪识别装置，其特征在于，所述数据处理单元包括：

图像预处理单元，用于面部图像的处理；

数据分析单元，用于对面部图像的参数分析。

3.根据权利要求2所述的一种便携式情绪识别装置，其特征在于，所述数据库单元包括：

图像库，用于存储图像预处理单元处理后的图像；

参数库，用于存储数据分析单元分析后的参数。

4.根据权利要求2所述的一种便携式情绪识别装置，其特征在于，所述情绪判别模块包括：

输入模块，与图像预处理单元和数据分析单元通信，以处理后的图像和分析后的参数作为输入；

表情判别特征模块，用于根据数据库单元训练得到用于识别情绪的表情判别特征模型；

输出模块，用于表情判别特征模型的输出，且和提示单元通讯。

5.根据权利要求1所述的一种便携式情绪识别装置，其特征在于，所述图像采集器和所述数据处理单元分别设置通信模块形成短距离的点对点通信网络。

6.根据权利要求1所述的一种便携式情绪识别装置，其特征在于，所述图像采集器安装于眼镜框架上或固定于识别对象面部周围，所述数据处理单元和提示单元设置于手环内。

7.根据权利要求6所述的一种便携式情绪识别装置，其特征在于，所述服务器为远程终端服务器或个人服务器的一种；

个人服务器集成于手环上和所述数据处理单元电连接；

远程终端服务器和所述数据处理单元分别外设互联网模块形成互联网络。

8.根据权利要求6所述的一种便携式情绪识别装置，其特征在于，所述眼镜框架和所述手环上各模块通过电池供电，所述手环上集成整流滤波和稳压电路为电池充电。

9.根据权利要求2或6任一项所述的一种便携式情绪识别装置，其特征在于，所述手环上还设置血压传感器、脉搏传感器、体温传感器分别连接至所述数据分析单元。

10.根据权利要求1所述的一种便携式情绪识别装置，其特征在于，所述图像采集器为高分别率摄像头或红外成像仪的一种；所述数据处理单元是以GPU为核心进行图像预处理和数据分析；所述提示单元可通过语音提示、震动提示、指示灯提示的至少一种。