CN106264568B - 非接触式情绪检测方法和装置 - Google Patents

Abstract

本发明提供了一种非接触式情绪检测方法和装置，涉及情绪检测技术领域。该方法包括：分别通过摄像头和红外传感器采集包含有被测人体的视频信息和被测人体的热图/热点区域图；对所述视频信息和所述热图/热点区域图进行识别得到被检测人体的人体特征数据；将所述人体特征数据进行深度学习引擎关联和分析，得到被测人体的紧张程度；输出通过所述深度学习引擎分析得到的人体紧张程度的结果。本发明通过结合智能传感技术、机器视觉、和深度学习引擎分析，短时间内即可将采集的视频等数据判读出对人体特征数据，最终分析出被检测者的危险指数及其心理紧张程度，给检测人员提供了预测和防止危险发生的有效参考。

Description

非接触式情绪检测方法和装置

技术领域

本发明属情绪检测技术领域，尤其涉及一种非接触式情绪检测方法和装置。

背景技术

人体生理指标随时间所发生的变化，其变化规律反映了自主神经系统交感神经和附交感神经活跃程度及其平衡协调的关系。HR(Heart Rate心率)和HRV(Heart RateVariable心率变异性)，以及血压变化及血氧浓度等的规律性变化与紧张程度的变化存在高度相关性。国内外大量的文献已经就心率和心率变异性和紧张程度的关系进行了讨论，也有厂家根据这些研究成果开发出产品，如韩国欣指宝SA-3000P精神压力分析仪就是根据接触式传感器采集回来的心电信号(HR和HRV)对紧张和压力进行判断的。目前市场上的医疗仪器大都采用接触式的传感器，在一段时间内检测心率变异率来判断紧张程度。接触式仪器必须采用接触式传感器操作繁琐，使用场景受到限制，输出结果时间较长(大于1分钟)，仅仅利用了HRV，同时没有综合考虑被检测对象的个体差异，且价格高昂。

上述问题亟待解决。

发明内容

针对现有技术采用接触式传感器操作繁琐、场景受限、输出结果时间长、以及价格高昂的缺陷，本发明提供一种非接触式情绪检测方法和装置。

本发明提供一种非接触式情绪检测方法，包括：

分别通过摄像头和红外传感器采集包含有被测人体的视频信息和被测人体的热图/热点区域图；

对所述视频信息和所述热图/热点区域图进行识别得到被检测人体的人体特征数据；

将所述人体特征数据进行深度学习引擎关联和分析，得到被测人体的紧张程度；

输出通过所述深度学习引擎分析得到的人体紧张程度的结果。

优选的，所述对所述视频信息和所述热图/热点区域图进行识别得到被检测人体的人体特征数据具体包括：

通过对所述视频信息中所包含的被检测人体的面部图像和人体关节图像进行分析得出被检测人体的年龄、性别、心率和心率变异性数据、血压和血氧浓度变化、微动作以及微表情数据；

通过对所述热图/热点区域图像进行分析处理得出被测人体的体温数据。

优选的，所述通过对所述视频信息中所包含的被检测人体的面部图像和人体关节图像进行分析得出被检测人体的年龄、性别、心率和心率变异性数据、血压和血氧浓度变化、微动作以及微表情数据具体包括：

根据视频来获取被检测对象的性别和年龄；

选取人体的面部图像的区域来检测人呼吸时毛细血管充血的变化规律来获取心率、心率变异性、和血氧浓度；

根据视频信息中采集的人体部位血流速度的相位差来获取血压的变化；

根据视频信息中人脸的微小变化并输入到深度学习引擎来获取微表情数据；

根据视频信息中人微小动作的放大并检测其规律来获取微动作数据。

优选的，所述将所述人体特征数据进行深度学习引擎关联和分析，得到被测人体的紧张程度，具体包括：

将所述心率和心率变异性数据分别结合被检测对象的性别和年龄生成第一激活函数和第二激活函数；

将所述血压和血氧浓度数据分别结合被检测对象的性别和年龄生成第三激活函数和第四激活函数；

将所述微表情数据、微动作数据、以及热图/热点区域数据分别生成第五激活函数、第六激活函数和第七激活函数；

将所述第一激活函数、第二激活函数、第三激活函数、第四激活函数、第五激活函数、第六激活函数以及第七激活函数输入到深度学习网络进行分析，对被检测对象的紧张程度进行判断。

优选的，所述关联所述检测得到的各项生理指标结果进行深度学习引擎分析还包括：

接入情绪检测的云端，用以通过所述云端的大数据和快速数据整合进行深度引擎分析。

本发明还提供了一种非接触式情绪检测装置，包括：

采集模块，用于分别通过摄像头和红外传感器采集包含有被测人体的视频信息和被测人体的热图/热点区域图；

识别模块，用于对所述视频信息和所述热图/热点区域图进行识别得到被检测人体的人体特征数据；

分析模块，用于将所述人体特征数据进行深度学习引擎关联和分析，得到被测人体的紧张程度；

输出模块，用于输出通过所述深度学习引擎分析得到的人体紧张程度的结果。

优选的，所述识别模块具体用于：

通过对所述视频信息中所包含的被检测人体的面部图像和人体关节图像进行分析得出被检测人体的年龄、性别、心率和心率变异性数据、血压和血氧浓度变化、微动作以及微表情数据；

通过对所述热图/热点区域图像进行分析处理得出被测人体的体温数据。

优选的，所述通过对所述视频信息中所包含的被检测人体的面部图像和人体关节图像进行分析得出被检测人体的年龄、性别、心率和心率变异性数据、血压和血氧浓度变化、微动作以及微表情数据具体包括：

根据视频来获取被检测对象的性别和年龄；

选取人体的面部图像的区域来检测人呼吸时毛细血管充血的变化规律来获取心率、心率变异性、和血氧浓度；

根据视频信息中采集的人体部位血流速度的相位差来获取血压的变化；

根据视频信息中人脸的微小变化并输入到深度学习引擎来获取微表情数据；

根据视频信息中人微小动作的放大并检测其规律来获取微动作数据。

优选的，所述分析模块具体包括：

第一生成单元，将所述心率和心率变异性数据分别结合被检测对象的性别和年龄生成第一激活函数和第二激活函数；

第二生成单元，将所述血压和血氧浓度数据分别结合被检测对象的性别和年龄生成第三激活函数和第四激活函数；

第三生成单元，将所述微表情数据、微动作数据、以及热图/热点区域数据分别生成第五激活函数、第六激活函数和第七激活函数；

判断单元，将所述第一激活函数、第二激活函数、第三激活函数、第四激活函数、第五激活函数、第六激活函数以及第七激活函数输入到深度学习网络进行分析，对被检测对象的紧张程度进行判断。

优选的，所述装置还包括：

云端模块，用于接入情绪检测的云端，用以通过所述云端的大数据和快速数据整合进行深度引擎分析。

有益效果：本发明通过结合智能传感技术、机器视觉、和深度引擎分析，短时间内即可通过智能传感器对人脸，皮肤、脸部特征点、及体温等进行信息采集，并在此基础上检测出对应的生理指标，并利用深度学习关联对这些指标进行处理，最终分析出被检测者的危险指数及其心理紧张程度，给检测人员提供了预测和防止危险发生的有效参考。装置使用简单，不受场景限制，且成本低廉可控，避免了人员检测因疲惫而产生的疏漏以及错误等情况。

附图说明

图1为本发明实施例提供的一种非接触式情绪检测方法的步骤图；

图2为本发明另一实施例提供的各项生理指标结果进行深度引擎分析的流程图；

图3为本发明另一实施例提供的非接触式情绪检测方法的步骤图；

图4为本发明实施例提供的一种非接触式情绪检测装置的结构图；

图5为不同情绪对人体不同部位的体温产生不同影响的效果示意图；

图6为人脸进行奇异值分解得到R，G，B子空间的投影图像；

图7为人脸子空间投影的夹角的正弦分量变化和医疗仪器心电信号对比关系示意图；

图8为本发明另一实施例提供的非接触式情绪检测装置的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供本发明提供一种非接触式情绪检测方法，如图1所示，包括：

S100、分别通过摄像头和红外传感器采集包含有被测人体的视频信息和被测人体的热图/热点区域图；

S200、对所述视频信息和所述热图/热点区域图进行识别得到被检测人体的人体特征数据；

S300、将所述人体特征数据进行深度学习引擎关联和分析，得到被测人体的紧张程度；

S400、输出通过所述深度学习引擎分析得到的人体紧张程度的结果。

具体的，本发明利用成本较低的一般摄像头和一般的x86/ARM架构主机即可实现上述方法对被检测人员的情绪进行检测。如何及时有效发现可疑人群是边检、机场等场所的现场查验人员的巨大考验。检方人员除了查验证件外，还依靠长期工作中积累的经验对旅客进行人工排查。工作强度大，精神高度紧张并导致疲倦和注意力分散，难以长期保持高度有效的甄别效率。

而该主机上的检测模块通过人脸分析，生理指标分析、微表情分析、热图/热点区域分析、微动作分析等五个纬度对数据进行处理，而相应的处理结果会汇总到主机的分析模块，最终给安全人员输出危险程度和紧张程度的参考指标。短时间内小于10秒即可通过智能传感器对人脸，皮肤、脸部特征点、及体温等进行信息采集，从而识别出包括心率、心率变异性、血压变化、血氧浓度变化、体温、微表情和情绪、呼吸次数、微小动作、性别、年龄等指标，进行判断出被检测人员的紧张程度。

优选的，所述对所述视频信息和所述热图/热点区域图进行识别得到被检测人体的人体特征数据具体包括：

通过对所述视频信息中所包含的被检测人体的面部图像和人体关节图像进行分析得出被检测人体的年龄、性别、心率和心率变异性数据、血压和血氧浓度变化、微动作以及微表情数据；

通过对所述热图/热点区域图像进行分析处理得出被测人体的体温数据。

具体的，所述人脸的图像和视频可辨析出人的包括性别以及年龄数据，面部的图像和视频可辨析出微表情和微动作，微表情包括情绪数据，微动作包括呼吸次数和微小动作数据，通过人脸视频还能检测出心率和心率变异性数据，血压以及血氧数据等生理指标。

通过远程红外传感器/热成像相机获取被检测对象的热图/热点区域数据。

具体的，所述热图/热点区域数据包括体温数据。更具体的，智能传感器采集回来的数据首先由主机上的检测模块进行处理，同时主机还会根据数据的质量对智能传感器进行实时自适应控制，达到最佳的采集效果。

优选的，所述通过对所述视频信息中所包含的被检测人体的面部图像和人体关节图像进行分析得出被检测人体的年龄、性别、心率和心率变异性数据、血压和血氧浓度变化、微动作以及微表情数据具体包括：

根据视频来获取被检测对象的性别和年龄；

选取人体的面部图像的区域来检测人呼吸时毛细血管充血的变化规律来获取心率、心率变异性、和血氧浓度；

根据视频信息中采集的人体部位血流速度的相位差来获取血压的变化；

根据视频信息中人脸的微小变化并输入到深度学习引擎来获取微表情数据；

根据视频信息中人微小动作的放大并检测其规律来获取微动作数据。

具体的，正常人心率一般为60～100次/分，可因年龄、性别或其他生理因素产生个体差异。从研究文献数据来看，一般而言，年龄越小，心率越快，老年人心跳比年轻人慢，女性的心率比同龄男性快。潘文志2006年在《中国心脏起搏与心电生理杂志》发表的“不同年龄和性别的正常人心率分布的初步观察”，王翀在2008年《中国心血管病研究》“发表的健康人群心率分布的初步调查研究”均就不同性别、年龄的人群的心率范围进行了研究并得出了相似的指标。

优选的，如图2所示，所述将所述人体特征数据进行深度学习引擎关联和分析，得到被测人体的紧张程度，具体包括：

将所述心率和心率变异性数据分别结合被检测对象的性别和年龄生成第一激活函数和第二激活函数；

将所述血压和血氧浓度数据分别结合被检测对象的性别和年龄生成第三激活函数和第四激活函数；

将所述微表情数据、微动作数据、以及热图/热点区域数据分别生成第五激活函数、第六激活函数和第七激活函数；

将所述第一激活函数、第二激活函数、第三激活函数、第四激活函数、第五激活函数、第六激活函数以及第七激活函数输入到深度学习网络进行分析，对被检测对象的紧张程度进行判断。

优选的，如图3所示，所述关联所述检测得到的各项生理指标结果进行深度引擎分析还包括：

S500、接入情绪检测的云端，用以通过所述云端的大数据和快速数据整合进行深度引擎分析。

本发明方法实施例通过结合智能传感技术、机器视觉、和深度引擎分析，短时间内即可通过智能传感器对人脸，皮肤、脸部特征点、及体温等进行信息采集，并在此基础上检测出对应的生理指标，并利用深度学习关联对这些指标进行处理，最终分析出被检测者的危险指数及其心理紧张程度，给检测人员提供了预测和防止危险发生的有效参考。装置使用简单，不受场景限制，且成本低廉可控，避免了人员检测因疲惫而产生的疏漏以及错误等情况。

本发明还提供一种非接触式情绪检测装置，如图4所示，包括：

采集模块100，用于分别通过摄像头和红外传感器采集包含有被测人体的视频信息和被测人体的热图/热点区域图；

识别模块200，用于对所述视频信息和所述热图/热点区域图进行识别得到被检测人体的人体特征数据；

分析模块300，用于将所述人体特征数据进行深度学习引擎关联和分析，得到被测人体的紧张程度；

输出模块400，用于输出通过所述深度学习引擎分析得到的人体紧张程度的结果。

优选的，所述识别模块具体用于：

通过对所述视频信息中所包含的被检测人体的面部图像和人体关节图像进行分析得出被检测人体的年龄、性别、心率和心率变异性数据、血压和血氧浓度变化、微动作以及微表情数据；

通过对所述热图/热点区域图像进行分析处理得出被测人体的体温数据。

优选的，所述通过对所述视频信息中所包含的被检测人体的面部图像和人体关节图像进行分析得出被检测人体的年龄、性别、心率和心率变异性数据、血压和血氧浓度变化、微动作以及微表情数据具体包括：

根据视频来获取被检测对象的性别和年龄

选取人体的面部图像的区域来检测人呼吸时毛细血管充血的变化规律来获取心率、心率变异性、和血氧浓度；

根据视频信息中采集的人体部位血流速度的相位差来获取血压的变化；

根据视频信息中人脸的微小变化并输入到深度学习引擎来获取微表情数据。

根据视频信息中人微小动作的放大并检测其规律来获取微动作数据

具体的，心率和心率变异性数据的获取过程如下：

考虑到现场环境尤其是对被检测对象晃动的鲁棒适用性，本发明提供了一种子空间旋转计算方法。本方法充分克服了检测对象的运动对测试结果的影响，在5秒内根据视频计算出被检测对象的生理指标，通过1200个被检测对象验证，达到了+-5％的准确率。

该计算方法的实现过程如下：

1)HR计算：

·假设输入为一段X秒的彩色视频，其中包括K帧图像(视频信号通常为25帧或者30帧每秒)，包括R、G、B三个信道。

·针对每一帧图像：

ο识别得到人脸。假设人脸包括N＝h*w个像素(其中h为人脸的高度，w为人脸的宽度)；

ο计算人脸区域的空间RGB相关性Ck；

ο针对Ck，进行奇异值分解得到R，G，B子空间的投影，如图5所示；

ο当人呼吸的时候，由于毛细血管的变化，其R、G、B值也会随着变化，对比其在R、G、B子空间的投影的转动，来判断心率的变化，如图6所示。

2)HRV计算

·每5s计算一次得到前5秒的平均心率HR；

·根据HR动态调节滤波参数，对前5秒的心律时域信号进行滤波；

·滤波后得到的时域波形，即被认为是心电波形；

·计算RR值得到HRV。

具体的，血压变化数据的获取过程如下：

由于血压的大小直接影响了血流的速度，而血流的速度为一正弦波，因此根据不同人体部位(如额头和脸颊)的血流速度的相位差，可以得到血压的变化的快慢。

该计算方法的实现过程如下：

·在T1时刻，

ο从实时视频选取2块人体区域，A1和A2；

ο分别从A1和A2的视频辨识心率变化的波形；

ο计算这两个波形的相位差B1。

·在T2时刻，重复以上步骤，得到相位差B2。

·根据B1和B2的比较，得到血压是否上升或者下降。

优选的，所述检测模块具体用于：

通过所述人脸数据获取被检测对象的性别和年龄；

将所述心率和心率变异性数据分别结合被检测对象的性别和年龄生成第一激活函数和第二激活函数；

将所述微表情数据、微动作数据、以及热图/热点区域数据分别生成第三激活函数、第四激活函数和第五激活函数。

具体的，从微表情角度来说，根据哈佛大学2007年发表的论文“FacialExpressions of Emotion Reveal Neuroendocrine and Cardiovascular StressResponses”给微表情和紧张(stress)的关系奠定了基础。人类心理脸部表情变化存在60毫秒的反应时间，以配合心理活动进行表情匹配。同时，紧张情绪的脸部表达存在脸部相关肌肉形状变动的共性。微表情检测可以通过对面部各个区域的肌肉进行跟踪检测，并加以分析，推断出被检测对象的情绪。经过综合125.3万张的紧张表情图库深度学习，对紧张表情的判断，特别是极短时间内(50毫秒内)出现过的紧张表情判断准确率达93.26％。

更具体的，从体温的角度来说，体温FDA文献研究结果表明，96％的人类的体温会受到紧张的影响而有中度的变化。根据芬兰Aalto大学的研究如图7所示，不同的情绪会对人体不同部位的体温产生不同的影响。

优选的，所述分析模块具体包括：

第一生成单元，将所述心率和心率变异性数据分别结合被检测对象的性别和年龄生成第一激活函数和第二激活函数；

第二生成单元，将所述血压和血氧浓度数据分别结合被检测对象的性别和年龄生成第三激活函数和第四激活函数；

第三生成单元，将所述微表情数据、微动作数据、以及热图/热点区域数据分别生成第五激活函数、第六激活函数和第七激活函数；

判断单元，将所述第一激活函数、第二激活函数、第三激活函数、第四激活函数、第五激活函数、第六激活函数以及第七激活函数输入到深度学习网络进行分析，对被检测对象的紧张程度进行判断。

具体的，本方法已进行12000多人次的实测数据，利用深度学习技术建立了基于人体心率、心率变异性，血压和血氧浓度变化、年龄段、性别、眼球转动频率、头部抖动频率、脸部微表情变化、皮肤温度10项生理指标对人体紧张情绪进行综合判断，可为各类应用场景提供辅助检测。

优选的，所述装置还包括，如图8所示：

云端模块500，用于接入情绪检测的云端，用以通过所述云端的大数据和快速数据整合进行深度引擎分析。

需要说明的是，本发明实施例提供的上述系统中各个模块，由于与本发明方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本发明系统实施例通过结合智能传感技术、机器视觉、和深度引擎分析，短时间内即可通过智能传感器对人脸，皮肤、脸部特征点、及体温等进行信息采集，并在此基础上检测出对应的生理指标，并利用深度学习关联对这些指标进行处理，最终分析出被检测者的危险指数及其心理紧张程度，给检测人员提供了预测和防止危险发生的有效参考。装置使用简单，不受场景限制，且成本低廉可控，避免了人员检测因疲惫而产生的疏漏以及错误等情况。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种非接触式情绪检测方法，其特征在于，包括：

分别通过摄像头和红外传感器采集包含有被测人体的视频信息和被测人体的热图/热点区域图；

对所述视频信息和所述热图/热点区域图进行识别得到被检测人体的人体特征数据；通过对所述视频信息中所包含的被检测人体的面部图像和人体关节图像进行分析得出被检测人体的年龄、性别、心率和心率变异性数据、血压和血氧浓度变化、微动作以及微表情数据；所述微表情包括情绪数据，所述微动作包括呼吸次数和微小动作数据；通过对所述热图/热点区域图像进行分析处理得出被测人体的体温数据；所述对所述视频信息进行识别得到被检测人体的人体特征数据具体为，根据视频来获取被检测对象的性别和年龄，选取人体的面部图像的区域来检测人呼吸时毛细血管充血的变化规律来获取心率、心率变异性、和血氧浓度，根据视频信息中采集的人体部位血流速度的相位差来获取血压的变化，根据视频信息中人脸的微小变化并输入到深度学习引擎来获取微表情数据，根据视频信息中人微小动作的放大并检测其规律来获取微动作数据，其中，根据面部图像的每一帧图像识别得到人脸，计算人脸区域的空间RGB相关性，针对所述相关性，进行奇异值分解得到R，G，B子空间的投影，通过人呼吸时毛细血管的变化对比R，G，B值在子空间的投影转动判断心率；

将所述人体特征数据进行深度学习引擎关联和分析，得到被测人体的紧张程度；

输出通过所述深度学习引擎分析得到的人体紧张程度的结果。

2.如权利要求1所述的方法，其特征在于，所述将所述人体特征数据进行深度学习引擎关联和分析，得到被测人体的紧张程度，具体包括：

将所述心率和心率变异性数据分别结合被检测对象的性别和年龄生成第一激活函数和第二激活函数；

将所述血压和血氧浓度数据分别结合被检测对象的性别和年龄生成第三激活函数和第四激活函数；

将所述微表情数据、微动作数据、以及热图/热点区域数据分别生成第五激活函数、第六激活函数和第七激活函数；

将所述第一激活函数、第二激活函数、第三激活函数、第四激活函数、第五激活函数、第六激活函数以及第七激活函数输入到深度学习网络进行分析，对被检测对象的紧张程度进行判断。

3.如权利要求2所述的方法，其特征在于，所述关联所述检测得到的各项生理指标结果进行深度学习引擎分析还包括：

接入情绪检测的云端，用以通过所述云端的大数据和快速数据整合进行深度引擎分析。

4.一种非接触式情绪检测装置，其特征在于，包括：

采集模块，用于分别通过摄像头和红外传感器采集包含有被测人体的视频信息和被测人体的热图/热点区域图；

识别模块，用于对所述视频信息和所述热图/热点区域图进行识别得到被检测人体的人体特征数据；通过对所述视频信息中所包含的被检测人体的面部图像和人体关节图像进行分析得出被检测人体的年龄、性别、心率和心率变异性数据、血压和血氧浓度变化、微动作以及微表情数据；所述微表情包括情绪数据，所述微动作包括呼吸次数和微小动作数据；通过对所述热图/热点区域图像进行分析处理得出被测人体的体温数据；所述对所述视频信息进行识别得到被检测人体的人体特征数据具体为，根据视频来获取被检测对象的性别和年龄，选取人体的面部图像的区域来检测人呼吸时毛细血管充血的变化规律来获取心率、心率变异性、和血氧浓度，根据视频信息中采集的人体部位血流速度的相位差来获取血压的变化，根据视频信息中人脸的微小变化并输入到深度学习引擎来获取微表情数据，根据视频信息中人微小动作的放大并检测其规律来获取微动作数据，其中，根据面部图像的每一帧图像识别得到人脸，计算人脸区域的空间RGB相关性，针对所述相关性，进行奇异值分解得到R，G，B子空间的投影，通过人呼吸时毛细血管的变化对比R，G，B值在子空间的投影转动判断心率；

分析模块，用于将所述人体特征数据进行深度学习引擎关联和分析，得到被测人体的紧张程度；

输出模块，用于输出通过所述深度学习引擎分析得到的人体紧张程度的结果。

5.如权利要求4所述的装置，其特征在于，所述分析模块具体包括：

第一生成单元，将所述心率和心率变异性数据分别结合被检测对象的性别和年龄生成第一激活函数和第二激活函数；

第二生成单元，将所述血压和血氧浓度数据分别结合被检测对象的性别和年龄生成第三激活函数和第四激活函数；

第三生成单元，将所述微表情数据、微动作数据、以及热图/热点区域数据分别生成第五激活函数、第六激活函数和第七激活函数；

判断单元，将所述第一激活函数、第二激活函数、第三激活函数、第四激活函数、第五激活函数、第六激活函数以及第七激活函数输入到深度学习网络进行分析，对被检测对象的紧张程度进行判断。

6.如权利要求5所述的装置，其特征在于，所述装置还包括：

云端模块，用于接入情绪检测的云端，用以通过所述云端的大数据和快速数据整合进行深度引擎分析。