CN110135242A - 基于低分辨率红外热成像深度感知的情绪识别装置及方法 - Google Patents

基于低分辨率红外热成像深度感知的情绪识别装置及方法 Download PDF

Info

Publication number
CN110135242A
CN110135242A CN201910241252.6A CN201910241252A CN110135242A CN 110135242 A CN110135242 A CN 110135242A CN 201910241252 A CN201910241252 A CN 201910241252A CN 110135242 A CN110135242 A CN 110135242A
Authority
CN
China
Prior art keywords
thermal imaging
low resolution
infrared thermal
resolution infrared
identification device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910241252.6A
Other languages
English (en)
Other versions
CN110135242B (zh
Inventor
陈静
黄诗颖
江灏
缪希仁
朱思琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201910241252.6A priority Critical patent/CN110135242B/zh
Publication of CN110135242A publication Critical patent/CN110135242A/zh
Application granted granted Critical
Publication of CN110135242B publication Critical patent/CN110135242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements

Abstract

本发明提出一种基于低分辨率红外热成像深度感知的情绪识别装置及方法，其特征在于，包括：相连接的低分辨率红外热成像传感器、MCU最小系统和上位机；所述MCU最小系统和上位机通过无线通信模块连接。利用人体在不同情绪状态下的生理反应不同，通过低分辨率红外传感器对人体面部本身进行感知，并通过深度学习网络模型对人的多种情绪实现识别，当面对情绪由于个体的不同而展现出不同的表现形式或情绪被刻意掩盖时，人体向外辐射的红外线并不会因此而受影响，克服了现有技术通过摄像头进行视觉感知捕捉到错误信息，或因外部因素如光线等的影响使捕捉到的信息不完全而无法准确识别的缺陷。

Description

基于低分辨率红外热成像深度感知的情绪识别装置及方法
技术领域
本发明涉及红外热成像技术、传感器技术、深度学习领域，尤其涉及一种基于低分辨率红外热成像深度感知的情绪识别装置及方法。
背景技术
随着人工智能时代的到来，目前人工智能最成熟的应用之一就是图像和语音识别，其已经广泛应用到拍照识物、画面增强、人机交互等各种领域。情绪识别技术已经成为人机交互体验优化的研究方向之一。人工智能情绪识别的能力用处极大，在医疗业、服务业等都会发挥不小的作用。首先，人机交互的体现更加自然顺畅。这对于空巢老人、儿童的陪护将起到积极的作用。通过对人的情绪捕捉，它可以为老人儿童提供心理安慰。而在这个基础上，利用人工智能进行情绪识别也能更好地帮助解决心理疾病问题，分担心理医生的精力，成熟的人工智能会在对话的过程中照顾到患者的情绪，从而慢慢地缓解病情。另外，利用情绪识别来管理和控制情绪也可能会成为一些情绪易失控者的福音。
人的情绪体现通常表现出明显的冲动性和外部特征，包括：认知评估、身体反应、主观体验（如喜悦、愤怒，悲伤等）、外在表现（面部表情、身体姿态和动作等）和行动倾向（产生动机）。现有的情绪识别技术，主要是从人体的外在表现进行情绪识别，例如通过眼球转动评估性格特征，面部微表情分析，语言表现分析等，上述技术的研究只利用一种或两种识别技术进行情绪判断，或抓住某个微表情、某一个声音，尚未能对人进行全方位、立体式分析。但是，研究情绪识别并不是一定要令每种情绪都有对应的外在表现，情绪与心理相关的复杂性不仅导致其与人的动作、表情并不一定呈必然相关性。此外，情绪识别还有可能因为虚假的表象而增加难度。目前情绪识别技术很大程度上还是基于可见光图像或视频等外在表现的特征提取展开，当情绪由于个体的不同而展现出不同的表现形式时，想要透过表层的识别去进行深层的情绪认识和理解，进而优化人机交互的体验，尚存在瓶颈。
发明内容
针对现有技术存在的空白和不足，本发明具体采用以下技术方案：
一种基于低分辨率红外热成像深度感知的情绪识别装置，其特征在于，包括：相连接的低分辨率红外热成像传感器、MCU最小系统和上位机；所述MCU最小系统和上位机通过无线通信模块连接。
优选地，所述低分辨率红外热成像传感器和MCU最小系统通过IIC接口连接。
优选地，所述低分辨率红外热成像传感器和MCU最小系统设置在电源电路的上方；所述电源电路设置在无线通信模块上方；所述无线通信模块采用ZigBee模块。
优选地，所述上位机通过深度学习方法对所述低分辨率红外热成像传感器探测获得的热成像温度矩阵进行识别判断。
优选地，所述深度学习通过以下步骤实现：
步骤S1：通过所述低分辨率红外热成像传感器采集多个人脸热成像数据，并对所述人脸热成像数据进行分类标记；
步骤S2：建立温度数据库；所述温度数据库包括数据文件和标签文件；
步骤S3：根据温度数据库建立训练集和验证集；
步骤S4：建立深度学习初始模型，进行情绪特征提取；
步骤S5：训练初始模型，获得目标模型；
步骤S6：固化模型用于实时检测。
优选地，在步骤S1中，在多种环境背景温度下进行多次采集，并通过人工判定的方式对每个人脸热成像数据的数据文件添加标签。
优选地，在步骤S3中，将所述温度数据库中的温度数据集以8:2的比例随机拆分为训练集和验证集。
优选地，在步骤S4中，情绪特征提取选用轻量级的CNN网络mobilenet，模型最大执行步数均为80000，初始学习率为0.001，学习率衰减参数为0.99，优化器采用RMSProp，参数的二次正则化超参数为0.0001，批次大小为32。
优选地，在步骤S5中，所述初始模型通过前向-反向传播算法分别在温度数据库训练集上进行训练，得到目标模型。
优选地，在步骤S6中，训练步数每隔1000步保存一次训练模型，并用验证集验证测试效果；当模型性能达到稳定时，将模型中所含的训练变量剔除，只保留前向传播的神经元权重与偏置的常量，得到固化后的目标模型。
本发明的创新点在于：利用人体在不同情绪状态下的生理反应不同，通过低分辨率红外传感器对人体面部本身进行感知，并通过深度学习网络模型对人的多种情绪实现识别，当面对情绪由于个体的不同而展现出不同的表现形式或情绪被刻意掩盖时，人体向外辐射的红外线并不会因此而受影响，克服了现有技术通过摄像头进行视觉感知捕捉到错误信息，或因外部因素如光线等的影响使捕捉到的信息不完全而无法准确识别的缺陷，相比现有的情绪识别技术，基于低分辨率红外热成像深度感知的情绪识别的准确性能得到大幅提高。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1是本发明实施例整体结构示意图；
图2是本发明实施例深度学习实现过程示意图；
图3是本发明实施例数据集标签标注示意图；
图4是本发明实施例验证集准确率示意图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，并配合附图，作详细说明如下：
考虑到目前大多数情绪识别与分析研究主要是基于可见光图像或视频展开，光照的变化会对基于可见图像或视频的表情识别带来一定程度的影响，而红外热成像技术对面部血液流动而产生的温度变化进行感知，不会受光照等成像因素的影响，也不会受到情绪被人体掩盖的影响，因此本发明的情绪识别技术采用低分辨率红外热成像传感器进行深度感知，能实时探测不同情绪所反映出的人体热成像数据，本发明中通过所述的低分辨率红外热成像传感器获得近距离（半米左右）人脸热成像数据。
如图1所示，本发明实施例装置部分包括：相连接的低分辨率红外热成像传感器、MCU最小系统和上位机；MCU最小系统和上位机通过无线通信模块连接。
其中，低分辨率红外热成像传感器和MCU最小系统通过MCU最小系统上的IIC接口连接并进行通信。
该装置采用堆叠式设计，低分辨率红外热成像传感器和MCU最小系统设置在电源电路的上方作为第一层；电源电路设置在无线通信模块上方作为第二层，采用锂电池或纽扣电池进行供电；无线通信模块采用ZigBee模块作为第三层。
上位机通过深度学习方法对低分辨率红外热成像传感器探测获得的热成像温度矩阵进行识别判断。其对应的识别程序可以通过是基于深度学习模型构建的GUI来具体实现。
深度学习通过以下步骤实现：
步骤S1：通过低分辨率红外热成像传感器采集多个人脸热成像数据，并对人脸热成像数据进行分类标记；
步骤S2：建立温度数据库；温度数据库包括数据文件和标签文件；
步骤S3：根据温度数据库建立训练集和验证集；
步骤S4：建立深度学习初始模型，进行情绪特征提取；
步骤S5：训练初始模型，获得目标模型；
步骤S6：固化模型用于实时检测。
其中，在步骤S1中，在多种环境背景温度下进行多次采集，并通过人工判定的方式对每个人脸热成像数据的数据文件添加标签。通过低分辨率红外热成像传感器测量实时8*8温度数据，上传给上位机，上位机接收数据。根据数据收集对象的不同状态对数据文件分类为不同情绪项。数据集部分包括不同人不同性别不同年龄的不同情绪，并为不同情绪人工标注标签，可以以某个数字代表某种情绪。并且为了排除天气、温度对温度矩阵中背景温度的影响，从而影响模型准确性，因此数据集收集在不同天气和温度情况下进行。如图3所示，为数据集标签标注示意图。
在步骤S2中，通过数据格式转换将初始数据库转换为温度数据库。温度数据库包括数据文件和标签文件。数据文件为data文件，格式为：样本总数*64，标签文件包括label文件及one_hot独热标签文件。
在步骤S3中，将温度数据库中的温度数据集以8:2的比例随机拆分为训练集和验证集。
在步骤S4中，情绪特征提取选用轻量级的CNN网络mobilenet，模型最大执行步数均为80000，初始学习率为0.001，学习率衰减参数为0.99，优化器采用RMSProp，参数的二次正则化超参数为0.0001，批次大小为32。
在步骤S5中，初始模型通过前向-反向传播算法分别在温度数据库训练集上进行训练，得到目标模型。目标模型含有不同情绪下的温度特征知识。
在步骤S6中，模型性能随迭代次数上升，训练步数每隔1000步保存一次训练模型，并用验证集验证测试效果。如图4所示，模型作用于验证集上的准确率，观察模型性能变化，当模型性能达到稳定时，将模型中所含的训练变量剔除，只保留前向传播的神经元权重与偏置的常量，得到固化后的目标模型。将待检测的温度数据输入到固化目标模型中输出置信度得分。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于低分辨率红外热成像深度感知的情绪识别装置及方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (10)

1.一种基于低分辨率红外热成像深度感知的情绪识别装置，其特征在于，包括：相连接的低分辨率红外热成像传感器、MCU最小系统和上位机；所述MCU最小系统和上位机通过无线通信模块连接。
2.根据权利要求1所述的基于低分辨率红外热成像深度感知的情绪识别装置，其特征在于：所述低分辨率红外热成像传感器和MCU最小系统通过IIC接口连接。
3.根据权利要求1所述的基于低分辨率红外热成像深度感知的情绪识别装置，其特征在于：所述低分辨率红外热成像传感器和MCU最小系统设置在电源电路的上方；所述电源电路设置在无线通信模块上方；所述无线通信模块采用ZigBee模块。
4.根据权利要求1所述的基于低分辨率红外热成像深度感知的情绪识别装置的识别方法，其特征在于：所述上位机通过深度学习方法对所述低分辨率红外热成像传感器探测获得的热成像温度矩阵进行识别判断。
5.根据权利要求4所述的基于低分辨率红外热成像深度感知的情绪识别装置的识别方法，其特征在于，所述深度学习通过以下步骤实现：
步骤S1：通过所述低分辨率红外热成像传感器采集多个人脸热成像数据，并对所述人脸热成像数据进行分类标记；
步骤S2：建立温度数据库；所述温度数据库包括数据文件和标签文件；
步骤S3：根据温度数据库建立训练集和验证集；
步骤S4：建立深度学习初始模型，进行情绪特征提取；
步骤S5：训练初始模型，获得目标模型；
步骤S6：固化模型用于实时检测。
6.根据权利要求4所述的基于低分辨率红外热成像深度感知的情绪识别装置的识别方法，其特征在于：在步骤S1中，在多种环境背景温度下进行多次采集，并通过人工判定的方式对每个人脸热成像数据的数据文件添加标签。
7.根据权利要求4所述的基于低分辨率红外热成像深度感知的情绪识别装置的识别方法，其特征在于：在步骤S3中，将所述温度数据库中的温度数据集以8:2的比例随机拆分为训练集和验证集。
8.根据权利要求4所述的基于低分辨率红外热成像深度感知的情绪识别装置的识别方法，其特征在于：在步骤S4中，情绪特征提取选用轻量级的CNN网络mobilenet，模型最大执行步数均为80000，初始学习率为0.001，学习率衰减参数为0.99，优化器采用RMSProp，参数的二次正则化超参数为0.0001，批次大小为32。
9.根据权利要求8所述的基于低分辨率红外热成像深度感知的情绪识别装置的识别方法，其特征在于：在步骤S5中，所述初始模型通过前向-反向传播算法分别在温度数据库训练集上进行训练，得到目标模型。
10.根据权利要求9所述的基于低分辨率红外热成像深度感知的情绪识别装置的识别方法，其特征在于：在步骤S6中，训练步数每隔1000步保存一次训练模型，并用验证集验证测试效果；当模型性能达到稳定时，将模型中所含的训练变量剔除，只保留前向传播的神经元权重与偏置的常量，得到固化后的目标模型。
CN201910241252.6A 2019-03-28 2019-03-28 基于低分辨率红外热成像深度感知的情绪识别装置及方法 Active CN110135242B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910241252.6A CN110135242B (zh) 2019-03-28 2019-03-28 基于低分辨率红外热成像深度感知的情绪识别装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910241252.6A CN110135242B (zh) 2019-03-28 2019-03-28 基于低分辨率红外热成像深度感知的情绪识别装置及方法

Publications (2)

Publication Number Publication Date
CN110135242A true CN110135242A (zh) 2019-08-16
CN110135242B CN110135242B (zh) 2023-04-18

Family

ID=67568672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910241252.6A Active CN110135242B (zh) 2019-03-28 2019-03-28 基于低分辨率红外热成像深度感知的情绪识别装置及方法

Country Status (1)

Country Link
CN (1) CN110135242B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598607A (zh) * 2019-09-02 2019-12-20 中国航天员科研训练中心 非接触式与接触式协同的实时情绪智能监测系统
CN112507916A (zh) * 2020-12-16 2021-03-16 苏州金瑞阳信息科技有限责任公司 一种基于面部神态的人脸检测方法和系统
CN112560945A (zh) * 2020-12-14 2021-03-26 珠海格力电器股份有限公司 一种基于情绪识别的设备控制方法及系统
CN112597938A (zh) * 2020-12-29 2021-04-02 杭州海康威视系统技术有限公司 一种表情检测方法、装置、电子设备及存储介质
CN113520394A (zh) * 2021-06-18 2021-10-22 安阳师范学院 一种基于表情识别与心理学测试生成性格的分析方法
CN115024726A (zh) * 2022-04-27 2022-09-09 上海迎智正能文化发展有限公司 基于红外技术的情绪实时观测装置及其运行方法
CN115497123A (zh) * 2022-10-21 2022-12-20 北京鹰之眼智能健康科技有限公司 感兴趣区域状态参数获取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101526997A (zh) * 2009-04-22 2009-09-09 无锡名鹰科技发展有限公司 嵌入式红外人脸图像识别方法及识别装置
US20170238860A1 (en) * 2010-06-07 2017-08-24 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
CN108875464A (zh) * 2017-05-16 2018-11-23 南京农业大学 一种基于三维人脸情绪识别的灯光音乐控制系统及控制方法
CN108921042A (zh) * 2018-06-06 2018-11-30 四川大学 一种基于深度学习的人脸序列表情识别方法
CN109034090A (zh) * 2018-08-07 2018-12-18 南通大学 一种基于肢体动作的情感识别系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101526997A (zh) * 2009-04-22 2009-09-09 无锡名鹰科技发展有限公司 嵌入式红外人脸图像识别方法及识别装置
US20170238860A1 (en) * 2010-06-07 2017-08-24 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
CN108875464A (zh) * 2017-05-16 2018-11-23 南京农业大学 一种基于三维人脸情绪识别的灯光音乐控制系统及控制方法
CN108921042A (zh) * 2018-06-06 2018-11-30 四川大学 一种基于深度学习的人脸序列表情识别方法
CN109034090A (zh) * 2018-08-07 2018-12-18 南通大学 一种基于肢体动作的情感识别系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘小燕: "《基于面部红外热图的恐惧情绪识别》", 《电子测量与仪器学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598607A (zh) * 2019-09-02 2019-12-20 中国航天员科研训练中心 非接触式与接触式协同的实时情绪智能监测系统
CN110598607B (zh) * 2019-09-02 2022-04-15 中国航天员科研训练中心 非接触式与接触式协同的实时情绪智能监测系统
CN112560945A (zh) * 2020-12-14 2021-03-26 珠海格力电器股份有限公司 一种基于情绪识别的设备控制方法及系统
CN112507916A (zh) * 2020-12-16 2021-03-16 苏州金瑞阳信息科技有限责任公司 一种基于面部神态的人脸检测方法和系统
CN112507916B (zh) * 2020-12-16 2021-07-27 苏州金瑞阳信息科技有限责任公司 一种基于面部神态的人脸检测方法和系统
CN112597938A (zh) * 2020-12-29 2021-04-02 杭州海康威视系统技术有限公司 一种表情检测方法、装置、电子设备及存储介质
CN113520394A (zh) * 2021-06-18 2021-10-22 安阳师范学院 一种基于表情识别与心理学测试生成性格的分析方法
CN113520394B (zh) * 2021-06-18 2023-07-07 安阳师范学院 一种基于表情识别与心理学测试生成性格的分析方法
CN115024726A (zh) * 2022-04-27 2022-09-09 上海迎智正能文化发展有限公司 基于红外技术的情绪实时观测装置及其运行方法
CN115497123A (zh) * 2022-10-21 2022-12-20 北京鹰之眼智能健康科技有限公司 感兴趣区域状态参数获取方法

Also Published As

Publication number Publication date
CN110135242B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110135242A (zh) 基于低分辨率红外热成像深度感知的情绪识别装置及方法
CN110313923B (zh) 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统
WO2021184619A1 (zh) 一种人体运动姿态识别评价方法及其系统
Pavlidis et al. Thermal image analysis for polygraph testing
CN110349667B (zh) 结合调查问卷及多模态范式行为数据分析的孤独症评估系统
Herzmann et al. Toward a comprehensive test battery for face cognition: Assessment of the tasks
CN106909220A (zh) 一种适用于触控的视线交互方法
CN106407935A (zh) 基于人脸图像和眼动注视信息的心理测试方法
CN111528859B (zh) 基于多模态深度学习技术的儿童adhd筛查评估系统
Henriquez et al. Mirror mirror on the wall... an unobtrusive intelligent multisensory mirror for well-being status self-assessment and visualization
CN110363129A (zh) 基于微笑范式和音视频行为分析的孤独症早期筛查系统
Weidenbacher et al. A comprehensive head pose and gaze database
CN109528217A (zh) 一种基于生理振动分析的情绪检测和预警方法
CN107392151A (zh) 基于神经网络的人脸影像多维度情感判别系统及方法
KR102381088B1 (ko) 인공지능에 기반한 심리검사 시스템 및 그 동작 방법
CN106073793B (zh) 基于微惯性传感器的姿态跟踪与识别方法
CN108937407A (zh) 一种智能镜子化妆指导方法及系统
Li et al. Psychological and neural perspectives on human face recognition
CN109381200A (zh) 基于分离重聚范式和计算机视觉的孤独症初级筛查装置
Wei et al. Using sensors and deep learning to enable on-demand balance evaluation for effective physical therapy
CN109634407B (zh) 一种基于多模人机传感信息同步采集与融合的控制方法
CN110364260A (zh) 基于指示性语言范式的孤独症早期评估装置及系统
Wang et al. Student physical fitness test system and test data analysis system based on computer vision
Sun et al. Relationship between personality and gait: Predicting personality with gait features
CN114863318A (zh) 一种基于多模态数据融合的行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant