CN114973354A - 基于群体人面红外热像个体情绪即时监测系统和判断方法 - Google Patents

基于群体人面红外热像个体情绪即时监测系统和判断方法 Download PDF

Info

Publication number
CN114973354A
CN114973354A CN202210450762.6A CN202210450762A CN114973354A CN 114973354 A CN114973354 A CN 114973354A CN 202210450762 A CN202210450762 A CN 202210450762A CN 114973354 A CN114973354 A CN 114973354A
Authority
CN
China
Prior art keywords
infrared
image
emotion
visible light
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210450762.6A
Other languages
English (en)
Inventor
王妍
宋成锐
郭嘉文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yingzhi Zhengneng Culture Development Co ltd
Original Assignee
Shanghai Yingzhi Zhengneng Culture Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yingzhi Zhengneng Culture Development Co ltd filed Critical Shanghai Yingzhi Zhengneng Culture Development Co ltd
Priority to CN202210450762.6A priority Critical patent/CN114973354A/zh
Publication of CN114973354A publication Critical patent/CN114973354A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明提供一种基于群体人面红外热像个体情绪即时监测系统和判断方法,其特征在于,所述系统包括计算机(1)、图像采集装置传感器模块(2)、数据预处理模块(3)、自适应环境补偿模型(4)、卷积神经网络模块(5)和红外图像点位情绪状态识别模型(6)。本发明克服了现有技术中红外图像在实验室外使用条件下,受到采集角度的限制,导致有效采集点不够,无法使用回归分析法下的关系模型输出判断结果的缺陷。在被测试人员停留时间极短的情况下(约1‑3秒),使用红外热像技术进行即时情绪状态的监测和快速分类判断,使用人脸识别结果与红外识别结果交叉对比。从而能满足快速筛查、拍摄条件不全面情况下的大量人群即时情绪分类和判断,有较大的实际应用价值。

Description

基于群体人面红外热像个体情绪即时监测系统和判断方法
技术领域
本发明涉及心理医学情绪监测,具体涉及情绪即时监测方法及其系统,尤其涉及一种基于群体人面红外热像个体情绪即时监测系统和判断方法。
背景技术:
目前对于情绪的即时监测方法大多采用自述性评价量表对被测者进行测评,即让被测量者回答设计好的情绪量表中的问题(如正性负性情绪量表),以自述的方式反馈所感受到的情绪状况及程度。但这类方法存在主观性强、个体差异大、易受其他因素影响等缺点。另外,随着计算机和热成像技术的发展,其应用面逐渐扩大,除了应用较多的非接触方式准确测量皮肤表面温度之外,已经在心理咨询场合通过实时的红外技术观测,可以快速对被测者的情绪状态进行观测并将其分类。
公开号为CN111110256A的专利申请公开了一种基于人体面部红外热像的情绪测量方法,包括在被测试人员平静状态下、接受标准刺激以及接受目标刺激时,采集面部的基准红外热像、标准红外热像、目标红外热像,构建红外热像-情绪强度关系模型,获得被测试人员经目标刺激引起的情绪强度值。该方法主要借助红外热像-情绪强度关系模型,对人脸情绪进行判断。但是,该方法在室外的使用场景中,不宜于在人群短暂停留、尤其不能在需要快速检测的场景中实施,同时,红外技术热像会受到拍摄角度等限制,无法得到全面的有效值,存在一定的局限性。因而研究开发满足快速筛查、拍摄条件不充分情况下的大量人群中某个体的即时监测情绪分类有极其重要的意义。
发明内容
本发明目的在于克服上述不足之处,研究设计运用红外热像,在群体情况时,能即时监测情绪和分类判断的方法。
本发明提供了一种基于群体人面红外热像个体情绪即时监测系统和判断方法。
本发明提供一种基于群体人面红外热像个体情绪即时监测系统,所述系统包括计算机、图像采集装置传感器模块、数据预处理模块、自适应环境补偿模型、卷积神经网络模块和红外图像点位情绪状态识别模型。
所述图像采集装置传感器模块包括红外图像采集装置和可见光图像采集装置。
所述数据预处理模块,用于将所述两个图像采集装置传感器模块采集到的红外图像数据与可见光图像数据进行规范化处理和角度校正,平滑连续图像中的环境干扰因素,形成坐标系一致的可见光图像与红外图像。
所述调用自适应环境补偿模型,为根据图像信息中的灰度、空间位置、环境温度取点平均值信息,估算出环境对人体表温度的影响,并根据该影响带来的偏离值得出补偿参数。
所述调用自适应环境补偿模型,为对每一人体面部对应的红外图像数据进行处理根据图像信息中的灰度、空间位置、环境温度取点平均值信息,估算出环境对人体表温度的影响,并根据该影响带来的偏离值得出补偿参数。
所述使用卷积神经网络模块,用于对每一人体面部对应的可见光图像与红外图像数据包进行处理,对可见光图像数据分析,形成对应划分好类别的个人表情类别识别模型。
所述对每一人体面部对应的红外红外图像与可见光图像数据包,为采用补偿参数进行调整处理后,对人脸识别过程中的特征识别点对应的坐标,使用卷积神经网络对识别点进行逻辑判断,去除无效点位后,形成红外图像点位情绪状态识别模型。
本发明的另一目的是提供一种基于群体人面红外热像个体情绪即时监测的判断方法,该方法包括下列步骤:
(1)在工作区域设置图像采集装置,同时采集可见光图像与红外图像;所述图像采集装置包括红外图像采集装置与可见光图像采集装置;
(2)在数据预处理模块中,将所述图像采集装置传感器模块采集到的红外图像数据与可见光图像数据进行规范化处理和角度校正,平滑连续图像中的环境干扰因素,形成坐标系一致的红外图像与可见光图像;
(3)使用图像分割技术,对可见光图像中的多张人体面部进行有效区域分割;形成每一人体面部对应的可见光图像与红外图像数据包;
(4)自适应环境补偿模型对每一人体面部对应的红外图像数据进行处理,通过图像采集装置对红外图像进行自适应环境补偿;
(5)对每一人体面部对应的可见光图像与红外图像数据包进行处理,使用卷积神经网络模块对可见光图像数据分析,结合心理学对情绪的状态分类,形成对应划分好类别的个人表情类别识别模型;
(6)对每一人体面部对应的红外图像,通过图像采集装置对面部红外图像的补偿参数进行调整,以便于确定特征识别点及其对应的坐标;所述特征识别点的选取主要参考常见人体面部分区,眼睛、鼻尖、额头、双颊、下巴),使用卷积神经网络对特征识别点的有效性进行逻辑判断;所述特征识别点的有效性指能够提取到该点所需温度值,去除无效点位后,形成红外图像点位情绪状态识别模型,即得到群体中每个人的情绪状态及其判断结果。
通过对图像内的群体各人脸进行分割处理,储存成为单独的人脸数据包。每一单独人脸数据包中,将红外热力图输入多信息融合网络,即红外图像点位-情绪状态识别模型,对比原始可见光图像中人脸的表情类别,在一致条件下,输出最终确定的正向、平静、负向状态,最后得到不同人员的即时监测情绪状态。
本发明克服了现有技术中红外图像在实验室外的使用条件下,容易受到采集角度的限制,导致有效采集点不够,无法使用回归分析法下的关系模型输出判断结果的缺陷。本发明是在被测试人员停留时间极短的情况下(约1-3秒),使用红外热像技术进行即时情绪状态的监测和快速分类判别,使用人脸识别结果与红外识别结果交叉对比。不判断基础情绪,只做正向、平静、负向分类,从而能满足快速筛查、拍摄条件不全面情况下的大量人群即时情绪分类和判断。
附图说明
图1本发明方法在实测时的监测系统示意图
计算机1、图像采集装置传感器模块2、数据预处理模块3、自适应环境补偿模型4、卷积神经网络模块5和红外图像点位情绪状态识别模型6
图2本发明方法在实测时的部署方式及其流程图
红外图像采集装置2-1、可见光图像采集装置2-2
具体实施方式
实施例1
结合图1,本发明的一种基于群体人面红外热像个体情绪即时监测系统和判断方法。
所述系统包括计算机1、图像采集装置传感器模块2、数据预处理模块3、自适应环境补偿模型4、卷积神经网络模块5和红外图像点位情绪状态识别模型6。
结合图2,本发明一种基于群体人面红外热像个体情绪即时监测系统和判断方法,现场监测时,准备好计算机1,另将可联网的图像采集装置传感器2,包括红外及可见光传感器部署在即将到达人群的1-5米处,同时在计算机1端输入设备IP号进行设备信号对接。当计算机1端的UI控制界面确认人员已经进入有效采集区域,红外及可见光传感器采集人员图像之后,就将图像传输至数据预处理模块3进行图像融合,融合后通过自适应环境补偿模型4、卷积神经网络模块5和红外图像点位情绪状态识别模型6的判断分析,对图像内的群体内各个人脸进行分割处理,储存成为单独的人脸数据包。每一单独人脸数据包中,将红外热力图输入多信息融合网络,即红外图像点位-情绪状态识别模型,对比原始可见光图像中人脸的表情类别,在一致条件下,输出最终确定的正向、平静、负向状态,最后得到不同人员的即时监测情绪状态。
具体步骤如下:
(1)在工作区域设置红外图像采集装置2-1与可见光图像采集装置2-2,同时采集可见光图像与红外图像;
(2)在数据预处理模块3中,将所述红外图像数据与可见光图像数据采集装置传感器模块采集到的红外图像数据与可见光图像数据进行规范化处理和角度校正,平滑连续图像中的环境干扰因素,形成坐标系一致的红外图像与可见光图像;
(3)使用图像分割技术,对可见光图像中的多张人体面部进行有效区域分割;所述有效区域指单一人体图像中的背景区域小于单一人体面部所占区域,将每一人体面部可见光图像的坐标系对应至红外图像后,形成每一人体面部对应的可见光图像与红外图像数据包;
(4)自适应环境补偿模型4对每一人体面部对应的红外图像数据进行处理,通过红外图像采集装置对红外图像进行自适应环境补偿,估算出环境对人体表温度的影响,并根据该影响带来的偏离值得出补偿参数;
(5)对每一人体面部对应的可见光图像与红外图像数据包进行处理,使用卷积神经网络模块对可见光图像数据分析;
(6)对每一人体面部对应的红外图像,通过图像采集装置对面部红外图像的补偿参数进行调整,以便于确定特征识别点及其对应的坐标,使用卷积神经网络对特征识别点的有效性进行逻辑判断,形成红外图像点位情绪状态识别模型,即得到群体中每个人的情绪状态及其判断结果。
通过对图像内的群体各人脸进行分割处理,储存成为单独的人脸数据包。每一单独人脸数据包中,将红外热力图输入多信息融合网络,即红外图像点位-情绪状态识别模型,对比原始可见光图像中人脸的表情类别,在一致条件下,输出最终确定的正向、平静、负向状态,最后得到不同人员的即时监测情绪状态。

Claims (10)

1.基于群体人面红外热像个体情绪即时监测系统,其特征在于,所述系统包括计算机(1)、图像采集装置传感器模块(2)、数据预处理模块(3)、自适应环境补偿模型(4)、卷积神经网络模块(5)和红外图像点位情绪状态识别模型(6)。
2.根据权利要求1所述的基于群体人面红外热像个体情绪即时监测系统,其特征在于,所述图像采集装置传感器模块(2)包括红外图像采集装置(2-1)和可见光图像采集装置(2-2)。
3.根据权利要求1所述的基于群体人面红外热像个体情绪即时监测系统,其特征在于,所述数据预处理模块(3),用于将所述红外图像采集装置(2-1)和可见光图像采集装置(2-2)采集到的红外图像数据与可见光图像数据进行规范化处理和角度校正,平滑连续图像中的环境干扰因素,形成坐标系一致的红外图像与可见光图像。
4.根据权利要求1所述的基于群体人面红外热像个体情绪即时监测系统,其特征在于,所述调用自适应环境补偿模型(4),用于对每一人体面部对应的红外图像数据进行处理根据图像信息中的灰度、空间位置、环境温度取点平均值信息,估算出环境对人体表温度的影响,并根据该影响带来的偏离值得出补偿参数,得到每一人体面部对应的数据包。
5.根据权利要求1所述的基于群体人面红外热像个体情绪即时监测系统,其特征在于,所述使用卷积神经网络模块(5),用于对每一人体面部对应的数据包进行处理,对可见光图像数据分析,形成对应划分好类别的个人表情类别识别模型。
6.根据权利要求5所述的基于群体人面红外热像个体情绪即时监测系统,其特征在于,所述对每一人体面部对应的数据包进行处理,为采用补偿参数进行调整处理后,对人脸识别过程中的特征识别点对应的坐标,使用卷积神经网络(5)对识别点进行逻辑判断,去除无效点位后,形成红外图像点位情绪状态识别模型(6)。
7.一种基于群体人面红外热像个体情绪即时监测判断方法,其特征在于,该方法包括下列步骤:
(1)在工作区域设置图像采集装置,所述图像采集装置(2)包括红外图像采集装置(2-1)与可见光图像采集装置(2-2),同时采集红外图像与可见光图像;
(2)在数据预处理模块(3)中,将所述图像采集装置传感器模块(2)采集到的红外图像数据与可见光图像数据进行规范化处理和角度校正,平滑连续图像中的环境干扰因素,形成坐标系一致的红外图像与可见光图像;
(3)使用图像分割技术,对可见光图像中的多张人体面部进行有效区域分割;所述有效区域指单一人体图像中的背景区域小于单一人体面部所占区域,将每一人体面部可见光图像的坐标系对应至红外图像后,形成每一人体面部对应的红外图像与可见光图像数据包;
(4)自适应环境补偿模型(4)对每一人体面部对应的红外图像数据进行处理,通过图像采集装置(2)对红外图像进行处理,即根据图像信息中的灰度、空间位置、环境温度取点平均值信息,估算出环境对人体表温度的影响,并根据该影响带来的偏离值得出补偿参数;
(5)对每一人体面部对应的红外图像与可见光图像数据包进行处理,使用卷积神经网络模块(5),对可见光图像数据分析,结合心理学对情绪的状态分类,形成对应划分好类别的个人表情类别识别模型(6);
(6)对每一人体面部对应的红外图像,通过图像采集装置(2)对面部红外图像的补偿参数进行调整,以便于确定特征识别点及其对应的坐标,使用卷积神经网络模块(5)对特征识别点的有效性进行逻辑判断;所述特征识别点的有效性指能够提取到该点所需温度值,去除无效点位后,形成红外图像点位情绪状态识别模型,即得到群体中每个人的情绪状态及其判断结果。
8.根据权利要求7所述的一种基于群体人面红外热像个体情绪即时监测判断方法,其特征在于,步骤(3)所述有效区域指单一人体图像中的背景区域小于单一人体面部所占区域,将每一人体面部可见光图像的坐标系对应至红外图像后,形成每一人体面部对应的可见光图像与红外图像数据包。
9.根据权利要求7所述的一种基于群体人面红外热像个体情绪即时监测判断方法,其特征在于,步骤(5)个人表情类别识别模型分为正性情绪、平静情绪或负性情绪;并进一步选列每一个体的基础情绪:平静、愤怒、自豪、惊讶、厌恶、生气或悲伤。
10.根据权利要求7所述的一种基于群体人面红外热像个体情绪即时监测判断方法,其特征在于,步骤(6)所述特征识别点的选取为眼睛、鼻尖、额头、双颊或下巴。
CN202210450762.6A 2022-04-27 2022-04-27 基于群体人面红外热像个体情绪即时监测系统和判断方法 Pending CN114973354A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210450762.6A CN114973354A (zh) 2022-04-27 2022-04-27 基于群体人面红外热像个体情绪即时监测系统和判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210450762.6A CN114973354A (zh) 2022-04-27 2022-04-27 基于群体人面红外热像个体情绪即时监测系统和判断方法

Publications (1)

Publication Number Publication Date
CN114973354A true CN114973354A (zh) 2022-08-30

Family

ID=82980261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210450762.6A Pending CN114973354A (zh) 2022-04-27 2022-04-27 基于群体人面红外热像个体情绪即时监测系统和判断方法

Country Status (1)

Country Link
CN (1) CN114973354A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115497123A (zh) * 2022-10-21 2022-12-20 北京鹰之眼智能健康科技有限公司 感兴趣区域状态参数获取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287895A (zh) * 2019-04-17 2019-09-27 北京阳光易德科技股份有限公司 一种基于卷积神经网络进行情绪测量的方法
CN111110256A (zh) * 2020-01-13 2020-05-08 浙江科技学院 一种基于人体面部红外热像的情绪测量方法
CN111486962A (zh) * 2020-04-15 2020-08-04 易造机器人(深圳)有限公司 基于红外成像的远距离人体面部测温系统及实现方法
CN111839489A (zh) * 2020-05-26 2020-10-30 合肥工业大学 非接触式生理心理健康检测系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287895A (zh) * 2019-04-17 2019-09-27 北京阳光易德科技股份有限公司 一种基于卷积神经网络进行情绪测量的方法
CN111110256A (zh) * 2020-01-13 2020-05-08 浙江科技学院 一种基于人体面部红外热像的情绪测量方法
CN111486962A (zh) * 2020-04-15 2020-08-04 易造机器人(深圳)有限公司 基于红外成像的远距离人体面部测温系统及实现方法
CN111839489A (zh) * 2020-05-26 2020-10-30 合肥工业大学 非接触式生理心理健康检测系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115497123A (zh) * 2022-10-21 2022-12-20 北京鹰之眼智能健康科技有限公司 感兴趣区域状态参数获取方法

Similar Documents

Publication Publication Date Title
WO2021047232A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN110044486B (zh) 用于人体检验检疫系统避免重复报警的方法、装置、设备
US11828652B2 (en) Method for characterising samples using neural networks
JP4401079B2 (ja) 被験者の行動解析
CN107122744A (zh) 一种基于人脸识别的活体检测系统及方法
CN111046823A (zh) 基于课堂视频的学生课堂参与度分析系统
CN110175501B (zh) 基于人脸识别的多人场景专注度识别方法
CN110287895B (zh) 一种基于卷积神经网络进行情绪测量的方法
CN111967363B (zh) 一种基于微表情识别和眼动追踪的对情绪预测的方法
CN110598608B (zh) 非接触式与接触式协同的心理生理状态智能监测系统
KR101689021B1 (ko) 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법
CN109948476B (zh) 一种基于计算机视觉的人脸皮肤检测系统及其实现方法
CN111507592B (zh) 一种面向服刑人员的主动改造行为的评估方法
CN104274191A (zh) 一种心理测评方法及其系统
CN112472089A (zh) 一种基于眼动技术判断心理测试可靠性的系统及方法
CN114973354A (zh) 基于群体人面红外热像个体情绪即时监测系统和判断方法
CN115024726A (zh) 基于红外技术的情绪实时观测装置及其运行方法
CN114241565A (zh) 一种面部表情、目标对象状态分析方法、装置及设备
CN113221728A (zh) 基于机器视觉的学习环境及状态监测方法及装置
CN111862118B (zh) 压疮分期的训练方法、分期方法及分期系统
CN212261348U (zh) 一种基于热成像和人脸识别的远距离测温系统
KR20100105247A (ko) 지능로봇의 얼굴인식 성능평가 시스템 및 평가 방법
CN110693508A (zh) 多通道协同的心理生理主动感知方法及服务机器人
CN111202534A (zh) 一种基于群体温度监测的情绪预测方法
JPH06259678A (ja) プラント監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220830