CN110598608B - 非接触式与接触式协同的心理生理状态智能监测系统 - Google Patents

非接触式与接触式协同的心理生理状态智能监测系统 Download PDF

Info

Publication number
CN110598608B
CN110598608B CN201910823548.9A CN201910823548A CN110598608B CN 110598608 B CN110598608 B CN 110598608B CN 201910823548 A CN201910823548 A CN 201910823548A CN 110598608 B CN110598608 B CN 110598608B
Authority
CN
China
Prior art keywords
information
preset
probability
feature vector
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910823548.9A
Other languages
English (en)
Other versions
CN110598608A (zh
Inventor
李莹辉
丁帅
卢亮
孙晓
杨成佳
杨善林
吴传亮
岳子杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
China Astronaut Research and Training Center
Original Assignee
Hefei University of Technology
China Astronaut Research and Training Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology, China Astronaut Research and Training Center filed Critical Hefei University of Technology
Priority to CN201910823548.9A priority Critical patent/CN110598608B/zh
Publication of CN110598608A publication Critical patent/CN110598608A/zh
Application granted granted Critical
Publication of CN110598608B publication Critical patent/CN110598608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)

Abstract

本申请提供一种非接触式与接触式协同的心理生理状态智能监测系统，该系统中，非接触式数据采集模块采集面部可见光视频、音频数据及红外热图视频，接触式数据采集模块采集生理信号数据；针对各通道监测数据，可见光信息感知模块用于对可见光视频进行图像降维及特征提取，音频信息感知模块用于提取音频的时频特征，红外信息感知模块用于提取温度变化特征，生理信息感知模块用于提取生理特征，多模融合模块以各通道模型精度为权重将各通道的多模、跨域特征信息进行语义关联及特征融合，综合分析模利用Voting集成学习方法分析得到监测目标个体的心理生理状态分布本系统相较现有的技术可以更加准确、全面、高效地监测人体心理生理状态。

Description

非接触式与接触式协同的心理生理状态智能监测系统
技术领域
本申请涉及心理和数据处理领域，具体涉及一种非接触式与接触式协同的心理生理状态智能监测系统。
背景技术
心理状态是心理活动的基本形式之一，指心理活动在一定时间内的完整特征，如注意、疲劳、紧张、轻松、忧伤、喜悦等。它兼有心理过程和个性心理特征的特点，既有暂时性，又具有稳定性。是心理过程和个性心理特征联结的中介环节，构成一切心理活动展开的背景。生理特征，例如皮电、血氧等能够在一定程度上感应个体的心理状态特征。个体的心理生理状态特征能够反应个体当前的状态，能够帮助判断个体是否会做出危害自己或威胁他人安全的行为，因此监测个体的心理生理状态特征非常必要。
现有技术中，对个体心理生理状态的分析方案中，采集的数据类型单一，不能充分获取用于分析个体进行心理生理状态分析的情绪信息，导致分析的结果准确度低。并且在对获取的数据进行处理的过程中，使用的方法单一，无法综合有效处理图像等信息，进一步地导致分析的结果准确度低。
发明内容
(一)解决的技术问题
针对现有技术的不足，本申请提供了一种非接触式与接触式协同的心理生理状态智能监测系统，解决了现有技术中分析的心理生理状态准确度低的缺陷。
(二)技术方案
为实现以上目的，本申请通过以下技术方案予以实现：
本申请提供了一种非接触式与接触式协同的心理生理状态智能监测系统，包括：
非接触信息采集模块，用于采集目标个体的面部可见光视频、目标个体的面部红外热图、目标个体的音频信息；所述面部可见光视频包括多帧视频图像；
接触信息采集模块，用于采集目标个体的生理信息；
可见光信息感知模块，用于针对面部可见光视频中的每帧视频图像，基于人脸检测器定位该视频图像中的多个预设特征点中每个预设特征点，并基于每个预设特征点的位置确定该视频图像对应的第一概率特征向量；所述第一概率特征向量用于表征目标个体针对每种预设标准心理生理状态的第一概率分布；还用于针对面部可见光视频中的每帧视频图像，对该视频图像进行分割，分别得到每种预设面部子区域对应的图像，并针对每种预设面部子区域，利用第一卷积神经网络和循环神经网络对该预设面部子区域对应的每帧图像进行处理，确定该预设面部子区域对应的第一图像时空特征信息；以及，利用第二卷积神经网络对该预设面部子区域对应的每相邻两帧图像形成的光流图进行处理，确定该预设面部子区域对应的多个第二时空特征信息；以及基于该预设面部子区域对应的第一图像时空特征信息和第二图像时空特征信息，确定与该预设面部子区域匹配的标准心理生理信息；其中，每种预设面部子区域均分别预先设置有至少一种标准心理生理信息；还用于基于每种预设面部子区域对应的标准心理生理信息，确定每种预设面部子区域对应的第二概率特征向量；所述第二概率特征向量用于表征目标个体针对每种预设标准心理生理状态的第二概率分布；还用于利用第一全连接网络，对所有的第一概率特征向量、所有的第二概率特征向量进行处理，得到融合概率特征向量；融合概率特征向量用于表征目标个体针对每种预设标准心理生理状态的融合概率分布；
音频信息感知模块，用于提取所述音频信息中的音频特征，确定与音频特征匹配的心理生理特征，并基于心理生理特征，确定第三概率特征向量；所述第三概率特征向量用于表征目标个体针对每种预设标准心理生理状态的第三概率分布；
红外信息感知模块，用于提取面部红外热图的图像特征，并基于提取得到的图像特征，确定第四概率特征向量；所述第四概率特征向量用于表征目标个体针对每种预设标准心理生理状态的第四概率分布；
生理信息感知模块，用于提取所述生理信息中的时频特征，并基于提取得到的时频特征，确定第五概率特征向量；所述第五概率特征向量用于表征目标个体针对每种预设标准心理生理状态的第五概率分布；
多模融合模块，用于基于所述融合概率特征向量、第三概率特征向量、第四概率特征向量、第五概率特征向量、融合概率特征向量针对每种预设标准心理生理状态的评估准确度、第三概率特征向量针对每种预设标准心理生理状态的评估准确度、第四概率特征向量针对每种预设标准心理生理状态的评估准确度、第五概率特征向量针对每种预设标准心理生理状态的评估准确度，确定目标概率特征向量；目标概率特征向量用于表征目标个体针对每种预设标准心理生理状态的目标概率分布；
综合分析模块，用于基于目标概率特征向量，确定目标个体的心理生理状态类别信息。
在一种可能的实施方式中，所述音频信息感知模块在提取所述音频信息中的音频特征时，具体用于：
对音频信息进行加权重、加窗分帧、端点检测的预处理方式去除噪音，并采用傅里叶变换进行时频转换，之后利用训练好的深度信念网络进行特征提取和降维，得到所述音频特征。
在一种可能的实施方式中，所述红外信息感知模块具体用于：
传热模型将面部红外热图转换为血液灌注伪彩色图，并通过深度卷积和循环网络对提取血液灌注伪彩色图的图像特征，并基于提取得到的图像特征，确定第四概率特征向量。
在一种可能的实施方式中，所述生理信息感知模块具体用于：
采用巴特沃斯滤波器去除生理信息中的噪声，并利用深度LSTM网络结构提取去噪后的信息的时频特征，并基于提取得到的时频特征，确定第五概率特征向量。
在一种可能的实施方式中，所述综合分析模块具体用于：
基于Voting集成策略组合弱分类器形成强分类器，并利用强分类器，基于目标概率特征向量，确定目标个体的心理生理状态类别信息。
在一种可能的实施方式中，所述弱分类器包括逻辑回归、SVM、随机森林、KNN。
在一种可能的实施方式中，上述方法还包括：
显示模块，用于显示面部可见光视频中的每帧视频图像、面部红外热图、音频信息的信号波形图、生理信息的信号波形图、目标个体的心理生理状态类别信息。
在一种可能的实施方式中，所述可见光信息感知模块在基于该预设面部子区域对应的第一图像时空特征信息和第二图像时空特征信息，确定与该预设面部子区域对应的目标特征特征信息匹配的标准心理生理信息时，包括：
利用第二全连接网络对该预设面部子区域对应的第一图像时空特征信息和所有的第二图像时空特征信息进行降维、加权和全连接处理，得到该预设面部子区域对应的目标特征特征信息；
确定与该预设面部子区域对应的目标特征特征信息匹配的标准心理生理信息。
在一种可能的实施方式中，所述可见光信息感知模块在利用第一卷积神经网络和循环神经网络对该预设面部子区域对应的每帧图像进行处理，确定该预设面部子区域对应的第一图像时空特征信息时，包括：
利用第一卷积神经网络提取该预设面部子区域对应的每帧图像中的图像空间特征信息，并按照该预设面部子区域对应的每帧图像的时间先后顺序，依次将该预设面部子区域对应的每帧图像的图像空间特征信息输入循环神经网络，利用所述循环神经网络提取输入的图像空间特征信息中时间特征信息，得到该预设面部子区域对应的第一图像时空特征信息。
(三)有益效果
本申请提供了一种非接触式与接触式协同的心理生理状态智能监测系统。具备以下有益效果：
本申请的系统包括非接触信息采集模块、接触信息采集模块、可见光信息感知模块、音频信息感知模块、红外信息感知模块、生理信息感知模块、多模融合模块、综合分析模块，非接触信息采集模块采集面部可见光视频、音频信息、面部红外热图，接触信息采集模块采集生理信息，可见光信息感知模块对面部可见光视频进行图像特征提取，音频信息感知模块提取音频特征，红外信息感知模块提取红外热图特征，生理信息感知模块提取生理特征，多模融合模块以各通道模型精度为权重将非接触信息采集模块和接触信息模块的多模特征信息进行融合，综合分析模利用Voting集成学习方法分析特征向量，监测人体的心理生理状态，本申请相较现有的技术可以更加准确、全面、高效地监测人体心理生理状态。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性的示出了本申请一实施例的非接触式与接触式协同的心理生理状态智能监测系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
针对现有技术中，无法充分获取用于分析个体进行心理生理状态分析的情绪信息，无法处理不同类型的数据，导致分析的心理生理状态准确度低的缺陷，本申请提供了一种非接触式与接触式协同的心理生理状态智能监测系统，该系统利用非接触信息采集模块采集面部可见光视频、音频信息、面部红外热图，接触信息采集模块采集生理信息，可见光信息感知模块对面部可见光视频进行图像特征提取，音频信息感知模块提取音频特征，红外信息感知模块提取红外热图特征，生理信息感知模块提取生理特征，多模融合模块以各通道模型精度为权重将非接触信息采集模块和接触信息模块的多模特征信息进行融合，综合分析模利用Voting集成学习方法分析特征向量，监测人体的心理生理状态，本申请相较现有的技术可以更加准确、全面、高效地监测人体心理生理状态。
具体地，如图1所示，非接触式与接触式协同的心理生理状态智能监测系统包括如下非接触信息采集模块100、接触信息采集模块110、可见光信息感知模块120、音频信息感知模块130、红外信息感知模块140、生理信息感知模块150、多模融合模块160、综合分析模块170。
非接触信息采集模块100，用于采集目标个体的面部可见光视频、目标个体的面部红外热图、目标个体的音频信息；所述面部可见光视频包括多帧视频图像。
接触信息采集模块110，用于采集目标个体的生理信息。
可见光信息感知模块120，用于针对面部可见光视频中的每帧视频图像，基于人脸检测器定位该视频图像中的多个预设特征点中每个预设特征点，并基于每个预设特征点的位置确定该视频图像对应的第一概率特征向量；所述第一概率特征向量用于表征目标个体针对每种预设标准心理生理状态的第一概率分布；还用于针对面部可见光视频中的每帧视频图像，对该视频图像进行分割，分别得到每种预设面部子区域对应的图像，并针对每种预设面部子区域，利用第一卷积神经网络和循环神经网络对该预设面部子区域对应的每帧图像进行处理，确定该预设面部子区域对应的第一图像时空特征信息；以及，利用第二卷积神经网络对该预设面部子区域对应的每相邻两帧图像形成的光流图进行处理，确定该预设面部子区域对应的多个第二时空特征信息；以及基于该预设面部子区域对应的第一图像时空特征信息和第二图像时空特征信息，确定与该预设面部子区域匹配的标准心理生理信息；其中，每种预设面部子区域均分别预先设置有至少一种标准心理生理信息；还用于基于每种预设面部子区域对应的标准心理生理信息，确定每种预设面部子区域对应的第二概率特征向量；所述第二概率特征向量用于表征目标个体针对每种预设标准心理生理状态的第二概率分布；还用于利用第一全连接网络，对所有的第一概率特征向量、所有的第二概率特征向量进行处理，得到融合概率特征向量；融合概率特征向量用于表征目标个体针对每种预设标准心理生理状态的融合概率分布。
所述可见光信息感知模块120在基于该预设面部子区域对应的第一图像时空特征信息和第二图像时空特征信息，确定与该预设面部子区域对应的目标特征特征信息匹配的标准心理生理信息时，包括：
利用第二全连接网络对该预设面部子区域对应的第一图像时空特征信息和所有的第二图像时空特征信息进行降维、加权和全连接处理，得到该预设面部子区域对应的目标特征特征信息；确定与该预设面部子区域对应的目标特征特征信息匹配的标准心理生理信息。
所述可见光信息感知模块120在利用第一卷积神经网络和循环神经网络对该预设面部子区域对应的每帧图像进行处理，确定该预设面部子区域对应的第一图像时空特征信息时，包括：
利用第一卷积神经网络提取该预设面部子区域对应的每帧图像中的图像空间特征信息，并按照该预设面部子区域对应的每帧图像的时间先后顺序，依次将该预设面部子区域对应的每帧图像的图像空间特征信息输入循环神经网络，利用所述循环神经网络提取输入的图像空间特征信息中时间特征信息，得到该预设面部子区域对应的第一图像时空特征信息。
音频信息感知模块130，用于提取所述音频信息中的音频特征，确定与音频特征匹配的心理生理特征，并基于心理生理特征，确定第三概率特征向量；所述第三概率特征向量用于表征目标个体针对每种预设标准心理生理状态的第三概率分布。
所述音频信息感知模块130在提取所述音频信息中的音频特征时，具体用于：对音频信息进行加权重、加窗分帧、端点检测的预处理方式去除噪音，并采用傅里叶变换进行时频转换，之后利用训练好的深度信念网络进行特征提取和降维，得到所述音频特征。
红外信息感知模块140，用于提取红外热图的图像特征，并基于提取得到的图像特征，确定第四概率特征向量；所述第四概率特征向量用于表征目标个体针对每种预设标准心理生理状态的第四概率分布。
红外信息感知模块140具体用于传热模型将面部红外热图转换为血液灌注伪彩色图，并通过深度卷积和循环网络对提取血液灌注伪彩色图的图像特征，并基于提取得到的图像特征，确定第四概率特征向量。
生理信息感知模块150，用于提取所述生理信息中的时频特征，并基于提取得到的时频特征，确定第五概率特征向量；所述第五概率特征向量用于表征目标个体针对每种预设标准心理生理状态的第五概率分布。
生理信息感知模块150具体用于采用巴特沃斯滤波器去除生理信息中的噪声，并利用深度LSTM网络结构提取去噪后的信息的时频特征，并基于提取得到的时频特征，确定第五概率特征向量。
多模融合模块160，用于基于所述融合概率特征向量、第三概率特征向量、第四概率特征向量、第五概率特征向量、融合概率特征向量针对每种预设标准心理生理状态的评估准确度、第三概率特征向量针对每种预设标准心理生理状态的评估准确度、第四概率特征向量针对每种预设标准心理生理状态的评估准确度、第五概率特征向量针对每种预设标准心理生理状态的评估准确度，确定目标概率特征向量；目标概率特征向量用于表征目标个体针对每种预设标准心理生理状态的目标概率分布。
综合分析模块170，用于基于目标概率特征向量，确定目标个体的心理生理状态类别信息。
综合分析模块170具体用于基于Voting集成策略组合弱分类器形成强分类器，并利用强分类器，基于目标概率特征向量，确定目标个体的心理生理状态类别信息。这里，弱分类器包括逻辑回归、SVM、随机森林、KNN。
上述系统还包括显示模块180，用于显示面部可见光视频中的每帧视频图像、面部红外热图、音频信息的信号波形图、生理信息的信号波形图、目标个体的心理生理状态类别信息。
上述显示模块180可以包括PC高清显示屏。
上述非接触信息采集模块100以利用可见光摄像头、麦克风、热红外摄像头实时同步采集面部可见光视频、面部红外热图、音频信息。
接触信息采集模块，与非接触信息采集模块相配合，通过指夹式采集设备同步采集人的皮电、脉搏、血氧等生理信息。
上述可见光信息感知模块接收面部的面部可见光视频，通过面部特征点和面部运动单元两通道分析面部图像。特别的，针对面部的预设特征点，该模块采用dlib预定义的68个特征点及相关位置关系构造实时心理生理状态分布模型；针对面部运动单元，即预设面部子区域分析，该模块基于FACS定义的46种运动单元涉及的面部运动区域，采用双流神经网络判定是否符合运动单元标准，即标准心理生理信息，并根据运动单元组合状态判定心理状态概率分布，即第二概率分布。
上述音频信息感知模块接收麦克风等采集的音频信息，先使用预加重、加窗分帧、端点检测等预处理方式去除噪音，采用傅里叶变换进行时频转换后通过训练好的深度信念网络进行特征提取和降维，并与现有的语音语料库进行特征相似性匹配，从而识别语音信号的高维特征。
多模融合模块接收各个信息感知模块处理后的多通道特征向量{x1，x2，x3，x4}，此外，考虑到各通道模型的精度概率分布分别为：{P1，P2，P3，P4}，其中
Figure BDA0002188347410000101
Figure BDA0002188347410000102
为第i个模型对第j个分类的识别精度，于此将精度概率分布作为各通道特征向量的权重进行特征级的信息融合，使更可靠的模型分析得到的结果在融合后所占的比重更大，融合后的特征向量为：
X＝P1x1+P2x2+P3x3+P4x4
该模块随后基于全连接网络实现多模特降维，提取蕴含在融合特征向量中的深层语义信息。该模块将最终生成的特征向量传输至综合分析模块。
上述实施例使用非接触式和接触式协同方式采集人的生理心理数据，其中非接触式方式包括面部可见光视频、音频信息、面部红外热图等监测通道，所监测和分析的数据类型更丰富，将更多人的心理生理表征信息纳入到系统的分析过程中。上述实施例以各通道模型精度为权重将多模特征信息(融合概率特征向量、第三概率特征向量、第四概率特征向量、第五概率特征向量)进行融合，并利用全连接网络实现特征提取与降维，并利用Voting集成学习训练多组分类器，确定心理生理状态的分类结果。上述将多通道心理生理监测信息融合以监测心理生理状态，相比于单一通道分析方法更准确。
上述非接触式与接触式协同的心理生理状态智能监测系统中，非接触式数据采集模块采集面部可见光视频、音频数据及红外热图视频，接触式数据采集模块采集生理信号数据；针对各通道监测数据，可见光信息感知模块用于对可见光视频进行图像降维及特征提取，音频信息感知模块用于提取音频的时频特征，红外信息感知模块用于提取温度变化特征，生理信息感知模块用于提取生理特征，多模融合模块以各通道模型精度为权重将各通道的多模、跨域特征信息进行语义关联及特征融合，综合分析模利用Voting集成学习方法分析得到监测目标个体的心理生理状态分布本系统相较现有的技术可以更加准确、全面、高效地监测人体心理生理状态。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种非接触式与接触式协同的心理生理状态智能监测系统，其特征在于，包括：
非接触信息采集模块，用于采集目标个体的面部可见光视频、目标个体的面部红外热图、目标个体的音频信息；所述面部可见光视频包括多帧视频图像；
接触信息采集模块，用于采集目标个体的生理信息；
可见光信息感知模块，用于针对面部可见光视频中的每帧视频图像，基于人脸检测器定位该视频图像中的多个预设特征点中每个预设特征点，并基于每个预设特征点的位置确定该视频图像对应的第一概率特征向量；所述第一概率特征向量用于表征目标个体针对每种预设标准心理生理状态的第一概率分布；还用于针对面部可见光视频中的每帧视频图像，对该视频图像进行分割，分别得到每种预设面部子区域对应的图像，并针对每种预设面部子区域，利用第一卷积神经网络和循环神经网络对该预设面部子区域对应的每帧图像进行处理，确定该预设面部子区域对应的第一图像时空特征信息；以及，利用第二卷积神经网络对该预设面部子区域对应的每相邻两帧图像形成的光流图进行处理，确定该预设面部子区域对应的多个第二时空特征信息；以及基于该预设面部子区域对应的第一图像时空特征信息和第二图像时空特征信息，确定与该预设面部子区域匹配的标准心理生理信息；其中，每种预设面部子区域均分别预先设置有至少一种标准心理生理信息；还用于基于每种预设面部子区域对应的标准心理生理信息，确定每种预设面部子区域对应的第二概率特征向量；所述第二概率特征向量用于表征目标个体针对每种预设标准心理生理状态的第二概率分布；还用于利用第一全连接网络，对所有的第一概率特征向量、所有的第二概率特征向量进行处理，得到融合概率特征向量；融合概率特征向量用于表征目标个体针对每种预设标准心理生理状态的融合概率分布；
音频信息感知模块，用于提取所述音频信息中的音频特征，确定与音频特征匹配的心理生理特征，并基于心理生理特征，确定第三概率特征向量；所述第三概率特征向量用于表征目标个体针对每种预设标准心理生理状态的第三概率分布；
红外信息感知模块，用于提取面部红外热图的图像特征，并基于提取得到的图像特征，确定第四概率特征向量；所述第四概率特征向量用于表征目标个体针对每种预设标准心理生理状态的第四概率分布；
生理信息感知模块，用于提取所述生理信息中的时频特征，并基于提取得到的时频特征，确定第五概率特征向量；所述第五概率特征向量用于表征目标个体针对每种预设标准心理生理状态的第五概率分布；
多模融合模块，用于基于所述融合概率特征向量、第三概率特征向量、第四概率特征向量、第五概率特征向量、融合概率特征向量针对每种预设标准心理生理状态的评估准确度、第三概率特征向量针对每种预设标准心理生理状态的评估准确度、第四概率特征向量针对每种预设标准心理生理状态的评估准确度、第五概率特征向量针对每种预设标准心理生理状态的评估准确度，确定目标概率特征向量；目标概率特征向量用于表征目标个体针对每种预设标准心理生理状态的目标概率分布；
综合分析模块，用于基于目标概率特征向量，确定目标个体的心理生理状态类别信息。
2.根据权利要求1所述的系统，其特征在于，所述音频信息感知模块在提取所述音频信息中的音频特征时，具体用于：
对音频信息进行加权重、加窗分帧、端点检测的预处理方式去除噪音，并采用傅里叶变换进行时频转换，之后利用训练好的深度信念网络进行特征提取和降维，得到所述音频特征。
3.根据权利要求1所述的系统，其特征在于，所述红外信息感知模块具体用于：
传热模型将面部红外热图转换为血液灌注伪彩色图，并通过深度卷积和循环网络对提取血液灌注伪彩色图的图像特征，并基于提取得到的图像特征，确定第四概率特征向量。
4.根据权利要求1所述的系统，其特征在于，所述生理信息感知模块具体用于：
采用巴特沃斯滤波器去除生理信息中的噪声，并利用深度LSTM网络结构提取去噪后的信息的时频特征，并基于提取得到的时频特征，确定第五概率特征向量。
5.根据权利要求1所述的系统，其特征在于，所述综合分析模块具体用于：
基于Voting集成策略组合弱分类器形成强分类器，并利用强分类器，基于目标概率特征向量，确定目标个体的心理生理状态类别信息。
6.根据权利要求5所述的系统，其特征在于，所述弱分类器包括逻辑回归、SVM、随机森林、KNN。
7.根据权利要求1所述的系统，其特征在于，还包括：
显示模块，用于显示面部可见光视频中的每帧视频图像、面部红外热图、音频信息的信号波形图、生理信息的信号波形图、目标个体的心理生理状态类别信息。
8.根据权利要求1所述的系统，其特征在于，所述可见光信息感知模块在基于该预设面部子区域对应的第一图像时空特征信息和第二图像时空特征信息，确定与该预设面部子区域对应的目标特征特征信息匹配的标准心理生理信息时，包括：
利用第二全连接网络对该预设面部子区域对应的第一图像时空特征信息和所有的第二图像时空特征信息进行降维、加权和全连接处理，得到该预设面部子区域对应的目标特征特征信息；
确定与该预设面部子区域对应的目标特征特征信息匹配的标准心理生理信息。
9.根据权利要求1所述的系统，其特征在于，所述可见光信息感知模块在利用第一卷积神经网络和循环神经网络对该预设面部子区域对应的每帧图像进行处理，确定该预设面部子区域对应的第一图像时空特征信息时，包括：
利用第一卷积神经网络提取该预设面部子区域对应的每帧图像中的图像空间特征信息，并按照该预设面部子区域对应的每帧图像的时间先后顺序，依次将该预设面部子区域对应的每帧图像的图像空间特征信息输入循环神经网络，利用所述循环神经网络提取输入的图像空间特征信息中时间特征信息，得到该预设面部子区域对应的第一图像时空特征信息。
CN201910823548.9A 2019-09-02 2019-09-02 非接触式与接触式协同的心理生理状态智能监测系统 Active CN110598608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910823548.9A CN110598608B (zh) 2019-09-02 2019-09-02 非接触式与接触式协同的心理生理状态智能监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910823548.9A CN110598608B (zh) 2019-09-02 2019-09-02 非接触式与接触式协同的心理生理状态智能监测系统

Publications (2)

Publication Number Publication Date
CN110598608A CN110598608A (zh) 2019-12-20
CN110598608B true CN110598608B (zh) 2022-01-14

Family

ID=68856974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910823548.9A Active CN110598608B (zh) 2019-09-02 2019-09-02 非接触式与接触式协同的心理生理状态智能监测系统

Country Status (1)

Country Link
CN (1) CN110598608B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292833A (zh) * 2020-01-22 2020-06-16 浙江连信科技有限公司 基于智能机器人的生理和心理状态预测方法及装置
CN111232788B (zh) * 2020-02-13 2021-07-20 江苏弘冉智能科技有限公司 一种电梯全要素健康及安全监控系统
CN111526338A (zh) * 2020-05-11 2020-08-11 湖南师范大学 一种非接触式动物监视器的数据同步编码方法
CN111599472B (zh) * 2020-05-14 2023-10-24 重庆大学 用于学生心理状态识别的方法及装置、计算机
CN113326780B (zh) * 2021-05-31 2022-08-19 合肥工业大学 基于数据可靠性评价的非接触式负性心境检测方法和装置
CN114391807B (zh) * 2021-12-17 2023-12-19 珠海脉动时代健康科技有限公司 睡眠呼吸障碍分析方法、装置、设备及可读介质
CN115359914B (zh) * 2022-08-26 2023-05-05 山东心法科技有限公司 基于量化描述向量的心理状态区分方法、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104274191A (zh) * 2014-10-08 2015-01-14 北京中维监安信息科技有限公司 一种心理测评方法及其系统
CN105913038A (zh) * 2016-04-26 2016-08-31 哈尔滨工业大学深圳研究生院 一种基于视频的动态微表情识别方法
CN107808146A (zh) * 2017-11-17 2018-03-16 北京师范大学 一种多模态情感识别分类方法
CN108216254A (zh) * 2018-01-10 2018-06-29 山东大学 基于面部图像与脉搏信息融合的路怒情绪识别方法
CN108647591A (zh) * 2018-04-25 2018-10-12 长沙学院 一种基于视觉-语义特征的视频中行为识别方法和系统
CN108805087A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态情绪识别系统的时序语义融合关联判断子系统
CN109190479A (zh) * 2018-08-04 2019-01-11 台州学院 一种基于混合深度学习的视频序列表情识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8214893B2 (en) * 2007-07-20 2012-07-03 Broadcom Corporation Method and system for configuring local and remote resources to accomplish rendering of multimedia content on dissimilar format devices based on user biometric data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104274191A (zh) * 2014-10-08 2015-01-14 北京中维监安信息科技有限公司 一种心理测评方法及其系统
CN105913038A (zh) * 2016-04-26 2016-08-31 哈尔滨工业大学深圳研究生院 一种基于视频的动态微表情识别方法
CN107808146A (zh) * 2017-11-17 2018-03-16 北京师范大学 一种多模态情感识别分类方法
CN108216254A (zh) * 2018-01-10 2018-06-29 山东大学 基于面部图像与脉搏信息融合的路怒情绪识别方法
CN108647591A (zh) * 2018-04-25 2018-10-12 长沙学院 一种基于视觉-语义特征的视频中行为识别方法和系统
CN108805087A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态情绪识别系统的时序语义融合关联判断子系统
CN109190479A (zh) * 2018-08-04 2019-01-11 台州学院 一种基于混合深度学习的视频序列表情识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合时空网络与注意力机制的人体行为识别研究;孟乐乐;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190115(第1期);正文第1-69页 *

Also Published As

Publication number Publication date
CN110598608A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110598608B (zh) 非接触式与接触式协同的心理生理状态智能监测系统
US10779760B2 (en) Deception detection system and method
Fernandes et al. A novel nonintrusive decision support approach for heart rate measurement
CN111046823A (zh) 基于课堂视频的学生课堂参与度分析系统
US20230052100A1 (en) Systems And Methods For Optical Evaluation Of Pupillary Psychosensory Responses
CN109805944B (zh) 一种儿童共情能力分析系统
CN114209324A (zh) 基于图像视觉认知的心理测评数据获取方法及vr系统
CN110427881A (zh) 基于人脸局部区域特征学习的跨数据库微表情识别方法及装置
CN114842957B (zh) 一种基于情绪识别的老年痴呆症辅助诊断系统及其方法
Szankin et al. Long distance vital signs monitoring with person identification for smart home solutions
CN110364260A (zh) 基于指示性语言范式的孤独症早期评估装置及系统
CN110598607B (zh) 非接触式与接触式协同的实时情绪智能监测系统
CN117883082A (zh) 一种异常情绪识别方法、系统、设备及介质
CN115439920B (zh) 基于情绪视听刺激和面部表情的意识状态检测系统、设备
Jagadeesan et al. Behavioral features based autism spectrum disorder detection using decision trees
WO2018073113A1 (de) Vorrichtung zur ermittlung von merkmalen einer person
CN111724896A (zh) 一种基于多刺激图片或视频erp的毒瘾评估系统
Ribeiro et al. Stimming behavior dataset-unifying stereotype behavior dataset in the wild
Akinci et al. A video-based eye pupil detection system for diagnosing bipolar disorder
Mohammadi et al. Two-step deep learning for estimating human sleep pose occluded by bed covers
Nwogu et al. An automated process for deceit detection
CN110353703A (zh) 基于鹦鹉学舌语言范式行为分析的孤独症评估装置及系统
CN110781719A (zh) 非接触式与接触式协同的心理状态智能监测系统
Peng et al. Sleep-deprived fatigue pattern analysis using large-scale selfies from social media
CN115429272B (zh) 基于多模态生理信号的心理健康状态评估方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant