CN110464367B - 基于多通道协同的心理异常检测方法和系统 - Google Patents

基于多通道协同的心理异常检测方法和系统 Download PDF

Info

Publication number
CN110464367B
CN110464367B CN201910722471.6A CN201910722471A CN110464367B CN 110464367 B CN110464367 B CN 110464367B CN 201910722471 A CN201910722471 A CN 201910722471A CN 110464367 B CN110464367 B CN 110464367B
Authority
CN
China
Prior art keywords
data
detected
psychological
person
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910722471.6A
Other languages
English (en)
Other versions
CN110464367A (zh
Inventor
孙晓
郑仕鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201910722471.6A priority Critical patent/CN110464367B/zh
Publication of CN110464367A publication Critical patent/CN110464367A/zh
Application granted granted Critical
Publication of CN110464367B publication Critical patent/CN110464367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Computational Linguistics (AREA)
  • Psychology (AREA)
  • Fuzzy Systems (AREA)
  • Developmental Disabilities (AREA)
  • Pulmonology (AREA)
  • Signal Processing (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

本发明提供一种基于多通道协同的心理异常检测方法和系统，涉及计算机数据处理领域。包括以下步骤：获取待检测者的主观反馈数据和客观反应数据；对客观反应数据进行处理；基于主观反馈数据和处理后的客观反应数据，得到心理状态数据，其中，心理状态数据包括：人群的总心理状态数据和待检测者多日的历史心理状态数据；基于预先构建的多元高斯分布模型分别处理心理状态数据，得到两个概率；基于两个概率分别获取待检测者在人群中的心理异常程度和个人历史心理异常程度；基于两个异常程度确定待检测者是否为心理异常状态。本发明可以准确检测人们是否为心理异常状态。

Description

基于多通道协同的心理异常检测方法和系统
技术领域
本发明涉及计算机数据处理技术领域，具体涉及一种基于多通道 协同的心理异常检测方法和系统。
背景技术
在当前的社会状况下，人们或多或少都存在着心理异常的情况， 在多数情况下，心理异常并不会影响到人的正常生活，但是有部分人 在出现心理异常后，若不及时进行针对性治疗，可能会进一步出现厌 世、报复等极端心理，危及到个人健康乃至社会的安全，尤其对于特 殊人群，如军人和犯人等，其心理异常需要进行认真对待。因此，检 测人们是否为心理异常是非常有必要的。
现有的检测方法一般通过给定训练集，训练深度神经网络，来实 现对给定图像中人脸的情绪识别，并根据特定情感序列占总数的比例 来判断检测目标是否存在心理异常。
本申请的发明人发现，现有技术在检测心理异常时，仅依靠简单 的数字统计，比如一段视频中，愤怒的帧数占比超过一定数值就认为 被检测个体存在愤怒的异常，可靠性较差。因此现有技术存在不够准 确的缺点。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于多通道协同的心理 异常检测方法和系统，解决了现有技术无法准确检测心理异常的技术 问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
本发明解决其技术问题所提供的一种基于多通道协同的心理异常 检测方法，所述检测方法由计算机执行，包括以下步骤：
S1、获取待检测者的主观反馈数据和客观反应数据，所述客观反 应数据包括：生理数据和行为数据；
S2、对所述客观反应数据进行处理，达到预设的目标格式；
S3、基于所述主观反馈数据和处理后的客观反应数据，得到待检 测者的心理状态数据，所述心理状态数据包括：待检测人群的总心理 状态数据和每个待检测者多日的历史心理状态数据；
S4、基于所述待检测人群的总心理状态数据获取多元高斯概率分 布，得到第一概率；基于所述每个待检测者多日的历史心理状态数据 获取多元高斯概率分布，得到第二概率；
S5、基于所述第一概率获取待检测者在人群中的心理异常程度； 基于所述第二概率获取待检测者的个人历史心理异常程度；
S6、基于所述待检测者在人群中的心理异常程度和所述个人历史 心理异常程度确定待检测者是否为心理异常状态。
优选的，在S1中，所述主观反馈数据包括：待检测者主观反馈的 心理情绪和待检测者填写的心理状态量表，所述心理情绪包括：紧张、 愤怒、疲劳、抑郁、活力和慌乱。
优选的，在S1中，所述行为数据的获取方法为：
待检测者朗读预先设定的文本，并获取肢体行为数据、语音数据 和面部信息；
待检测者观看预先设定的视频，并获取面部信息；
待检测者基于预先设定的主题进行叙述，并获取肢体行为数据、 语音数据和面部信息；
所述生理数据包括：待检测者的血氧浓度，皮肤电阻和脉搏。
优选的，在S2中，包括以下步骤：
S201、对所述生理数据进行快速傅立叶变换，并给定窗口尺寸和 窗口步移尺寸，得到格式大小为224*224的数据；
S202、对所述语音数据提取其梅尔频谱图，对数据进行中心裁剪 或补充，得到格式大小为[224，1792]的数据；
S203、基于预训练的神经网络处理所述面部信息，得到面部关键 点数据；
S204、基于红外热成像仪处理所述面部信息，得到面部热红外数 据；
S205、基于预训练的神经网络处理所述肢体行为数据，得到肢体 关键点数据；
S206、基于预训练的神经网络处理所述面部信息，得到待检测者 眼睛的注视角度和相对位置，经线性变换后获取眼睛凝视热力图，得 到格式大小为224*224的数据。
优选的，在S203中，包括以下步骤：
S2031、基于预训练的神经网络处理所述面部信息，得到面部关键 点的位置；
S2032、规范面部关键点的坐标位置和大小，得到格式为81维的 数据；
S2033、加入时间信息，转换为时序矩阵，得到格式大小为[81， 224]的数据；基于线性插值法处理数据，得到格式大小为[224，224]的 面部关键点数据。
优选的，在S3中，包括以下步骤：
S301、基于预训练的深度神经网络处理生理数据和语音数据，得 到维度为512的特征向量；
S302、基于预训练的深度神经网络处理面部关键点数据、面部热 红外数据和眼睛凝视热力图，得到维度为512的特征向量；
S303、基于预训练的全连接网络处理肢体关键点数据，得到维度 为128的特征向量；
S304、将所有特征向量合并输入到一个[3200，6]的全连接层，得 到心理状态数据。
优选的，所述检测方法还包括：
S7、当检测到待检测者为心理异常状态时，对待检测者进行针对 性心理情绪干预。
优选的，在S7中，所述针对性心理情绪干预包括：
统计待检测者观看预先设定的视频前后的心理情绪和对应的视频 类型，确定待检测者的心理情绪变化结果；基于所述心理情绪变化结 果对视频类型进行评分；选择评分最高的视频类型中的相应视频给待 检测者观看。
本发明解决其技术问题所提供的一种基于多通道协同的心理异常 检测系统，所述检测系统包括计算机，所述计算机包括：
至少一个存储单元；
至少一个处理单元；
其中，所述至少一个存储单元中存储有至少一条指令，所述至少 一条指令由所述至少一个处理单元加载并执行以实现以下步骤：
S1、获取待检测者的主观反馈数据和客观反应数据，所述客观反 应数据包括：生理数据和行为数据；
S2、对所述客观反应数据进行处理，达到预设的目标格式；
S3、基于所述主观反馈数据和处理后的客观反应数据，得到待检 测者的心理状态数据，所述心理状态数据包括：待检测人群的总心理 状态数据和每个待检测者多日的历史心理状态数据；
S4、基于所述待检测人群的总心理状态数据获取多元高斯概率分 布，得到第一概率；基于所述每个待检测者多日的历史心理状态数据 获取多元高斯概率分布，得到第二概率；
S5、基于所述第一概率获取待检测者在人群中的心理异常程度； 基于所述第二概率获取待检测者的个人历史心理异常程度；
S6、基于所述待检测者在人群中的心理异常程度和所述个人历史 心理异常程度确定待检测者是否为心理异常状态。
(三)有益效果
本发明提供了一种基于多通道协同的心理异常检测方法和系统。 与现有技术相比，具备以下有益效果：
本发明通过获取待检测者的主观反馈数据和客观反应数据，其中， 客观反应数据包括生理数据和行为数据；对客观反应数据进行处理， 达到预设的目标格式；基于主观反馈数据和处理后的客观反应数据， 得到待检测者的心理状态数据，其中，心理状态数据包括：待检测人 群的总心理状态数据和每个待检测者多日的历史心理状态数据；基于 心理状态数据分别获取多元高斯概率分布，得到两个概率；基于两个 概率分别获取待检测者在人群中的心理异常程度和个人历史心理异常 程度；基于待检测者在人群中的心理异常程度和个人历史心理异常程 度确定待检测者是否为心理异常状态。本发明结合待检测者的接触式 生理特征和非接触式的行为特征，从多个数据通道上对被检测对象进 行心理异常检测，具有很高的准确率且得到理论知识的支持。同时从 人群和自身历史数据两个方面进行检测，减少了误报的可能性，使得 检测结果更加准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面 将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而 易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域 普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些 附图获得其他的附图。
图1为本发明实施例提供的基于多通道协同的心理异常检测方法 的整体流程图；
图2为本发明实施例中被检测个体的面部关键点的位置图；
图3为本发明实施例中被检测个体的肢体动作的一帧图像。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明 实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例 是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施 例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有 其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种基于多通道协同的心理异常检测方法 和系统，解决了现有技术无法准确检测心理异常的技术问题，实现对 人们是否为心理异常状态的准确检测。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
本发明实施例通过获取待检测者的主观反馈数据和客观反应数据， 其中，客观反应数据包括生理数据和行为数据；对客观反应数据进行 处理，达到预设的目标格式；基于主观反馈数据和处理后的客观反应 数据，得到待检测者的心理状态数据，其中，心理状态数据包括：待 检测人群的总心理状态数据和每个待检测者多日的历史心理状态数据； 基于预先构建的多元高斯分布模型分别处理心理状态数据，得到两个 概率；基于两个概率分别获取待检测者在人群中的心理异常程度和个 人历史心理异常程度；基于待检测者在人群中的心理异常程度和个人 历史心理异常程度确定待检测者是否为心理异常状态。本发明实施例 结合待检测者的接触式生理特征和非接触式的行为特征，从多个数据 通道上对被检测对象进行心理异常检测，具有很高的准确率且得到理 论知识的支持。同时从人群和自身历史数据两个方面进行检测，减少 了误报的可能性，使得检测结果更加准确。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体 的实施方式对上述技术方案进行详细的说明。
本发明实施例提供了一种基于多通道协同的心理异常检测方法， 该方法由计算机执行，如图1所示，包括以下步骤：
S1、获取待检测者的主观反馈数据和客观反应数据，上述客观反 应数据包括：生理数据和行为数据；
S2、对上述客观反应数据进行处理，达到预设的目标格式；
S3、基于上述主观反馈数据和处理后的客观反应数据，得到待检 测者的心理状态数据，上述心理状态数据包括：待检测人群的总心理 状态数据和每个待检测者多日的历史心理状态数据；
S4、基于上述待检测人群的总心理状态数据获取多元高斯概率分 布，得到第一概率；基于上述每个待检测者多日的历史心理状态数据 获取多元高斯概率分布，得到第二概率；
S5、基于上述第一概率获取待检测者在人群中的心理异常程度； 基于上述第二概率获取待检测者的个人历史心理异常程度；
S6、基于上述待检测者在人群中的心理异常程度和上述个人历史 心理异常程度确定待检测者是否为心理异常状态。
本发明实施例通过获取待检测者的主观反馈数据和客观反应数据， 其中，客观反应数据包括生理数据和行为数据；对客观反应数据进行 处理，达到预设的目标格式；基于主观反馈数据和处理后的客观反应 数据，得到待检测者的心理状态数据，其中，心理状态数据包括：待 检测人群的总心理状态数据和每个待检测者多日的历史心理状态数据； 基于预先构建的多元高斯分布模型分别处理心理状态数据，得到两个 概率；基于两个概率分别获取待检测者在人群中的心理异常程度和个 人历史心理异常程度；基于待检测者在人群中的心理异常程度和个人 历史心理异常程度确定待检测者是否为心理异常状态。本发明实施例 结合待检测者的接触式生理特征和非接触式的行为特征，从多个数据 通道上对被检测对象进行心理异常检测，具有很高的准确率且得到理 论知识的支持。同时从人群和自身历史数据两个方面进行检测，减少 了误报的可能性，使得检测结果更加准确。
下面对各步骤进行具体分析。
在步骤S1中，获取待检测者的主观反馈数据和客观反应数据。
待检测者的主观反馈数据包括：待检测者主观反馈的心理情绪和 待检测者填写的心理状态量表。客观反应数据包括：生理数据和行为 数据。其中，生理数据为接触式数据，包括：血氧浓度，皮肤电阻和 脉搏的生理信号。行为数据为非接触式数据，包括：肢体行为数据、 语音数据和面部信息。面部信息包括面部视频数据。
在本发明实施例中，采集数据所使用的设备包括：
普通高清摄像头两个，一个被布置在正对被检测个体脸部的正前 方，用于采集被检测个体的面部可见光信息。另一个则被布置在远离 被检测个体的位置，要求摄像头可以正确采集到被检测个体的整个身 体的正面部分，用于采集被检测人的肢体行为数据。
红外热成像仪，用于采集被检测个体的面部热红外数据。
接触式传感器，包括血氧传感器、皮肤电阻传感器和脉搏传感器， 可以为指夹式也可以为其他形式，用于采集生理信号血氧浓度、皮肤 电阻和脉搏。
具体的，数据获取方法如下：
S101、待检测者朗读预先设定的文本，并获取肢体行为数据、语 音数据和面部信息。
其中，预先设定的文本内容与所在环境有关。例如：在学校等场 景，则文本可以设置为凿壁偷光、闻鸡起舞的故事。内容的设置需满 足以下要求：内容简洁易懂，并能引起被检测个体的共鸣，既可以是 积极的共鸣，也可以是消极的。
S102、待检测者主观反馈的心理情绪。
此处给出的复杂情绪为以下六种：紧张、愤怒、疲劳、抑郁、活 力和慌乱，这六种复杂情绪难以具体描述，因此进行粗略量化，每一 种情绪被量化到五种程度，以抑郁为例，由弱到强依次为：无抑郁感、 有点抑郁、比较抑郁、很抑郁和极度抑郁。待检测者根据自身情况， 依次进行主观选择反馈。
S103、待检测者观看预先设定的视频，并获取面部信息。
具体的，视频的主题包括：纪实、励志、娱乐、文化、搞笑和潮 音六种。待检测者选择视频主题后，观看一段与选择主题相符的视频， 每一段视频长度为3分钟。
S104、待检测者填写的心理状态量表。
POMS问卷是心理状态量表(Profile of Mood States)，在心理学被 广泛用来评估人的心理状况，通常使用的标准POMS量表包含65个问 题，在本发明实施例中，考虑到问卷填写的时间和POMS问卷中问题 之间的相关性，在大的问题选择结果样本和实际心理状态样本中，经 过结果统计分析，对问题以相关度为标准进行了排序，选取了与其它 问题相关程度最低的20个问题，既保证了结果的可靠，同时又减少了 做题的数量。
S105、待检测者基于预先设定的主题进行叙述，并获取肢体行为 数据、语音数据和面部信息。
本发明实施例在具体实施时，在检测待检测者的行为数据的同时， 也一并检测待检测者的生理数据，用于后续的步骤。
在步骤S2中，对上述客观反应数据进行处理，达到预设的目标格 式。具体的，包括以下步骤：
S201、对上述生理数据进行快速傅立叶变换，并给定窗口尺寸和 窗口步移尺寸，得到格式大小为224*224的数据。
具体的，以接触式皮肤电阻传感器为例，采样频率为200Hz，使 用快速傅立叶变换，给定窗口(单次快速傅立叶变换的时间区域)尺 寸和窗口步移尺寸，得到在每个窗口内不同频率分量的强度，以采集 时间ts，窗口尺寸ms，步移尺寸ns为例(s均为时间单位秒)，每一个 窗口得到数据共200维，分别表示0～200Hz的数据分量的强度，一共 得到(t-m)//n+1(//表示除并取整数部分)帧窗口数据，则皮电数据得到的 数据的大小为[200，(t-m)//n+1]。血氧数据和脉搏数据由于采集频率相 同，数据形式相同，因此处理过程相同，均得到[200，(t-m)//n+1]大小 的数据，使用线性插值变换将其转换为224*224大小的数据。
S202、对上述语音数据提取其梅尔频谱图，对数据进行中心裁剪 或补充，得到格式大小为[224，1792]的数据。
具体的，语音数据采样频率为44100Hz，使用固定窗口大小和固 定步长的快速傅立叶变化，经过非线性转换，提取其梅尔频谱图，将 频率量化到224的范围，根据音频长度的不同，对数据进行中心裁剪 或补充，得到大小为[224，1792]的数组。
S203、基于预训练的神经网络处理所述面部信息，得到面部关键 点数据。具体的，包括以下步骤：
S2031、基于预训练的神经网络处理上述面部信息，得到面部关键 点的位置。
具体的，通过预先训练的神经网络，可以从所采集到的面部视频 数据总的每一帧面部图像中，得到面部68个关键点在图像中的位置， 具体68个关键点的位置及序号如图2所示。
S2032、规范面部关键点的坐标位置和大小，得到格式为81维的 数据。
具体的，为了避免各面部器官的大小形状和形状所带来的影响， 将面部区域分割为7个部分，分别为以下点集组成：1～27，组成面部 外轮廓，37～42，组成左眼轮廓，43～48，组成右眼轮廓，49～60， 组成嘴巴轮廓，61～68，组成口部轮廓，49～55加上61～65，组成上 嘴唇轮廓，49、55～60、61加上65～68组成下嘴唇轮廓。每一组点集 均围成一个封闭区域。
再进行归一化处理，每一帧面部图像的关键点信息被处理为81维 的数据。
S2033、加入时间信息，转换为时序矩阵，得到格式大小为[81， 224]的数据；基于线性插值法处理数据，得到格式大小为[224，224]的 面部关键点数据。
具体的，由于视频采集设备等的影响，采集到的视频数据难以完 全对齐，但由于视频相邻图像的高度关联性，根据后续处理的需要， 对于数据不到224帧的面部视频数据，使用线性插值的方式，将数据 填充为[81，224]的大小，对于数据量大于224帧的数据，由于视频图 像之间的高度关联性，我们按照等间隔抽取的原则，从其中抽取224 帧数据，同样得到大小为[81，224]的数据。最后在数据维度上使用线 性插值法，最终得到的数据大小为[224，224]。
S204、基于红外热成像仪处理所述面部信息，得到面部热红外数 据。
具体的，本发明实施例使用的红外热成像仪数据采集精度为0.1 摄氏度，且采集频率大于200Hz，在装配设备时，已经经过预先调试， 使得普通的光学摄像头和红外热成像仪所采集的数据对齐，使得系统 可以通过普通光学摄像头所采集的图像，准确定位到红外热成像仪所 采集图像所对应的位置。
使用预训练的神经网络，确定所采集的面部视频中的两块区域， 一块是额头正中间的区域，另一块是鼻隆区域，每一帧会得到两个数 据，分别是这两块区域的温度，单位为摄氏度。
S205、基于预训练的神经网络处理所述肢体行为数据，得到肢体 关键点数据。
具体的，使用预先训练好的神经网络，我们可以从被检测个体的 正面身体部分提取肢体关键点信息，对于一帧图像，如图3所示。
除去头部，身体部分一共可以提取14个关键点，并且除去1-8和 1-11两段线段，一共得到0-1、1-2、1-5、2-3、3-4、5-6、6-7、8-9、 9-10、11-12、12-13共11个线段，用来表示身体的11个部分的姿势， 每一帧的图像，都得到一个11维的数据，每一维的数据表示的某段肢 体的角度，范围从-1～1，是将弧度-π～π的值除以π后的结果。对于十 一维的数据，使用支持向量机(Support Vector Machine，SVM)，将其分 类为预先定义好的一组共16个姿态，包括直立、耸肩、叉腰等，部分 姿态可以重叠出现，于是得到的姿态数据可以为：(1，0，0，0，1，0， 1，0，1，0，0，0，0，0，0，0)，表示这一帧图像中的被检测个体存 在着姿态1、姿态5、姿态7和姿态9。
因此对于每一个包含被检测个体的正面身体的视频，通过提取每 一帧的身体关键点位置、计算得到11个身体部分的角度信息，输入预 先得到的支持向量机，一帧图像数据最后得到该帧图像中被检测个体 的姿态情况。对于视频中所有帧的姿态情况进行统计，得到被检测个 体在录制视频期间的姿态分布，即每种姿态出现的概率。
S206、基于预训练的神经网络处理所述面部信息，得到待检测者 眼睛的注视角度和相对位置，经线性变换后获取眼睛凝视热力图，得 到格式大小为224*224的数据。
具体的，使用预先训练的神经网络，输入被检测个体的面部视频 可以得到被检测个体眼睛的注视角度，和被检测人眼睛与摄像头的相 对位置，经过线性变换后可以得到被检测个体眼睛注视摄像头平面的 投影点，统计每一帧的投影点得到一张眼睛注视区域的热力图，大小 为224*224。
在步骤S3中，基于上述主观反馈数据和处理后的客观反应数据， 得到待检测者的心理状态数据，上述心理状态数据包括待检测人群的 总心理状态数据和每个待检测者多日的历史心理状态数据。
本发明实施例以主观反馈数据为训练标签，以处理后的客观反应 数据为输入数据，输入到预先训练的深度神经网络和全连接网络中进 行处理。
具体的，包括以下步骤：
S301、基于预训练的深度神经网络处理生理数据和语音数据，具 体的，利用深度神经网络进行前向传播，得到维度为512的特征向量。
在本发明实施例中，使用了密集连接的深度卷积网络，并在训练 过程中使用基于ROI的网络裁剪技术，得到预训练的深度神经网络。
S302、基于预训练的深度神经网络处理面部关键点数据、面部热 红外数据和眼睛凝视热力图，具体的，利用深度神经网络进行前向传 播，得到维度为512的特征向量。
S303、基于预训练的全连接网络处理肢体关键点数据，得到维度 为128的特征向量。
S304、将所有特征向量(共2688维特征向量)合并输入到一个[3200， 6]的全连接层，经过量化后得到6维取值范围为[0，0.25，0.5，0.75， 1]，得到心理状态数据。
具体的，心理状态数据为六元组的形式。本发明实施例在具体实 施时，基于步骤S3分别获取了待检测人群的总心理状态数据和每个待 检测者多日的历史心理状态数据。
在步骤S4中，基于上述待检测人群的总心理状态数据获取多元高 斯概率分布，得到第一概率；基于上述每个待检测者多日的历史心理 状态数据获取多元高斯概率分布，得到第二概率。
具体的，对于人群中异常个体的检测，我们得到了m个六元组， m为被监测群体的总人数。利用m个六元组获取多元高斯概率分布， 对于概率分布中的每一个点，都可以计算出其出现概率，则对于监测 的所有个体，我们都可以获得一个其复杂心理情绪符合人群表现的程 度，作为其心理异常检测的重要指标。考虑到不同人的性格特点导致 情绪的不同，不能仅依靠该结果判断其异常，还要结合每一个检测对 象自身的特点。
需要说明的是，对于人群中异常个体的检测，输入的数据为：测 试当天的所有待检测者数据。
对于被检测个体多日的历史性检测，得到一个六元组(n，6)，n 代表该被检测对象记录天数，同前述的方法，利用六元组(n，6)获 取多元高斯概率分布，针对当天的数据，可得到一个概率值，表示该 检测对象相对于自身，复杂情绪与自身历史数据的符合度。
需要说明的是，对于被检测个体多日的历史性检测来说，输入的 数据为：待检测者当天的数据加当天之前的所有历史数据。
在步骤S5中，基于上述第一概率获取待检测者在人群中的心理异 常程度；基于上述第二概率获取待检测者的个人历史心理异常程度。
其中，求得的概率值分别表示待检测者和人群表现的符合度，以 及与自身历史数据表现的符合度。
异常程度用异常值量化表示，具体的：
异常值＝1-概率值
如果概率值低，则异常值高。
在本发明实施例中，若异常值高于0.2，则判定当前异常程度为较 高状态。
在步骤S6中，基于上述待检测者在人群中的心理异常程度和上述 个人历史心理异常程度确定待检测者是否为心理异常状态。
具体的，心理异常状态检测方法如下：
对于待检测者个人历史心理异常程度：
Figure BDA0002157700540000171
其中：
t表示当前时间(单位为天)，T表示多元高斯概率分布构建时间；
Figure BDA0002157700540000181
表示异常值，k1表示调节异常更新速率。
具体的，在本发明实施例中，可以令T＝10。
当前时间t小于等于T时，自身异常的输出值为0。
当前时间为多元高斯概率分布建立后第一天，即t＝T+1时，计算 得到异常值
Figure BDA0002157700540000182
即相对于历史记录的当天数据的异常程度，将E自身 初始化为
Figure BDA0002157700540000183
同时加入当天数据更新多元高斯概率分布。
当前时间为建立模型第二天及以后，即t＞T+1时，更新
Figure BDA0002157700540000184
k1控制了E自身的更新速率，同时加入当天数据更新多元高斯概率分布。
对于待检测者在人群中的心理异常程度：
Figure BDA0002157700540000185
其中：
t表示当前时间，T表示多元高斯概率分布构建时间；
Figure BDA0002157700540000186
表示异常值，k2表示调节异常更新速率。
具体的，当前时间为第一天时，即t＝1时，获取多元高斯概率分布， 得到异常值
Figure BDA0002157700540000187
即相对于群体的当天数据的异常程度，将E群体初始化 为
Figure BDA0002157700540000188
当前时间为第二天及以后，即t＞1时，更新
Figure BDA0002157700540000189
Figure BDA00021577005400001810
k2控制了E群体的更新速率。
其中，k值调节异常更新速率，k值越大更新越快，对于某日的异 常更加敏感，适合检测突发异常。k值越小更新越慢，适合长期异常检 测。
对于上述的异常输出值
Figure BDA0002157700540000191
和
Figure BDA0002157700540000192
基于给定的阈值判定是否为 心理异常状态。
具体的，判定方法为：
首先设定一个阈值x。具体的，阈值的设定与实际需求相关，在实 际应用时可根据需求适当调节，在本发明实施例中，可以设定为0.1。
根据两个异常输出值分别求得待检测者在人群中的异常等级和待 检测者在个人历史上的异常等级。
具体的，异常等级判定方法如下表所示：
异常输出值 异常等级
0～x 0
x～2x 1
2x～3x 2
3x+ 3
当异常输出值在0～x范围内时，即
Figure BDA0002157700540000193
时，异常等 级为0。
当异常输出值在x～2x范围内时，即
Figure BDA0002157700540000194
时，异常 等级为1。
当异常输出值在2x～3x范围内时，即
Figure BDA0002157700540000195
时，异 常等级为2。
当异常输出值在3x～1范围内时，即
Figure BDA0002157700540000196
时，异常 等级为3。
基于上述判定方法分别求得
Figure BDA0002157700540000201
和
Figure BDA0002157700540000202
两个异常输出值对应的 异常等级。将两个异常等级相加，得到待检测者的心理异常等级。
具体的，包括0～6共7个等级。
当待检测者的心理异常等级大于等于3级时，判定为待检测者为 心理异常状态。此时可以对待检测者进行心理干预等手段治疗。
本发明实施例还包括步骤S7：当检测到待检测者为心理异常状态 时，对待检测者进行针对性心理情绪干预。
上述针对性心理情绪干预包括：统计待检测者观看预先设定的视 频前后的心理情绪和对应的视频类型，确定待检测者的心理情绪变化 结果；基于所述心理情绪变化结果对视频类型进行评分；选择评分最 高的视频类型中的相应视频给待检测者观看。
在本发明实施例中，步骤S7具体为：
检索被检测个体的历史数据库，检索内容包括被检测个体每次观 看视频前后的复杂心理情绪的结果以及观看视频的类型，由于复杂心 理情绪一共有6个值，且其程度由好到坏，进行线性量化后，每一项 得分从0～1，0表示最差，1表示最后，最后将每次观看视频前后的结 果量化成两个六维数据，观看视频前的结果表示为Pbefore＝(V1b，V2b， V3b，V4b，V5b，V6b)，观看视频后的结果表示为Pafter＝(V1a，V2a，V3a， V4a，V5a，V6a)，则各情绪分量的变化结果用△P＝Pafter-Pbefore＝(△P1，△P2， △P3，△P4，△P5，△P6)，并计算全局的情绪变化结果△P全＝ △P1+△P2+△P3+△P4+△P5+△P6。
结合历史数据和当前数据，对各个视频类型进行评分，最后选择 得分高的视频类型，视频类型评分策略如下：
最开始，每个视频类型的初始分数为0，然后比较匹配当前得到的 和历史记录记录的接触式传感器数据、眼睛注视区域、身体姿态以及 面部记录，得到最接近当前心理状态的历史记录，对该记录所对应的 视频类型，给予加分，其值等于a*△P全，a为大于0小于1的权重因 子，因此对于有利于改善心理状况的视频类型给予加分，而不利的视 频类型给予减分。
针对当前得到的观看视频前后的复杂心理情绪值，包括Pbefore、Pafter和△P，对于当前自主选择的视频类型，给予加分，其值等于b*△P，b 也为大于0小于1的权重因子。计算Pnow＝Pbefore+Pafter，根据历史△P， 得到对于六种复杂心理情绪，观看后改善最大的视频类型，每一个减 去c*Pnowi，b也为大于0小于1的权重因子。
最后选择得分最大的视频类型作为情绪干预方法的最终选择结果， 并播放一段该类型的视频给被检测个体观看。实现对其心理异常情绪 的干预。
本发明实施例还提供了一种基于多通道协同的心理异常检测系统， 上述系统包括计算机，上述计算机包括：
至少一个存储单元；
至少一个处理单元；
其中，上述至少一个存储单元中存储有至少一条指令，上述至少 一条指令由上述至少一个处理单元加载并执行以实现以下步骤：
S1、获取待检测者的主观反馈数据和客观反应数据，上述客观反 应数据包括：生理数据和行为数据；
S2、对上述客观反应数据进行处理，达到预设的目标格式；
S3、基于上述主观反馈数据和处理后的客观反应数据，得到待检 测者的心理状态数据，上述心理状态数据包括：待检测人群的总心理 状态数据和每个待检测者多日的历史心理状态数据；
S4、基于上述待检测人群的总心理状态数据获取多元高斯概率分 布，得到第一概率；基于上述每个待检测者多日的历史心理状态数据 获取多元高斯概率分布，得到第二概率；
S5、基于上述第一概率获取待检测者在人群中的心理异常程度； 基于上述第二概率获取待检测者的个人历史心理异常程度；
S6、基于上述待检测者在人群中的心理异常程度和上述个人历史 心理异常程度确定待检测者是否为心理异常状态。
可理解的是，本发明实施例提供的上述检测系统与上述检测方法 相对应，其有关内容的解释、举例、有益效果等部分可以参考基于多 通道协同的心理异常检测方法中的相应内容，此处不再赘述。
综上所述，与现有技术相比，具备以下有益效果：
1.本发明实施例通过获取待检测者的主观反馈数据和客观反应数 据，其中，客观反应数据包括生理数据和行为数据；对客观反应数据 进行处理，达到预设的目标格式；基于主观反馈数据和处理后的客观 反应数据，得到待检测者的心理状态数据，其中，心理状态数据包括： 待检测人群的总心理状态数据和每个待检测者多日的历史心理状态数 据；基于预先构建的多元高斯分布模型分别处理心理状态数据，得到 两个概率；基于两个概率分别获取待检测者在人群中的心理异常程度 和个人历史心理异常程度；基于待检测者在人群中的心理异常程度和 个人历史心理异常程度确定待检测者是否为心理异常状态。本发明实 施例结合待检测者的接触式生理特征和非接触式的行为特征，从多个 数据通道上对被检测对象进行心理异常检测，具有很高的准确率且得 到理论知识的支持。同时从人群和自身历史数据两个方面进行检测， 减少了误报的可能性，使得检测结果更加准确。
2.本发明实施例通过分析过去的模型数据，对出现心理异常的对 象提供针对性的心理干预方案，可以有效地解决心理异常者的心理异 常状况。
需要说明的是，通过以上的实施方式的描述，本领域的技术人员 可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方 式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术 做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品 可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等， 包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器， 或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。 在此处所提供的说明书中，说明了大量具体细节。然而，能够理解， 本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书 的理解。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实 体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这 些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包 括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使 得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素， 而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方 法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句 “包括一个……”限定的要素，并不排除在包括所述要素的过程、方 法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管 参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员 应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不 使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于多通道协同的心理异常检测系统，其特征在于，所述检测系统包括计算机，所述计算机包括：
至少一个存储单元；
至少一个处理单元；
其中，所述至少一个存储单元中存储有至少一条指令，所述至少一条指令由所述至少一个处理单元加载并执行以实现以下步骤：
S1、获取待检测者的主观反馈数据和客观反应数据，所述客观反应数据包括：生理数据和行为数据；
S2、对所述客观反应数据进行处理，达到预设的目标格式；
S3、基于所述主观反馈数据和处理后的客观反应数据，得到待检测者的心理状态数据，所述心理状态数据包括：待检测人群的总心理状态数据和每个待检测者多日的历史心理状态数据；
S4、基于所述待检测人群的总心理状态数据获取多元高斯概率分布，得到第一概率；基于所述每个待检测者多日的历史心理状态数据获取多元高斯概率分布，得到第二概率；
S5、基于所述第一概率获取待检测者在人群中的心理异常程度；基于所述第二概率获取待检测者的个人历史心理异常程度；
S6、基于所述待检测者在人群中的心理异常程度和所述个人历史心理异常程度确定待检测者是否为心理异常状态。
2.如权利要求1所述的检测系统，其特征在于，在S1中，所述主观反馈数据包括：待检测者主观反馈的心理情绪和待检测者填写的心理状态量表，所述心理情绪包括：紧张、愤怒、疲劳、抑郁、活力和慌乱。
3.如权利要求2所述的检测系统，其特征在于，在S1中，所述行为数据的获取方法为：
待检测者朗读预先设定的文本，并获取肢体行为数据、语音数据和面部信息；
待检测者观看预先设定的视频，并获取面部信息；
待检测者基于预先设定的主题进行叙述，并获取肢体行为数据、语音数据和面部信息；
所述生理数据包括：待检测者的血氧浓度，皮肤电阻和脉搏。
4.如权利要求3所述的检测系统，其特征在于，在S2中，包括以下步骤：
S201、对所述生理数据进行快速傅立叶变换，并给定窗口尺寸和窗口步移尺寸，得到格式大小为224*224的数据；
S202、对所述语音数据提取其梅尔频谱图，对数据进行中心裁剪或补充，得到格式大小为[224，1792]的数据；
S203、基于预训练的神经网络处理所述面部信息，得到面部关键点数据；
S204、基于红外热成像仪处理所述面部信息，得到面部热红外数据；
S205、基于预训练的神经网络处理所述肢体行为数据，得到肢体关键点数据；
S206、基于预训练的神经网络处理所述面部信息，得到待检测者眼睛的注视角度和相对位置，经线性变换后获取眼睛凝视热力图，得到格式大小为224*224的数据。
5.如权利要求4所述的检测系统，其特征在于，在S203中，包括以下步骤：
S2031、基于预训练的神经网络处理所述面部信息，得到面部关键点的位置；
S2032、规范面部关键点的坐标位置和大小，得到格式为81维的数据；
S2033、加入时间信息，转换为时序矩阵，得到格式大小为[81，224]的数据；基于线性插值法处理数据，得到格式大小为[224，224]的面部关键点数据。
6.如权利要求5所述的检测系统，其特征在于，在S3中，包括以下步骤：
S301、基于预训练的深度神经网络处理生理数据和语音数据，得到维度为512的特征向量；
S302、基于预训练的深度神经网络处理面部关键点数据、面部热红外数据和眼睛凝视热力图，得到维度为512的特征向量；
S303、基于预训练的全连接网络处理肢体关键点数据，得到维度为128的特征向量；
S304、将所有特征向量合并输入到一个[3200，6]的全连接层，得到心理状态数据。
7.如权利要求6所述的检测系统，其特征在于，还包括：
S7、当检测到待检测者为心理异常状态时，对待检测者进行针对性心理情绪干预。
8.如权利要求7所述的检测系统，其特征在于，在S7中，所述针对性心理情绪干预包括：
统计待检测者观看预先设定的视频前后的心理情绪和对应的视频类型，确定待检测者的心理情绪变化结果；基于所述心理情绪变化结果对视频类型进行评分；选择评分最高的视频类型中的相应视频给待检测者观看。
CN201910722471.6A 2019-08-06 2019-08-06 基于多通道协同的心理异常检测方法和系统 Active CN110464367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910722471.6A CN110464367B (zh) 2019-08-06 2019-08-06 基于多通道协同的心理异常检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910722471.6A CN110464367B (zh) 2019-08-06 2019-08-06 基于多通道协同的心理异常检测方法和系统

Publications (2)

Publication Number Publication Date
CN110464367A CN110464367A (zh) 2019-11-19
CN110464367B true CN110464367B (zh) 2021-11-23

Family

ID=68511593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910722471.6A Active CN110464367B (zh) 2019-08-06 2019-08-06 基于多通道协同的心理异常检测方法和系统

Country Status (1)

Country Link
CN (1) CN110464367B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10979465B2 (en) 2019-08-23 2021-04-13 Mitel Networks (International) Limited Cloud-based communication system for monitoring and facilitating collaboration sessions
CN111599472B (zh) * 2020-05-14 2023-10-24 重庆大学 用于学生心理状态识别的方法及装置、计算机
US11703617B2 (en) 2020-11-20 2023-07-18 Icrx, Inc. Dog bone shaped cylindrical tunable fluidic lens with minimized defocus
CN113822184A (zh) * 2021-09-08 2021-12-21 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于表情识别的无感情绪异常检测方法
CN114822143B (zh) * 2022-06-29 2022-09-02 深圳前海壹路科技有限公司 军事训练智能考核管理系统和方法
CN115331822B (zh) * 2022-10-11 2023-04-11 南京从景生物技术有限公司 一种基于微信小程序的客户健康资料收集管理系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008148798A (ja) * 2006-12-15 2008-07-03 Univ Of Tokushima 心理検査結果のデータ処理方法、その表示方法及びデータ処理プログラム並びにコンピュータ読み取り可能な記録媒体
CN101500485A (zh) * 2006-03-14 2009-08-05 球动力公司 用于心理评估的系统和方法
CN104636751A (zh) * 2014-12-11 2015-05-20 广东工业大学 基于时间递归神经网络的人群异常检测和定位系统及方法
CN104856704A (zh) * 2015-03-31 2015-08-26 鲍崇智 主客观相结合的心理测评方法及系统
CN105559803A (zh) * 2015-12-17 2016-05-11 国家电网公司 一种电网企业工作人员心理压力状况评估方法
CN109009169A (zh) * 2018-06-22 2018-12-18 军事科学院军事医学研究院环境医学与作业医学研究所 一种群体心理测试评估系统
CN109620264A (zh) * 2018-12-18 2019-04-16 徐建辉 一种快速心理评估及同步心理干预的系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105147248B (zh) * 2015-07-30 2019-02-05 华南理工大学 基于生理信息的抑郁症评估系统及其评估方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101500485A (zh) * 2006-03-14 2009-08-05 球动力公司 用于心理评估的系统和方法
JP2008148798A (ja) * 2006-12-15 2008-07-03 Univ Of Tokushima 心理検査結果のデータ処理方法、その表示方法及びデータ処理プログラム並びにコンピュータ読み取り可能な記録媒体
CN104636751A (zh) * 2014-12-11 2015-05-20 广东工业大学 基于时间递归神经网络的人群异常检测和定位系统及方法
CN104856704A (zh) * 2015-03-31 2015-08-26 鲍崇智 主客观相结合的心理测评方法及系统
CN105559803A (zh) * 2015-12-17 2016-05-11 国家电网公司 一种电网企业工作人员心理压力状况评估方法
CN109009169A (zh) * 2018-06-22 2018-12-18 军事科学院军事医学研究院环境医学与作业医学研究所 一种群体心理测试评估系统
CN109620264A (zh) * 2018-12-18 2019-04-16 徐建辉 一种快速心理评估及同步心理干预的系统

Also Published As

Publication number Publication date
CN110464367A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN110464367B (zh) 基于多通道协同的心理异常检测方法和系统
De Melo et al. A deep multiscale spatiotemporal network for assessing depression from facial dynamics
Yang et al. Deep multimodal representation learning from temporal data
Zhu et al. Automated depression diagnosis based on deep networks to encode facial appearance and dynamics
Harati et al. Depression severity classification from speech emotion
Al Osman et al. Multimodal affect recognition: Current approaches and challenges
Elbattah et al. Nlp-based approach to detect autism spectrum disorder in saccadic eye movement
Dadiz et al. Detecting depression in videos using uniformed local binary pattern on facial features
Celiktutan et al. Continuous prediction of perceived traits and social dimensions in space and time
Sun et al. Personality assessment based on multimodal attention network learning with category-based mean square error
CN111259759A (zh) 基于域选择迁移回归的跨数据库微表情识别方法及装置
CN117883082A (zh) 一种异常情绪识别方法、系统、设备及介质
S'adan et al. Deep learning techniques for depression assessment
Beriwal et al. Techniques for suicidal ideation prediction: a qualitative systematic review
Prabhudesai et al. Depression detection and analysis using deep learning: study and comparative analysis
Bishay et al. Can automatic facial expression analysis be used for treatment outcome estimation in schizophrenia?
CN115690528A (zh) 跨主体场景的脑电信号美学评估处理方法、装置、介质及终端
Guo et al. Deep neural networks for depression recognition based on facial expressions caused by stimulus tasks
CN113069115B (zh) 一种情绪识别方法、电子设备及存储介质
Nayak et al. Estimation of depression anxieties and stress through clustering of sequences of visual and thermal face images
CN109697413B (zh) 基于头部姿态的人格分析方法、系统和存储介质
KR20220158957A (ko) 시선추적과 실시간 표정분석을 이용한 개인성향 예측 시스템 및 그 방법
Choi et al. Depression Diagnosis Algorithm Based on 2-stream CNN Using Facial Image
Ong et al. Classification of video shots based on human affect
Yaacoub et al. Diagnosing Clinical Manifestation of Apathy Using Machine Learning and Micro-facial Expressions Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant