CN115429272A - 基于多模态生理信号的心理健康状态评估方法及系统 - Google Patents
基于多模态生理信号的心理健康状态评估方法及系统 Download PDFInfo
- Publication number
- CN115429272A CN115429272A CN202211127908.XA CN202211127908A CN115429272A CN 115429272 A CN115429272 A CN 115429272A CN 202211127908 A CN202211127908 A CN 202211127908A CN 115429272 A CN115429272 A CN 115429272A
- Authority
- CN
- China
- Prior art keywords
- emotion
- mental health
- health state
- physiological signals
- modal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000009323 psychological health Effects 0.000 title abstract description 17
- 230000008451 emotion Effects 0.000 claims abstract description 149
- 230000004630 mental health Effects 0.000 claims abstract description 114
- 230000008859 change Effects 0.000 claims abstract description 86
- 238000013145 classification model Methods 0.000 claims abstract description 33
- 230000002159 abnormal effect Effects 0.000 claims abstract description 27
- 230000006698 induction Effects 0.000 claims abstract description 22
- 230000008909 emotion recognition Effects 0.000 claims abstract description 19
- 238000011156 evaluation Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000002996 emotional effect Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000003745 diagnosis Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 201000010099 disease Diseases 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000003565 oculomotor Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 239000002131 composite material Substances 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000001939 inductive effect Effects 0.000 description 8
- 230000000638 stimulation Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 208000020016 psychiatric disease Diseases 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010026749 Mania Diseases 0.000 description 1
- 206010040007 Sense of oppression Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 208000013404 behavioral symptom Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000750 endocrine system Anatomy 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/33—Heart-related electrical modalities, e.g. electrocardiography [ECG] specially adapted for cooperation with other devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Cardiology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于多模态生理信号的心理健康状态评估方法及系统，该方法包括：采集被测人员在不同情绪诱发方式、相同情绪诱发范式下的多模态生理信号；利用相应模态的情绪识别模型，获取多条基于时间维度的情绪变化曲线，将多条情绪变化曲线拟合为一条拟合情绪变化曲线；基于不同模态的生理信号和拟合情绪变化曲线，分别利用相应模态的心理健康状态分类模型和综合心理健康状态分类模型，获取被测人员心理健康状态异常的多个初始概率和综合概率，进而计算得到最终概率，根据最终概率评估被测人员的心理健康状态。本发明利用多模态的生理信号综合评估被测人员的心理健康状态，提高心理健康状态评估的客观性和准确性。
Description
技术领域
本发明涉及心理健康状态评估技术领域，尤其涉及一种基于多模态生理信号的心理健康状态评估方法及系统。
背景技术
当前，心理健康问题已经成为了导致个体“失能(disability)”的首要原因，心理健康问题的存在不仅会造成社会资源的巨大消耗与浪费，加剧了整个社会的负担，而且也直接威胁到个体的日常生活质量和主观幸福感。通常，提供心理健康服务的第一步就是对个体进行“心理健康状态评估”。心理健康状态评估涉及到针对个体的特异性行为症状进行收集、分析、综合、判断，具体可采用“访谈”、“问卷测验”、“投射测验”等多种技术手段实现。其中，近些年来“问卷测验”因其在工具编制、施测操作、结果解释等方面所具有的结构性和客观性获得了相对更广泛的应用。现阶段的“问卷测验”通常基于心理量表评估实现，该心理评定量表用于判断被测人员某方面心理问题障碍的存在与否，用量表评估心理健康状态时，首先，需要个体根据自身情况与项目内容的契合度填写量表；其次，评定员根据量表手册提供的评分方法计算得出评分；最后，评定员根据测评结果，提出结论，并对其意义进行解释，以文字或口头形式报告给个体。
上述心理健康状态评估方案存在收集到的数据准确度受到被测人员主观因素影响的问题，导致最终评估不准确。而考虑到个体生理信号携带着丰富的情感信息，其状态的变化能够真实的体现人类的情绪状态，并且生理信号由人体的神经系统和内分泌系统的调控，主观意识难以直接控制生理信号，如存在心理健康问题(如抑郁、焦虑、躁狂)的个体，往往会伴随着认知偏差以及认知控制力障碍，当观看一幅风景画时，心理健康状态良好(即不存在心理健康问题)的人感觉到的是宁静放松，但心理健康状态异常(即存在心理健康问题)的人往往会感觉到压抑和恐慌，其情绪可通过生理信号体现出来，因此，现有技术中，常基于生理信号来分析被测人员的情绪状态，进而评估被测人员的心理健康状态。
然而，现有的基于生理信号的心理健康状态评估方法虽然具备一定的客观性，但是，其受生理信号采集质量的影响，当信号采集质量较差时，将极大的影响心理健康状态评估的准确性。也就是说，现有的心理健康状态评估方法的评估准确性较低且鲁棒性较差。
发明内容
为解决上述现有技术的不足，本发明提供了一种基于多模态生理信号的心理健康状态评估方法及系统，利用多模态的生理信号综合评估被测人员的心理健康状态，避免因某个模态信号采集质量较差而导致整体评估结果的偏离，利用多模态生理信号相辅相成，互相不足各自短板，提高心理健康状态评估的客观性和准确性；同时，利用不同情绪诱发方式、相同情绪诱发范式来诱发被测人员的情绪，并将由被测人员当前情绪所伴随引发的一系列生理反应作为判断依据，通过这种情绪诱发手段来提高评估算法的鲁棒性。
第一方面，本公开提供了一种基于多模态生理信号的心理健康状态评估方法，所述方法不用于疾病的诊断；所述方法包括以下步骤：
采集被测人员在不同情绪诱发方式、相同情绪诱发范式下的多模态生理信号；
基于不同模态的生理信号，利用相应模态的情绪识别模型，获取多条基于时间维度的情绪变化曲线，将多条情绪变化曲线拟合为一条拟合情绪变化曲线；
基于不同模态的生理信号和拟合情绪变化曲线，分别利用相应模态的心理健康状态分类模型和综合心理健康状态分类模型，获取被测人员心理健康状态异常的多个初始概率和综合概率；基于上述多个初始概率和综合概率，计算得到最终概率，根据最终概率评估被测人员的心理健康状态。
进一步的技术方案，所述多模态生理信号包括脑电信号、心电信号、眼动信号、肌电信号、皮肤电信号、微表情信号。
进一步的技术方案，还包括：在获取多模态生理信号后，对获取的多模态生理信号进行预处理，所述预处理包括：对电信号模态的生理信号进行滤波降噪、去除基线漂移处理，对图像模态的生理信号进行滤波、几何变换、图像增强。
进一步的技术方案，所述情绪识别模型的训练过程为：
获取不同模态的生理信号，利用时间滑动窗口的方式，提取每一时间尺度内生理信号的特征，并标注每一时间尺度内生理信号所对应的情绪类型；
以多个标注情绪类型的生理信号特征为训练样本，训练得到情绪识别模型。
进一步的技术方案，在将多条情绪变化曲线拟合为一条拟合情绪变化曲线之前还包括：将获取的各模态的基于时间维度的情绪变化曲线进行时间对齐，统一基于不同模态绘制出情绪变化曲线的时间维度。
进一步的技术方案，所述心理健康状态分类模型包括特征提取神经网络和分类器，其训练过程包括：
获取不同模态的生理信号，基于特征提取神经网络提取生理信号的特征，并标注每一生理信号的类型是否为心理健康状态异常；
以多个标注心理健康状态异常的生理信号特征为正样本，以多个标注心理健康状态良好的生理信号特征为负样本，训练得到心理健康状态分类模型。
进一步的技术方案，所述综合心理健康状态分类模型的训练过程包括：
获取拟合情绪变化曲线，通过特征提取神经网络提取该拟合情绪变化曲线的特征，并标注该情绪变化曲线是否为心理健康状态异常；
以多个标注心理健康状态异常的情绪变化曲线的特征为正样本，以多个标注心理健康状态良好的情绪变化曲线的特征为负样本，训练得到综合心理健康状态分类模型。
进一步的技术方案，基于上述多个初始概率和综合概率，计算得到最终概率，具体为：
基于获取的不同模态的生理信号，利用时间滑动窗口的方式，获取每一时间尺度内不同模态生理信号的置信度，构成多个第一置信度矩阵；
基于获取的拟合情绪变化曲线，以同样的时间尺度进行窗口滑动，获取每个时间节点的情绪的置信度，得到第二置信度矩阵；
基于置信度矩阵计算得到均值置信度，根据均值置信度计算得到权重，对多个初始概率和综合概率进行加权求和，得到最终概率。
第二方面，本公开提供了一种基于多模态生理信号的心理健康状态评估系统，包括：
生理信号采集模块，用于采集被测人员在不同情绪诱发方式、相同情绪诱发范式下的多模态生理信号；
情绪变化曲线获取模块，用于基于不同模态的生理信号，利用相应模态的情绪识别模型，获取多条基于时间维度的情绪变化曲线，将多条情绪变化曲线拟合为一条拟合情绪变化曲线；
心理健康状态评估模块，用于基于不同模态的生理信号和拟合情绪变化曲线，分别利用相应模态的心理健康状态分类模型和综合心理健康状态分类模型，获取被测人员心理健康状态异常的多个初始概率和综合概率；基于上述多个初始概率和综合概率，计算得到最终概率，根据最终概率评估被测人员的心理健康状态。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
以上一个或多个技术方案存在以下有益效果：
1、本发明提供了一种新的心理健康状态评估方法，被测人员通过事先设定好的情绪诱导范式进行情绪诱导，再结合多模特生理信号采集，利用心理健康状态评估系统得出心理健康状态异常的概率，利用这种方式可以增强被测人员各项生理信号的情绪表达，进而使机器学习模型能够更有效的学习到更多的情绪特征以提高最终评估的精度，同时也能显著提高整体方法的鲁棒性，可适用于更大范围的人群。
2、本发明提供了一种基于多模态生理信号的心理健康状态评估方法及系统，利用多模态的生理信号综合评估被测人员的心理健康状态，避免因某个模态信号采集质量较差而导致的整体评估结果的偏离，利用多模态生理信号相辅相成，互相不足各自短板，提高心理健康状态评估的客观性和准确性。
3、本发明所述方法及系统进行心理健康状态评估具有高效、快速、准确的特点，被测人员佩戴一至多个传感器，通过不同情绪诱发方式，如观看一系列的情绪诱发素材，即可实现对被测人员心理健康状态的准确评估，且由于评估结果都是从生理信号中分析得来的，因此，评估不会受“社会赞许效应”的影响，评估结果具备客观性。
4、本发明能够用于大规模的心理健康异常人群的初步筛查，基于筛查结果再建议进行相应的心理疾病的诊断，能够降低心理咨询师的需求量，缓解心理咨询师缺口巨大的问题，该评估结果也能够后续医生进行心理疾病的诊断提供数据支持。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例一所述基于多模态生理信号的心理健康状态评估方法的整体流程图；
图2为本发明实施例一中计算得到最终概率的流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种基于多模态生理信号的心理健康状态评估方法，所述方法不用于疾病的诊断；所述方法如图1所示，包括以下步骤：
S1、采集被测人员在不同情绪诱发方式、相同情绪诱发范式下的多模态生理信号；
S2、基于不同模态的生理信号，利用相应模态的情绪识别模型，获取多条基于时间维度的情绪变化曲线，将多条情绪变化曲线拟合为一条拟合情绪变化曲线；
S3、基于不同模态的生理信号和拟合情绪变化曲线，分别利用相应模态的心理健康状态分类模型和综合心理健康状态分类模型，获取被测人员心理健康状态异常的多个初始概率和综合概率；基于上述多个初始概率和综合概率，计算得到最终概率，根据最终概率评估被测人员的心理健康状态。
在本实施例中，步骤S1中，所采用的情绪诱发方式包括但不限于音乐刺激法、图片刺激法、文字刺激法、多感官刺激法等情绪诱发方式。以图片刺激法为例，观看一幅风景画，心理健康状态良好的人感觉到平静放松，而心理健康状态异常的人感觉到压抑和恐慌，且难以主动有效的控制并平复自身的情绪。这些情绪均能够反映在被测人员的生理信号中。
上述情绪诱发范式是指通过利用特定的某些具体内容，对被测人员进行情绪诱发时所使用的固定流程以及规范。以图片刺激法的情绪诱发范式为例，每个被测人员均需要观看20张带有各种情绪的图片，每张图片让被测人员观看3秒，图片之间会有1秒间隔，不同被测者所观看的图片、图片顺序、图片停留时间以及间隔时间都必须相同，这就是图片刺激法的情绪诱发范式。
在本实施例中，采集被测人员在不同情绪诱发方式、相同情绪诱发范式下的多模态生理信号，所述多模态生理信号包括但不限于脑电信号、心电信号、眼动信号、肌电信号、皮肤电信号、微表情信号等生理信号。不同模态的生理信号利用相对应的采集设备进行采集，作为一种实施方式，生理信号的获取方式，包括：通过设置在被测人员头部的脑电测试电极采集的脑电信号；通过设置在被测人员手腕和脚踝的电极采集的心电信号；通过设置在被测人员手指上的电导率传感器采集的皮肤电信号；通过设置在被测人员前臂上的电极采集的肌电信号；通过设置在被测人员眼部的电机采集的眼动信号。此外，还包括：通过摄像头采集被测人员在情绪诱发下的面部微表情图像，以此作为微表情信号。
进一步的，本实施例还包括对获取的多模态生理信号进行预处理。针对不同模态的生理信号分别单独进行信号预处理，如脑电信号、心电信号、眼动信号、肌电信号、皮肤电信号等接触式设备采集的电信号往往会出现基线漂移、工频干扰、伪迹、噪声等情况，因此，对这些信号进行滤波降噪、去除基线漂移等；而如微表情信号等图像模态的面部信号，对图像进行滤波、几何变换、图像增强等，消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性、最大限度地简化数据，从而改进特征提取和识别的可靠性。
在完成对不同模态的生理信号的预处理后，基于该生理信号，通过各自模态对应的机器学习算法直接得出评估结果，利用这些直接得到的评估结果，结合基于情绪波动变化的评估结果进行综合评估，得出最终的心理健康状态评估结果。
具体的，基于不同模态的生理信号，利用相应模态的情绪识别模型，获取多条基于时间维度的情绪变化曲线，将多条情绪变化曲线拟合为一条拟合情绪变化曲线。
步骤S2中，首先，针对不同的波形生理信号，利用时间滑动窗口的方式分析生理信号并绘制出相应的情绪变化曲线；针对不同的图像信号，如微表情信号，采用相同时间尺度的滑动窗口，对每一时间尺度内的图像信号进行综合判断，绘制出相应的情绪变换曲线。所述情绪可以为正、负向情绪这一大方向的粗粒度分类，或者也可以为细粒度的情绪分类，包括：愤怒、清醒、受控、友好、平静、支配、压抑、恐慌、痛苦、感兴趣、谦卑、兴奋、拘谨等。
在本实施例中，基于生理信号，利用情绪识别模型，将该生理信号转换为基于时间维度的情绪变换曲线。具体的，该情绪识别模型包括特征提取神经网络和分类器，该模型的训练过程为：获取不同模态的生理信号，利用时间滑动窗口的方式，提取每一时间尺度内生理信号的特征，并标注每一时间尺度内生理信号所对应的情绪类型；然后，以多个标注情绪类型的生理信号特征为训练样本进行训练，训练得到情绪识别模型。
作为另一种实施方式，针对不同的波形生理信号，根据不同诱发情绪节点的前后一秒或几秒钟的生理信号，分析情绪并形成情绪变化曲线；针对不同的图像信号，如微表情信号，识别每一帧图像信号的情绪，以此绘制得到情绪变化曲线。
需要明确的是，本实施例并不局限于上述情绪变化曲线绘制方式，也可以采用其他机器学习算法实现情绪变化曲线的绘制。
在此基础上，将获取的各模态的基于时间维度的情绪变化曲线进行时间对齐，统一基于不同模态绘制出情绪变化曲线的时间维度，以便于后续的综合分析处理。在对齐之后，将多条情绪变化曲线拟合为一条情绪变化曲线，即拟合情绪变化曲线。
具体的，对基于不同模态的生理信号获取的多条情绪变化曲线进行曲线拟合，得到拟合情绪变化曲线，实现将基于各模态生理信号绘制出的情绪变化曲线都考虑进去，并形成最终最贴合真实情况的情绪变化曲线。在本实施例中，进行曲线拟合所采用的拟合方法包括但不限于主成分分析降维拟合、二维平面多线拟合、可信多模态拟合等方法。
作为另一种实施方式，将多模态生理信号融合，基于融合后的生理信号共同判断情绪，以此绘制出情绪变化曲线，即拟合情绪变化曲线。
步骤S3中，在上述得到情绪变化曲线的同时，基于获取的多模态生理信号，利用相应模态的心理健康状态分类模型，获取多个被测人员存在心理健康状态异常的初始概率。上述心理健康状态分类模型包括特征提取神经网络和分类器，其训练过程包括：获取不同模态的生理信号，基于特征提取神经网络提取生理信号的特征，并标注每一生理信号的类型是否为心理健康状态异常；以多个标注心理健康状态异常的生理信号特征为正样本，以多个标注心理健康状态良好的生理信号特征为负样本，训练得到心理健康状态分类模型。
上述心理健康状态分类模型中的分类器为二分类器，该分类器的最后一层为softmax层或sigmoid层，输出存在心理健康问题的权重，以该权重作为概率，如输出权重为0.612，即表示有61.2％的概率为心理健康状态异常，39.8％的概率为心理健康状态良好，以此评估被测人员的心理健康状态。
基于拟合得到的拟合情绪变化曲线，利用综合心理健康状态分类模型，获取被测人员存在心理健康问题的综合概率。该综合心理健康状态分类模型与上述针对各模型生理信号的心理健康状态分类模型相似，其区别仅在于训练过程中所采用的训练样本集不同。
该综合心理健康状态分类模型的训练过程包括：获取拟合情绪变化曲线，通过特征提取神经网络提取该拟合情绪变化曲线的特征，并标注该情绪变化曲线是否为心理健康状态异常；以多个标注心理健康状态异常的情绪变化曲线的特征为正样本，以多个标注心理健康状态良好的情绪变化曲线的特征为负样本，训练得到综合心理健康状态分类模型。
上述拟合情绪变化曲线是指基于多模态生理信号相应情绪变化曲线拟合得到的情绪变化曲线，该拟合情绪变化曲线能够表示被测人员最真实的情绪状况。基于上述综合心理健康状态分类模型，输出被测人员心理健康状态异常的综合概率(即综合权重)，该综合概率综合考虑了多种不同模态生理信号的特征，具备一定的准确性和可靠性。
最后，基于获取的被测人员心理健康状态异常的多个初始概率和综合概率，计算得到最终概率，根据最终概率评估被测人员的心理健康状态。
上述最终概率的计算步骤如图2所示，包括：
S3.1、基于获取的不同模态的生理信号，利用时间滑动窗口的方式，获取每一时间尺度内不同模态生理信号的置信度，构成多个第一置信度矩阵；
S3.2、基于获取的拟合情绪变化曲线，以同样的时间尺度进行窗口滑动，获取每个时间节点的情绪的置信度，得到第二置信度矩阵；
S3.3、基于置信度矩阵计算得到均值置信度，根据均值置信度计算得到权重，对多个初始概率和综合概率进行加权求和，得到最终概率。
上述步骤S3.1中，在利用多模态生理信号直接预测心理健康状态异常概率时，基于获取的不同模态的生理信号，利用滑动窗口将整个生理信号进行切分，获取每一时间尺度内不同模态生理信号的噪声置信度。在本实施例中，该时间尺度与上述步骤S2中的时间滑动窗口的时间尺度相同。
上述噪声置信度是指判断每个时间窗口中的生理信号是否为噪声的概率，需要说明的是，此处的判断也是利用机器学习算法实现的：按时间窗口的大小裁切出生理信号片段，利用ICA(独立成分分析)结合人工判别的方式标注每一生理信号片段是否为噪声片段，训练噪声识别模型。将获取的不同模态的生理信号输入该训练完成的噪声识别模型，该噪声识别模型按时间顺序输出生理信号的噪声置信度。噪声置信度越高，该时间窗口的生理信号置信度就越低，在本实施例中，用1减去噪声置信度来表示生理信号置信度。根据所有滑动窗口的生理信号置信度得到第一置信度矩阵。
步骤S3.2中，在利用情绪变化相关信息预测存在心理健康状态异常的概率时，基于获取的拟合情绪变化曲线，以步骤S3.1中同样的时间尺度进行窗口滑动，获取每个时间窗口中时间节点的情绪置信度。
实际上，此处的情绪置信度在上述通过情绪识别模型输出情绪构建情绪变换曲线时即可得到，利用情绪识别模型进行情绪识别时，其输出的情绪(即“正性情绪”)为置信度最高的情绪。例如，情绪识别模型为三分类模型，最终输出“正性、中性、负性”三种情绪类型，该模型每次输出的均是一个一维三元素的数组[0.72,0.13,0.34]，在这个数组中0.72是最大值，即对应“正性”情绪，其相对应的0.72则是该情绪的置信度。进一步的，考虑到本实施例中拟合情绪变化曲线是通过多条情绪变化曲线拟合得到的，因此，将多条情绪变化曲线在某一时间窗口的情绪置信度进行归一化，再将该归一化的情绪置信度之和作为该拟合情绪变化曲线在该时间窗口的最终情绪置信度。
根据所有滑动窗口的情绪置信度得到第二置信度矩阵，利用该置信度矩阵综合评估情绪拟合的整体可信度。
步骤S3.3中，针对不同模态生理信号对应的第一置信度矩阵，通过取均值，得到第一置信度矩阵对应的均值置信度，即得到不同生理信号对应的均值置信度；针对拟合情绪变化曲线的第二置信度矩阵，通过取均值，得到第二置信度矩阵对应的均值置信度，即得到拟合情绪变化曲线对应的均值置信度。根据所获取的多个均值置信度，计算权重，基于该权重，对多个初始概率和综合概率进行加权求和，得到最终概率。根据该最终概率评估被测人员的心理健康状态。
上述权重反映了多模态生理信号以及情绪信号的总体置信度，有时多模态数据采集时往往会出现某一个模态数据质量差的情况，通过计算出不同的权重值，可以尽量降低质量较差的信号对最终结果的干扰。通过上述方案计算得到最终概率，保证基于该概率进行评估的准确性和鲁棒性。
实施例二
本实施例提供了一种基于多模态生理信号的心理健康状态评估系统，包括：
生理信号采集模块，用于采集被测人员在不同情绪诱发方式、相同情绪诱发范式下的多模态生理信号；
情绪变化曲线获取模块，用于基于不同模态的生理信号，利用相应模态的情绪识别模型，获取多条基于时间维度的情绪变化曲线，将多条情绪变化曲线拟合为一条拟合情绪变化曲线；
心理健康状态评估模块，用于基于不同模态的生理信号和拟合情绪变化曲线，分别利用相应模态的心理健康状态分类模型和综合心理健康状态分类模型，获取被测人员心理健康状态异常的多个初始概率和综合概率；基于上述多个初始概率和综合概率，计算得到最终概率，根据最终概率评估被测人员的心理健康状态。
进一步的，还包括：生理信号预处理模块，用于对获取的多模态生理信号进行预处理。
实施例三
本实施例提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如上所述的基于多模态生理信号的心理健康状态评估方法中的步骤。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如上所述的基于多模态生理信号的心理健康状态评估方法中的步骤。
以上实施例二至四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于多模态生理信号的心理健康状态评估方法，所述方法不用于疾病的诊断，其特征是，包括：
采集被测人员在不同情绪诱发方式、相同情绪诱发范式下的多模态生理信号；
基于不同模态的生理信号，利用相应模态的情绪识别模型，获取多条基于时间维度的情绪变化曲线，将多条情绪变化曲线拟合为一条拟合情绪变化曲线；
基于不同模态的生理信号和拟合情绪变化曲线，分别利用相应模态的心理健康状态分类模型和综合心理健康状态分类模型，获取被测人员心理健康状态异常的多个初始概率和综合概率；基于上述多个初始概率和综合概率，计算得到最终概率，根据最终概率评估被测人员的心理健康状态。
2.如权利要求1所述的基于多模态生理信号的心理健康状态评估方法，其特征是，所述多模态生理信号包括脑电信号、心电信号、眼动信号、肌电信号、皮肤电信号、微表情信号。
3.如权利要求1所述的基于多模态生理信号的心理健康状态评估方法，其特征是，还包括：在获取多模态生理信号后，对获取的多模态生理信号进行预处理，所述预处理包括：对电信号模态的生理信号进行滤波降噪、去除基线漂移处理，对图像模态的生理信号进行滤波、几何变换、图像增强。
4.如权利要求1所述的基于多模态生理信号的心理健康状态评估方法，其特征是，所述情绪识别模型的训练过程为：
获取不同模态的生理信号，利用时间滑动窗口的方式，提取每一时间尺度内生理信号的特征，并标注每一时间尺度内生理信号所对应的情绪类型；
以多个标注情绪类型的生理信号特征为训练样本，训练得到情绪识别模型。
5.如权利要求1所述的基于多模态生理信号的心理健康状态评估方法，其特征是，所述心理健康状态分类模型包括特征提取神经网络和分类器，其训练过程包括：
获取不同模态的生理信号，基于特征提取神经网络提取生理信号的特征，并标注每一生理信号的类型是否为心理健康状态异常；
以多个标注心理健康状态异常的生理信号特征为正样本，以多个标注心理健康状态良好的生理信号特征为负样本，训练得到心理健康状态分类模型。
6.如权利要求1所述的基于多模态生理信号的心理健康状态评估方法，其特征是，所述综合心理健康状态分类模型的训练过程包括：
获取拟合情绪变化曲线，通过特征提取神经网络提取该拟合情绪变化曲线的特征，并标注该情绪变化曲线是否为心理健康状态异常；
以多个标注心理健康状态异常的情绪变化曲线的特征为正样本，以多个标注心理健康状态良好的情绪变化曲线的特征为负样本，训练得到综合心理健康状态分类模型。
7.如权利要求1所述的基于多模态生理信号的心理健康状态评估方法，其特征是，基于上述多个初始概率和综合概率，计算得到最终概率，具体为：
基于获取的不同模态的生理信号，利用时间滑动窗口的方式，获取每一时间尺度内不同模态生理信号的置信度，构成多个第一置信度矩阵；
基于获取的拟合情绪变化曲线，以同样的时间尺度进行窗口滑动，获取每个时间节点的情绪的置信度，得到第二置信度矩阵；
基于置信度矩阵计算得到均值置信度，根据均值置信度计算得到权重，对多个初始概率和综合概率进行加权求和，得到最终概率。
8.一种基于多模态生理信号的心理健康状态评估系统，其特征是，包括：
生理信号采集模块，用于采集被测人员在不同情绪诱发方式、相同情绪诱发范式下的多模态生理信号；
情绪变化曲线获取模块，用于基于不同模态的生理信号，利用相应模态的情绪识别模型，获取多条基于时间维度的情绪变化曲线，将多条情绪变化曲线拟合为一条拟合情绪变化曲线；
心理健康状态评估模块，用于基于不同模态的生理信号和拟合情绪变化曲线，分别利用相应模态的心理健康状态分类模型和综合心理健康状态分类模型，获取被测人员心理健康状态异常的多个初始概率和综合概率；基于上述多个初始概率和综合概率，计算得到最终概率，根据最终概率评估被测人员的心理健康状态。
9.一种电子设备，其特征是：包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-7中任一项所述的一种基于多模态生理信号的心理健康状态评估方法的步骤。
10.一种计算机可读存储介质，其特征是：用于存储计算机指令，所述计算机指令被处理器执行时，完成如权利要求1-7中任一项所述的一种基于多模态生理信号的心理健康状态评估方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211127908.XA CN115429272B (zh) | 2022-09-16 | 2022-09-16 | 基于多模态生理信号的心理健康状态评估方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211127908.XA CN115429272B (zh) | 2022-09-16 | 2022-09-16 | 基于多模态生理信号的心理健康状态评估方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115429272A true CN115429272A (zh) | 2022-12-06 |
| CN115429272B CN115429272B (zh) | 2024-04-30 |
Family
ID=84248866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211127908.XA Active CN115429272B (zh) | 2022-09-16 | 2022-09-16 | 基于多模态生理信号的心理健康状态评估方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115429272B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102498485A (zh) * | 2009-01-23 | 2012-06-13 | 利纳基金会 | 用于有表现力的语言、发育失调和情绪评估的系统和方法 |
| US20190239791A1 (en) * | 2018-02-05 | 2019-08-08 | Panasonic Intellectual Property Management Co., Ltd. | System and method to evaluate and predict mental condition |
| CN111436957A (zh) * | 2019-12-31 | 2020-07-24 | 秒针信息技术有限公司 | 一种心理状态信息处理方法及装置 |
| CN112083806A (zh) * | 2020-09-16 | 2020-12-15 | 华南理工大学 | 一种基于多模态识别的自学习情感交互方法 |
| CN112307975A (zh) * | 2020-10-30 | 2021-02-02 | 江西理工大学 | 融合语音与微表情的多模态情感识别方法及系统 |
| CN113197579A (zh) * | 2021-06-07 | 2021-08-03 | 山东大学 | 一种基于多模态信息融合的智能心理评估方法及系统 |
| CN113397546A (zh) * | 2021-06-24 | 2021-09-17 | 福州大学 | 基于机器学习和生理信号的情绪识别模型构建方法及系统 |
| CN114190943A (zh) * | 2021-12-22 | 2022-03-18 | 南通大学 | 一种基于ikap提高慢性肾病患者认知的方法及系统 |
| CN114305325A (zh) * | 2020-09-30 | 2022-04-12 | 华为云计算技术有限公司 | 一种情绪检测方法和装置 |
| CN114403877A (zh) * | 2022-01-21 | 2022-04-29 | 中山大学 | 基于二维连续模型的多生理信号情绪定量评估方法 |
| EP4047561A1 (en) * | 2021-02-20 | 2022-08-24 | Bayerische Motoren Werke Aktiengesellschaft | Method for recognizing an emotion of a driver, apparatus, device, medium and vehicle |
| US20220273907A1 (en) * | 2017-12-31 | 2022-09-01 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to enhance emotional response |
-
2022
- 2022-09-16 CN CN202211127908.XA patent/CN115429272B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102498485A (zh) * | 2009-01-23 | 2012-06-13 | 利纳基金会 | 用于有表现力的语言、发育失调和情绪评估的系统和方法 |
| US20220273907A1 (en) * | 2017-12-31 | 2022-09-01 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to enhance emotional response |
| US20190239791A1 (en) * | 2018-02-05 | 2019-08-08 | Panasonic Intellectual Property Management Co., Ltd. | System and method to evaluate and predict mental condition |
| CN111436957A (zh) * | 2019-12-31 | 2020-07-24 | 秒针信息技术有限公司 | 一种心理状态信息处理方法及装置 |
| CN112083806A (zh) * | 2020-09-16 | 2020-12-15 | 华南理工大学 | 一种基于多模态识别的自学习情感交互方法 |
| CN114305325A (zh) * | 2020-09-30 | 2022-04-12 | 华为云计算技术有限公司 | 一种情绪检测方法和装置 |
| CN112307975A (zh) * | 2020-10-30 | 2021-02-02 | 江西理工大学 | 融合语音与微表情的多模态情感识别方法及系统 |
| EP4047561A1 (en) * | 2021-02-20 | 2022-08-24 | Bayerische Motoren Werke Aktiengesellschaft | Method for recognizing an emotion of a driver, apparatus, device, medium and vehicle |
| CN113197579A (zh) * | 2021-06-07 | 2021-08-03 | 山东大学 | 一种基于多模态信息融合的智能心理评估方法及系统 |
| CN113397546A (zh) * | 2021-06-24 | 2021-09-17 | 福州大学 | 基于机器学习和生理信号的情绪识别模型构建方法及系统 |
| CN114190943A (zh) * | 2021-12-22 | 2022-03-18 | 南通大学 | 一种基于ikap提高慢性肾病患者认知的方法及系统 |
| CN114403877A (zh) * | 2022-01-21 | 2022-04-29 | 中山大学 | 基于二维连续模型的多生理信号情绪定量评估方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王春晨;文治洪;王航;余明;杨鹏程;杨琳;代静;曹新生;: "基于脑电信号的情绪状态识别算法研究", 医疗卫生装备, no. 02, 15 February 2020 (2020-02-15) * |
| 钟铭恩;吴平东;彭军强;洪汉池;: "基于脑电信号的驾驶员情绪状态识别研究", 中国安全科学学报, no. 09, 15 September 2011 (2011-09-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115429272B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Seal et al. | DeprNet: A deep convolution neural network framework for detecting depression using EEG | |
| CN110507335B (zh) | 基于多模态信息的服刑人员心理健康状态评估方法及系统 | |
| Cimtay et al. | Cross-subject multimodal emotion recognition based on hybrid fusion | |
| Ghaderyan et al. | A new algorithm for kinematic analysis of handwriting data; towards a reliable handwriting-based tool for early detection of alzheimer's disease | |
| CN109993068B (zh) | 一种基于心率和面部特征的非接触式的人类情感识别方法 | |
| Sonawane et al. | Review of automated emotion-based quantification of facial expression in Parkinson’s patients | |
| CN111920420B (zh) | 一种基于统计学习的患者行为多模态分析与预测系统 | |
| Akhundov et al. | Development of a deep neural network for automated electromyographic pattern classification | |
| Soni et al. | Graphical representation learning-based approach for automatic classification of electroencephalogram signals in depression | |
| CN114565957A (zh) | 基于微表情识别的意识评估方法及系统 | |
| CN113974627B (zh) | 一种基于脑机生成对抗的情绪识别方法 | |
| Mahmoud et al. | Occupational therapy assessment for upper limb rehabilitation: A multisensor-based approach | |
| Singh et al. | Prediction of pain intensity using multimedia data | |
| Zhuang et al. | Video-based facial weakness analysis | |
| CN117137488B (zh) | 基于脑电数据与面部表情影像的抑郁症病症辅助识别方法 | |
| Guarin et al. | Video-based facial movement analysis in the assessment of bulbar amyotrophic lateral sclerosis: clinical validation | |
| Bibbo’ et al. | Emotional Health Detection in HAR: New Approach Using Ensemble SNN | |
| CN116844080A (zh) | 疲劳程度多模态融合检测方法、电子设备及存储介质 | |
| CN116484290A (zh) | 一种基于Stacking集成的抑郁症识别模型构建方法 | |
| CN115429272B (zh) | 基于多模态生理信号的心理健康状态评估方法及系统 | |
| CN113974625B (zh) | 一种基于脑机跨模态迁移的情绪识别方法 | |
| Lu et al. | Image classification and auxiliary diagnosis system for hyperpigmented skin diseases based on deep learning | |
| Coelho | Speech as an Emotional Load Biomarker in Clinical Applications | |
| Mantri et al. | Cumulative video analysis based smart framework for detection of depression disorders | |
| Gamage et al. | Academic depression detection using behavioral aspects for Sri Lankan university students |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Hu Bin Inventor after: Chen Zhenxiang Inventor after: Wang Youmian Inventor after: Jiang Xiaoqing Inventor after: Li Kaiyun Inventor after: Liu Wenjuan Inventor after: Huang Helin Inventor after: Chen Jianzhang Inventor before: Chen Zhenxiang Inventor before: Hu Bin Inventor before: Wang Youmian Inventor before: Jiang Xiaoqing Inventor before: Li Kaiyun Inventor before: Liu Wenjuan Inventor before: Huang Helin Inventor before: Chen Jianzhang |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |