CN115299947A - 基于多模态生理数据的心理量表置信度评估方法及系统 - Google Patents
基于多模态生理数据的心理量表置信度评估方法及系统 Download PDFInfo
- Publication number
- CN115299947A CN115299947A CN202211084909.0A CN202211084909A CN115299947A CN 115299947 A CN115299947 A CN 115299947A CN 202211084909 A CN202211084909 A CN 202211084909A CN 115299947 A CN115299947 A CN 115299947A
- Authority
- CN
- China
- Prior art keywords
- data
- scale
- modal
- confidence
- physiological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000012360 testing method Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000003340 mental effect Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 230000004424 eye movement Effects 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 210000004556 brain Anatomy 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 claims 2
- 238000001035 drying Methods 0.000 claims 1
- 238000004321 preservation Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 43
- 238000011157 data evaluation Methods 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000004630 mental health Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003565 oculomotor Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 230000008433 psychological processes and functions Effects 0.000 description 1
- 238000000718 qrs complex Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000002820 sympathetic nervous system Anatomy 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/164—Lie detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Social Psychology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Cardiology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了基于多模态生理数据的心理量表置信度评估方法及系统，涉及生理数据评估技术领域，包括采集被试者在心理量表测试过程中单题目的多模态生理信号数据，并分别进行预处理；对单题目时刻生理信号按时间戳进行数据切片，标准为时间戳工具数据，完成各模态分段操作；对各模态分别训练预测模型获得单题目置信度，并在特征层和决策层分别设计策略进行融合，获得更准确地单题目置信度；将各量表单题目置信度和行为数据输入至概率密度模型进行量表置信度的预测；对于测试者来说，在部分量表的测评上缩短了时间，更是避免了测谎题在特殊情况下失效。
Description
技术领域
本发明涉及生理数据评估技术领域，具体涉及一种基于多模态生理数据的心理量表置信度评估方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
快速进步的社会对个体的心理健康产生了重大影响，从而对心理健康进行高效且精准的测评变得尤为重要。现阶段的传统心理测评大多采用心理量表评估的方法，但是被试存在因为社会赞许效应选择撒谎的可能，如何对测评结果进行客观性评价成为研究的重点。
为了降低被试撒谎在心理测评中的影响，解决社会赞许效应与心理量表评估存在的矛盾，心理专家研究并制定了测谎题机制，测谎题设计逻辑为在心理量表中加入一些人人都会犯的社会不赞许的行为题目，这类题目有基础答案，诚实的被试将选择自己做过的事情或者犯过的错误。
测谎题已经在量表中广泛应用，但是仍然存在一定的问题。首先，心理专业人员甚至熟悉量表的被试能根据测谎题设置机制进行撒谎，从而无法形成有效的心理测试。其次，设置测谎题增加了心理测试量表的题目数量，从而给被试增加测试负担。最后，大部分心理测试量表没有测谎题，导致心理从业人员无法得知测试该量表的置信度。
目前，现有的主要是为单一生理信息在其他场景下的应用，例如，通过监测单一心电数据在审讯中的过程中来检测撒谎，大多没有通过多模态生理信息来检测心理测评过程中撒谎行为的方法。
发明内容
本发明为了解决上述问题，提出了基于多模态生理数据的心理量表置信度评估方法及系统，利用多模态生理信号实现心理量表置信度评估，基于多模态生理信息的心理量表置信度框架，对于行为数据，用生理信号代替量表测谎题，使得测评结果更加客观准确。
根据一些实施例，本发明采用如下技术方案：
基于多模态生理数据的心理量表置信度评估方法，包括：
采集被试者在心理量表测试过程中单题目的多模态生理信号数据，并分别进行预处理；
对单题目时刻生理信号按时间戳进行数据切片，标准为时间戳工具数据，完成各模态分段操作；
对各模态分别训练预测模型获得单题目置信度，并在特征层和决策层分别设计策略进行融合，获得更准确地单题目置信度；
将各量表单题目置信度和行为数据输入至概率密度模型进行量表置信度的预测。
根据另一种实施例，本发明采用如下技术方案：
基于多模态生理数据的心理量表置信度评估系统，包括：
数据采集模块，用于采集被试者在心理量表测试过程中单题目的多模态生理信号数据，
数据处理模块，用于各模态分别进行预处理，对单题目时刻生理信号按时间戳进行数据切片，标准为时间戳工具数据，完成各模态分段操作；
数据融合模块，用于对各模态分别训练预测模型获得单题目置信度，并在特征层和决策层分别设计策略进行融合，获得更准确地单题目置信度；
预测模块，用于将各量表单题目置信度和行为数据输入至概率密度模型进行量表置信度的预测。
与现有技术相比，本发明的有益效果为：
1、本发明提供的方法，首先从准确率角度来看，心理量表置信度结果更准确，本发明基于多模态生理信号的心理量表置信度框架，相对于行为数据，用生理信号代替量表测谎题，可以克服被试主观意识占主导的问题，使得测评结果更加客观准确。能够为心理行业从业人员提供数据支持，起到良好的辅助作用。
2、其次在方法的适用性上来看，本发明适用心理量表范围更广，现阶段的心理量表仅极小部分含有测谎题，大多数量表为心理从业提供测评结果客观性评估，采用对量表测谎题社会中机制进行优化的方法，不仅针对某一量表的测谎机制进行研究，可实现对量表的全覆盖。
3、从方法的有效性方面考虑，有效避免心理专业人员逃避测谎机制，心理专业人员或者重复做同一量表的被试能够熟悉测谎题的设置机制，完成逃避测谎，采用的生理信号为个人身体的自主反应，大大降低了人为控制的可能性，避免了逃避测谎机制的情况。
4、从量表题目的简化上来看，本发明通过删除测谎题的方式有效缩短心理量表测评时间。在含有测谎题的心理量表中，占比最少的艾森克个性测验仍有23％，占比最多的明尼苏达多相人格测验(MMPI200)达到54％之多。可以明显看出，测谎题的加入增多了测试时间，使得被试因时间较长产生负面情绪的可能性增大。本方案完成对测谎题的代替，在使得心理测试结果更加准确客观的前提下，缩短测评时间，使测评更加合理。
5、总体来说，利用多模态生理信号实现心理量表置信度评估。对于测试者来说，在部分量表的测评上缩短了时间，更是避免了测谎题在特殊情况下失效；对于心理学从业人员，该方法获得的心理量表测评置信度结果更加客观和准确，并且在能够在全量表中起到辅助作用。该方法能克服心理量表测谎题的现有问题，为民众进行高效且精准的测评做出有效的贡献，帮助从业人员对心理疾病患者的早发现和早治疗，有效降低民众心理疾病患病率。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例中基于多模态生理数据的心理量表置信度评估方法流程示意图；
图2是本发明实施例中E-prime心理实验流程图；
图3是本发明实施例中Oddball实验范式的变化形式示意图；
图4是本发明实施例中数据采集示意图；
图5是本发明实施例中时间戳对齐及切片示意图；
图6是本公开实施例中多模态融合框架示意图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
术语解释
心理量表：心理量表是测量工具的一种。用于鉴别个体心理功能的高低。是一个具有参照点和单位的连续体。将被测量的事物置于连续体的适当位置，看它离开参照点多少单位，便得到一个测量值。
多模态信号：多种模拟状态，指的是各种不同传感器获取的模拟信号。本发明涉及的多模态信号主要指的是脑电信号、眼动信号、皮电信号、心电信号、微表情。
社会赞许效应：社会赞许效应，又称社会期许误差，是指人们为了令人产生正面印象，倾向在调查中以虚假情况或意愿取代真实情况或意愿，以符合社会期望。
实施例1
本发明的一种实施例中提供了一种基于多模态生理数据的心理量表置信度评估方法，如图1所示，具体的步骤为：
步骤1：采集被试者在心理量表测试过程中单题目的多模态生理信号数据，并分别进行预处理；
步骤2：对单题目时刻生理信号按时间戳进行数据切片，标准为时间戳工具数据，完成各模态分段操作；
步骤3：对各模态分别训练预测模型获得单题目置信度，并在特征层和决策层分别设计策略进行融合，获得更准确地单题目置信度；
步骤4：将各量表单题目置信度和行为数据输入至概率密度模型进行量表置信度的预测。
作为一种实施例，对心理量表测谎数据集的构建，现阶段无公开数据集满足要求，需要自行构建数据集，包括以下步骤：
S1：在个人身心健康系统上提前编写多模态接入框架；
具体的，不仅需要提前编写心理测评及其延伸功能，还需要编写各个模态的采集流程，保证生理数据的顺利采集；
开发多模态生理信号采集系统，将心理测评以及延伸功能集成同一系统内，脑电采集设备为Neuroscan脑电64导脑电采集系统，心电采集设备为蓝牙心电贴，眼动采集设备为tobii 4c眼动仪，皮电采集设备为uno开发板GSR皮肤传感器，微表情采集设备为摄像头。整个系统为统一时间戳，全部连接同一台电脑，并开发按键记录软件记录时间戳方便后续对齐，刺激呈现软件为E-prime。
S2：设计量表测试心理学实验
E-prime心理实验流程如图2所示，该程序使用专业工具E-prime的完成编写。实验量表主要包括艾森克人格量表、Marlowe-Crowne社会期望量表、Mmpi量表L因子、态度与意见调查中的期望性作答量表，共152题。在设计量表测试心理学实验时，设计Oddball实验范式的变化形式，选择隐藏信息测试方法，将量表题目分为标准刺激和偏差刺激，如图3所示。此外，为了更好的数据标注和对比，要求被试在完成实验后，被要求撒谎再做一遍量表题目。其中，数据标注策略采用心理量表测谎因子类别。
进一步的，作为一种实施例，量表置信度预测的过程具体包括：
S20：采集被试在心理量表测试过程中单题目的心电、脑电、眼动、皮电、微表情生理信号数据，对各模态数据分别预处理；
具体的，数据采集过程如图4所示。招募非心理学专业在校大学生30到50人，其中男女生比例保持平衡。在实验前不给予被试动机性指导语，收集过程严格按照要求执行，保持每位被试实验环境相同。
S21：单模态数据分别预处理，多模态数据尽管是同种信息的不同表现形式，但是其数据结构及其表现形式存在很大的差别，需要针对特点设计处理实验。
具体的，由于心电信号是一种心脏产生的生物电信号，具有微弱、低频、高阻抗等特性，极易受到外界的干扰，在分析量表测试环境后，需针对干扰应采取对应的滤除手段。预处理过程包括叠加平均法过滤基线漂移、带陷滤波器过滤频率干扰、巴特沃斯滤波器过滤肌电干扰，硬阈值和软阈值进行小波阈值去噪。
脑电信号是由脑神经活动产生并且始终存在于中枢神经系统的自发性电位活动，通常被研究人员认为更具客观参考价值。脑电采集设备复杂，但是干扰更少，基本来自设备本身而不是外界环境。整个预处理流程包括全脑平均做重参考、选择standard-10-5-cap385做通道位置信息标准、降采样、利用ICA删除无用数据、利用低通滤波和凹陷滤波去除磁场干扰、数据切段、基线校正、使用Spherical方法矫正坏道、剔除伪迹、移除掉坏段。
眼动信号是一种由于眼球运动引起的眼部周围电势变化的生物电信号。通过眼动可以较为精准地反映视觉信息的选择模式，对于揭示人的心理认知的加工机制具有深远意义。眼动信号在收集过程中受到的干扰最少，整个预处理流程主要包括数据平滑及去噪滤波、有效区域保留、眼跳识别。
皮电反应代表机体受到刺激时皮肤电传导的变化，可作为交感神经系统功能直接指标和脑唤醒间接指标。数据分析前只排除无信号类型数据，整个预处理流程包括时间窗、基线、反正最大值选择、数据矫正。
微表情是人脸面部的微弱运动，提供了在真实情感被故意掩盖和隐藏时揭示短暂而无意发生的真实情绪的能力。使用计算机视觉的方式，微表情识别已经有许多相关研究。整个预处理流程包括面部检测、面部校正、运动放大和时域归一化。
S23：再对各模态数据统一处理；
具体的，在单独模态数据处理后，将各模态数据提取同一处理部分再进行共同处理。首先，删除重复按键、异常按键，完成按键时间戳标准化。随后，单题目时生理信号为一个样本，需按时间戳进行数据切片，标准为时间戳工具数据，各模态数据对齐及切片如图5所示，完成各模态分段操作，其中脑电已完成分段不作处理。随后，对不同量表中的异常题目进行针对性处理，策略为取相似题目信号补充。随后，处理异常答题行为情况，将时间多长数据进行截取，将时间过短数据进行补0。最后，对各模态异常脱落数据进行标注，为更符合真实场景，不做补充处理。
S24：对各个模态数据分别训练模型
具体的，在完成预处理后，为了更好的应对实际环境和提升单模态的准确率，针对各模态分别训练分类器。因为心电信号和皮电信号为接触式信号，数据表现形式类似，并且在采集过程中相对稳定，所以对其进行特征层完成融合。由于信号数据周期性不强，非严格时间序列，时间序列预测技术发挥较差，所以本发明分类器以卷积神经网络为主，并使用多种分类器在不同情况下经过评估实验，最终心电和皮电模态采用卷积神经网络，脑电和眼动模态采用ResNet-18残差神经网络，微表情模态采用ResNet-50残差神经网络，后续组合特征伪视图采用SVM分类器。
S25：多模态数据融合。
具体的，在进行上一步多模态数据进行处理后，将获得每个模态的生理信号及其预测模型，心电和皮电在该框架中完成特征层融合。为了更好的应对实际场景下模态缺失和模态更换的情况，设计进行多模态融合时，主要使用决策层融合的方法，融合框架如图6所示。
(1)特征层融合
在考虑数据表现形式及特点，使用心电数据和皮电数据完成特征层融合。两种数据表现形式为一维信号数据，融合方式为特征拼接。
(2)伪模态生成
为了对各模态数据进行有效利用，在特征层对各模态生理信号进行特征融合生成伪模态。具体来说，心电数据特征提取主要为QRS波群、时频域分析、非线性分析等，皮电数据特征提取主要为时频域分析、非线性分析等，脑电数据特征提取主要为小波分析、EMD特征、时频域分析、相关系数分析等，眼动数据特征提取主要为时频域分析、非线性分析等，微表情数据特征提取主要为时空域分析、频域分析、光流特征等。各模态提取特征后完成特征拼接融合及高维映射，完成伪模态的最终生成。
(3)决策层融合
决策层融合主要融合心皮电模态、伪模态、脑电模态、眼动模态和微表情模态共5个模态。其融合流程共分为以下几个步骤：
1、首先将各模态分类器去掉softmax层，替换成非负输出的激活层。
2、对单模态使用类别概率分布使用狄利克雷分布来建模获取不确定度，不确定度反应预测可靠性。
3、对于单一模态，收集证据(自证可靠信息)越多，分配权重越高。证据总和越大，总体不确定度越小。利用DST证据融合方法处理冲突情况，自适应各样本各模态的质量变化，调整对应权重。处理完冲突后就完成了所有模态的融合部分，后续进行数据清洗及后续步骤。
S26：进行量表置信度预测
具体的，经过多模态数据融合后，使用量表题目置信度预测该量表最终置信度。本方法在题目置信度的基础上对特征进行扩充，添加其他题目置信度、测谎因子得分、题目得分、题目反应时等量表测评数据，随后使用概率密度模型进行量表置信度的预测。其中，数据标注策略采用心理量表测谎因子类别。
实施例2
本公开的一种实施例中提供了一种基于多模态生理数据的心理量表置信度评估系统，包括：
数据采集模块，用于采集被试者在心理量表测试过程中单题目的多模态生理信号数据，
数据处理模块，用于各模态分别进行预处理，对单题目时刻生理信号按时间戳进行数据切片，标准为时间戳工具数据，完成各模态分段操作；
数据融合模块，用于对各模态分别训练预测模型获得单题目置信度，并在特征层和决策层分别设计策略进行融合，获得更准确地单题目置信度；
预测模块，用于将各量表单题目置信度和行为数据输入至概率密度模型进行量表置信度的预测。
进一步的，所述单题目的多模态生理信号数据包括心电、脑电、眼动、皮电以及微表情生理信号数据。
上述实施例2具体可执行实施例中所述方法包括的任意的步骤。
本公开提供的方法具有有效的技术效果，首先从准确率角度来看，心理量表置信度结果更准确。本发明研究并设计的基于多模态生理信号的心理量表置信度框架，相对于行为数据，用生理信号代替量表测谎题，可以克服被试主观意识占主导的问题，使测评结果更加客观和准确。能为心理行业从业人员提供数据支持，起到良好的辅助作用。
其次在方法的适用性上来看，本发明适用心理量表范围更广。现阶段的心理量表仅极小部分含有测谎题，大多数量表为心理从业提供测评结果客观性评估。本方案采用对量表测谎题设置机制进行优化的方法，不仅针对某一量表的测谎机制进行研究，可实现对量表的全覆盖。
随后从方法的有效性方面考虑，本发明有效避免心理专业人员逃避测谎机制。心理专业人员或者重复做同一量表的被试能够熟悉测谎题的设置机制，完成逃避测谎。本方案采用的生理信号为个人身体的自主反应，大大降低了人为控制的可能性，避免了逃避测谎机制的情况。
最后从量表题目的简化上来看，本方法通过删除测谎题的方式有效缩短心理量表测评时间。在含有测谎题的心理量表中，占比最少的艾森克个性测验仍有23％，占比最多的明尼苏达多相人格测验(MMPI200)达到54％之多。可以明显看出，测谎题的加入增多了测试时间，使得被试因时间较长产生负面情绪的可能性增大。本方案完成对测谎题的代替，在使得心理测试结果更加准确客观的前提下，缩短测评时间，使测评更加合理。
总体来说，利用多模态生理信号实现心理量表置信度评估。对于测试者来说，在部分量表的测评上缩短了时间，更是避免了测谎题在特殊情况下失效；对于心理学从业人员，该方法获得的心理量表测评置信度结果更加客观和准确，并且在能够在全量表中起到辅助作用。该方法能克服心理量表测谎题的现有问题，为民众进行高效且精准的测评做出有效的贡献，帮助从业人员对心理疾病患者的早发现和早治疗，有效降低民众心理疾病患病率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.基于多模态生理数据的心理量表置信度评估方法，其特征在于，包括：
采集被试者在心理量表测试过程中单题目的多模态生理信号数据，并分别进行预处理；
对单题目时刻生理信号按时间戳进行数据切片，标准为时间戳工具数据，完成各模态分段操作；
对各模态分别训练预测模型获得单题目置信度，并在特征层和决策层分别设计策略进行融合，获得更准确地单题目置信度；
将各量表单题目置信度和行为数据输入至概率密度模型进行量表置信度的预测。
2.如权利要求1所述的基于多模态生理数据的心理量表置信度评估方法，其特征在于，所述单题目的多模态生理信号数据包括心电、脑电、眼动、皮电以及微表情生理信号数据。
3.如权利要求1所述的基于多模态生理数据的心理量表置信度评估方法，其特征在于，对心电数据进行预处理时采取滤除手段，包括叠加平均法过滤基线漂移、带陷滤波器过滤频率干扰、巴特沃滤波器过滤肌电干扰，以及硬阈值和软阈值进行小波阈值去噪。
4.如权利要求1所述的基于多模态生理数据的心理量表置信度评估方法，其特征在于，脑电信号的预处理包括全脑平均做重参考、做通道位置信息标准、降采样、删除无用数据、去除磁场干扰、数据切段、基线校正、矫正坏道、剔除伪迹、移除掉坏段。
5.如权利要求1所述的基于多模态生理数据的心理量表置信度评估方法，其特征在于，对眼动信号做数据平滑以及去燥滤波、有效区域保留、眼跳识别处理。
6.如权利要求1所述的基于多模态生理数据的心理量表置信度评估方法，其特征在于，在单模态数据进行分别预处理后，将各模态数据提取同一处理部分再进行共同处理，包括删除重复按键、异常按键完成按键时间戳标准化。
7.如权利要求1所述的基于多模态生理数据的心理量表置信度评估方法，其特征在于，对不同量表中的异常题目取相似题目信号补充，处理异常答题行为情况，将时间过长数据进行截取，将时间过短数据进行补0。
8.如权利要求1所述的基于多模态生理数据的心理量表置信度评估方法，其特征在于，针对不同的生理模态数据建立不同维度的卷积神经网络进行特征提取，提取各模态的时频域特征、小波分析特征、基于EMD的特征、相关系数特征。
9.基于多模态生理数据的心理量表置信度评估系统，其特征在于，包括：
数据采集模块，用于采集被试者在心理量表测试过程中单题目的多模态生理信号数据，
数据处理模块，用于各模态分别进行预处理，对单题目时刻生理信号按时间戳进行数据切片，标准为时间戳工具数据，完成各模态分段操作；
数据融合模块，用于对各模态分别训练预测模型获得单题目置信度，并在特征层和决策层分别设计策略进行融合，获得更准确地单题目置信度；
预测模块，用于将各量表单题目置信度和行为数据输入至概率密度模型进行量表置信度的预测。
10.如权利要求9所述的基于多模态生理数据的心理量表置信度评估系统，其特征在于，所述单题目的多模态生理信号数据包括心电、脑电、眼动、皮电以及微表情生理信号数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211084909.0A CN115299947A (zh) | 2022-09-06 | 2022-09-06 | 基于多模态生理数据的心理量表置信度评估方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211084909.0A CN115299947A (zh) | 2022-09-06 | 2022-09-06 | 基于多模态生理数据的心理量表置信度评估方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115299947A true CN115299947A (zh) | 2022-11-08 |
Family
ID=83866011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211084909.0A Pending CN115299947A (zh) | 2022-09-06 | 2022-09-06 | 基于多模态生理数据的心理量表置信度评估方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115299947A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116543283A (zh) * | 2023-07-05 | 2023-08-04 | 合肥工业大学 | 一种考虑模态不确定性的多模态目标检测方法 |
| CN117056863A (zh) * | 2023-10-10 | 2023-11-14 | 湖南承希科技有限公司 | 一种基于多模态数据融合的大数据处理方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104856704A (zh) * | 2015-03-31 | 2015-08-26 | 鲍崇智 | 主客观相结合的心理测评方法及系统 |
| CN107871537A (zh) * | 2017-11-22 | 2018-04-03 | 山东师范大学 | 一种基于多模态特征的抑郁倾向测评装置、系统 |
| CN110349667A (zh) * | 2019-07-05 | 2019-10-18 | 昆山杜克大学 | 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 |
| CN110969106A (zh) * | 2019-11-25 | 2020-04-07 | 东南大学 | 一种基于表情、语音和眼动特征的多模态测谎方法 |
| CN112750518A (zh) * | 2019-10-31 | 2021-05-04 | 长沙福莱达机电科技有限公司 | 一种基于心理行为特征识别的谈话（询问）方法 |
| CN113080969A (zh) * | 2021-03-29 | 2021-07-09 | 济南大学 | 基于多模态特征的测谎数据处理方法及系统 |
| US20220160296A1 (en) * | 2018-05-08 | 2022-05-26 | The Regents Of The University Of California | Pain assessment method and apparatus for patients unable to self-report pain |
-
2022
- 2022-09-06 CN CN202211084909.0A patent/CN115299947A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104856704A (zh) * | 2015-03-31 | 2015-08-26 | 鲍崇智 | 主客观相结合的心理测评方法及系统 |
| CN107871537A (zh) * | 2017-11-22 | 2018-04-03 | 山东师范大学 | 一种基于多模态特征的抑郁倾向测评装置、系统 |
| US20220160296A1 (en) * | 2018-05-08 | 2022-05-26 | The Regents Of The University Of California | Pain assessment method and apparatus for patients unable to self-report pain |
| CN110349667A (zh) * | 2019-07-05 | 2019-10-18 | 昆山杜克大学 | 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 |
| CN112750518A (zh) * | 2019-10-31 | 2021-05-04 | 长沙福莱达机电科技有限公司 | 一种基于心理行为特征识别的谈话（询问）方法 |
| CN110969106A (zh) * | 2019-11-25 | 2020-04-07 | 东南大学 | 一种基于表情、语音和眼动特征的多模态测谎方法 |
| CN113080969A (zh) * | 2021-03-29 | 2021-07-09 | 济南大学 | 基于多模态特征的测谎数据处理方法及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116543283A (zh) * | 2023-07-05 | 2023-08-04 | 合肥工业大学 | 一种考虑模态不确定性的多模态目标检测方法 |
| CN116543283B (zh) * | 2023-07-05 | 2023-09-15 | 合肥工业大学 | 一种考虑模态不确定性的多模态目标检测方法 |
| CN117056863A (zh) * | 2023-10-10 | 2023-11-14 | 湖南承希科技有限公司 | 一种基于多模态数据融合的大数据处理方法 |
| CN117056863B (zh) * | 2023-10-10 | 2023-12-26 | 湖南承希科技有限公司 | 一种基于多模态数据融合的大数据处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110507335B (zh) | 基于多模态信息的服刑人员心理健康状态评估方法及系统 | |
| Chaouachi et al. | Affect and mental engagement: Towards adaptability for intelligent | |
| CN112120716A (zh) | 一种可穿戴式多模态情绪状态监测装置 | |
| CN115299947A (zh) | 基于多模态生理数据的心理量表置信度评估方法及系统 | |
| US20160029965A1 (en) | Artifact as a feature in neuro diagnostics | |
| Klug et al. | The BeMoBIL Pipeline for automated analyses of multimodal mobile brain and body imaging data | |
| Liu et al. | Taxonomy and real-time classification of artifacts during biosignal acquisition: A starter study and dataset of ECG | |
| CN115376695A (zh) | 基于扩展现实的神经心理评估及干预的方法、系统和装置 | |
| CN115517681A (zh) | Md患者情绪波动监测和情感障碍状态评估的方法和系统 | |
| CN113974589B (zh) | 多模态行为范式评估优化系统及认知能力评价方法 | |
| CN115188448A (zh) | 一种基于脑电波的中医医生诊疗经验记录方法 | |
| CN111222464A (zh) | 情感分析方法以及系统 | |
| Sharma et al. | Novel eeg based schizophrenia detection with iomt framework for smart healthcare | |
| CN114565957A (zh) | 基于微表情识别的意识评估方法及系统 | |
| CN110569968B (zh) | 基于电生理信号的创业失败恢复力评估方法及评估系统 | |
| CN112472088B (zh) | 一种情绪状态评定方法、装置、智能终端及存储介质 | |
| CN107296586A (zh) | 视觉误差检测设备/方法及基于该设备的书写系统/方法 | |
| CN116369853A (zh) | 一种基于脑机交互技术的嗅觉功能标准化评估装置及方法 | |
| CN113855021B (zh) | 抑郁倾向评估方法及装置 | |
| CN115736920A (zh) | 基于双模态融合的抑郁状态识别方法及系统 | |
| CN114970641A (zh) | 情感类别的识别方法、装置、处理器及电子设备 | |
| Mantri et al. | Real time multimodal depression analysis | |
| De et al. | EEG-Based Intelligence Quotient Assessment Using 1D Convolutional Neural Network | |
| Vadivu et al. | An Novel Versatile Inspiring Wavelet Transform and Resilient Direct Neural Network Classification Techniques for Monitoring Brain Activity System Based on EEG Signal | |
| Sgrò | Disorders of Consciousness: using the Perturbational Complexity Index to distinguish between voluntary and involuntary movements. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Youmian Inventor after: Chen Zhenxiang Inventor after: Hu Bin Inventor after: Jiang Xiaoqing Inventor after: Li Kaiyun Inventor after: Liu Wenjuan Inventor after: Huang Helin Inventor after: Chen Jianzhang Inventor before: Chen Zhenxiang Inventor before: Wang Youmian Inventor before: Hu Bin Inventor before: Jiang Xiaoqing Inventor before: Li Kaiyun Inventor before: Liu Wenjuan Inventor before: Huang Helin Inventor before: Chen Jianzhang |
|
| CB03 | Change of inventor or designer information |