CN117017294A - 基于身体多点位多模态生理信号的个体心理特质分析方法 - Google Patents
基于身体多点位多模态生理信号的个体心理特质分析方法 Download PDFInfo
- Publication number
- CN117017294A CN117017294A CN202311169890.4A CN202311169890A CN117017294A CN 117017294 A CN117017294 A CN 117017294A CN 202311169890 A CN202311169890 A CN 202311169890A CN 117017294 A CN117017294 A CN 117017294A
- Authority
- CN
- China
- Prior art keywords
- psychological
- signals
- neurophysiologic
- analysis model
- different
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 90
- 230000001537 neural effect Effects 0.000 claims abstract description 92
- 238000000034 method Methods 0.000 claims description 46
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 230000001133 acceleration Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000001149 cognitive effect Effects 0.000 claims description 9
- 210000000707 wrist Anatomy 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 6
- 210000003423 ankle Anatomy 0.000 claims description 5
- 230000005131 exotropism Effects 0.000 claims description 4
- 210000002683 foot Anatomy 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 210000004247 hand Anatomy 0.000 claims description 4
- 230000001272 neurogenic effect Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 description 11
- 210000005036 nerve Anatomy 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000005611 electricity Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000002354 daily effect Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 230000009323 psychological health Effects 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000031636 Body Temperature Changes Diseases 0.000 description 1
- 208000036119 Frailty Diseases 0.000 description 1
- 206010020400 Hostility Diseases 0.000 description 1
- 241000544076 Whipplea modesta Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 206010003549 asthenia Diseases 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/251—Means for maintaining electrode contact with the body
- A61B5/256—Wearable electrodes, e.g. having straps or bands
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Cardiology (AREA)
- Developmental Disabilities (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Child & Adolescent Psychology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及生理信号分析技术领域，具体提供一种基于身体多点位多模态生理信号的个体心理特质分析方法，包括：基于穿戴式设备在人体进行多位点多模态的神经生理信号采集；基于采集的神经生理信号进行分类构建多个情境，不同的神经生理信号与不同的情境之间有特定的对应关系；基于不同的神经生理信号与不同的情境之间特定的对应关系构建心理特征分析模型；通过所述心理特征分析模型进行人体心理特质的判断分类。本发明解决了现有神经生理信号难以准确分析判断出人体心理特征的问题。
Description
技术领域
本发明涉及生理信号分析技术领域，尤其涉及一种基于身体多点位多模态生理信号的个体心理特质分析方法。
背景技术
个体心理特质的准确有效测评在心理健康评估、人员选拔与培训等领域有重要的应用价值。传统心理健康测评主要通过心理学量表、心理咨询师或精神科医生专家访谈等方式开展，这些方式主观性较强，容易受到被测者主观意图、社会赞许性等因素的影响。随着神经生理测量技术的进步，通过功能磁共振、脑电图等脑影像技术开展的心理健康测评方法得到快速发展。虽然这些方法存在客观性好的优点，但同时也存在设备昂贵、使用环境要求高等局限。穿戴式神经生理测量技术，如腕式心率、腕式皮肤电、胸带式呼吸率、指端血氧水平等测量技术的发展，可以在更丰富的日常情境下开展神经生理信号测量与分析，给开展更加全面、充分的个体心理特质测评带来了可能。
个体心理体验与所处情境密切相关，不同个体在相同情境下可能有截然不同的心理体验(比如到游乐园坐过山车，有人害怕，有人平静，有人激动)。已有大量研究表明，这些不同的心理体验对应不同的神经生理活动特征。因此，通过对相对丰富情境下的个体神经生理活动信息采集并分析推测背后的心理体验状态，我们可以对个体心理特质进行有效的刻画。穿戴式设备支持在大多数日常生活情境下进行长时程采集，提供了有别于往往基于固定场所、短时间测量的传统方法的全新测量方式，有望通过更全面的数据采集实现对个体更准确有效的测评。
基于穿戴式神经生理测量技术的个体心理特质测评方法存在诸多不足，并面临诸多挑战。第一，现有方法大多基于单一身体位点(如腕部、胸部等)进行神经生理数据采集，忽略了身体不同位点神经生理信号的差异，及其可能的心理功能意义。比如，近年来有研究表明，左右手腕、左右脚腕等处的皮肤电等生理活动在人紧张、兴奋等不同情绪下有特异的活动模式。然而，多身体位点的穿戴式测量对不同位点测量模块的穿戴形态、数据融合同步等方面提出了新的更高技术要求。第二，虽然实验室研究表明采集多样化情境下的神经生理信号可以更好的刻画个体特质，现有方法还没有充分利用日常生活情境下的情境信息。特别的，日常生活情境的开放性和丰富性为情境细分带来了新的挑战，需要提出有神经生理特性约束和启发的创新数据分析方法来实现跨个体统一标准的情境细分，从而支持日常穿戴式测量下的多情境神经生理数据分析。第三，现有商用设备主要采集个体的脉搏波、加速度等信号，对心理学领域常用且已经充分证明对心理状态变化敏感的皮肤电信号使用较少。加入皮肤电的多模态测量有望进一步补充和丰富个体神经生理信息，助力更准确有效的个体心理特质测评。
发明内容
本发明提供一种基于身体多点位多模态生理信号的个体心理特质分析方法，用以解决现有神经生理信号难以准确分析判断出人体心理特征的问题。
本发明提供一种基于身体多点位多模态生理信号的个体心理特质分析方法，包括：
基于穿戴式设备在人体进行多位点多模态的神经生理信号采集；
基于采集的神经生理信号进行分类构建多个情境，不同的神经生理信号与不同的情境之间有特定的对应关系；
基于不同的神经生理信号与不同的情境之间特定的对应关系构建心理特征分析模型；
通过所述心理特征分析模型进行人体心理特质的判断分类。
根据本发明提供的一种基于身体多点位多模态生理信号的个体心理特质分析方法，所述基于穿戴式设备在人体进行多位点多模态的神经生理信号采集，具体包括：
所述穿戴式设备包括：脉搏波传感器、皮肤电传感器、皮肤温度传感器、加速度传感器、环境温度传感器和光传感器；
通过所述穿戴式设备分别采集人体双手手腕、双脚脚踝处的神经生理信号以及多种环境参数。
根据本发明提供的一种基于身体多点位多模态生理信号的个体心理特质分析方法，所述穿戴式设备的多个传感器在使用前通过定时或者周期性扫描网关设备的时间信息进行时钟对齐。
根据本发明提供的一种基于身体多点位多模态生理信号的个体心理特质分析方法，所述基于采集的神经生理信号进行分类构建多个情境，不同的神经生理信号与不同的情境之间有特定的对应关系，具体包括：
根据采集的神经生理信号将情境分为：高认知负荷情境、高身体负荷情境、中等负荷情境和低负荷情境；
所述高认知负荷情境、高身体负荷情境、中等负荷情境和低负荷情境分别对应不同的多点位平均心率数值、多点位平均皮肤电水平以及多点位平均加速度强度值。
根据本发明提供的一种基于身体多点位多模态生理信号的个体心理特质分析方法，所述基于不同的神经生理信号与不同的情境之间特定的对应关系构建心理特征分析模型，具体包括：
将所述基于不同的神经生理信号与不同的情境之间特定的对应关系分为训练数据和验证数据；
将训练数据作为输入数据，输入至卷积神经网络和全连接网络进行训练构建心理特征分析模型；
训练完成后通过验证数据对心理特征分析模型进行验证，并根据验证结果对心理特征分析模型进行相应的调整。
根据本发明提供的一种基于身体多点位多模态生理信号的个体心理特质分析方法，所述心理特征分析模型训练过程包括：
构建包括卷积神经网络和全连接网络的参考特征提取器，在所述参考特征提取器中，所述卷积神经网络包括四个卷积层，所述全连接网络包括三个全连接层；
构建包括卷积神经网络、全连接网络和反卷积神经网络的生成器，在所述生成器中，所述卷积神经网络包括四个卷积层，所述全连接网络包括三个全连接层，所述反卷积神经网络包括三个反卷积层和一个卷积层，所述全连接网络的输出与所述参考特征提取器的输出相拼接后输入所述反卷积神经网络；
构建包括卷积神经网络、全连接网络和最小二乘损失函数的判别器；在所述判别器中，所述卷积神经网络包括四个卷积层，所述全连接网络包括三个全连接层。
根据本发明提供的一种基于身体多点位多模态生理信号的个体心理特质分析方法，通过所述心理特征分析模型进行人体心理特质的判断分类，具体包括：
采集人体的神经生理信号，进行预处理后输入至心理特征分析模型；
所述心理特征分析模型根据神经生理信号的具体数据确定当时人体所处的情境；
生成判断分类结果对应大五人格得分，大五人格包括：外向性、神经质性、尽责性、宜人性和开放性；
所述判断分类结果在大五人格在每个维度上从1-5分进行打分，输出各维度的得分。
本发明还提供一种基于身体多点位多模态生理信号的个体心理特质分析系统，所述系统包括：
信号采集模块，用于基于穿戴式设备在人体进行多位点多模态的神经生理信号采集；
情境对应模块，用于基于采集的神经生理信号进行分类构建多个情境，不同的神经生理信号与不同的情境之间有特定的对应关系；
模型建立模块，用于基于不同的神经生理信号与不同的情境之间特定的对应关系构建心理特征分析模型；
分析判断模块，用于通过所述心理特征分析模型进行人体心理特质的判断分类。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于身体多点位多模态生理信号的个体心理特质分析方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于身体多点位多模态生理信号的个体心理特质分析方法。
本发明提供的一种基于身体多点位多模态生理信号的个体心理特质分析方法，通过采集人体多点位多模态的神经生理信号，根据神经生理信号与不同情境之间的对应关系构建心理特征分析模型，通过心理特征分析模型结合实时的人体神经生理信号判断当前人体的心理状态，实现更准确有效的个体心理特质测评。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的种基于身体多点位多模态生理信号的个体心理特质分析方法的流程示意图之一；
图2是本发明提供的种基于身体多点位多模态生理信号的个体心理特质分析方法的流程示意图之二；
图3是本发明提供的种基于身体多点位多模态生理信号的个体心理特质分析方法的流程示意图之三；
图4是本发明提供的种基于身体多点位多模态生理信号的个体心理特质分析方法的流程示意图之四；
图5是本发明提供的种基于身体多点位多模态生理信号的个体心理特质分析方法的流程示意图之五；
图6是本发明提供的种基于身体多点位多模态生理信号的个体心理特质分析方法的流程示意图之六；
图7是本发明提供的种基于身体多点位多模态生理信号的个体心理特质分析系统的模块连接示意图；
图8是本发明提供的电子设备的结构示意图。
附图标记：
110：信号采集模块；120：情境对应模块；130：模型建立模块；140：分析判断模块；
810：处理器；820：通信接口；830：存储器；840：通信总线。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图6描述本发明的一种基于身体多点位多模态生理信号的个体心理特质分析方法，包括：
S100、基于穿戴式设备在人体进行多位点多模态的神经生理信号采集；
S200、基于采集的神经生理信号进行分类构建多个情境，不同的神经生理信号与不同的情境之间有特定的对应关系；
S300、基于不同的神经生理信号与不同的情境之间特定的对应关系构建心理特征分析模型；
S400、通过所述心理特征分析模型进行人体心理特质的判断分类。
在本发明中，与传统的人体心理特征分析相比本发明采集了更多点位的人体神经生理信号，不同的人体部位对应的信号特征不同，完成信号采集后进行分析，基于情境分类和大五人格分类，能够准确判断出当前人体的心理状态。
基于穿戴式设备在人体进行多位点多模态的神经生理信号采集，具体包括：
S101、所述穿戴式设备包括：脉搏波传感器、皮肤电传感器、皮肤温度传感器、加速度传感器、环境温度传感器和光传感器；
S102、通过所述穿戴式设备分别采集人体双手手腕、双脚脚踝处的神经生理信号以及多种环境参数。
在本发明中，通过脉搏波传感器测量心率和血氧饱和度，采样率不低于500Hz、精度不低于1bpm；通过皮肤电传感器测量皮肤电活动，采样率不低于50Hz、精度不低于0.01μs，通过皮肤温度传感器测量人体体温变化，采样率不低于5Hz、精度不低于0.1℃，通过加速度传感器测量肢体动作和身体运动状态，采样率不低于50Hz、精度不低于0.001g；通过环境温度传感器测量周围的环境参数，采样率不低于1Hz、温度测量范围-40～60℃，大气压测量范围300～1100hPa；通过环境光传感器测量环境光的光谱信号，采样率不低于1Hz、照度响应度25uw/cm。
所述穿戴式设备的多个传感器在使用前通过定时或者周期性扫描网关设备的时间信息进行时钟对齐。具体地，多个模块可定时或周期性扫描网关设备的时间信息，给自己的时间进行校准，时间精确到毫秒，延迟时间精确到毫秒级别，实现不同模块所采集数据时间误差不超过1秒，以满足上述神经生理信号的分析时间精度要求。
基于采集的神经生理信号进行分类构建多个情境，不同的神经生理信号与不同的情境之间有特定的对应关系，具体包括：
S201、根据采集的神经生理信号将情境分为：高认知负荷情境、高身体负荷情境、中等负荷情境和低负荷情境；
S202、所述高认知负荷情境、高身体负荷情境、中等负荷情境和低负荷情境分别对应不同的多点位平均心率数值、多点位平均皮肤电水平以及多点位平均加速度强度值。
本发明中，高认知负荷情境，多位点平均心率数值达到个体5天心率分布的前25％，多位点平均皮肤电水平达到个体5天皮肤电水平分布的前25％，多位点平均加速度强度数值位于个体5天加速度强度分布的25％-75％；
高身体负荷情境，多位点平均心率数值达到个体5天心率分布的前25％，多位点平均皮肤电水平达到个体5天皮肤电水平分布的前25％，多位点平均加速度强度数值位于个体5天加速度强度分布的前25％；
中等负荷情境，多位点平均心率数值达到个体5天心率分布的25-75％，多位点平均皮肤电水平达到个体5天皮肤电水平分布的25-75％，多位点平均加速度强度数值位于个体5天加速度强度分布的25-75％；
低负荷情境，多位点平均心率数值达到个体5天心率分布的后25％，多位点平均皮肤电水平达到个体5天皮肤电水平分布的后25％，多位点平均加速度强度数值位于个体5天加速度强度分布的后25％。
基于不同的神经生理信号与不同的情境之间特定的对应关系构建心理特征分析模型，具体包括：
S301、将所述基于不同的神经生理信号与不同的情境之间特定的对应关系分为训练数据和验证数据；
S302、将训练数据作为输入数据，输入至卷积神经网络和全连接网络进行训练构建心理特征分析模型；
S303、训练完成后通过验证数据对心理特征分析模型进行验证，并根据验证结果对心理特征分析模型进行相应的调整。
所述心理特征分析模型训练过程包括：
S401、构建包括卷积神经网络和全连接网络的参考特征提取器，在所述参考特征提取器中，所述卷积神经网络包括四个卷积层，所述全连接网络包括三个全连接层；
S402、构建包括卷积神经网络、全连接网络和反卷积神经网络的生成器，在所述生成器中，所述卷积神经网络包括四个卷积层，所述全连接网络包括三个全连接层，所述反卷积神经网络包括三个反卷积层和一个卷积层，所述全连接网络的输出与所述参考特征提取器的输出相拼接后输入所述反卷积神经网络；
S403、构建包括卷积神经网络、全连接网络和最小二乘损失函数的判别器；在所述判别器中，所述卷积神经网络包括四个卷积层，所述全连接网络包括三个全连接层。
通过所述心理特征分析模型进行人体心理特质的判断分类，具体包括：
S501、采集人体的神经生理信号，进行预处理后输入至心理特征分析模型；
S502、所述心理特征分析模型根据神经生理信号的具体数据确定当时人体所处的情境；
S503、生成判断分类结果对应大五人格得分，大五人格包括：外向性、神经质性、尽责性、宜人性和开放性；
S504、所述判断分类结果在大五人格在每个维度上从1-5分进行打分，输出各维度的得分。
具体地，大五人格包括：开放性(openness)：具有想象、审美、情感丰富、求异、创造、智慧等特质。
责任心(conscientiousness)：显示胜任、公正、条理、尽职、成就、自律、谨慎、克制等特点。
外倾性(extraversion)：表现出热情、社交、果断、活跃、冒险、乐观等特质。
宜人性(agreeableness)：具有信任、利他、直率、依从、谦虚、移情等特质。
神经质性(neuroticism)：难以平衡焦虑、敌对、压抑、自我意识、冲动、脆弱等情绪的特质，即不具有保持情绪稳定的能力
通过以上对大五人格的具体介绍，能够细化分类，利用心理特征分析模型分析判断出人体处于什么样的心理状态或者性格。
通过本发明提供的一种基于身体多点位多模态生理信号的个体心理特质分析方法，通过采集人体多点位多模态的神经生理信号，根据神经生理信号与不同情境之间的对应关系构建心理特征分析模型，通过心理特征分析模型结合实时的人体神经生理信号判断当前人体的心理状态，实现更准确有效的个体心理特质测评。
参考图7，本发明还公开了一种基于身体多点位多模态生理信号的个体心理特质分析系统，所述系统包括：
信号采集模块110，用于基于穿戴式设备在人体进行多位点多模态的神经生理信号采集；
情境对应模块120，用于基于采集的神经生理信号进行分类构建多个情境，不同的神经生理信号与不同的情境之间有特定的对应关系；
模型建立模块130，用于基于不同的神经生理信号与不同的情境之间特定的对应关系构建心理特征分析模型；
分析判断模块140，用于通过所述心理特征分析模型进行人体心理特质的判断分类。
其中，信号采集模块110，所述穿戴式设备包括：脉搏波传感器、皮肤电传感器、皮肤温度传感器、加速度传感器、环境温度传感器和光传感器；
通过所述穿戴式设备分别采集人体双手手腕、双脚脚踝处的神经生理信号以及多种环境参数。
情境对应模块120，根据采集的神经生理信号将情境分为：高认知负荷情境、高身体负荷情境、中等负荷情境和低负荷情境；
所述高认知负荷情境、高身体负荷情境、中等负荷情境和低负荷情境分别对应不同的多点位平均心率数值、多点位平均皮肤电水平以及多点位平均加速度强度值。
模型建立模块130，将所述基于不同的神经生理信号与不同的情境之间特定的对应关系分为训练数据和验证数据；
将训练数据作为输入数据，输入至卷积神经网络和全连接网络进行训练构建心理特征分析模型；
训练完成后通过验证数据对心理特征分析模型进行验证，并根据验证结果对心理特征分析模型进行相应的调整。
分析判断模块140，采集人体的神经生理信号，进行预处理后输入至心理特征分析模型；
所述心理特征分析模型根据神经生理信号的具体数据确定当时人体所处的情境；
生成判断分类结果对应大五人格分类，包括：外向性、神经质性、尽责性、宜人性和开放性。
通过本发明提供的一种基于身体多点位多模态生理信号的个体心理特质分析系统，通过采集人体多点位多模态的神经生理信号，根据神经生理信号与不同情境之间的对应关系构建心理特征分析模型，通过心理特征分析模型结合实时的人体神经生理信号判断当前人体的心理状态，实现更准确有效的个体心理特质测评。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行一种基于身体多点位多模态生理信号的个体心理特质分析方法，该方法包括：基于穿戴式设备在人体进行多位点多模态的神经生理信号采集；
基于采集的神经生理信号进行分类构建多个情境，不同的神经生理信号与不同的情境之间有特定的对应关系；
基于不同的神经生理信号与不同的情境之间特定的对应关系构建心理特征分析模型；
通过所述心理特征分析模型进行人体心理特质的判断分类。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的一种基于身体多点位多模态生理信号的个体心理特质分析方法，该方法包括：基于穿戴式设备在人体进行多位点多模态的神经生理信号采集；
基于采集的神经生理信号进行分类构建多个情境，不同的神经生理信号与不同的情境之间有特定的对应关系；
基于不同的神经生理信号与不同的情境之间特定的对应关系构建心理特征分析模型；
通过所述心理特征分析模型进行人体心理特质的判断分类。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的一种基于身体多点位多模态生理信号的个体心理特质分析方法，该方法包括：基于穿戴式设备在人体进行多位点多模态的神经生理信号采集；
基于采集的神经生理信号进行分类构建多个情境，不同的神经生理信号与不同的情境之间有特定的对应关系；
基于不同的神经生理信号与不同的情境之间特定的对应关系构建心理特征分析模型；
通过所述心理特征分析模型进行人体心理特质的判断分类。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于身体多点位多模态生理信号的个体心理特质分析方法，其特征在于，包括：
基于穿戴式设备在人体进行多位点多模态的神经生理信号采集；
基于采集的神经生理信号进行分类构建多个情境，不同的神经生理信号与不同的情境之间有特定的对应关系；
基于不同的神经生理信号与不同的情境之间特定的对应关系构建心理特征分析模型；
通过所述心理特征分析模型进行人体心理特质的判断分类。
2.根据权利要求1所述的基于身体多点位多模态生理信号的个体心理特质分析方法，其特征在于，所述基于穿戴式设备在人体进行多位点多模态的神经生理信号采集，具体包括：
所述穿戴式设备包括：脉搏波传感器、皮肤电传感器、皮肤温度传感器、加速度传感器、环境温度传感器和光传感器；
通过所述穿戴式设备分别采集人体双手手腕、双脚脚踝处的神经生理信号以及多种环境参数。
3.根据权利要求1所述的基于身体多点位多模态生理信号的个体心理特质分析方法，其特征在于，所述穿戴式设备的多个传感器在使用前通过定时或者周期性扫描网关设备的时间信息进行时钟对齐。
4.根据权利要求1所述的基于身体多点位多模态生理信号的个体心理特质分析方法，其特征在于，所述基于采集的神经生理信号进行分类构建多个情境，不同的神经生理信号与不同的情境之间有特定的对应关系，具体包括：
根据采集的神经生理信号将情境分为：高认知负荷情境、高身体负荷情境、中等负荷情境和低负荷情境；
所述高认知负荷情境、高身体负荷情境、中等负荷情境和低负荷情境分别对应不同的多点位平均心率数值、多点位平均皮肤电水平以及多点位平均加速度强度值。
5.根据权利要求1所述的基于身体多点位多模态生理信号的个体心理特质分析方法，其特征在于，所述基于不同的神经生理信号与不同的情境之间特定的对应关系构建心理特征分析模型，具体包括：
将所述基于不同的神经生理信号与不同的情境之间特定的对应关系分为训练数据和验证数据；
将训练数据作为输入数据，输入至卷积神经网络和全连接网络进行训练构建心理特征分析模型；
训练完成后通过验证数据对心理特征分析模型进行验证，并根据验证结果对心理特征分析模型进行相应的调整。
6.根据权利要求5所述的基于身体多点位多模态生理信号的个体心理特质分析方法，其特征在于，所述心理特征分析模型训练过程包括：
构建包括卷积神经网络和全连接网络的参考特征提取器，在所述参考特征提取器中，所述卷积神经网络包括四个卷积层，所述全连接网络包括三个全连接层；
构建包括卷积神经网络、全连接网络和反卷积神经网络的生成器，在所述生成器中，所述卷积神经网络包括四个卷积层，所述全连接网络包括三个全连接层，所述反卷积神经网络包括三个反卷积层和一个卷积层，所述全连接网络的输出与所述参考特征提取器的输出相拼接后输入所述反卷积神经网络；
构建包括卷积神经网络、全连接网络和最小二乘损失函数的判别器；在所述判别器中，所述卷积神经网络包括四个卷积层，所述全连接网络包括三个全连接层。
7.根据权利要求1所述的基于身体多点位多模态生理信号的个体心理特质分析方法，其特征在于，通过所述心理特征分析模型进行人体心理特质的判断分类，具体包括：
采集人体的神经生理信号，进行预处理后输入至心理特征分析模型；
所述心理特征分析模型根据神经生理信号的具体数据确定当时人体所处的情境；
生成判断分类结果对应大五人格得分，大五人格包括：外向性、神经质性、尽责性、宜人性和开放性；
所述判断分类结果在大五人格在每个维度上从1-5分进行打分，输出各维度的得分。
8.一种基于身体多点位多模态生理信号的个体心理特质分析系统，其特征在于，所述系统包括：
信号采集模块，用于基于穿戴式设备在人体进行多位点多模态的神经生理信号采集；
情境对应模块，用于基于采集的神经生理信号进行分类构建多个情境，不同的神经生理信号与不同的情境之间有特定的对应关系；
模型建立模块，用于基于不同的神经生理信号与不同的情境之间特定的对应关系构建心理特征分析模型；
分析判断模块，用于通过所述心理特征分析模型进行人体心理特质的判断分类。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于身体多点位多模态生理信号的个体心理特质分析方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于身体多点位多模态生理信号的个体心理特质分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311169890.4A CN117017294A (zh) | 2023-09-11 | 2023-09-11 | 基于身体多点位多模态生理信号的个体心理特质分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311169890.4A CN117017294A (zh) | 2023-09-11 | 2023-09-11 | 基于身体多点位多模态生理信号的个体心理特质分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117017294A true CN117017294A (zh) | 2023-11-10 |
Family
ID=88602604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311169890.4A Pending CN117017294A (zh) | 2023-09-11 | 2023-09-11 | 基于身体多点位多模态生理信号的个体心理特质分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117017294A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104490407A (zh) * | 2014-12-08 | 2015-04-08 | 清华大学 | 一种可穿戴式心理压力评测装置及方法 |
| US20220240824A1 (en) * | 2019-05-16 | 2022-08-04 | Tawny Gmbh | System and method for recognising and measuring affective states |
| WO2023069057A1 (en) * | 2021-10-21 | 2023-04-27 | Erciyes Universitesi Strateji Gelistirme Daire Baskanligi | A computer-implemented method and system for assisting in the diagnosis of hyperactivity disorder |
| CN116473556A (zh) * | 2023-03-30 | 2023-07-25 | 清华大学 | 一种基于多位点皮肤生理响应的情感计算方法及系统 |
-
2023
- 2023-09-11 CN CN202311169890.4A patent/CN117017294A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104490407A (zh) * | 2014-12-08 | 2015-04-08 | 清华大学 | 一种可穿戴式心理压力评测装置及方法 |
| US20220240824A1 (en) * | 2019-05-16 | 2022-08-04 | Tawny Gmbh | System and method for recognising and measuring affective states |
| WO2023069057A1 (en) * | 2021-10-21 | 2023-04-27 | Erciyes Universitesi Strateji Gelistirme Daire Baskanligi | A computer-implemented method and system for assisting in the diagnosis of hyperactivity disorder |
| CN116473556A (zh) * | 2023-03-30 | 2023-07-25 | 清华大学 | 一种基于多位点皮肤生理响应的情感计算方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109157231A (zh) | 基于情绪刺激任务的便携式多通道抑郁倾向评估系统 | |
| Ma et al. | sEMG-based trunk compensation detection in rehabilitation training | |
| Ozdemir et al. | Dataset for multi-channel surface electromyography (sEMG) signals of hand gestures | |
| CN108721048A (zh) | 康复训练控制方法、计算机可读存储介质和终端 | |
| Ryu et al. | Dynamic digital biomarkers of motor and cognitive function in Parkinson's disease | |
| CN109124655A (zh) | 精神状态分析方法、装置、设备、计算机介质及多功能椅 | |
| CN104367306A (zh) | 生理心理职业测评系统及实现方法 | |
| CN115376695A (zh) | 基于扩展现实的神经心理评估及干预的方法、系统和装置 | |
| Ehlers et al. | Age-specific mechanisms in an SSVEP-based BCI scenario: evidences from spontaneous rhythms and neuronal oscillators | |
| CN116312947B (zh) | 基于上肢运动信号的沉浸式踝足康复训练方法及电子设备 | |
| Mahesh et al. | Requirements for a reference dataset for multimodal human stress detection | |
| Pereira et al. | Biometric recognition: A systematic review on electrocardiogram data acquisition methods | |
| Liao et al. | Evaluating attention level on MOOCs learning based on brainwaves signals analysis | |
| Roy et al. | EEG based stress analysis using rhythm specific spectral feature for video game play | |
| Scotti et al. | Automatic quantitative evaluation of emotions in E-learning applications | |
| CN117017294A (zh) | 基于身体多点位多模态生理信号的个体心理特质分析方法 | |
| Huang | The influence of Sports Dance on the physical and Mental Development of Contemporary College Students based on Health detection | |
| Chen et al. | Introducing mdpsd, a multimodal dataset for psychological stress detection | |
| De La Cruz et al. | Using EEG and fNIRS Measurements for Analysis on the Effects of Heat Stress on Short-term Memory Performance | |
| Trmčić et al. | Internet of things in E-health: an application of wearables in prevention and well-being | |
| Cesari et al. | Towards Posture and Gait Evaluation through Wearable-Based Biofeedback Technologies | |
| Roveda et al. | Psychological health monitoring for pilots and astronauts by tracking sleep-stress-emotion changes | |
| RU61111U1 (ru) | Устройство для психологического анализа (варианты) | |
| JP2003325467A (ja) | 意思伝達支援装置、及び意思伝達支援ソフトウエア | |
| Worasawate et al. | CNN Classification of Finger Movements using Spectrum Analysis of sEMG Signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |