CN113100766A - 基于多模态交互测量多色种模拟航天环境下个体情绪与作业能力评价方法 - Google Patents

Abstract

本发明公开了基于多模态交互测量多色种模拟航天环境下个体情绪与作业能力评价方法，属于医疗技术领域。首先使各受试者熟悉交互测量量表、模拟航天环境；然后进行首轮任务，采集交互测量量表数据，fNIRS设备采集受试者在任务中指定额叶区的神经活动数据；各受试者在指定条件下进行失重训练，再次进行一轮任务，fNIRS设备采集新数据。通过前后两次数据对比分析得到受试者个体情绪和作业能力评价；将所有符合条件的样本通过分类器进行聚合；每隔固定的时间采集新的聚合样本；所有聚合样本中稳定的数据作为后续个体情绪与作业能力的评价指标。本发明融合多种感官并通过多种方式与设备进行交互完成测量，为人脑认知功能研究提供了精确的研究手段。

Description

基于多模态交互测量多色种模拟航天环境下个体情绪与作业 能力评价方法

技术领域

本发明属于医疗技术领域，特别涉及一种基于多模态交互测量多色种模拟航天环境下个体情绪与作业能力评价方法。

背景技术

多模态交互测量是指融合多种感官并通过如文字、语音、视觉、动作、环境等多种方式与机器进行交互进而完成测量。

航天医学研究的结果证明当宇航员暴露于失重环境中会发生许多生理反应，例如空间定向障碍，空间晕动症，心血管疾病，肌肉萎缩，骨质流失等。除此这些生理变化之外，宇航员还会产生比较明显的焦虑和抑郁情绪，甚至是心理障碍，一般表现为认知能力下降、主观疲劳、记忆力下降和睡眠障碍等。

模拟航空航天环境根据中国天宫二号空间实验室和已经公布的中国天宫空间站舱段内部环境搭建。该环境两侧的标准机柜和天花板覆盖有一种主要颜色，而扶手、井字架和地板则装饰有副色。使用3D的计算机渲染程序模拟了具有各种色彩四周环境的空间站舱段场景。对于一般的照明和装饰，生成的场景中的平均照度级别设置为400lx。选择了3D逼真的计算机渲染工具作为生成逼真的内部透视图的方法，并导入头戴式显示器(HMD)作为实验场景。

头戴式显示器使用Samsung Gear VR(SM-R322NZWAXAR)和Samsung Galaxy S7配置了VR环境。该HMD的每只眼睛的分辨率为1280×1440像素，刷新率为75Hz。视场为水平100°垂直100°。

近红外光学成像(fNIRS)采用近红外光谱方法记录不同脑区的血氧与血容量参数变化，从而获得脑功能图像。fNIRS系统的优点是灵活，较高分辨率，实时和非侵入性。尽管空间分辨率不如功能核磁共振成像(fMRI)和正电子发射断层成像(PET)等，但其特点是能在认知活动的自然情景下进行实时功能成像，并可与fMRI，PET或EEG等其他脑功能研究手段互不干扰地同时进行测量。

发明内容

为实现在模拟航天环境下，个体情绪和作业能力的评价，本发明利用交互测量量表数据和大脑激活程度两个指标反应个体情绪和作业能力的情况，具体是基于多模态交互测量多色种模拟航天环境下个体情绪与作业能力评价方法。

具体步骤如下：

步骤一、从飞行员人群中筛选符合航天飞行条件的受试者，并使受试者熟悉交互测量量表、模拟航天环境并进行训练，练习使用VR设备。

步骤二、各个正式受试者以坐姿佩戴头戴式显示器在D65光源环境下观看5min白屏以适应瞳孔反应，随后进行第一轮航天交互任务，采集交互测量量表数据，同时，fNIRS设备采集各个受试者在航天交互任务中指定额叶区的神经活动数据。

航天交互任务是指各受试者在指定航天环境下完成三个情绪测量量表和一个任务量表，情绪测量具体包括:焦虑测量量表、抑郁测量量表和正负性情绪量表，任务量表为文书测试。

指定环境是指21种3D随机出现在VR头戴显示屏中的色彩场景。

fNIRS设备包括均匀分布并覆盖全部额叶脑区的M个信号通道，每个信号通道都有1个发射光源和对应的1个采集探头。

fNIRS设备采集记录的数据包括：各受试者在各种色彩模拟航天环境中进行航天交互任务时氧合血红蛋白的浓度。

步骤三、各受试者在D65光源环境下-15°头低位卧床若干小时，进行模拟航天环境下失重训练，再次进行新的一轮航天交互任务，fNIRS设备采集新一轮航天交互任务中指定额叶区的神经活动数据。

步骤四、针对每个受试者，将模拟航天环境下失重训练后采集的航天交互量表数据和神经活动数据与训练前的数据进行统计，提供分析的结果；

针对每个受试者，分别采集模拟航天环境下失重前后航天交互量表数据，具体包括三个情绪量表的平均得分，一个任务量表的正确率；通过平均得分和正确率的两个方差直观统计该受试者的状态。

同时，针对每个受试者，提取模拟航天环境下失重训练后fNIRS设备采集的脑区血氧变化率的平均值和方差特征。

对于平均值特征的计算具体是将数据的绝对值相加求和再取平均。设血氧变化量信号为s(i),i＝1,2,3...,N,采样数为N,均值特征μ_s和方差特征

计算公式分别如下：

对于变化趋势特征的求解是对氧合血红蛋白数据拟合。氧合血红蛋白变化量在大脑活跃时一般呈现近似线性的变化趋势，若以时间t为自变量，以斜率k的绝对值为氧合血红蛋白变化趋势特征，氧合血红蛋白变化量ΔHbO₂＝y为因变量，对交互测量任务期间的t和y做线性拟合，

为y的估计值，b为拟合后直线的截距，利用最小二乘法优化：

ΔHbO₂＝kt+b

对提取的脑血氧平均值、方差和变化趋势特征，分析大脑活跃程度。三个特征之间存在联系，但表征信号的不同信息。根据大脑活动的脑血氧数据的变化特点可知，若三个特征值都比较高，则可认为所测的区域脑活动变化明显；若三个特征值都比较低，则认为所测的区域没有发生明显的脑活动变化，若三个特征值其中某个高于其他测量数据，则认为仪器可能出现接触不良等问题，该数据无效。

步骤五、将所有符合条件的受试者样本通过分类器进行聚合。

步骤六、每个固定的时间，各受试者在D65光源环境下-15°头低位卧床若干小时，进行模拟航天环境下失重训练，返回步骤三采集数据进行分析，得到新的聚合样本。

步骤七、利用所有聚合样本中稳定的受试者数据，作为后续多模态多色种模拟航天环境下个体情绪与作业能力评价的依据。

本发明的优点在于：

1)、一种基于多模态交互测量多色种模拟航天环境下个体情绪与作业能力评价方法，采用的fNIRS设备灵活易用，较高分辨率，方便对大量受试者的应用，为人脑认知功能研究提供实时、无创的研究手段。

2)、一种基于多模态交互测量多色种模拟航天环境下个体情绪与作业能力评价方法，融合多种感官并通过如文字、语音、视觉、动作、环境等多种方式与机器进行交互进而完成测量，从主观数据和客观数据两种角度分析，为人脑认知功能研究提供了精确的研究手段。

3)、一种基于多模态交互测量多色种模拟航天环境下个体情绪与作业能力评价方法，舒适度高，对受试者非常友好，避免了复杂任务导致的脑活动差异影响结果。

附图说明

图1是本发明基于多模态交互测量多色种模拟航天环境下个体情绪与作业能力评价方法的流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步详细说明。

本发明是基于多模态交互测量多色种模拟航天环境下个体情绪与作业能力评价方法，首先让受试者以坐姿进行一轮正常的航天交互任务，fNIRS设备采集受试者在航天交互任务中指定额叶脑区的神经活动数据；然后，受试者再进行一轮模拟航天环境失重训练后的航天交互任务，并采集交互测量量表数据和神经活动数据；通过失重训练前后两次数据对比分析得出结果，得到受试者个体情绪和作业能力评价。

本发明同时记录受试者交互测量量表的主观数据和fNIRS设备的客观数据，通过统计交互测量量表中三个情绪量表得分以及脑血氧的三个特征值，由情绪量表参数和血氧数据共同评估受试者的个体情绪；通过统计交互测量量表中任务量表数据以及脑血氧的三个特征值，由任务量表参数和血氧数据共同评估受试者的作业能力。

步骤一、从飞行员人群中筛选符合航天飞行条件的受试者，并使受试者熟悉交互测量量表、模拟航天环境并进行训练，练习使用VR设备。

受试者条件为：年龄18-35岁，男女生各20人，视力或矫正视力都在1.0以上，无色盲，身体健康，无心、脑血管疾病及精神病史。

步骤二、各个正式受试者以坐姿佩戴头戴式显示器在D65光源环境下观看5min白屏以适应瞳孔，随后进行第一轮航天交互任务，采集交互测量量表数据，同时，fNIRS设备采集各个受试者在航天交互任务中指定额叶区的神经活动数据。

所述的航天交互任务具体是在指定的环境下完成三个情绪测量量表和一个任务量表，情绪测量具体包括:焦虑测量量表、抑郁测量量表和正性负性情绪量表，任务量表为文书测试。

1)、焦虑测量量表。对受试者的焦虑情绪进行评估，量表包括21个不同的焦虑症状，将多种焦虑症状的程度作为评定指标，将多种焦虑症状的程度作为评定指标，采用4级评分方法。其标准为:1表示无；2表示轻度，无多大烦扰；3表示中度，感到不适但尚能忍受；4表示重度，只能勉强忍受。在第一次测试前告知志愿者各个题目的含义，要求志愿者准确理解并且根据自己的实际情况进行评定。分析时采用标准分，将21个项目分数相加，得到初步分数，再通过公式Y＝int(1.19*X)取整后转换成标准分。一般认为BAI总分≥45分临床判定为焦虑。要求VR眼镜中出现焦虑量表的21个项目和分值选项，受试者使用与VR眼镜配对的手柄选中对应分值，点击手柄按钮。完成后进入下一量表；

2)、抑郁测量量表。对受试者的抑郁情绪进行评估，量表共21个条目，每个条目代表一个类别，每个类别的描述分为4级，并按严重程度0～3分赋值，分析时将21个项目分数相加，得到总分，总分范围为0～63。得分越高表明抑郁程度越高，总分在10～19分判定为轻度抑郁，20～29分为中度抑郁，30～51分为重度抑郁。要求VR眼镜中出现抑郁量表的21个项目和分值选项，受试者使用与VR眼镜配对的手柄选中对应分值，点击手柄按钮。完成后进入下一量表；

3)、正负性情绪量表。正负情绪对受试者的正性情绪和负性情绪进行评估，其中10个项目评定负性情绪，10个项目评定正性情绪，每个项目得分范围1～5分。要求VR眼镜中出现焦虑量表的20个项目和分值选项，受试者使用与VR眼镜配对的手柄选中对应分值，点击手柄按钮。完成后进入下一量表；

4)、任务量表。对受试者的疲劳程度和任务执行准确度进行评估。包括100道认知与主观反应问题填写。要求VR眼镜中出现任务量表的200个项目，若同时出现的内容一致，受试者点击手柄上方按钮；若同时出现的内容不一致，受试者点击手柄下方按钮。

指定环境是指21种随机出现在VR头戴显示屏中的3D色彩场景。

fNIRS设备包括均匀布置并覆盖全部额叶脑区的M个信号通道，每个信号通道都有1个发射光源和对应的1个采集探头。

fNIRS设备采集记录的数据包括：各受试者在各种色彩模拟航天环境中进行航天交互任务时脑区氧合血红蛋白的浓度。

步骤三、各受试者在D65光源环境下-15°头低位卧床若干小时，进行模拟航天环境下失重训练，再次进行新的一轮航天交互任务，采集交互测量量表数据，同时，fNIRS设备采集新一轮航天交互任务中指定额叶区的神经活动数据。

步骤四、针对每个受试者，将模拟航天环境下失重训练后采集的航天交互量表数据和神经活动数据与训练前的数据进行统计，提供分析的结果；

针对每个受试者，分别采集模拟航天环境下失重前后航天交互量表数据，具体包括三个情绪量表的平均得分，一个任务量表的正确率；通过平均得分和正确率的两个方差直观统计该受试者的状态。

同时，针对每个受试者，提取模拟航天环境下失重训练后fNIRS设备采集的脑区血氧变化率的平均值和方差特征。

对于平均值特征的计算量是将数据的绝对值相加求和再取平均。设血氧变化量信号为s(i),i＝1,2,3...,N,采样数为N,均值特征μ_s和方差特征

计算公式分别如下：

对于变化趋势特征的求解是对氧合血红蛋白数据拟合。氧合血红蛋白变化量在大脑活跃时一般呈现近似线性的变化趋势，若以时间t为自变量，以斜率k的绝对值为氧合血红蛋白变化趋势特征，氧合血红蛋白变化量ΔHbO₂＝y为因变量，对航天交互任务期间的t和y做线性拟合，

为y的估计值，b为拟合后直线的截距，利用最小二乘法优化：

ΔHbO₂＝kt+b

对提取的脑血氧平均值、方差和变化趋势特征，分析大脑活跃程度。三个特征之间存在联系，但表征信号的不同信息。根据大脑活动的脑血氧数据的变化特点可知，若三个特征值都比较高，则可认为所测的区域脑活动变化明显；若三个特征值都比较低，则认为所测的区域没有发生明显的脑活动变化，若三个特征值其中某个高于其他测量数据，则认为仪器可能出现接触不良等问题，该数据无效。

步骤五、将所有符合条件的受试者样本通过分类器进行聚合。

步骤六、每个固定的时间，各受试者在D65光源环境下-15°头低位卧床若干小时，进行模拟航天环境下失重训练，返回步骤三采集数据进行分析，得到新的聚合样本。

步骤七、利用所有聚合样本中稳定的受试者数据，作为后续多模态多色种模拟航天环境下个体情绪与作业能力评价的评价依据。

Claims (2)

1.基于多模态交互测量多色种模拟航天环境下个体情绪与作业能力评价方法，其特征在于，具体步骤如下：

步骤一、从飞行员人群中筛选符合航天飞行条件的受试者，并使受试者熟悉交互测量量表、模拟航天环境并进行训练，练习使用VR设备；

步骤二、各个正式受试者以坐姿佩戴头戴式显示器在D65光源环境下观看5min白屏以适应瞳孔反应，随后进行第一轮航天交互任务，采集交互测量量表数据，同时，fNIRS设备采集各个受试者在航天交互任务中指定额叶区的神经活动数据；

航天交互任务是指各受试者在指定航天环境下完成三个情绪测量量表和一个任务量表，情绪测量具体包括:焦虑测量量表、抑郁测量量表和正负性情绪量表，任务量表为文书测试；

指定环境是指21种3D随机出现在VR头戴显示屏中的色彩场景；

fNIRS设备包括均匀分布并覆盖全部额叶脑区的M个信号通道，每个信号通道都有1个发射光源和对应的1个采集探头；

fNIRS设备采集记录的数据包括：各受试者在各种色彩模拟航天环境中进行航天交互任务的氧合血红蛋白浓度；

步骤三、各受试者在D65光源环境下-15°头低位卧床若干小时，进行模拟航天环境下失重训练，再次进行新的一轮航天交互任务，fNIRS设备采集新一轮航天交互任务中指定额叶区的神经活动数据；

步骤四、针对每个受试者，将模拟航天环境下失重训练后采集的航天交互量表数据和神经活动数据与训练前的数据进行统计，提供分析的结果；

针对每个受试者，分别采集模拟航天环境下失重前后交互测量量表数据，具体包括三个情绪量表的平均得分，一个任务量表的正确率；通过平均得分和正确率的两个方差直观统计该受试者的状态；

同时，针对每个受试者，提取模拟航天环境下失重训练后fNIRS设备采集的脑区血氧变化率的平均值和方差特征；

对于平均值特征的计算具体是将数据的绝对值相加求和再取平均。设血氧变化量信号为s(i),i＝1,2,3...,N,采样数为N,均值特征μ_s和方差特征

计算公式分别如下：

对于变化趋势特征的求解是对氧合血红蛋白数据拟合。氧合血红蛋白变化量在大脑活跃时一般呈现近似线性的变化趋势，若以时间t为自变量，以斜率k的绝对值为氧合血红蛋白变化趋势特征，氧合血红蛋白变化量ΔHbO₂＝y为因变量，对航天交互任务期间的t和y做线性拟合，

为y的估计值，b为拟合后直线的截距，利用最小二乘法优化：

ΔHbO₂＝kt+b

对提取的脑血氧平均值、方差和变化趋势特征，分析大脑活跃程度。三个特征之间存在联系，但表征信号的不同信息，根据大脑活动的脑血氧数据的变化特点可知，若三个特征值都比较高，则可认为所测的区域脑活动变化明显；若三个特征值都比较低，则认为所测的区域没有发生明显的脑活动变化，若三个特征值其中某个高于其他测量数据，则认为仪器可能出现接触不良等问题，该数据无效。

步骤五、将所有符合条件的受试者样本通过分类器进行聚合。

步骤六、每个固定的时间，各受试者在D65光源环境下-15°头低位卧床若干小时，进行模拟航天环境下失重训练，返回步骤三采集数据进行分析，得到新的聚合样本。

步骤七、利用所有聚合样本中稳定的受试者数据，作为后续多模态多色种模拟航天环境下个体情绪与作业能力评价的依据。

2.如权利要求1所述的基于脑血流的模拟失重条件下工作记忆能力评价方法，其特征在于，所述的步骤二具体过程包括：

航天交互任务具体是在指定的环境下完成三个情绪测量量表和一个任务量表，情绪测量具体包括:焦虑测量量表、抑郁测量量表和正性负性情绪量表，任务量表为文书测试；

1)、要求VR眼镜中出现焦虑量表的21个项目和分值选项，受试者使用与VR眼镜配对的手柄选中对应分值，点击手柄按钮。完成后进入下一量表；

2)、要求VR眼镜中出现抑郁量表的21个项目和分值选项，受试者使用与VR眼镜配对的手柄选中对应分值，点击手柄按钮。完成后进入下一量表；

3)、要求VR眼镜中出现焦虑量表的20个项目和分值选项，受试者使用与VR眼镜配对的手柄选中对应分值，点击手柄按钮。完成后进入下一量表；

4)、要求VR眼镜中出现任务量表的200个项目，若同时出现的内容一致，受试者点击手柄上方按钮；若同时出现的内容不一致，受试者点击手柄下方按钮；

指定环境是指21种随机出现在VR头戴显示屏中的3D色彩场景；

fNIRS设备包括均匀布置并覆盖全部额叶脑区的M个信号通道，每个信号通道都有1个发射光源和对应的1个采集探头；

fNIRS设备采集记录的数据包括：各受试者在各种色彩模拟航天环境中进行航天交互任务时脑区氧合血红蛋白的浓度。

Images