CN113576481B - 一种脑力负荷评估方法、装置、设备、介质 - Google Patents

Abstract

本发明涉及一种脑力负荷评估方法、装置、设备、介质，先获取被测者的脑电信号和心电信号，然后对脑电信号进行特征提取，得到PSD特征，对心电信号进行特征提取，得到HR特征和HRV特征，最后以脑电信号、PSD特征、HR特征和HRV特征作为模型输入，利用评估模型得到被测者的脑力负荷类别，进而能够综合脑电信号和心电信号共同来评估被测者的脑力负荷类别，能够显著提高评估精度。

Description

一种脑力负荷评估方法、装置、设备、介质

技术领域

本发明涉及脑力负荷评估技术领域，特别是涉及一种基于脑电信号和心电信号的脑力负荷评估方法、装置、设备、介质。

背景技术

脑力负荷(mental workload，MWL)也被称为心理负荷、精神负荷或认知负荷，Young等人认为脑力负荷是为满足客观和主观的业绩标准而付出的注意力的大小。高脑力负荷会导致视觉和听觉注意力、工作记忆以及执行能力下降，极大的增加了做出错误决策的概率。因此，有必要对脑力负荷进行科学的评估。

脑力负荷评估方法主要有生理测评法、主观测评法、作业绩效评估法以及综合测评法。与其他测评方法相比，生理测评法具有客观性、实时性以及连续性等优点，因此受到了国内外研究学者的关注。在生理测评法中，脑电、心电、眼电信号是应用最多的信号。但目前所用的脑力负荷评估方法常采用单一生理信号进行脑力负荷评估，评估精度较低。因此，亟需一种能够提高脑力负荷评估精度的评估方法。

发明内容

本发明的目的是提供一种脑力负荷评估方法、装置、设备、介质，综合脑电信号和心电信号对脑力负荷进行评估，能够显著提高评估精度。

为实现上述目的，本发明提供了如下方案：

根据本申请的一方面，提供一种脑力负荷评估方法，所述评估方法包括：

获取被测者的脑电信号和心电信号；

对所述脑电信号进行特征提取，得到PSD特征；

对所述心电信号进行特征提取，得到HR特征和HRV特征；

以所述脑电信号、所述PSD特征、所述HR特征和所述HRV特征作为模型输入，利用评估模型得到被测者的脑力负荷类别；所述评估模型基于训练数据集训练得到；所述训练数据集包括不同类别脑力负荷各自对应的多组训练用脑电信号和训练用心电信号。

根据本申请的又一方面，提供一种脑力负荷评估装置，所述评估装置包括：

获取模块，用于获取被测者的脑电信号和心电信号；

特征提取模块，用于对所述脑电信号进行特征提取，得到PSD特征；对所述心电信号进行特征提取，得到HR特征和HRV特征；

输出模块，用于以所述脑电信号、所述PSD特征、所述HR特征和所述HRV特征作为模型输入，利用评估模型得到被测者的脑力负荷类别；所述评估模型基于训练数据集训练得到；所述训练数据集包括不同类别脑力负荷各自对应的多组训练用脑电信号和训练用心电信号。

根据本申请的又一方面，提供一种脑力负荷评估设备，包括：

处理器；以及

存储器，其中存储计算机可读程序指令，

其中，在所述计算机可读程序指令被所述处理器运行时执行上述的评估方法。

根据本申请的又一方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述评估方法的步骤。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明用于提供一种脑力负荷评估方法、装置、设备、介质，先获取被测者的脑电信号和心电信号，然后对脑电信号进行特征提取，得到PSD特征，对心电信号进行特征提取，得到HR特征和HRV特征，最后以脑电信号、PSD特征、HR特征和HRV特征作为模型输入，利用评估模型得到被测者的脑力负荷类别，进而能够综合脑电信号和心电信号共同来评估被测者的脑力负荷类别，能够显著提高评估精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1所提供的评估方法的方法流程图；

图2为本发明实施例1所提供的预处理的流程示意图；

图3为本发明实施例1所提供的评估模型的结构示意图；

图4为本发明实施例1所提供的评估模型所用网络结构的示意图；

图5为本发明实施例1所提供的模型训练和测试的过程示意图；

图6为本发明实施例2所提供的评估装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如本发明和权利要求书中所示，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

本发明中使用了流程图来说明所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

本发明的目的是提供一种脑力负荷评估方法、装置、设备、介质，综合脑电信号和心电信号对脑力负荷进行评估，能够显著提高评估精度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1：

在动态和不确定的环境中，驾驶飞机极具挑战性。虽然现代飞机的自动化设备减轻了飞行员的体力负荷，但是飞行员仍需要执行多种任务，如控制飞行轨迹，监测飞行参数，与空中交通管制员沟通以及识别潜在危险等，多种任务的执行增加了飞行员的注意力资源分配难度，从而导致飞行员过高的脑力负荷。高脑力负荷会导致视觉和听觉注意力、工作记忆以及执行能力下降，极大的增加了飞行员在执行飞行任务中做出错误决策的概率。已有研究表明，人为失误导致的飞行事故占总体飞行事故的70％-80％。因此，有必要对飞行员的脑力负荷进行科学的评估。

下文中以对飞行员的脑力负荷进行评估为例描述本实施例的原理，但可以理解的是，脑力负荷的特定应用不限于此，事实上，可以利用本实施例的评估方法对任意对象在任意场景下的脑力负荷进行评估。在不脱离本实施例所述原理的情况下，本实施例的评估方法能够应用于任意对象任意场景下的脑力负荷评估。

本实施例用于提供一种脑力负荷评估方法，基于脑电和心电，利用深度学习对飞行员脑力负荷进行评估，能够通过脑电和心电信号评估飞行员在执行飞行任务时的脑力负荷类别。如图1所示，本实施例的评估方法包括：

S1：获取被测者的脑电信号和心电信号；

具体的，可以基于模型飞行平台使用Brain Products脑电采集设备同时采集被测者的脑电信号和心电信号。本实施例并不对具体的设备类型进行限定，任何能够获取脑电信号和心电信号的设备都在本实施例的保护范围之内。

作为一种可选的实施方式，考虑到脑电信号和心电信号都比较微弱，且容易受到干扰，故在获取脑电信号和心电信号之后，执行S2和S3之前，本实施例的评估方法还可以包括：分别对脑电信号和心电信号进行预处理，得到预处理后脑电信号和预处理后心电信号，并将预处理后脑电信号作为新的脑电信号，执行S2，将预处理后心电信号作为新的心电信号，执行S3，进而通过预处理可以有效去除脑电和心电信号中的伪迹，如眼电、肌电以及工频干扰等，有助于获得较纯净的脑电信号和心电信号，从而可以提高模型评估飞行员脑力负荷的准确率。

下面结合图2分别对脑电信号和心电信号的预处理流程进行详细的介绍：

1、脑电信号的预处理：如图2(a)所示，本实施例的脑电信号的预处理使用EEGLAB工具箱，打开EEGLAB工具箱后，导入需要处理的脑电信号数据；导入电极的位置，完成通道位置的定位；然后选择FT9作为新的参考电极，完成重参考；在进行滤波时，先使用1Hz的高通滤波，再使用30Hz的低通滤波；滤波结束后，进行分段和基线校正，当脑电设备的采样率是1000Hz时，使用5000个点作为一个试次，并使用每个试次的平均值进行基线校正；再进行插值坏导，查看每个导联的波形，如果存在坏的导联，则使用插值坏导；否则无需插值，运行独立成分分析，查看每一个独立成分，识别并标记噪声成分，然后剔除噪声成分，获得较干净的脑电信号后将信号降采样到100Hz，最后将数据保存。

2、心电信号的预处理：如图2(b)所示，人体的心电信号极其微弱，一般只有0.05～4mV，典型值为1mV，且其频率范围较低，频率范围为0.1～35Hz，主要集中在5～20Hz，所以使用5-20Hz的巴特沃斯带通滤波器对原始心电信号进行滤波；当心电采样频率为1000Hz时，将心电信号以5000个点为一个试次进行分割，完成分段；然后对每个试次，使用matlab自带的detrend函数，对心电信号进行基线校正，最后保存数据。

S2：对所述脑电信号进行特征提取，得到PSD特征；

手动提取脑电信号的特征，得到PSD特征，PSD特征即为功率谱密度(powerspectral density，PSD)特征。

S3：对所述心电信号进行特征提取，得到HR特征和HRV特征；

HR特征为心率(heart rate，HR)特征，HRV特征为心率变异性(heart ratevariability，HRV)特征。

S4：以所述脑电信号、所述PSD特征、所述HR特征和所述HRV特征作为模型输入，利用评估模型得到被测者的脑力负荷类别；所述评估模型基于训练数据集训练得到；所述训练数据集包括不同类别脑力负荷各自对应的多组训练用脑电信号和训练用心电信号。

本实施例所用的评估模型为TSS-CNN模型，借助卷积神经网络的提取特征能力，使用Pytorch深度学习框架并基于卷积神经网络和注意力机制，构建时-频-空域卷积神经网络模型(temporal-spectral-spatial convolutional neural networks，TSS-CNN)。该模型能高效地学习飞行员在执行飞行任务时脑电信号和心电信号中潜在特征与飞行员脑力负荷之间的联系，以此来预测飞行员脑力负荷。

具体的，如图3所示，TSS-CNN模型包括脑电特征提取模块、心电特征提取模块和评估模块，脑电特征提取模块和心电特征提取模块均与评估模块相连接。

下面对各个模块的具体结构和功能进行详细说明：

1、脑电特征提取模块：脑电特征提取模块用于以脑电信号和PSD特征作为输入，对脑电信号的时域特征、频域特征和空间域特征进行提取，得到脑电信号的时空频特征图。进一步的，脑电特征提取模块包括时空特征提取单元、频空特征提取单元和权重分配单元，时空特征提取单元和频空特征提取单元均与权重分配单元相连接。时空特征提取单元用于以脑电信号作为输入，对脑电信号的时域特征和空间域特征进行提取，得到脑电信号的时空特征图。频空特征提取单元用于以PSD特征作为输入，对PSD特征的频域特征和空间域特征进行提取，得到脑电信号的频空特征图。权重分配单元用于对时空特征图和频空特征图进行拼接，得到第二拼接后特征图，并采用注意力机制对每个通道分配不同的权重，根据权重和第二拼接后特征图得到时空频特征图。

更为具体的，时空特征提取单元包括时域特征提取子单元和空间域特征提取子单元，时域特征提取子单元和空间域特征提取子单元相连接。时域特征提取子单元用于以脑电信号作为输入，对脑电信号的时域特征进行提取，得到脑电信号的时域特征图。空间域特征提取子单元用于以时域特征图作为输入，对时域特征图的空间域特征进行提取，得到脑电信号的时空特征图。

时域特征提取子单元包括顺序连接的若干个一维卷积池化块，每一一维卷积池化块均包括第一卷积单元和第一最大池化层。第一卷积单元包括第一卷积层、ELU激活函数和批标准化层，设置后一一维卷积池化块的特征通道的数量为当前一维卷积池化块的特征通道的数量的2倍。

空间域特征提取子单元包括顺序连接的若干个二维卷积池化块，每一二维卷积池化块均包括第二卷积单元和第二最大池化层。第二卷积单元包括第二卷积层、ELU激活函数和批标准化层，设置后一二维卷积池化块的特征通道的数量为当前二维卷积池化块的特征通道的数量的2倍。

为了缓解梯度消失问题，提高特征的利用效率，本实施例的时空特征提取单元还设计有多个跳跃连接，从而增加了后续层输入的变量，提高了网络的特征利用效率及学习效果。每一跳跃连接用于连接两个不相邻的卷积块，将跳跃连接的前端卷积块记为第一卷积块，将跳跃连接的后端卷积块记为第二卷积块，即分别将跳跃连接两端的卷积块记为第一卷积块和第二卷积块，第二卷积块综合与其相邻的前一卷积块的输出和第一卷积块的输出以作输入。由于不同卷积块输出特征图的尺寸是不同的，故对于每一跳跃连接，采用最大池化的方式对第一卷积块输出的第一特征图进行下采样，改变其尺寸，得到第二特征图，再将第二特征图和第二卷积块的前一卷积块所输出的第三特征图进行串联，得到串联后张量，并将串联后张量作为第二卷积块的输入，进而通过最大池化的方式能够使得第二特征图和第三特征图的尺寸相同。需要说明的是，卷积块包括一维卷积池化块和二维卷积池化块。

频空特征提取单元包括依次连接的平均池化层和若干个二维卷积池化块，每一二维卷积池化块均包括第二卷积单元和第二最大池化层。第二卷积单元包括第二卷积层、ELU激活函数和批标准化层，设置后一二维卷积池化块的特征通道的数量为当前二维卷积池化块的特征通道的数量的2倍。

权重分配单元包括依次连接的全局平均池化层(Global average pooling，GAP)、第三卷积层、ReLU激活函数、第三卷积层、Sigmoid激活函数、全局平均池化层和第三卷积层。利用全局平均池化层、第三卷积层、ReLU激活函数、第三卷积层、Sigmoid激活函数将获得的336个输出与336个通道的特征图分别相乘，从而获得加权后的特征图，然后再经过GAP层和第三卷积层，从而进一步提取脑电信号的特征。

当前基于脑电信号对飞行员脑力负荷进行评估的方法中，对脑电信号的特征提取要么是通过手动提取脑电信号的特征(如：提取脑电信号能量、功率谱密度以及样本熵等特征)，利用该手动提取得到的特征进行后续脑力负荷的评估；要么是将原始脑电信号输入至卷积神经网络，基于卷积神经网络自动提取脑电信号的特征，利用该自动提取得到的特征进行后续脑力负荷的评估。且现有基于卷积神经网络对飞行员脑力负荷进行评估的方法中，并未同时考虑脑电信号的时域、频域和空间域特征，也没有添加注意力机制实现对感兴趣特征的集中关注。而本实施例通过上述脑电特征提取模块的设置方式，将脑电信号手动提取得到的PSD特征和脑电信号同时作为模型输入，能够得到脑电信号的时域、频域以及空间域特征。在模型中设计了注意力机制，为不同通道的特征进行加权，能够获得更多感兴趣的特征，突出了对脑力负荷评估有益的特征。且还设计了多个跳跃连接，能够缓解梯度消失问题，提高特征的利用效率。

2、心电特征提取模块：心电特征提取模块用于以HR特征和HRV特征作为输入，得到心电信号的心电特征图。心电特征提取模块包括一Linear层和一ReLU激活函数。

3、评估模块：评估模块用于将时空频特征图和心电特征图进行拼接，得到第一拼接后特征图，并根据第一拼接后特征图得到脑力负荷类别。评估模块包括一Linear层和一Softmax激活函数。

下面，如图4所示，给出TSS-CNN模型的网络结构的一个具体示例，以对TSS-CNN模型进行进一步的详细说明。但需要说明的是，图4仅为一个具体示例，在实际应用时，可以对TSS-CNN模型的层数进行变动。

本实施例中的评估模型使用固定大小的二维原始脑电信号和脑电信号的PSD特征以及心电信号的HR特征和HRV特征作为模型的输入。

输入原始脑电信号后，将经过4个重复的一维卷积池化块，每个一维卷积池化块均包含一个第一卷积单元和一个1×2最大池化层(即第一最大池化层)，第一卷积单元包含一个1×3卷积层(即第一卷积层)，一个ELU激活函数以及一个批标准化层。在第一个一维卷积池化块中，特征通道的数量被设置为8，并在进入到下一个一维卷积池化块之后对其进行加倍，以获得足够丰富的脑电信号信息表征。该部分网络结构为时域特征提取子单元的一个示例，主要用于提取脑电信号的时域特征。

为提取脑电信号的空间域特征，在该网络结构中设计了2个重复的二维卷积池化块，每个二维卷积池化块包含一个第二卷积单元和一个2×2最大池化层(即第二最大池化层)，第二卷积单元包含一个3×3卷积层(即第二卷积层)，一个ELU激活函数以及一个批标准化层。在第一个二维卷积池化块中，特征通道的数量被设置为64，第二个二维卷积池化块中特征通道的数量被设置为128。该部分网络结构为空间域特征提取子单元的一个示例，可提取脑电信号时域和空间域的特征。

另外，为缓解梯度消失问题，提高特征的利用效率，本实施例设计了3个跳跃连接，从而增加了后续层输入的变量，提高了网络的特征利用效率及学习效果。每个跳跃连接点后的卷积块都将综合之前所有卷积块输出特征映射的信息以作输入。由于不同卷积块输出特征图的尺寸是不同的，所以使用最大池化的方式对特征图进行下采样，改变其尺寸，然后再将其与其他卷积块输出的特征图串联成一个单独的张量，作为当前卷积块的输入。

脑电信号的频率特征是脑电信号分析中非常重要的一种特征，所以在TSS-CNN模型中设计了脑电信号的PSD特征作为模型的第二输入，输入的PSD特征首先经过一个1×4平均池化层，然后经过2个重复的二维卷积池化块，每个二维卷积池化块包含一个第二卷积单元和一个2×2最大池化层(即第二最大池化层)，第二卷积单元包含一个3×3卷积层(第二卷积层)，一个ELU激活函数以及一个批标准化层。在第一个二维卷积池化块中，特征通道的数量被设置为64，第二个二维卷积池化块中特征通道的数量为128。该部分网络结构为频空特征提取单元的一个示例，可提取脑电信号的频域和空间域特征。

为综合考虑脑电时域、频域和空间域特征，将原始脑电信号和PSD两个输入经过卷积池化后的特征图拼接起来，并使用注意力机制为每个通道分配不同的权重，权重计算部分共包含：一个全局平均池化层，两个卷积核大小为1×1的卷积层(即第三卷积层)，一个ReLU激活函数和一个Sigmoid激活函数，将获得的336个输出与336个通道的特征图分别相乘，从而获得加权后的特征图。然后再经过GAP层和卷积核大小为1×1的卷积层(即第三卷积层)，从而进一步提取脑电信号的特征。

因为脑力负荷具有多维性，单一生理指标可能只对其中一个或几个维度敏感，无法全面评估脑力负荷，故在TSS-CNN结构的最后一层，加入了被测者的HR和HRV特征，共包含两部分，一个Linear层和一个ReLU激活函数。

将脑电信号输入和心电特征输入获得的特征向量拼接，再经过一个Linear层和一个Softmax激活函数，从而获得最终的脑力负荷评估结果。

需要说明的是，本实施例中池化层的步长默认等于其核尺寸大小，卷积层的步长默认为1。

在得到上述TSS-CNN模型后，在此对TSS-CNN模型的训练过程进行说明：

1、获取训练数据集；所述训练数据集包括不同类别脑力负荷各自对应的多组训练用脑电信号和训练用心电信号。具体的，脑力负荷的类别包括低脑力负荷、中脑力负荷和高脑力负荷三种，具体可通过被试填写的NASA量表得到被试此时的脑力负荷类别；然后利用脑电采集设备获取在每一脑力负荷类别下的脑电信号，利用心电采集设备获取在每一脑力负荷类别下的心电信号，进而得到低脑力负荷、中脑力负荷和高脑力负荷三种脑力负荷类别各自对应的多组训练用脑电信号和训练用心电信号。然后对训练用脑电信号进行预处理以及特征提取，得到训练用PSD特征，对训练用心电信号进行预处理以及特征提取，得到训练用HR特征和训练用HRV特征，进而得到训练数据集。

2、基于训练数据集对构建好的TSS-CNN模型进行训练，得到训练好的评估模型。具体的，将训练数据集划分为训练集和验证集，以训练集作为输入，通过反向传播及梯度下降算法对TSS-CNN模型进行训练学习，然后以验证集作为输入，使用五折交叉验证调整模型中的超参数，最后选取预测精度高，泛化性能强的模型参数进行保存，即可得到评估模型。

作为一种可选的实施方式，由于不同被测者的生理信号存在差异，故在以脑电信号、PSD特征、HR特征和HRV特征作为模型输入之前，本实施例的评估方法还包括：利用被测者对应的校正数据集对评估模型进行再训练，得到微调后评估模型，并以微调后评估模型作为新的评估模型，进而能够根据不同的被测者对评估模型进行个性化的校正，进一步提高评估精度。校正数据集包括被测者不同类别脑力负荷各自对应的多个校正用脑电信号和校正用心电信号。

如图5所示，下面给一具体实验示例以对本实施例的模型训练和模型测试过程进行进一步的说明：

1、原始脑电和心电信号：本实施例的数据基于模拟飞行平台使用Brain Products脑电采集设备采集，其中包含飞行员的低脑力负荷、中脑力负荷以及高脑力负荷三种脑力负荷类别。实验共采集20名被试的数据，选取15名被试的数据作为训练集和验证集，另外5名被试的数据作为测试集。被试的数据包括被试在三种类别脑力负荷下的多组脑电信号和心电信号。

2、对原始脑电和心电信号进行预处理和特征提取，构成训练集、验证集和测试集。此时，被试的数据包括脑电信号、PSD特征、HR特征和HRV特征。

3、以训练集和验证集作为输入，使用五折交叉验证，通过反向传播及梯度下降算法对TSS-CNN模型进行训练学习，调整模型中的超参数，并选取预测精度高，泛化性能强的模型参数进行保存。

4、对将要测试的被试，每名被试的数据采集时间为一个小时，选取该名被试15分钟的脑电和心电数据作为模型校正数据，校正数据中三种脑负荷类别均等分，校正数据包含五分钟低脑力负荷，五分钟中脑力负荷，五分钟高脑力负荷，共计15分钟，其余45分钟数据用于模型测试。将校正数据输入到已经训练好的模型中，对已训练好的模型的最后一层进行重新训练，选取预测精度高，泛化性能强的模型参数进行保存。

5、对每名需要测试的被试都进行个性化的校正，最终获得每名被测被试的个性化脑力负荷模型，以被试的其余45分钟数据作为输入，利用该个性化脑力负荷模型进行脑力负荷评估，得到被试的脑力负荷评估结果。

深度学习方法可以基于生理信号构建一个飞行员脑力负荷评估模型，以此实现对执行任务时的飞行员脑力负荷评估。本实施例基于脑电和心电信号评估飞行员脑力负荷，该方法能够从经过简单预处理和特征提取的脑电信号中，提取脑电信号的时域、频域和空间域的高维复杂特征，并综合考虑了飞行员的心率(heart rate，HR)和心率变异性(heartrate variability，HRV)，且该方法通过深度学习方法建立了生理信号特征与飞行员脑力负荷关系的高维模型，从而实现通过脑电和心电信号来评估飞行员脑力负荷的功能，即实现了对飞行员脑力负荷的综合评估。本方法评估准确率高，泛化能力强且具有实用性。

与现有技术相比，本实施例所用的评估方法的优势如下：本实施例使用深度学习方法，基于原始脑电信号、脑电信号的PSD特征以及心电信号的HR特征和HRV特征对飞行员脑力负荷进行评估，考虑了心电信号对脑力负荷评估的影响，能够对脑力负荷进行综合评估且提高了评估精度。使用深度学习的方法，可以仅通过脑电和心电信号就对飞行员脑力负荷进行准确评估，该方法有助于提高飞行员的飞行安全，也可用于飞行训练以及座舱视觉显示界面的优化设计等。且所提出的方法完全基于生理数据，是完全客观的，避免了飞行员主观测评过程中所造成的评估差异，另外，本评估方法借助计算机强大的计算能力，能够快速准确的对飞行员脑力负荷进行实时准确评估。在评估过程中，构建了TSS-CNN网络结构，使用脑电和心电信号有效评估出飞行员的脑力负荷，综合考虑了脑电信号的时域、频域以及空间域特征，在模型中设计了注意力机制，为不同通道的特征进行加权，突出了对脑力负荷评估有益的特征，从而获得更多感兴趣的特征，且为缓解梯度消失问题，提高特征的利用效率，设计了3个跳跃连接。

实施例2：

如图6所示，本实施例用于提供一种脑力负荷评估装置，所述评估装置包括：

获取模块M1，用于获取被测者的脑电信号和心电信号；

特征提取模块M2，用于对所述脑电信号进行特征提取，得到PSD特征；对所述心电信号进行特征提取，得到HR特征和HRV特征；

输出模块M3，用于以所述脑电信号、所述PSD特征、所述HR特征和所述HRV特征作为模型输入，利用评估模型得到被测者的脑力负荷类别；所述评估模型基于训练数据集训练得到；所述训练数据集包括不同类别脑力负荷各自对应的多组训练用脑电信号和训练用心电信号。

实施例3：

本实施例用于提供一种脑力负荷评估设备，包括：

处理器；以及

存储器，其中存储计算机可读程序指令，

其中，在所述计算机可读程序指令被所述处理器运行时执行如实施例1所述的评估方法。

实施例4：

本实施例用于提供一种非易失性的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例1所述评估方法的步骤。

技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。

本说明书中每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种脑力负荷评估方法，其特征在于，所述评估方法包括：

获取被测者的脑电信号和心电信号；

对所述脑电信号进行特征提取，得到PSD特征；

对所述心电信号进行特征提取，得到HR特征和HRV特征；

以所述脑电信号、所述PSD特征、所述HR特征和所述HRV特征作为模型输入，利用评估模型得到被测者的脑力负荷类别；所述评估模型基于训练数据集训练得到；所述训练数据集包括不同类别脑力负荷各自对应的多组训练用脑电信号和训练用心电信号；

所述评估模型采用TSS-CNN模型；所述TSS-CNN模型包括脑电特征提取模块、心电特征提取模块和评估模块；所述脑电特征提取模块和所述心电特征提取模块均与所述评估模块相连接；

所述脑电特征提取模块用于以所述脑电信号和所述PSD特征作为输入，对脑电信号的时域特征、频域特征和空间域特征进行提取，得到脑电信号的时空频特征图；

所述心电特征提取模块用于以所述HR特征和所述HRV特征作为输入，得到心电信号的心电特征图；

所述评估模块用于将所述时空频特征图和所述心电特征图进行拼接，得到第一拼接后特征图，并根据所述第一拼接后特征图得到脑力负荷类别；

所述脑电特征提取模块包括时空特征提取单元、频空特征提取单元和权重分配单元；所述时空特征提取单元和所述频空特征提取单元均与所述权重分配单元相连接；

所述时空特征提取单元用于以所述脑电信号作为输入，对所述脑电信号的时域特征和空间域特征进行提取，得到脑电信号的时空特征图；

所述频空特征提取单元用于以所述PSD特征作为输入，对所述PSD特征的频域特征和空间域特征进行提取，得到脑电信号的频空特征图；

所述权重分配单元用于对所述时空特征图和所述频空特征图进行拼接，得到第二拼接后特征图，并采用注意力机制为每个通道分配不同的权重，根据所述权重和所述第二拼接后特征图得到时空频特征图；

所述时空特征提取单元包括时域特征提取子单元和空间域特征提取子单元；所述时域特征提取子单元和所述空间域特征提取子单元相连接；

所述时域特征提取子单元用于以所述脑电信号作为输入，对所述脑电信号的时域特征进行提取，得到脑电信号的时域特征图；

所述空间域特征提取子单元用于以所述时域特征图作为输入，对所述时域特征图的空间域特征进行提取，得到脑电信号的时空特征图。

2.根据权利要求1所述的评估方法，其特征在于，在对所述脑电信号进行特征提取之前，所述评估方法还包括：分别对所述脑电信号和所述心电信号进行预处理，得到预处理后脑电信号和预处理后心电信号，并将所述预处理后脑电信号作为新的脑电信号，将所述预处理后心电信号作为新的心电信号。

3.根据权利要求1所述的评估方法，其特征在于，所述时域特征提取子单元包括顺序连接的若干个一维卷积池化块；所述一维卷积池化块包括第一卷积单元和第一最大池化层；

所述空间域特征提取子单元包括顺序连接的若干个二维卷积池化块；所述二维卷积池化块包括第二卷积单元和第二最大池化层；

所述时空特征提取单元还包括多个跳跃连接；每一所述跳跃连接用于连接两个不相邻的卷积块，将所述跳跃连接的前端卷积块记为第一卷积块，将所述跳跃连接的后端卷积块记为第二卷积块；对于每一所述跳跃连接，采用最大池化的方式对所述第一卷积块输出的第一特征图进行下采样，得到第二特征图；将所述第二特征图和所述第二卷积块的前一卷积块所输出的第三特征图进行串联，得到串联后张量，并将所述串联后张量作为所述第二卷积块的输入；所述卷积块包括一维卷积池化块和二维卷积池化块。

4.根据权利要求1所述的评估方法，其特征在于，在以所述脑电信号、所述PSD特征、所述HR特征和所述HRV特征作为模型输入之前，所述评估方法还包括：利用所述被测者对应的校正数据集对所述评估模型进行再训练，得到微调后评估模型，并以所述微调后评估模型作为新的评估模型；所述校正数据集包括所述被测者不同类别脑力负荷各自对应的多个校正用脑电信号和校正用心电信号。

5.一种脑力负荷评估装置，其特征在于，所述评估装置包括：

获取模块，用于获取被测者的脑电信号和心电信号；

特征提取模块，用于对所述脑电信号进行特征提取，得到PSD特征；对所述心电信号进行特征提取，得到HR特征和HRV特征；

输出模块，用于以所述脑电信号、所述PSD特征、所述HR特征和所述HRV特征作为模型输入，利用评估模型得到被测者的脑力负荷类别；所述评估模型基于训练数据集训练得到；所述训练数据集包括不同类别脑力负荷各自对应的多组训练用脑电信号和训练用心电信号；

所述评估模型采用TSS-CNN模型；所述TSS-CNN模型包括脑电特征提取模块、心电特征提取模块和评估模块；所述脑电特征提取模块和所述心电特征提取模块均与所述评估模块相连接；

所述脑电特征提取模块用于以所述脑电信号和所述PSD特征作为输入，对脑电信号的时域特征、频域特征和空间域特征进行提取，得到脑电信号的时空频特征图；

所述心电特征提取模块用于以所述HR特征和所述HRV特征作为输入，得到心电信号的心电特征图；

所述评估模块用于将所述时空频特征图和所述心电特征图进行拼接，得到第一拼接后特征图，并根据所述第一拼接后特征图得到脑力负荷类别；

所述脑电特征提取模块包括时空特征提取单元、频空特征提取单元和权重分配单元；所述时空特征提取单元和所述频空特征提取单元均与所述权重分配单元相连接；

所述时空特征提取单元用于以所述脑电信号作为输入，对所述脑电信号的时域特征和空间域特征进行提取，得到脑电信号的时空特征图；

所述频空特征提取单元用于以所述PSD特征作为输入，对所述PSD特征的频域特征和空间域特征进行提取，得到脑电信号的频空特征图；

所述权重分配单元用于对所述时空特征图和所述频空特征图进行拼接，得到第二拼接后特征图，并采用注意力机制为每个通道分配不同的权重，根据所述权重和所述第二拼接后特征图得到时空频特征图；

所述时空特征提取单元包括时域特征提取子单元和空间域特征提取子单元；所述时域特征提取子单元和所述空间域特征提取子单元相连接；

所述时域特征提取子单元用于以所述脑电信号作为输入，对所述脑电信号的时域特征进行提取，得到脑电信号的时域特征图；

所述空间域特征提取子单元用于以所述时域特征图作为输入，对所述时域特征图的空间域特征进行提取，得到脑电信号的时空特征图。

6.一种脑力负荷评估设备，其特征在于，包括：

处理器；以及

存储器，其中存储计算机可读程序指令，

其中，在所述计算机可读程序指令被所述处理器运行时执行如权利要求1-4任一项所述的评估方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4任一项所述评估方法的步骤。

Images