CN115813408A

CN115813408A - 一种用于脑电信号分类任务的Transformer编码器自监督学习方法

Info

Publication number: CN115813408A
Application number: CN202211493049.6A
Authority: CN
Inventors: 伍冬睿; 彭睿旻
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2022-11-25
Filing date: 2022-11-25
Publication date: 2023-03-21

Abstract

本发明公开了一种用于脑电信号分类任务的Transformer编码器自监督学习方法，该方法针对脑机接口中基于头皮脑电信号分类任务，根据人头皮脑电特性引入多层小波包重构技术将脑电数据信号重构为不同频段的子波信号，并设计了一种基于Transformer编码器的自监督预训练策略，使编码器在没有标签的情况下，能够生成对不同频段的脑电信号数据更精细、更有效的多尺度精细化特征表示，提升编码器对头皮脑电信号的特征表示学习效果并增加可解释性，能够为脑机接口分类任务有效地预训练特征提取器，以更好地服务于下游分类任务。

Description

一种用于脑电信号分类任务的Transformer编码器自监督学习方法

技术领域

本发明属于脑机接口领域，更具体地，涉及一种用于脑电信号分类任务的Transformer编码器自监督学习方法。

背景技术

脑机接口是一种为大脑和外部设备提供直接交互通道的系统，基于脑电的脑机接口系统是指人佩戴装有电极的脑电帽，通过电极采集大脑的脑电波(EEG，Electroencephalogram)信号，然后对脑电信号进行分析和解码，从而判断出大脑的状态或者意念，进行疾病检测或者进一步地，通过脑电信号控制外部设备。

目前，脑机接口技术遇到的主要挑战之一是在实际应用场景中很难获得足够多的高质量带标注数据，这使得采用计算机视觉、自然语言处理等领域中被广泛研究的大参数规模神经网络难以提高脑机接口分类任务准确性。因此，自监督学习通过对无标注数据学习潜在特征表示帮助下游任务进行分类，是解决这个问题的有效方法之一。自监督学习主要分为预训练阶段和微调阶段，良好的预训练方法的设计是从数据中提取出有效特征表示的关键。当前，对比学习为最常见的预训练方法。然而，对比学习方法往往基于如下两种假设：(1)相同数据样本的增强视图在潜在表示空间中应该拥有一致的语义信息；(2)为学习有效的特征表示，构建有效的数据增强方式。而不同于图像、文本等拥有直观、稠密信息的数据，脑电信号包含的信息量稀疏且不直观。基于对比学习的自监督预训练方法需要设计针对不同任务的数据增强方式，这将引入复杂的超参数调节步骤。此外，带通滤波作为常见的脑电信号数据增强方式，但由于脑电有效频段是随任务变化的，因此滤除一部分频段后的信号并不能保证与原信号拥有一致的语义信息。近年来，除对比学习外，自编码模型也是新兴的一类自监督预训练算法，在计算机视觉和自然语言处理等领域受到广泛的关注和研究。相较于对比学习，自编码模型的简单性和对特定于数据集的增强工程的依更小，更适用于脑机接口任务。

在基于EEG的脑机接口任务中，不同于计算机视觉任务中所使用的图像数据存在大量的空间冗余，EEG信号非线性性更强而结构自相似性相比于图像数据更弱，因此针对图像等数据的自监督学习方法在脑电任务上常常面临预训练模型损失难以收敛，无法得到良好的预训练模型，而导致自监督学习算法在脑电任务中难以实施的困难。因此针对图像等数据的自监督学习方法难以适用于脑机接口任务。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种用于脑电信号分类任务的Transformer编码器自监督学习方法，在预训练过程中，能够使Transformer编码器学习到更有效的多尺度的精细化特征表示，从而更好地服务于下游分类任务。

为实现上述目的，按照本发明的第一方面，提供了一种用于脑电信号分类任务的Transformer编码器预训练方法，包括：

S1，对EEG信号进行小波包分解与重构，得到多个频段的子波信号；

S2，分别将各子波信号切分为等尺寸的信号片段，并根据同一随机掩码序列掩盖至少一个信号片段；

S3，将完成掩码操作的各子波信号分别输入至与其一一对应的Transformer编码器及解码器进行编解码后，按照所述EEG信号的采样点位进行求和，得到EEG重构信号；以所述EEG重构信号与EEG信号之间的欧式距离作为预训练损失，对所述Transformer编码器及解码器进行预训练。

按照本发明的第二方面，提供了一种脑电信号分类模型的训练方法，所述脑电信号分类模型包括采用第一方面所述的预训练方法得到的预训练好的Transformer编码器及与其一一对应连接的分类器；所述方法包括：

A1，将所述预训练好的Transformer编码器作为初始化的特征提取器，分别将各子波信号输入至与其一一对应的特征提取器得到特征向量，并输入至对应的分类器中，得到分类概率；

A2，基于可学习权重对各子波信号的分类概率进行加权求和，得到模型分类结果；以所述模型分类结果与样本真实标签之间的交叉熵损失作为训练损失，对所述脑电信号分类模型进行训练。

按照本发明的第三方面，提供了一种脑电信号分类方法，其特征在于，包括：将待分类的EEG信号输入至采用第二方面所述的训练方法得到的训练好的脑电信号分类模型，得到分类结果。

按照本发明的第四方面，提供了一种用于脑电信号分类任务的Transformer编码器预训练装置，包括：

小波包分解与重构模块，用于对EEG信号进行小波包分解与重构，得到多个频段的子波信号；

掩码操作模块，用于分别将各子波信号切分为等尺寸的信号片段，并根据同一随机掩码序列掩盖至少一个信号片段；

预训练模块，用于将完成掩码操作的各子波信号分别输入至与其一一对应的Transformer编码器及解码器进行编解码后，按照所述EEG信号的采样点位进行求和，得到EEG重构信号；以所述EEG重构信号与EEG信号之间的欧式距离作为预训练损失，对所述Transformer编码器及解码器进行预训练。

按照本发明的第五方面，提供了一种脑电信号分类模型的训练装置，所述脑电信号分类模型包括采用第四方面所述的预训练装置得到的预训练好的Transformer编码器及与其一一对应连接的分类器；所述装置包括：

分类概率获取模块，用于将预训练好的Transformer编码器作为初始化的特征提取器，分别将各子波信号输入至与其一一对应的特征提取器得到特征向量，并输入至对应的分类器中，得到分类概率；

训练模块，用于基于可学习权重对各子波信号的分类概率进行加权求和，得到模型分类结果；以所述模型分类结果与样本真实标签之间的交叉熵损失作为训练损失，对所述脑电信号分类模型进行训练。

按照本发明的第六方面，提供了一种脑电信号分类装置，包括：将待分类的EEG信号输入至采用第五方面所述的训练装置得到的训练好的脑电信号分类模型，得到分类结果。

按照本发明的第七方面，提供了一种计算机存储介质，所述计算机存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行如第一方面所述的方法，或执行如第二方面所述的方法，或执行如第三方面所述的方法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明提供的用于脑电信号分类任务的Transformer编码器预训练方法，针对脑机接口中基于头皮脑电信号分类任务，根据人头皮脑电特性引入多层小波包重构技术将脑电数据信号重构为不同频段的子波信号，并设计了一种基于Transformer编码器的自监督预训练策略，使编码器在没有标签的情况下，能够生成对不同频段的脑电信号数据更精细、更有效的多尺度精细化特征表示，提升编码器的特征表示学习效果并增加可解释性，能够为脑机接口分类任务训练出有效的特征提取器，以更好地服务于下游分类任务。

2、本发明提供的脑电信号分类模型的训练方法，针对下游分类任务，以集成学习的方式有监督地训练已经被预训练的编码器和下游分类器，使之学习脑电信号数据与对应标签的关系，并通过集成多尺度预测标签信息的微调策略，配套提升针对下游任务的特征提取能力与分类性能。

附图说明

图1为本发明实施例提供的用于脑电信号分类任务的Transformer编码器预训练方法及脑电信号分类模型的训练方法流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

由于脑电信号信息量稀疏，且数据结构相似性低，非线性性高，现有的针对图像数据的自监督学习方法往往难以训练，从而不能得到有效的特征表示，影响下游任务的性能。

基于此，本发明实施例提供一种用于脑电信号分类任务的Transformer编码器预训练方法，如图1中的“预训练阶段”所示，包括：

S1，对EEG信号进行小波包分解与重构，得到多个频段的子波信号。

具体地，按头皮脑电节律对应频段，对原始EEG信号进行小波包分解及重构，得到各个频段的子波信号。

优选地，所述对EEG信号进行小波包分解与重构之前，还包括：

对EEG信号进行预处理；所述预处理包括带通滤波和去趋势及通道重参考。

具体地，首先对采集的EEG数据采用0-128Hz带通滤波滤波器和去趋势方法，去除采集的原始信号中所存在的高频噪声以及其他与EEG无关伪迹，以提高EEG数据信噪比，避免真实的EEG信号被淹没。进一步地，对上述已完成处理的EEG信号进行通道重参考，即通过通道组合使得重构EEG信号包含两个电极位置的脑活动信息，减少信息的损失。

优选地，所述多个频段包括δ、θ、α、β、γ及其他高频分量频段中的至少一个；其中，所述其他高频分量频段的范围为64-128Hz。

具体地，根据人头皮脑电信号的节律，选择δ(0-4Hz)，θ(4-8Hz)，α(8-16Hz)，β(16-32Hz)，γ(32-64Hz),以及其他高频分量频段(64-128Hz)的频段构造小波包，将上述经预处理和重参考后的EEG数据X＝{x₁,…,x_n}通过小波包分解与重构，得到对应于各个频段的重构子波信号

其中，n为EEG信号的采样点数。

S2，分别将各子波信号切分为等尺寸的信号片段，并根据同一随机掩码序列掩盖至少一个信号片段。

优选地，所述分别将各子波信号切分为等尺寸的信号片段之后，还包括：

将各子波信号的信号片段按照相同的线性映射方式进行映射，用于将原数据转换为预设维度(例如：64维度)的嵌入表示，以适用于Transformer编码器。

具体地，按相同长度m将各个子波信号按照无重叠线性映射的方式切分成

个片段组成片段序列赋予其可训练位置编码，用于标记其序列顺序。同时按预设的掩码概率(例如：10％)随机生成长度为

的掩码序列

用以指示各子波信号的第k个片段是否被掩盖。

S3，将进行掩码操作后的各子波信号分别输入至与其一一对应的Transformer编码器及与之连接的解码器得到解码重构的各子波信号，并按照对应采样点位，将所有解码重构的各子波信号求和，得到EEG重构信号；其中，所述Transformer编码器及解码器一一对应连接；以所述EEG重构信号与EEG信号之间的欧式距离作为预训练损失，对所述Transformer编码器及解码器进行预训练，以使预训练好的Transformer编码器能够服务于下游分类任务，用于对EEG信号进行特征提取。

具体地，针对各个子波，分别初始化一个Transformer编码器

以及与之对应的Transformer解码器

按上述掩码序列对各子波的对应片段进行掩盖，并将生成的序列输入至各子波对应的Transformer编码器中，得到全部(无论是否被掩盖的)片段的隐空间特征表示。

将生成的隐空间特征表示输入对应各个子波的Transformer解码器

中，对应解码重构出各个子波的信号

根据小波包变换的特性，将所有重构的子波信号求和得到重构的EEG信号

构造预训练任务：不断迭代训练以最小化预训练损失：

即最小化重构EEG信号S和原始EEG信号X之间的欧式距离，更新各编码器和解码器参数。

当进行了指定的训练轮数(如第100轮)，则保存当前模型参数作为预训练模型。

进一步地，本发明实施例提供一种脑电信号分类模型的训练方法，如图1中的“微调阶段”所示，将上述保存的预训练模型中各个子波的编码器部分作为下游任务的特征提取器，并连接分类器，利用下游任务的真实标签信息和各个子波的集成预测标签信息，进行有监督训练，再进一步更新这些编码器和分类器的模型参数，实现微调，服务于下游任务；

所述脑电信号分类模型包括采用上述任一实施例所述的预训练方法得到的预训练好的Transformer编码器及与其一一对应连接的分类器。

所述方法包括：

A1，将所述预训练好的Transformer编码器作为初始化的特征提取器，分别将各子波信号输入至与其一一对应的特征提取器得到特征向量，并输入至对应的分类器中，得到分类概率。

具体地，加载上述预训练模型，删去模型中解码器部分只保留编码器结构，将预训练完成的各子波的编码器作为初始化的特征提取器，并与分类器一一对应连接，得到所述脑电信号分类模型。

将经预处理后的EEG信号各频段的子波输入至经过预训练的编码器中，得到隐空间特征表示，并将其输入至与各编码器对应的分类器中，得到对应各个子波的被分类器分于各类的概率。

优选地，所述可学习权重初始化为归一化的相同权重，在训练过程中不断迭代更新。

具体地，用可学习权重对各频段子波的分类器预测概率进行加权求和，得到最终的模型分类结果，其中，可学习权重初始化为归一化的相同权重，在后续训练过程中迭代更新；并计算模型分类结果和样本真实标签之间的交叉熵损失。

不断训练模型，更新权重、编码器和分类器的参数，直至收敛，得到适用于下游具体的分类任务的微调后模型。

进一步地，本发明实施例提供一种脑电信号分类方法，包括：将待分类的EEG信号输入至采用上述任一实施例所述的训练方法得到的训练好的脑电信号分类模型，得到分类结果。

优选地，将所述待分类的EEG信号输入至所述训练好的脑电信号分类模型之前，还包括：对所述待分类的EEG信号进行预处理。

本发明实施例提供一种用于脑电信号分类任务的Transformer编码器预训练装置，包括：

掩码操作模块，用于按照相同的方式分别将各子波信号切分为尺寸相同的信号片段，并掩盖任一信号片段；

预训练模块，用于将完成掩码操作的各子波信号分别输入至与其一一对应的Transformer编码器及解码器进行编解码后，按照所述EEG信号的采样点位进行求和，得到EEG重构信号；以所述EEG重构信号与EEG信号之间的欧式距离作为预训练损失，对所述Transformer编码器及解码器进行预训练，以使预训练好的Transformer编码器能够服务于下游分类任务。

本发明实施例提供一种脑电信号分类模型的训练装置，所述脑电信号分类模型包括采用上述实施例所述的预训练装置得到的预训练好的Transformer编码器及与其一一对应连接的分类器；

所述装置包括：

本发明实施例提供一种脑电信号分类装置，包括：将待分类的EEG信号输入至采用上述实施例所述的训练装置得到的训练好的脑电信号分类模型，得到分类结果。

本发明实施例提供一种计算机存储介质，所述计算机存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行如上述任一实施例所述的用于脑电信号分类任务的Transformer编码器预训练方法，或者执行如上述任一实施例所述的脑电信号分类模型的训练方法，或执行如上述实施例所述的脑电信号分类方法。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种用于脑电信号分类任务的Transformer编码器预训练方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述多个频段包括δ、θ、α、β、γ或其他高频分量中的至少两个；其中，所述其它高频分量的频段范围为64-128Hz。

3.如权利要求1所述的方法，其特征在于，所述对EEG信号进行小波包分解与重构之前，还包括：

对EEG信号进行预处理；所述预处理包括使用带通滤波和去趋势以去除伪迹，并进行通道重参考；

所述分别将各子波信号切分为等尺寸的信号片段之后，还包括：

将各子波信号的信号片段按照相同的线性映射方式进行映射。

4.一种脑电信号分类模型的训练方法，其特征在于，所述脑电信号分类模型包括采用权利要求1-3任一项所述的预训练方法得到的预训练好的Transformer编码器及与其一一对应连接的分类器；所述方法包括：

5.如权利要求4所述的方法，其特征在于，所述可学习权重初始化为归一化的相同权重，在训练过程中不断迭代更新。

6.一种脑电信号分类方法，其特征在于，包括：将待分类的EEG信号输入至采用权利要求4-5任一项所述的训练方法得到的训练好的脑电信号分类模型，得到分类结果。

7.一种用于脑电信号分类任务的Transformer编码器预训练装置，其特征在于，包括：

8.一种脑电信号分类模型的训练装置，其特征在于，所述脑电信号分类模型包括采用权利要求7所述的预训练装置得到的预训练好的Transformer编码器及与其一一对应连接的分类器；所述装置包括：

9.一种脑电信号分类装置，其特征在于，包括：将待分类的EEG信号输入至采用权利要求8所述的训练装置得到的训练好的脑电信号分类模型，得到分类结果。

10.一种计算机存储介质，所述计算机存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-3任一所述的方法，或执行如权利要求4-5任一所述的方法，或执行如权利要求6所述的方法。