CN117195040A - 一种基于静息态脑电数据校准的脑机接口迁移学习方法 - Google Patents

Abstract

本发明公开了一种基于静息态脑电数据校准的脑机接口迁移学习方法，属于脑电解码领域，包括以下步骤：计算源域数据和目标域数据的黎曼均值；采用平行移动算法，根据源域数据的黎曼均值计算源域PT变化矩阵，通过源域PT变化矩阵估计目标域测试数据的黎曼均值，对源域数据和目标域数据做域混合，估计全局总黎曼均值；采用平行移动算法，将源域数据和目标域数据移动到全局总黎曼均值的切空间并做投影，分别得到各自的切向量；将切向量化的目标域测试数据带入切向量化的源域数据训练好的分类器中得到分类结果。避免了利用测试数据对分类器进行基于目标类的重复训练，且能够实现对测试数据的在线实时目标类分类，在跨试次、跨被试方面有巨大潜力。

Description

一种基于静息态脑电数据校准的脑机接口迁移学习方法

技术领域

本发明涉及脑电解码技术领域，尤其涉及一种基于静息态脑电数据校准的脑机接口迁移学习方法。

背景技术

基于脑电图(electroencephalogram，EEG)的脑机接口技术能通过无创的手段从头皮提取出有用的信号成分，然后转化为控制指令与外界交互。传统脑机接口方法的局限之一在于：不同试次、不同被试间的脑电数据分布差异巨大，导致每个被试每次开始实验时都需要花费较长时间进行模型训练。

针对以上问题，迁移学习方法能起到明显的改善效果。根据跨试次、跨被试数据之间的共同特征，迁移学习方法可以减少数据校准阶段所需目标域测试数据的样本量，从而减少训练所需时间。然而，现有的迁移学习方法都只能起到减少训练时间的作用，无法完全避免重复的训练阶段。

平行移动算法(parrallel transport,PT)是一种典型的域混合的迁移学习方法，被广泛应用于减少校准阶段所需样本量和时间。作为黎曼几何中的一种矩阵变换方法，平行移动通过使数据沿测地线移动，实现不同局部(域)数据的域混合，进而通过数据切向量化，以适用于各种分类器。

期刊《IEEE Transactions on Signal Processing》第67卷第7期中刊登的论文文献《Parallel transport on the cone manifold of SPD matrices for domainadaptation》提出了在正定流形中进行PT算法的迁移方法，具体为：计算源域和目标域的域黎曼均值；基于所得域黎曼均值求总黎曼均值；从域黎曼均值到总黎曼均值邻域做平行移动，得到变化矩阵；根据变化矩阵，将两个域的域黎曼均值平行移动到总黎曼均值的邻域中，实现域混合；将所有数据投影到总黎曼均值的切空间中进行切向量化；最后再用其中源域的数据训练支持向量机，得到迁移学习的模型，该模型可以用于目标域数据的分类。但是，该论文公开的方法存在的技术问题为：该算法流程中，为了计算每个域各自的黎曼均值，需要预先知道每个域的数据分布，因此可用于EEG数据采集结束后的离线分析，但不适合在线分析，使得难以用于脑电数据的在线分类。一种通常的改进是通过部分数据来估计该域的黎曼均值，能够达到减少校准模型所需样本量的目的，但在每次实时控制前需要先进行一段时间目标域数据的采集仍是不可避免的。

公开号为CN112580436A的专利文献公开了一种基于黎曼流形坐标对齐的脑电信号域适应方法，包括以下步骤：首先对采集到的脑电数据进行去均值、滤波、归一化等预处理；然后使用协方差矩阵对其进行处理，将脑电数据转化为对称正定(SPD)矩阵；根据对称正定矩阵构建黎曼流形空间；接着，将流形空间中的脑电数据点映射到对应的切线空间中进行坐标对齐；最后，将对齐后的脑电数据点映射回黎曼流形空间，并进行矢量化处理。但是，该专利文献存在的技术问题为：同样需要计算目标域的黎曼均值，因此也需要预先知道目标域的数据分布，或至少是部分数据分布。因而同样只能起到减少训练样本需求，减少训练所需时间的目的，不能实现完全避免重复训练来校准模型的过程。

因此，亟需一种脑机接口迁移学习方法，实现完全避免基于目标域测试脑电数据类别的重复训练阶段。

发明内容

本发明的目的是提供了一种基于静息态脑电数据校准的脑机接口迁移学习方法，能够避免利用目标域测试脑电数据对分类器进行基于目标类的重复训练，且能够实现对目标域测试脑电数据的在线实时目标类分类，在跨被试次、跨被试领域也有巨大潜力。

一种基于静息态脑电数据校准的脑机接口迁移学习方法，其包括以下步骤：

步骤1：计算训练脑电数据的第一总局部黎曼均值、用作校准的训练集静息态脑电数据的第一黎曼均值、用作校准的测试集静息态脑电数据的第二黎曼均值；

步骤2：根据第一黎曼均值和第一总局部黎曼均值得到源域PT变化矩阵；

步骤3：基于所述第二黎曼均值和源域PT变化矩阵估计测试脑电数据的第二总局部黎曼均值，基于所述第一总局部黎曼均值和第二总局部黎曼均值估计全局总黎曼均值；

步骤4：基于第一总局部黎曼均值和全局总黎曼均值计算源域-全局PT变化矩阵，依据源域-全局PT变化矩阵将训练脑电数据平行移动到全局总黎曼均值的邻域中，得到移动后的训练脑电数据，将所述移动后的训练脑电数据向全局总黎曼均值的切空间做投影得到第一切向量，将所述第一切向量作为输入训练分类器；

步骤5：基于第二总局部黎曼均值和全局总黎曼均值计算目标域-全局PT变化矩阵，依据目标域-全局PT变化矩阵将实时采集的测试脑电数据平行移动到全局总黎曼均值的邻域中，得到移动后的测试脑电数据，将所述移动后的测试脑电数据向全局总黎曼均值的切空间做投影，得到第二切向量，将所述第二切向量带入所述分类器中得到测试脑电数据的分类结果。

本发明提出级联PT算法结构，第一次采用PT算法：根据第一黎曼均值和第一总局部黎曼均值得到源域PT变化矩阵，基于源域PT变化矩阵对第二黎曼均值做平行移动，估计第二总局部黎曼均值，基于第一总局部黎曼均值和第二总局部黎曼均值估计全局总黎曼均值；第二次采用PT算法：计算源域-全局PT变化矩阵和目标域-全局PT变化矩阵，采用平行移动算法，将训练脑电数据平行移动到全局总黎曼均值的邻域中，得到移动后的训练脑电数据，将测试脑电数据平行移动到全局总黎曼均值的邻域中，得到移动后的测试数据。对移动后的训练脑电数据和移动后的测试脑电数据做投影分别得到第一切向量和第二切向量，将第二切向量带入第一切向量训练出来的分类器中得到测试脑电数据的分类结果，避免了利用测试脑电数据对分类器进行基于目标类的重复训练，且能够实现对测试脑电数据的在线实时目标类分类。

进一步的，所述步骤1中，对训练脑电数据、训练集静息态脑电数据、测试集静息态脑电数据进行包含分段、滤波、归一化在内的预处理，对预处理后的数据求解各自的黎曼均值。

进一步的，所述步骤2中，根据第一黎曼均值和第一总局部黎曼均值得到源域PT变化矩阵，用公式表示为：

其中，表示第一黎曼均值，/>表示第一总局部黎曼均值，/>表示源域PT变化矩阵。

进一步的，所述步骤3中，基于所述第二黎曼均值和源域PT变化矩阵估计测试脑电数据的第二总局部黎曼均值，用公式表示为：

其中，表示测试集静息态脑电数据的第二黎曼均值，/>表示第二总局部黎曼均值。

进一步的，所述步骤3中，基于所述第一总局部黎曼均值和第二总局部黎曼均值估计全局总黎曼均值，用公式表示为：

其中，表示全局总黎曼均值，P表示未知量，δ_R(·)表示黎曼距离，argmin_P(·)表示通过改变P的值来寻找/>的最小值，并将最终找到的P作为结果返回。

进一步的，所述步骤4中，基于第一总局部黎曼均值和全局总黎曼均值计算源域-全局PT变化矩阵，用公式表示为：

其中，表示源域-全局PT变化矩阵；依据/>将训练脑电数据平行移动到全局总黎曼均值的邻域中，得到移动后的训练脑电数据，用公式表示为：

其中，表示预处理后的训练脑电数据，Γ^N1表示移动后的训练脑电数据；将所述移动后的训练脑电数据向全局总黎曼均值的切空间做投影得到第一切向量，将所述第一切向量作为输入训练分类器。

进一步的，所述步骤5中，基于第二总局部黎曼均值和全局总黎曼均值计算目标域-全局PT变化矩阵，用公式表示为：

其中，表示目标域-全局PT变化矩阵；依据目标域-全局PT变化矩阵将实时采集的测试脑电数据平行移动到全局总黎曼均值的邻域中，得到移动后的测试脑电数据，用公式表示为：

其中，表示预处理后的测试脑电数据，Γ^N2表示移动后的测试脑电数据，将所述移动后的测试脑电数据向全局总黎曼均值的切空间做投影，得到第二切向量，将所述第二切向量带入所述分类器中得到测试脑电数据的分类结果。

进一步的，所述步骤4中，分类器包括SVM分类器、贝叶斯分类器、线性判别分析分类器。

进一步的，实现多个域的分类器模型迁移的思路为：采用分而治之的思路，即每次只考虑一个域的训练脑电数据与测试脑电数据的级联PT，综合不同域的训练脑电数据，得到多个测试脑电数据的分类结果，最后再对所述分类结果进行投票得到最终的测试脑电数据的分类结果。具体过程为：

针对每个源域的训练脑电数据，采用步骤1-步骤4构建每个源域对应的分类器；

基于每个源域对应的分类器，采用步骤5得到测试脑电数据在每个分类器的分类结果；

对所有源域对应的分类器的分类结果进行投票得到测试脑电数据的最终分类结果。

进一步的，实现多个域的分类器模型迁移的思路为：采用混合所有数据集的思路，首先通过所有训练集静息态脑电数据到训练脑电数据的平行移动，得到多个源域PT变化矩阵，基于多个源域PT变化矩阵和一个测试集静息态脑电数据得到测试脑电数据的多个第二总局部黎曼均值估计值，采用最优化问题的表达式，估计第二总局部黎曼均值通过所有训练脑电数据的第一总局部黎曼均值和所述第二总局部黎曼均值/>估计另一个全局总黎曼均值，再用PT变化将所有训练脑电数据全部移动到另一个全局总黎曼均值的邻域中并投影为切向量，得到训练好的分类器，最后将切向量化的测试脑电数据带入分类器中得到测试脑电数据的分类结果。具体过程为：

针对多个源域的训练脑电数据，采用步骤1-步骤3得到多个第二总局部黎曼均值估计值，基于所有源域对应的所有第二总局部黎曼均值估计值估计第二总局部黎曼均值用公式表示为：

其中，δ_R(·)表示黎曼距离，argmin_P(·)表示通过改变P的值来寻找∑_iδ_R(P_i,P)的最小值，并把找到的P作为结果返回；

基于所有源域的第一总局部黎曼均值、第二总局部黎曼均值采用公式(8)估计另一个全局总黎曼均值；

基于多个源域的第一总局部黎曼均值和另一个全局总黎曼均值，得到多个源域-全局PT变化矩阵，基于所述多个源域-全局PT变化矩阵，将各自域的训练脑电数据平行移动到全局总黎曼均值的邻域中并将所有移动后的训练脑电数据合并为一个整体，对所述整体做投影，得到另一个第一切向量，将所述另一个第一切向量作为输入训练分类器；

基于第二总局部黎曼均值和另一个全局总黎曼均值，采用步骤5得到测试脑电数据在所述分类器下的分类结果。

本发明的有益效果如下：

对于不同域的数据，通常在各自域中各类数据分布的相对位置和范围具有相似性，通过假设在源域和目标域中不同局部的各类数据分布相对一致，意味着假设了其中某一类的黎曼均值到总黎曼均值的PT变化矩阵是相对一致的；

本发明通过改进平行移动算法，提出级联PT算法结构，第一次PT算法：根据训练集静息态脑电数据的第一黎曼均值和训练脑电数据的第一总局部黎曼均值求解源域PT变化矩阵；第二次PT算法：根据训练脑电数据的第一总局部黎曼均值和全局总黎曼均值求解源域-全局PT变化矩阵，实现级联PT；

本发明提出的级联PT算法结构，在无法预先得知目标域测试脑电数据的数据分布时，能够实现仅通过测试集静息态脑电数据完成校准模型的迁移，完全避免了利用测试脑电数据对分类器进行基于目标类的重复训练，且能够实现对测试脑电数据的在线实时目标类分类；

本发明提出的基于静息态脑电数据校准的脑机接口迁移学习方法，采用静息态脑电数据校准的范式，完全避免了校准时间随类别或是数据采集难度的上升而延长的问题，非常适合脑机接口领域实时控制的应用场景，在跨试次与跨被试校准方面也有巨大的潜力。

附图说明

图1是实施例提供的基于静息态脑电数据校准的脑机接口迁移学习方法的流程图；

图2是本发明提供的级联PT算法结构的流程图；

图3是基本平行移动算法的结构图；

图4是本发明提出的级联PT算法结构与基本平行移动算法的对比图；

图5是本发明优选实施例1中数据集的采集范式；

图6是本发明优选实施例1与优选实施例2中的运动想象脑电数据的信号处理流程图；

图7是本发明优选实施例2的实验流程图；

图8是本发明优选实施例2训练阶段实验范式；

图9是本发明优选实施例2实时控制阶段实验范式；

图10是本发明优选实施例2被试1两次实验脑电数据分布图；

图11是本发明优选实施例2被试1实际黎曼均值与静息态估计黎曼均值分布图；

具体实施方式

传统脑机接口应用通常包括训练流程和实时控制流程，训练流程重复不同的脑电任务(比如运动想象)来获取不同类别的脑电数据从而训练分类器，用于之后的实时控制。由于脑电数据跨试次、跨被试差异较大，通常在每次实时控制实验前都需要进行训练流程重新采集数据。传统迁移学习方法能缩短训练流程时间，但不能完全避免该过程。综上，本发明要解决的问题是：如何实现能完全避免每次实时控制前需要进行训练流程的迁移学习方法。本发明提出级联PT算法结构，实现了一种能通过单一类别数据完成脑机接口分类模型校准的迁移学习方法，在实际应用中，仅通过易于采集的静息态脑电数据来完成模型的校准，实现对测试脑电数据的在线实时目标类分类，在跨试次、跨被试领域也有巨大潜力。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

如图1，2所示，一种静息态脑电数据校准的脑机接口迁移学习方法包括以下步骤：

S110，计算训练脑电数据的第一总局部黎曼均值、用作校准的训练集静息态脑电数据的第一黎曼均值、用作校准的测试集静息态脑电数据的第二黎曼均值。

实施例中，涉及的计算黎曼均值的过程为：

令X∈R^C×T为一段分段、滤波、归一化后的脑电数据，其中C代表通道数量，T代表该段时间的采样点数。通过计算协方差矩阵，将该段脑电信号的功率特征表示为对称正定矩阵形式P：

其中，P∈R^C×C，分母n代表采样点数，右上角的T代表转置矩阵；在正定流形中，采用黎曼距离代替欧氏距离表示两点间的距离，正定矩阵P₁与P₂之间的距离δ_R(P₁,P₂)表示为：

其中λ_i为的特征值，||||F是Frobenius范数，形式为：

基于最优化问题的表达式:

式(3)的目的是求解多个正定矩阵P_i的黎曼均值，argmin_P(·)代表通过改变P的值来寻找∑_iδ_R(P_i,P)的最小值，并将最终找到的P作为结果返回。

实施例中，准备训练脑电数据训练集静息态脑电数据/>测试集静息态脑电数据/>其中，/>对应一段脑电数据，k代表这段脑电数据的类别标签，这里把校准类别记作k＝c，i代表第i段数据，比如/>i取值为1到N₁，/>和/>用作校准。训练脑电数据、训练集静息态脑电数据作为源域数据，测试集静息态脑电数据作为目标域数据之一，后续实时采集的测试脑电数据作为待分类数据，也作为目标域数据之一。

对准备的进行包含分段、滤波、归一化在内的预处理，预处理后的数据通过迭代算法求解公式(3)得到各自的黎曼均值，具体包括/>的第一总局部黎曼均值为/>的第一黎曼均值为/>以及/>的第二黎曼均值为

S120，根据第一黎曼均值和第一总局部黎曼均值得到源域PT变化矩阵。

基本平行移动算法的结构图如图3所示，本发明通过改进基本平行移动算法，提出级联PT算法结构，基本平行移动算法与级联PT算法的对比图如图4所示。

平行移动算法是一种将流形上的点沿光滑曲线移动的方法。对于正定流形上的两个不同的邻域，黎曼均值分别为B与A，平行移动Γ能够将B邻域中的数据点S移动到A邻域中，并保持一定的几何性质不变，具体公式为：

Γ_B→A(S)＝ESE^T (4)

其中PT变化矩阵E通过下式求解：

E＝(AB^-1)^1/2 (5)

基于第一黎曼均值和第一总局部黎曼均值/>根据式(5)计算得到源域PT变化矩阵/>

S130，基于所述第二黎曼均值和源域PT变化矩阵估计测试脑电数据的第二总局部黎曼均值，基于所述第一总局部黎曼均值和第二总局部黎曼均值估计全局总黎曼均值。

对于不同域的数据，通常在各自域中分布的相对位置和范围具有相似性，通过假设在源域和目标域中不同局部的各类数据分布相对一致，意味着假设了其中某一类的黎曼均值到总黎曼均值的PT变化矩阵是相对一致的。即，假定源域被试和目标域被试进行了同样的运动想象实验，假定源域被试的脑电数据协方差矩阵分布以B为黎曼均值，目标域被试的脑电数据协方差分布以A为黎曼均值，两个域中，都以类别1的数据作为基准数据，即假定类别1到黎曼均值的PT变化保持相对一致，源域和目标域类别1的黎曼均值分别为B1与A1。则有：

根据假设，有：

E₁≈E₂(8)

在事先无法得知目标域测试脑电数据的分布情况下(如实时控制实验中)，(8)提供了仅通过类别1估计目标域测脑电试数据第二总局部黎曼均值的方法，而类别1可选择为实验前的测试集静息态脑电数据，因而提供了方便快捷的校准分类模型的手段。具体来说，我们通过源域中得到的B1到B的PT变化矩阵E₁以及目标域得到的A1来得到A的估计即：

根据第二黎曼均值和源域PT变化矩阵/>采用公式(9)估计第二总局部黎曼均值/>

基于最优化问题的表达式，结合第一总局部黎曼均值与第二总局部黎曼均值估计全局总黎曼均值/>

S140，基于第一总局部黎曼均值和全局总黎曼均值计算源域-全局PT变化矩阵，依据源域-全局PT变化矩阵将训练脑电数据平行移动到全局总黎曼均值的邻域中，得到移动后的训练脑电数据，将所述移动后的训练脑电数据向全局总黎曼均值的切空间做投影得到第一切向量，将所述第一切向量作为输入训练分类器。

实施例中，基于第一总局部黎曼均值和全局总黎曼均值/>计算源域-全局PT变化矩阵/>用公式表示为：

依据源域-全局PT变化矩阵将训练脑电数据平行移动到全局总黎曼均值的邻域中，得到移动后的训练脑电数据Γ^N1：

其中，表示预处理后的训练脑电数据，将所述移动后的训练脑电数据向全局总黎曼均值的切空间做投影得到第一切向量/>用公式表示为：

将所述第一切向量作为输入训练分类器，得到训练好的SVM分类器。

S150，基于第二总局部黎曼均值和全局总黎曼均值计算目标域-全局PT变化矩阵，依据目标域-全局PT变化矩阵将实时采集的测试脑电数据平行移动到全局总黎曼均值的邻域中，得到移动后的测试脑电数据，将所述移动后的测试脑电数据向全局总黎曼均值的切空间做投影，得到第二切向量，将所述第二切向量带入所述分类器中得到测试脑电数据的分类结果。

实施例中，基于第二总局部黎曼均值和全局总黎曼均值/>计算目标域-全局PT变化矩阵/>用公式表示为：

依据目标域-全局PT变化矩阵将实时采集的测试脑电数据平行移动到全局总黎曼均值的邻域中，得到移动后的测试脑电数据，用公式表示为：

其中，表示预处理后的测试脑电数据，将所述移动后的测试脑电数据向全局总黎曼均值的切空间做投影，得到第二切向量/>

将得到的第二切向量带入训练好的SVM分类器中，得到测试脑电数据的分类结果。

实施例还提供了一种多个域的迁移学习方法，包括基于多个源域的训练脑电数据和1个目标域的测试脑电数据的迁移学习方法，采用分而治之的思路，即每次只考虑一个域的训练脑电数据与测试脑电数据的级联PT，进行两个域情况下的PT校准，综合不同域的训练脑电数据下的分类模型，得到多个测试脑电数据的分类结果，最后再对所述分类结果进行投票得到最终的测试脑电数据的分类类别。具体过程为：

针对每个源域的训练脑电数据，采用S110-S140构建每个源域对应的分类器；基于每个源域对应的分类器，采用S150计算测试脑电数据在每个分类器的分类结果；对所有源域对应的分类器的分类结果进行投票得到测试脑电数据的最终分类结果。

实施例还提供了一种多个域的迁移学习方法，包括基于多个源域的训练脑电数据和1个目标域的测试脑电数据的迁移学习方法，采用混合所有数据集的思路，首先通过所有训练集静息态脑电数据到训练脑电数据的平行移动，得到多个源域PT变化矩阵，基于多个源域PT变化矩阵和一个测试集静息态脑电数据得到测试脑电数据的多个第二总局部黎曼均值估计值，采用最优化问题的表达式，估计第二总局部黎曼均值通过所有训练脑电数据的第一总局部黎曼均值和所述第二总局部黎曼均值/>估计另一个全局总黎曼均值，再用PT变化将所有训练脑电数据全部移动到另一个全局总黎曼均值的邻域中并投影为切向量，得到训练好的分类器，最后将切向量化的测试脑电数据带入分类器中得到测试脑电数据的分类结果。具体过程为：

针对多个源域的训练脑电数据，采用S110-S130得到多个第二总局部黎曼均值估计值，基于所有源域对应的所有第二总局部黎曼均值估计值，采用公式(3)估计第二总局部黎曼均值基于所有源域的第一总局部黎曼均值、第二总局部黎曼均值/>采用公式(3)估计另一个全局总黎曼均值；基于多个源域的第一总局部黎曼均值和另一个全局总黎曼均值，得到多个源域-全局PT变化矩阵，基于得到的多个源域-全局PT变化矩阵，将各自域的训练脑电数据平行移动到全局总黎曼均值的邻域中并将所有移动后的训练脑电数据合并为一个整体，对所述整体做投影，得到另一个第一切向量，将所述另一个第一切向量作为输入训练分类器；基于第二总局部黎曼均值/>和另一个全局总黎曼均值，采用S150得到测试脑电数据在所述分类器下的分类结果。

实验例

实验例1：BCI比赛IV的2a数据集

BCI比赛2a数据集是连续多类运动想象脑电数据集，由格拉茨的Brunner等人提供。BCI比赛数据集包括了9名被试，每名被试在不同的两天中分别进行了一次脑电采集。每次脑电采集的范式如图5所示。运动想象类型分为左手、右手、双脚与舌头四个部位的运动想象。每次运动想象前有2秒左右的静止状态，在这之后出现视觉提示提示运动想象的类型，被试持续进行3秒左右的运动想象，每次运动想象间有随机的间隔。本实施例1采用运动想象前的2秒静止状态数据作为基准类别静息态脑电数据。

采用图6所示的处理流程进行数据处理。采用每名被试第一次实验的数据作为源域，第二次实验的数据作为目标域，验证本发明的跨试次校准性能。在该处理流程的提取特征和训练分类器部分，本实施例1采用了图3所示的级联PT方法或是作为对照的PT方法和无校准的CSP方法。需要注意的是，PT方法的校准是通过计算目标域黎曼均值得到的，因而只能用于离线分析，而本发明提出的级联PT方法可以用于实时分类。三种方法得到的跨试次模型分类准确率分别为：CSP方法：65％±8％，PT方法：76％±11％，级联PT方法：75％±11％。即本发明提出的方法达到了与PT方法接近的准确率，且远高于无校准的CSP方法。

此外，本实施例1也进行了跨被试分类准确率测试，采用留一法，分别将一名被试的数据作为目标域，其他被试作为源域训练模型，得到分类准确率。得到的四分类准确率为：CSP方法：49％±7％，PT方法：58％±5％，级联PT方法：57％±6％。

实验例2：静息态校准的脑机接口控制下肢外骨骼系统

通过让被试进行下肢跨步的运动想象任务，训练下肢运动想象与休息状态的二分类器并用于实时控制，本发明提出的方法能够实时判断被试是否具有运动意图，从而决定是否要通过外骨骼带动被试完成一次行走运动。

本实施例2招募了5名被试，每人分别进行了两次实验(图7)，两次实验中间间隔一周以上。第一次实验过程为：1分钟静息态数据采集、训练阶段数据采集、实时控制实验。第二次实验过程为：1分钟静息态数据采集、实时控制实验。第二次实验采用第一次实验的训练脑电数据与两次实验的静息态脑电数据进行模型训练和校准，在第二次实验中未再次进行训练阶段。对于静息态脑电数据的采集，我们要求被试站在外骨骼上保持睁眼，盯住正前方，全身放松，尽量保持静止维持一分钟左右。对于训练阶段与实时阶段，采用类似的实验范式，具体来说，每个阶段包括大约60轮试次。对于训练阶段，采用图8所示的实验范式，每个试次从提示音“停”开始，要求被试在听到“停”后立即保持静止，并维持3～5秒，直到听到提示音“走”，随机长度的静止时间设计主要目的在于避免被试在提示前预测到运动想象的开始时间。在“走”之后的3秒，被试需进行持续的下肢运动想象，想象内容为以右脚迈出为开始的跨步动作。对于实时控制实验，为了保证数据分布与训练阶段尽可能一致，通过采用图9所示的类似的实验范式，仅对每个阶段的时间长度进行了调整。在“走”之后，若检测到被试运动意图(每1秒输出一次分类结果，若连续两次结果为下肢运动想象则判断有运动意图)，会激活外骨骼带动被试完成一次行走，同时跳过该剩下部分的提示，直到被试走完后2秒左右，再次提示“停”进入到下一轮。实时控制阶段同样重复大约60轮来判断实时分类的准确率。本实施例2同样采用了图6所示的信号处理流程。

第一次实时实验在训练阶段结束后立即进行，五名被试取得了66％±8％的分类准确率。而第二次实时实验则通过级联PT方法用静息态数据校准第一次的分类模型进行，取得了69±6％的分类器准确率，甚至略优于第一次的分类结果，证明了本发明提出的方法在跨试次校准中的有效性。此外，本实施例2也采用CSP方法与PT方法作为对比进行了伪在线分析，在跨试次的分类中，CSP方法取得了59％±10％的准确率，PT方法取得了65％±7％，二者都显著低于级联PT方法所达到的准确率69±6％(p<0.05)。

另外，以第一名被试的脑电数据为例，通过高维数据可视化方法t-SNE对第一名被试在两次实时控制实验中的脑电数据分布进行了可视化分析，如图10所示。可以看出，在进行校准前，两次实验的数据分布在两个不同邻域中，而采用PT或级联PT进行校准后，两次实验的数据混合到了一个邻域内，且两种方法都保持了同类的数据混合后更接近的特点。图11给出了第二次实时测试脑电数据实际的黎曼均值和用静息态估计的黎曼均值的分布，能看出静息态脑电数据估计得到的黎曼均值非常接近实际的测试脑电数据的黎曼均值，证明本发明提出的通过静息态脑电数据估计域黎曼均值的方法是切实可行的。

实施例1与实施例2充分证明了本发明提出的基于级联PT算法结构的迁移学习方法能通过静息态脑电数据对休息状态与下肢运动想象状态二分类模型进行有效的校准。

Claims (10)

1.一种基于静息态脑电数据校准的脑机接口迁移学习方法，其特征在于，包括以下步骤：

步骤1：计算训练脑电数据的第一总局部黎曼均值、用作校准的训练集静息态脑电数据的第一黎曼均值、用作校准的测试集静息态脑电数据的第二黎曼均值；

步骤2：根据第一黎曼均值和第一总局部黎曼均值得到源域PT变化矩阵；

步骤3：基于所述第二黎曼均值和源域PT变化矩阵估计测试脑电数据的第二总局部黎曼均值，基于所述第一总局部黎曼均值和第二总局部黎曼均值估计全局总黎曼均值；

步骤4：基于第一总局部黎曼均值和全局总黎曼均值计算源域-全局PT变化矩阵，依据源域-全局PT变化矩阵将训练脑电数据平行移动到全局总黎曼均值的邻域中，得到移动后的训练脑电数据，将所述移动后的训练脑电数据向全局总黎曼均值的切空间做投影得到第一切向量，将所述第一切向量作为输入训练分类器；

步骤5：基于第二总局部黎曼均值和全局总黎曼均值计算目标域-全局PT变化矩阵，依据目标域-全局PT变化矩阵将实时采集的测试脑电数据平行移动到全局总黎曼均值的邻域中，得到移动后的测试脑电数据，将所述移动后的测试脑电数据向全局总黎曼均值的切空间做投影，得到第二切向量，将所述第二切向量带入所述分类器中得到测试脑电数据的分类结果。

2.根据权利要求1所述的基于静息态脑电数据校准的脑机接口迁移学习方法，其特征在于，还包括：对训练脑电数据、训练集静息态脑电数据、测试集静息态脑电数据进行包含分段、滤波、归一化在内的预处理，对预处理后的脑电数据求解各自的黎曼均值。

3.根据权利要求1所述的基于静息态脑电数据校准的脑机接口迁移学习方法，其特征在于，步骤2中，根据第一黎曼均值和第一总局部黎曼均值得到源域PT变化矩阵，用公式表示为：

其中，表示第一黎曼均值，/>表示第一总局部黎曼均值，/>表示源域PT变化矩阵。

4.根据权利要求1或3所述的基于静息态脑电数据校准的脑机接口迁移学习方法，其特征在于，步骤3中，基于所述第二黎曼均值和源域PT变化矩阵估计测试脑电数据的第二总局部黎曼均值，用公式表示为：

其中，表示测试集静息态脑电数据的第二黎曼均值，/>表示第二总局部黎曼均值。

5.根据权利要求4所述的基于静息态脑电数据校准的脑机接口迁移学习方法，其特征在于，步骤3中，基于所述第一总局部黎曼均值和第二总局部黎曼均值估计全局总黎曼均值，用公式表示为：

其中，表示全局总黎曼均值，P表示未知量，δ_R(·)表示黎曼距离，argmin_P(·)表示通过改变P的值来寻找/>的最小值，并将最终找到的P作为结果返回。

6.根据权利要求1或5所述的基于静息态脑电数据校准的脑机接口迁移学习方法，其特征在于，步骤4中，基于第一总局部黎曼均值和全局总黎曼均值计算源域-全局PT变化矩阵，用公式表示为：

其中，表示源域-全局PT变化矩阵，依据/>将训练脑电数据平行移动到全局总黎曼均值的邻域中，得到移动后的训练脑电数据，用公式表示为：

其中，表示预处理后的训练脑电数据，Γ^N1表示移动后的训练脑电数据，将所述移动后的训练脑电数据向全局总黎曼均值的切空间做投影得到第一切向量，将所述第一切向量作为输入训练分类器。

7.根据权利要求1或5所述的基于静息态脑电数据校准的脑机接口迁移学习方法，其特征在于，步骤5中，基于第二总局部黎曼均值和全局总黎曼均值计算目标域-全局PT变化矩阵，用公式表示为：

其中，表示目标域-全局PT变化矩阵，依据目标域-全局PT变化矩阵将实时采集的测试脑电数据平行移动到全局总黎曼均值的邻域中，得到移动后的测试脑电数据，用公式表示为：

其中，表示预处理后的测试脑电数据，Γ^N2表示移动后的测试脑电数据，将所述移动后的测试脑电数据向全局总黎曼均值的切空间做投影，得到第二切向量，将所述第二切向量带入所述分类器中得到测试脑电数据的分类结果。

8.根据权利要求1所述的基于静息态脑电数据校准的脑机接口迁移学习方法，其特征在于，分类器包括SVM分类器、贝叶斯分类器、线性判别分析分类器。

9.根据权利要求1所述的基于静息态脑电数据校准的脑机接口迁移学习方法，其特征在于，还包括基于多个源域的训练脑电数据和1个目标域的测试脑电数据的迁移学习，具体过程为：

针对每个源域的训练脑电数据，采用步骤1-步骤4构建每个源域对应的分类器；

基于每个源域对应的分类器，采用步骤5得到测试脑电数据在每个分类器的分类结果；

对所有源域对应的分类器的分类结果进行投票得到测试脑电数据的最终分类结果。

10.根据权利要求1所述的基于静息态脑电数据校准的脑机接口迁移学习方法，其特征在于，还包括基于多个源域的训练脑电数据和1个目标域的测试脑电数据的迁移学习，具体过程为：

针对多个源域的训练脑电数据，采用步骤1-步骤3得到多个第二总局部黎曼均值估计值，基于所有源域对应的所有第二总局部黎曼均值估计值估计第二总局部黎曼均值用公式表示为：

其中，δ_R(·)表示黎曼距离，argmin_P(·)表示通过改变P的值来寻找∑_iδ_R(P_i,P)的最小值，并把找到的P作为结果返回；

基于所有源域的第一总局部黎曼均值、第二总局部黎曼均值采用公式(8)估计另一个全局总黎曼均值；

基于多个源域的第一总局部黎曼均值和另一个全局总黎曼均值，得到多个源域-全局PT变化矩阵，基于所述多个源域-全局PT变化矩阵，将各自域的训练脑电数据平行移动到全局总黎曼均值的邻域中并将所有移动后的训练脑电数据合并为一个整体，对所述整体做投影，得到另一个第一切向量，将所述另一个第一切向量作为输入训练分类器；

基于第二总局部黎曼均值和另一个全局总黎曼均值，采用步骤5得到测试脑电数据在所述分类器下的分类结果。