CN112580436B - 一种基于黎曼流形坐标对齐的脑电信号域适应方法 - Google Patents

Abstract

本发明请求保护一种基于黎曼流形坐标对齐的脑电信号域适应方法，属于于迁移学习域适应方法，特别是脑机接口中跨会话、跨对象分类的数据对齐方法。包括以下步骤：首先对采集到的脑电数据进行去均值、滤波、归一化等预处理；然后使用协方差矩阵对其进行处理，将脑电数据转化为对称正定(SPD)矩阵；根据对称正定矩阵构建黎曼流形空间；接着，将流形空间中的脑电数据点映射到对应的切线空间中进行坐标对齐；最后，将对齐后的脑电数据点映射回黎曼流形空间，并进行矢量化处理。本发明能够减少脑机接口系统中不同受试者脑电信号之间的差异，使得不同对象间的数据分布趋于一致。

Description

一种基于黎曼流形坐标对齐的脑电信号域适应方法

技术领域

本发明属于迁移学习域适应方法，特别是脑机接口中跨会话、跨对象分类的数据对齐方法。

背景技术

机器学习已经在许多领域中成功应用,但是收集并标注与目标数据具有相同分布的样本的代价是高昂的。当源域数据集和目标域数据集的分布存在差异时,由源域不能在目标域上取得良好的预测结果。迁移学习就是解决源域和目标域之间存在分布差异的机器学习方法，其核心是找到源域和目标域之间的相似性,并利用相似性将在源域中获得的知识应用于目标域。

域适应是迁移学习领域下的一个子问题。与迁移学习相比，域适应的背景条件约束更加严格，它需要保证源域、目标域的标签空间和特征空间都相同且条件概率分布相同。

在脑机接口(BCI)领域中，由于受试者之间的差异很大，每次开始时都需要20-30分钟的校准阶段，以获取足够的标记数据来训练受试者特定的BCI模型。在目标对象的训练集较小的情况下，如何提高分类性能是目前需要解决的问题。而迁移学习下的域适应方法可以寻找源域和目标域之间的关系，使两个域的数据在某个高维空间中满足相似分布，以利用通过源域所获得的先验知识。

因此，需要一种数据对齐的域适应方法，降低BCI系统中不同受试者脑电信号之间的差异，使得不同对象间的数据分布在某个高维空间中趋于一致。

发明内容

本发明旨在解决脑机接口领域中因不同受试者脑电信号差异较大，而造成校准阶段耗时的问题。提出了一种基于黎曼流形坐标对齐的脑电信号域适应方法。本发明的技术方案如下：

一种基于黎曼流形坐标对齐的脑电信号域适应方法，其包括以下步骤：

步骤1：获取已知对象的脑电信号和新加入对象的脑电信号，已知对象的脑电信号为源域数据，新加入对象的脑电信号为目标域数据，分别对源域、目标域的原始脑电数据进行包括去均值、带通滤波和归一化在内的预处理；

步骤2：将经过预处理的源域和目标域的脑电数据均使用协方差矩阵进行处理，使数据形式转化为对称正定SPD矩阵；

步骤3：构建黎曼流形空间，将步骤2中处理好的脑电数据点一一对应到黎曼流形空间中；黎曼流形是一个对称、正定的二阶张量场的光滑流形，它是具有黎曼度量的微分流形；

步骤4：分别计算源域数据和目标域数据在黎曼流形空间中各自的黎曼均值点，两个数据域总的黎曼均值点；

步骤5：将两个域的脑电数据点和对应的黎曼均值点通过对数映射投射到对应的切线空间中；

步骤6：在对应的切线空间中，利用坐标变换将两个域的脑电数据点进行平移对齐；

步骤7：将平移对齐后的两个域的脑电数据点通过指数映射投射回原来的黎曼流形空间；

步骤8：将经过域适应对齐后的源域数据和目标域数据进行矢量化处理，并输入分类器进行分类识别。

进一步的，所述步骤2：将源域和目标域的脑电数据都使用协方差矩阵进行处理，使数据形式转化为对称正定SPD矩阵；具体为：

假设脑电数据

其中m为电极数，n为采样时间，

表示实数域，i表示第i个数据。将它和它的转置矩阵相乘构建协方差矩阵，具体表达式为：

其中X_i为预处理后的原始脑电数据，C_i为其构建的协方差矩阵，它是对称正定的。

进一步的，所述步骤3构建黎曼流形空间，将步骤2中处理好的脑电数据点一一对应到黎曼流形空间中，具体为：

在欧式空间中，t维对称正定矩阵可以构成t(t+1)/2维的黎曼流形空间

其中，流形空间

中，C为切点，

为对应的切线空间，C_i和S_i分别为流形空间和切线空间上的点。

进一步的，所述步骤4：分别计算源域数据和目标域数据在黎曼流形空间中各自的黎曼均值点和所有数据总的黎曼均值点；具体为：

根据黎曼均值计算公式

计算出源域数据的黎曼均值M_s，目标域数据的黎曼均值M_t和全部数据总的黎曼均值M_D，ν表示求解点C₁～C_N黎曼均值点的函数，C_N表示第N个数据点，N表示数据点个数，C(n)表示数据点集合，

表示点C_i到切点C间距离的平方。

进一步的，所述步骤5：将步骤4中计算出的总的黎曼均值点作为切点，将源域脑电数据点、目标域脑电数据点和对应的黎曼均值点映射到对应的切线空间中；具体为：

根据对数映射公式

将上述所有数据点从流形空间映射到切线空间中。这里的C为切点对应数值。

进一步的，所述步骤6：在对应的切线空间中，利用坐标变换将两个域的脑电数据点进行平移对齐，具体为：

通过两点间距离公式分别计算M_s和M_t到M_D间的距离d_s、d_t，再根据对应的距离，将切线空间中的源域数据点和目标域数据进行平移对齐。即将两个域的数据点按照对应的距离d_s、d_t，在切线空间中沿着M_s→M_D、M_t→M_D方向进行平移，使得它们内部的特征相匹配。

进一步的，所述步骤7将对齐后的两个域的脑电数据点通过指数映射映射回原来的黎曼流形空间；具体为：

根据指数映射公式

将对齐后的两个域的脑电数据点从黎曼流形空间映射到切线空间中。

进一步的，所述步骤8：将经过域适应对齐后的源域数据和目标域数据进行矢量化处理，以适用于各种分类器；具体为：

经过之前的步骤，源域和目标域的脑电数据转化为了对称的矩阵形式，将矩阵数据进行矢量化，只需要提取上三角或者下三角矩阵的信息，这样，m×m维的矩阵数据就矢量化为m(m+1)/2维的向量数据，便于输入到各种分类器中处理。

本发明的优点及有益效果如下：

本发明利用黎曼流形相关的性质，并通过简单易懂的坐标变换，不仅将源域和目标域在高维空间中进行了数据对齐，而且保留了两个数据域各自内部的属性。与传统的需要大量训练数据的特定的BCI模型相比，基于黎曼流形坐标对齐的脑电信号域适应方法将先前已经获得的源域数据利用起来，这减少了对目标对象的数据收集，从而减少了BCI系统中校准阶段的耗时。

本发明的其他优点还有采用了无监督的方式，不需要任何数据标签。采用的坐标变换方法简单易懂，便于实现，也适用于其他能够转化为对称正定矩阵的数据。

本发明的创新主要在于步骤6中运用简单的平移变换，数据域整体沿着同一方向进行平移，在保留内部数据特征的同时实现了数据对齐。步骤5和步骤7利用黎曼几何的相关性质，使数据在流形空间和切线空间之间进行切换，便于坐标平移变换的实现。此外，步骤4通过计算黎曼均值来获得步骤6中的平移距离，能够包含数据整体的特征。与现有的基于模型的迁移学习域适应方法比较而言，本发明不需要大量的数据标签参与训练，仅仅通过一些空间变换和简单的平移变换就实现了数据对齐的效果。

附图说明

图1是本发明提供优选实施例基于黎曼流形坐标对齐的脑电信号域适应方法流程图。

图2为由对称正定矩阵构建的黎曼流形空间和对应的切线空间示意图。

图3为本发明将源域和目标域脑电数据进行坐标对齐的过程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图所示，本实施例提供的一种基于黎曼流形坐标对齐的脑电信号域适应方法，包括以下步骤：

步骤1：已知对象的脑电信号为源域数据，新加入对象的脑电信号为目标域数据，对两个域的原始脑电数据进行预处理，包括去均值、带通滤波和归一化

步骤2：将源域和目标域的脑电数据都使用协方差矩阵进行处理。假设脑电数据

其中m为电极数，n为采样时间。将它和它的转置矩阵相乘构建协方差矩阵，具体表达式为：

其中X_i为原始脑电数据，C_i为其构建的协方差矩阵，它是对称正定的。

步骤3：在欧式空间中，m维对称正定矩阵可以构成如图2所示的m(m+1)/2维的流形空间

根据这一性质构建黎曼流形空间，并将步骤2中处理好的脑电数据点一一对应到流形空间中。

步骤4：根据黎曼均值计算公式

计算出源域数据的黎曼均值M_s，目标域数据的黎曼均值M_t和全部数据总的黎曼均值M_D。

步骤5：如图3(a)、(b)所示，根据对数映射公式

将步骤4中计算出的总的黎曼均值点作为切点，将源域数据点、目标域数据点和对应的黎曼均值点映射到对应的切线空间中。

步骤6：通过两点间距离公式分别计算M_s和M_t到M_D间的距离d_s、d_t。如图3(b)、(c)所示，再根据对应的距离，利用坐标变换将切线空间中的源域数据点和目标域数据进行平移对齐。

步骤7：如图3(c)、(d)所示，根据指数映射公式

将对齐后的两个域的脑电数据点从流形空间映射到切线空间中。

步骤8：将经过域适应对齐后的源域和目标域矩阵数据进行矢量化，只需要提取上三角或者下三角矩阵的信息。这样，m×m维的矩阵数据就矢量化为m(m+1)/2维的向量数据，便于输入到各种分类器中处理。

上述实施例阐明的方法，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (6)

1.一种基于黎曼流形坐标对齐的脑电信号域适应方法，其特征在于，包括以下步骤：

步骤1：获取已知对象的脑电信号和新加入对象的脑电信号，已知对象的脑电信号为源域数据，新加入对象的脑电信号为目标域数据，分别对源域、目标域的原始脑电数据进行包括去均值、带通滤波和归一化在内的预处理；

步骤2：将经过预处理的源域和目标域的脑电数据均使用协方差矩阵进行处理，使数据形式转化为对称正定SPD矩阵；

步骤3：构建黎曼流形空间，将步骤2中处理好的脑电数据点一一对应到黎曼流形空间中；黎曼流形是一个对称、正定的二阶张量场的光滑流形，它是具有黎曼度量的微分流形；

步骤4：分别计算源域数据和目标域数据在黎曼流形空间中各自的黎曼均值点，两个数据域总的黎曼均值点；

步骤5：将两个域的脑电数据点和对应的黎曼均值点通过对数映射投射到对应的切线空间中；

步骤6：在对应的切线空间中，利用坐标变换将两个域的脑电数据点进行平移对齐；

步骤7：将平移对齐后的两个域的脑电数据点通过指数映射投射回原来的黎曼流形空间；

步骤8：将经过域适应对齐后的源域数据和目标域数据进行矢量化处理，并输入分类器进行分类识别；

所述步骤4：分别计算源域数据和目标域数据在黎曼流形空间中各自的黎曼均值点和所有数据总的黎曼均值点；具体为：

根据黎曼均值计算公式

计算出源域数据的黎曼均值M_s，目标域数据的黎曼均值M_t和全部数据总的黎曼均值M_D，ν表示求解点C₁～C_N黎曼均值点的函数，C_N表示第N个数据点，N表示数据点个数，C(n)表示数据点集合，

表示点C_i到切点C间距离的平方；

所述步骤6：在对应的切线空间中，利用坐标变换将两个域的脑电数据点进行平移对齐，具体为：

通过两点间距离公式分别计算M_s和M_t到M_D间的距离d_s、d_t，再根据对应的距离，将切线空间中的源域数据点和目标域数据进行平移对齐，即将两个域的数据点按照对应的距离d_s、d_t，在切线空间中沿着M_s→M_D、M_t→M_D方向进行平移，使得它们内部的特征相匹配。

2.根据权利要求1所述的一种基于黎曼流形坐标对齐的脑电信号域适应方法，其特征在于，所述步骤2：将源域和目标域的脑电数据都使用协方差矩阵进行处理，使数据形式转化为对称正定SPD矩阵；具体为：

假设脑电数据

其中m为电极数，n为采样时间，

表示实数域，i表示第i个数据，将它和它的转置矩阵相乘构建协方差矩阵，具体表达式为：

其中X_i为预处理后的原始脑电数据，C_i为其构建的协方差矩阵，它是对称正定的。

3.根据权利要求2所述的一种基于黎曼流形坐标对齐的脑电信号域适应方法，其特征在于，所述步骤3构建黎曼流形空间，将步骤2中处理好的脑电数据点一一对应到黎曼流形空间中，具体为：

在欧式空间中，t维对称正定矩阵可以构成t(t+1)/2维的黎曼流形空间

其中，流形空间

中，C为切点，

为对应的切线空间，C_i和S_i分别为流形空间和切线空间上的点。

4.根据权利要求3所述的一种基于黎曼流形坐标对齐的脑电信号域适应方法，其特征在于，所述步骤5：将步骤4中计算出的总的黎曼均值点作为切点，将源域脑电数据点、目标域脑电数据点和对应的黎曼均值点映射到对应的切线空间中；具体为：

根据对数映射公式

将上述所有数据点从流形空间映射到切线空间中，这里的C为切点对应数值。

5.根据权利要求4所述的一种基于黎曼流形坐标对齐的脑电信号域适应方法，其特征在于，所述步骤7将对齐后的两个域的脑电数据点通过指数映射映射回原来的黎曼流形空间；具体为：

根据指数映射公式

将对齐后的两个域的脑电数据点从黎曼流形空间映射到切线空间中。

6.根据权利要求5所述的一种基于黎曼流形坐标对齐的脑电信号域适应方法，其特征在于，所述步骤8：将经过域适应对齐后的源域数据和目标域数据进行矢量化处理，以适用于各种分类器；具体为：

经过之前的步骤，源域和目标域的脑电数据转化为了对称的矩阵形式，将矩阵数据进行矢量化，只需要提取上三角或者下三角矩阵的信息，这样，m×m维的矩阵数据就矢量化为m(m+1)/2维的向量数据，便于输入到各种分类器中处理。

Images