CN111931656B - 基于迁移学习的用户独立型运动想象分类模型训练方法 - Google Patents

Abstract

一种基于迁移学习的用户独立型运动想象分类模型训练方法，首先将脑电信号通过短时傅里叶变化，由时序信号转化成时频域图像信号，然后利用感知哈希算法，对不同被试之间的不同试次的数据进行度量，计算迁移权重系数，接着在对当前被试训练时，利用计算得到的权重与其他被试的数据进行加权，完成样本迁移；采用公共数据集数据进行验证；本发明实现小样本条件下跨被试的数据复用，从而提高当前被试分类模型的泛化能力和精度。

Description

基于迁移学习的用户独立型运动想象分类模型训练方法

技术领域

本发明属于生物信息技术领域，具体涉及一种基于迁移学习的用户独立型运动想象分类模型训练方法。

背景技术

运动想象思维活动，是一种运动意图的思维仿真而无真实的运动输出的思维方式，即大脑对整个运动过程进行想象而无实际的肌肉收缩，在神经生理学领域真实运动与运动想象有极大的相似性。脑-机接口(BCI)实质上是一套实现人和外部设备通信的人机接口系统，它不依赖于正常的外围神经肌肉通道，而是将脑电信号作为大脑意图的载体与外界进行交互。

在实际应用中，基于运动想象的脑机接口方法可以用于机器人辅助作业或者智能人机交互，是一种新型的交互控制方式。然而，由于个体生理结构和心理状态的差异，相同运动想象任务下不同被试和试次的信号差异往往相差较大。所以，这给分类模型的精度和泛化能力提出了巨大的挑战。为了解决这个问题，常采用的方法就是用户独立型训练策略，即对单个被试独立训练一个模型。然而，由于脑机交互任务对实验环境和参与被试有着严格的要求，所以，在实际操作中，很难采集到大量的有效的脑电数据。如果要保证分类模型的精度，就需要较长的实验周期以保证充足的数据量，然而这会极大的影响实验进程，不利于实际应用；而采用小样本来独立训练模型，易导致模型出现欠拟合和鲁棒性低等问题，极大的影响模型的分类性能。

发明内容

为了克服上述现有技术的问题，本发明的目的在于提供了一种基于迁移学习的用户独立型运动想象分类模型训练方法，实现小样本条件下跨被试的数据复用，从而提高当前被试分类模型的泛化能力和精度。

为了达到上述目的，本发明采取的技术方案为：

一种基于迁移学习的用户独立型运动想象分类模型训练方法，首先将脑电信号通过短时傅里叶变化，由时序信号转化成时频域图像信号，然后利用感知哈希算法，对不同被试之间的不同试次的数据进行度量，计算迁移权重系数，接着在对当前被试训练时，利用计算得到的权重与其他被试的数据进行加权，完成样本迁移；采用公共数据集数据进行验证。

一种基于迁移学习的用户独立型运动想象分类模型训练方法，包括以下步骤：

1)脑电信号预处理：

首先，将采集到n导联脑电信号通过巴特沃斯6阶滤波器，进行8-30Hz的带通滤波，滤波后的信号表示为：

其中，N为样本点总数，n为导联数，m为采样点数，

为第i个导联第j个采样点，t＝{1，2，···N}；

利用短时傅里叶变化，将时序脑电信号转换成时频域空间信号；

X(t)是傅里叶变换之后的结果，ω表示固定的中心频率，R代表滑动窗的数目，j代表复指数；分别对运动想象相关脑区通道进行短时傅里叶变换，然后将所得到的结果转换为时-频图，再分别将时-频图进行按照频率轴的方向进行堆叠实现通道融合：

2)数据划分：

对于当前训练的被试，定义为目标被试，其脑电数据规定为目标域数据D_T，对于除当前被试以外的其他被试，统一称作非目标被试，其数据称为源域数据D_S；定义

为来自源域数据的一个样本，

为来自目标域数据的一组样本，其中，t代表脑电实验的试次数，1代表矩阵的维度，i代表被试的编号；同时，定义当前被试的时-频图矩阵为

3)基于感知哈希算法的迁移权重计算：

采用基于感知哈希算法的样本迁移学习权重生成策略，其具体方法如下：

首先，将源域数据样本和目标域数据样本的时-频图矩阵转换为64x64大小并进行灰度处理，对处理后的数据进行离散余弦变换；

其中，α(u)和α(v)为变换时的系数矩阵，G_u，u和Q_v，v为变换后的结果，x代表离散信号列，x＝0，1，2...N，u和v分别代表源域和目标域数据；

提取变换后特征矩阵左上角8x8的子矩阵，作为信号的特征矩阵，提取每行列的元素进行加权平均，将求得的结果作为平均离散余弦系数；其计算过程如下：

其中，m_s为代表源域数据的系数值m_t代表目标域数据的系数值；

然后，将求得的平均离散余弦系数值作为阈值，利用8x8矩阵每个元素与阈值进行对比，大于阈值的记为1，小于阈值记为0，然后将求得的结果，组成1x64的行向量：

h_i＝0，b_i＜m

h_i＝1，b_i＞m

其中，b为第i个元素所对应的值，h_i代表利用第i个元素与阈值对比求得的值，m代表平均离散余弦系数矩阵所计算出的均值，将8x8矩阵中每个元素依次求解得到1x64的列向量H_i记为单次脑电信号的哈希码；

最后，分别通过求解源域数据和目标域数据的哈希码，计算其汉明距离d_H(H_T，H_S)，其计算过程如下：

L为源域所有试次的总数，将所求得的汉明距离d_H(H_T，H_S)，定义为样本迁移的权重

i为被试的编号；

4)基于样本迁移的用户独立型训练策略：

对于单个被试脑电分类模型训练过程中，采用十折交叉验证法，对目标被试的数据集进行划分，同时，采用样本迁移法，将源域的数据迁移到当前的训练集中；

对于目标被试训练时，通过对源域的不同试次进行加权，然后将加权后的数据矩阵与目标域训练集进行混合，再通过划分出的测试集对训练模型进行验证，目标域数据集需要执行十折交叉验证，而迁移的数据全部参与每次训练。

本发明的有益效果为：本发明通过样本迁移学习方法，可以提高运动想象脑机交互任务中分类模型训练的效率和模型的精度，其通过实现跨被试/试次的相同任务下脑电信号特征分布的相似度量，完成样本迁移权重系数的计算，实现小样本条件下跨被试的数据复用，从而提高当前被试分类模型的泛化能力和精度。

附图说明

图1为本发明的流程图。

图2为本发明单次运动想象脑电信号时-频变换与通道融合。

图3为本发明目标域与源域数据的迁移权重系数的计算过程。

图4为本发明基于样本迁移的用户独立型训练策略。

图5为实施例结果对比验证的平均分类准确率单因素分析图。

具体实施方式

下面结合附图和实施例对本发明作详细描述。

参照图1，一种基于迁移学习的用户独立型运动想象分类模型训练方法，包括以下步骤：

1)脑电信号预处理：

首先，将采集到n导联脑电信号通过巴特沃斯6阶滤波器，进行8-30Hz的带通滤波，滤波后的信号表示为：

其中，N为样本点总数，n为导联数，m为采样点数，

为第i个导联第j个采样点，t＝{1，2，···N}；

运动想象信号的特征表现形式为，想象单侧肢体运动时，同侧相关脑区信号能量升高，而对侧相关脑区信号能量降低；传统的时域信号，无法有效的表征这种特征，所以，本发明考虑将时域信号通过视频变换，转换到时-频域，对能量特征进行提取；基于此，利用短时傅里叶变化，将时序脑电信号转换成时频域空间信号；

X(t)是傅里叶变换之后的结果，ω表示固定的中心频率，R代表滑动窗的数目，j代表复指数；如附图2所示，分别对运动想象相关脑区通道C3、CZ、C4进行短时傅里叶变换，然后将所得到的结果转换为时-频图，再分别将三个时-频图进行按照频率轴的方向进行堆叠实现通道融合，将单试次脑电信号处理问题转换为图像处理问题；

2)数据划分：

对于当前训练的被试，定义为目标被试，其脑电数据规定为目标域数据D_T，对于除当前被试以外的其他被试，统一称作非目标被试，其数据称为源域数据D_S；定义

为来自源域数据的一个样本，

为来自目标域数据的一组样本；其中，t代表脑电实验的试次数，l代表矩阵的维度，i代表被试的编号；同时，定义当前被试的时-频图矩阵为

3)基于感知哈希算法的迁移权重计算：

样本迁移学习是根据一定的权重生成规则，对数据样本进行重用，从而实现迁移学习；其中，迁移权重的生成规则，是该方法的核心问题；由于研究的对象是时-频空间的脑电信号，所以对单试次脑电信号的主要特征进行提取，又要采用合理的图像相似度量手段，基于此，本发明采用基于感知哈希算法的样本迁移学习权重生成策略，其具体方法如下：

首先，将源域数据样本和目标域数据样本的时-频图矩阵转换为64x64大小并进行灰度处理，对处理后的数据进行离散余弦变换；

其中，α(u)和α(v)为变换时的系数矩阵，G_u，u和Q_v，v为变换后的结果，x代表离散信号列，x＝0，1，2...N，u和v分别代表源域和目标域数据；

经过离散余弦变换后的图像，其能量特征主要集中在低频部分，且位于变换后特征矩阵左上角部位，于是，提取变换后特征矩阵左上角8x8的子矩阵，作为信号的特征矩阵，提取每行列的元素进行加权平均，将求得的结果作为平均离散余弦系数，其计算过程如下：

其中，m_s为代表源域数据的系数值m_t代表目标域数据的系数值；

然后，将求得的平均离散余弦系数值作为阈值，利用8x8矩阵每个元素与阈值进行对比，大于阈值的记为1，小于阈值记为0，然后将求得的结果，组成1x64的行向量：

h_i＝0，b_i＜m

h_i＝1，b_i＞m

其中，b为第i个元素所对应的值，h_i代表利用第i个元素与阈值对比求得的值，m代表平均离散余弦系数矩阵所计算出的均值，将8x8矩阵中每个元素依次求解得到1x64的列向量H_i记为单次脑电信号的哈希码；

最后，分别通过求解源域数据和目标域数据的哈希码，计算其汉明距离d_H(H_T，H_S)，其计算过程如下：

L为源域所有试次的总数，将所求得的汉明距离d_H(H_T，H_S)，定义为样本迁移的权重

i为被试的编号，整个计算过程如附图3所示；

4)基于样本迁移的用户独立型训练策略：

对于单个被试脑电分类模型训练过程中，采用十折交叉验证法，对目标被试的数据集进行划分，同时，采用样本迁移法，将源域的数据迁移到当前的训练集中，其具体方法见附图4所示；

对于目标被试训练时，通过对源域的不同试次进行加权，然后将加权后的数据矩阵与目标域训练集进行混合，再通过划分出的测试集对训练模型进行验证，目标域数据集需要执行十折交叉验证，而迁移的数据全部参与每次训练。

为了验证本方法的有效性，本发明采用公共数据集BCI Competition IV dataset2b的数据集作验证，该数据集包括9名被试的参与二分类(左右手)运动想象脑机交互任务的脑电的数据，每个被试包含720试次试验样本；同时，本发明设计了一个八层的卷积神经网络作为分类器，对所提策略进行验证。其实验过程如下：

分别采用用户独立型训练方法(SD)、用户非独立型训练(SI)方法以及本发明所提出的基于样本迁移学习的用户独立型训练方法(ITSD)对所分类模型进行训练，对9个被试的分类准确率进行统计，如下表所示：

表一.不同训练策略的模型分类准确率

如上表所示，由于个体差异，用户非独立型训练策略下的模型平均分类准确率最低，而用户独立型训练可以取得80.6±3.2的准确率，通过样本迁移学习对该策略进行优化，使得同一模型分类准确率提升到94.7±2.6。同时，为了直观的对比三种方法的统计学特征，本发明还利用了单因素方差分析对于结果进行了研究，如图5所示，基于样本迁移的用户独立型训练策略，在相同的分类模型下，能够取得比传统的训练策略更显著的优势。

Claims (1)

1.一种基于迁移学习的用户独立型运动想象分类模型训练方法，其特征在于：首先将脑电信号通过短时傅里叶变化和通道融合，将单次多通道脑电信号转换为时频谱图，然后利用感知哈希算法，对不同被试之间的不同试次的数据进行度量，计算迁移权重系数，接着在对当前被试训练时，利用计算得到的权重与其他被试的数据进行加权，完成样本迁移；

所述的一种基于迁移学习的用户独立型运动想象分类模型训练方法，包括以下步骤：

1)脑电信号预处理：

首先，将采集到n导联脑电信号通过巴特沃斯6阶滤波器，进行8-30Hz的带通滤波，滤波后的信号表示为：

其中，N为样本点总数，n为导联数，m为采样点数，

为第i个导联第j个采样点，t＝{1,2,···N}；

利用短时傅里叶变化，将时序脑电信号转换成时频域空间信号；

X(t)是傅里叶变换之后的结果，ω表示固定的中心频率，R代表滑动窗的数目，j代表复指数；分别对运动想象相关脑区通道进行短时傅里叶变换，然后将所得到的结果转换为时-频图，再分别将时-频图进行按照频率轴的方向进行堆叠实现通道融合：

2)数据划分：

对于当前训练的被试，定义为目标被试，其脑电数据规定为目标域数据D_T，对于除当前被试以外的其他被试，统一称作非目标被试，其数据称为源域数据D_S；定义

为来自源域数据的一个样本，

为来自目标域数据的一组样本，其中，t代表脑电实验的试次数，l代表矩阵的维度，i代表被试的编号；同时，定义当前被试的时-频图矩阵为

3)基于感知哈希算法的迁移权重计算:

采用基于感知哈希算法的样本迁移学习权重生成策略，其具体方法如下：

首先，将源域数据样本和目标域数据样本的时-频图矩阵转换为64x64大小并进行灰度处理，对处理后的数据进行离散余弦变换；

其中，α(u)和α(v)为变换时的系数矩阵，G_u,u和Q_v,v为变换后的结果，x代表离散信号列，x＝0,1,2…N，u和v分别代表源域和目标域数据；

提取变换后特征矩阵左上角8x8的子矩阵，作为信号的特征矩阵，提取每行列的元素进行加权平均，将求得的结果作为平均离散余弦系数；其计算过程如下：

其中，m_s为代表源域数据的系数值m_t代表目标域数据的系数值；

然后，将求得的平均离散余弦系数值作为阈值，利用8x8矩阵每个元素与阈值进行对比，大于阈值的记为1，小于阈值记为0，然后将求得的结果，组成1x64的行向量：

h_i＝0,b_i<m

h_i＝1,b_i>m

其中，b_i为第i个元素所对应的值，h_i代表利用第i个元素与阈值对比求得的值，m代表平均离散余弦系数矩阵所计算出的均值，将8x8矩阵中每个元素依次求解得到1x64的列向量H_i记为单次脑电信号的哈希码；

最后，分别通过求解源域数据和目标域数据的哈希码，计算其汉明距离d_H(H_T,H_S)，其计算过程如下：

L为源域所有试次的总数；将所求得的汉明距离d_H(H_T,H_S)，定义为样本迁移的权重

4)基于样本迁移的用户独立型训练策略：

对于单个被试脑电分类模型训练过程中，采用十折交叉验证法，对目标被试的数据集进行划分，同时，采用样本迁移法，将源域的数据迁移到当前的训练集中；

对于目标被试训练时，通过对源域的不同试次进行加权，然后将加权后的数据矩阵与目标域训练集进行混合，再通过划分出的测试集对训练模型进行验证，目标域数据集需要执行十折交叉验证，而迁移的数据全部参与每次训练。

Images