CN111544855A - 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用 - Google Patents

Abstract

一种基于蒸馏学习和深度学习的纯意念控制智能康复方法，包括：根据所采集的已有被试者的脑电信号构建教师网络和学生网络，包括构建时空卷积块、构建教师网络和构建学生网络；利用已采集的被试者的脑电信号对教师网络进行预训练；在经过预训练的教师网络的基础上，对学生网络进行预训练；在预训练学生网络的基础上对学生网络进行再次训练；通过纯意念控制智能康复系统采集被试者的脑电信号，并在训练完毕的学生网络的基础上对输入的脑电信号进行识别，当识别出脑电类别所对应的被试者运动意图后，通过纯意念控制智能康复系统的外骨骼康复器械协助被试者执行相应的肢体动作，完成康复训练。本发明能够实现使用者进行主动康复训练。

Description

基于蒸馏学习和深度学习纯意念控制智能康复方法及应用

技术领域

本发明涉及一种纯意念控制智能康复系统。特别是涉及一种基于蒸馏学习和深度学习纯意念控制智能康复方法及应用。

背景技术

脑电信号是脑神经细胞电生理活动在大脑皮层或头皮表面的总体反映。脑电信号中包含了大量的生理与疾病信息，分析脑电信号，可以获得与某些疾病相关的信息，从而可以根据这些信息对大脑疾病诊断以及康复医疗提供有效的方法。因此，脑电信号的分析、处理被广泛应用于临床神经学研究、康复医疗等领域。在脑机接口领域，深度学习模型已被广泛地应用于脑电的分析与处理中。然而，如何将脑电信号分类深度学习模型部署到移动端或者嵌入式设备是脑电在实际应用中不可避免的一个难题。其中主要面临的问题为深度学习模型复杂度与准确率之间的平衡。在脑电信号分类中，深度学习模型往往比传统分类模型具有更优的分类性能，但其模型结构也往往复杂度更高。模型复杂度高的深度学习网络在实际应用中主要会产生两个负面影响：计算功耗大和实时响应性弱。而这两种影响也是一直以来制约深度学习模型部署至移动端或者嵌入式设备的两大瓶颈。

发明内容

本发明所要解决的技术问题是，提供一种能够通过对脑电信号进行实时监测与分析实现主动式康复训练的基于蒸馏学习和深度学习纯意念控制智能康复方法及应用。

本发明所采用的技术方案是：一种基于蒸馏学习和深度学习的纯意念控制智能康复方法，包括如下步骤：

1)根据所采集的已有被试者的脑电信号构建教师网络和学生网络，包括构建时空卷积块、构建教师网络和构建学生网络；

2)利用已采集的被试者的脑电信号对教师网络进行预训练；

3)在经过预训练的教师网络的基础上，对学生网络进行预训练；

4)在预训练学生网络的基础上对学生网络进行再次训练；

5)通过纯意念控制智能康复系统采集被试者的脑电信号，并在训练完毕的学生网络的基础上对输入的脑电信号进行识别，当识别出脑电类别所对应的被试者运动意图后，通过纯意念控制智能康复系统的外骨骼康复器械协助被试者执行相应的肢体动作，完成康复训练。

步骤1)所述的构建时空卷积块，是根据所述脑电信号数据的时间及空间特性，构建一个6层的时空卷积块，其中：

第一层为时间卷积层，用于对数据长度为L，通道数为N的脑电信号进行时间滤波，该层使用K种滤波器，每种滤波器与输入信号进行卷积操作后形成K个特征图；时间卷积层卷积核大小为t×1，步长为s；

第二层与第五层均为ReLU激活函数，使经过激活后的输出为非负值，ReLU激活函数为：

r(x)＝max(0,x)

其中，x为输入的特征图；

第三层与第六层均为批量归一化层，用于对上一层网络的输出进行归一化处理，使上一层网络输出的数据分布接近正态分布，加速模型收敛，提高网络的泛化性能；

第四层为空间卷积层，用于对通道数为N的脑电信号进行空间滤波，该层使用F种滤波器，每种滤波器与输入信号进行卷积操作后形成F个特征图；空间卷积层卷积核大小为1×N，步长为d。

步骤1)所述的构建教师网络，是基于所述的时空卷积块，构建一个7层的教师网络，其中，前六层由6个时空卷积块依次连接组成，第七层使用全连接层。

步骤1)所述的构建学生网络，是基于所述的时空卷积块，构建一个4层的学生网络，其中，前三层由3个时空卷积块依次连接组成，第四层使用全连接层。

步骤2)所述的利用已采集的被试者的脑电信号对教师网络进行预训练，首先设教师网络的损失函数为H_t，表达式如下：

其中，c为脑电分类任务中的类别数，p_i为脑电信号的真实标签，

为教师网络对脑电信号的预测标签；

预训练过程中，向教师网络输入已有被试者的脑电信号，通过教师网络的损失函数H_t的计算公式计算出损失，根据所述的损失通过反向传播算法与小批量梯度下降法对教师网络进行误差传播及参数更新，不断重复该预训练过程对教师网络的参数进行迭代更新，直至达到教师网络收敛的条件。

步骤3)所述的在经过预训练的教师网络的基础上，对学生网络进行预训练，是通过向学生网络和预训练后的教师网络同时输入新的被试者的脑电信号，提取出教师网络和学生网络中时空卷积块的输出，计算两者的差异性，并在训练过程中以缩小教师网络和学生网络各层输出特征图的距离为优化目标，该优化目标由预训练过程中的损失函数H_sp表示，表达式如下：

H_sp＝||x_i-x_j||₂

其中，x_i代表教师网络第2层、第四层和第六层时空卷积块的输出特征图，x_j代表学生网络每一时空卷积块的输出特征图，‖·‖₂代表2-范数；

预训练过程中，向学生网络和预训练后的教师网络同时输入新的被试者的脑电信号，提取出教师网络和学生网络中时空卷积块的输出，通过损失函数H_sp的计算公式，计算教师网络和学生网络各层输出特征图的距离作为损失，根据所述的损失通过反向传播算法与小批量梯度下降法对学生网络进行误差传播及参数更新，不断重复该预训练过程，对学生网络的参数进行迭代更新，直至达到预训练结束的条件。

步骤4)所述的在预训练学生网络的基础上对学生网络进行再次训练，是对预训练后的学生网络进行再次训练，此次训练过程是向学生网络输入新的被试者的脑电信号，该过程以提升学生网络的分类准确率为优化目标，该优化目标由脑电分类的损失函数H_s表示，表达式如下：

其中，c为脑电分类任务中的类别数，y_i为脑电信号的真实标签，

为学生网络对脑电样本的预测标签；

训练过程中，通过向学生网络输入新的被试者的脑电信号，通过损失函数H_s的计算公式计算出损失，根据所述的损失通过反向传播算法与小批量梯度下降法对预训练后的学生网络进行误差传播及参数更新，不断重复该过程对学生网络的参数进行迭代更新，直至达到模型收敛的条件。

一种基于蒸馏学习和深度学习的纯意念控制智能康复方法的应用，包括：

优化压缩深度学习模型，在不降低模型分类性能的前提下缩减网络层数，降低设备功耗，通过训练大型网络使之满足分类性能要求，再通过构建结构相对简单，模型参数少的深度学习网络，使用一种基于蒸馏学习和深度学习的纯意念控制智能康复方法，结合深度学习训练的早停法、添加丢弃层、添加正则项技术，最小化损失函数，包括交叉熵损失函数、均方差损失函数，使得结构相对简单的小模型与大型网络在各层的输出特征图具有较高的相似性，达到蒸馏学习的目的。

本发明的基于蒸馏学习和深度学习纯意念控制智能康复方法及应用，有望实现将深度学习模型部署至智能移动端中，并对脑电信号进行实时监测与分析，同时结合医疗设备实现主动式康复训练。本发明的方法可在保证脑电分类准确率的情况下，具备延迟小，占用内存下，功耗小等优点，并实现对使用者大脑运动意图的实时监测，并与医疗训练相结合，实现使用者进行主动康复训练。

附图说明

图1是本发明中时空卷积块的结构框图。

图2是本发明中教师网络和学生网络的结构框图。

图3是本发明中基于蒸馏学习和深度学习的网络训练流程图。

图4是本发明中通过纯意念控制智能康复系统进行康复训练的流程图。

具体实施方式

下面结合实施例和附图对本发明的基于蒸馏学习和深度学习纯意念控制智能康复方法及应用做出详细说明。

本发明的基于蒸馏学习和深度学习纯意念控制智能康复方法及应用，是在模型复杂度高的深度学习模型基础上，基于蒸馏学习技术优化网络参数，缩减网络结构，使模型能以延迟小、功耗低的优点部署于智能移动端上，如纯意念控制智能康复系统、智能穿戴等，实现对大脑状态的实时监测与主动式康复训练。

本发明的基于蒸馏学习和深度学习的纯意念控制智能康复方法，包括如下步骤：

1)根据所采集的已有被试者的脑电信号构建教师网络和学生网络，包括构建时空卷积块、构建教师网络和构建学生网络；其中，

所述的构建时空卷积块，如图1所示，是根据所述脑电信号数据的时间及空间特性，构建一个6层的时空卷积块，其中：

第一层为时间卷积层，用于对数据长度为L，通道数为N的脑电信号进行时间滤波，该层使用K种滤波器，每种滤波器与输入信号进行卷积操作后形成K个特征图；时间卷积层卷积核大小为t×1，步长为s；

第二层与第五层均为ReLU激活函数，使经过激活后的输出为非负值，ReLU激活函数为：

r(x)＝max(0,x)

其中，x为输入的特征图；

第三层与第六层均为批量归一化层，用于对上一层网络的输出进行归一化处理，使上一层网络输出的数据分布接近正态分布，加速模型收敛，提高网络的泛化性能；

第四层为空间卷积层，用于对通道数为N的脑电信号进行空间滤波，该层使用F种滤波器，每种滤波器与输入信号进行卷积操作后形成F个特征图；空间卷积层卷积核大小为1×N，步长为d。

如图2所示，所述的构建教师网络，是基于所述的时空卷积块，构建一个7层的教师网络，其中，前六层由6个时空卷积块依次连接组成，第七层使用全连接层。

如图2所示，所述的构建学生网络，是基于所述的时空卷积块，构建一个4层的学生网络，其中，前三层由3个时空卷积块依次连接组成，第四层使用全连接层。

2)利用已采集的被试者的脑电信号对教师网络进行预训练；

如图2所示，所述的利用已采集的被试者的脑电信号对教师网络进行预训练，首先设教师网络的损失函数为H_t，表达式如下：

其中，c为脑电分类任务中的类别数，p_i为脑电信号的真实标签，

为教师网络对脑电信号的预测标签；

预训练过程中，向教师网络输入已有被试者的脑电信号，通过教师网络的损失函数H_t的计算公式计算出损失，根据所述的损失通过反向传播算法与小批量梯度下降法对教师网络进行误差传播及参数更新，不断重复该预训练过程对教师网络的参数进行迭代更新，直至达到教师网络收敛的条件。

3)在经过预训练的教师网络的基础上，对学生网络进行预训练；

如图2所示，所述的在经过预训练的教师网络的基础上，对学生网络进行预训练，是通过向学生网络和预训练后的教师网络同时输入新的被试者的脑电信号，提取出教师网络和学生网络中时空卷积块的输出，计算两者的差异性，并在训练过程中以缩小教师网络和学生网络各层输出特征图的距离为优化目标，该优化目标由预训练过程中的损失函数H_sp表示，表达式如下：

H_sp＝||x_i-x_j||₂

其中，x_i代表教师网络第2层、第四层和第六层时空卷积块的输出特征图，x_j代表学生网络每一时空卷积块的输出特征图，‖·‖₂代表2-范数；

预训练过程中，向学生网络和预训练后的教师网络同时输入新的被试者的脑电信号，提取出教师网络和学生网络中时空卷积块的输出，通过损失函数H_sp的计算公式，计算教师网络和学生网络各层输出特征图的距离作为损失，根据所述的损失通过反向传播算法与小批量梯度下降法对学生网络进行误差传播及参数更新，不断重复该预训练过程，对学生网络的参数进行迭代更新，直至达到预训练结束的条件。

4)在预训练学生网络的基础上对学生网络进行再次训练；

所述的在预训练学生网络的基础上对学生网络进行再次训练，是对预训练后的学生网络进行再次训练，此次训练过程是向学生网络输入新的被试者的脑电信号，该过程以提升学生网络的分类准确率为优化目标，该优化目标由脑电分类的损失函数H_s表示，表达式如下：

其中，c为脑电分类任务中的类别数，y_i为脑电信号的真实标签，

为学生网络对脑电样本的预测标签；

训练过程中，通过向学生网络输入新的被试者的脑电信号，通过损失函数H_s的计算公式计算出损失，根据所述的损失通过反向传播算法与小批量梯度下降法对预训练后的学生网络进行误差传播及参数更新，不断重复该过程对学生网络的参数进行迭代更新，直至达到模型收敛的条件。

5)通过纯意念控制智能康复系统采集被试者的脑电信号，并在训练完毕的学生网络的基础上对输入的脑电信号进行识别，当识别出脑电类别所对应的被试者运动意图后，通过纯意念控制智能康复系统的外骨骼康复器械协助被试者执行相应的肢体动作，完成康复训练，如图4所示。

本发明所述的纯意念控制智能康复系统，可采用目前已有的产品：无线脑电肌电系统eegomylab，或无线脑电肌电系统Eegosports88，或eCon无线脑电采集设备+eConHand手功能康复设备，或四肢联动智能反馈训练系统AL450。

本发明的一种基于蒸馏学习和深度学习的纯意念控制智能康复方法的应用，其特征在于，包括：优化压缩深度学习模型，在不降低模型分类性能的前提下缩减网络层数，降低设备功耗，通过训练大型网络使之满足分类性能要求，再通过构建结构相对简单，模型参数少的深度学习网络，使用一种基于蒸馏学习和深度学习的纯意念控制智能康复方法，结合深度学习训练的早停法、添加丢弃层、添加正则项技术，最小化损失函数，包括交叉熵损失函数、均方差损失函数，使得结构相对简单的小模型与大型网络在各层的输出特征图具有较高的相似性，达到蒸馏学习的目的。

以上对本发明和实施例的描述，并不局限于此，实施例中的描述仅是本发明的实施方式之一，在不脱离本发明创造宗旨的情况下，任何不经创造性的设计出与该技术方案类似的结构或实施例，均属本发明的保护范围。

Claims (8)

1.一种基于蒸馏学习和深度学习的纯意念控制智能康复方法，其特征在于，包括如下步骤：

1)根据所采集的已有被试者的脑电信号构建教师网络和学生网络，包括构建时空卷积块、构建教师网络和构建学生网络；

2)利用已采集的被试者的脑电信号对教师网络进行预训练；

3)在经过预训练的教师网络的基础上，对学生网络进行预训练；

4)在预训练学生网络的基础上对学生网络进行再次训练；

5)通过纯意念控制智能康复系统采集被试者的脑电基于新型迁移学习模型的脑-肌电智能全肢体康复方法基于新型迁移学习模型的脑-肌电智能全肢体康复方法基于新型迁移学习模型的脑-肌电智能全肢体康复方法信号，并在训练完毕的学生网络的基础上对输入的脑电信号进行识别，当识别出脑电类别所对应的被试者运动意图后，通过纯意念控制智能康复系统的外骨骼康复器械协助被试者执行相应的肢体动作，完成康复训练。

2.根据权利要求1所述的基于蒸馏学习和深度学习的纯意念控制智能康复方法，其特征在于，步骤1)所述的构建时空卷积块，是根据所述脑电信号数据的时间及空间特性，构建一个6层的时空卷积块，其中：

第一层为时间卷积层，用于对数据长度为L，通道数为N的脑电信号进行时间滤波，该层使用K种滤波器，每种滤波器与输入信号进行卷积操作后形成K个特征图；时间卷积层卷积核大小为t×1，步长为s；

第二层与第五层均为ReLU激活函数，使经过激活后的输出为非负值，ReLU激活函数为：

r(x)＝max(0,x)

其中，x为输入的特征图；

第三层与第六层均为批量归一化层，用于对上一层网络的输出进行归一化处理，使上一层网络输出的数据分布接近正态分布，加速模型收敛，提高网络的泛化性能；

第四层为空间卷积层，用于对通道数为N的脑电信号进行空间滤波，该层使用F种滤波器，每种滤波器与输入信号进行卷积操作后形成F个特征图；空间卷积层卷积核大小为1×N，步长为d。

3.根据权利要求1所述的基于蒸馏学习和深度学习的纯意念控制智能康复方法，其特征在于，步骤1)所述的构建教师网络，是基于所述的时空卷积块，构建一个7层的教师网络，其中，前六层由6个时空卷积块依次连接组成，第七层使用全连接层。

4.根据权利要求1所述的基于蒸馏学习和深度学习的纯意念控制智能康复方法，其特征在于，步骤1)所述的构建学生网络，是基于所述的时空卷积块，构建一个4层的学生网络，其中，前三层由3个时空卷积块依次连接组成，第四层使用全连接层。

5.根据权利要求1所述的基于蒸馏学习和深度学习的纯意念控制智能康复方法，其特征在于，步骤2)所述的利用已采集的被试者的脑电信号对教师网络进行预训练，首先设教师网络的损失函数为H_t，表达式如下：

其中，c为脑电分类任务中的类别数，p_i为脑电信号的真实标签，

为教师网络对脑电信号的预测标签；

预训练过程中，向教师网络输入已有被试者的脑电信号，通过教师网络的损失函数H_t的计算公式计算出损失，根据所述的损失通过反向传播算法与小批量梯度下降法对教师网络进行误差传播及参数更新，不断重复该预训练过程对教师网络的参数进行迭代更新，直至达到教师网络收敛的条件。

6.根据权利要求1所述的基于蒸馏学习和深度学习的纯意念控制智能康复方法，其特征在于，步骤3)所述的在经过预训练的教师网络的基础上，对学生网络进行预训练，是通过向学生网络和预训练后的教师网络同时输入新的被试者的脑电信号，提取出教师网络和学生网络中时空卷积块的输出，计算两者的差异性，并在训练过程中以缩小教师网络和学生网络各层输出特征图的距离为优化目标，该优化目标由预训练过程中的损失函数H_sp表示，表达式如下：

H_sp＝‖x_i-x_j‖₂

其中，x_i代表教师网络第2层、第四层和第六层时空卷积块的输出特征图，x_j代表学生网络每一时空卷积块的输出特征图，‖·‖₂代表2-范数；

预训练过程中，向学生网络和预训练后的教师网络同时输入新的被试者的脑电信号，提取出教师网络和学生网络中时空卷积块的输出，通过损失函数H_sp的计算公式，计算教师网络和学生网络各层输出特征图的距离作为损失，根据所述的损失通过反向传播算法与小批量梯度下降法对学生网络进行误差传播及参数更新，不断重复该预训练过程，对学生网络的参数进行迭代更新，直至达到预训练结束的条件。

7.根据权利要求1所述的基于蒸馏学习和深度学习的纯意念控制智能康复方法，其特征在于，步骤4)所述的在预训练学生网络的基础上对学生网络进行再次训练，是对预训练后的学生网络进行再次训练，此次训练过程是向学生网络输入新的被试者的脑电信号，该过程以提升学生网络的分类准确率为优化目标，该优化目标由脑电分类的损失函数H_s表示，表达式如下：

其中，c为脑电分类任务中的类别数，y_i为脑电信号的真实标签，

为学生网络对脑电样本的预测标签；

训练过程中，通过向学生网络输入新的被试者的脑电信号，通过损失函数H_s的计算公式计算出损失，根据所述的损失通过反向传播算法与小批量梯度下降法对预训练后的学生网络进行误差传播及参数更新，不断重复该过程对学生网络的参数进行迭代更新，直至达到模型收敛的条件。

8.一种权利要求1所述的基于蒸馏学习和深度学习的纯意念控制智能康复方法的应用，其特征在于，包括：

优化压缩深度学习模型，在不降低模型分类性能的前提下缩减网络层数，降低设备功耗，通过训练大型网络使之满足分类性能要求，再通过构建结构相对简单，模型参数少的深度学习网络，使用一种基于蒸馏学习和深度学习的纯意念控制智能康复方法，结合深度学习训练的早停法、添加丢弃层、添加正则项技术，最小化损失函数，包括交叉熵损失函数、均方差损失函数，使得结构相对简单的小模型与大型网络在各层的输出特征图具有较高的相似性，达到蒸馏学习的目的。

Images