CN113361484A - 针对eeg信号分类任务的深度学习网络架构搜索方法 - Google Patents

Abstract

本发明公开了一种针对EEG信号分类任务的深度学习网络架构搜索方法，包括如下步骤：根据具体的脑‑机接口任务，采集用户一定量的脑电信号，对采集脑电信号进行降采样，再进行带通滤波。利用处理好的脑电信号，进行深度学习网络架构的搜索；设置网络架构参数，在训练集上计算最优的模型内部可学习参数，固定模型结构不变，使用梯度下降法来获得内部可学习参数，输出最终的网络结构。本发明具有便于集成，且集成成本低的优点，经典基于深度学习的脑电接口系统开发需要事先人为设计出一个网络架构，而本方法可以改变人为设计的过程，利用深度学习网络完成自动设计，所以不需要对现有脑‑机接口系统开发流程作较大的修改，便于集成到现有系统中。

Description

针对EEG信号分类任务的深度学习网络架构搜索方法

技术领域

本发明涉及脑-机接口设计和深度学习网络架构自动化设计领域，是一种针对EEG信号分类任务的深度学习网络架构的搜索方法。

背景技术

脑-机接口技术可以直接通过检测大脑神经活动来识别人的意图，并将其转换成计算机控制指令，从而实现人脑对外部设备操作控制，是一种新型的人机交互控制技术。自从20世纪70年代被提出以来，随着相关学科的快速发展，脑-机接口的技术和理论研究已经取得了长足的进展，并已经在医疗康复、装备研发、娱乐游戏等领域有着广泛的应用前景，其重要的科学研究价值和广泛的应用前景受到国内外学者和高科技公司的广泛关注。

由于脑电信号(EEG)是一种信噪比非常低的信号，而且非常容易受到干扰产生畸变，因此在过去的30年里，围绕脑-机接口交互系统的设计，研究人员设计出了各种各样的特征提取方法和分类算法。这些方法大多数是基于传统的机器学习方法，即提出一个优化目标，求解出一个封闭解。因为这些方法都是由深耕脑-机接口领域多年、具备着非常丰富的脑电信号处理经验的研究人员所开发、设计，其结构中包含了研究人员多年的经验，具备了非常强的先验知识，所以这类算法非常高效，对数据量要求不大，且表现很好。

现有的脑-机接口交互系统的特征提取方法和分类算法，由于专业性太强，对于刚刚涉足脑-机接口领域的新人来说，要想理解透彻一个脑电分类算法，可能需要花费一定量的时间查阅很多资料，才能把脑电领域的经典算法灵活运用。由于脑电信号的被试差异性非常大，所以在实际应用中需要对不同的用户进行超参数调整，超参数调整的收益非常明显，尤其是在基于运动想象范式的脑-机接口实验中，针对被试的超参数调整是必不可少的一步。上述因素都制约了现有的脑-机接口交互特征提取方法和分类算法的进一步推广应用。

自2015年起，基于深度学习的分类模型被提出，迅速成为了图像分类任务、语音分类任务等领域的当前最优方法。但目前为止，深度学习方法在脑电信号分类任务表现，并没有它在图像、语音领域上那样出色，其原因主要体现在两个方面：1)脑电信号的特殊性，不同被试者差异太大；2)脑电信号的数据量不如图像、语音领域那样丰富。对于传统方法，也需要对用户进行个性化调整超参数才能达到一个令人满意的性能，所以如果想让深度学习方法在脑电信号分类任务中得到像图像、语音领域中一样的广泛应用，就需要对每个被试进行个性化的网络结构调整。为避免深度学习用于脑电信号分类中出现的超参数调整问题，本发明提出了一种针对EEG信号分类任务的深度学习网络架构搜索的方法，该方法不需要太多的领域知识，即可完成针对脑电信号分类的深度学习网络架构。

发明内容

使用深度学习方法进行脑电信号分类任务时，网络的架构难以确定，需要大量的时间进行调参，因此本发明的目的是解决在脑-机接口领域中深度学习网络结构设计困难问题，更准确的说是，本发明针对不同的被试需要个性化的设计不同的网络结构这一问题，提出了一种针对脑电信号分类的深度学习网络结构的搜索方法。

本发明公开了一种针对EEG信号分类任务的深度学习网络架构搜索方法，包括如下步骤：

S1，根据具体的脑-机接口任务，采集用户一定量的脑电信号，对采集脑电信号进行降采样，再进行带通滤波。

S2，利用步骤S1处理好的脑电信号，进行深度学习网络架构的搜索；设置目标网络架构中的节点数n，候选操作集合O，初始化模型参数(α,w(α))，迭代次数M，α是模型的结构，w(α)是模型内部的可学习参数；节点深度学习网络的中间层，即特征图层。候选操作集合O，包括多种类型的卷积核。

S3，在训练集上计算最优的模型内部可学习参数w^*(α)。固定模型结构不变，使用梯度下降法来学习w，直到模型收敛停止；优选地，梯度下降法采用Adam优化器方法。

S4，在验证集上计算损失函数L_val(w^*(α),α)和关于α的梯度

损失函数L_val(w^*(α),α)是关于α的函数。

S5，使用梯度下降法更新α。通过在验证集上计算得到的损失函数，计算模型架构参数α的梯度，使用梯度下降法进行一次迭代计算。

S6，从步骤S2开始，直到迭代次数达到预设次数M。

S7，根据

输出最终的网络结构。所用的深度学习网络架构，其包含4个子模块，4个子模块具有相同的结构。每个子模块中有四个神经网络节点，用x^(j)表示神经网络节点的中间输出。节点之间由有向边链接，一对节点之间存在多个有向边，每个有向边代表一种特征图变换，用o^(i,j)表示有向边，o(·)是有向边函数，节点x^(j)的计算方法为：

x⁽ⁱ⁾是x^(j)的全部前继。

从第二个子模块开始，节点间的操作权重互不相等，节点间变换为：

o^(i,j)为事先定义的候选操作变量。每个操作的权重为向量

其维度是|O|。经过若干步搜索达到收敛后，取最优操作变量为

从而得到最终网络结构。

所述的步骤S1，其对采集脑电信号进行降采样的频率为250Hz，进行带通滤波的频率范围为8～40Hz。

对于操作权重向量

的确定，使用L_train和L_val分别表示训练集损失函数和验证集损失函数，这两个损失函数由结构α和网络的参数w决定。网络结构搜索的目标就是找到一个结构α^*，使得L_val(α^*,w^*)达到最小值，w^*根据最小化训练集损失确定，即w^*＝argmin_wL(w,α^*)，通过求解二层优化问题来确定操作权重向量

s.t.w^*(α)＝argmin_wL_train(w,α), (3)

对于由式(2)和式(3)构成的二层优化问题的求解，先在训练集上使用梯度下降法，计算出最优的w*，从而完成网络内层结构优化，将在验证集上的损失函数作为结构优化的评价标准，采用梯度下降法进行网络外层结构优化。

本发明的有益效果在于：

(1)本方法具有更高的可行性。本方法把神经网络架构搜索的问题建模为二次优化问题，而二次优化是一个经典的最优化问题，其解决方法已比较成熟，这使得本方法具有更高的可行性。

(2)本方法具有便于集成，且集成成本低的优点。经典基于深度学习的脑电接口系统开发流程需要事先人为设计出一个网络架构，本方法可以改变人为设计的过程。所以不需要对现有脑-机接口系统开发流程作较大的修改，便于集成到现有系统中。

(3)本方法更适用于单一被试的脑-机接口系统。本发明针对深度学习在脑电信号处理分类任务表现效果不佳问题，提出了一种对用户个性化、自动化设计深度学习网络架构的方法，该方法完全处在算法层面，理论充分，表达严谨，不需要硬件上有任何改动，操作简单，并根据深度学习方法处理脑电信号的既往经验给出了一些搜索网络架构过程中需要用到的候选操作集合配置的建议，使本发明变得更加实用。最后对引入本发明的脑-机接口系统设计流程图做了简单的调整：在构建深度学习模型的过程中，增加了网络架构搜索的步骤。该方法对于推进深度学习在脑电信号分析的应用和脑-机接口领域应该如何借鉴人工智能科研社区的硕果上具有非常重要的意义。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分。本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明所用的深度学习网络架构结构示意图；

图2为本发明的实施流程示意图。

具体实施方式

为了更好的了解本发明内容，这里给出一个实施例。

本发明实例中，提出了一种针对EEG信号分类任务的深度学习网络架构的自动化设计方法。该方法不需要太多的领域知识，即可完成针对脑电信号分类的深度学习网络架构，避免了人工设计网络结构的过程，可以优化现有的脑-机接口系统的开发流程，加速脑-机接口领域的科学研究和商业落地的进程。

以下结合说明书附图对本发明的实施例进行说明，值得注意的是，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。同时，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

图1为本发明所用的深度学习网络架构结构示意图。

本实施例公开了一种针对EEG信号分类任务的深度学习网络架构搜索方法，包括如下步骤：

S1，根据具体的脑-机接口任务，采集用户一定量的脑电信号，对采集脑电信号进行降采样，再进行带通滤波。

S2，利用步骤S1处理好的脑电信号，进行深度学习网络架构的搜索；设置目标网络架构中的节点数n，候选操作集合O，初始化模型参数(α,w(α))，迭代次数M，α是模型的结构，w(α)是模型内部的可学习参数；节点深度学习网络的中间层，即特征图层。候选操作集合O，包括多种类型的卷积核。不同类型的卷积核，其形状是不同的，通过补以不同的补充位，使它们的输出的特征层形状相同，以保证不同的特征层之间的可加性。

S3，在训练集上计算最优的模型内部可学习参数w^*(α)。固定模型结构不变，使用梯度下降法来学习w，直到模型收敛停止；优选地，梯度下降法采用Adam优化器方法。

S4，在验证集上计算损失函数L_val(w^*(α),α)和关于α的梯度

损失函数L_val(w^*(α),α)是关于α的函数。

S5，使用梯度下降法更新α。通过在验证集上计算得到的损失函数，计算模型架构参数α的梯度，使用梯度下降法进行一次迭代。

S6，从步骤S2开始，直到迭代次数达到预设次数M。

S7，根据

输出最终的网络结构，如图1的子模块d。

所述的步骤S1，其对采集脑电信号进行降采样的频率为250Hz，进行带通滤波的频率范围为8～40Hz。

本方法所用的深度学习网络架构包含4个子模块，如图1中的子模块a、b、c、d。4个子模块具有相同的结构，现以子模块a为例进行介绍。

本发明所用的深度学习网络架构，其包含4个子模块，4个子模块具有相同的结构。每个子模块中有四个神经网络节点，用x^(j)表示神经网络节点的中间输出，如卷积网络的特征图即为神经网络节点。节点之间由有向边链接，一对节点之间存在多个有向边，每个有向边代表一种特征图变换，用o^(i,j)表示有向边，o(·)是有向边函数，节点x^(j)的计算方法为：

x⁽ⁱ⁾是x^(j)的全部前继。

所有同一个层级的节点都是形状相同的张量，这样才能满足他们之间的可加性。本发明中，对神经网络架构的搜索即是对有向边的选择，选择不同有向边就是构建了不同的深度学习网络架构。

在本发明中，先在节点x之间生成多种特征变换的操作，如卷积操作，池化层操作等，对每个操作赋以相应的权重，这些权重的集合就是α，然后通过数据驱动的方式调整这些权重，最后在每对节点之间选择权重最大的一个操作形成最后搜索出来的网络。

从第二个子模块(即图1中的子模块b)开始，节点间的操作权重互不相等，节点间变换为：

o^(i,j)为事先定义的候选操作变量。每个操作的权重为向量

其维度是|O|。这样对深度学习网络结构的搜索，就退化成了对权重向量α＝{α(i,j)}的确定问题。经过若干步搜索达到收敛后，取最优操作变量为

从而得到最终网络结构。

对于操作权重向量

的确定，使用L_train和L_val分别表示训练集损失函数和验证集损失函数，这两个损失函数由结构α和网络的参数w决定。网络结构搜索的目标就是找到一个结构α^*，使得L_val(α^*,w^*)达到最小值，w^*根据最小化训练集损失确定，即w^*＝argmin_wL(w,α^*)，通过求解二层优化问题来确定操作权重向量

s.t.w^*(α)＝argmin_wL_train(w,α), (6)

对于由式(5)和式(6)构成的二层优化问题的求解，先在训练集上使用梯度下降法，计算出最优的w*，从而完成网络内层结构优化，将在验证集上的损失函数作为结构优化的评价标准，采用梯度下降法进行网络外层结构优化。

图2中描述本发明在实际应用过程中的工作流程。在实际应用中，首先，根据具体的脑-机接口任务的不同，需要采集用户一定量的脑电数据。采集完数据后进行离线分析。以基于运动想象实验范式的脑-机接口为例，对离线数据预处理进行描述：市面上常见的中高端脑电采集装置的采样频率为1000Hz，采样频率过高会导致数据规模变大，不利于深度学习网络学习到较好的特征，所以一般会先进行对脑电信号的降采样，经验上比较好的降采样频率为250Hz。由于运动想象主要活跃频率带在40Hz以下，8Hz以上，所以还需要进行带通滤波。也可直接进行8～40Hz的带通滤波，依据分析目标不同采取不同的预处理设置。如果明确在采集数据的过程中，用户受到了强烈的干扰，导致脑电信号产生了不可恢复的畸变，则需要手工的剔除这部分的脑电数据，降低用户脑电数据被污染的风险。

采集到原始脑电信号，再经过预处理之后，就完成了对用户的脑电数据集的构建，接下来就可以针对这个脑电数据进行深度学习网络架构的搜索阶段。在搜索之前确定网络架构中节点间的候选操作范围。因为某些节点间的变换，在脑电信号处理中是一定无效的，比如形状为(3,3)的卷积操作。虽然(3,3)的卷积操作在图像领域十分常用，但是在脑电处理领域中，事实证明它是无效的。在脑电信号领域中，1维的卷积核，比2维的卷积效果好。在1维卷积核中，跨度大的比跨度小的效果好。如果脑电数据的每个样本是59通道*1000采样点(250Hz下4秒)，则建议的卷积核第一维长度为：10，20，30，40，50，59。第二维长度为：100，200，300，400，500。最终的卷积核为这些数据的组合。设置好候选操作集O后和迭代次数N，就可以进行深度学习网络架构搜索了。在此需要说明，对当前用户搜索出来的深度学习网络架构，不一定适用于其他人。所以，如果更换用户，需要重新进行一次网络架构的搜索，这是由于脑电信号在被试之间的差异性所决定的。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (3)

1.一种针对EEG信号分类任务的深度学习网络架构搜索方法，其特征在于，包括如下步骤：

S1，根据具体的脑-机接口任务，采集用户一定量的脑电信号，对采集脑电信号进行降采样，再进行带通滤波；

S2，利用步骤S1处理好的脑电信号，进行深度学习网络架构的搜索；设置目标网络架构中的节点数n，候选操作集合O，初始化模型参数(α,w(α))，迭代次数M，α是模型的结构，w(α)是模型内部的可学习参数；节点深度学习网络的中间层，即特征图层；候选操作集合O，包括多种类型的卷积核；

S3，在训练集上计算最优的模型内部可学习参数w^*(α)；固定模型结构不变，使用梯度下降法来学习w，直到模型收敛停止；梯度下降法采用Adam优化器方法；

S4，在验证集上计算损失函数L_val(w^*(α),α)和关于α的梯度

损失函数L_val(w^*(α),α)是关于α的函数；

S5，使用梯度下降法更新α；通过在验证集上计算得到的损失函数，计算模型架构参数α的梯度，使用梯度下降法进行一次迭代计算；

S6，从步骤S2开始，直到迭代次数达到预设次数M；

S7，根据

输出最终的网络结构；所用的深度学习网络架构，其包含4个子模块，4个子模块具有相同的结构；每个子模块中有四个神经网络节点，用x^(j)表示神经网络节点的中间输出；节点之间由有向边链接，一对节点之间存在多个有向边，每个有向边代表一种特征图变换，用o^(i,j)表示有向边，o(·)是有向边函数，节点x^(j)的计算方法为：

x⁽ⁱ⁾是x^(j)的全部前继；

从第二个子模块开始，节点间的操作权重互不相等，节点间变换为：

o^(i,j)为事先定义的候选操作变量；每个操作的权重为向量

其维度是|O|；经过若干步搜索达到收敛后，取最优操作变量为

从而得到最终网络结构。

2.一种如权利要求1所述的针对EEG信号分类任务的深度学习网络架构搜索方法，其特征在于，所述的步骤S1，其对采集脑电信号进行降采样的频率为250Hz，进行带通滤波的频率范围为8～40Hz。

3.一种如权利要求1所述的针对EEG信号分类任务的深度学习网络架构搜索方法，其特征在于，

对于操作权重向量

的确定，使用L_train和L_val分别表示训练集损失函数和验证集损失函数，这两个损失函数由结构α和网络的参数w决定；网络结构搜索的目标就是找到一个结构α^*，使得L_val(α^*,w^*)达到最小值，w^*根据最小化训练集损失确定，即w^*＝argmin_wL(w,α^*)，通过求解二层优化问题来确定操作权重向量

s.t.w^*(α)＝arg min_wL_train(w,α), (3)

对于由式(2)和式(3)构成的二层优化问题的求解，先在训练集上使用梯度下降法，计算出最优的w*，从而完成网络内层结构优化，将在验证集上的损失函数作为结构优化的评价标准，采用梯度下降法进行网络外层结构优化。

Images