CN112370017B - 脑电信号分类模型的训练方法和装置、以及电子设备 - Google Patents

Abstract

提供了用于脑电信号分类的分类模型的训练方法、训练装置以及电子设备。该训练方法包括：获取脑电信号样本集，脑电信号样本集包括与多个类别分别对应的多个样本子集；对于多个样本子集中的每个样本子集，基于时频域变换和样本叠加，利用该样本子集中的每个样本生成该样本子集对应的叠加样本集；对于多个样本子集中的每个样本子集，利用该样本子集及其对应的叠加样本集，生成该样本子集的扩增样本子集；以及利用与多个类别分别对应的多个扩增样本子集，训练用于脑电信号分类的分类模型。其中，训练后的分类模型用于将采集的待分类的脑电信号分类到多个类别中的一个类别。

Description

脑电信号分类模型的训练方法和装置、以及电子设备

技术领域

本申请涉及医疗领域，更具体地，涉及一种用于脑电信号分类的分类模型的训练方法和装置、以及电子设备。

背景技术

脑机接口(BCI)在医疗场景中的应用是非常广泛的，它是一种不依赖于大脑正常输出通路(外周神经和肌肉组织)而直接实现大脑与计算机等外部设备进行通信的技术。例如对于感觉运动皮层相关部位受损的中风病人，脑机接口(BCI)可以从受损的皮层区采集信号，然后刺激肌肉或控制矫形器，改善手臂运动。癫痫病人的大脑会出现某个区域的神经元异常放电，通过脑机接口技术检测到神经元异常放电后，可以对大脑进行相应的电刺激，从而减少癫痫发作。

运动想象(MI)是BCI领域的一个重要研究方向。运动想象脑电信号(后文简称为脑电信号)是想象某种肢体运动时的脑电信号。当进行肢体动作或运动想象时，对应激活脑区EEG成分在功率谱密度上产生变化，即出现事件相关同步和去同步(ERS/ERD)现象。脑电信号的这种节律性差异，可用于实现脑机接口技术，例如对脑电信号进行分类，以实现例如抓握物体、假肢控制等功能。

但是由于脑电信号的不稳定性，以及不同被试者脑电信号差异较大，甚至同一被试者在不同时间段采集的脑电信号都会存在较大差异，这使得脑机接口技术在使用前均需较长的校准时间，且系统性能不稳定，这些问题均严重影响了脑机接口技术运动想象范式在实际医疗场景中的应用。

近些年来，深度学习技术逐渐应用于脑电信号的分类任务中，并取得了一定的成果。然而，深度学习模型需要大量的数据进行训练，训练数据量少使脑电信号的分类任务很难训练出高泛化性的模型。因此，需要一种鲁棒性和泛化性的用于脑电信号分类的分类模型的训练方法，以使得脑电信号分类的鲁棒性和泛化性较好。

发明内容

本公开提供一种具有较高鲁棒性和泛化性的用于脑电信号分类的分类模型的训练方法和装置，以提高基于该分类模型的脑电信号分类的准确度。

本公开的实施例提供了用于脑电信号分类的分类模型的训练方法，包括：获取脑电信号样本集，所述脑电信号样本集包括多个样本子集，每个样本子集与多个类别中的一个类别对应；对于多个样本子集中的每个样本子集：基于所述样本子集中的样本的时频域变换和所述样本子集中的样本经时频域变换得到的时频域样本的叠加，生成所述样本子集对应的叠加样本集；以及利用所述样本子集及所述样本子集对应的叠加样本集，生成所述样本子集的扩增样本子集；以及利用多个样本子集的多个扩增样本子集，训练用于脑电信号分类的分类模型。其中，训练后的分类模型用于将采集的待分类的脑电信号分类到所述多个类别中的一个类别。

根据本公开的实施例，其中，基于所述样本子集中的样本的时频域变换和所述样本子集中的样本经时频域变换得到的时频域样本的叠加，生成所述样本子集对应的叠加样本集，包括：对所述样本子集中的各个样本进行时频域变换，生成第一时频域样本集；以及对于所述第一时频域样本集中的每个时频域样本，将所述时频域样本与所述第一时频域样本集中的至少一个其他时频域样本进行叠加以生成至少一个叠加样本，从而生成所述样本子集对应的叠加样本集。

根据本公开的实施例，其中，对于所述第一时频域样本集中的每个时频域样本，将所述时频域样本与所述第一时频域样本集中的至少一个其他时频域样本进行叠加以生成至少一个叠加样本，从而生成所述样本子集对应的叠加样本集，包括：将所述第一时频域样本集中的时频域样本重新排序，生成第二时频域样本集，并且将所述第一时频域样本集与所述第二时频域样本集叠加，生成第三时频域样本集，作为所述样本子集对应的叠加样本集。

根据本公开的实施例，基于所述样本子集中的样本的时频域变换和所述样本子集中的样本经时频域变换得到的时频域样本的叠加，生成所述样本子集对应的叠加样本集，包括：对所述样本子集中的样本进行重新排序，生成所述样本子集对应的重排序样本集；对所述样本子集中的各个样本以及所述重排序样本集中的各个样本进行时频域变换，以分别得到第一时频域样本集和第二时频域样本集；以及将所述第一时频域样本集与所述第二时频域样本集叠加，生成第三时频域样本集，作为所述样本子集对应的叠加样本集。

根据本公开的实施例，其中，利用所述样本子集及所述样本子集对应的叠加样本集，生成所述样本子集的扩增样本子集，包括：对所述样本子集对应的叠加样本集中的各个时频域样本进行时频域逆变换，得到更新样本子集，并将更新样本子集合并到所述样本子集中，以生成所述样本子集的扩增样本子集。

根据本公开的实施例，方法还包括：确定所述样本子集中的样本数量是否达到预设数量，和/或扩增倍数是否达到预设倍数；以及在确定所述样本子集中的样本数量未达到预设数量和/或所述扩增倍数未达到预设倍数的情况下，基于所述样本子集中的样本的时频域变换和所述样本子集中的样本经时频域变换得到的时频域样本的叠加，生成所述样本子集对应的叠加样本集；以及利用所述样本子集及所述样本子集对应的叠加样本集，生成所述样本子集的扩增样本子集。

根据本公开的实施例，其中，每个样本子集中的每个样本包括多个通道的时域信号，其中，对所述样本子集中的各个样本进行时频域变换，生成第一时频域样本集，包括：针对每个样本，对所述样本包括的多个通道的时域信号分别进行时频域变换，得到包括与多个通道一一对应的多个时频图的图像组，其中所述图像组作为所述样本对应的时频域样本，并且将所述样本子集中的各个样本各自对应的时频域样本作为所述第一时频域样本集。

根据本公开的实施例，其中，将所述第一时频域样本集中的时频域样本重新排序，得到第二时频域样本集，包括：对所述第一时频域样本集的时频域样本进行排序；以及随机地抽取所述第一时频域样本集中的各时频域样本，并按照抽取的顺序对各时频域样本进行排序，以得到第二时频域样本集。

根据本公开的实施例，其中，将所述第一时频域样本集与所述第二时频域样本集叠加，生成第三时频域样本集，包括：将作为所述第一时频域样本集中第i个时频域样本的图像组与作为所述第二时频域样本集中的第i个时频域样本的图像组的时频图按通道分别进行加权叠加，得到编号i对应的新的图像组，1≤i≤N；以及将各个编号对应的多个新的图像组作为所述第三时频域样本集。

根据本公开的实施例，其中，所述用于脑电信号分类的分类模型是轻量级神经网络模型，其包括：时间卷积层、空间卷积层、平均池化层以及全连接层，其中，利用与所述多个类别分别对应的多个扩增样本子集，训练用于脑电信号分类的分类模型，包括：将所述多个扩增样本子集中的每个样本以及对应的类别输入所述分类模型，并根据所述分类模型的输出进行模型参数优化。

本公开的实施例还提供了一种用于脑电信号分类的分类模型的训练装置，包括：获取脑电信号样本集，所述脑电信号样本集包括多个样本子集，每个样本子集与多个类别中的一个类别对应；对于所述多个样本子集中的每个样本子集：将所述样本子集中的每个样本与所述样本子集中的至少一个其他样本叠加以生成所述样本的至少一个叠加样本，从而生成所述样本子集对应的叠加样本集；以及利用所述样本子集及所述样本子集对应的叠加样本集，生成所述样本子集的扩增样本集；以及利用多个样本子集的多个扩增样本集，训练用于脑电信号分类的分类模型，其中，所述分类模型用于将采集的待分类脑电信号分类为所述多个类别中的一个类别。

本公开的实施例提供了一种用于脑电信号分类的分类模型的训练装置，包括：获取模块，用于获取脑电信号样本集，所述脑电信号样本集包括多个样本子集，每个样本子集与多个类别中的一个类别对应；叠加模块，用于对于所述多个样本子集中的每个样本子集，基于所述样本子集中的样本的时频域变换和所述样本子集中的样本经时频域变换得到的时频域样本的叠加，生成所述样本子集对应的叠加样本集；扩增模块，用于对于所述多个样本子集中的每个样本子集，利用所述样本子集及所述样本子集对应的叠加样本集，生成所述样本子集的扩增样本子集；以及训练模块，用于利用与所述多个类别分别对应的多个扩增样本子集，训练用于脑电信号分类的分类模型，其中，训练后的分类模型用于将采集的待分类的脑电信号分类到所述多个类别中的一个类别。

根据本公开的实施例，其中，所述叠加模块包括：时频域变换子模块，用于对所述样本子集中的各个样本进行时频域变换，生成第一时频域样本集；以及叠加子模块，用于：对于所述第一时频域样本集中的每个时频域样本，将所述时频域样本与所述第一时频域样本集中的至少一个其他时频域样本进行叠加以生成至少一个叠加样本，从而生成所述样本子集对应的叠加样本集。

根据本公开的实施例，其中，所述叠加模块还包括：第一排序子模块，用于将所述第一时频域样本集中的时频域样本重新排序，生成第二时频域样本集；所述叠加子模块被配置为将所述第一时频域样本集与所述第二时频域样本集叠加，生成第三时频域样本集，作为所述样本子集对应的叠加样本集。

根据本公开的实施例，其中，所述叠加模块还包括：第二排序子模块，用于对所述样本子集中的样本进行重新排序，生成所述样本子集对应的重排序样本集；所述时频域变换子模块被配置为对所述样本子集中的各个样本以及该重排序样本集中的各个样本进行时频域变换，以分别得到第一时频域样本集和第二时频域样本集，并且所述叠加子模块被配置为将所述第一时频域样本集与所述第二时频域样本集叠加，生成第三时频域样本集，作为所述样本子集对应的叠加样本集。

根据本公开的实施例，其中，每个样本子集中的每个样本包括多个通道的时域信号，其中，所述时频域变换子模块被配置为：针对每个样本，对所述样本包括的多个通道的时域信号分别进行时频域变换，得到包括与多个通道一一对应的多个时频图的图像组，其中所述图像组作为所述样本对应的时频域样本，并且将所述样本子集中的每个样本各自对应的时频域样本组合作为所述第一时频域样本集。

根据本公开的实施例，其中，所述扩增模块包括：时频域逆变换子模块，用于对所述样本子集对应的叠加样本集中的每个时频域样本进行时频域逆变换，得到更新样本子集；以及合并子模块，用于将更新样本子集合并到所述样本子集中，以生成所述样本子集的扩增样本子集。

根据本公开的实施例，其中，第一排序子模块在将第一时频域样本集中的时频域样本重新排序，生成第二时频域样本集的操作中，可以对第一时频域样本集的时频域样本进行排序，以及随机地抽取第一时频域样本集中的各时频域样本，并按照抽取的顺序对各时频域样本进行排序，以得到第二时频域样本集。

根据本公开的实施例，其中，叠加子模块在将第一时频域样本集与第二时频域样本集叠加生成第三时频域样本集的操作中，可以将作为第一时频域样本集中第i个时频域样本的图像组与作为第二时频域样本集中的第i个时频域样本的图像组的时频图按通道分别进行加权叠加，得到编号i对应的新的图像组，1≤i≤N；以及将各个编号对应的多个新的图像组作为第三时频域样本集。

根据本公开的实施例，训练装置还可以包括扩增状态确定模块，可以与其他模块通信，用于确定所述样本子集中的样本数量是否达到预设数量，和/或扩增倍数是否达到预设倍数，并且在确定该样本子集中的样本数量未达到预设数量和/或扩增倍数未达到预设倍数的情况下，使其他模块(例如叠加模块和扩增模块)重复执行对应操作。

本公开的实施例还提供了一种电子设备，包括：存储器和处理器；所述存储器存储有指令，所述指令在被所述处理器执行时，使得所述处理器执行如上所述的用于脑电信号分类的分类模型的训练方法。

本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述指令在被处理器执行时用于实现如上所述的用于脑电信号分类的分类模型的训练方法。

本公开的实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行根据本公开实施例的用于脑电信号分类的分类模型的训练方法。

本公开的训练方法和训练装置针对脑电信号数据差异大(不同被试者或者同一被试者在不同时间段)且训练数据集样本量少而导致训练困难的现象，通过将同类别的脑电信号样本(后文也称为训练数据或训练样本等)进行时频域变换以及样本叠加，更具体地，通过将脑电信号样本的时频图进行叠加的方式进行训练数据的预处理，这样在保证扩增训练数据的数量以及多样性的同时，又保持了原始训练数据的时频特性。将同类别的脑电信号样本的时频图叠加后得到的脑电信号样本数据集用于训练轻量级的神经网络分类模型，使得该神经网络分类模型具有更强的鲁棒性和在不同被试者脑电信号上的泛化性能，以提高分类的准确度。

附图说明

为了更清楚地说明本公开的实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。下面描述中的附图仅仅是本公开的示例性实施例。

图1示出了一个会话期(Session)内的脑电信号的示意图。

图2示出了一种基于将训练数据重组进行数据扩增的方法的示意图。

图3A-3B示出了根据本公开的实施例的用于脑电信号分类的分类模型的训练方法的流程图。

图4A-4C示出了根据本公开的实施例的对脑电信号样本集进行扩增的示例的示意图。

图5示出了根据本公开的实施例的基于卷积神经网络模型的分类模型的训练过程。

图6A-6B示出了根据本公开的实施例的用于脑电信号分类的分类模型的训练装置的框图。

图7示出了根据本公开的实施例的电子设备的结构示意图。

具体实施方式

为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

在本说明书和附图中，具有基本上相同或相似步骤和元素用相同或相似的附图标记来表示，且对这些步骤和元素的重复描述将被省略。同时，在本公开的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性或排序。

深度学习(也称为深度结构化学习或分层学习)是基于人工神经网络的更广泛的机器学习方法族的一部分。学习可以是有监督的、半监督的或无监督的。

深度学习架构，例如深度神经网络、深度信念网络、循环神经网络和卷积神经网络，通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术，已经被应用于包括计算机视觉、语音识别、自然语言处理、音频识别、社交网络过滤、机器翻译、生物信息学、药物设计、医学图像分析、材料检查和棋盘游戏程序在内的领域。

首先对本公开中使用的部分名词以及相关概念进行如下解释。

(1)脑电(脑电图或EEG)信号：通过电子仪器，放大并记录头皮电信号响应于运动想象而获得的图形，格式为多通道的时间序列，例如，将多个采集电极设置在被试者头部的各个位置，每个采集电极对应一个通道的时间序列。时间序列用以表达信号随时间的变化。脑电信号分析主要包括时域分析、频域分析以及时频域分析。时域分析是指直接提取信号波形特征，包括直方图分析、方差分析、相关性分析、波形识别等等，直观性强，物理意义明确。频域分析主要包括功率谱分析，是通过对原始的脑电信号进行快速傅里叶变换，获得不同频带内的信号功率，表示了信号功率在频域的分布状况。然而功率谱分析的前提是平稳随机信号，即要求信号具有频率时不变特性。脑电信号作为一种时变非平稳信号，不同时刻的频率分布不同。因此，将时域频域结合的时频域分析为脑电信号分析提供了很好的前景。时频域分析通过短时傅里叶变换、小波变换等方法，获得时频图以表示信号不同时刻的频率分布。

(2)时频图(TF images)：时频域能量图像，本公开中指一个时域信号经过变换后得到的时频域能量分布，其中包括时间维和频率维，其值表示某一时刻某一频率的能量，是一个复数矩阵。

(3)伪迹：指脑电信号中参杂的干扰信号。本公开中特指脑电信号中的干扰信号，包括眼电(EOG)干扰、肌电(EMG)干扰、心电(ECG)干扰、50Hz干扰等。

(4)事件相关同步和去同步(ERS/ERD)：分别指人在想象肢体运动时，运动肢体同侧、对侧感觉运动皮质脑电信号中的特定频段出现振幅增加和振幅降低的现象。

(5)会话期(Session)：表示一次完整的脑电实验，本发明中指一次运动想象实验，其时间是连续的，包括不同想象任务下的多次试验回合，每次试验回合对应的脑电信号的数据段被称为试验回合数据段(Trial)。图1示出了一个会话期内的脑电信号的示意图。该会话期S1包括多个试验周期(试验周期中间有休息时段)，每个试验周期中包括6个试验回合，每个试验回合的数据段对应一种运动想象(左手或右手)。

如前文所述，深度学习技术逐渐应用于脑电信号的分类任务中，但是深度学习模型需要大量的数据进行训练，数据量少使脑电信号的分类任务很难训练出高泛化性的分类模型。此外，如果要采样大量的数据，长期的采集又会引起被试者的疲劳，因此需要采用数据扩增的算法来解决少量脑电信号数据无法有效训练网络的问题。相对于图像的数据扩增方法，对脑电信号的数据扩增的方式的相关研究较少。

图2示出了一种基于训练数据重组而进行数据扩增的方法(方法1)的示意图。

脑电信号可以具有多种类别，分别对应于不同的多个运动想象，例如，左手想象、右手想象、左腿想象和右腿想象等。不同的运动想象所对应的脑电信号的特性不同。

如图2所示，首先将已经获得的脑电样本集中的具有相同类别(例如，左手想象)的脑电信号样本各自分割为三个数据片段(为了便于理解，图中仅示出了三个脑电信号样本(样本1-样本3)，并且将每个样本示为仅包括一个通道，但是样本的数量以及每个样本的通道数量可以根据实际情况而改变)；对相同类别的脑电信号样本(样本1-样本3)中同一位置的数据片段进行随机调换和重新组合，以产生新的三个重组的脑电信号样本；三个重组的脑电信号样本各自经过带通滤波进行频带分离之后，同一频带的样本随机交换(图中示出了交换13-32Hz频带中的样本1对应的重组的脑电信号样本的一部分和样本3对应的组合的脑电信号样本的一部分)，形成三组新的经过滤波的脑电信号样本，再针对每个样本将各个频带对应的部分进行重组，得到新的三个样本；重复上述步骤多次以对原始脑电信号样本数据进行多倍扩增。

根据基于“幅值扰动”的另一种数据扩增的方法(方法2，未示出)，通过在获得的脑电样本集中的每个样本的时频图的幅值上加入噪声，以提高模型学习光谱幅值特征的鲁棒性。首先通过短时傅里叶变换获取脑电信号的时频域能量，并获取每一时刻和每一频率点处的幅值和相位值；在幅值上添加高斯噪声并结合相位值得到新的时频图；通过短时傅里叶逆变换重构出新的扰动信号；重复上述步骤多次以对脑电样本集进行多倍扩增。

但是，上述所提到的两种方法虽然保证了扩增训练数据的多样性，但均对训练数据的特征进行了较大破坏。第一种方法将训练数据分割成数据片段后又重组，导致训练数据的数据片段之间存在跳变，而且改变了时间序列的连续性特征。第二种方法在时频图上添加噪声，噪声的强度对生成的新的训练数据质量影响较大，引入过多噪声然后加重了模型的训练难度。

因此，本公开提出了利用基于脑电信号样本的时频域转换以及样本叠加来扩增的训练数据集训练分类模型的方法和装置，从而可将训练后的分类模型用于对待分类的脑电信号进行分类，同时还公开了一种电子设备。该方法更具体地通过在训练分类模型的过程中将具有相同类别的脑电信号样本的时频图进行叠加，保持了脑电信号样本原有的时频特征，同时增强了可辨识性特征，虚弱了噪声特征。另一方面，该方法通过在时频域叠加后将信号又反变换回时域，保持了时域信号的连续性，同时保证了生成的新的脑电信号样本(时域信号)在时域上与原脑电信号样本具有较大差别，但其时频特征具有一定的相似性。由于叠加是基于原脑电信号样本的，因此该方法在保持原脑电信号样本的数据特征的前提下，增加了脑电信号样本的多样性，减少了不同被试者的脑电信号之间的差异，从而解决不同被试者的脑电信号数据差异大、样本量少、模型训练困难的问题。

下面结合图3A-7详细描述根据本公开的实施例的用于脑电信号分类的分类模型的训练方法和装置的更多细节。

图3A-3B示出了根据本公开的实施例的用于脑电信号分类的分类模型的训练方法的流程图。

如图3A所示，在步骤S310中，获取脑电信号样本集，其中脑电信号样本集包括多个样本子集，每个样本子集与多个类别中的一个类别对应。

脑电信号样本集中的样本可以具有左手想象、右手想象、左腿想象以及右腿想象等的类别，每个类别下可以有多个样本，作为该类别对应的样本子集。例如，脑电信号样本集中类别为左手想象的样本属于第一样本子集，类别为右手想象的样本属于第二样本子集，等等。

脑电信号样本集中的每个样本可以为多通道的时域信号。该通道的数量与在被试者上安装的采样电极的数量相关，例如22。

脑电信号样本集可以通过以下方式获得。首先，获取被试者在多个会话期(即运动想象实验)中的整体脑电信号，其中被试者为多个并且在每个运动想象实验期间，类似于图1所示的，该被试者进行预设数量试验回合的、所有多个类别的运动想象；以及对每个整体脑电信号按试验回合进行划分，以得到被试者在进行每个试验回合期间的脑电信号，将划分后的每个试验回合期间的脑电信号作为一个脑电信号样本，并根据其对应的运动想象标记其类别。可选地，针对同一被试者的多个会话期还可以在不同的时间进行，以得到多样性的样本。可选地，脑电信号样本集可以具有训练集和测试集(例如比例为7:3、5:5等)，并且可以按照会话期所获得的样本来区分训练集和测试集，例如将两个会话期中的一个会话期的所有脑电信号样本作为训练集，而另一个会话期的所有脑电信号样本作为测试集。

在步骤S320中，对于每个样本子集(例如，第一样本子集)，基于该样本子集中的样本的时频域变换和该样本子集中的样本经时频域变换得到的时频域样本的叠加，生成该样本子集对应的叠加样本集。

可以通过时频域变换的方法而将时域信号变换为时频图，即时频域能量图像。时频图可以反映出不同时刻下信号的频率分布，时频图反映的时频特征为脑电信号的可辨识性特征。

结合图3B针对步骤S320进行了进一步描述。

在方式i中，在时频域样本叠加时，可以将样本子集中的每个样本生成的时频域样本与该样本子集中至少一个其他样本生成的时频域样本进行叠加。例如，对于每个样本子集，对该样本子集中的各个样本进行时频域变换，生成第一时频域样本集；并且对于所述第一时频域样本集中的每个时频域样本，将该时频域样本与第一时频域样本集中的至少一个其他时频域样本进行叠加以生成至少一个叠加样本，从而生成该样本子集对应的叠加样本集。

作为示例而非限制，可以将第一时频域样本集中的时频域样本重新排序，生成第二时频域样本集，并且将第一时频域样本集与第二时频域样本集叠加，生成第三时频域样本集，作为该样本子集对应的叠加样本集。此时，叠加样本集是时频域上的样本集。

注意，在上述方式i中，第三时频域样本集中的时频域样本的数量与第一时频域样本集中的时频域样本的数量相等，但是根据本公开的其他实施例，生成该样本子集对应的叠加样本集不限于上述方法，因此也可以得到比第一时频域样本中的样本数量更多数量的叠加样本集，例如可以为

个，其中N为第一时频域样本中的样本数量，m为每次叠加的时频域样本的数量。例如，当样本子集中的样本数量为20个时，其对应的第一时频域样本集中的时频域样本的数量也是20个，而将该20个时频域样本中的m个时频域样本进行叠加可以得到多个叠加的时频域样本，从而生成叠加样本集(时频域)。根据m的取值不同，叠加样本集中的时频域样本的数量是不同的，且均大于N个。

还应注意，在上述方式i中，先对样本子集中的样本进行了时频域变换，然后再通过时频域样本的重新排序而对时频域样本进行了叠加，但是该重新排序和时频域变换的操作可以没有先后。即，如方式ii中所示，对于每个样本子集，例如，对于左手想象对应的样本子集，可以先将该样本子集(时域信号)进行样本重新排序操作，再分别将该样本子集中的各个样本和重新排序后的另一个样本子集中的各个样本进行时频域变换，进而实现叠加操作。

如果先进行重新排序操作再进行时频域变换操作，则作为示例而非限制，可以对该样本子集中的样本进行重新排序，生成该样本子集对应的重排序样本集，其中对该样本子集中的各个样本以及该重排序样本集中的各个样本进行时频域变换，以分别得到第一时频域样本集和第二时频域样本集，并且将第一时频域样本集与第二时频域样本集叠加，生成第三时频域样本集，作为该样本子集对应的叠加样本集。

此外，样本叠加操作可以只在时域上发生，而不在时频域上发生，在这种情况下，相对于时频域上的样本叠加操作可能具有更大的噪声，这将在后文具体描述，因此这里将其省略。

而且，由于每个样本子集中的每个样本包括多个通道的时域信号，因此，对该样本子集中(和/或上述重排序样本集中)的样本进行时频域变换可以包括：对每个样本包括的多个通道的时域信号分别进行时频域变换，得到包括与多个通道一一对应的时频图的图像组，其中该图像组作为该样本对应的时频域样本，也就是说，一个时频域样本包括了一个样本的多个通道对应的多个时频图，并且将该样本子集中的每个样本各自对应的时频域样本共同作为该样本子集的第一时频域样本集。

例如，设左手想象对应的样本子集为X(t)，每个样本的每个通道的时域信号x(t)，以方式i为例，通过短时傅里叶变换(STFT)而对该x(t)进行时频域变换得到该通道的时域信号x(t)的时频图(即时频域能量图像)z(t,f)，如等式1所示：

其中，g(t-τ)为窗函数，t为时间，f为频率，τ为积分变量。

对于每个样本，其包括多个通道，因此可以得到该样本的多个通道对应的多个时频图构成的图像组zz(t,f)，即该样本对应的时频域样本zz(t,f)。

一个样本子集中包括多个样本，因此该样本子集中的多个样本对应的多个时频域样本zz(t,f)作为该样本子集的第一时频域样本集Z(t,f)。

此后，可以将第一时频域样本集Z(t,f)中的每个时频域样本zz(t,f)与所述第一时频域样本集中的至少一个其他时频域样本zz(t,f)进行叠加以生成至少一个叠加样本，从而生成该样本子集对应的叠加样本集。

如果如方式i的描述中的示例所述的，先进行时频域变换然后对时频域样本重新排序以实现样本叠加，则可以将该样本子集的第一时频域样本集Z(t,f)中的时频域样本进行重新排序，以得到第二时频域样本集Z’(t,f)，例如通过对第一时频域样本集Z(t,f)的时频域样本进行排序，以及随机地抽取第一时频域样本集Z(t,f)中的各时频域样本，并按照抽取的顺序对各时频域样本进行排序，以得到第二时频域样本集Z’(t,f)。举例来说，假设排序后的第一时频域样本集Z(t,f)为{zz1(t,f),zz2(t,f),zz3(t,f),zz4(t,f),…,zzN(t,f)}，N为该样本子集中的样本数量，即第一时频域样本集中的时频域样本数量，随机抽取第一时频域样本集Z(t,f)中的各个时频域样本zz1(t,f),zz2(t,f),zz3(t,f),zz4(t,f),…,zzN(t,f)，得到的第二时频域样本集Z’(t,f)可以为：{zz21(t,f),zz12(t,f),zz33(t,f),zzN(t,f),…,zz4(t,f)}。然后，将该样本子集的第一时频域样本集Z(t,f)与第二时频域样本集Z’(t,f)叠加，生成第三时频域样本集

可选地，可以将该样本子集的第一时频域样本集Z(t,f)与第二时频域样本集Z’(t,f)加权叠加，如下等式2所示：

α为权重系数，用于平衡新样本中两类样本特征所占的权重。

此外，如前面所述，样本子集包括多个样本，因此将第一时频域样本集Z(t,f)与第二时频域样本集Z’(t,f)叠加，生成第三时频域样本集

可以包括：将作为第一时频域样本集中第i个时频域样本的图像组与作为第二时频域样本集中的第i个时频域样本的图像组的时频图按通道分别进行加权叠加，得到编号i对应的新的图像组，1≤i≤N；以及将各个编号对应的多个新的图像组作为第三时频域样本集。例如，作为第一时频域样本集中第i个时频域样本的图像组zzi(t,f)和作为第二时频域样本集中第i个时频域样本的图像组zzi’(t,f)(可能为zzj(t,f)≠zzi(t,f))各自包括22个通道对应的22个时频图，因此将每个通道对应的时频图进行加权叠加，从而可以得到22个通道对应的新的22个时频图构成的新的图像组，作为该第三时频域样本集

中第i个时频域样本。

此外，如果采用方式ii，即先对样本子集中的样本进行重新排序，再将各个样本进行时频域变换以实现样本叠加，此时，设该样本子集的样本为X(t)为{x1(t),x2(t),x3(t),x4(t),…,xN(t)}，N为该样本子集中的样本数量，然后对该样本子集的样本进行重新排序以得到该样本子集的重排序样本集X’(t)：{x21(t),x12(t),x33(t),xN(t),…,x4(t)}。然后，分别对X(t)和X’(t)中的样本均进行时频域变换，分别得到该样本子集的第一时频域样本集Z(t,f)以及重排序样本集的第二时频域样本集Z’(t,f)，然后将该样本子集的第一时频域样本集Z(t,f)以及重排序样本集的第二时频域样本集Z’(t,f)进行叠加，生成第三时频域样本集

重新排序、时频域变换以及叠加的具体过程与前面描述的类似，这里不再重复。

在步骤S330中，对于多个样本子集中的每个样本子集，利用该样本子集及该样本子集对应的叠加样本集，生成该样本子集的扩增样本子集。

步骤330可以具体包括：对叠加样本集或者第三时频域样本集

中的各个时频域样本进行时频域逆变换(例如短时傅里叶逆变换(ISTFT))，得到更新样本子集，并将更新样本子集合并到该样本子集中，以生成该样本子集的扩增样本子集。

具体地，在得到该叠加样本集或者第三时频域样本集

之后，通过时频域逆变换(例如短时傅里叶逆变换(ISTFT))而将第三时频域样本集

而变换回时域信号，从而第三时频域样本集

中每个时频域样本对应一个时域上的样本，从而基于第三时频域样本集

得到更新的样本子集，该更新的样本子集与原样本子集具有相同的类别，因此将更新样本子集合并到原样本子集中，以生成该原样本子集的扩增样本子集。

作为示例，图4A-4C示出了对样本子集进行扩增的示例过程。

在图4A中，示出了具有相同类别的三个样本(即属于同一样本子集中的三个样本)：样本1，样本2以及样本3，并且为了简化说明，仅示出每个样本只具有一个通道的时域信号。

在图4A中，将每个样本的时域信号分别进行STFT变换，从而得到样本1-样本3分别对应的时频域样本1-3，作为第一时频域样本集，然后将时频域样本1-3进行重新排序，得到按时频域样本2、时频域样本3和时频域样本1的顺序的第二时频域样本集，因此将时频域样本1和时频域样本2进行加权叠加，将时频域样本2和时频域样本3进行加权叠加，并且将时频域样本3和时频域样本1进行加权叠加以得到三个叠加后的时频域样本，作为第三时频域样本集，最后对第三时频域样本集进行ISTFT变换，以得到新的三个时域信号，该新的三个时域信号作为新的三个样本(新的样本子集)合并到该类别对应的样本子集中。

在图4B中，将样本子集三个样本(1,2,3)重新排序得到重排序样本集(2,3,1)，分别对样本子集中的样本以及重排序样本集中的样本的时域信号分别进行STFT变换，从而得到样本子集中的样本1-样本3分别对应的时频域样本，作为第一时频域样本集，以及得到重排序样本集中的样本2,3,1分别对应的时频域样本，作为第二时频域样本集，然后将时频域样本1和时频域样本2进行加权叠加，将时频域样本2和时频域样本3进行加权叠加，并且将时频域样本3和时频域样本1进行加权叠加以得到三个叠加后的时频域样本，作为第三时频域样本集，最后对第三时频域样本集进行ISTFT变换，以得到新的三个时域信号，该新的三个时域信号作为新的三个样本(新的样本子集)合并到该类别对应的样本子集中。

在图4C中，例如，按照将样本子集的第一时频域样本集中的2个时频域样本叠加的方式来进行叠加，则会有

个叠加的时频域样本。如图4C所示，将第1个样本对应的时频域样本1和时频域样本2进行加权叠加，将第2个样本对应的时频域样本2和时频域样本3进行加权叠加，并且将第3个样本对应的时频域样本3和时频域样本1进行加权叠加以得到三个叠加后的时频域样本，作为第三时频域样本集，最后对第三时频域样本集进行ISTFT变换，以得到新的三个时域信号，该新的三个时域信号作为新的三个样本(新的样本子集)合并到该类别对应的样本子集中。

通常，对脑电信号样本集的一次扩增往往是不够的，可能需要多次扩增，因此需要重复多次步骤S320-S330。因此，该方法还可以包括以下步骤：对于多个样本子集中的每个样本子集，确定该样本子集中的样本数量是否达到预设数量，和/或扩增倍数是否达到预设倍数；以及在确定该样本子集中的样本数量未达到预设数量和/或扩增倍数未达到预设倍数的情况下，重复步骤S320-S330，即基于该样本子集中的样本的时频域变换和该样本子集中的样本经时频域变换得到的时频域样本的叠加，生成该样本子集对应的叠加样本集；以及利用该样本子集及该样本子集对应的叠加样本集，生成该样本子集的扩增样本子集；并且在确定该样本子集中的样本数量达到预设数量和/或扩增倍数未达到预设倍数的情况下，则确定无需再进行步骤S320-S330。

在步骤340中，利用多个样本子集的多个扩增样本子集，训练用于脑电信号分类的分类模型。

如前文所述，每个类别对应一个样本子集，在有些情况下，可以不对所有样本子集进行扩增，而对至少一个样本子集进行扩增。因此可以对多个样本子集中的至少一个样本子集进行上述步骤S320-S330，以得到该至少一个样本子集的至少一个扩增样本子集，以得到扩增的脑电信号样本集。

然后，用多个扩增样本子集来训练用于脑电信号分类的分类模型。具体地，将多个扩增样本子集中的每个样本以及对应的类别输入分类模型，并根据所述分类模型的输出进行模型参数优化。

可选地，分类模型可以是轻量级的神经网络模型，例如，轻量级卷积神经网络模型，但是也可以采用其他类型的深度学习的神经网络。

以卷积神经网络模型为例进行说明。

图5示出了基于卷积神经网络模型的分类模型的训练过程。如图5所示，卷积神经网络模型可以包括时间卷积层、空间卷积层、平均池化层以及全连接层，并且卷积层和平均池化层可以包括多对，平均池化层用于对卷积层的输出进行降维。

脑电信号样本是具有特定尺寸的信号，例如22x1000，这指示具有22个通道以及每个通道上的时域信号由1000个采样点构成。图5示出了原始的脑电信号样本集包括多个样本，每个样本上包括多个通道的时域信号。

在经过步骤S320-S330基于原始的脑电信号样本集生成了扩增的脑电信号样本集之后，用该扩增的脑电信号样本集来训练该分类模型。

具体地，将扩增的脑电信号样本集中的每个脑电信号样本(时域信号)经过变形之后，送入时间卷积层和空间卷积层以提取脑电信号样本的时间和空间特征。时间卷积层包括20个卷积核，卷积核尺寸为1×25，步长为1×1。空间卷积层包括20个卷积核，卷积核尺寸为22×1，步长为1×1。然后应用批归一化和平方函数激活获取其能量特征。经过平均池化层进一步降低特征图的大小。其中池化核大小为1×75，步长为1×15。之后使用log函数激活增强分类模型的非线性表达能力。最后，使用一层全连接层进行特征分类，以得到该模型针对该脑电信号样本的输出。

表1示出了分类模型中的相关模型参数的示例。

此外，在本公开的实施例中，选择交叉熵损失函数来计算分类模型的损失，并选择Adam优化器来对分类模型的参数进行优化，例如，学习率设置为0.001。此外，还采用误差反向传播来完成模型的优化。

在用扩增的脑电信号样本集来对分类模型进行训练时，可以将扩增的脑电信号样本集中的每个脑电信号样本以及对应的类别输入到分类模型中，以使交叉熵损失函数进行分类模型所预测的类别与实际类别之间的相似性衡量，而使Adam优化器通过误差反向传播不停地优化分类模型的每层的参数，从而找到误差最小的那组参数，使得训练完分类模型时分类模型的性能最优。

此外，根据本公开的另一实施例，可以仅在时域上对样本子集以及该样本子集的重排序样本集叠加，这与前文针对时频域叠加而描述的过程类似，只是省去了时频域变换和逆变换的过程，并且直接基于样本子集中的每个样本的各个通道的时域信号进行脑电信号样本集扩增的过程。

在这种情况下，用于脑电信号分类的分类模型的训练方法可以包括以下步骤。

首先，获取脑电信号样本集，脑电信号样本集包括多个样本子集，每个样本子集与多个类别中的一个类别对应。然后，对于多个样本子集中的每个样本子集，将该样本子集中的每个样本与该样本子集中的至少一个其他样本叠加以生成该样本的至少一个叠加样本，从而生成该样本子集的叠加样本集。接着，对于多个样本子集中的每个样本子集，利用该样本子集及其对应的叠加样本集，生成该样本子集的扩增样本集。最后，利用多个样本子集的多个扩增样本集，训练用于脑电信号分类的分类模型。

可选地，该样本子集对应的叠加样本集可以通过以下方式生成：对于该样本子集中的每个样本，将其与该样本子集中的至少一个其他样本进行叠加，以得到至少一个叠加样本，从而生成叠加样本集。例如，对该样本子集中的样本重新排序，生成该样本子集对应的重排序样本集，对该样本子集以及该重排序样本集(各自的样本)进行叠加，将叠加后的样本集作为该样本子集对应的叠加样本集。

例如，针对一样本子集，该样本子集中的每个样本包括与多个通道一一对应的多个时域信号,该多个时域信号作为该样本的样本组G。样本子集用T(t)表示，共有N个样本tt(t)，则样本子集T(t)包括N个样本组。

然后，将该样本子集中的N个样本重新排序，即N个样本组重新排序(例如，随机地)，得到重排序样本集T’(t)，则重排序样本集T’(t)也包括该N个样本组，只是与样本子集T(t)中的顺序不同。将样本子集T(t)和该重排序样本集T’(t)进行加权叠加，得到叠加样本集T”(t)，即，该叠加样本集T”(t)中的每个样本的格式与原样本子集中的样本格式相同。然后，将该叠加样本集T”(t)合并到该样本子集中，得到扩增的样本子集。并重复该过程，直到满足预设条件(例如，扩增倍数达到预设倍数、样本子集中的样本数量已达到预设数量)。

但是如前面所述，由于脑电信号作为一种时变非平稳信号，不同时刻的频率分布不同，因此时域信号无法完全反应信号的可辨识性特征，从而仅基于时域上的样本叠加的扩增的效果不如基于时频域上的样本叠加的效果。

下面基于具体的实验结果来说明根据本公开的用于脑电信号分类的分类模型的训练方法训练的分类模型(包括基于时频域变换和样本叠加以及基于时域变换和样本叠加)对分类识别的准确率方面的提升。

实验基于The BCI CompetitionⅣDataset 2a公开数据集。该数据集包括两个会话期(session)的数据，每个session的采集时间不同，因此所获得的完整脑电信号在数据特征上存在一定的差异。选择第一个session作为训练集，第二个session作为测试集。每个session的时间长度为4s，共包括288个样本，4个运动想象类别，每个样本包括具有一个运动想象类别的一个脑电信号且一个脑电信号的通道数量为22。

按照本公开的实施例的训练方法对分类模型进行训练(包括对上述公开数据集进行扩增，并用扩增的数据集来训练分类模型)后，得到训练后的模型。然后，多个被试者(例如，9个)参与实验，获取每个被试者的多个待分类脑电信号(数量可以相同或不同)，并将获得的各个被试者的各个待分类脑电信号分别输入训练后的模型，将输出的类别与待分类脑电信号的实际类别进行比较。对于每个被试者，结果匹配的数量与获取的待分类脑电信号的数量的比值为分类准确率。

由于扩增倍数也不是越多越好，如果扩增倍数过多，可能会使原始训练数据的特性被稀释，也会影响所训练的分类模型的分类效果，因此需要选择一个合适的扩增倍数。

表2示出了基于用各种扩增倍数k(1,2,5,10,20,50)扩增后的训练数据集训练的模型的分类准确率。

【表2】

扩增倍数k	1	2	5	10	20	50
							被试者1	0.645833	0.704861	0.708333	0.784722	0.805556	0.774306
被试者2	0.53125	0.46875	0.482639	0.559028	0.614583	0.618056
							被试者3	0.767361	0.84375	0.78125	0.888889	0.871528	0.857639
被试者4	0.552083	0.559028	0.697917	0.743056	0.756944	0.756944
							被试者5	0.329861	0.430556	0.579861	0.586806	0.5625	0.59375
被试者6	0.423611	0.482639	0.440972	0.451389	0.565972	0.548611
							被试者7	0.763889	0.888889	0.847222	0.885417	0.899306	0.822917
被试者8	0.677083	0.725694	0.770833	0.774306	0.8125	0.802083
							被试者9	0.704861	0.725694	0.729167	0.760417	0.798611	0.777778
平均值	0.599537	0.647762	0.67091	0.714892	0.743056	0.728009

从表2中可以看出，随着扩增的倍数增加，模型的分类准确率也增加，但是在扩增了一定倍数之后，例如，20倍，分类准确率会下降，因此可以设置合适的扩增倍数。

表3示出了用不同的扩增方法扩增后的训练数据集训练的分类模型的分类准确率。不同的扩增方法包括无扩增的训练数据集、方法2中所提的基于幅值扰动扩增的训练数据集、方法1中所提的基于重组数据扩增的训练数据集、本公开中所提的基于时域变换以及样本叠加方案扩增的训练数据集以及本公开中所提的基于时频域变换以及样本叠加方案扩增的训练数据集(均扩增20倍)。

【表3】

从上述表格可以看出，本公开中提出的基于时域上的样本叠加和时频域上的样本叠加的扩增方法训练分类模型，相对于现有的扩增方法，使分类模型具有更好的分类准确率，特别是时频域叠加的方案。

通过本公开的脑电信号分类的分类模型的训练方法，通过在训练过程中将具有相同类别的脑电信号样本的时频图进行叠加，保持了脑电信号样本原有的时频特征，同时增强了可辨识性特征，虚弱了噪声特征。另一方面，该方法通过在时频域叠加后将信号又反变换回时域，保持了时域信号的连续性，同时保证了生成的新的脑电信号(时域信号)在时域上与原脑电信号具有较大差别，但其时频特征具有一定的相似性。该方法在保持原脑电信号数据的特征的前提下，增加了脑电信号数据的多样性，减少了不同被试者的脑电信号之间的差异，从而解决不同被试者的脑电信号数据差异大、样本量少、模型训练困难的问题。

根据本公开的另一方面，提供了一种用于脑电信号分类的分类模型的训练装置。

图6A-6B示出了根据本公开的实施例的用于脑电信号分类的分类模型的训练装置600。

如图6A所示，该训练装置600包括获取模块610、叠加模块620、扩增模块630以及训练模块640。

获取模块610用于获取脑电信号样本集，脑电信号样本集包括多个样本子集，每个样本子集与多个类别中的一个类别对应。

叠加模块620用于对于所述多个样本子集中的每个样本子集，基于所述样本子集中的样本的时频域变换和所述样本子集中的样本经时频域变换得到的时频域样本的叠加，生成所述样本子集对应的叠加样本集。

可选地，如图6B所示，叠加模块620进一步包括：时频域变换子模块6201，用于对该样本子集中的各个样本进行时频域变换，生成第一时频域样本集；以及叠加子模块6202，用于对于第一时频域样本集中的每个时频域样本，将该时频域样本与第一时频域样本集中的至少一个其他时频域样本进行叠加以生成至少一个叠加样本，从而生成该样本子集对应的叠加样本集。

此外，叠加模块620还可以包括：第一排序子模块，用于将第一时频域样本集中的时频域样本重新排序，生成第二时频域样本集；此时叠加子模块6202被配置为将第一时频域样本集与第二时频域样本集叠加，生成第三时频域样本集，作为该样本子集对应的叠加样本集。

此外，叠加模块620还可以包括：第二排序子模块，用于对该样本子集中的样本进行重新排序，生成该样本子集对应的重排序样本集；此时时频域变换子模块6201还可以被配置为对该样本子集中的各个样本以及该重排序样本集中的各个样本进行时频域变换，以分别得到第一时频域样本集和第二时频域样本集，并且所述叠加子模块6202被配置为将第一时频域样本集与第二时频域样本集叠加，生成第三时频域样本集，作为该样本子集对应的叠加样本集。

更进一步，时频域变换子模块6201被配置为：针对每个样本，对每个样本包括的多个通道的时域信号分别进行时频域变换，得到包括与多个通道一一对应的多个时频图的图像组，其中该图像组作为该样本对应的时频域样本，并且将该样本子集中的各个样本各自对应的时频域样本组合作为第一时频域样本集。

第一排序子模块在将第一时频域样本集中的时频域样本重新排序，生成第二时频域样本集的操作中，可以对第一时频域样本集的时频域样本进行排序，以及随机地抽取第一时频域样本集中的各时频域样本，并按照抽取的顺序对各时频域样本进行排序，以得到第二时频域样本集。

叠加子模块6202在将第一时频域样本集与第二时频域样本集叠加生成第三时频域样本集的操作中，可以将作为第一时频域样本集中第i个时频域样本的图像组与作为第二时频域样本集中的第i个时频域样本的图像组的时频图按通道分别进行加权叠加，得到编号i对应的新的图像组，1≤i≤N；以及将各个编号对应的各个新的图像组作为第三时频域样本集。

扩增模块630用于对于多个样本子集中的每个样本子集，利用该样本子集及其对应的叠加样本集，生成该样本子集的扩增样本子集。

可选地，如图6B所示，扩增模块630进一步包括：时频域逆变换子模块6301，用于对该样本子集对应的叠加样本集中的各个时频域样本进行时频域逆变换，得到更新样本子集；以及合并子模块6302，用于将更新样本子集合并到该样本子集中，以生成该样本子集的扩增样本子集。

训练模块640用于利用多个样本子集的多个扩增样本子集，训练用于脑电信号分类的分类模型。训练后的分类模型用于将采集的待分类的脑电信号分类到多个类别中的一个类别。

此外，该训练装置600还可以包括扩增状态确定模块650，可以与其他模块通信，用于确定该样本子集中的样本数量是否达到预设数量，和/或扩增倍数是否达到预设倍数。并且在确定该样本子集中的样本数量未达到预设数量和/或扩增倍数未达到预设倍数的情况下，使其他模块(例如叠加模块和扩增模块)重复执行器对应操作。

通过本公开的脑电信号分类的分类模型的训练装置，通过将具有相同类别的脑电信号样本的时频图进行叠加，保持了脑电信号样本原有的时频特征，同时增强了可辨识性特征，虚弱了噪声特征。另一方面，该方法通过在时频域叠加后将信号又反变换回时域，保持了时域信号的连续性，同时保证了生成的新的脑电信号(时域信号)在时域上与原脑电信号具有较大差别，但其时频特征具有一定的相似性。该方法在保持原脑电信号数据的特征的前提下，增加了脑电信号数据的多样性，减少了不同被试者的脑电信号之间的差异，从而解决不同被试者的脑电信号数据差异大、样本量少、模型训练困难的问题。

根据本公开的另一方面，还提供了一种电子设备。图7示出了根据本公开的实施例的电子设备700的示意结构框图。

参见图7，根据本公开的实施例的电子设备700可以包括处理器501和存储器702。处理器701和存储器702可以通过总线703相连。

处理器701可以根据存储在存储器702中的程序执行各种动作和处理。具体地，处理器701可以是一种集成电路芯片，具有信号的处理能力。上述处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开的实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以是X87架构或ARM架构的。

存储器702可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(SDRAM)、双倍数据速率同步动态随机存取存储器DDRSDRAM)、扩增型同步动态随机存取存储器(ESDRAM)、同步连接动态随机存取存储器(SLDRAM)和直接内存总线随机存取存储器(DR RAM)。应注意，本公开描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

需要说明的是，附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含至少一个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

一般而言，本公开的各种示例实施例可以在硬件或专用电路、软件、固件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时，将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备，或其某些组合中实施。

在上面详细描述的本公开的示例实施例仅仅是说明性的，而不是限制性的。本领域技术人员应该理解，在不脱离本公开的原理和精神的情况下，可对这些实施例或其特征进行各种修改和组合，这样的修改应落入本公开的范围内。

Claims (14)

1.一种用于脑电信号分类的分类模型的训练方法，包括：

获取脑电信号样本集，所述脑电信号样本集包括多个样本子集，每个样本子集与多个类别中的一个类别对应；

对于多个样本子集中的每个样本子集：

基于所述样本子集中的样本的时频域变换、和所述样本子集中的样本经时频域变换得到的时频域样本中的至少两个时频域样本之间的叠加，生成所述样本子集对应的叠加样本集；以及

利用所述样本子集及所述样本子集对应的叠加样本集，生成所述样本子集的扩增样本子集；以及

利用多个样本子集的多个扩增样本子集，训练用于脑电信号分类的分类模型，

其中，训练后的分类模型用于将采集的待分类的脑电信号分类到所述多个类别中的一个类别。

2.根据权利要求1所述的方法，其中，基于所述样本子集中的样本的时频域变换、和所述样本子集中的样本经时频域变换得到的时频域样本中的至少两个时频域样本之间的叠加，生成所述样本子集对应的叠加样本集，包括：

对所述样本子集中的各个样本进行时频域变换，生成第一时频域样本集；以及

对于所述第一时频域样本集中的每个时频域样本，将所述时频域样本与所述第一时频域样本集中的至少一个其他时频域样本进行叠加以生成至少一个叠加样本，从而生成所述样本子集对应的叠加样本集。

3.根据权利要求2所述的方法，其中，对于所述第一时频域样本集中的每个时频域样本，将所述时频域样本与所述第一时频域样本集中的至少一个其他时频域样本进行叠加以生成至少一个叠加样本，从而生成所述样本子集对应的叠加样本集，包括：

将所述第一时频域样本集中的时频域样本重新排序，生成第二时频域样本集，并且将所述第一时频域样本集中的每个时频域样本与所述第二时频域样本集中的对应一个时频域样本叠加，生成第三时频域样本集，作为所述样本子集对应的叠加样本集。

4.根据权利要求1所述的方法，其中，基于所述样本子集中的样本的时频域变换、和所述样本子集中的样本经时频域变换得到的时频域样本中的至少两个时频域样本之间的叠加，生成所述样本子集对应的叠加样本集，包括：

对所述样本子集中的样本进行重新排序，生成所述样本子集对应的重排序样本集；

对所述样本子集中的各个样本以及所述重排序样本集中的各个样本进行时频域变换，以分别得到第一时频域样本集和第二时频域样本集；以及

将所述第一时频域样本集中的每个时频域样本与所述第二时频域样本集中的对应一个时频域样本叠加，生成第三时频域样本集，作为所述样本子集对应的叠加样本集。

5.根据权利要求2所述的方法，其中，利用所述样本子集及所述样本子集对应的叠加样本集，生成所述样本子集的扩增样本子集，包括：

对所述样本子集对应的叠加样本集中的各个时频域样本进行时频域逆变换，得到更新样本子集，并将更新样本子集合并到所述样本子集中，以生成所述样本子集的扩增样本子集。

6.根据权利要求1所述的方法，还包括：

确定所述样本子集中的样本数量是否达到预设数量，和/或扩增倍数是否达到预设倍数；以及

在确定所述样本子集中的样本数量未达到预设数量和/或所述扩增倍数未达到预设倍数的情况下，基于所述样本子集中的样本的时频域变换、和所述样本子集中的样本经时频域变换得到的时频域样本中的至少两个时频域样本之间的叠加，生成所述样本子集对应的叠加样本集，并利用所述样本子集及所述样本子集对应的叠加样本集，生成所述样本子集的扩增样本子集。

7.根据权利要求3-4中任一项所述的方法，其中，每个样本子集中的每个样本包括多个通道的时域信号，

其中，对所述样本子集中的每个样本进行时频域变换，生成第一时频域样本集，包括：

针对每个样本，对所述样本包括的多个通道的时域信号分别进行时频域变换，得到包括与多个通道一一对应的多个时频图的图像组，其中所述图像组作为所述样本对应的时频域样本，并且

将所述样本子集中的各个样本各自对应的时频域样本作为所述样本子集的第一时频域样本集。

8.根据权利要求3所述的方法，其中，将所述第一时频域样本集中的时频域样本重新排序，得到第二时频域样本集，包括：

对所述第一时频域样本集的时频域样本进行排序；以及

随机地抽取所述第一时频域样本集中的各个时频域样本，并按照抽取的顺序对各个时频域样本进行排序，以得到第二时频域样本集。

9.根据权利要求7所述的方法，其中，将所述第一时频域样本集中的每个时频域样本与所述第二时频域样本集中的对应一个时频域样本叠加，生成第三时频域样本集，包括：

将作为所述第一时频域样本集中第i个时频域样本的图像组与作为所述第二时频域样本集中的第i个时频域样本的图像组的时频图按通道分别进行加权叠加，得到编号i对应的新的图像组，1≤i≤N；以及

将各个编号对应的各个新的图像组作为所述第三时频域样本集。

10.根据权利要求1-6和8-9中任一项所述的方法，其中，所述用于脑电信号分类的分类模型是轻量级神经网络模型，其包括：时间卷积层、空间卷积层、平均池化层以及全连接层，

其中，利用所述多个样本子集的多个扩增样本子集，训练用于脑电信号分类的分类模型，包括：

将所述多个扩增样本子集中的每个样本以及对应的类别输入所述分类模型，并根据所述分类模型的输出进行模型参数优化。

11.一种用于脑电信号分类的分类模型的训练装置，包括：

获取模块，用于获取脑电信号样本集，所述脑电信号样本集包括多个样本子集，每个样本子集与多个类别中的一个类别对应；

叠加模块，用于对于所述多个样本子集中的每个样本子集，基于所述样本子集中的样本的时频域变换、和所述样本子集中的样本经时频域变换得到的时频域样本中的至少两个时频域样本之间的叠加，生成所述样本子集对应的叠加样本集；

扩增模块，用于对于所述多个样本子集中的每个样本子集，利用所述样本子集及所述样本子集对应的叠加样本集，生成所述样本子集的扩增样本子集；以及

训练模块，用于利用多个样本子集的多个扩增样本子集，训练用于脑电信号分类的分类模型，

其中，训练后的分类模型用于将采集的待分类的脑电信号分类到所述多个类别中的一个类别。

12.根据权利要求11所述的训练装置，其中，所述叠加模块包括：

时频域变换子模块，用于对所述样本子集中的各个样本进行时频域变换，生成第一时频域样本集；以及

叠加子模块，用于：对于所述第一时频域样本集中的每个时频域样本，将所述时频域样本与所述第一时频域样本集中的至少一个其他时频域样本进行叠加以生成至少一个叠加样本，从而生成所述样本子集对应的叠加样本集。

13.根据权利要求11-12中任一项所述的训练装置，其中，所述扩增模块包括：

时频域逆变换子模块，用于对所述样本子集对应的叠加样本集中的各个时频域样本进行时频域逆变换，得到更新样本子集；以及

合并子模块，用于将更新样本子集合并到所述样本子集中，以生成所述样本子集的扩增样本子集。

14.一种电子设备，包括：

处理器，以及

存储器，与所述处理器连接，其上存储有指令，所述指令在被所述处理器执行时，使得所述处理器执行如权利要求1-10任一项所述的用于脑电信号分类的分类模型的训练方法。

Images