CN113261980A - 一种基于脑电联合特征学习的大规模视觉分类方法及装置 - Google Patents

Abstract

本申请提供了一种基于脑电联合特征学习的大规模视觉分类方法及装置，涉及计算机视觉、机器学习和生物神经科学领域，旨在提高基于脑电进行视觉分类任务的准确性。所述方法包括：获取待分类的视觉对象对应的脑电信号；提取所述脑电信号的时空特征和小波特征；将所述脑电信号的时空特征和小波特征输入预先训练的视觉分类模型，以通过所述视觉分类模型对所述时空特征的特征向量和所述小波特征的特征向量进行融合，得到联合特征向量；通过所述视觉分类模型确定所述联合特征向量与各个视觉对象的类别之间的关联性；将所述视觉分类模型根据所述关联性而输出的类别，确定为所述待分类的视觉对象的类别。

Description

一种基于脑电联合特征学习的大规模视觉分类方法及装置

技术领域

本申请涉及计算机视觉、机器学习和生物神经科学领域，特别是涉及一种基于脑电联合特征学习的大规模视觉分类方法及装置。

背景技术

人类对于大脑活动的探究从未停止过脚步，自20世纪以来，探索人类大脑的工作机制就已成为世界的焦点。脑电图作为一种非侵入性测量技术，尽管空间分辨率很低，但其相对简单的操作和实验的低成本，使得其在情绪识别，运动想象，临床应用等领域都有着广泛的应用。视觉系统是人类感知外部世界的最主要途径，大脑的视觉加工过程出现在几百毫秒的时间范围内，是一个瞬间，动态的过程。由于电场传播的速度很快，脑电图(EEG)具有极好的时间分辨率，当图片快速展示在用户面前时，恰好能捕获大脑处理视觉任务的这一完整过程。神经科学研究表明，视觉信号在大脑中是一个感知到认知的过程，但是直到目前为止，依旧没有明确的视觉类别编码特征被提出。

伴随着生物神经科学和人工智能的发展，解码人的视觉编码过程成为近几年的一个热门话题。伴随着深度学习算法的发展，越来越多的算法被提出用于对大脑活动进行内容理解和认知，但其分类类别均在2分类到10分类之间。现有技术中，采用一种综合方法来训练一个分类器，在12种不同对象类别诱发的脑电信号区分中，准确率达到为29％；SimonePalazzo等人于17年首次公布了当时最大的用于视觉对象研究的脑电数据集，同时将40分类任务的准确度提高到了21.8％；基于最新的研究成果，Simone Palazzo等人利用孪生网络探究脑电和图像的内在关系，将四十分类任务的准确度提高至了48.1％；为了解决大多数模型只能处理单一BCI(脑机接口)任务，此前通过实现一个紧凑的卷积神经网络进行脑电分类，在架构的泛化性能上有了明显的提高。

然而脑电图用来做分类任务还存在一些问题，如脑电图数据通常很少，信号的信噪比低，个体差异性等。尽管目前产生了许多深度学习的模型被用于对人脑活动的研究和探索，但是基于脑电图的视觉分类在准确性，有效性和通用性上都有待提高。

发明内容

鉴于上述问题，本发明实施例提供了一种基于脑电联合特征学习的大规模视觉分类方法及装置，以便克服上述问题或者至少部分地解决上述问题。

本发明实施例的第一方面，提供了一种基于脑电联合特征学习的大规模视觉分类方法，所述方法包括：

获取待分类的视觉对象对应的脑电信号；

提取所述脑电信号的时空特征和小波特征；

将所述脑电信号的时空特征和小波特征输入预先训练的视觉分类模型，通过所述视觉分类模型对所述时空特征的特征向量和所述小波特征的特征向量进行融合，得到联合特征向量；

通过所述视觉分类模型确定所述联合特征向量与各个视觉对象的类别之间的关联性；

将所述视觉分类模型根据所述关联性而输出的类别，确定为所述待分类的视觉对象的类别。

可选地，提取所述脑电信号的时空特征和小波特征，包括：

对所述脑电信号进行预处理，将预处理后得到的时空序列作为所述脑电信号的时空特征；

对预处理后得到的时空序列进行小波变换，得到所述脑电信号的小波特征。

可选地，对所述脑电信号进行预处理，将预处理后得到的时空序列作为所述脑电信号的时空特征，包括：

采用TP9和TP10电位对所述脑电信号进行重参考；

使用1-100Hz的滤波器对重参考后的脑电信号进行初始滤波；

采用独立分量分析，对初始滤波后的信号中除脑电信号外的其他噪声信号进行去噪；

采用FIR滤波器对去噪后得到的脑电信号进行14-100HZ的带通滤波；

将经过带通滤波后的脑电信号划分成多段，得到所述脑电信号的时空特征。

可选地，对预处理后得到的时空序列进行小波变换，得到所述脑电信号的小波特征，包括：

基于预设小波基函数，对预处理后的脑电信号进行小波变换，得到所述脑电信号的小波特征。

可选地，基于预设小波基函数，对预处理后的脑电信号进行小波变换，得到所述脑电信号的小波特征，包括：

通过以下等式得到所述小波系数：

该式中，C_j，k为所述小波系数，

为所述预设小波基函数，STF(n)是经过预处理后的脑电信号；n表示采样点；

从所述小波系数中提取所述小波特征。

可选地，所述视觉分类模型是按照以下步骤训练得到的：

获得由携带类别标签的视觉对象图像数据集和对应的脑电信号数据集组成的训练样本；

提取所述训练样本中的脑电信号数据集中的各个脑电信号的时空特征和小波特征；

将所述各个脑电信号的时空特征输入预设模型的提取时空嵌入模块，得到对应的时空特征的特征向量，将所述各个脑电信号的时空特征输入预设模型的提取时频嵌入模块，得到对应的小波特征的特征向量；

通过所述预设模型的特征融合模块对各个脑电信号的时空特征的特征向量和小波特征的特征向量进行融合，得到各个脑电信号的联合特征向量；

通过所述预设模型的分类网络对各个脑电信号的联合特征向量进行处理，以预测所述各个脑电信号对应的类别；

根据预测得到的各个脑电信号对应的类别与各个脑电信号对应的标签之间的差异，建立损失函数；

以最大限度地区分不同类别的脑电信号之间的差异性为目标，基于损失函数对所述预设模型进行训练，得到所述视觉分类模型。

可选地，获得由携带类别标签的视觉对象图像数据集和对应的脑电信号数据集组成的训练样本，包括：

获得多种类别标签的视觉对象图像数据集；

采集用户观看所述多种类别标签的视觉对象图像数据集而产生的脑电信号；

将每种类别标签的视觉对象图像数据集和对应的脑电信号数据集相组合，得到所述训练样本。

可选地，通过所述预设模型的向量融合模块对各个脑电信号的时空特征的特征向量和小波特征的特征向量进行融合，得到各个脑电信号的联合特征向量，包括：

通过所述特征融合模块对各个脑电信号的时空特征的特征向量和小波特征的特征向量进行拼接，得到各个脑电信号的拼接特征向量；

通过所述特征融合模块对各个脑电信号的拼接特征向量进行整合，得到各个脑电信号的联合特征向量。

本发明实施例的第二方面，提供了一种基于脑电联合特征学习的大规模视觉分类装置，所述装置包括：

信号获取模块，用于获取待分类的视觉对象对应的脑电信号；

特征提取模块，用于提取所述脑电信号的时空特征和小波特征；

联合特征模块，用于将所述脑电信号的时空特征和小波特征输入预先训练的视觉分类模型，通过所述视觉分类模型对所述时空特征的特征向量和所述小波特征的特征向量进行融合，得到联合特征向量；

关联性确定模块，用于通过所述视觉分类模型确定所述联合特征向量与各个视觉对象的类别之间的关联性；

类别确定模块，用于将所述视觉分类模型根据所述关联性而输出的类别，确定为所述待分类的视觉对象的类别。

可选地，所述视觉分类模型是按照以下步骤训练得到的：

获得由携带类别标签的视觉对象图像数据集和对应的脑电信号数据集组成的训练样本；

提取所述训练样本中的脑电信号数据集中的各个脑电信号的时空特征和小波特征；

将所述各个脑电信号的时空特征输入预设模型的提取时空嵌入模块，得到对应的时空特征的特征向量，将所述各个脑电信号的时空特征输入预设模型的提取时频嵌入模块，得到对应的小波特征的特征向量；

通过所述预设模型的特征融合模块对各个脑电信号的时空特征的特征向量和小波特征的特征向量进行融合，得到各个脑电信号的联合特征向量；

通过所述预设模型的分类网络对各个脑电信号的联合特征向量进行处理，以预测所述各个脑电信号对应的类别；

根据预测得到的各个脑电信号对应的类别与各个脑电信号对应的标签之间的差异，建立损失函数；

以最大限度地区分不同类别的脑电信号之间的差异性为目标，基于损失函数对所述预设模型进行训练，得到所述视觉分类模型。

本发明实施例包括以下优点：

本实施例中，可以获取待分类的视觉对象对应的脑电信号；提取所述脑电信号的时空特征和小波特征；将所述脑电信号的时空特征和小波特征输入预先训练的视觉分类模型，以通过所述视觉分类模型对所述时空特征的特征向量和所述小波特征的特征向量进行融合，得到联合特征向量；通过所述视觉分类模型确定所述联合特征向量与各个视觉对象的类别之间的关联性；将所述视觉分类模型根据所述关联性而输出的类别，确定为所述待分类的视觉对象的类别。如此，在基于脑电信号进行视觉分类任务时，采用了脑电信号的时空特征和小波特征，通过时空特征的特征向量和小波特征的特征向量融合后的联合特征向量，充分发掘和利用了脑电信号的时空信息和时频信息，以更加准确地获取脑电信号和视觉对象的类别之间的关联性，从而提高了脑电信号在进行视觉分类任务时的准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中的视觉分类模型的结构示意图；

图2是本发明实施例中的训练预设模型的步骤流程图；

图3是本发明实施例中对脑电信号进行预处理的步骤示意图；

图4是本申请实施例中一种基于脑电联合特征学习的大规模视觉分类方法的步骤流程图；

图5是本发明实施例的一种基于脑电联合特征学习的大规模视觉分类装置的结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

为解决现有技术中基于脑电进行视觉分类任务在准确性、有效性和通用性上都有待提高的问题，申请人提出：同时将脑电信号的时空特征和小波特征作为视觉分类模型的输入范式，综合利用脑电信号的时空信息和时频信息，以更加准确地获取脑电信号和视觉对象的类别之间的关联性。

为了更智能地实施申请人提出的上述方法，使得该方法的应用范围更广，申请人首先构建了预设模型，并基于训练样本对该预设模型进行训练，得到视觉分类模型。申请人利用该视觉分类模型执行上述方法中的部分或全部步骤。

参照图1，图1示出了本发明一实施例中视觉分类模型的结构示意图。申请人将该视觉分类模型命名为Dual-EEGNet网络。视觉分类模型包括：输入范式模块、提取时空嵌入模块、提取时频嵌入模块、特征融合模块、分类网络。其中，提取时空嵌入模块用于获取时空特征的特征向量，提取时频嵌入模块用于获取小波特征的特征向量，特征融合模块用于对各个脑电信号的时空特征的特征向量和小波特征的特征向量进行融合，得到各个脑电信号的联合特征向量。该视觉分类模型的输入范式为脑电信号的时空特征和小波特征。

脑电信号具有高维度、样本量少、噪声严重的特点，直接对脑电信号进行图像类别特征的提取往往异常困难，因此特征选择就起着至关重要的作用。

时空特征是脑电图数据一个重要的输入，从视觉皮层的编码特征上来看，视觉信号是从v1->v2->v4->PIT->IT信息的逐层处理过程，对应的神经元的感受野越来越大，高级别的神经元将信息集成在具有较小感受野的多个低级神经元上，编码更复杂的特征。通道串扰给脑电的视觉识别过程中的空间定位带来相当大的难度。由于设备的每个脑电图电极从附近区域收集信号，使空间分辨率变得粗糙(几厘米)。因此，单一的脑电信号时空特征表示具有一定的局限性。

脑电信号中的视觉信号在大脑中的传播是一个从感知到认知的过程，需要更精确的特征来描述这种时空特征。由于脑电信号具有非平稳、时变、非线性等特点，因此，本申请人考虑到对脑电信号进行傅里叶变换的效果不明显，而离散小波变换的具有多分辨率特性，在处理非平稳的脑电信号时具有明显的优势，从而想到获取脑电信号的小波特征来得到脑电信号的时频信息。

因此，本申请视觉分类模型的输入范式为脑电信号的时空特征和小波特征。如此，可以获取到脑电信号的时空信息和时频信息，以提高基于脑电进行视觉分类任务时的准确性。

应当理解的是，申请人构建的预设模型的结构与图1所示的视觉分类模型的结构相同，预设模型也包括输入范式模块、提取时空嵌入模块、提取时频嵌入模块、特征融合模块、分类网络；预设模型的输入范式也为脑电信号的时空特征和小波特征。而经过训练后，预设模型的模型参数被更新调整，最终得到视觉分类模型。

为了对预设模型进行训练，以得到视觉分类模型，本申请一实施例提出如图2所示的训练预设模型的步骤，参照图2，具体可以包括以下步骤：

步骤S110：获得由携带类别标签的视觉对象图像数据集和对应的脑电信号数据集组成的训练样本。

步骤S110可以由子步骤S111、S112、S113实现。

子步骤S111：获得多种类别标签的视觉对象图像数据集。

子步骤S112：采集用户观看所述多种类别标签的视觉对象图像数据集而产生的脑电信号。

子步骤S113：将每种类别标签的视觉对象图像数据集和对应的脑电信号数据集相组合，得到所述训练样本。

示例地，视觉对象图像素材来自Imagenet(大型可视化数据库)公开数据集，从中选取80个类别的视觉对象，每个类别的视觉对象包含50张相似的视觉对象图像，一共4000个视觉对象图像。每个视觉对象图像有一个类别标签，标明了视觉对象图像的具体类别。

其中，视觉对象的类别和每个视觉对象图像的选取应遵循如下原则：

1.视觉对象的类别应当是生活中常见的，用户在观看视觉对象图像时，可以迅速确定视觉对象图像的类别，不同类别在概念上的差距要尽可能地大。例如，不应同时出现玻璃杯和陶瓷杯这种类别差距小的视觉对象图像，而熊猫和狗这种类别差距大的视觉对象，可以同时出现。

2.视觉对象的类别信息应当占据图像的主体部分，图像的背景干扰应当尽可能的小。

3.视觉对象在展示给用户时，应当保持统一尺寸，避免用户的注意力转移。在准备阶段，将实验图像素材调整到580×580，用户的眼睛与屏幕的距离保持在96cm左右。

选取5名视力正常或矫正正常的用户，其中4名男性和1名女性。使用64通道脑电图信号放大器和相匹配的软件，采集并记录这5名用户观看视觉对象图像时的脑电信号，其中，脑电信号的采样率为500Hz。

采集脑电信号过程中，这5名用户观看上述4000个视觉对象图像，并关注每个视觉对象图像的类别信息，每个视觉对象图像呈现0.5秒。为了改善脑电信号信噪比低的问题，连续呈现同一类视觉对象，以给大脑带来持续的刺激。

为了使用户在采集脑电信号过程中保持良好的状态，在每类视觉对象之间设置了10秒的休息时间。每5类视觉对象后设置一个无限制的休息时间，用户可以根据自己的需要，自行决定无限制的休息时间的长短。在观看视觉对象图像时，用户保持沉默和静止，以确保收集的脑电信号可靠和稳定，尽可能减少运动伪影。

采集到用户的脑电信号数据集之后，将每种类别标签的视觉对象图像数据集和对应的脑电信号数据集相组合，得到训练样本。

步骤S120：提取所述训练样本中的脑电信号数据集中的各个脑电信号的时空特征和小波特征。

步骤S120可以由子步骤S121、S122实现。

子步骤S121：对所述脑电信号进行预处理，将预处理后得到的时空序列作为所述脑电信号的时空特征。

获取到训练样本之后，对训练样本中的脑电信号进行预处理，根据预处理后得到的时空序列可以得到脑电信号的时空特征。

参照图3，示出了对脑电信号进行预处理的步骤示意图。如图3所示，对脑电信号进行预处理可以包括以下步骤：

采用TP9和TP10电位对所述脑电信号进行重参考。使用1-100Hz的滤波器对重参考后的脑电信号进行初始滤波。为了消除工频干扰的影响，采用了49-51Hz的陷波滤波器。采集到的脑电信号可以看做是来自各种独立来源的混合信号，如眼球运动信号、肌肉运动信号和采集的电路噪声等，干扰的信号被认为是线性的。因此，采用独立分量分析(ICA)，对初始滤波后的信号中除脑电信号外的其他噪声信号进行去噪。接着，进行杂质去除，去除眼电、肌电和其他噪声的干扰。

对脑电信号进行频率选择。脑电信号分为5个频段：δ(1-4Hz)、θ(4-8Hz)、α(814Hz)、β(14-35Hz)和γ(>35Hz)。其中，β波段与视知觉密切相关，而相对高频率的伽马脑波与人脑中清晰的认知有关。因此对脑电信号进行频率选择时，采用FIR滤波器对去噪后得到的脑电信号进行14-100HZ的带通滤波。

将经过带通滤波后的脑电信号划分成多段，得到所述脑电信号的时空特征，示例地：将脑电信号数据划分成4000段，每个脑电信号包含所有通道(64)和所有采样点(250)的信息；对采集到的5名用户的脑电信号进行了统一的预处理，最终得到了20，000段脑电的时空序列，从而得到脑电信号的时空特征。

上述各预处理步骤，可以根据实际情况，具有不同的顺序。可选地，对脑电信号进行预处理，还包括：定位电极、删除无用电极、分段和基线矫正等。可以理解的是，当不存在无用电极时，则无需删除无用电极。

子步骤S122：对预处理后得到的时空序列进行小波变换，得到所述脑电信号的小波特征。

基于预设小波基函数，对预处理后的脑电信号进行小波变换，得到所述脑电信号的小波特征。

一实施例中，可以采用多种不同的预设小波基函数进行脑电信号的小波变换，其中可以包括db4小波基函数或db2小波基函数，以及其他小波基函数。基于选择的预设小波基函数，对预处理后的脑电信号进行小波变换，可以得到脑电信号的小波系数。

示例地，通过以下等式得到小波系数：

该式中，C_j，k为所述小波系数，

为所述预设小波基函数，STF(n)是经过预处理后的脑电信号；n表示采样点。

一实施例中，本申请人选取了db4小波基函数为预设小波基函数，对脑电信号进行三层分解，得到不同频带的一系列小波系数，如下所示：

STF(n)＝A₃+D₃+D₂+D₁

该式中，STF(n)是经过预处理后的脑电信号，A表示低频带信号，D表示高频带信号。

然后从得到的一系列小波系数中提取小波特征。

步骤S130：将所述各个脑电信号的时空特征输入预设模型的提取时空嵌入模块，得到对应的时空特征的特征向量，将所述各个脑电信号的时空特征输入预设模型的提取时频嵌入模块，得到对应的小波特征的特征向量。

获取到脑电信号的时空特征后，将脑电信号的时空特征输入预设模型的提取时空嵌入模块，在提取时空嵌入模块中进行深度学习特征提取，得到对应的时空特征的特征向量。

获取到脑电信号的小波特征后，将脑电信号的小波特征输入预设模型的提取时频嵌入模块，在提取时频嵌入模块中进行深度学习特征提取，得到对应的小波特征的特征向量。

步骤S140：通过所述预设模型的特征融合模块对各个脑电信号的时空特征的特征向量和小波特征的特征向量进行融合，得到各个脑电信号的联合特征向量。

步骤S140可以由子步骤S141、S142实现。

子步骤S141：通过所述特征融合模块对各个脑电信号的时空特征的特征向量和小波特征的特征向量进行拼接，得到各个脑电信号的拼接特征向量。

在特征融合模块，通过concat(拼接两个数组)函数，组合获取到各个脑电信号的时空特征的特征向量和小波特征的特征向量。

子步骤S142：通过所述特征融合模块对各个脑电信号的拼接特征向量进行整合，得到各个脑电信号的联合特征向量。

在特征融合模块，整合各个脑电信号的时空特征的特征向量和小波特征的特征向量，从而得到各个脑电信号的时空特征和小波特征的联合特征向量，利用该联合特征向量进行神经网络的优化。

步骤S150：通过所述预设模型的分类网络对各个脑电信号的联合特征向量进行处理，以预测所述各个脑电信号对应的类别。

得到各个脑电信号的联合特征向量之后，根据该联合特征向量，预设模型的分类网络预测每个脑电信号对应的视觉对象图像的类别。

步骤S160：根据预测得到的各个脑电信号对应的类别与各个脑电信号对应的标签之间的差异，建立损失函数。

根据分类网络预测的各个脑电信号对应的视觉对象图像的类别，和各个脑电信号实际携带的类别标签之间的差异，建立损失函数。例如，根据预测脑电信号对应的类别和视觉对象图像的携带的类别标签之间的差异，建立损失函数的实施方式可以是：将预测的类别与类别标签进行比较，得到比较结果。该比较结果表征预设模型在此轮训练中，对预测的脑电信号对应的视觉对象图像的类别的准确性。

可选地，采用交叉熵作为损失函数。采用交叉熵作为损失函数比较简单。

步骤S170：以最大限度地区分不同类别的脑电信号之间的差异性为目标，基于损失函数对所述预设模型进行训练，得到所述视觉分类模型。

示例地，根据上述预测结果，以最大限度地区分不同类别的脑电信号之间的差异性为目标，基于损失函数，采用梯度下降法，对预设模型进行训练，更新预设模型的参数，并将更新后的预设模型投入下一轮训练。经过多轮训练后，得到视觉分类模型。例如，在经过固定的M轮训练后，如1000轮训练，结束训练，获得视觉分类模型。又例如，在连续多轮训练的损失函数反映出预设模型已经可以准确地预测出训练样本的脑电信号对应的视觉对象图像的类别时，结束训练，获得视觉分类模型。可以理解的是，采用联合特征向量对预设模型进行训练，相当于预设模型学习联合特征向量。

可选地，因为脑电信号数据量较少，为了防止实验过拟合，预设模型的dropout(丢弃)参数设置成0.5，同时用L2正则化来限制模型参数。为了更好的训练模型，优化算法选取Adam优化器，进行模型的迭代优化。预设模型每经过一层卷积层，均使用BN(BatchNormalization，批标准化)算法和ReLU(Rectified Linear Unit，线性整流函数)函数激活进行输出调整。

采用本申请实施例的技术方案，一方面，针对当前视觉场景下脑电数据集稀缺、分类精度低、特征单一化的问题，构建了目前为止最大的多类别图像脑电数据集，弥补了视觉场景下的脑电数据集空缺的缺陷；另一方面，将时空特征和小波特征作为模型的输入范式，采用联合特征向量进行预设模型的训练，充分发掘和利用脑电信号的时空信息和时频信息，训练得到了视觉分类模型；另一方面，训练得到的视觉分类模型，可以对多类别视觉对象刺激诱发的脑电信号进行分类，还可以学习一系列BCI任务中的各种可解释特征，并且在处理脑电分类任务中的准确性、有效性和通用性方面，都具有不错的表现。

本申请的上述各实施例主要提出了基于采集到的训练样本，对预设模型进行训练的过程，并最终得到视觉分类模型。以下，本申请将着重介绍一种基于脑电联合特征学习的大规模视觉分类方法，并示意性地介绍如何将视觉分类模型应用于该基于脑电联合特征学习的大规模视觉分类方法中。

参照图4，图4是本申请实施例中一种基于脑电联合特征学习的大规模视觉分类方法的步骤流程图。如图4所示，该方法包括以下步骤：

步骤S210：获取待分类的视觉对象对应的脑电信号。

本实施例中，待分类的视觉对象是指：需要进行分类的视觉对象。待分类的视觉对象对应的脑电信号是指：用户观看待分类的视觉对象时的脑电信号。

可选地，使用64通道脑电图信号放大器和相匹配的软件，采集并记录用户观看待分类的视觉对象图像时的脑电信号。采集并录用户观看待分类的视觉对象时的脑电信号的方法，可以参照步骤S110的执行方法。

步骤S220：提取所述脑电信号的时空特征和小波特征。

可以理解，步骤S220可以参照步骤S120的实施方法。

步骤S230：将所述脑电信号的时空特征和小波特征输入预先训练的视觉分类模型，以通过所述视觉分类模型对所述时空特征的特征向量和所述小波特征的特征向量进行融合，得到联合特征向量。

将提取到的脑电信号的时空特征和小波特征输入预先训练的视觉分类模型，通过视觉分类模型，可以得到脑电信息的时空特征的特征向量和小波特征的特征向量，对时空特征的特征向量和小波特征的特征向量进行融合，得到联合特征向量。

可以理解的是，视觉分类模型是训练好的预设模型。通过视觉分类模型得到联合特征向量的步骤，可以参照通过预设模型得到联合特征向量的步骤。

步骤S240：通过所述视觉分类模型确定所述联合特征向量与各个视觉对象的类别之间的关联性。

通过视觉分类模型可以确定联合特征向量与各个视觉对象的类别之间的关联性。例如，当前采样点的脑电信号对应的视觉对象类别为第一类，视觉分类模型可以获取该脑电信号和第一类视觉对象之间的较高的关联性，以及和其它类别视觉对象之间较低的关联性。

步骤S250：将所述视觉分类模型根据所述关联性而输出的类别，确定为所述待分类的视觉对象的类别。

视觉分类模型将与联合特征向量关联性最高的视觉对象的类别作为输出。输出的类别，为用户观看的待分类的视觉对象的类别。

采用本申请实施例的技术方案，在基于脑电信号进行视觉分类任务时，同时采用了脑电信号的时空特征和小波特征，得到了时空特征和小波特征的联合特征向量，综合利用了电信号的时空信息和时频信息，提高了基于脑电信号进行视觉分类任务时的准确性。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

图5是本发明实施例的一种基于脑电联合特征学习的大规模视觉分类装置的结构示意图，如图5所示，一种基于脑电联合特征学习的大规模视觉分类装置，可以包括：信号获取模块、特征提取模块、联合特征模块、关联性确定模块、类别确定模块，其中：

信号获取模块，用于获取待分类的视觉对象对应的脑电信号；

特征提取模块，用于提取所述脑电信号的时空特征和小波特征；

联合特征模块，用于将所述脑电信号的时空特征和小波特征输入预先训练的视觉分类模型，通过所述视觉分类模型对所述时空特征的特征向量和所述小波特征的特征向量进行融合，得到联合特征向量；

关联性确定模块，用于通过所述视觉分类模型确定所述联合特征向量与各个视觉对象的类别之间的关联性；

类别确定模块，用于将所述视觉分类模型根据所述关联性而输出的类别，确定为所述待分类的视觉对象的类别。

由上述实施例可见，在基于脑电信号进行视觉分类任务时，同时采用了脑电信号的时空特征和小波特征，得到了时空特征和小波特征的联合特征向量，综合利用了电信号的时空信息和时频信息，提高了基于脑电信号进行视觉分类任务时的准确性。

可选地，作为一个实施例，所述特征提取模块，具体可以包括以下子模块：

时空特征提取子模块，用于对所述脑电信号进行预处理，将预处理后得到的时空序列作为所述脑电信号的时空特征；

小波特征提取子模块，用于对预处理后得到的时空序列进行小波变换，得到所述脑电信号的小波特征。

可选地，作为一个实施例，所述时空特征提取子模块，具体可以包括以下单元：

重参考单元，用于采用TP9和TP10电位对所述脑电信号进行重参考；

滤波单元，用于使用1-100Hz的滤波器对重参考后的脑电信号进行初始滤波；

独立分量分析单元，用于采用独立分量分析，对初始滤波后的信号中除脑电信号外的其他噪声信号进行去噪；

带通滤波单元，用于采用FIR滤波器对去噪后得到的脑电信号进行14-100HZ的带通滤波；

分片单元，用于将经过带通滤波后的脑电信号划分成多段，得到所述脑电信号的时空特征。

可选地，作为一个实施例，所述小波特征提取子模块，具体可以包括以下单元：

小波变换单元，用于基于预设小波基函数，对预处理后的脑电信号进行小波变换，得到所述脑电信号的小波特征。

所述小波变换单元，可以通过以下等式得到所述小波系数：

该式中，C_j，k为所述小波系数，

为所述预设小波基函数，STF(n)是经过预处理后的脑电信号；n表示采样点；

从所述小波系数中提取所述小波特征。

可选地，作为一个实施例，所述视觉分类模型是按照以下步骤训练得到的：

获得由携带类别标签的视觉对象图像数据集和对应的脑电信号数据集组成的训练样本；

提取所述训练样本中的脑电信号数据集中的各个脑电信号的时空特征和小波特征；

将所述各个脑电信号的时空特征输入预设模型的提取时空嵌入模块，得到对应的时空特征的特征向量，将所述各个脑电信号的时空特征输入预设模型的提取时频嵌入模块，得到对应的小波特征的特征向量；

通过所述预设模型的特征融合模块对各个脑电信号的时空特征的特征向量和小波特征的特征向量进行融合，得到各个脑电信号的联合特征向量；

通过所述预设模型的分类网络对各个脑电信号的联合特征向量进行处理，以预测所述各个脑电信号对应的类别；

根据预测得到的各个脑电信号对应的类别与各个脑电信号对应的标签之间的差异，建立损失函数；

以最大限度地区分不同类别的脑电信号之间的差异性为目标，基于损失函数对所述预设模型进行训练，得到所述视觉分类模型。

可选地，作为一个实施例，获得由携带类别标签的视觉对象图像数据集和对应的脑电信号数据集组成的训练样本，包括：

获得多种类别标签的视觉对象图像数据集；

采集用户观看所述多种类别标签的视觉对象图像数据集而产生的脑电信号；

将每种类别标签的视觉对象图像数据集和对应的脑电信号数据集相组合，得到所述训练样本。

可选地，作为一个实施例，通过所述预设模型的特征融合模块对各个脑电信号的时空特征的特征向量和小波特征的特征向量进行融合，得到各个脑电信号的联合特征向量，包括：

通过所述特征融合模块对各个脑电信号的时空特征的特征向量和小波特征的特征向量进行拼接，得到各个脑电信号的拼接特征向量；

通过所述特征融合模块对各个脑电信号的拼接特征向量进行整合，得到各个脑电信号的联合特征向量。

由上述实施例可见，本发明实施例，一方面针对当前视觉场景下脑电数据集稀缺、分类精度低、特征单一化的问题，构建了目前为止最大的多类别图像脑电数据集，弥补了视觉场景下的脑电数据集空缺的缺陷；另一方面，将时空特征和小波特征作为模型的输入范式，采用联合特征向量进行预设模型的训练，充分发掘和利用脑电信号的时空信息和时频信息，训练得到了视觉分类模型；另一方面，训练得到的视觉分类模型，可以对多类别视觉对象刺激诱发的脑电信号进行分类，还可以学习一系列BCI任务中的各种可解释特征，并且在处理脑电分类任务中的准确性、有效性和通用性方面，都具有不错的表现。

需要说明的是，装置实施例与方法实施例相近，故描述的较为简单，相关之处参见方法实施例即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、装置、电子设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种基于脑电联合特征学习的大规模视觉分类方法及装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于脑电联合特征学习的大规模视觉分类方法，所述方法包括：

获取待分类的视觉对象对应的脑电信号；

提取所述脑电信号的时空特征和小波特征；

将所述脑电信号的时空特征和小波特征输入预先训练的视觉分类模型，通过所述视觉分类模型对所述时空特征的特征向量和所述小波特征的特征向量进行融合，得到联合特征向量；

通过所述视觉分类模型确定所述联合特征向量与各个视觉对象的类别之间的关联性；

将所述视觉分类模型根据所述关联性而输出的类别，确定为所述待分类的视觉对象的类别。

2.根据权利要求1所述的方法，其特征在于，提取所述脑电信号的时空特征和小波特征，包括：

对所述脑电信号进行预处理，将预处理后得到的时空序列作为所述脑电信号的时空特征；

对预处理后得到的时空序列进行小波变换，得到所述脑电信号的小波特征。

3.根据权利要求2所述的方法，其特征在于，对所述脑电信号进行预处理，将预处理后得到的时空序列作为所述脑电信号的时空特征，包括：

采用TP9和TP10电位对所述脑电信号进行重参考；

使用1-100Hz的滤波器对重参考后的脑电信号进行初始滤波；

采用独立分量分析，对初始滤波后的信号中除脑电信号外的其他噪声信号进行去噪；

采用FIR滤波器对去噪后得到的脑电信号进行14-100HZ的带通滤波；

将经过带通滤波后的脑电信号划分成多段，得到所述脑电信号的时空特征。

4.根据权利要求2所述的方法，其特征在于，对预处理后得到的时空序列进行小波变换，得到所述脑电信号的小波特征，包括：

基于预设小波基函数，对预处理后的脑电信号进行小波变换，得到所述脑电信号的小波特征。

5.根据权利要求4所述的方法，其特征在于，基于预设小波基函数，对预处理后的脑电信号进行小波变换，得到所述脑电信号的小波特征，包括：

通过以下等式得到所述小波系数：

该式中，C_j，k为所述小波系数，

为所述预设小波基函数，STF(n)是经过预处理后的脑电信号；n表示采样点；

从所述小波系数中提取所述小波特征。

6.根据权利要求1-5任一所述的方法，其特征在于，所述视觉分类模型是按照以下步骤训练得到的：

获得由携带类别标签的视觉对象图像数据集和对应的脑电信号数据集组成的训练样本；

提取所述训练样本中的脑电信号数据集中的各个脑电信号的时空特征和小波特征；

将所述各个脑电信号的时空特征输入预设模型的提取时空嵌入模块，得到对应的时空特征的特征向量，将所述各个脑电信号的时空特征输入预设模型的提取时频嵌入模块，得到对应的小波特征的特征向量；

通过所述预设模型的特征融合模块对各个脑电信号的时空特征的特征向量和小波特征的特征向量进行融合，得到各个脑电信号的联合特征向量；

通过所述预设模型的分类网络对各个脑电信号的联合特征向量进行处理，以预测所述各个脑电信号对应的类别；

根据预测得到的各个脑电信号对应的类别与各个脑电信号对应的标签之间的差异，建立损失函数；

以最大限度地区分不同类别的脑电信号之间的差异性为目标，基于损失函数对所述预设模型进行训练，得到所述视觉分类模型。

7.根据权利要求6所述的方法，其特征在于，获得由携带类别标签的视觉对象图像数据集和对应的脑电信号数据集组成的训练样本，包括：

获得多种类别标签的视觉对象图像数据集；

采集用户观看所述多种类别标签的视觉对象图像数据集而产生的脑电信号；

将每种类别标签的视觉对象图像数据集和对应的脑电信号数据集相组合，得到所述训练样本。

8.根据权利要求6所述的方法，其特征在于，通过所述预设模型的特征融合模块对各个脑电信号的时空特征的特征向量和小波特征的特征向量进行融合，得到各个脑电信号的联合特征向量，包括：

通过所述特征融合模块对各个脑电信号的时空特征的特征向量和小波特征的特征向量进行拼接，得到各个脑电信号的拼接特征向量；

通过所述特征融合模块对各个脑电信号的拼接特征向量进行整合，得到各个脑电信号的联合特征向量。

9.一种基于脑电联合特征学习的大规模视觉分类装置，所述装置包括：

信号获取模块，用于获取待分类的视觉对象对应的脑电信号；

特征提取模块，用于提取所述脑电信号的时空特征和小波特征；

联合特征模块，用于将所述脑电信号的时空特征和小波特征输入预先训练的视觉分类模型，通过所述视觉分类模型对所述时空特征的特征向量和所述小波特征的特征向量进行融合，得到联合特征向量；

关联性确定模块，用于通过所述视觉分类模型确定所述联合特征向量与各个视觉对象的类别之间的关联性；

类别确定模块，用于将所述视觉分类模型根据所述关联性而输出的类别，确定为所述待分类的视觉对象的类别。

10.根据权利要求9所述的装置，其特征在于，所述视觉分类模型是按照以下步骤训练得到的：

获得由携带类别标签的视觉对象图像数据集和对应的脑电信号数据集组成的训练样本；

提取所述训练样本中的脑电信号数据集中的各个脑电信号的时空特征和小波特征；

将所述各个脑电信号的时空特征输入预设模型的提取时空嵌入模块，得到对应的时空特征的特征向量，将所述各个脑电信号的时空特征输入预设模型的提取时频嵌入模块，得到对应的小波特征的特征向量；

通过所述预设模型的特征融合模块对各个脑电信号的时空特征的特征向量和小波特征的特征向量进行融合，得到各个脑电信号的联合特征向量；

通过所述预设模型的分类网络对各个脑电信号的联合特征向量进行处理，以预测所述各个脑电信号对应的类别；

根据预测得到的各个脑电信号对应的类别与各个脑电信号对应的标签之间的差异，建立损失函数；

以最大限度地区分不同类别的脑电信号之间的差异性为目标，基于损失函数对所述预设模型进行训练，得到所述视觉分类模型。

Images