CN111273767A - 一种基于深度迁移学习的助听脑机接口系统 - Google Patents

Abstract

本发明涉及一种基于深度迁移学习的助听脑机接口系统，属于人机交互技术领域。系统基于脑电信号，以节律熵作为分类特征，以一种新的卷积神经网络模型作为分类器，用深度迁移学习方法解决数据量不足的问题，实现对听觉对象追踪正确和错误的监测。系统的实现分为两个阶段：离线训练阶段和在线监测阶段。离线训练阶段，基于嘈杂的听觉环境，收集大量的脑电数据，预先训练分类模型，并使模型稳定。在线监测阶段，基于深度迁移方法，对用户的听觉注意状态进行实时监测。当监测到用户对听觉对象追踪错误时，给予及时的反馈。系统实现了对疲劳、注意力涣散、注意力缺陷等用户的注意力的提高，从而达到了助听的目的。

Description

一种基于深度迁移学习的助听脑机接口系统

技术领域

本发明属于人机交互技术领域，涉及一种基于深度迁移学习的助听脑机接口系统。

背景技术

注意力缺陷症的主要症状是非常容易分心。在儿童中，注意力缺陷症尤为常见,他们在上课听讲或者同他人交谈时常常不能够集中注意力，导致学习效率低下，人际交流困难。这为注意力缺陷症儿童自身的学习和生活带来烦恼和痛苦的同时，也给家庭和学校造成了较大的负担和无奈。脑机接口(Braincomputerinterfaces，BCIs)具有检测大脑内部状态的能力，利用这种能力可以给予人们帮助。比如，通过检测注意力缺陷患者的注意状态，并根据检测结果过给予及时的反馈与干预，可以提高他们的注意力。由此可见，BCIs系统的实现，会给很多家庭、学校，甚至整个社会带来福音。

BCIs设备的成败在于其能否准确地识别大脑的“意图”。近年来，随着脑电(Electroencephalogram,EEG)大数据的增多，深度学习框架被广泛应用于EEG信号的解码和分类中。卷积神经网络(ConvolutionNeuralNetwork，CNN)是一种特殊的神经网络架构，其特征提取能力远远超过传统的机器学习方法。目前，CNN已经在基于EEG的情绪、运动想象等多种分类任务中取得了突破，为这类BCIs的构建提供了基础。

解码人类大脑活动的一个主要挑战是无处不在的人类个体差异性。不同的个体在执行相同或者相关的任务时，脑活动存在差异。甚至同一个体在不同时间，其脑活动同样存在差异。由于用户之间的差异性，在新用户使用BCI系统之前，传统解码EEG的方法通常需要使用实验数据进行一个训练阶段，而收集足够的数据来建立一个识别特定大脑活动的模型通常是耗时且费力的。由于训练阶段的单调乏味，给用户增添了麻烦和不满意的体验，降低了BCIs在现实世界中的实用性。迁移学习具有从相似或相关任务中学习通用特征的能力，而这恰恰可以解决上述问题。将深度学习和迁移学习应用于BCI系统，会同时提高BCIs的分类性能和减少训练的冗余过程，从而大大增加实用性。

随着通信技术，计算机等技术的发展，BCIs产品得以更广泛的应用。目前有一些基于听觉注意的BCIs技术，比如一种基于听觉注意和多焦电生理的脑机接口系统和实现方法(专利号：CN109567936A)，其主要功能是通过检测受检者听觉注意到的声音源来确定受试者心中所想，进而执行相应的动作。然而该系统能够正常工作的前提是正确追踪到声音源，当面对注意力缺陷患者，或者注意力不集中、处于疲惫状态等容易错误追踪的用户时，该系统的性能将大打折扣。之前，我们提出了一种脑电信号的新特征提取方法及其检测提取系统(专利号：CN108236464A)，该方法是在语音刺激阶段结束后，基于听觉认知控制阶段的脑电信号，实现了对听觉对象正确和错误追踪的识别功能。在此基础上，本发明基于卷积神经网络分类模型进一步推进到语音刺激阶段，实现了一种实时“助听”BCI系统。

发明内容

有鉴于此，本发明的目的在于提供一种基于深度迁移学习的助听脑机接口系统。

为达到上述目的，本发明提供如下技术方案：

一种基于深度迁移学习的助听脑机接口系统，包括语音刺激模块、脑电信号采集模块和数据处理模块；

系统实现分为离线训练阶段和在线监测阶段。

可选的，所述数据处理模块处理过程如下：

S1：对采集的脑电信号进行预处理；

S2：对于预处理之后的数据，选择语音刺激时的数据段提取多种节律；

S3：对S2的多种节律进行源估计，得到所有偶极子处的大脑皮层信号；

S4：基于S3的大脑皮层信号，计算所有偶极子的节律熵；

S5：头模型展开：将偶极子组成的3维不规则形状转换成2维特征图像，即将S4的节律熵映射成平面特征图像；

S6：采用卷积神经网络作为分类器，将S5的特征图像作为输入。

可选的，所述头模型展开为：为最大程度地保留特征信号，首先将头模型投影成球体，然后将球体展开成2维特征图像。

可选的，所述卷积神经网络有三个卷积层，每个卷积层后面有池化层，池化层后面有dropout层。

可选的，所述在线监测阶段为：对离线训练阶段正常用户预训练的模型进行微调；微调采用深度迁移的思想，利用新用户的部分数据，对预训练模型的第三个卷积层和池化层及其后面的层进行微调，使得模型适应新用户。

可选的，所述在线监测阶段中，当监测到用户对听觉对象追踪错误，系统增强注意对象，弱化干扰对象，并给予相应的提示声音，提醒用户提高注意力。

可选的，所述新用户为注意力正常用户或注意力缺陷患者。

本发明的有益效果在于：本发明基于语音刺激时的神经响应，提出了一种新颖的特征输入方法以及3L-CNN分类模型。基于上述方法，搭建了一种基于深度迁移学习的“助听”BCI系统。深度迁移方法弥补了用户数据量不足的潜在问题，改善了监测精度。根据听觉追踪状态的监测结果，系统实时地给予用户相应的反馈，实现了对疲劳、注意力涣散、注意力缺陷等用户的注意力提高，从而达到了助听的目的。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为助听系统的实施流程；

图2为三维特征展开流程图；

图3为三层卷积神经网络模型；

图4为注意力正常用户的识别精度图；

图5为注意力缺陷患者的识别精度对比图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1～图5，为一种基于深度迁移学习的助听脑机接口系统。系统分为两个阶段：离线训练阶段和在线监测阶段，每个阶段主要有3个模块，语音刺激模块，数据采集模块和数据分析模块。

离线训练阶段，为充分训练模型，需要采集大量的脑电数据预训练模型。本发明中，我们基于双耳分听实验范式，模拟了嘈杂的语音环境，采集了注意力正常用户的EEG数据。嘈杂的语音环境由语音刺激模块实现，即同时发出两种声音混合的语音。实验过程中，我们根据语音信息设置了简单的题目。语音刺激出现前，用户确定要跟踪的语音对象，结束后，用户需要根据追踪对象的内容进行快速按键反应。按键正确，即正确追踪，记为正样本；按键错误，即错误追踪，记为负样本。

实验过程我们使用NeuroScan采集脑电数据，采样频率为1000Hz，通道数为62。数据处理模块包括数据预处理、特征提取、模型训练这几个步骤。

数据预处理包括脑电分段，基线校正，去除伪迹，重参考，滤波等操作。脑电分段:系统中选取每试次(trial)开始前200ms至开始后4000ms的数据段。脑电分段的目的是根据用户的按键反应，将数据划分为正负样本。基线校正：在数据采集过程中，由于外界噪声和被试自身的原因，信号可能会产生漂移，为了克服这一现象产生的错误，通常取刺激前200ms的数据将它作为基线，刺激后的数据段都要减去基线。重参考：采用脑电标准化参考技术对脑电数据进行重参考。去除伪迹：去除心电肌电等伪迹。

预处理之后分别将按键反应正确和错误的样本归类为正样本和负样本。反应正确则代表用户追踪正确，反应错误代表用户追踪错误。我们对每个样本提取特征，并转换成图像，具体步骤如下：

1.选取目标刺激结束之后250ms的数据段。针对单个trial，通过小波变换，提取脑电信号的三种节律(theta(4-8Hz),alpha(8-13Hz),beta(13-30Hz))。

2.然后通过线性转换矩阵W，即脑电逆运算求得各个节律，各个偶极子的皮层活动。

3.利用香农熵公式，基于各个节律的能量，求得每个偶极子处的熵值。

4.所有的偶极子构成了一个3维不规则形状的头模型。为了能够消除冗余特征，降低特征复杂度，我们将其展开成平面特征图像作为卷积神将网络的输入。具体步骤如下：首先，在x，y和z方向上找到头模型的中心点。其次，以中心点作为坐标原点，从头部模型到坐标原点的最大距离作为球体半径，将其它点映射到球体上。最后，保留球体的拓扑结构并映射到2维平面，将平面中的有效信息裁剪为矩形图像。如果有偶极重叠区域，则进行平均处理。

本系统中，我们设计了一个三层的卷积神经网络作为分类模型，简称3L-CNN。模型详细设计如下：网络有三个卷积层，每个卷积层后面有降采样层，第一个卷积层使用8个卷积内核，第二个卷积层使用16个卷积内核，第三个卷积层使用32个卷积核。每层卷积核的大小为3*3，激活函数为线性整流函数(RectifiedLinearUnit,ReLU)。池化方法采用最大池化，核大小为2*2，步长为2。每个池化层后面连接一个值为0.5的Dropout层，之后是Flatten层，Flatten同一个输出为128维的全连接层连接。全连接层同样采用Dropout方法，dropout值设置为0.5。最后的全连接层为输出层，输出为2。另外，两层全连接的激活函数均为Sigmoid函数。神经网络的优化器为Adam，学习率为0.0001，损失方式为交叉熵。训练模型时，采用早停法，块大小设置为32，模型如图3。模型稳定后，离线训练阶段结束。用6名注意力正常的用户对模型进行了测试，如图4，模型对正常用户追踪状态(正确追踪和错误追踪)的平均识别精度达到了89.7％。

在线监测阶段，系统采用深度迁移学习方法。对首次使用系统的注意力缺陷患者或正常用户采集少量的样本，然后，固定离线阶段预训练的模型的前两个卷积层的参数，对第三个卷积层及全连接层进行微调。当模型对新用户表现稳定后开启在线检测功能。在线监测时，数据处理模块对采集到的数据提取特征图像，然后用微调之后的模型对图像进行分类。当分类结果表明正确追踪时系统无反馈，错误追踪时数据分析模块发送信号到语音刺激模块，语音刺激模块将目标语句的声音增大，将干扰语句的声音降低，并且发出“滴滴”的提示声音，以提示用户注意力集中。我们对比了系统对6名注意力缺陷用户在深度迁移方法和非迁移方法下的识别精度，如图5，结果表明：我们提出的深度迁移方法对注意力缺陷患者的识别精度大大提高。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于深度迁移学习的助听脑机接口系统，其特征在于：包括语音刺激模块、脑电信号采集模块和数据处理模块；

系统实现分为离线训练阶段和在线监测阶段。

2.根据权利要求1所述的一种基于深度迁移学习的助听脑机接口系统，其特征在于：所述数据处理模块处理过程如下：

S1：对采集的脑电信号进行预处理；

S2：对于预处理之后的数据，选择语音刺激时的数据段提取多种节律；

S3：对S2的多种节律进行源估计，得到所有偶极子处的大脑皮层信号；

S4：基于S3的大脑皮层信号，计算所有偶极子的节律熵；

S5：头模型展开：将偶极子组成的3维不规则形状转换成2维特征图像，即将S4的节律熵映射成平面特征图像；

S6：采用卷积神经网络作为分类器，将S5的特征图像作为输入。

3.根据权利要求2所述的一种基于深度迁移学习的助听脑机接口系统，其特征在于：所述头模型展开为：为最大程度地保留特征信号，首先将头模型投影成球体，然后将球体展开成2维特征图像。

4.根据权利要求2所述的一种基于深度迁移学习的助听脑机接口系统，其特征在于：所述卷积神经网络有三个卷积层，每个卷积层后面有池化层，池化层后面有dropout层。

5.根据权利要求1所述的一种基于深度迁移学习的助听脑机接口系统，其特征在于：所述在线监测阶段为：对离线训练阶段正常用户预训练的模型进行微调；微调采用深度迁移的思想，利用新用户的部分数据，对预训练模型的第三个卷积层和池化层及其后面的层进行微调，使得模型适应新用户。

6.根据权利要求1所述的一种基于深度迁移学习的助听脑机接口系统，其特征在于：所述在线监测阶段中，当监测到用户对听觉对象追踪错误，系统增强注意对象，弱化干扰对象，并给予相应的提示声音，提醒用户提高注意力。

7.根据权利要求5所述的一种基于深度迁移学习的助听脑机接口系统，其特征在于：所述新用户为注意力正常用户或注意力缺陷患者。

Images