CN109567936A - 一种基于听觉注意和多焦电生理的脑机接口系统和实现方法 - Google Patents

Abstract

本发明涉及一种基于听觉注意和多焦电生理的脑机接口系统和实现方法，其技术特点是：脑机接口系统包括听觉刺激器模块、信号采集模块、信号处理模块、执行模块；听觉刺激器模块能同时产生多种频率、多个声道的声音源，并将其分布在虚拟听觉空间的不同位置；每个声音源受同一M序列控制，M序列为1时声音源发声，为0时不发声；信号采集模块通过传感器采集得到听觉反应的混合电生理信号，并进行信号放大和模拟/数字转换；信号处理模块将混合电生理信号与M序列进行快速互相关计算，获得各个声音源对应的听觉反应信号；然后对各个声音源的听觉反应信号进行特征值提取，通过判别分类模块对特征向量进行分类，解码出受检者听觉注意到的声音源，从而确定受试者心中所想，进而控制执行模块执行相应的动作。

Description

一种基于听觉注意和多焦电生理的脑机接口系统和实现方法

技术领域：

本发明公开了一种基于听觉注意和多焦电生理的脑机接口系统和实现方法，属于神经认知科学、信息处理、自动化控制相交叉的技术领域。

背景技术：

脑-机接口是目前神经工程学研究的热门课题之一。脑-机是在人脑与计算机或其它电子设备之间建立直接的交流和控制通道。通过这种通道，人就可以直接通过大脑来表达想法或操着设备，而不需要通过语言或肢体的动作。

对于那些完全丧失外周神经肌肉控制能力的病人，要想对外界环境进行控制，如控制周围的电器设备，就得将大脑信号解读成相应的控制命令。产生特定的大脑控制信号的办法较多，大致可以分为独立的或非独立的两类。非独立方式产生的大脑控制信号是指受试者在接受某种外部刺激后来产生具有一定特征的脑电信号，如基于头皮检测到稳态的视觉诱发电位(SSVEP)可用来来实现脑-机接口；而所谓独立产生大脑控制信号则是指是受试者通过自我意识来调节脑电中的某些节律成分，或通过想象运动过程等过程来产生具有一定特征的脑电信号，如清华大学医学院神经工程研究所研制出的脑-机接口系统，可通过系统用“思维”来踢足球。不过该方式中信号所含信息的解码难度大，个体差异也大。

在人的听觉系统中，存在着听觉注意现象：当人的听觉注意集中于某一事物时，意识将一些无关声音刺激排除在外，而无意识却监察外界的刺激，一旦一些特殊的刺激与己有关，就能立即引起注意。这种听觉加工中存在的现象又叫做“鸡尾酒会”效应，因常见于酒会上而得名。如在各种声音嘈杂的鸡尾酒会上，有音乐声、谈话声、脚步声、酒杯餐具的碰撞声等，当某人的注意集中于欣赏音乐或别人的谈话，对周围的嘈杂声音充耳不闻时，若在另一处有人提到他的名字，他会立即有所反应，或者朝说话人望去，或者注意说话人下面说的话等。被试者可以运用声源位置与声谱线索立即识别被注意的说话者，将信息存贮与皮层，然后对这一信息进行不断的更新。

关于听觉信息处理机制，听觉通路有两条，大脑将听觉的空间信息和内容信息作为两个相对独立的部分分别交给两条信息通路进行加工，即“where”通路和“what”通路，分别处理声音在哪里(空间信息)和声音是什么(包含频率、强度和长度等信息)。脑磁图的研究还表明，“where”通路的激活较“what”通路的激活还要早30ms左右，从而确保了对全部声音刺激进行全局粗略的处理，进而对关键声音刺激进行局部细节分析。其中听觉的选择性注意起到了关键的调控作用。

根据大量的生理研究结果，在注意和非注意的声音刺激诱发的电位是存在着差异的。听觉的空间注意同其他特征注意处理通路不同，可以利用空间分布，将声音分布在空间的不同方位，令受试者将其注意力集中于某一方位，而忽略其他方位，通过“自上而下“的控制，对目标和非目标信号进行选择性处理，这种选择性处理可在后期的信号处理中体现出来，作为区分目标和非目标的一个特征信号。脉冲M序列及互相技术曾用于脑干听觉诱发电位的提取，与传统脑干听觉诱发电位相比，除了可以提取一阶反应波形外，还可以提取高阶反应波形。同时，脉冲M序列及互相技术提取出的一阶和高阶听觉反应波形，还具有抗干扰能力强的特点

综上所述，根据人听觉系统的听觉注意的电生理特点，结合多焦电生理技术，可用于脑-机接口的控制：利用前面所述的系统，如果受检者想执行某一操作，可将听觉注意力集中到该控制操作所对应的某一频率声音源发出的声音，那么该声源刺激得到的听觉反应波形的幅值或潜伏期将相应发生变化。计算机通过对听觉注意引起的电生理信号变化的判断，可确定受试者心中所想，从而执行相应的控制动作。

发明内容：

本发明根据人的听觉注意的电生理特点，结合多焦电生理技术，从听觉通道的角度提出一种脑-机接口的控制系统和方法，可为视功能受损的患者建立一条新的和外界交流的通道。由于听觉注意产生的听觉电生理信号的变化对人而言是普遍存在的，可以较好解决脑-机接口技术中存在的个体差异问题，同时该方法对人是无创、无损的。

为实现上述目的及其他相关目的，本发明提供一种基于听觉注意和多焦电生理的脑机接口系统和实现方法。

一种基于听觉注意和多焦电生理的脑机接口系统，包括听觉刺激器模块、信号采集模块、信号处理模块、执行模块；所述听觉刺激器模块用于刺激受检者产生听觉诱发电位；所述信号采集模块用于采集各个声音源诱发产生的听觉诱发电位的混合电生理信号；所述信号处理模块分离各个声音源对应的听觉反应的一阶和高阶波形，并进行特征提取和分类，解码出受检者听觉注意到的声音源；所述执行模块与信号处理模块相连，用于分类判断结果的执行。

优选地，该听觉刺激器模块能同时产生多种频率、多个声道的声音源，选择合适的算法函数，将这些声音源分布在虚拟听觉空间的不同位置；受试者通过耳机接收具有空间立体分布感的听觉刺激，可以选择性注意不同空间位置的声音源。

优选地，该信号采集模块包括用于电生理信号提取的传感器、生物微弱信号放大器、模拟信号到数字信号的转换模块；听觉反应信号的采集仅需三个皮肤电极作为传感器，地电极安装在前额正中、负电极放置在耳后乳突，正电极放置在头顶；皮肤电极提取出的混合电生理信号通过生物微弱信号放大器放大、滤波后，经过模拟/数字转换后送入信号处理模块，由信号处理模块进行进一步的分析处理。

优选地，信号处理模块将信号采集模块得到的混合电生理信号与M序列进行快速互相关计算，从而获得各个声音源对应的听觉反应信号；在同等刺激的情况下，听觉注意到的声音源对应的听觉诱发电位特征点的潜伏期和幅值等特征值有明显变化；通过判别分类模块对特征向量进行分类，解码出受检者听觉注意到的声音源。

优选地，不同的声音源代表了不同的含义,从而执行相应的操作。信号处理通过对听觉注意引起的电生理信号变化的判断，可确定听觉注意到的声音源，从而确定受试者心中所想，进而控制执行模块执行相应的动作。

一种基于听觉注意和多焦电生理的脑机接口系统的实现方法，包括以下步骤：

(1)听觉刺激器模块产生多个声音源，每个声音源频率为纯音，声音频率依次递增；选择合适的算法函数，将这些声音源分布在虚拟听觉空间的不同位置。

(2)听觉刺激器模块中采用M序列对听觉刺激器的每个声音源进行调制，控制声音源的发声：M序列为1时声音源发声，为0时不发声；每个声音源受同一M序列控制，但起始时刻不同，依次滞后相等的时间间隔；每个声音源需执行一个或多个完整的M序列循环。

(3)听觉刺激器模块通过耳机对受检者进行声音刺激，不同频率的声音源对受检者耳蜗内不同部位的听觉感受器(毛细胞)进行等量的刺激。

(4)信号采集模块通过传感器采集得到听觉反应的混合电生理信号，并进行信号放大和模拟/数字转换。

(5)信号处理模块对采集得到的混合电生理信号进行预处理，消除市电等干扰信号，然后将混合电生理信号与M序列进行快速互相关计算，获得各个声音源对应的听觉反应信号；各个声音源的听觉反应一阶和高阶信号均匀等间隔分布在M序列的循环周期中。

(6)对各个声音源的听觉反应信号进行特征值提取，通过判别分类模块对特征向量进行分类，解码出受检者听觉注意到的声音源。

(7)信号处理模块与执行模块相连；不同的声音源代表了不同的含义,信号处理模块解码出受检者听觉注意到的声音源，从而确定受试者心中所想，进而控制执行模块执行相应的动作。

而且，所述步骤(6)的具体实现步骤如下：

(1)截取各个声音源对应听觉反应的一阶和高阶波形；

(2)对各个声音源的一阶和高阶波形的特征点的潜伏期和幅值进行特征提取，获得特征向量；

(3)信号处理模块通过判别分类模块对特征向量进行分类，解码出受检者听觉注意到的声音源。

本发明的优点在于：

(1)根据人的听觉注意的电生理特点，从听觉通道的角度提出一种脑-机接口系统和实现方法，可为视功能受损的患者建立一条新的和外界交流的通道；由于听觉注意产生的听觉电生理信号的变化对人而言是普遍存在的，可以较好解决脑-机接口技术中存在的个体差异问题，同时该方法对人是无创、无损的。

(2)采用多焦电生理技术，用同一M序列控制各个声音源，刺激时间相同，只是起始时刻滞后，可以保证各个声音源对听觉系统的刺激是相等的，确保各个声音源对应的听觉反应的一阶和高阶波形的差异更多的来源于听觉注意。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为本发明脑机接口控制系统框图；

图2为听觉刺激器模块框图；

图3为听觉刺激器模块中各个声音源在M序列的起始时刻示意图；

图4为各个声音源对应听觉反应一阶和高阶波形分离的示意图；

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，下面结合附图并举实施例进一步详细说明。应当理解的是，本发明的应用不限于下述的举例，对本领域的专业人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都属于本发明所附权利要求的保护范围。

本申请涉及的一种基于听觉注意和多焦电生理的脑机接口系统如图1所示，系统100包括听觉刺激器模块101、头戴式耳机102、皮肤电极103，信号采集模块104、信号处理模块105、执行模块106。

图1中，所述听觉刺激器模块101通过头戴式耳机102对受检者进行声音刺激；所述信号采集模块104通过皮肤电极103采集声音源刺激产生的听觉诱发电位的混合电生理信号，并进行信号放大和模拟/数字信号转换；所述信号处理模块105分离各个声音源对应的听觉反应的一阶和高阶波形，并进行特征提取和分类，解码出受检者听觉注意到的声音源；所述执行模块106与信号处理模块相连，用于分类判断结果的执行。

一种基于听觉注意和多焦电生理的脑机接口系统的实现方法，包括以下步骤：

(1)图2所示为多频率、多声源的虚拟空间听觉刺激器示意图；选择合适的算法函数，由听觉刺激器模块控制耳机产生多个虚拟声音源1、2、…、N，并将声音源分布在虚拟空间的不同位置。

(2)图4所示为听觉刺激器模块通过耳机产生多个声音源，每个声音源频率为纯音，声音源1、2、…、N的声音频率依次递增；再采用M序列对听觉刺激器的每个声音源进行调制，控制声音源的发声：M序列为1时声音源发声，为0时不发声；图3说明每个声音源受同一M序列控制，但起始时刻不同，依次滞后相等的时间间隔，T_k中k＝1、2、…、N中的某一个数，T_k表示调制第k个声音源对应的M序列的起始点；每个声音源受M序列控制，需执行一个或多个完整的M序列循环。

(3)听觉刺激器通过耳机对受检者进行声音刺激，不同频率的声音源对受检者耳蜗内不同部位的听觉感受器(毛细胞)进行刺激。受试者通过耳机接收具有空间立体分布感的听觉刺激，可以选择性注意不同空间位置、不同声音频率的声音源。

(4)信号采集模块通过皮肤电极采集得到听觉反应的混合电生理信号。信号的采集仅需三个皮肤电极，地电极安装在前额正中、负电极放置在耳后乳突，正电极放置在头顶。皮肤电极提取出的混合电生理信号通过生物微弱信号放大器放大、滤波后，经过模拟/数字转换后送入信号处理模块，由信号处理模块进行进一步的分析处理。

(5)信号处理模块对采集得到的混合电生理信号进行预处理，去除市电等干扰，然后将混合电生理信号与M序列进行快速互相关计算，获得各个声音源对应的听觉反应信号,各个声音源的听觉反应一阶和高阶信号波形均匀等间隔分布在M序列的循环周期中，如图4所示。

(6)截取各个声音源对应听觉反应的一阶和高阶波形；对一阶和高阶波形的特征点的潜伏期和幅值进行特征提取，获得特征向量；信号处理模块通过判别分类模块对特征向量进行分类，解码出受检者听觉注意到的声音源。

(7)信号处理模块与执行模块相连；不同的声音源代表了不同的含义,信号处理模块解码出受检者听觉注意到的声音源，从而确定受试者心中所想，进而控制执行模块执行相应的动作。

Claims (6)

1.一种基于听觉注意和多焦电生理的脑机接口系统，其特征在于系统由听觉刺激器模块、信号采集模块、信号处理模块、执行模块四个部分构成。

2.根据权利要求1所述的一种基于听觉注意和多焦电生理的脑机接口系统，其特征在于听觉刺激器模块能同时产生多种频率、多个声道的声音源，并将其分布在虚拟听觉空间的不同位置；受试者通过耳机接收具有空间立体分布感的听觉刺激，可以选择性注意不同空间位置的声音源。

3.根据权利要求1所述的一种基于听觉注意和多焦电生理的脑机接口系统，其特征在于信号采集模块包括用于电生理信号提取的传感器、生物微弱信号放大器、模拟信号到数字信号的转换模块；皮肤电极提取出的混合电生理信号通过生物微弱信号放大器放大、滤波后，经过模拟/数字转换后送入信号处理模块。

4.根据权利要求1所述的一种基于听觉注意和多焦电生理的脑机接口系统，其特征在于信号处理模块将信号采集模块得到的混合电生理信号与M序列进行快速互相关计算，从而获得各个声音源对应的听觉反应信号；对听觉反应信号的一阶和高阶波形进行特征值提取，获得特征向量；通过判别分类模块对特征向量进行分类，解码出受检者听觉注意到的声音源。

5.根据权利要求1所述的一种基于听觉注意和多焦电生理的脑机接口系统，其特征在于执行模块与信号处理模块相连，根据信号处理模块确定听觉注意到的声音源，判断出受试者心中所想，进而控制执行模块执行相应的动作。

6.一种如权利要求1至5任一项所述的基于听觉注意和多焦电生理的脑机接口系统的实现方法，其特征在于包括以下步骤：

(1)听觉刺激器模块产生多个声音源，每个声音源频率为纯音，声音频率依次递增，并将这些声音源分布在虚拟听觉空间的不同位置。

(2)听觉刺激器模块采用M序列对听觉刺激器的每个声音源进行调制，控制声音源的发声；每个声音源受同一M序列控制，但起始时刻不同，依次滞后相等的时间间隔；每个声音源需执行一个或多个完整的M序列循环。

(3)听觉刺激器通过耳机对受检者进行声音刺激，不同频率的声音源对受检者耳蜗内不同部位的听觉感受器进行等量的刺激。

(4)信号采集模块通过传感器采集得到听觉反应的混合电生理信号，并进行信号的放大和模拟/数字转换。

(5)信号处理模块对采集得到的混合电生理信号进行预处理，然后将混合电生理信号与M序列进行快速互相关计算，获得各个声音源对应的听觉反应信号；各个声音源的听觉反应一阶和高阶信号波形均匀等间隔分布在M序列的循环周期中。

(6)对各个声音源的听觉反应信号进行特征值提取，获得特征向量，通过判别分类模块对特征向量进行分类，解码出受检者听觉注意到的声音源。

(7)信号处理模块解码出受检者听觉注意到的声音源，从而确定受试者心中所想，进而控制执行模块执行相应的动作。

根据权利要求6所述的基于听觉注意和多焦电生理的脑机接口控制系统的实现方法，其特征在于：所述步骤(6)的具体实现步骤如下：

(1)截取各个声音源对应听觉反应的一阶和高阶波形；

(2)对听觉反应的一阶和高阶波形的特征点的潜伏期和幅值进行特征值提取，获得特征向量；

(3)信号处理模块通过判别分类模块对特征向量进行分类，解码出受检者听觉注意到的声音源。