CN105411580B - 一种基于触听觉诱发电位的脑控轮椅系统 - Google Patents
一种基于触听觉诱发电位的脑控轮椅系统 Download PDFInfo
- Publication number
- CN105411580B CN105411580B CN201510708749.6A CN201510708749A CN105411580B CN 105411580 B CN105411580 B CN 105411580B CN 201510708749 A CN201510708749 A CN 201510708749A CN 105411580 B CN105411580 B CN 105411580B
- Authority
- CN
- China
- Prior art keywords
- module
- user
- tactile
- control
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Abstract
本发明提出一种基于触听觉诱发电位的脑控轮椅系统,包括:信号采集模块,采集用户的脑电信号,并进行预处理;初始化模块,对电极的电阻值进行检测,并对电极位置、最优Round数、P300分类器的参数进行设置;参数离线训练模块,获取最优电极通道和最优Round数,并对P300分类器进行训练;信号处理模块,用于提取和识别P300特征;触听觉刺激模块,向用户施加触听觉双模态随机刺激,以诱发脑电信号中的P300特征电位;控制模块,用于根据P300特征电位生成相应的控制指令,并转换为电压信号,并根据电压信号控制轮椅执行相应操作。本发明的系统原理简单、实现简便、控制精度高、能够提高系统操控效率。
Description
技术领域
本发明涉及脑机接口技术及人工智能技术领域,特别涉及一种基于触听觉诱发电位的脑控轮椅系统。
背景技术
大脑是人类神经系统的中心,负责控制人们的认知与感知、运动与协调等各种神经活动。而对于患有严重运动功能障碍而脑功能正常的患者,尽管有正常的意识活动,但他们无法与外界进行交流,处于一种“自锁”状态。此类疾病包括肌萎缩性侧索硬化、脊髓损伤、脑干中风和脑瘫,以及在病情晚期所产生的闭锁综合症等。患有类似疾病的患者不但其自身处于一种极度痛苦的状态,同样也给其家庭和社会增添了沉重的负担。目前,改善残疾人的生活状况和自理能力,提高其生活质量等问题已经得到社会各界的普遍关注。而利用智能轮椅等辅助运动器械提升患者的运动能力,帮助其实现一定程度上的自理,将会大大缓解社会医护资源不足的现状,市场潜力十分巨大。传统的智能轮椅的运动控制主要是通过控制杆或者按钮来实现的,这种方法虽然有效,但是对于运动功能衰退的人来说,操控十分困难。
BCI(Brain-Computer Interface,脑机接口)是一种新的不依赖于外周神经和肌肉参与的人机通讯系统。BCI技术可以通过检测并判别大脑信号中对应不同神经活动所体现出来的模式来识别人的意图,并可将其转换成计算机可以执行的控制指令,从而实现人脑与外界交流和环境控制。对于无法通过医疗手段完全康复的、有严重运动功能障碍疾病的患者来说,BCI技术是其当前实现与外部世界进行交流与控制的唯一途径。随着人们对大脑工作机理不断深入的研究及信号处理技术的快速发展,基于EEG(Electroencephalogram,脑电图)的无创BCI技术研究已经达到一定水平,并在准确率、可靠性以及实用化方面有了很大的提高,这为智能轮椅的脑控系统研发及其相关产品进入实际生活应用提供了重要的理论基础与技术支撑。
近年来,国内外众多BCI研究机构已经展开了脑控智能轮椅的相关研究,并取得了一批重要的研究成果。目前,该领域的研究主要集中在对由运动想象产生的感觉运动节律(Sensory Motor Rhythm,SMR)和基于视觉刺激诱发的P300特征电位信号的利用上。其中,虽然SMR-BCI方法不需要依赖外界刺激就可以实现对智能轮椅的控制,但是通常需要对使用者进行大量的训练,而且“BCI盲”的比例较大(20%-30%),很多人即使经过长时间的训练仍不能提供可以实现稳定、有效控制的脑电特征信号。此外,由于EEG信号的空间分辨率较低,通过增加运动想象任务种类来增加控制命令数是非常困难的,较为成熟有效的应用仍是只能提供左转/右转两类控制指令的智能轮椅控制方法,大大制约了系统的实用性。相比之下,基于视觉刺激的P300-BCI方法几乎不用对用户进行特殊训练便可以实现稳定快速的多目标控制,但是由于这种BCI方法通常需要用户对眼部肌肉的自主控制,这恰恰可能使其难以应用于患有严重运动功能障碍疾病,处于自锁状态的患者。另外,在智能轮椅的操控过程中,用户的视线已经被占用,很难同时注视屏幕上视觉刺激。
为了满足视觉刺激受限情况下对BCI技术的需要,学者们开始了基于听觉和触觉刺激的P300-BCI研究。虽然随着研究的深入,这两种非视觉的P300-BCI系统性能有了明显的提升,其中,Kaufmann等人更是验证了基于触觉的P300-BCI用于智能轮椅的控制的可能性,但是当前基于听觉和触觉单模态刺激的P300-BCI的准确率和速度仍难以满足智能轮椅的实际控制需要。我们人类拥有多种感知通道,用于感知和处理外部世界的信息。多模态的刺激可以诱发大脑相应感知区域的神经活动,这种现象被称之为多模态感知整合现象。由此可以推测,多模态的刺激可以同时诱发大脑相应感知区域的神经活动,进而诱发更强的P300特征电位,提升解码速度和准确率,提高系统性能。然而,至今还未发现基于听觉和触觉双模态刺激的脑控轮椅方法的相关报道。
发明内容
本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
为此,本发明的目的在于提出一种基于触听觉诱发电位的脑控轮椅系统,该系统原理简单、实现简便、控制精度高、能够提高系统操控效率。
为了实现上述目的,本发明第一方面的实施例提出了一种基于触听觉诱发电位的脑控轮椅系统,包括:信号采集模块、初始化模块、参数离线训练模块、信号处理模块、触听觉刺激模块和控制模块,其中,所述信号采集模块用于采集用户的脑电信号,并对所述脑电信号进行预处理,并将预处理后的脑电信号发送至所述信号处理模块;所述初始化模块用于对电极的电阻值进行检测,并对电极位置、最优Round数、P300分类器的参数进行设置;所述参数离线训练模块用于获取最优电极通道和最优Round数,并对P300分类器进行训练;所述信号处理模块用于对所述预处理后的脑电信号的P300特征进行提取和识别;所述触听觉刺激模块用于生成触听觉随机刺激信号,并向用户施加触听觉双模态随机刺激,以诱发所述用户的脑电信号中的P300特征电位;所述控制模块用于根据所述P300特征电位生成相应的控制指令,并将所述控制指令转换为对应的电压信号,并根据所述电压信号控制轮椅执行相应操作。
另外,根据本发明上述实施例的基于触听觉诱发电位的脑控轮椅系统还可以具有如下附加的技术特征:
在一些示例中,所述采集信号采集模块包括:脑电采集器,用于采集所述用户的脑电信号,所述脑电采集器包括可拆卸的干电极和标准32导国际10/20系统的电极帽;所述脑电放大器,用于对所述脑电信号进行放大;A/D转换器,用于对放大后的脑电信号进行模数转换。
在一些示例中,所述参数离线训练模块包括:最优电极通道选择模块,用于根据Jumpwise回归方法和所述用户的脑电数据库离线训练得到最优电极通道;P300分类器训练模块,用于采用贝叶斯线性判别分析方法或步进线性判别分析方法或支持向量机对P300分类器进行训练;最优Round选择模块,用于采用留一法交叉检验的方法绘制信息传输率曲线,并将所述信息传输率的最大值所对应的Round数选择为最优Round数。
在一些示例中,所述信号处理模块用于对所述预处理后的脑电信号进行带通滤波后,根据P300成分在时域上的特征,通过截取每个随机刺激事件发生后预设时间的脑电信号的方式进行特征提取,并计算所述每个随机刺激事件对应的特征向量,并计算所述特征向量对应的特征值,并计算所述特征值的平均值,并根据所述平均值得到相应指令对应的特征值。
在一些示例中,所述触听觉刺激模块用于在同一方向上同时向所述用户施加触听觉双模态随机刺激。
在一些示例中,所述触听觉刺激模块包括:随机编码生成模块、触觉刺激模块和听觉刺激模块,其中,所述随机编码生成模块用于随机生成第一至第四随机刺激编码之一,并将所述第一至第四随机刺激编码之一同时发送至所述触觉刺激模块和听觉刺激模块;所述触觉刺激模块和听觉刺激模块用于根据所述第一至第四随机刺激编码在四个预设方向向用户发送相应的刺激信号,其中,所述四个预设方向分别为所述用户的左侧、所述用户的前方、所述用户的右侧及所述用户的后方。
在一些示例中,所述听觉刺激模块为耳机或耳麦,用于播放特定声音文件以在四个预设方向向所述用户发送相应的声音刺激信号,其中,所述声音文件采用声音的头外定位技术实现,所述声音文件包括男声声音文件和女声声音文件。
在一些示例中,所述触觉刺激模块包括纽扣电机和电机控制器,其中,所述纽扣电机用于产生振动刺激信号,并在四个预设方向向所述用户发送振动刺激信号;所述电机控制器用于调控所述电机振动的脉冲宽度。
在一些示例中,所述控制器用于接收一组平均P300特征值,并将所述平均P300特征值的最大值所对应的方向代表的指令设定为当前轮椅的控制指令,其中,所述当前轮椅的控制指令所对应的当前速度或当前角度采用对侧P300特征值相减的方法计算求得,其中,所述控制模块还用于判断所述当前角度的取值是否在预设范围之内,并在所述当前角度的取值不在预设范围之内时将当前的角度作为角度最大值,并判断所述当前速度是否大于速度最大值,并在所述当前速度大于速度最大值时将所述当前速度作为速度最大值,以及在所述当前速度小于速度最大值时发送停止指令。
在一些示例中,所述控制指令包括:左转、加速、右转和减速。
根据本发明实施例的基于触听觉诱发电位的脑控轮椅系统,具有如下的优点:
1、通过本发明实施例的系统,大多数用户在不经过大量训练的情况下均可以实现对智能轮椅的意念控制,便于用户快速入门使用,普适性高。
2、通过本发明实施例的系统,在操作智能轮椅时,用户完全不需要依靠任何实际动作,便于处于完全“自锁”状态的残疾人的使用。
3、通过本发明实施例的系统,用户可以实现轮椅的左转、右转和加速、减速控制,进一步增强了脑控轮椅的实用性。
4、本发明实施例的系统基于触听觉双模态随机刺激机制,不但可以有效提高系统通信效率,而且完全不占用用户的视觉通道,便于用户在轮椅操控过程中对所处环境的观察。
5、本发明的实施例采用了EEG通道最优选择方法,并将通道数降低到了最优数量,便于缩短系统准备时间,降低设备成本。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明一个实施例的基于触听觉诱发电位的脑控轮椅系统的结构框图;
图2是本发明另一个实施例的基于触听觉诱发电位的脑控轮椅系统的整体框图;
图3是本发明一个实施例的基于触听觉诱发电位的脑控轮椅系统在具体实施过程中的触听觉刺激示意图;
图4是根据本发明一个实施例的控制模块解码过程的逻辑图;
图5是本发明一个实施例的基于触听觉诱发电位的脑控轮椅系统的具体工作原理示意图;
图6是本发明一个实施例的基于触听觉诱发电位的脑控轮椅系统在具体实施过程中一段操控过程中的时序图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
以下结合附图描述根据本发明实施例的基于触听觉诱发电位的脑控轮椅系统。
图1是根据本发明一个实施例的基于触听觉诱发电位的脑控轮椅系统。如图1所示,该基于触听觉诱发电位的脑控轮椅系统100包括:信号采集模块110、初始化模块120、参数离线训练模块130、信号处理模块140、触听觉刺激模块150和控制模块160。
其中,信号采集模块110用于采集用户的脑电信号,并对脑电信号进行预处理,并将预处理后的脑电信号发送至信号处理模块140。
在本发明的一个实施例中,结合图2所示,信号采集模块110例如包括脑电采集器111、脑电放大器112和A/D转换器113。具体地说,脑电采集器111用于采集用户的脑电信号,脑电采集器111包括可拆卸的干电极和标准32导国际10/20系统的电极帽。电放大器112用于对脑电信号进行放大。A/D转换器113用于对放大后的脑电信号进行模数转换。需要说明的是,在系统参数离线训练阶段,所述电极帽上安装全部32导干电极;在轮椅的正式操控过程中,只需保留经过离线训练得到的最优8导电极即可。在一些示例中,干电极、脑电放大器112和A/D转换器123例如可一起集成在电极帽上,并采用无线传输方式将采集的EEG信号传入信号处理模块140,以进行信号处理。
初始化模块120用于对电极的电阻值进行检测,并对电极位置、最优Round数、P300分类器的参数进行设置。
在一些示例中,结合图2所示,初始化模块120例如包括阻抗检测模块121和参数配置模块122,阻抗检测模块121用于进行电极电阻值的检测,参数配置模块122用于进行电极位置、最优Round数、P300分类器等参数的设置。更为具体地,阻抗检测模块121例如通过检测电极阻抗来检验各电极与用户头部是否接触良好。参数配置模块122主要用于导入由离线训练得到的最优电极位置、P300分类器、最优Round数等参数。其中,上述的参数采用载入配置文件的方式自动导入。初始化后,系统退出所述初始化模块120的执行程序。
参数离线训练模块130用于获取最优电极通道和最优Round数,并对P300分类器进行训练,其目的在于为P300特征电位的在线信号处理提供必要参数。
在本发明的一个实施例中,结合图2所示,所述参数离线训练模块130例如包括:最优电极通道选择模块131、P300分类器训练模块132和最优Round选择模块133。
其中,最优电极通道选择模块131用于根据Jumpwise回归方法和用户的脑电数据库离线训练得到最优电极通道。Jumpwise回归方法是一种步进的启发式回归算法。该算法的通道选择过程起始于空通道子集,并在每次程序循环过程中添加或者移除一个通道,直至获得所需通道个数。通道的添加和删除通过F检验计算得到的P值判定。
P300分类器训练模块132采用贝叶斯线性判别分析方法或步进线性判别分析方法或支持向量机对P300分类器进行训练。
最优Round选择模块133用于采用留一法(block级)交叉检验的方法绘制信息传输率曲线,并将信息传输率的最大值所对应的Round数选择为最优Round数。此外,Round的最小值需满足其所对应的目标识别准确率高于70%,最大值需不大于Kmax次,以保证系统的可控性和实时性。
信号处理模块140用于对预处理后的脑电信号的P300特征进行提取和识别。
在本发明的一个实施例中,结合图2所示,信号处理模块140例如包括带通滤波、P300特征提取和分类识别三部分,用以对EEG信号的P300特征进行提取和分类识别。具体地说,信号处理模块140例如用于对预处理后的脑电信号进行带通滤波后,根据P300成分在时域上的特征,通过截取每个随机刺激事件发生后预设时间的脑电信号的方式进行特征提取,并计算每个随机刺激事件对应的特征向量,并通过参数设置模块导入的分类器模板计算特征向量对应的特征值,然后按码字分别计算特征值的平均值,并根据平均值得到相应指令对应的特征值。
作为具体的示例,为了减轻信号中噪声的干扰,首先采用0.1-45Hz的带通滤波器对所得到的EEG数据进行滤波处理;然后截取每个刺激开始时刻之后预设时间(如0-800ms)的EEG数据,提取P300的特征信息;由于P300特征信息处于低频段,为了提供信号处理的实时性,将所得到的数据进行降采样处理(如由250Hz降采样至25Hz);最后,利用离线训练得到的P300分类器计算P300特征响应得分,具体计算公式如下:
scoreik=WTXik,
其中,i和k分别表示刺激编码和Round数,W是一个列向量,代表了P300分类器。在计算得分之前,每个数据段将会被变换为一个与W具有相同长度的行向量X。此外,通过计算相同刺激编码得分的平均值,可得到每个刺激编码所对应的P300响应值:
其中,K表示当前Round的总数。最后,当前目标被判定为得分最大的刺激编码所对应的选项,可表示为:
触听觉刺激模块150用于生成触听觉随机刺激信号,并向用户施加触听觉双模态随机刺激,以诱发用户的脑电信号中的P300特征电位。更为具体地,触听觉刺激模块150用于在同一方向上同时向用户施加触听觉双模态随机刺激。
在本发明的一个实施例中,结合图2所示,触听觉刺激模块150例如包括:随机编码生成模块151、触觉刺激模块152和听觉刺激模块153。
其中,随机编码生成模块151用于随机生成第一至第四随机刺激编码之一,并将第一至第四随机刺激编码之一同时发送至触觉刺激模块152和听觉刺激模块153。触觉刺激模块152和听觉刺激模块153用于根据第一至第四随机刺激编码在四个预设方向向用户发送相应的刺激信号,其中,四个预设方向分别为用户的左侧、用户的前方、用户的右侧及用户的后方。进一步地,听觉刺激模块152例如为耳机或耳麦,用于播放特定声音文件以在四个预设方向向所述用户发送相应的声音刺激信号,其中,声音文件例如采用声音的头外定位技术实现,声音文件包括男声声音文件和女声声音文件。触觉刺激模块153例如包括纽扣电机和电机控制器,其中,纽扣电机用于产生振动刺激信号,并在四个预设方向向用户发送振动刺激信号;电机控制器用于调控纽扣电机振动的脉冲宽度。
作为具体的示例,由于本发明实施例中的BCI系统所采用的刺激范式与系统输出反馈完全不需要用户的视觉交互,因此属于非视觉BCI方法。具体地说,随机编码生成模块151用于随机生成第一至第四随机刺激编码其中之一(分别代表“左转”、“加速”、“右转”和“减速”4个控制指令),并同时发送到触觉刺激模块152和听觉刺激模块153,进而保证听觉和触觉随机刺激的时间同步性。如图3所示,本发明实施例的触听觉刺激模块150通过在同一方向上同时施加听觉和触觉随机刺激的方式,是一种方向一致的双模态刺激范式。其中,听觉刺激模块151例如采用耳机或耳麦播放特定的声音文件实现。该声音文件采用声音的头外定位技术实现,分别模拟源自用户左、前、右、后四个方位的声音;各个方向的声音内容与方向对应,依次为“左”、“前”、“右”、“后”。每个方向分别对应男声和女声两个声音文件,并采用随机编排的方式播放。在系统操控过程中,用户需要心里默念来自目标方向的声音性别(即男/女)。研究表明用户在执行这种主动认知任务过程中,P300特征电位的晚期成分将会明显增强,进而达到提高准确率的目的。本发明实施例的触觉刺激模块153例如由纽扣电机和电机控制器两部分组成。该纽扣电机的结构和强度例如与手机中实现振动功能电机的相似(如Parallex Inc.公司生产的Model 28821-ND)。在之前大量的试验性研究中均发现,采用两个纽扣电机成对组成一个触觉刺激模块153,并用于表示单个目标的方式可以有效提高用户对触觉刺激的敏感度。因此,在本发明实施例的触觉刺激模块153中,8个电机两两组合,分别用医用胶带黏贴在用户腰部与听觉刺激相对应的4个方向上,每个方向上的两个电机之间距离例如为1cm。电机控制器用于调控纽扣电机振动的脉冲宽度。其中,高档代表刺激状态“ON”,振动能量为100%;低档代表非刺激状态“OFF”,振动能量为15%。这种能量高低档的设置还可以大大效缩短由于电机机械原因所引起的时间延迟(即触觉刺激由“OFF”状态到达用户体感阈值,可以被感知到的时间)。
控制模块160用于根据P300特征电位生成相应的控制指令,并将控制指令转换为对应的电压信号,并根据电压信号控制轮椅执行相应操作。更为具体地,控制模块160用于接收一组平均P300特征值,并将平均P300特征值的最大值所对应的方向代表的指令设定为当前轮椅的控制指令,其中,当前轮椅的控制指令所对应的当前速度或当前角度采用对侧P300特征值相减的方法计算求得,其中,控制模块160还用于判断当前角度的取值是否在预设范围之内,并在当前角度的取值不在预设范围之内时将当前的角度作为角度最大值,并判断当前速度是否大于速度最大值,并在当前速度大于速度最大值时将当前速度作为速度最大值,以及在当前速度小于速度最大值时发送停止指令。其中,控制指令例如包括:左转、加速、右转和减速。
作为具体的示例,例如图4所示,对本发明一个实施例的控制模块160的解码过程进行了直观的展示,其具体实现步骤如下:
步骤1:控制模块160接收信号处理结果,例如为一组P300平均特征值(X={x1,x2,x3,x4})。
步骤2:通过比较计算出Max(X)所对应的特征值,进而得出其所对应的命令。具体情形如下:
(a)当Max(X)=x1时,表明当前指令为“左转”。系统进一步根据P300特征值计算左转的具体角度。其中,角度的变化量的表示公式如下:
D′=p×(x1-x3),
其中,D′为角度的变化量,p为常数。如果经变化后的左转角度大于角度最大值,当前角度等于角度最大值(Dn=Dmax);反之,为Dn=D+D′。
(b)当Max(X)=x3时,表明当前指令为“右转”。系统进一步根据P300特征值计算右转的具体角度。其中,角度的变化量的表示公式如下:
D′=p×(x3-x1),
其中,D′为角度的变化量,p为常数。如果经变化后的左转角度大于角度最大值,当前角度等于角度最大值(Dn=Dmax);反之,为Dn=D+D′。
(c)当Max(X)=x2时,表明当前指令为“加速”。系统进一步根据P300特征值计算当前的速度。其中,增加的速度可表示为:
S′=q×(x2-x4),
其中,S′为增加的速度,q为常数。如果经变化后的速度值大于系统限定速度的最大值,当前速度等于速度最大值(Sn=Smax);反之,为Sn=S+S′。
(d)当Max(X)=x4时,表明当前指令为“减速”。系统进一步根据P300特征值计算当前的速度。其中,减少的速度值可表示为:
S′=q×(x4-x2),
其中,S′为减少的速度,q为常数。如果经变化后的速度值小于系统限定速度的最小值,当前指令为“停止”(Sn=0);反之,为Sn=S-S′。
步骤3:控制模块160将所得的控制指令转化成电压信号,发送至智能轮椅以控制智能轮椅执行相应操作。
作为具体的示例,本发明实施例的基于触听觉诱发电位的脑控轮椅系统100的具体工作原理例如图5所示。如图5所示,本发明实施例的基于触听觉诱发电位的脑控轮椅系统100的应用过程主要分为初始化、离线训练和在线控制三部分。具体工作流程如下:
步骤S1:系统操控开始后,首先需进行初始化操作:启动阻抗检测模块121,检查所有电极的阻抗值,并通过用户闭眼的方式检测α波,以确保所采集的EEG信号没有被噪声污染,如果有电极阻抗大于5kΩ,将对相应的电极重新进行调整,直至所有电极阻抗满足要求;退出阻抗检测模块121,启动参数配置模块122,载入系统预置参数。初始化后,退出参数配置模块122。
步骤S2:当进入离线实验阶段后,系统提示用户需要关注的方向,用户等待提示方向上触听觉刺激的发生。之后,系统在用户周围4个方向上施加随机触听觉刺激,其中,同一方向上的双模态刺激同时触发。在此过程中,用户感受提示方向上的触觉刺激,并默念提示方向上的随机听觉刺激的性别。
步骤S3:判断离线数据是否足够。如果足够,进入步骤S4;反之,返回步骤S2,继续进行离线数据采集。
步骤S4:基于交叉检验法训练离线数据,求得最优EEG通道、随机刺激循环次数(最优Round数)和P300分类器,并保存于一个可配置文件中。
步骤S5:进入智能轮椅的在线控制阶段,参数配置模块122导入由离线训练得到的参数,其中,参数采用载入配置文件的方式自动导入。
步骤S6:系统在用户周围4个方向上施加随机触听觉刺激,其中,同一方向上的双模态刺激同时发生。在此过程中,用户感受想要输出的指令所对应方向上的触觉刺激,并默念该方向上的随机听觉刺激的性别。
步骤S7:控制模块160将P300信号处理结果转换成计算机可以执行的指令,并其转化成电压信号,发送至智能轮椅以执行相应操作。
进一步地,例如图6所示,展示了本发明在具体应用时一段操控过程中的时序图。如图6所示,每个Round表示各方向上随机触听觉刺激发生一次,其中,一个指令由n个Round组成,n的大小通过离线训练得到。为了提高系统控制的连续性,本发明的实施例采用了离散滑动窗口的方法对用户的控制意图解码,每个控制指令通过对用户前n个Round的EEG信号处理识别得到,连续的两个控制指令之间相差一个Round。
综上,根据本发明实施例的基于触听觉诱发电位的脑控轮椅系统,具有如下的优点:
1、通过本发明实施例的系统,大多数用户在不经过大量训练的情况下均可以实现对智能轮椅的意念控制,便于用户快速入门使用,普适性高。
2、通过本发明实施例的系统,在操作智能轮椅时,用户完全不需要依靠任何实际动作,便于处于完全“自锁”状态的残疾人的使用。
3、通过本发明实施例的系统,用户可以实现轮椅的左转、右转和加速、减速控制,进一步增强了脑控轮椅的实用性。
4、本发明实施例的系统基于触听觉双模态随机刺激机制,不但可以有效提高系统通信效率,而且完全不占用用户的视觉通道,便于用户在轮椅操控过程中对所处环境的观察。
5、本发明的实施例采用了EEG通道最优选择方法,并将通道数降低到了最优数量,便于缩短系统准备时间,降低设备成本。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种基于触听觉诱发电位的脑控轮椅系统,其特征在于,包括:信号采集模块、初始化模块、参数离线训练模块、信号处理模块、触听觉刺激模块和控制模块,其中,
所述信号采集模块用于采集用户的脑电信号,并对所述脑电信号进行预处理,并将预处理后的脑电信号发送至所述信号处理模块;
所述初始化模块用于对电极的电阻值进行检测,并对电极位置、最优Round数、P300分类器的参数进行设置,其中,所述参数离线训练模块包括:
最优电极通道选择模块,用于根据Jumpwise回归方法和所述用户的脑电数据库离线训练得到最优电极通道;
P300分类器训练模块,用于采用贝叶斯线性判别分析方法或步进线性判别分析方法或支持向量机对P300分类器进行训练;
最优Round选择模块,用于采用留一法交叉检验的方法绘制信息传输率曲线,并将所述信息传输率的最大值所对应的Round数选择为最优Round数;
所述参数离线训练模块用于获取最优电极通道和最优Round数,并对P300分类器进行训练;
所述信号处理模块用于对所述预处理后的脑电信号的P300特征进行提取和识别;
所述触听觉刺激模块用于生成触听觉随机刺激信号,并向用户施加触听觉双模态随机刺激,以诱发所述用户的脑电信号中的P300特征电位;
所述控制模块用于根据所述P300特征电位生成相应的控制指令,并将所述控制指令转换为对应的电压信号,并根据所述电压信号控制轮椅执行相应操作。
2.根据权利要求1所述的基于触听觉诱发电位的脑控轮椅系统,其特征在于,所述采集信号采集模块包括:
脑电采集器,用于采集所述用户的脑电信号,所述脑电采集器包括可拆卸的干电极和标准32导国际10/20系统的电极帽;
所述脑电放大器,用于对所述脑电信号进行放大;
A/D转换器,用于对放大后的脑电信号进行模数转换。
3.根据权利要求1所述的基于触听觉诱发电位的脑控轮椅系统,其特征在于,所述信号处理模块用于对所述预处理后的脑电信号进行带通滤波后,根据P300成分在时域上的特征,通过截取每个随机刺激事件发生后预设时间的脑电信号的方式进行特征提取,并计算所述每个随机刺激事件对应的特征向量,并计算所述特征向量对应的特征值,并计算所述特征值的平均值,并根据所述平均值得到相应指令对应的特征值。
4.根据权利要求1所述的基于触听觉诱发电位的脑控轮椅系统,其特征在于,所述触听觉刺激模块用于在同一方向上同时向所述用户施加触听觉双模态随机刺激。
5.根据权利要求4所述的基于触听觉诱发电位的脑控轮椅系统,其特征在于,所述触听觉刺激模块包括:随机编码生成模块、触觉刺激模块和听觉刺激模块,其中,
所述随机编码生成模块用于随机生成第一至第四随机刺激编码之一,并将所述第一至第四随机刺激编码之一同时发送至所述触觉刺激模块和听觉刺激模块;
所述触觉刺激模块和听觉刺激模块用于根据所述第一至第四随机刺激编码在四个预设方向向用户发送相应的刺激信号,其中,所述四个预设方向分别为所述用户的左侧、所述用户的前方、所述用户的右侧及所述用户的后方。
6.根据权利要求5所述的基于触听觉诱发电位的脑控轮椅系统,其特征在于,所述听觉刺激模块为耳机或耳麦,用于播放特定声音文件以在四个预设方向向所述用户发送相应的声音刺激信号,其中,所述声音文件采用声音的头外定位技术实现,所述声音文件包括男声声音文件和女声声音文件。
7.根据权利要求5所述的基于触听觉诱发电位的脑控轮椅系统,其特征在于,所述触觉刺激模块包括纽扣电机和电机控制器,其中,
所述纽扣电机用于产生振动刺激信号,并在四个预设方向向所述用户发送振动刺激信号;
所述电机控制器用于调控所述纽扣电机振动的脉冲宽度。
8.根据权利要求1所述的基于触听觉诱发电位的脑控轮椅系统,其特征在于,所述控制模块用于接收一组平均P300特征值,并将所述平均P300特征值的最大值所对应的方向代表的指令设定为当前轮椅的控制指令,其中,所述当前轮椅的控制指令所对应的当前速度或当前角度采用对侧P300特征值相减的方法计算求得,其中,所述控制模块还用于判断所述当前角度的取值是否在预设范围之内,并在所述当前角度的取值不在预设范围之内时将当前的角度作为角度最大值,并判断所述当前速度是否大于速度最大值,并在所述当前速度大于速度最大值时将所述当前速度作为速度最大值,以及在所述当前速度小于速度最大值时发送停止指令。
9.根据权利要求8所述的所述的基于触听觉诱发电位的脑控轮椅系统,其特征在于,所述控制指令包括:左转、加速、右转和减速。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510708749.6A CN105411580B (zh) | 2015-10-27 | 2015-10-27 | 一种基于触听觉诱发电位的脑控轮椅系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510708749.6A CN105411580B (zh) | 2015-10-27 | 2015-10-27 | 一种基于触听觉诱发电位的脑控轮椅系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105411580A CN105411580A (zh) | 2016-03-23 |
CN105411580B true CN105411580B (zh) | 2018-05-11 |
Family
ID=55490470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510708749.6A Active CN105411580B (zh) | 2015-10-27 | 2015-10-27 | 一种基于触听觉诱发电位的脑控轮椅系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105411580B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106618561A (zh) * | 2016-12-27 | 2017-05-10 | 深圳职业技术学院 | 残障人士运动状态下脑电信号的高鲁棒解析方法 |
CN106873780A (zh) * | 2017-03-06 | 2017-06-20 | 广东工业大学 | 一种全息脑控机器人系统 |
CN107066091A (zh) * | 2017-03-17 | 2017-08-18 | 中国人民解放军国防科学技术大学 | 一种脑机接口p300信号特征体感诱发装置及其应用方法 |
CN108919947B (zh) * | 2018-06-20 | 2021-01-29 | 北京航空航天大学 | 一种通过视觉诱发电位来实现的脑机接口系统及方法 |
CN109656365B (zh) * | 2018-12-19 | 2021-03-30 | 东南大学 | 一种基于实时闭环振动刺激增强的脑机接口方法及系统 |
CN111576539B (zh) * | 2020-04-30 | 2022-07-29 | 三一重机有限公司 | 挖掘机控制方法、装置、计算机设备和可读存储介质 |
CN112244774A (zh) * | 2020-10-19 | 2021-01-22 | 西安臻泰智能科技有限公司 | 脑机接口康复训练系统及方法 |
CN117034078A (zh) * | 2023-08-07 | 2023-11-10 | 上海韶脑传感技术有限公司 | 脑电信号解码方法、装置、上位机及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004275619A (ja) * | 2003-03-19 | 2004-10-07 | Kumamoto Technology & Industry Foundation | 画像刺激−脳波意思伝達方法、及びそれに用いるシステム |
CN102309380A (zh) * | 2011-09-13 | 2012-01-11 | 华南理工大学 | 基于多模态脑机接口的智能轮椅 |
CN102509103A (zh) * | 2011-09-29 | 2012-06-20 | 天津大学 | 基于视觉诱发p3脑电的身份识别 |
CN104921723A (zh) * | 2015-05-15 | 2015-09-23 | 华南理工大学 | 一种基于多模态脑机接口的意识状态检测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9058473B2 (en) * | 2007-08-29 | 2015-06-16 | International Business Machines Corporation | User authentication via evoked potential in electroencephalographic signals |
KR20110072730A (ko) * | 2009-12-23 | 2011-06-29 | 한국과학기술원 | 적응형 뇌-컴퓨터 인터페이스 장치 |
-
2015
- 2015-10-27 CN CN201510708749.6A patent/CN105411580B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004275619A (ja) * | 2003-03-19 | 2004-10-07 | Kumamoto Technology & Industry Foundation | 画像刺激−脳波意思伝達方法、及びそれに用いるシステム |
CN102309380A (zh) * | 2011-09-13 | 2012-01-11 | 华南理工大学 | 基于多模态脑机接口的智能轮椅 |
CN102509103A (zh) * | 2011-09-29 | 2012-06-20 | 天津大学 | 基于视觉诱发p3脑电的身份识别 |
CN104921723A (zh) * | 2015-05-15 | 2015-09-23 | 华南理工大学 | 一种基于多模态脑机接口的意识状态检测方法 |
Non-Patent Citations (1)
Title |
---|
基于P300和SSVEP的高性能脑机接口及其应用研究;潘家辉;《CNKI中国优秀博士毕业论文全文数据库(电子期刊)信息科技辑》;20141231(第12期);I137-6 * |
Also Published As
Publication number | Publication date |
---|---|
CN105411580A (zh) | 2016-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105411580B (zh) | 一种基于触听觉诱发电位的脑控轮椅系统 | |
Yu et al. | Enhanced motor imagery training using a hybrid BCI with feedback | |
CN205612470U (zh) | 穿戴式生理检测装置 | |
Vaughan et al. | The wadsworth BCI research and development program: at home with BCI | |
CN103793058B (zh) | 一种主动式脑机交互系统运动想象任务分类方法及装置 | |
CN203043423U (zh) | 一种基于脑机接口的康复训练装置 | |
CN101464729B (zh) | 基于听觉认知神经信号的自主意愿表达方法 | |
CN104665788B (zh) | 穿戴式生理检测装置 | |
CN106214391B (zh) | 基于脑机接口的智能护理床及其控制方法 | |
JP6942120B2 (ja) | 支援技術を制御するためのシステムおよびその方法 | |
CN101464728B (zh) | 视觉运动相关神经信号为载体的人机交互方法 | |
CN104951082B (zh) | 一种利用随机共振增强脑电信号的脑机接口方法 | |
CN105833411A (zh) | 一种新型智能助眠和自然唤醒的方法及装置 | |
CN103955269A (zh) | 一种基于虚拟现实环境的智能眼镜脑-机接口方法 | |
Nielsen et al. | EEG based BCI-towards a better control. Brain-computer interface research at Aalborg University | |
CN107802262A (zh) | 一种脑电结合vr用于儿童多动注意缺陷干预治疗的装置 | |
CN110993056A (zh) | 基于镜像神经元和脑机接口的混合式主动康复方法、装置 | |
CN112244774A (zh) | 脑机接口康复训练系统及方法 | |
CN106095086B (zh) | 一种基于无创电刺激的运动想象脑机接口控制方法 | |
Achanccaray et al. | Visual-electrotactile stimulation feedback to improve immersive brain-computer interface based on hand motor imagery | |
CN113040791A (zh) | 振动触发设备、手指抬起装置及触感手指运动康复系统 | |
CN106901751A (zh) | 一种基于大脑血红蛋白信息的运动速度状态的识别方法 | |
CN114021604A (zh) | 一种基于3d虚拟现实技术实时反馈的运动想象训练系统 | |
CN104665827B (zh) | 穿戴式生理检测装置 | |
CN205988477U (zh) | 身心康复反馈训练装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |