CN103543836A - 基于脑机接口全自动控制网页浏览方法 - Google Patents

Abstract

本发明公开了一种基于脑机接口全自动控制网页浏览方法。本方法利用P300脑电电位控制想要在浏览器中观看的新闻位置，利用眨眼检测对将要打开的新闻进行确认，在新闻位置得到确认后，进入新闻内容界面，阅读相关详细内容时利用SSVEP作为信号检测的指标，对新闻进行上翻，下翻以及返回操作，对感兴趣的新闻进行详细浏览，返回新闻列表页面以及退出浏览器。本发明的优点是，操作简单，适用范围广，并为残障人士提供浏览互联网信息的机会，可在由于外界或自身因素无法移动身体或计算机鼠标情况下使用。

Description

基于脑机接口全自动控制网页浏览方法

技术领域

本发明涉及一种基于脑机接口全自动控制网页浏览方法。 

背景技术

现实生活中有不少运动功能缺失的残障人士，其中的全身瘫痪者，虽已丧失了通过语言或肢体与外界沟通的能力，但有完整的意识。因此如何提高他们的生活质量已成为被广泛关注的问题。在无法修复这类损伤的情况下，“脑-计算机接口(Brain-Computer Interface，BCI)”是一种不依赖于正常的由外围神经和肌肉组成的输出通路的通讯系统，是一种全新的人-机交互系统，它可以把大脑发出的信息直接转换成能够驱动外部设备的命令，并代替人的肢体或语言器官实现人与外界的交流以及对外部环境的控制。这对患有严重肢体障碍而丧失活动能力的患者(如脑干中风、肌萎缩性侧索硬化等)的辅助治疗和语言功能、行为能力的恢复，对特殊环境中外部设备的控制，甚至对娱乐方式的改进都具有非常重要的意义。 

目前脑机接口技术存在着侵入式与非侵入式两大类。侵入式脑机接口直接植入到大脑的灰质，因而所获取的神经信号的质量比较高，易于分析处理，但需要对使用者进行开颅手术，容易对使用者的脑部造成感染或损伤，危险性较大。非侵入式脑机接口方便佩戴于人体，虽然其获取的脑信号噪声大，但相对容易获取，不会对使用者脑部造成伤害。基于脑磁图(MEG)、功能核磁共振成像(fMRI)以及脑电图(EEG)都已成功实现非侵入式脑机接口。事件相关电位 (event-related potential，ERP)是一项基于脑电图技术的特殊的脑诱发电位，通过有意地赋予刺激以特殊的心理意义，利用多个或多样的刺激所引起的脑的电位。这种电位可以被颅外记录，并凭借滤波和信号叠加技术，从脑电信号中被提取出来。 

使用基于事件相关电位的脑机接口技术进行因特网浏览器的开发为我们提供了另一种与外界交流的途径，它无需经过常规的神经肌肉控制，在一些特殊情况下(如飞行员、宇航员等)提供了另一种输出的方法。同时在我们生活中存在着一部分肢体障碍而丧失活动能力的患者，仍具有完整的意识，无法通过正常的神经传导、肌肉运动与外界环境进行信息交流。互联网作为当今人类最开阔的信息交流平台，如果能够让这一类人群参与其中，将会从很大程度上改善他们的生活质量。不仅让残疾人体会到技术创新带来的乐趣，方便残疾人生活，而且能够找到自己适合的工作，发挥自身价值，融入社会。 

因此，需要发明一种可实现连续控制，并且容易使用，学习时间短的基于脑机接口控制的因特网浏览器。 

发明内容

为了克服上述的不足，本发明提供一种基于事件相关电位技术的脑电波控制浏览器，可使用脑电信号控制浏览器。涉及的具体内容如下： 

本发明所采用的技术如下：一种基于脑机接口全自动控制网页浏览方法，如下： 

(1)创建适合脑控的自主脑控浏览器：脑控浏览器所显示的内 容自动抓取自所要浏览的网页源码，将广告信息过滤掉并整合当前时间、当前浏览的网站名称、当前网站首页所对应的新闻总条数和每条新闻的标题、摘要与正文并显示除新闻正文外的所有内容而得来的，脑控浏览器每次抓取新闻后会将副本保存到本地，能够离线使用； 

(2)脑控浏览器系统的组成：脑控浏览器系统分为三个子模块，分别为脑电信号采集模块、脑电信号处理模块和脑控浏览器界面模块；脑电信号采集模块、脑电信号处理模块、脑控浏览器界面模块依次连接； 

脑电采集模块负责采集用户的脑电信号；脑电信号处理模块负责对采集到的脑电信号进行分析，从中解析出控制命令，并对脑控浏览器界面进行控制；脑控浏览器界面模块用来呈现网页内容； 

(3)脑控浏览器系统的初始化 

脑电信号采集模块的初始化：脑电信号采集模块包括采集脑电信号的电极帽，连接好电极帽，使用者带上电极帽后调整其位置，使电极帽中所有电极均处在国际10-20系统的标准电极位置，然后在指定的需要获取脑电信号的位置打入导电膏并确定导电性良好； 

脑电信号处理模块和脑控浏览器界面模块的初始化：打开脑控浏览器界面抓取最新的实时新闻，将浏览器界面与信号处理模块配置完善，测试两个模块之间通信正常，证明初始化完毕； 

(4)选取想要浏览的新闻： 

浏览器的每个界面每次呈现三条新闻，通过上翻、下翻浏览更多新闻；上翻、下翻按钮为不同频率闪烁的方块，用户通过注视闪烁的 方块，产生不同频率的稳态视觉诱发电位(SSVEP)，脑电信号处理模块根据检测出的频率，控制脑控浏览器界面进行上翻、下翻从而获取新的新闻内容，找到感兴趣的新闻内容后，通过眨眼进行确认进入P300电位信号检测模式； 

P300电位信号的检测采用面向浏览内容的多个刺激按钮单个轮流刺激诱发方法(BSCF)，用户只需注视想要浏览的新闻链接，并在链接改变闪烁颜色时默数，此时脑电采集模块将采集到的脑电信号传送给脑电信号处理模块，脑电信号处理模块根据识别出的P300电位成分，得出被试想要观看的新闻位置； 

(5)新闻位置正误判断：待P300电位的新闻位置确定后，脑控浏览器系统对将要打开的信息进行提示，被试对提示信息进行判断，打开的新闻确实是被试所感兴趣的内容则利用眨眼检测进入新闻页面，继续步骤(6)，否则被试忽略提示重新进入步骤(4)； 

(6)新闻阅读：新闻阅读过程中的上翻、下翻、返回的实现方法与(4)相同，在浏览器界面布局中，右上为上翻，右下为下翻，左上为返回，三个控制键被赋予了不同的频率，用户通过注视不同频率的闪烁方块，来对浏览的新闻内容进行上翻、下翻操作，浏览结束后返回新闻摘要界面； 

(7)返回新闻摘要界面：步骤(6)中阅读完新闻后，返回新闻摘要界面需脑电信号处理模块使用(4)的方法进行相应频率的检测，并发出控制指令，此处仍采用(5)步骤的眨眼方法进行信息确认，确认后返回新闻摘要界面，若关闭脑控浏览器不再阅读，此时界面的 返回频率窗口相当于关闭功能，用来关闭脑控浏览器界面。 

本发明具有如下优点： 

1.精炼提取了浏览器的浏览模式，使用(列表／内容)构架实现了浏览器的主要功能，浏览模式更加简化，信息呈现更加简捷，使浏览器更加适合在脑机接口技术下使用； 

2.针对脑控浏览器实际问题提出的BSCF(即Browser SCF)范式，使P300的诱发更有效。同时保证了界面的美观和适合浏览阅读； 

3.用于按钮控制的SSVEP，单次检测时间仅需2秒，提高了按钮点击的效率和实时性； 

附图说明

图1为脑控浏览器的控制示意图； 

图2为脑控浏览器系统的组成模块； 

图3为滤波前后EEG信号的比较图； 

图4为标题浏览界面示意图； 

图5为内容浏览界面示意图； 

其中1、退出浏览器按钮；2上翻按钮；3下翻按钮；4、返回上一页按钮。 

具体实施方式

实施例1 

以下是结合附图对本发明脑控浏览器的具体说明： 

(1)准备工作：使用者按照标准的10-20系统电极位置带好发带或电极帽，确保FP1、FP2、Cz、Oz四个电极处于接通状态(对于发带，确保干电极与头皮接触良好；对于电极帽，打入导电膏，确保阻 抗在5千欧以下)。打开脑控浏览器程序，使脑控浏览器停留在如图1所示的列表浏览界面。 

(2)标题列表的浏览：在系统的初始化工作完成以后，系统即处于列表浏览界面。此时，使用者可以对网页中的标题列表进行浏览。在每个页面中呈现给使用者三条新闻，使用者可以通过上下翻页来浏览更多的标题。当使用者想进行翻页操作时(上翻页或下翻页)，只需注视标识浏览器右侧代表相应操作的闪烁着的方块(有上三角和下三角标识)，进行上下翻页的操作，以浏览更多的新闻标题。 

(3)阅读具体内容：当使用者发现自己感兴趣的标题，想要阅读具体内容时，使用者可以通过两次眨眼，使系统切换到内容选择状态。通过检测脑电中的P300信号判断出使用者注视的目标，打开注视标题的具体内容。为了使系统有更大的容错性，在浏览器状态切换前，会弹出“确认”提示框，使用者可以通过眨眼来选择“确认”或“取消”链接的打开。若选择确认，浏览器切换到内容浏览界面，使用者可以在此界面中浏览具体的内容。如果内容超过一屏，使用者可以通过步骤(2)的方法，进行上下翻页来浏览完整的内容。 

(4)返回与退出：当使用者想要从内容浏览界面退回到列表浏览界面时，可以注视界面左上角的闪烁方块完成操作。 

(5)退出：退出操作关系到系统稳定性，对其可靠性的要求比较高，因此采用两次SSVEP顺次输入的方法来实现。即使用者先注视浏览器左上角代表退出的闪烁方块，在检测到退出信号后，再注视右上角的闪烁方块确认退出。 

实施例2 

(1)、面向脑机接口技术的浏览策略 

(1.1)列表／内容浏览架构 

脑控浏览器在需求上与普通浏览器有很大不同，它更加侧重于浏览模式的简化及信息呈现的简捷。本发明在设计上精炼提取了浏览器的浏览模式，使用(列表／内容)构架实现了浏览器的主要功能。 

常规的网站包含着丰富的信息，这些信息被以不同的形式显示在不同的页面之中，最终形成了海量的浏览页面。尽管如此，众多的浏览页面可以被归纳为两个类型，即信息的标题页面和信息的内容页面。仅通过这两个页面，使用者就可以完成全部网站信息的浏览。根据这一特点，并考虑到脑际接口技术的应用特点，本发明实现了一种面向脑机接口技术的浏览策略。 

本发明脑控浏览器中的列表浏览界面和内容浏览界面的示意图如图4、图5所示。列表浏览界面用来显示所有信息的标题和部分摘要。在列表浏览界面中，使用者可以浏览信息的标题，当标题数量较多时，需要进行翻页操作。当对某个标题的内容感兴趣时，通过点击此标题链接跳转到内容浏览界面。因此，在列表浏览界面，需要两种控制元素：一是用来显示标题和实现跳转的链接，二是进行翻页及退出功能的按钮。 

在内容浏览界面中，用户可以浏览标题所对应的的具体内容，浏览完成后，需要回退到标题浏览界面。同样地，对于内容较多的情况，需要进行翻页操作。因此，在内容浏览界面，只需要按钮这一种控制 元素来完成翻页及回退功能。 

综上所述，在(列表／内容)的浏览框架下，需要链接和按钮两种控制元素来实现脑控浏览器的控制。根据具体脑机接口技术的特点，本发明采用SSVEP技术实现按钮点击的功能，采用P300技术实现点击链接的功能。考虑到脑控浏览器运行的流畅性和稳定性，本发明采用眨眼检测技术来进一步保证和加强浏览器的功能运转。在列表浏览页面，通过眨眼检测来进行两种输入命令的切换。在两个页面需要跳转时，通过眨眼检测进行确认。 

(1.2)脑控浏览器的实现方式 

脑控浏览器的实现分为两部分：显示控制和指令控制。 

显示控制用于将传统网页的信息转化为适合(列表／内容)浏览架构的脑控浏览器网页信息。即浏览器所显示的内容自动抓取自所要浏览的网页源码，它是将广告等信息过滤掉并整合当前时间，当前浏览的网站名称，当前网站首页所对应的新闻总条数和每条新闻的标题、摘要与正文并显示除新闻正文外的所有内容而得来的。脑控浏览器每次抓取新闻后会将副本保存到本地，可以离线使用。 

指令控制负责脑控指令与浏览器状态的交互。脑控浏览器在后台运行指令监听的服务，当有控制指令到达，会显示出来向用户询问是否确定执行，确定指令到达后开始执行。指令控制由socket实现。 

(2)基于P300电位的链接功能设计 

(2.1)P300电位刺激诱发 

基于P300电位的脑-机接口最早由美国的Farwell和Donchin提 出并实现的英文打字系统，26个英文字母和10个数字构成6x6的字符矩阵，采用视觉闪烁作为P300电位的诱发方式，以行、列作为刺激诱发按钮(RCF范式，row／column flash paradigm)，通过随机顺序轮流闪烁诱发P300电位，数据处理模块检测出带有P300电位的行和列，两者的交集即为目标字母／数字。但是当实际应用刺激按钮个数远小于36个时，RCF范式存在其局限性，特别是当刺激按钮只有4-6个时无法通过RCF范式进行刺激界面设计。在刺激诱发按钮较少的应用场景中，采用SCF范式(single character flash paradigm，即多个刺激按钮单个轮流刺激诱发)的设计能提供更好的实验效果。RCF诱发范式由于刺激中包含的元素多使实验任务变得相对复杂，产生的P300电位并不显著，而在SCF诱发范式下被试的P300电位能够明显地被检测到。此外，6x6矩阵在显示器上所占面积较大且闪烁较快，容易使被试在实验过程中产生不自觉的眼睛运动而干扰EEG信号。因此，在脑控浏览器设计中，对于新闻条目的闪烁，我们采用SCF刺激范式，多条新闻轮流闪烁诱发P300电位。 

仅仅采用SCF刺激范式诱发P300还能满足脑控浏览器的需求，其存在两个问题：一是为了配合SSVEP完成脑控浏览器的功能，P300诱发方式不能采用与SSVEP一样的闪烁诱发方式，需要另外找到一个有效刺激诱发方法。另外一个问题是虽然多条新闻轮流闪烁诱发P300电位，但是为了界面美观，需要设计一个更加合理的轮换方式。为了解决以上两个问题，我们对SCF刺激范式进行了进一步改进，提出针对脑控浏览器实际问题的BSCF(即Browser SCF)范式。BSCF范式 与传统的SCF范式区别主要有一下两点： 

(2.1.1)P300刺激诱发方式采用形状变化差别。在脑控浏览器中我们采用字体变大的方式来代替闪烁，采用颜色变化的方式来区分标准刺激和靶刺激。 

(2.1.2)P300新闻轮换方式 

针对脑控浏览器新闻显示的特殊问题，如果每条新闻单独显示，即先闪烁第一条新闻，然后再闪烁第二条新闻，这种方式不美观，用户体验性差。我们采取时分复用的思想，设置一个长为1000ms的时间片，新闻一在前500ms闪动，新闻二在后500ms闪动，这样两条新闻交替闪动，界面美观。对于用户注视任意一条新闻刺激都是间隔1000ms并随机闪动，符合P300诱发原理。 

(2.2)P300信号特征提取 

P300所处理数据主要来自与Pz电极，每次处理数据长度为20s，每隔5s处理一次(即取最近20s数据处理)。特征提取步骤为： 

(2.2.1)从Buffer中取得待处理数据，以及所对应的事件代码。(由于采集脑电较小，此处对原始数据放大1000000倍，此操作参考BCI2000) 

(2.2.2)按事件码进行分段，对每段数据进行一下操作： 

(2.2.3)漂移矫正：对每段数据求均值average，然后用每个数据点减去均值，即 

$X_a=X-\stackrel{\‾}{X}---\left(1\right)$

(2.2.4)基线调整：求出前100个点的均值作为基线base，然 后用每个数据点减去基线，即 

$X_b=X_a-\frac{1}{n}\underset{i=1}{\overset{i=n}{\mathrm{\Σ}}}{X}_i---\left(2\right)$

(2.2.5)数据归一化：为了方便处理将数据归一化到[-1，1]区间。归一化方法为： 

$X_c=\frac{X_b-X_{\min }}{X_{\max }-X_{\min }}\×2-1---\left(3\right)$

(2.2.6)滤波：采用简单，速度快的butterworth滤波器，如滤波参数为[b，a]=butter(3，30／500)。左图为P300原始EEG信号，右图为C++滤波后结果。 

(2.2.7)叠加平均：为了加快处理速度，做到实时检测，每检测出P300事件(第一条新闻或第二条新闻)，就分别累加起来，求出均值作为P300检测特征保存起来。 

(2.3)对P300信号分类识别 

近年来，为了准确地分辨信号中是否含有P300，人们提出了多种算法，如基于小波变换的识别算法、基于独立分量分析的识别算法、基于支持向量机的识别算法等。由于信号低信噪比和非平稳随机的特点，即使对于同一个被试者，诱发的信号也可能存在着一定的差异。解决的方法有2种：一是多个分类器组合起来对信号分类；另一个方法是对不同的trail进行叠加平均，然后用多次平均后的数据进行分类。我们选用的是后一种办法，对多次平均后的数据进行分类，分类特征采用时域能量熵的方法。根据信息论中香侬熵的定义，定义时域能量熵的计算方法如式： 

$E_i=-{\log }_2\left(\frac{P_i}{P}\right)---\left(4\right)$

其中 $\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{P}_i=P.$

包含P300的EEG信号在500ms左右的时域段集中了大部分的能量，而不包含P300的EEG信号在整个时域上分布较均匀，这种差异刚好可以由时域能量熵反映出来。由于延时，P300信号主要出现在500ms左右，为了减少数据计算量，选择200-500和500-800两段时域信号的计算时域能量熵，然后对两时间进行比较，若前者大于后者则为第二条新闻，后者大于前者则为第一条新闻。 

(3)基于SSVEP的按钮功能设计 

当受到一个固定频率的视觉刺激的时候，人的大脑视觉皮层会产生一个连续的与刺激频率有关(刺激频率的基频或倍频处)的响应。这个响应是被称为稳态视觉诱发电位-Steady-State Visual Evoked Potentials，SSVEP。它可以可靠地应用于脑-机接口系统(BCIs)。相对于给予其他信号(例如P300、运动想象)的BCIs而言，基于SSVEP的BCIs通常具有更高的信息传输率，系统和实验设计更加简便。 

(3.1)刺激频率的选择 

当视觉刺激以大于4Hz的频率闪烁时，大脑信号将被刺激调制，并产生周期性的节律，该节律就是稳态视觉诱发电位(SSVEP)，表现在EEG上是在对应于刺激频率或其谐波上出现谱峰。 

对于SSVEP的产生，视觉刺激的施加方法非常关键。按照硬件平台的不同，施加视觉闪烁刺激的方法有两种：一种是使用电脑显示器 作为刺激呈现工具，另一种是使用独立于电脑的设备(如发光二极管等)作为刺激呈现工具。使用电脑显示器呈现刺激可以使系统的结构更加合理，也利于多种脑机接口技术的融合使用，缺点是可选频率较少；使用独立于电脑的设备通常能够提供更多的频率选择，但同时也会增加系统实现的复杂度，并且额外设备的使用会使系统的实用性大大降低。基于脑控浏览器的应用对象进行考虑，设备简单易操作是系统实现的主要要求。因此采用电脑显示器作为刺激呈现工具，使脑控浏览器的主要硬件平台简化为只需要电脑和脑电采集设备两种设备。表1给出了在显示器不同刷新率下，用于诱发SSVEP的可选频率。 

表1不同刷新率下的SSVEP可选频率 

(3.2)基于快速傅里叶变换的SSVEP检测 

由于EEG信号包含自发脑电、肌电及50Hz工频等噪声信号，因此在离线分析之前，要先进行带通滤波和50Hz陷波滤波，提高信号的信噪比。滤波后的脑电信号只是时域上的离散信号，只能在时域上看到时间与幅值的关系，而要识别出刺激信号的频率，必须要得到脑电信号在频域上频率和幅值的关系，因此要引入快速傅里叶变换(fast flourier transforms，FFT)将时域上的信号转换为频域上的信号。快速傅里叶变换的公式为： 

$x\left(k\right)=\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}x\left(n\right)W_N^k(k=\mathrm{0,1},...,N-1)---\left(5\right)$

通过检测频域相关点处的峰值，确定相应的SSVEP信号。具体步骤为： 

(3.2.1)取段长为5秒钟的脑电信号，对其进行基线校正、滤波等预处理； 

(3.2.2)对处理过的信号进行傅里叶变换，获得3目标频率点处的幅值f1、f2和f； 

(3.2.3)每500毫秒重复进行一次(1)(2)的计算； 

(3.2.4)当某一频率点的幅值连续2秒大于其它两点幅值均值的2倍时，输出SSVEP信号。 

Claims (1)

1.一种基于脑机接口全自动控制网页浏览方法，其特征在于，方法如下：

(1)创建适合脑控的自主脑控浏览器：脑控浏览器所显示的内容自动抓取自所要浏览的网页源码，将广告信息过滤掉并整合当前时间、当前浏览的网站名称、当前网站首页所对应的新闻总条数和每条新闻的标题、摘要与正文并显示除新闻正文外的所有内容而得来的，脑控浏览器每次抓取新闻后会将副本保存到本地，能够离线使用；

(2)脑控浏览器系统的组成：脑控浏览器系统分为三个子模块，分别为脑电信号采集模块、脑电信号处理模块和脑控浏览器界面模块；脑电信号采集模块、脑电信号处理模块、脑控浏览器界面模块依次连接；

脑电采集模块负责采集用户的脑电信号；脑电信号处理模块负责对采集到的脑电信号进行分析，从中解析出控制命令，并对脑控浏览器界面进行控制；脑控浏览器界面模块用来呈现网页内容；

(3)脑控浏览器系统的初始化

脑电信号采集模块的初始化：脑电信号采集模块包括采集脑电信号的电极帽，连接好电极帽，使用者带上电极帽后调整其位置，使电极帽中所有电极均处在国际10-20系统的标准电极位置，然后在指定的需要获取脑电信号的位置打入导电膏并确定导电性良好；

脑电信号处理模块和脑控浏览器界面模块的初始化：打开脑控浏览器界面抓取最新的实时新闻，将浏览器界面与信号处理模块配置完善，测试两个模块之间通信正常，证明初始化完毕；

(4)选取想要浏览的新闻：

浏览器的每个界面每次呈现三条新闻，通过上翻、下翻浏览更多新闻；上翻、下翻按钮为不同频率闪烁的方块，用户通过注视闪烁的方块，产生不同频率的稳态视觉诱发电位，脑电信号处理模块根据检测出的频率，控制脑控浏览器界面进行上翻、下翻从而获取新的新闻内容，找到感兴趣的新闻内容后，通过眨眼进行确认进入P300电位信号检测模式；

P300电位信号的检测采用面向浏览内容的多个刺激按钮单个轮流刺激诱发方法，用户只需注视想要浏览的新闻链接，并在链接改变闪烁颜色时默数，此时脑电采集模块将采集到的脑电信号传送给脑电信号处理模块，脑电信号处理模块根据识别出的P300电位成分，得出被试想要观看的新闻位置；

(5)新闻位置正误判断：待P300电位的新闻位置确定后，脑控浏览器系统对将要打开的信息进行提示，被试对提示信息进行判断，打开的新闻确实是被试所感兴趣的内容则利用眨眼检测进入新闻页面，继续步骤(6)，否则被试忽略提示重新进入步骤(4)；

(6)新闻阅读：新闻阅读过程中的上翻、下翻、返回的实现方法与(4)相同，在浏览器界面布局中，右上为上翻，右下为下翻，左上为返回，三个控制键被赋予了不同的频率，用户通过注视不同频率的闪烁方块，来对浏览的新闻内容进行上翻、下翻操作，浏览结束后返回新闻摘要界面；

(7)返回新闻摘要界面：步骤(6)中阅读完新闻后，返回新闻摘要界面需脑电信号处理模块使用(4)的方法进行相应频率的检测，并发出控制指令，此处仍采用(5)步骤的眨眼方法进行信息确认，确认后返回新闻摘要界面，若关闭脑控浏览器不再阅读，此时界面的返回频率窗口相当于关闭功能，用来关闭脑控浏览器界面。

Images